Voorstel Monitor Open standaarden 2023

Versie voor het Forum Standaardisatie 12 april 2023

Deel I: Voorstel

1. Inleiding

Hierbij bieden wij u ons voorstel aan voor de Opdracht Monitor Open standaarden 2023, opgesteld naar aanleiding van onze eerdere gesprekken en het memo ‘Opzet van de Monitor Open standaarden 2023’ dd. 23 februari 2023.

Wij menen u met dit voorstel een goede en passende aanbieding te doen voor de uitvoering van de Opdracht, rekening houdende met de specifieke behoeften, wensen en voorwaarden van uw organisatie. Als u dat op prijs stelt lichten wij ons voorstel en onze werkwijze graag persoonlijk toe.

In Deel I vindt u het Voorstel. Dit voorstel heeft een geldigheidsduur van 30 kalenderdagen, ingaande op de datum van ontvangst. In Deel II staan de Bijzondere (juridische) bepalingen die van toepassing zijn op het Voorstel en de uitvoering van de Opdracht. In deel III vindt u de bijlagen die eveneens van toepassing zijn op het Voorstel en de uitvoering van de Opdracht.

Indien u akkoord bent, verzoeken wij u dit Voorstel op het voorblad te ondertekenen en het document retour te sturen naar: projectbureau@ictu.nl.

2. Uw vraag

Uw aanvraag met betrekking tot Monitor Open standaarden 2023, vatten wij als volgt samen.

De Monitor Open standaarden 2023 is het twaalfde onderzoek naar het gebruik van de open standaarden die op de ‘pas toe of leg uit’- lijst staan van het Forum Standaardisatie. Deze open standaarden zijn verplicht voor veel overheidsorganisaties en ze zijn aanbevolen voor de rest van de publieke sector. Bij opdrachtverstrekking zal het Bureau Forum voor Standaardisatie aan ICTU een notitie leveren met daarin de uitgangspunten voor de selectie van aanbestedingen en beoordeling van open standaarden in de Monitor 2023.

Vanaf 2023 zal het monitoronderzoek telkens een thema hebben om het onderwerp met meer inspiratie voor het voetlicht te brengen aan te maken voor hen die uiteindelijk de standaarden toepassen; de architecten, ICT opdrachtgevers, bestuurders, CIO’s, CTO’s, CISO’s en bestuurders, beleidsmakers, inkoopadviseurs en juristen van alle publieke organisaties van Nederland. In 2023 is dit thema: “open standaarden en de cloud”.

Het onderzoek bestaat uit drie delen:

A. Aanbestedingen:

• Vragen de aanbestedende diensten specifiek om alle verplichte open standaarden die van toepassing zijn?
• En zo niet: leggen zij dit dan goed uit in het jaarverslag? (formele uitleg)
• Wat zeggen de betrokkenen n.a.v. de beoordeling van hun aanbesteding? (informele uitleg n.a.v. de monitor)
• Wat zeggen de betrokkenen nog meer over de aandacht voor open standaarden binnen hun organisatie? (verslagen van 6 gesprekken)

• Thema 2023 open standaarden en cloud: kunnen de onderzoekers iets zeggen n.a.v. de onderzochte aanbestedingen en cloudoplossingen?

  B. Toepassing in de praktijk:

• In dit deelonderzoek wordt onderzocht welke open standaarden daadwerkelijk worden gebruikt in gerealiseerde ICT-systemen. Daarbij wordt in het kader van de Monitor 2023 specifiek gekeken naar ICT-systemen bij medeoverheden: gemeenten, provincies, waterschappen en gemeenschappelijke regelingen.
• De casussen die in het kader van dit onderzoek worden bekeken, worden geselecteerd op basis van eerder onderzochte aanbestedingen, bij die selectie worden bij voorkeur brede en door medeoverheden veelgebruikte ICT-systemen onderzocht.
• In eerste instantie zal onderzocht worden of de casussen die Mathieu Paapst aanhaalt in zijn laatste update van de voorbeelden voor de Handreiking hiervoor in aanmerking komen.
• Bij de selectie van de casussen wordt ook rekening gehouden met het thema van de Monitor 2023: cloud oplossingen. Er worden minimaal 2 van dergelijke systemen geanalyseerd.

• Vragen die in dit onderzoek onder meer aan de orde komen zijn: hoe zijn de eisen en wensen m.b.t. open standaarden tijdens de aanbesteding tot stand gekomen, heeft de leverancier aangegeven te voldoen aan de eisen en wensen, welke open standaarden zijn daadwerkelijk geleverd en welke niet, is gemotiveerd waarom als niet voldaan werd aan de eisen, is beschreven hoe hier op termijn alsnog aan kan worden volden, wat zijn de gevolgen van het niet voldoen aan de eisen en welke lessen zijn er in het algemeen te trekken m.b.t. de toepassing van open standaarden.

  C. Gebruiksgegevens:

• Wat is er nog meer bekend over het gebruik van de standaarden van de ‘pas toe of leg uit’-lijst, mede o.b.v. de IV-meting?

3. Aanpak

3.1 Aanbestedingen

Het onderzoek van aanbestedingen vindt plaats op basis van openbare documenten. Onderzocht wordt in hoeverre bij aanbestedingen in 2022 gevraagd is om de relevante standaarden (pas toe):

• De te beoordelen aanbestedingen uit 2022 van TenderNed.nl zijn reeds verzameld, op basis van dezelfde selectiecriteria als de voorgaande jaren.
• Op alle aanbestedingen van de Rijksoverheid wordt een tweede beoordeling uitgevoerd, de eerste en tweede beoordeling worden vergeleken en besproken door ICTU en de onderzoekers, in aanwezigheid van BFS. Waarschijnlijk zijn hiervoor twee sessies nodig. De notitie met de uitgangspunten voor de beoordeling wordt vooraf besproken (onderzoekers, ICTU, BFS) en waar nodig geactualiseerd.
• De beoordelingen worden voorzien van een toelichting op de aard en context van de onderzochte aanbesteding. Compliance aan het open standaarden beleid wordt niet zwart/wit beoordeeld: er wordt een onderverdeling gemaakt naar de mate waarin de aanbesteding in lijn is met het open standaarden beleid. Daarvoor worden de volgende categorieën gehanteerd:
  • perfect: om alle relevante open standaarden is gevraagd;
  • op de goede weg: er is om een deel van de relevante open standaarden gevraagd;
  • matig: er is om geen van de relevante standaarden gevraagd, maar wel algemene aandacht voor architectuur-kaders en/of open standaarden beleid;
  • slecht: er is om geen van de relevante standaarden gevraagd, en ook geen aandacht voor open standaarden beleid;
  • heel slecht: de aanbesteding is strijdig met het open standaarden beleid.
• De eerste beoordelaar verspreidt de te beoordelen aanbestedingen, waar nodig wordt een steekproef getrokken. Streefaantallen (uiteindelijk beoordeeld): 35 aanbestedingen van de Rijksoverheid en uitvoeringsorganisaties + 35 van medeoverheden (gemeenten, provincies, waterschappen en gemeenschappelijke regelingen). Om een streefaantal van 35 te realiseren, zal de steekproef waarschijnlijk 40 à 45 aanbestedingen moeten tellen.
• In een bijlage worden alle onderzochte aanbestedingen vermeld (inclusief relevante / gevraagde standaarden en beoordeling), inclusief de onderzochte aanbestedingen van medeoverheden. Deze gegevens worden ook gepubliceerd op NORA Online.
• Te beoordelen aanbestedingen voor de vólgende monitor worden verzameld, op basis van dezelfde selectiecriteria als de voorgaande jaren. Daarbij wordt, naast de handmatige selectie, een ‘keyword-script’ voor digitale selectie toegepast. De documenten worden van TenderNed etc. gedownload.

 En vervolgens een onderzoek van jaarverslagen (formele ‘leg uit’):

• Voor alle organisaties die bij een aanbesteding in 2022 niet om alle relevante standaarden hebben gevraagd wordt nagegaan in hoeverre zij in het jaarverslag over 2022 daarover expliciet verantwoording hebben afgelegd. (NB: Recent is in de RijksBegrotingsVoorschriften opgenomen dat men moet ingaan op "resultaten van de Monitor Open Standaarden van het Forum Standaardisatie voor zover de organisatie hierin is beoordeeld”.)

Tegelijkertijd gaan de onderzoekers in gesprek met aanbesteders (informele ‘leg uit’):

• Het verzamelen van aanbestedingen leidt tot een ruwe selectie van aanbestedingen. ICTU meldt de betreffende aanbesteders per email dat hun aanbesteding op de groslijst geplaatst is. De tekst van deze e-mails wordt in overleg met BFS geactualiseerd.
• Na de second opinion-sessie stuurt ICTU de aanbesteders van alle aanbestedingen die uiteindelijk onderzocht zijn een email met de beoordeling (en relevante/gevraagde standaarden). Ook de tekst van deze e-mails wordt in overleg met BFS geactualiseerd.
• Als de aanbesteders naar aanleiding daarvan een gesprek wensen dan wordt dat gevoerd door ICTU, en waar nodig door BFS en/of de beoordelaar. Een reactie die vóór een bepaalde datum toegestuurd wordt, en die voor de beoordelaars aanleiding is om hun beoordeling aan te passen of om een verklaring toe te voegen, wordt nog verwerkt in de monitor.
• De definitieve beoordelingen stuurt ICTU naar BFS, met een toelichting/motivatie.
• Met verschillende aanbesteders voeren wij in totaal zes gesprekken. De beoordeelde aanbestedingen vormen daarbij de primaire aanleiding om in gesprek te komen. Een deel van die gespreken kan ook daadwerkelijk gaan over deze specifieke aanbestedingen maar de praktijk van de afgelopen jaren wijst uit dat meestal aanverwante thema’s onderwerp van gesprek zijn. Deze thema’s komen werkende weg in de loop van de uitvoering van de monitor aan het licht. Indien nodig wordt bij de direct betrokkenen bij de monitor geïnventariseerd welke thema’s relevant zijn om te bespreken.
• Dit jaar zal in de gesprekken het volgende thema worden besproken (parallel aan gesprekken voorzieningen): de toename van het aantal cloud-oplossingen en de mogelijke risico’s en nadelen daarvan. Bij de selectie van gesprekspartners zorgt ICTU ervoor dat cloud-aanbestedingen goed zijn vertegenwoordigd.
• De bevindingen uit de gesprekken met aanbesteders (inclusief bloemlezing van treffende uitspraken) worden opgenomen in het monitorrapport. Daarvoor moeten de gesprekken heel snel na de Second Opinion-sessie plaatsvinden, of de gesprekken n.a.v. de monitor van vorig jaar gebruikt worden.

3.2 Toepassing in de praktijk

In het verleden werd dit onderdeel van de Monitor het onderzoek naar overheidsbrede voorzieningen of voorzieningen van de GDI genoemd. Dit jaar wordt het anders ingevuld. Er wordt een beperkte set casussen onderzocht naar de toepassing van open standaarden in daadwerkelijk in de praktijk gerealiseerde ICT-systemen bij medeoverheden.

• Tot nu toe werden elk jaar vooral centrale voorzieningen onderzocht (zoals GDI-voorzieningen), die breed in de publieke sector gebruikt worden. Sinds 2020 werden die 36 voorzieningen en websites in twee sets onderverdeeld (interactie met burgers, interactie tussen overheden) die om en om werden onderzocht. Er werd onderzocht welke open standaarden relevant waren, in hoeverre de voorziening daaraan op het moment voldeden en indien dat niet het geval was, of er expliciete plannen waren om daaraan op korte termijn wel te gaan voldoen. In 2023 onderzoeken we zoals aangegeven dit soort voorzieningen niet omdat het niveau van adoptie van open standaarden bij deze voorzieningen al gedurende lange tijd vrij hoog is. Of ze in de Monitor 2024 en/of 2025 wel worden onderzocht bespreken ICTU en BFS het najaar van 2023.
• Om te beginnen wordt een tiental casussen geselecteerd van ICT-systemen van medeoverheden die nader bekeken worden. Deze selectie vindt plaats op basis van in voorgaande jaren onderzochte aanbestedingen en de laatste voorbeelden die Mathieu Paapst heeft gevonden voor de handreiking Vragen om open standaarden bij aanschaf van ICT. Er wordt bij voorkeur geselecteerd op brede en door medeoverheden veelgebruikte ICT-systemen. Bij de selectie van de casussen wordt bovendien rekening gehouden met het thema van de Monitor 2023: cloud oplossingen. Er worden minimaal 2 van dergelijke systemen geanalyseerd.
• De selectie van casussen wordt door de opdrachtnemer met ICTU en BFS besproken tijdens een kick-off aan het begin van het project. Daar wordt ook de opzet van de gesprekken met de contactpersonen doorgenomen.
• Na de selectie van de cases begint het zoeken en benaderen van de contactpersonen. In tegenstelling tot het voorzieningenonderzoek uit het verleden, beschikken we nog niet over de gegevens van alle potentiële gesprekspartners. Er wordt gedacht aan het benaderen van vertegenwoordigers van verschillende rollen, zoals: opdrachtgever, CIO, informatiegever, inkoper en/of architect van de oplossing bij de decentrale overheid.
• Het onderzoeksbureau voert waar mogelijk een eigen scan uit op de oplossing, op een wijze die vergelijkbaar is met het voorzieningenonderzoek in het verleden: dat wil zeggen dat er wordt gekeken naar de kant van de oplossing die open beschikbaar is (en dus te testen is), en naar openbaar beschikbare documentatie over systemen.
• Vervolgens worden er gesprekken gevoerd, zowel met contactpersonen van de aanbestedende dienst als met contactpersonen van leveranciers. Vragen die tijdens deze gesprekken aan de orde komen zijn: hoe zijn de eisen en wensen tijdens de aanbesteding tot stand gekomen, heeft de leverancier aangegeven te voldoen aan de eisen en wensen, welke open standaarden zijn daadwerkelijk geleverd en welke niet, is gemotiveerd waarom als niet voldaan werd aan de eisen, is beschreven hoe hier op termijn alsnog aan kan worden volden, wat zijn de gevolgen van het niet voldoen aan de eisen en welke lessen zijn er in het algemeen te trekken m.b.t. de toepassing van open standaarden.
• Het onderzoeksbureau organiseert halverwege en na afloop van de gespreksronde een feedback sessie met de opdrachtgever en levert als eindresultaat een rapport op.
• In het kader van het cultiveren van goede relaties met de onderzochte en gesproken decentrale overheden – met de focus op het goede gesprek en op een verbeterd proces in de toekomst – kan het onderzoeksbureau een presentatie van de uitkomsten verzorgen (denk bijvoorbeeld aan een lunchlezing). Hierbij worden de resultaten teruggekoppeld worden en laat het onderzoeksbureau zien wat er met de feedback gebeurd is. Dit kan een aanzet betekenen voor het bredere gesprek over IT-beleid in aanbestedingen. Ook kunnen de organisaties zo deelgenoot gemaakt worden van de opgehaalde lessen waar zij hun eigen voordeel mee kunnen doen. De sessie wordt georganiseerd door het Forum Standaardisatie, de medewerkers van het onderzoeksbureau verzorgen de inhoud van de sessie.

3.3 Gebruiksgegevens

Voor het onderzoek naar gebruiksgegevens volgen wij dezelfde werkwijze als vorig jaar:

• De overige gebruiksgegevens van de standaarden van de ‘pas toe of leg uit’ lijst worden verzameld door het Bureau Forum Standaardisatie, daar waar beschikbaar. Hiermee wordt gestart in maart 2023, het voorstel is om de definitieve informatie per 15 mei 2023 aan te leveren. ICTU coördineert de activiteiten, bewerkt de ruwe teksten en stelt de rapportage samen. ICTU organiseert een kick-off met de accountmanagers waarin nadere afspraken worden gemaakt over inhoud bevraging (concept-checklist) en de doorlooptijden.
• De accountmanagers van BFS leveren per standaard aan: gegevens over het gebruik en over de toe- of afname van het gebruik, waar nodig een inhoudelijke toelichting, en in elk geval een actualisering van de tekst van vorig jaar.
• Speciale aandacht besteden zij aan het maatschappelijk nut van de standaard, wat bekend is over het gebruik, en het nut van de ‘pas toe of leg uit’-status. Daarnaast brengen zij in kaart wat de beheerders/indieners van de standaard gedaan hebben met de adoptieadviezen van het Forum bij de plaatsing van de standaard op de lijst.
• Daarnaast levert BFS de rapportage aan over de Meting IV-standaarden van begin 2023. Deze rapportage wordt als bijlage in de Monitor 2023 opgenomen.
• De onderzoekers nemen op basis van deze twee rapportages een korte samenvatting van de resultaten (met eigen kwalificaties) over gebruiksgegevens op in de Monitor 2023.

3.4 Rapportage en interactie

Alle deelonderzoeken worden samengebracht in de Monitor 2023 over het gebruik van open standaarden en de ontwikkeling daarvan in de tijd. De precieze aard van de rapportage wordt in het tweede kwartaal van 2023 met zowel opdrachtgever BFS als andere relevante partijen besproken. Dit kan beteken dat de Monitor 2023 net als in 2022 en voorgaand jaren één integrale rapportage wordt,[1] maar afhankelijk van de uitkomst van gesprekken kan de Monitor 2023 bijvoorbeeld ook bestaan uit een korte, eenvoudige publieksversie en één of meer bijlagen met meer details en technischer van aard. Het (hoofd)rapport wordt opgeleverd als Digitoegankelijk PDF-document. De Digitoegankelijkheid wordt (extern) getoetst, ten behoeve van de toegankelijkheidsverklaring wordt ook het audit-rapport opgeleverd.

ICTU zal dit jaar meer doen met de monitor-resultaten, op verschillende manieren:

• De kerngegevens van de deelonderzoeken naar aanbestedingen en naar de toepassing in de praktijk bij decentrale overheden worden tevens gepubliceerd als open data, op NORA Online. Na de definitieve publicatie van het monitorrapport informeren wij al onze respondenten hierover.
• Rond de publicatie van de monitor wordt door het Forum Standaardisatie een mini-conferentie georganiseerd, waarvoor verschillende doelgroepen worden uitgenodigd. De mini-conferentie staat in het teken van het gesprek en discussie. De onderzoekers leveren een inhoudelijke bijdrage hieraan.
• Mogelijke aanpassingen aan de opzet van de rapportage worden vóór de zomer van 2023 besproken, zodat bij de analyses en het schrijven daarmee rekening gehouden kan worden.
• Na afronding van het monitorrapport maken wij (separaat) een Analyse naar organisatie, waarbij voor elke organisatie bijeengebracht is: de scores per organisatie op aanbestedingen, onderzochte gerealiseerde systemen en domeinnamen (per ministerie, uitvoeringsorganisatie, provincie, en 4 grote gemeenten).
• In het verlengde daarvan publiceren we de Ranking VAROS (Voldoen aan relevante open standaarden), waarin organisaties een score tussen 0 en 100 krijgen op basis van de 'Analyse naar organisatie'; met de gegevens uit Mon2023, Mon2022, Mon2021 en Mon2020. En per organisatie één A4 met een gap-analyse/infographic van de scores uit de Monitor 2023.
• Tenslotte maken we voor BFS de Analyse per accountmanager: de scores bij aanbestedingen, bij de onderzochte gerealiseerde ICT-systemen van medeoverheden en gebruiksgegevens van zijn standaarden en de toelichting die voorzieningen gaven als zij aan een standaard niet voldeden.

[1] De meest recente rapportages bevatten: een Management-samenvatting, Bevindingen in het kort, een inleiding over open standaardenbeleid en opzet onderzoek, hoofdstukken over aanbestedingen, voorzieningen, overige gegevens, bijlagen met daarin de Instructie Rijksdienst, Beoordeelde aanbestedingen, Rapportage onderzoek voorzieningen, Inventarisatie gebruiksgegevens, IV-meting.

4. Beoogde resultaten Opdracht

De door ICTU uit te voeren Opdracht is gericht op het bereiken van de volgende resultaten:

• Inzicht in het gebruik in de praktijk van de ‘pas toe of leg uit’-standaarden en de ontwikkeling daarvan in de loop van de tijd. De bevindingen worden gepresenteerd in het eindrapport, inclusief de onderliggende onderzoeksresultaten.
• Verzamelen van ervaringen van overheden met het open standaardenbeleid en bijdragen aan de adoptie van open standaarden door met overheden in gesprek te gaan.
• De resultaten van de deelonderzoeken toespitsen op afzonderlijke organisaties en hen op die manier gericht daarover informeren.