> Retouradres Postbus 16292 2500 BG Den Haag

Ministerie van Onderwijs, Cultuur en Wetenschap
T.a.v. de minister, mevrouw mr. drs. I.K. van
Engelshoven
Postbus 16375
2500 BJ Den Haag

Adviescollege ICT-toetsing
Muzenstraat 95
Den Haag
Postbus 16292
2500 BG Den Haag
adviescollegeicttoetsing.nl
Contactpersoon
info@adviescollegeicttoetsing.
nl
Kenmerk
2021-0000486731

Datum

27 september 2021

Betreft

Definitief BIT-advies Doorontwikkelen Applicatielandschap
Bekostiging

Uw kenmerk
2409719224097192

Geachte mevrouw Van Engelshoven,
U heeft het Bureau ICT-toetsing (BIT), nu Adviescollege ICT-toetsing, verzocht
een toets uit te voeren op het project Doorontwikkelen Applicatielandschap
Bekostiging (DAB). Deze toets hebben we in overleg met uw CIO en de Dienst
Uitvoering Onderwijs (DUO) aangemerkt als pilottoets voor onderhoud en
beheer 1. De opdrachtgever is de Directeur Uitvoering van Dienst Uitvoering
Onderwijs (DUO). Hieronder vindt u een korte beschrijving van DAB. Daarna
geven we de conclusie van de toets, onze analyse en adviezen.
De directie Onderwijsinstellingen (OI) heeft als primaire taak het bekostigen van
de onderwijsinstellingen. Jaarlijks wordt er 32 miljard euro verdeeld. Binnen OI
maakt de afdeling Bekostigen en Planning (BKP) gebruik van een omvangrijk
applicatielandschap (circa 24.000 functiepunten). Met dit landschap worden de
bekostigingsprocessen conform afspraak uitgevoerd. Het project DAB heeft als
ambitie voor alle processen binnen BKP de applicaties te vervangen of te
verbeteren. De aanleiding voor DUO is onderhoudsachterstand, uitstroom van
specialistische kennis en te weinig flexibiliteit.
De BIT-toets is uitgevoerd tussen medio november 2020 en april 2021. In juni
heeft DUO in het kader van hoor en wederhoor aanvullende informatie verstrekt
die is verwerkt in dit rapport. De conclusie kan als volgt worden samengevat:
DUO heeft geconstateerd dat het applicatielandschap BKP verwaarloosd is en wil
met DAB een structurele verbetering inzetten. Verbetering is in onze ogen
inderdaad noodzakelijk, maar wij verwachten niet dat DUO die met DAB bereikt.
Wij zien namelijk dat er tekortkomingen zijn in sturing, operationele processen en
financieel beheer, en dat de gekozen technologie Blueriq risicovol is voor het
proces Bekostigen.
Met een ongewijzigde aanpak zal nieuwe verwaarlozing ontstaan. Daar staat
tegenover dat BKP ondanks de huidige verwaarlozing haar doelstellingen haalt.
Tevens is het landschap BKP aanpasbaar. Wij vinden het onverstandig om door te
1 In Kamerstuk 26642, nr. 656 is aangekondigd dat BIT zich voorbereidt op deze nieuwe

toetsen.

Pagina 1 van 6

Adviescollege ICT-toetsing
Datum
27 september 2021

gaan met de gekozen technologie voor het proces Bekostigen. DUO kan ook
verder met het huidige landschap BKP, mits sterk wordt bijgestuurd. Cruciaal is
dat DUO haar processen professioneler gaat uitvoeren. Mocht DUO toch door gaan
met Blueriq voor Bekostigen, dan zijn tenminste zeer strakke monitoring en een
terugvalscenario noodzakelijk.

Kenmerk
2021-0000486731

Wij lichten de conclusie hieronder toe.
NOODZAKELIJKE VERBETERING WORDT NIET BEREIKT
Het applicatielandschap BKP is verwaarloosd door achterstallig onderhoud,
noodverbanden en terugkerende problemen. Een structurele verbetering is
noodzakelijk om deze problemen op te lossen en te komen tot een
toekomstbestendig landschap BKP. DUO onderkent dit terecht, heeft de afgelopen
jaren verbeteringen ingezet, zoals de LCM-methodiek en wil daarnaast met DAB
een inhaalslag maken door het huidige landschap BKP grotendeels te vervangen
met inzet van nieuwe technologie. Alhoewel de eerste resultaten worden geboekt,
verwachten wij niet dat DUO de noodzakelijke verbetering met deze aanpak
bereikt, om onderstaande redenen.
A. Strategische en tactische sturing bij OI/BKP schiet tekort
De strategische en tactische sturing op beheer, onderhoud en doorontwikkeling
van het applicatielandschap BKP schiet op punten tekort. De meest opvallende
voorbeelden daarvan zijn:
•
Te weinig slagkracht in besluitvorming waardoor ICT-verbeteringen niet van
de grond komen. Zo zijn de afgelopen tien jaar verbeteradviezen voor het
landschap BKP onvoldoende opgevolgd waardoor er grote achterstanden zijn
ontstaan.
•
Te weinig consistentie op de langere termijn in de sturing van projecten,
waardoor deze kunnen mislukken. Voorbeelden hiervan zijn de halve herbouw
van de primaire gebruikersapplicatie in 2018 (waardoor het landschap BKP
complexer is geworden vanwege een extra applicatie, zonder vervanging) en
de mislukte ontwikkeling in 2020 van nieuwe schermen (waardoor een
investering van 4,7 miljoen euro grotendeels teniet werd gedaan).
•
Het besluit DAB te starten, terwijl er op drie punten grote tekortkomingen
zijn. Ten eerste overlapt de scope voor twee van de vijf processen met andere
grote lopende vervangingsprojecten: Digitaliseren Bezwaar en Beroep en
Doorontwikkelen BRON (voor het proces Statustoekenning). Ten tweede
ontbreekt zowel een kwantitatieve businesscase als een concrete doelstelling
waarop gestuurd kan worden. Ten derde is voor het huidige nog steeds

Pagina 2 van 6

Adviescollege ICT-toetsing
Datum
27 september 2021

aanpasbare 2 landschap BKP ondanks onderzoeken niet duidelijk geworden
waar de grootste knelpunten zitten en waar het nog wel voor is in te zetten.

Kenmerk
2021-0000486731

B. Uitvoering van ontwikkel- en beheerprocessen is onvolwassen
De operationele processen voor ontwikkeling en voor beheer en onderhoud van
het applicatielandschap BKP waren onvolwassen en zijn dat nog steeds. In zo’n
geval gaat opnieuw verwaarlozing optreden, met risico’s voor de continuïteit. Dit
blijkt uit ernstige tekortkomingen op belangrijke gebieden, bijvoorbeeld:
•
Tekortkomingen op belangrijke punten in DAB’s ontwikkelprocessen. Zo zijn
geformuleerde eisen, inclusief die voor beveiliging en performance,
onduidelijk en onvolledig. Ontwerpkeuzes worden al doende gemaakt
waardoor knelpunten pas laat aan het licht komen. Ook de kwaliteitsbewaking
en het testen krijgen te weinig aandacht, waardoor de representativiteit van
uitgevoerde toetsen en testen onduidelijk is.
•
Te lang uitstellen van noodzakelijk onderhoud, waardoor niet-ondersteunde
versies in gebruik zijn. Ook bij net opgeleverde software, zoals voor Bezwaar
en Beroep zijn al achterstanden ontstaan.
•
Geen volwassen configuratiemanagement. OI-BKP maakt al een tijd de indruk
zoekend te zijn naar de invulling van dit centraal door IT opgezette proces.
Nog steeds is er sprake van een incomplete en niet-actuele
configuratiedatabase, ontbrekende broncode en versiehistorie, onbekende
applicaties in productie en inconsistente omgevingen.
•
Gebrek aan aandacht voor documentatie en aan kennis van de werking en
samenhang van de applicaties, waardoor er geen goed inzicht is in het
landschap BKP. Ook nieuwe applicaties worden onvoldoende gedocumenteerd.
•
Het onvoldoende analyseren van trenddata, van terugkerende incidenten en
problemen en het niet structureel oplossen van knelpunten in de
bekostigings- en planningsprocessen. Dat is heel moeilijk doordat OI-BKP en
DAB de administraties niet consequent bijhouden.
C. Financieel beheer van de IT-voorzieningen is onvoldoende ontwikkeld
Financieel beheer voor alle IT-activiteiten is ingericht volgens strakke regels.
Hierbij ligt de nadruk op het bijhouden van bestede tijd op gedetailleerd niveau.
Dat lijkt in eerste instantie goed, maar inzicht in de doelmatigheid van het
onderhoud en beheer en van de ontwikkelkosten ontbreekt. Ook kunnen besluiten
over vernieuwing niet goed worden genomen. We zien de volgende
tekortkomingen:
•
De formule die DUO gebruikt voor het berekenen van het budget voor
onderhoud en beheer gebruikt een percentage dat twee tot drie keer lager is
dan marktconform. Bovendien wordt het berekende budget jaarlijks naar
beneden bijgesteld om te kunnen voldoen aan de lagere door OCW
toegekende budgetten. De consequentie dat dit leidt tot nieuwe verwaarlozing
wordt niet onderkend.
•
Een overzicht van de totale kosten voor het landschap BKP ontbreekt. Dat
komt doordat DUO de kosten van de gebruikte infrastructuur en
ontwikkelomgevingen niet toerekent aan de applicaties, die daarvan gebruik
2 Dit blijkt uit ons onderzoek op basis van de verschillende administraties zoals incidenten,
issuetracking, en broncode-versiebeheer; documentatie en gesprekken met
softwareontwikkelaars. DUO geeft aan dat er wijzigingen zijn die niet doorgevoerd konden
worden, uit de aangeleverde informatie hebben wij dat niet kunnen vaststellen.

Pagina 3 van 6

Adviescollege ICT-toetsing
Datum
27 september 2021

•

maken. Daardoor kunnen vervangingsvoorstellen niet worden beoordeeld op
de werkelijke kosten.
Kostenoverschrijdingen van projecten bij OI-BKP worden geaccepteerd zonder
dat de oorzaak daarvan is bepaald. Hierdoor is niet in beeld of het om
onderschatting gaat of om te veel uitgeven.

Kenmerk
2021-0000486731

D. Technologiekeuze is risicovol
DUO kiest ervoor om haar nieuwe applicatielandschap BKP grotendeels te
ontwikkelen met de regel-gebaseerde ontwikkelomgeving Blueriq. Er zijn twee
belangrijke redenen waarom de inzet van dit platform risicovol is:
•
Het is onzeker of het gekozen platform geschikt is voor het proces Bekostigen
(het belangrijkste proces binnen OI-BKP):
o DUO heeft een haalbaarheidsstudie uitgevoerd, maar daaruit blijkt niet
dat deze technologie passend is. Zo is performance alleen indicatief
bepaald en zijn er geen voorbeelden gevonden van succesvol gebruik van
Blueriq voor processen die vergelijkbaar zijn met Bekostigen.
o Bij de realisatie van Bekostigen heeft het team regelmatig moeite om
problemen voor met de performance op te lossen. Het oplossen van deze
problemen wordt gekenmerkt door onvoldoende inzicht in de werking en
mogelijkheden van Blueriq en door de hoop dat nieuwe versies ervan
soelaas bieden.
•
DUO maakt zich afhankelijk van een niche speler, waarbij de kennis en
ondersteuning van het platform minder dan gangbaar is:
o Blueriq ondersteunt grote releases maximaal twee jaar, terwijl meer dan
vier jaar gangbaar is in de markt. Klanten van systeem- en
platformsoftware hebben er voordeel bij als ze door kunnen ontwikkelen
zonder geconfronteerd te worden met frequente en gedwongen upgrades
naar een hogere release. Dit gaat namelijk gepaard met impactanalyses
en testinspanning die voor rework kunnen zorgen in een lopend
ontwikkeltraject. Dit ervaart DUO al. De consequentie is dat kosten voor
ontwikkeling, maar ook voor onderhoud en beheer hoger worden.
o Het aantal mensen met diepgaande kennis van het platform is beperkt,
wereldwijd hebben circa 320 mensen een Blueriq accreditatie. DUO
probeert dit te ondervangen door 90 medewerkers een training te geven,
en hoopt daarmee de applicaties kunnen onderhouden en uitbreiden. DUO
investeert hiermee fors in een niche technologie, zonder dat deze kosten
zijn meegewogen in een business case.
ADVIES: STUUR GRONDIG BIJ
Met een ongewijzigde aanpak krijgt DUO geen toekomstbestendig applicatielandschap BKP en zal opnieuw verwaarlozing ontstaan. Daar staat tegenover dat
DUO ondanks de verwaarlozing met het huidige landschap BKP haar doelstellingen
haalt en dat het aantal incidenten afneemt. Het was bovendien de afgelopen jaren
wel degelijk mogelijk om het landschap BKP aan te passen en verbeteringen door
te voeren. Het huidige landschap BKP heeft nog steeds voldoende basis om

Pagina 4 van 6

Adviescollege ICT-toetsing
Datum
27 september 2021

structureel te verbeteren, door het te ontwikkelen en daar waar het echt nodig is
gericht onderdelen te vervangen om knelpunten op te lossen.

Kenmerk
2021-0000486731

Het realiseren van een toekomstbestendig applicatielandschap BKP zal echter niet
eenvoudig zijn: een professionaliseringsslag is noodzakelijk. Wij hebben daarom
de volgende adviezen:
1. Werk aan een professionele cultuur
Wij denken dat als DUO structurele verbeteringen door wil voeren in haar
landschap BKP, ze professioneler moet werken. Dit vraagt om een cultuur waarin
beslissingen genomen worden met voldoende onderbouwing, waarin elkaar
kritisch bevragen de norm is evenals het elkaar aanspreken op resultaat. Deze
verandering kan niet gemaakt worden zonder dat extra deskundigheid wordt
aangetrokken.
Een professionele cultuur stelt DUO in staat de uitvoering van de IT-processen te
verbeteren. Bijsturing is daarom nodig op de volgende gebieden:
•

•
•
•

Strategische en tactische sturing, waarbij besluiten weloverwogen genomen
kunnen worden, op basis van feiten en passend in de lange termijn
doelstelling.
Onderhoud- en beheerprocessen: het reserveren van voldoende budget en
managementaandacht waardoor verwaarlozing wordt voorkomen.
Ontwikkelprocessen, met tenminste verstevigingen van de gebieden eisenanalyse, ontwerpen, bouwen en testen, zodat het eindresultaat voorspelbaar
wordt.
Financieel beheer, om de doelmatigheid van het onderhoud en beheer te
bepalen.

2. Ga anders om met vernieuwing
Wij vinden het onverstandig om door te gaan met Blueriq bij de vernieuwing van
het proces Bekostigen. Het is onzeker of dit gaat leiden tot een
toekomstbestendig landschap BKP. Pak de vernieuwing anders aan en behoud
focus op stapsgewijze verbetering van het huidige landschap BKP:
•

•

Voer structurele verbeteringen door in het huidige landschap BKP:
o Identificeer urgente knelpunten in het bedrijfsproces en los deze met
voorrang op.
o Pak achterstallig onderhoud aan, zoals het upgraden van verouderde
versies, het wegnemen van noodverbanden en het aanvullen van kennis
en documentatie. Vervang waar nodig verouderde software.
o Onderzoek de grootste technische problemen. Vereenvoudig en verbeter
het bestaande landschap BKP waar mogelijk zodat deze problemen
structureel worden opgelost.
Richt DAB anders in:
o Bepaal met behulp van een goede businesscase wat de beste oplossing is:
het proces Voorzieningenplanning vervangen met behulp van Blueriq of
verbeteren op basis van het huidige landschap BKP.
o Verklein de scope van DAB door de doorontwikkeling van
Statustoekenning en Bezwaar en Beroep voort te zetten met de reeds
voor deze processen ingerichte teams.

Pagina 5 van 6

Adviescollege ICT-toetsing
Datum
27 september 2021

Als DUO besluit door te gaan met Blueriq voor het proces Bekostigen is het
noodzakelijk dat DUO serieus rekening houdt met tegenslagen en zich nu al
voorbereidt op een terugvalscenario met de huidige applicaties. Hierin moet in elk
geval een oplossing worden gemaakt voor de nieuwe wetgeving rond de
vereenvoudiging van het bekostigen van het primair en voortgezet onderwijs. Dit
dient zeer strak te worden gemonitord.

Kenmerk
2021-0000486731

***
Tot slot danken wij alle geïnterviewden voor hun medewerking en openheid. Wij
hopen dat wij met dit advies een bijdrage kunnen leveren aan het beter beheren
en onderhouden van de systemen van BKP en dat lessen breder kunnen worden
toegepast binnen DUO.
Met de meeste hoogachting,
namens het Adviescollege ICT-toetsing,

w.g.

w.g.

prof. dr. J.P.J. Verkruijsse RE RA
Voorzitter

drs. S.J. van Amerongen
Secretaris-directeur

Pagina 6 van 6