Rapportage
Evaluatie
Innovatiebudget
September 2021

Dit document is geschreven onder verantwoordelijkheid van Selwyn Moons (Partner) en onder leiding van Lars Canté (Director). Dit document wordt u door hen aangeboden vanuit PricewaterhouseCoopers Advisory N.V. Het betreft
dus geen document opgesteld door accountants. Wij hebben aangereikte informatie (zowel schriftelijk als mondeling) dan ook voor juist en volledig aangenomen en hier geen controle of andere vorm van toetsing op uitgevoerd.
U blijft te allen tijde zelf volledig verantwoordelijk voor eventuele op het document gebaseerde besluitvorming en/of beslissing(en). PwC aanvaardt geen enkele aansprakelijkheid (ook niet voor nalatigheid) voor de gevolgen van enig
handelen of nalaten door u en/of derden op basis van (de inhoud van) het document, en wijst iedere verantwoordelijkheid, zorgplicht en/of aansprakelijkheid - contractueel, op basis van onrechtmatige daad (inclusief nalatigheid) of
anderszins - af voor enig besluit en/of enige beslissing waaraan (de inhoud van) het document ten grondslag ligt.
Wij stellen dit document uitsluitend op voor u als opdrachtgever, in overeenstemming met de opdrachtbevestiging. Wij accepteren richting geen enkele andere partij aansprakelijkheid of zorgplicht op basis van de inhoud van dit
document. Het Ministerie van BZK vrijwaart PwC te allen tijde tegen vordering van derden die voortvloeien uit of samenhangen met door ons verrichte werkzaamheden in relatie tot het Ministerie, behoudens indien en voor zover
sprake is van opzet of bewuste roekeloosheid van PwC.
In het geval u een verzoek ontvangt op grond van de Wet openbaarheid van bestuur (hierna: “Wob verzoek”) ter zake van schriftelijke uitingen van PwC, verzoeken wij u ons hierover (in ieder geval voorafgaand aan de te nemen
beslissing op het Wob verzoek en derhalve voorafgaand aan eventuele openbaarmaking) schriftelijk te informeren. In dat kader is het verzoek ons alle beschikbare achtergrondinformatie met betrekking tot het Wob verzoek te
verstrekken. Daarbij stelt u ons in de gelegenheid om onze visie te geven op het Wob verzoek, vooruitlopend op de door u te nemen beslissing op het Wob verzoek.
Het document en de bijbehorende managementsamenvatting alsmede enig geschil voortvloeiende uit of verband houdend met (de inhoud van) het document worden uitsluitend beheerst door Nederlands recht.
Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
2

Inhoudsopgave

1. Introductie

5

2. Bevindingen

9

3. Aanbevelingen

15
Bijlagen

Bijlage B1. Resultaten survey

19

Bijlage B2. Beschrijving en resultaten uitgevoerde case studies

20

Bijlage B3. Overzicht gebruikte bronnen

26

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
3

Managementsamenvatting
PwC heeft de evaluatie van het Innovatiebudget uitgevoerd gericht op het verder verbeteren van de werking van het
Innovatiebudget. Wij presenteren in dit rapport de bevindingen, verbetermogelijkheden en aanbevelingen. Hieronder volgt
een samenvatting van het rapport.
Aanleiding, aanpak en conclusie
•

•

•

Aanleiding. In 2019 is door het ministerie van Binnenlandse Zaken en Koninkrijksrelaties
(BZK) gestart met het Innovatiebudget Digitale Overheid (hierna IB). Het Innovatiebudget
ontvangt daarvoor middelen (€18 mln. voor de periode 2019 – 2021) uit de Investeringspost
(beleidsartikel 6.6.), gericht op innovatie en doorontwikkeling van de basisinfrastructuur en
de brede digitale agenda. Daarmee stelt het Innovatiebudget financiering beschikbaar voor
innovatieve projectvoorstellen die gedaan kunnen worden door alle overheden, ten
behoeve van het aanjagen van digitale innovatie bij de overheid. PwC evalueert in opdracht
van het ministerie van BZK het IB. De evaluatie heeft tot doel inzichten te bieden voor een
mogelijk vervolg van het Innovatiebudget.
Aanpak. PwC heeft het onderzoek in de periode mei - september 2021 verricht. Voor de
evaluatie heeft PwC informatie verzameld bij de voornaamste betrokkenen, waaronder
projectleiders, juryleden en projectleiders van geselecteerde en afgewezen projecten.
Hiervoor zijn 14 interviews uitgevoerd en zijn twee surveys gehouden, onder projectleiders
van geselecteerde en afgewezen projecten. Daarnaast zijn voor 8 geselecteerde projecten
case studies uitgewerkt.

Conclusie. Het IB heeft in de onderzochte periode effectief bijgedragen aan het financieren
van innovatie projecten van uiteenlopende overheidsorganisaties en
samenwerkingsverbanden. Daarmee is het IB erin geslaagd innovatie aan te jagen. Voor
een groot deel van de projecten is het zeker of waarschijnlijk dat deze zonder de
financiering niet waren gerealiseerd. De analyse van de projectresultaten laat zien dat
hiermee wordt bijgedragen aan verbeterde dienstverlening aan burgers en bedrijven. Wij
merken daarbij verschillende verbetermogelijkheden en aanbevelingen op om het IB nog
effectiever te maken, en een goede balans tussen vrijheid en standaardisatie te bewaken.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Bevindingen en aanbevelingen
•

Succesfactoren. De belangrijkste succesfactoren die bijdragen aan de goede werking van
het innovatiebudget, zijn de beoordelingsvorm die bestaat uit een jury met een gevarieerde
en complementaire set aan expertises (die mogelijk nog verder kan worden aangevuld), het
proces waarin actief en continu verbeteringen worden doorgevoerd, en de vrijheid die
geboden wordt aan projecten om te innoveren en te leren.

•

Knelpunten. Knelpunten die belemmerend werken zijn er ook. Zo is de uitbetaling van
projecten soms traag verlopen, mede door de diversiteit aan partijen met eigen
financieringsregelingen. Dit heeft tot vertraging bij projecten geleid. Ook is beperkt zicht op
de relatie van het Innovatiebudget voor financiering tot andere financieringsinstrumenten
voor innovatie. Tenslotte lijkt het innovatiebudget nog vooral gebruikt te worden door de
grotere gemeenten en zijn middelgrote en kleinere gemeenten nog minder betrokken.

•

Verbetermogelijkheden. Om nog effectiever te zijn kan het IB inzetten op het organiseren
van kennisdeling. Hieraan lijkt bij alle partijen behoefte om te zorgen dat ervaringen en
resultaten kunnen worden uitgewisseld en projecten worden verbonden. Ook zou
betrokkenheid tijdens de looptijd van projecten (zowel van de projectorganisatie als de jury)
worden gewaardeerd. Daarnaast kan het Innovatiebudget verbeteren door in de
terugkoppeling van de beoordeling meer (inhoudelijke) feedback te geven aan aanvragers.

•

Aanbevelingen. Blijf de vrije ruimte bieden in het besluitproces en de uitvoering waarmee
het Innovatiebudget zijn succes heeft behaald, maar regel de processen (verder) in. Zorg
met name voor duidelijke tijdslijnen voor indieners en communiceer hier regelmatig over en
stimuleer en faciliteer leereffecten (met uitwisseling). Continueer daarbij wel de innovatieve
werkvormen (pitches, video’s) en de rol en expertise van de jury, met aandacht voor de
aansluiting van de expertise bij de inhoudelijke focus van het IB.
september 2021
4

Introductie

1. Introductie

Introductie
Dit onderzoek richt zich op de prestaties en effecten van het Innovatiebudget, waaronder de projecten die binnen het
Innovatiebudget zijn aangevraagd en uitgevoerd, en benoemt de succesfactoren, knelpunten en verbeterpunten hierbij.

Introductie en onderzoeksvragen
Het Innovatiebudget. Het Innovatiebudget omvat €18 mln. aan middelen die over een periode van drie jaar (2019 tot en met 2021)
beschikbaar zijn gesteld. Overheden – ministeries, provincies, gemeenten, waterschappen en uitvoeringsorganisaties – kunnen
aanspraak op dit budget maken door innovatieve voorstellen in te dienen die betrekking hebben op digitale dienstverlening of
vraagstukken inzake overheidsdienstverlening in te brengen waar een innovatieve digitale oplossing voor wordt gezocht. In 2019, 2020
en 2021 zijn respectievelijk 20, 24 en 20 innovatieprojecten toegekend en gefinancierd uit het Innovatiebudget.

Onderzoeksaanpak

Desk
research

Doel van de evaluatie. Het doel van deze evaluatie is om inzicht te geven in de doeltreffendheid en de doelmatigheid van het
Innovatiebudget als instrument en zo lessen te trekken over de opzet, voorwaarden en/of processen van het Innovatiebudget. De
evaluatie geeft daarmee input voor de beslissing over de vorm waarin het Innovatiebudget Digitale Overheid na 2021 al dan niet wordt
voortgezet. De evaluatie dient tevens als input voor de beleidsdoorlichting van artikel 6.6 rondom de Investeringspost (IP).
Samenhang met aanverwante onderzoeken. Het Innovatiebudget valt onder beleidsartikel 6.6 en de Investeringspost, die tevens door
PwC geëvalueerd worden. Deze evaluatie naar de besteding van de middelen uit het Innovatiebudget vult de lopende onderzoeken goed
aan op de specifieke resultaten van dit (deel)instrument. Beleidsartikel 6.6 omvat de Investeringspost in de periode 2019-2021. De
Investeringspost (omvang ca. €145 mln) bestaat voor een beperkt deel uit het Innovatiebudget (ca. € 18 mln).

Survey

Wat zijn de prestaties en effecten van het Innovatiebudget?

2.

Voor wie en in welke omstandigheden werkt het Innovatiebudget, en wanneer niet?

3.

Wat zijn de bevindingen en aanbevelingen?

Leeswijzer. Deze rapportage is gestructureerd langs bovenstaande drie onderzoeksvragen. In Hoofdstuk 2 beschrijven wij de prestaties
en effecten van het Innovatiebudget (vraag 1) en de succesfactoren, knelpunten en verbetermogelijkheden met betrekking tot het
Innovatiebudget (vraag 2). In Hoofdstuk 3 gaan we in op de aanbevelingen (vraag 3). Nevenstaand geven wij de gevolgde
onderzoeksaanpak.
Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Wij hebben een survey uitgezet onder ca. 160
indieners van toegewezen (57) én afgewezen
IB-projecten (102). Deze is ingevuld door 32
projectleiders (56%) en door 24 indieners van
afgewezen projecten (24%). Bijlage B1 bevat
uitgebreidere resultaten uit de survey.

Interviews

In totaal hebben wij zes interviews gevoerd
met betrokkenen van BZK en RVO, juryleden
en andere betrokkenen. Ook hebben wij acht
interviews gehouden met de projectleiders van
de geselecteerde cases projecten.

Case study

Wij hebben een verdiepend onderzoek gedaan
in acht projecten (case studies), waarvan drie
projectanalyses voor de evaluatie van de
Investeringspost. Bijlage B2 geeft een
uitgebreide beschrijving van de bevindingen
van de door ons uitgevoerde case studies.

Onderzoeksvragen. De volgende onderzoeksvragen zijn aan PwC gesteld aangaande de bestedingen uit het Innovatiebudget 2019 –
2021:

1.

Wij hebben een 20-tal documenten
geanalyseerd, waaronder projectvoorstellen,
voortgangsrapportages en algemene
Innovatiebudget projecten (bijv. de handleiding
Innovatiebudget 2021). Bijlage B3 geeft een
overzicht.

september 2021
6

1. Introductie

Kenmerken Innovatiebudget
Het Innovatiebudget omvat €18 mln. aan middelen die over een periode van drie jaar (2019 t/m 2021) beschikbaar zijn
gesteld. Projecten dienen een bijdrage te leveren aan verbetering van de (digitale) overheidsdienstverlening d.m.v. een
innovatieve digitale oplossing. Het Innovatiebudget werkte in de betreffende periode volgens onderstaande regelingen.
Proces

Financieel

Criteria en randvoorwaarden

Het selectieproces kent de volgende fases:

Totaalbudget €6 mln + co-financiering:

De volgende criteria gelden in de selectie:

1 februari tot 31 maart jaar T: Indiening

•

Beoordelingscriteria:

Indienen van projectvoorstellen met begroting
(waarbij onderscheid wordt gemaakt tussen
kleine en grote projecten) *

2019/2020: Indieners dragen zelf minstens
20% van de totale projectkosten.

•

Onderscheidenheid

Daarnaast zijn onderstaande randvoorwaarden
van toepassing voor projecten om in
aanmerking te komen voor financiering uit het
Innovatiebudget:

•

2021: Onderscheid tussen kleine en grote
projecten. Kleine projecten (< €200k) dienen
te voldoen aan verplichte eigen bijdrage van
25%. In aanvang geld hiervoor een apart
budget van €2 mln.

•

Betrokkenheid gebruikers

Randvoorwaarden:

•

Kennis en kunde

•

•

Herbruikbaarheid en transparantie

Publieke samenwerking tussen tenminste
twee overheidsinstanties

•

Toekomstplan

•

Cofinanciering en aantoonbaarheid
bestuurlijke commitment

•

Bijdragen aan verbetering dienstverlening

April – mei jaar T: Beoordeling voorselectie
en beoordeling jury

Juni jaar T: Definitief besluit

•

Grote projecten (> €200k) dienen te voldoen
aan een verplichte eigen bijdrage van 40%.
Bijdrage IB is maximaal €800k per project. In
aanvang geldt hiervoor een apart budget van
€4 mln.

Algemene Maatregel van Bestuur biedt
juridische grondslag voor het uitkeren van IB
aan provincies en gemeenten
* In de handboeken (2020 en 2021) wordt ook een
tweede spoor benoemd voor vraagstukken die de
indienende overheid wil oplossen met innovatieve
ondernemers via het StartupInResidenceProgramma. Hier is echter geen gebruik van gemaakt
en dit is in 2021 niet meer aangeboden. Wij merken
op dat dit nog wel in het handboek wordt genoemd.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

De regievoerder ontvangt 80% van het gegunde
bedrag als voorschot en de resterende 20% na
goedkeuring van het eindrapport
Tussenevaluatie vindt na 5 maanden plaats.
Eindevaluatie omvat de realisatie van de
begroting, de bestede uren van fte, overzicht
van de bereikte resultaten en geleerde lessen.

(Eventueel) aanvullende criteria:

•

Maximaal 12 maanden looptijd

•

Regionale spreiding

•

Openbaarheid van indiening

•

Samenstelling van de groep aanvragers

•

•

Type activiteiten (bijv. onderzoek of
implementatie)

Rapportage waarin de geleerde lessen
openbaar worden gedeeld

•

Communicatie-uitingen benoemen IB

Uitgangspunten:
•

Toegankelijk, begrijpelijk voor iedereen

•

Onze dienstverlening maken we
persoonlijker

Bron: BZK, Handboek Innovatiebudget Digitale Overheid 2021, 14 dec. 2020
Bron: BZK, Innovatiebudget, van https://www.digitaleoverheid.nl/overzicht-van-alleonderwerpen/innovatie/Innovatiebudget/criteria/

september 2021
7

1. Introductie

Evaluatiekader
Ons evaluatiekader bestaat uit de principes van doeltreffendheid en doelmatigheid en criteria voor innovatie(projecten). Deze
kaders stellen ons in staat om de resultaten te meten (vraag 1), het effect in termen van succesfactoren en knelpunten te
beoordelen tegen relevante criteria (vraag 2) en zo passende aanbevelingen te kunnen doen (vraag 3).
Principes van doeltreffendheid en doelmatigheid

Principes van innovatiecriteria

Bij onderzoek naar doeltreffendheid wordt onderzocht of de ingezette middelen en instrumenten
hebben geresulteerd in de beoogde resultaten en maatschappelijke impact. Met doelmatigheid
wordt onderzocht of de directe resultaten (outputs) efficiënt tot stand zijn gebracht en of dezelfde
effecten (outcome en impact) tegen zo laag mogelijke kosten gerealiseerd zijn. Onderstaande
figuur geeft het theoretisch analysekader achter doelmatigheid en doeltreffendheid weer.

Bij het evalueren van de resultaten van het Innovatiebudget kijken wij niet alleen naar de
(monetaire) kosten/opbrengsten maar ook de bijdrage aan andere doelen. Omdat juist bij
investering in innovatie resultaat niet alleen wordt bepaald door het slagen van een project, nemen
wij ook andere opbrengsten mee, zoals lessen leren op kleine schaal, kennis met een nieuwe
technologie op doen en samenwerking op gang brengen. Hiermee sluiten wij ook aan bij de criteria
die het Innovatiebudget zelf hanteert bij de selectie (en wij ex-durante evalueren).
Stap
Outcome
Outcome

Iedere stap

Outcome
(volgende fase)

Criteria
•
•

•

•

Voordeel gebruiker
(burger/bedrijven)
Voordeel (overheids)organisatie
vergroot

Lessen geleerd / kennis gedeeld
(toepassen)

Gereed voor opschalen

Beoordeling binnen evaluatie
•

Vergroten gebruikersgemak

•

Besparen kosten/tijd

•

Hergebruik faciliteren (open source)

•

Overkomen drempels en voorkomen
duplicatie

•

Toepassen / gebruiken van lessen

•

Implementeren van opschalingsplannen

Inzichten in werking Innovatiebudget door middel van casestudies, survey en verdiepende interviews

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
8

Bevindingen

2. Bevindingen | input en activiteiten

2.1 Portfolioanalyse van prestaties en effecten van het
Innovatiebudget
Op basis van analyse van het projectenportfolio van het Innovatiebudget geven wij een aantal kwantitatieve inzichten.
Opvallend is dat veel projecten in 2019 en 2020 meer bijdragen dan het vereiste minimum en dat veel projecten zonder de
financiering van het IB niet (zouden) zijn gerealiseerd.
Analyse van de projectportfolio

Toelichting op analyse

Figuur 1. Aantal kleine (<€200.000) en grote (>€200.000) projecten in 2019 en 2020 *

•

Het aantal kleine en grote projecten is redelijk in balans met een toename van kleine projecten
in 2020.

•

De verhouding tussen de bijdrage uit het Innovatiebudget en de bijdrage vanuit de indienende
organisatie ligt over de hele portfolio genomen boven het minimum aandeel van 20%. In 2020 is
totale eigen bijdrage (28%) wel lager ten opzichte van 2019 (34%).

•

Alle projecten hebben (op basis van de begrote uitgaven) voldaan aan de eis van minimaal 20%
eigen inbreng (co-financiering). Het valt op dat met name in 2020 het aantal projecten dat meer
dan 20% aan eigen inbreng heeft groot is, terwijl de gemiddelde eigen bijdrage lager is.

•

Uit de survey blijkt dat de financiering van het Innovatiebudget van belang is voor de realisatie
van projecten. Veel afgewezen projecten zijn (of zouden bij geselecteerde projecten naar
verwachting) zonder de financiering van het Innovatiebudget niet (zijn) gerealiseerd.

15
11

9

11

9

9
Kleine projecten (<€200.000)
Grote projecten (>€200.000)

2019

2021

2020

Figuur 2. Innovatiebudget en eigen bijdrage in absolute bedragen (*1.000)
€4.936

€4.765
€2.510

66%

72%

34%
2019

€1.869

Innovatiebudget

28%

Eigen bijdrage

2020

Figuur 3. Aantal projecten dat als eigen bijdrage exact het minimum van 20% inbracht en aantal projecten waarvan de
eigen bijdrage boven het minimum lag in 2019 en 2020
22

Figuur 4. Aantal afgewezen projecten dat is gerealiseerd
zonder financiering van het Innovatiebudget

Figuur 5. Het aantal goedgekeurde projecten dat verwacht
zonder Innovatiebudget te zijn gerealiseerd
25

18

12
Projecten boven minimum

8
2
2019

Projecten minimum

6

Niet gerealiseerd

2020

* NB. Het onderscheid tussen grote en kleine projecten is door het innovatiebudget pas voor de ronde in 2021 geïntroduceerd.
Voor de portfolioanalyse maken wij dit onderscheidt ook voor de projecten in 2019 en 2020.
Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Ja
Gerealiseerd

Afgewezen

Misschien
4
1

Nee

Toegekend

september 2021
10

2. Bevindingen | output en outcome

2.2 Casus-specifieke bevindingen en conclusies ten aanzien van
prestaties en effecten van het Innovatiebudget
Op basis van acht case studies hebben wij observaties ten aanzien van de behaalde prestaties (resultaten) en de
voornaamste innovatie-effecten (gereed voor opschaling en/of geleerde lessen). Deze resultaten geven een beeld van de
effecten die met de projecten binnen het Innovatiebudget zijn bereikt. Bijlage B2 bevat een uitgebreide samenvatting van
Kwalitatieve prestaties en effecten (case studies)
onze bevindingen per casus.
Tabel 1a. Overzicht van de case studies (1/2)
Casus

Uitvoerder en start
project

Omvang project

Resultaten bereikt?

Gereed voor opschaling?

Lessen geleerd en toegepast?

Conclusie innovatief
karakter

Case 1: Doorontwikkeling NL
Design systems

Gebruiker centraal &
ICTU – okt. 2020

€176k (en €45k
eigen middelen)

Nee – white label bleek
te ambitieus

Nee

Ja – samenwerking met gemeentes en het bij
elkaar brengen van design systems

Innovatief karakter niet
waar kunnen maken.
Had potentie maar
resultaten niet behaald

Case 2: Publieke controle op
algoritmes

Gemeente Rotterdam –
jan. 2021

€318k (en €119k
eigen middelen)

Deels – project loopt
nog

Vooralsnog niet. Het belang van het project is
reeds op rijksniveau erkend met scopewijziging
tot gevolg.

Ja – bijvoorbeeld dat naast transparantie over
het algoritmeregister ook interne governance
en controle van belang is

Draagt bij aan een
nieuwe denk- en
werkwijze bij overheden

Ja – Gedragsonderzoek
uitgevoerd

Nee - generieke meldfunctie bleek onhaalbaar

De inzichten die uit het gedragsonderzoek zijn
verkregen worden nu onder andere door ACM
gebruikt om het melden voor burgers
toegankelijker en eenvoudiger te maken, door
onder andere beter aan
verwachtingsmanagement te doen.

Resultaten niet behaald
maar lessen geleerd.
Resultaat hooguit
toepasbaar in niche.

Ja – koppeling data- en
kennisinstrumenten
gemaakt

Ja - voor het in stand houden van de koppeling
zijn geen middelen benodigd maar om de
functionaliteiten te kunnen doorontwikkelen zijn
wel extra middelen nodig. Mogelijk wordt dit
project als fieldlab meegenomen in het IP
project Digital Twins

Ervaringen beleidsmedewerkers zijn
meegenomen in het ontwikkelen van de tool.
Lessen uit het project worden (mogelijk) in
vervolgproject toegepast.

Ook andere projecten
richten op 3D
visualisatie. Het project
draagt met pilots bij aan
de brede ontwikkeling.

Ja – meetmethodes
getest en bruikbaar
beoordeeld

Ja – Volgende stap (buiten dit project) is om te
zorgen dat dit project één standaard wordt in
Nederland. In dat kader hebben verschillende
provincies al data aangeleverd om de AI te
trainen.

Ja – het uitvoeren van veldvalidatie is van
grote meerwaarde

Resultaten behaald en
opschaalbaar.
Tegelijkertijd alleen
toepasbaar in niche

Case 3: Eenvoudig melden bij
toezicht

ACM – Q2 2020

€57k (en €15k eigen
middelen)

Case 4: Generieke koppeling
data- en kennisinstrumenten
aan 3D-omgevingen

RIVM - Jan. 2021

€204k (en €59k
eigen middelen)

Case 5: Zicht op de
stikstofketen: van bron tot effect

Provincie Fryslân Nov. 2020

€308k (en €90k
eigen middelen)

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
11

2. Bevindingen | output en outcome

2.2 Casus-specifieke bevindingen en conclusies ten aanzien van
prestaties en effecten van het Innovatiebudget (vervolg)
Op basis van de acht case studies hebben wij observaties ten aanzien van de behaalde prestaties (resultaten) en effecten
(gereed voor opschaling en/of geleerde lessen).
Kwalitatieve prestaties en effecten (case studies)
Tabel 1b. Overzicht van de case studies (2/2)
Casus

Uitvoerder en start
project

Omvang project

Resultaten bereikt?

Gereed voor opschaling?

Lessen geleerd en toegepast?

Conclusie innovatiekracht

Ja – project is na IB gecontinueerd met eigen
middelen

Ja – de kennis is onder andere gebruikt bij
een project waarbinnen de dienstverlening
naar burgers met schulden werd verbeterd

Resultaten behaald maar a
priori weinig innovatief (website
op orde). Inzichten uit project
alleen toepasbaar binnen
niche.
Resultaten behaald en
opschaalbaar, deels ook al
gebeurd. Daarmee bijgedragen
aan innovatiekracht.

Ja

Case 6 IP: Verbeteren
samenwerking tussen
overheden voor familiaire
bewindvoerders

Rechtspraak en CJIB

€128k (en €46k
eigen middelen)

Ja – de website is
verbeterd

Case 7 IP: Perceelwijzer

Waterschap Aa en
Maas, de Dommel, de
Brabantse Delta

€150k (en €90k
eigen middelen)

Ja – app is voor
iedereen te
downloaden

Ja – reeds landelijk opgeschaald

Kennis is gedeeld buiten de waterschappen
voor bredere toepassing.

Gemeente Utrecht

€150k (en €50k
eigen middelen)

Deels – veel
componenten zijn af,
maar de app is nog niet
gereed

Ja (zodra de app gereed is) –
opschaalbaarheid is bij ontwikkeling app
meegenomen

Ja – zaakgericht werken en manier van
componenten opbouw

Case 8 IP: Huwelijksplanner cf.
Common Ground

Generieke bevindingen uit case studies
•

Projecten hebben betrekking op diverse fasen in de ontwikkelcyclus van een innovatie. Het Innovatiebudget financiert uiteenlopende projecten, waaronder projecten die toezien de laatste stap in de
ontwikkelcyclus zoals verbeteren effecten voor eindgebruikers (de perceelwijzer app), maar ook projecten die bijdragen aan kennisontwikkeling en onderzoek naar behoeftes van burgers (project ‘melden
misstanden bij toezichthouders’).

•

Projectdoelen worden vaak bereikt. Hoewel in veel gevallen de oorspronkelijke aanpak en doelstelling wordt bijgesteld (bijvoorbeeld omdat deze te ambitieus is, zoals bij NL Design System, of juist omdat
er breder politiek belang ontstaat, zoals bij publieke controle op algoritmes), worden de doelen van de tot nu toe onderzochte projecten grotendeels bereikt. Bij enkele projecten leidt dit tot gebruik door
eindgebruikers (zoals perceelwijzer) of door dienstverleners (zoals inkoopkaders voor algoritmes).

•

Niet alle projecten dragen direct bij aan de innovatiekracht binnen de overheid. Bij een aantal projecten blijft concreet resultaat of (vastlegging van) geleerde lessen uit, en/of is er geen sprake van
opschaalbaar vermogen van de oplossing. In dergelijke gevallen plaatsen wij kanttekeningen bij de bijdrage van het project aan de innovatiekracht van de overheidsdienstverlening.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
12

2. Bevindingen | output en outcome

2.3 Reflecties op prestaties en effecten van het Innovatiebudget
vanuit interviews en de survey
Projectindieners en – uitvoerders zijn over het algemeen positief over de (organisatie van) het Innovatiebudget. Wel zijn er
lessen en leerpunten.
Algemene reflectie op de prestaties en effecten (bron: interviews & survey)
Over het algemeen geven respondenten aan de organisatie van het Innovatiebudget als positief te
ervaren. Met name op de volgende aspecten:
•

Nieuwe samenwerking wordt gestimuleerd. Het tot stand brengen van nieuwe
samenwerkingsverbanden is een eis om aanspraak te maken op het Innovatiebudget. Daarbij
kan een grote variëteit aan organisaties aanspraak maken op het budget. Daardoor starten
partijen nieuwe samenwerkingsverbanden, zoals bijvoorbeeld die tussen gemeenten in
Maastricht en Friesland.

•

‘Bottom-up’ innovatie wordt gestimuleerd. Doordat middelen beschikbaar zijn voor het
financieren van digitalisering in de publieke sector groeit het bewustzijn dat uitvoerders zelf het
initiatief voor verandering kunnen nemen (bottom-up). Deze bottom-up benadering bevordert
bovendien ook het draagvlak.

•

Projecten met een verhoogd risico krijgen alsnog het ‘zetje in de rug’. Het doel van het
Innovatiebudget is om het ‘zetje in de rug’ te geven voor projecten die elders geen financiering
krijgen omdat ze een verhoogd risico hebben. Het Innovatiebudget maakt dat (een deel van)
deze projecten wel uitgevoerd kunnen worden.

•

Goede projectselectie waarbij innovatieve projecten worden geselecteerd die impact
hebben op de burger en niet per se voor aan de innovatiecurve zitten. Om aanspraak te
maken op het Innovatiebudget moet het project innovatief zijn. Echter hoeft het project niet
vooraan in de innovatiecurve te zitten. Projecten worden met name geselecteerd op basis van
de impact die het heeft op de burger en samenleving.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

•

Overdraagbaarheid van projecten vergt inzet. Betrokkenen merken op dat er meer tijd gaat
zitten in het overdragen van een nieuwe werkwijze of systeem dat in een andere context is
ontwikkeld. Dit draagt er ook aan bij dat organisaties met belangstelling in voorkomende
gevallen toch afzien van deelname aan of toepassen van een reeds bij een bestaand
Innovatiebudget-project ontwikkelde vernieuwing. Een nadere analyse zou echter nodig zijn om
te bepalen of en hoe hergebruik effectief gestimuleerd kan worden (vanuit het Innovatiebudget).

september 2021
13

2. Bevindingen

2.4 Succesfactoren en knelpunten
Op basis van de uitkomsten van de survey, de casestudies en interviews identificeren wij een aantal succesfactoren en
knelpunten. Deze leggen de basis voor de verbetermogelijkheden gericht op de prestaties en processen, zowel voor BZK (en
RVO) als voor projectindieners en -uitvoerders (deel 3).
Succesfactoren

Knelpunten

Verschillende succesfactoren worden benoemd die het succes van het Innovatiebudget versterken:

Zowel uit de interviews als de survey komen een aantal knelpunten naar voren:

•

De jury beschikt over een gevarieerde en complementaire set aan expertises en vervult
een centrale rol in het proces, wat effectieve projectselectie bevordert. De jury beschikt
over verschillende expertises (markt, overheid en universiteit) en vervult een soort ‘venture
capitalist’ rol waarin ze de projecten niet enkel beoordelen, maar ook bekijken vanuit het
oogpunt om kansen te identificeren en suggesties voor verbeteringen door te voeren. De criteria
zijn derhalve ook niet ‘hard’, waar elk project vanuit een deskundige blik wordt bekeken. Dit
wordt door betrokkenen als zeer positief ervaren. Daarbij zijn de meeste juryleden meerdere
jaren betrokken, waardoor zij ook voortbouwen op kennis en ervaringen uit eerdere jaren.

•

De uitbetaling van projecten verloopt traag. De uitbetaling van projectfinanciering blijkt een
uitdaging omdat veel verschillende partijen aanspraak kunnen maken op het budget, met elk
hun eigen regels voor financiering. Gevolg is dat middelen halverwege het jaar pas beschikbaar
komen, wat tot ergernis leidt bij de projectleiders. De survey laat zien dat een derde van de
projectleiders de snelheid als ondermaats ervaart. Projectleiders geven aan daardoor (1) of hun
eigen middelen aan te wenden, of (2) later te starten met het project. Wel zijn er reeds acties
ondernomen om een deel van deze regels te overkomen, zoals het opzetten van een ‘algemene
maatregel van bestuur’ voor financiering middels het Gemeentefonds en Provinciefonds.

•

Verbeteringen worden actief en continu doorgevoerd. Het Innovatiebudget doorloopt een
wendbaar en flexibel proces waarin continu verbeteringen worden doorgevoerd door de
uitvoerders (BZK/RVO). Zo is mede op basis van de feedback van de indieners de procedure
aangepast naar een online procedure waarin voorstellen digitaal worden ingediend. Het effect
van de verbeteringen is positief: juryleden geven aan dat het projectteam ook het afgelopen jaar
(2021) het beoordelingsproces zeer gedegen heeft voorbereid.

•

Er is geen (duidelijk) overzicht van alternatieve financieringsbronnen. Een criterium voor
het verkrijgen van financiering is dat ergens anders geen financiering te verkrijgen is. Het blijkt
echter lastig om hier volledig zicht op te hebben. Op dit moment is de kennis van financiering
geborgd met de betrokkenheid van een wethouder in de jury. Ook geldt dat in voorkomende
gevallen projecten financiering ontvangen vanuit verschillende vergelijkbare fondsen (zoals het
Innovatiefonds van VNG als onderdeel van het IP project Common Ground & Innovatie).

•

Projecten worden wendbaar gehouden om innovatie te stimuleren. Er wordt getracht om te
projecten in het begin ‘klein’ te houden waardoor het de ‘mammoettanker’ van de overheid een
beetje kan bijsturen. Derhalve is het voor een project ook niet benodigd om vooraf de
mogelijkheid tot opschaling volledig uit te denken omdat dat innovatie remt. Ook mag het
innovatie project ‘falen’, mits het in dat geval de geleerde lessen meeneemt en verspreidt.

•

Onevenredige deelname grote gemeentes. Met name de grote gemeentes die capaciteit
hebben (subsidieadviseurs) om subsidies te benutten, maken gebruik van het Innovatiebudget.
Middelgrote en kleinere gemeentes maken hier nog minder gebruik van. Daarbij merken wij op
dat het betrekken van kleinere gemeenten bij projecten van grotere gemeenten door het
Innovatiebudget wel wordt gestimuleerd.

•

Het netwerk en de expertise van BZK bevordert de goede uitvoering van het
Innovatiebudget. Het goede netwerk en de expertise die BZK heeft met betrekking tot de
Digitale overheid zorgt mede voor het succes van het gehele ‘Innovatiebudget’ project. Daarbij
zijn de lijnen kort met belanghebbende partijen met zicht op overige innovatietrajecten (zoals
het innovatiefonds voor kleinere projecten van VNG) en geven zij input op de indieningen.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
14

Aanbevelingen

3. Conclusies en aanbevelingen

3. Verbetermogelijkheden m.b.t. indieners en uitvoerders van
projecten
Op basis van het verrichte onderzoek en de opgehaalde informatie bij betrokkenen beschrijven wij hier de
verbetermogelijkheden en aanbevelingen voor het Innovatiebudget.
Verbetermogelijkheden
•

Organiseer kennisdeling. Nadat financiering wordt toegekend worden (bijna) geen activiteiten
ondernomen om te zorgen dat kennisuitwisseling plaats kan vinden en resultaten breder worden
gedeeld, tussen deelnemers, maar ook met juryleden en belanghebbenden. Dit wordt als een
gemis ervaren. Voorbeelden om dit te realiseren zijn een terugkomdag (deze is in verband met
COVID niet georganiseerd) en een database met open source resultaten. Daarnaast draagt het
Innovatiebudget nog niet structureel bij aan het verbinden van vergelijkbare initiatieven. Deze
‘kruisbestuiving’ tussen projecten is echter zeer gewenst. In enkele gevallen wordt dit al gedaan
maar vooral ad hoc en later in het beoordelingsproces (bijv. door juryleden). BZK/RVO kan hier
een faciliterende rol spelen, maar ook uitvoerders kunnen actiever ervaringen uitwisselen.

•

Organiseer (inhoudelijke) betrokkenheid tijdens de looptijd van het project. De bijdrage
van het Innovatiebudget aan de projecten is met name financieel, daar waar inhoudelijke
betrokkenheid ook gewenst is. Verschillende projectleiders merken op dat gedurende het
project meer betrokkenheid vanuit het Innovatiebudget (bijv. rond resultaten) was verwacht. De
kennismakingsgesprekken die vanuit het Innovatiebudget zijn georganiseerd zijn positief
ervaren. Door (informeel) op de hoogte te blijven van projecten kan ook beter verbindingen
worden gelegd tussen projecten. Ook juryleden zagen een kans om gedurende het project op
de hoogte te blijven en waar mogelijk mee te denken vanuit hun specifieke expertise.

•

Voorzie projecten van feedback vanuit de beoordeling. Een groot aantal afgewezen
projecten merkt in de survey op dat zij bij de afwijzing geen onderbouwing hebben ontvangen.
Het geven van een meer inhoudelijke schriftelijke terugkoppeling kan een eenvoudige manier
zijn om een leereffect te bewerkstelligen voor toekomstige projectaanvragen en om bijvoorbeeld
afgewezen projecten aan lopende of geselecteerde initiatieven te koppelen.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

•

Zorg dat projecten aansluiten bij bredere digitale innovatiedoelen. Betrokkenen (waaronder
juryleden) merken op dat de aard van sommige projecten meer richting ‘automatisering’ gaan
dan naar innovatie, terwijl de IB projecten conform de doelstelling IB zouden moeten bijdragen
aan het verbeteren van de innovatiekracht van overheidsdienstverlening. Daarbij zijn projecten
vaak nog gericht op het oplossen van een één digitaal nicheprobleem van de betreffende
indiener, zoals de casus-review ook laat zien.

•

Denk vooraf na over potentie van opschaling. Een kenmerk van succesvolle innovatie in
overheidsdienstverlening is dat oplossingen schaalbaar zijn. Hier zien wij een aandachtspunt,
aangezien uit de casusreview is gebleken dat over dit element niet altijd vooraf nagedacht is en
daarmee niet doorvertaald is naar projectplan en –uitvoering. Hiertoe kan ook, op een meer
structurele basis, aansluiting gezocht worden met de Investeringspost (IP). Uit interviews
begrijpen wij dat dit tot dusver enkel ad hoc gebeurt. Overweeg tot slot om in de uitvraag van
het investeringsvoorstel kritisch te bezien of en hoe een voorgestelde innovatie opschaalbaar is
naar kleinere gemeentes, aangezien zichtbaar is dat met name grotere gemeentes gebruik
maken van het Innovatiebudget.

september 2021
16

3. Conclusies en aanbevelingen

3. Aanbevelingen voor uitvoering van het innovatiebudget
Aanbevelingen
•

Verbeter de informatie op de website en de bekendheid van het innovatiebudget (quick
win). Informatie over het Innovatiebudget is momenteel te vinden op zowel de website van BZK
als RVO. Voor het grote merendeel van de aanvragers (90%) is de informatie vindbaar en
helder. Echter wordt door enkele aanvragers een gebrek aan duidelijke randvoorwaarden en
criteria benoemd. Daarnaast brengt dit het nodige versiebeheer met zich mee en zou gedacht
kunnen worden aan een oplossing met een centrale informatieverstrekking. Om te zorgen voor
een diversifiëring van de aanvragers zou het innovatiebudget nog meer onder de aandacht
kunnen worden gebracht (50% van de afgewezen aanvragers ziet hier mogelijkheid toe).

•

Zorg voor duidelijke tijdslijnen voor indieners. Uit interviews met indieners van projecten
komt naar voren dat de termijnen van beslissen en beschikken over de toekenning van
middelen niet altijd bekend zijn. Begrijpelijkerwijs moeten hierbij de momenten die relevant zijn
uit de rijksbegrotingscyclus en daaruit volgende P&C cyclus van BZK gerespecteerd worden.
Wij bevelen aan de planning voor beslissen en beschikken naast deze cycli te leggen en
partijen aan beide kanten (zowel indieners, als de directie FEZ van BZK) hierover te informeren
en hun gevraagde medewerking binnen deze cycli vooraf door te spreken.

•

Stimuleer en faciliteer leereffecten. Innovatieprojecten mogen falen, mits ervan geleerd wordt.
Het is van belang dat deze geleerde lessen gedeeld worden zodat deze breder gebruikt kunnen
worden. Stimuleer en faciliteer dit als organisator van en verantwoordelijke voor het
Innovatiebudget. Bijvoorbeeld door middelen van het aanreiken van formats, het maken van
promofilmpjes (ook van ‘gefaalde’ projecten) en maak hierbij ook goed gebruik van de website.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

•

Houd vast aan een zo kort en bondig mogelijk beoordelingsproces. Het is van belang dat
de administratieve last (zowel aan de kant van BZK als aan de kant van de indiener) in
verhouding staat tot de omvang van het toe te kennen project(bedrag). Het Innovatiebudget
heeft een omvang van ca. € 6 mln. per jaar waarbinnen tientallen projecten uitgevoerd worden.
Dit betreffen daarmee relatief kleine projecten. Hier op aanvullende aanbevelingen zijn: (1)
beperk het aantal te betrekken stakeholders in de voorselectie, (2) minimaliseer de
voorselectie(eisen), (3) breng zoveel mogelijk eenduidigheid in het aanvraag- en
erkenningsproces aan om te zorgen dat project op gelijke wijze worden beoordeeld. Voor de
goede orde vermelden wij de zeer positieve ervaringen van het overgrote deel van de indieners
over de rolopvatting en taakuitoefening door de jury.

•

Behoud binnen de jury de benodigde expertises en denk na over het werken in termijnen.
Volgens betrokkenen bestaat de jury momenteel uit expertises die aansluiten bij het type
projecten (digitale dienstverlening). Gezien vraagstukken zoals ethiek (publieke waarden)
prominenter worden voor de digitale overheid, dient overwogen te worden hoe de juryselectie
aan te sluiten op de vraagstukken waar het Innovatiebudget zich op zal richten. Ook is
voorgesteld om te overwegen om termijnen (van bijv. 4 jaar) aan te stellen waarin een jurylid
actief is. Op deze manier blijft kennis in de jury geborgd en wordt ook een vernieuwing van
expertises bewerkstelligd.

•

Continueer de innovatieve werkvormen van het Innovatiebudget. Aanvragers en andere
betrokkenen zijn te spreken over de manier waarop andere vormen van presentatie zoals de
pitch en het maken van een filmpje worden toegepast in de beoordeling. Bij een vervolg is het
aan te bevelen dergelijke creatieve werkvormen te blijven toepassen.

september 2021
17

Bijlagen

B1. Resultaten survey

Resultaten survey
Hieronder presenteren wij voor een aantal survey vragen de uitkomsten. De survey is ingevuld door indieners en/of
projectleiders van toegewezen (n= 32) en afgewezen (n= 24) investeringsvoorstellen*. De survey bevatte scoringsvragen en
open vragen waarin respondenten hun ervaring nader hebben toegelicht.
Proces voor verkrijgen van middelen
•

Het valt op dat de afgewezen projecten de bekendheid van het Innovatiebudget en de mate
waarin dit onder de aandacht wordt gebracht vaker als onvoldoende beoordelen.

Figuur 4: Wordt het Innovatiebudget voldoende onder de aandacht gebracht? (n = 43)

•

Middelen komen pas halverwege het jaar waardoor projecten (1) geld moeten voorschieten als
zij al willen starten met het project of (2) pas later in het jaar starten en vertraging oplopen én
het geld toch binnen het jaar op moeten maken.

•

Aanbeveling: neem de beschikking als startpunt en communiceer over de (verlate) beschikking
van middelen.

Figuur 6: Hoe heeft u het proces van het verkrijgen van middelen ervaren? (1 = zeer goed; 5 is zeer slecht) (n = 30)
52%

50%

44%

26%

22%

6%

Toegewezen projecten (n = 27)

Onvoldoende

2.93

2.68

Neutraal
Toegewezen projecten

Voldoende

Afgewezen projecten (n = 16)

Snelheid

Communicatie

Betrokkenheid opdrachtgever

Beoordelingsproces
•

Het proces wordt nu regelmatig als een ‘black box’ ervaren: zet duidelijke tijdslijnen uit over het
proces met daarin weergegeven wat op iedere moment kan worden verwachten.

•

•

Verbeter ook de transparantie over het beoordelingsproces: geef daartoe vooraf meer
duidelijkheid over de kaders en randvoorwaarden en geef pro-actief uitgebreidere feedback.
Veel afgewezen indieners geven aan hieraan behoefte te hebben.

De geringe inmenging van de opdrachtgever van BZK wordt als positief ervaren omdat het niet
voelt alsof iemand continu over je schouder mee kijkt. Het zou wel fijn zijn als de afspraken over
de eventuele verantwoording wat helderder worden gemaakt.

•

Er bestaan veel onbenutte kansen in het verbinden van projecten door de opdrachtgever. Ook is
inbreng van de expertise van de jury tijdens de projecten gewenst.

Figuur 5: Hoe heeft u het proces van de beoordeling van de investeringsvoorstellen ervaren? (1 = zeer goed; 5 is zeer
slecht) (n = 54)
2.65

2.90

2.13

2.81

2.32

3.10

Figuur 7: Hoe heeft u de betrokkenheid van opdrachtgever (BZK) tijdens de uitvoering van het project ervaren? (1 = zeer
goed; 5 is zeer slecht) (n = 30)
2.57

2.60

Toegewezen projecten
Toegewezen projecten

Afgewezen projecten
Snelheid

Kwaliteit

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Communicatie

Ondersteuning

*Niet alle respondenten hebben de vragenlijst afgemaakt of elke vraag ingevuld waardoor het aantal gegeven
antwoorden per vraag varieert. Het aantal ingegeven antwoorden is per vraag apart weergegeven.

Communicatie
september 2021
19

B2. Case studies

Geselecteerde case studies
Wij hebben onderstaande case studies nader geanalyseerd op bereikte resultaten en ervaring met het Innovatiebudget. Een
gedetailleerde beschrijving van de eerste 5 case study projecten, die specifiek voor deze evaluatie zijn onderzocht*, volgt op
de volgende pagina’s.
Tabel 2. Geselecteerde case studies
Geselecteerde casus

Uitvoerder

Case 1: Doorontwikkeling NL Design System

ICTU – Programma Gebruiker Centraal

Case 2: Publieke controle op algoritmen

Gemeente Rotterdam

Case 3: Eenvoudig melden bij toezicht

Autoriteit Consument en Markt (ACM)

Case 4: Generieke koppeling data- en kennisinstrumenten aan 3D-omgevingen

RIVM

Case 5: Zicht op de stikstofketen: van bron tot effect

Provincie Fryslân

Case 6: Perceelwijzer (Evaluatie IP)

Waterschap Aa en Maas

Case 7: Verbeteren samenwerking tussen overheden voor familiaire bewindvoerders (Evaluatie IP)

Rechtspraak

Case 8: Huwelijksplanner cf. Common Ground (Evaluatie IP)

Gemeente Utrecht

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

*De overige drie case studie projecten zijn onderzocht als onderdeel van de evaluatie van de Investeringspost en zijn in
het betreffende onderzoek nader uitgewerkt.

september 2021
20

B2. Case studies

Case 1: Doorontwikkeling NL Design System
Casus

Uitvoerder en start
project

Omvang project

Resultaten bereikt?

Case 1: Doorontwikkeling NL Design
systems

Gebruiker centraal & ICTU
– okt. 2020

€176k (en €45k eigen
middelen)

Nee – white label bleek te
ambitieus

Beschrijving project
•

•

Om diensten en websites van de overheid toegankelijker
en begrijpelijker te maken voor iedereen, dienen deze
diensten en websites consistent ontworpen te zijn. Dit
project heeft als doel om via een gezamenlijk Design
System dit te implementeren.
Op basis van een reeds bestaande PoC wordt gewerkt
naar een doorontwikkeling van dit systeem. Eindproduct
van dit project is een white label variant waarop andere
partijen verder kunnen bouwen. Hierbij wordt de
samenwerking gezocht in een community met
organisaties die gebruik gaan maken van het Design
System. Het project is pas een succes als de
componenten hergebruikt worden door
overheidsorganisaties.

•

Dit project betreft de opschalingsfase, waarin een reeds
bestaand PoC verder wordt ontwikkeld om in geval van
succes verder geïmplementeerd te kunnen worden.

•

Het gevraagde budget betreft €176k. De eigen bijdrage
betreft €45k en wordt opgebracht door Gebruiker
Centraal van ICTU.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Gereed voor opschaling? En/of ..

Nee

.. lessen geleerd en toegepast?

Ja – samenwerking met gemeentes en het bij elkaar
brengen van design systems

Resultaten en bevindingen
•

Het succes van het Design System kan niet bij oplevering geëvalueerd worden, maar pas wanneer het Design System voor
een langere periode gebruikt is. Dit is omdat het succes van dit project getoetst wordt op gebruik en adoptie van het systeem

•

Het project is in oktober 2020 gestart nadat het kernteam was geformeerd.

•

In de beginfase lag de nadruk op het inventariseren van de obstakels en mogelijkheden binnen de community. Daarna is
begonnen met het doorontwikkelen van het Design System

•

Het ontwikkelen van een white label bleek te ambitieus. Het doel is nu om zoveel mogelijk van elkaar te leren om de
verschillende design systems dichter bij elkaar te brengen.

•

Er wordt veel samengewerkt met gemeentes

•

Borging: het project loopt t/m Q2 2021. Daarna is de borging onzeker en bestaat er de mogelijkheid dat wanneer de IBmiddelen opgemaakt zijn, het project wordt stopgezet

september 2021
21

B2. Case studies

Case 2: Publieke controle op algoritmes
Casus

Uitvoerder en start
project

Omvang project

Resultaten bereikt?

Case 2: Publieke controle op
algoritmes

Gemeente Rotterdam –
jan. 2021

€318k (en €119k eigen
middelen)

Deels – project loopt nog

Beschrijving project
•

Overheden worden bewust van de impact van
algoritmes op publieke waarden. Middels het project
‘Publieke controle op algoritmes’, trachten de G4, de 12
Provincies, de Politie en Rijkswaterstaat een antwoord
hierop te formuleren door gezamenlijk
beleidsinstrumenten te ontwikkelen op het gebied van
algoritmes. Hierbij wordt nadrukkelijk aandacht
geschonken aan het ontwikkelen van instrumenten
samen met de doelgroep; dit kunnen burgers, bedrijven
of ambtenaren zijn. De ambitie is om aan het eind van
dit project 5 beleidsproducten te hebben die de
standaard zijn binnen Nederland.

•

De 5 beleidsproducten betreffen een algoritmekader,
een bezwaarprocedure, een algoritmeregister,
contractvoorwaarden en een instructiekit.

•

Dit project betreft de opschalingsfase, waar het de beste
instrumenten wil opschalen om wildgroei te voorkomen.
Het project heeft een looptijd januari tot en met
december 2021

•

Het gevraagde budget betreft €318k. De eigen bijdrage
betreft €119k en wordt opgebracht door de
deelnemende partijen.

Gereed voor opschaling? En/of ..

Vooralsnog niet

.. lessen geleerd en toegepast?
Ja – bijvoorbeeld dat naast transparantie over het
algoritmeregister ook interne governance en controle
van belang is

Resultaten en bevindingen
•

Het programma Publieke Controle op Algoritmes is onder de regie van de gemeente Rotterdam in 2020 informeel gestart.
Door een veelvoud van redenen, waaronder de COVID-crisis, de verlate uitkering van het Innovatiebudget en verschuivingen
in prioriteiten, heeft de focus gelegen op het inrichten van de programmaorganisatie om in 2021 een succesvolle doorstart te
kunnen maken.

•

Op basis van voortschrijdend inzicht en als gevolg van de verlate toekenning van de middelen zijn de doelstellingen gewijzigd,
de scope aangepast en is voor 2021 een breed gedragen plan gemaakt voor de uitwerking van de beoogde producten.
Hiermee betreft de looptijd geheel 2021.

•

Middels kennissessies met een mix van beleidsadviseurs, technische experts, juridisch experts en eindgebruikers zijn de
reeds ontwikkelde producten geanalyseerd: zo zijn een kwaliteitskader (Politie) en registers (Amsterdam, Utrecht) besproken
bij de desbetreffende werkgroepen.

•

Op de vijf beleidsonderdelen zijn de volgende resultaten behaald:
1. Algoritmekader: de werkgroep is samengesteld, een gedragen definitie van het algoritmekader is opgesteld, het
kwaliteitskader van de Politie is uitgediept en het plan voor uitwerking is afgestemd. Er is een ethisch kader
opgesteld door de Universiteit Utrecht en een juridisch kader door Pels Rijcken.
2. Inkoopvoorwaarden: de werkgroep is samengesteld (inclusief de VNG) en de communicatiestrategie is opgesteld.
Om een kader voor de inkoopvoorwaarden op te stellen is er casuïstiek nodig - daar wordt nu naar gezocht.
3. Algoritmeregister: de werkgroep is samengesteld, het register van Amsterdam en Utrecht is geëvalueerd, de
doelstellingen en de scope zijn verbreed en afgestemd en het plan van aanpak is afgestemd.
4. Bezwaarprocedure: de werkgroep is samengesteld, de aanpak is gewijzigd en afgestemd, de impact van een
algoritme op bezwaarschrift is bij één organisatie onderzocht. Bijeenkomsten met burgers konden vanwege corona
helaas niet doorgaan, in plaats daarvan zijn enquêtes uitgezet.
5. Instructiekit: Er is nog niet gestart met de werkzaamheden voor de instructiekit.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
22

B2. Case studies

Case 3: Eenvoudig melden bij toezicht
Uitvoerder en start
project

Casus

Case 3: Eenvoudig melden bij
toezicht

ACM – Q2 2020

Omvang project

€57k (en €15k eigen
middelen)

Beschrijving project
•

Het doel van dit project is om het voor burgers
makkelijker te maken om problemen en misstanden te
melden bij toezichthouders zoals ACM en KSA.

•

Uit een rondgang langs toezichthouders is gebleken dat
burgers vaak niet goed op de hoogte zijn van dat ze een
probleem kunnen melden, laat staan waar zij dit moeten
doen. Voor toezichthouders is het belangrijk dat burgers
hier wel van op de hoogte zijn.

•

Dit project bevindt zich in de onderzoeksfase waarbij
wordt gekeken naar de behoeftes van de burger en naar
het gedrag rondom meldingen. Met inzichten opgedaan
uit deze onderzoeken willen de toezichthouders een
user interface ontwikkelen.

•

Het gevraagde budget betreft €57k. De eigen bijdrage
betreft €15k en wordt opgebracht door de ACM.

•

De kick-off stond gepland voor Q3 2020, waarna het
project tot Q4 2020 zou lopen.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Resultaten bereikt?

Ja – Gedragsonderzoek
uitgevoerd

Gereed voor opschaling? En/of ..

Nee - generieke meldfunctie bleek onhaalbaar

.. lessen geleerd en toegepast?
De inzichten die uit het gedragsonderzoek zijn
verkregen worden nu onder andere door ACM
gebruikt om het melden voor burgers toegankelijker
en eenvoudiger te maken, door onder andere beter
aan verwachtingsmanagement te doen.

Resultaten en bevindingen
•

Om een goed beeld van de behoeftes van burgers te krijgen bij het doen van meldingen, is een gedragsonderzoek uitgevoerd.
Met informatie uit deze interviews wordt een prototype gebouwd.

•

Het project heeft ca. een maand vertraging opgelopen, waardoor de geplande design sprint nu in januari 2021 plaatsvond.
Deze vertraging had tot gevolg dat een deel van budget niet uitgegeven kon worden omdat de financiële systematiek van ACM
overhevelingen over de jaargrens niet toestaat.

•

Zonder middelen uit IB was het project later, of helemaal niet gestart omdat bij ACM de nadruk ligt bij harde digitale innovatie,
zoals technologische ontwikkelingen, en niet zozeer op gedragsonderzoek.

•

De generieke meldfunctie bleek tijdens het project onhaalbaar omdat er grote verschillen bestaan tussen de soort meldingen
die de verschillende toezichthouders verzamelen. Wel wordt nu onderzocht of een koppeling tussen rijksoverheid.nl en de
ACM gelegd kan worden zodat burgers via die site doorverwezen kunnen worden naar de ACM.

•

De inzichten die uit het gedragsonderzoek zijn verkregen worden nu onder andere door ACM gebruikt om het melden voor
burgers toegankelijker en eenvoudiger te maken, door onder andere beter aan verwachtingsmanagement te doen.

september 2021
23

B2. Case studies

Case 4: Generieke koppeling data- en kennisinstrumenten aan 3D-omgevingen
Casus

Uitvoerder en start project

Case 4: Generieke koppeling data- en
kennisinstrumenten aan 3D-omgevingen

Omvang project

€204k (en €59k eigen middelen)

RIVM - Jan. 2021

Beschrijving project
•

•

Het doel van dit project is om gegevens en
rekeninstrumenten van het RIVM, zoals de Groene
Batenplanner) beschikbaar te maken voor gemeentes.
De gemeentes kunnen deze rekeninstrumenten inzetten
bij ruimtelijke maatregelen om in te schatten wat de
invloed van deze maatregelen zullen zijn op de
leefomgeving
In dit project worden twee casussen uitgewerkt waarin
een koppeling wordt gemaakt tussen de
rekeninstrumenten van het RIVM en 3D-omgevingen
van marktpartijen. Met deze koppeling wordt duidelijk
welke invloed toekomstige ruimtelijke plannen hebben
op de gezondheid van de bewoners. Zo wordt via de
visualisatie bijvoorbeeld inzichtelijk wat de baten zijn
voor de gezondheid van de bewoners, maar ook voor de
WOZ-waarde van hun huizen.

•

Het gevraagde budget bedraagt €204k. De eigen
bijdrage bedraagt €59k.

•

De start van het programma stond gepland op 1
augustus 2020. Uiteindelijk is het project officieel gestart
op 1 december 2020.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Resultaten bereikt?

Ja

Gereed voor opschaling?
Ja - voor het in stand houden van de koppeling zijn geen middelen
benodigd maar om de functionaliteiten te kunnen doorontwikkelen zijn
wel extra middelen nodig. Mogelijk wordt dit project als fieldlab
meegenomen in het IP project Digital Twins

Resultaten en bevindingen
•

Het project is gestart met een zoektocht naar de juist casus die aansluit bij een concrete gebiedsontwikkeling. Er zijn twee
casussen geïdentificeerd in Amersfoort en Zwolle waarbij het instrument in de praktijk kan worden gebracht.

•

Door een vertraging in het verstrekken van de middelen, waardoor het voor het RIVM niet mogelijk was externe partijen te
contracteren, is het project uiteindelijk januari 2021 begonnen. Men is begonnen met de technische koppeling van de 3Domgevingen met het rekeninstrument van het RIVM. Een van de twee 3D-omgevingen is inmiddels operationeel, aan de ander
wordt nog gewerkt.

•

In september wordt de tool daadwerkelijk toegepast op twee verschillende projecten op het gebied van ruimtelijke
ontwikkeling. Daar gaat men ook onderzoeken hoe burgers op de 3D-visualisatie reageren en hoe zij dit waarderen. Bij het
ontwikkelen van de tool zijn ook de wensen van beleidsmedewerkers bij gemeenten meegenomen

•

Vanuit verschillende gemeentes (zoals Utrecht en Eindhoven) is interesse getoond om mee te doen aan dit project. Over de
borging van dit project is nog wel onzekerheid. Voor het in stand houden van de koppeling zijn geen middelen benodigd maar
om de functionaliteiten te kunnen doorontwikkelen zijn wel extra middelen nodig.

•

Mogelijk wordt dit project als fieldlab meegenomen in het IP project Digital Twins.

september 2021
24

B2. Case studies

Case 5: Zicht op de stikstofketen: van bron tot effect
Casus

Uitvoerder en start
project

Omvang project

Case 5: Zicht op de stikstofketen:
van bron tot effect

Provincie Fryslân - Nov.
2020

€308k (en €90k eigen
middelen)

Resultaten bereikt?

Ja

Beschrijving project
•

•

•

Het doel van dit project is om met het gebruik van
nieuwe technieken verfijning aan te brengen in het
meten van stikstof, met de gegevens uit deze metingen
bestaande modellen te valideren om goed zicht te
krijgen op de langetermijngevolgen van verhoogde
stikstofuitstoot.

•

Het gevraagde budget bedraagt €308k. De eigen
bijdrage bedraagt €90k.

•

Het project is met enige vertraging 28 oktober 2020
gestart.

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

Ja – Volgende stap (buiten dit project) is om te
zorgen dat dit project één standaard wordt in
Nederland. In dat kader hebben verschillende
provincies al data aangeleverd om de AI te trainen.

.. lessen geleerd en toegepast?

Ja – het uitvoeren van veldvalidatie is van grote
meerwaarde

Resultaten en bevindingen
•

Voor de drie verschillende thema’s zijn projectplannen geschreven en projectteams samengesteld

•

De resultaten uitgesplitst naar thema:

In dit project worden drie complementaire
meetmethodes gekoppeld. Deze koppeling wordt in drie
thema’s uitgewerkt: (1) uitbreiden van de bestaande
grondmetingen; (2) verspreidingskaarten maken op
basis van satellietdata en (3) met gebruik van AI en
satellietbeelden inzichtelijk maken waar beschermde
heide verdwijnt.
Per bovengenoemd thema geldt een andere fase.
Thema 1 en 2 zijn experimenten. Thema 3 is ook een
experiment, maar ook deels een opschaling omdat het
kennis uit een soortgelijk project gebruikt.

Gereed voor opschaling? En/of ..

•

•

Thema 1: De aannames van de nieuwe meetmethodieken voor grondmetingen zijn getest. Het is nu duidelijk dat de
techniek vruchtbaar is. Middels eigen geld worden de methodieken nog verder verbeterd. Dit thema is daarmee ‘klaar
voor opschaling’.

•

Thema 2: Na een onderzoek naar mogelijke overlap met andere landelijke initiatieven zijn veel kaarten ‘weggegooid’.
De verspreidingskaarten zijn verrijkt middels veldvalidatie. De geleerde les uit dit onderdeel is dat het uitvoeren van
veldvalidatie van grote meerwaarde is. Dit thema heeft daarmee bijgedragen aan de kennis met betrekking tot het
ontwikkelen van kaarten.

•

Thema 3: Middels satellietbeelden en AI is een model ontwikkeld die inzichtelijk maakt waar beschermde heide
verdwijnt. Ecologen in Nederland zijn bevraagd naar hun mening over het model en zij geven het model gemiddeld
een 9+. Dit thema is daarmee succesvol afgerond. De volgende stap (buiten dit project) is om er voor te zorgen dat dit
één standaard wordt in Nederland. In dat kader hebben verschillende provincies al data aangeleverd om de AI te
trainen.

Door het afronden van thema 3 project hoeft in potentie niet iedere 12 jaar een stikstofdossier (kosten €100 mln.) opgesteld te
worden, maar is er real-time inzicht in de verdwijning heide. Kosten van dit projectthema bedroegen in totaal €134k.

september 2021
25

B3. Overzicht gebruikte bronnen

B3. Overzicht van bronnen
Voor dit onderzoek zijn onderstaande bronnen geraadpleegd als onderdeel van de documentstudie.

Documenten
•

BZK, 2019. IP Projectvoorstel ‘Innovatiebudget Digitale
Overheid’.

•

BZK, 2020. Opzet Innovatiebudget Digitale Overheid.

•

BZK, maart 2020. Handboek Innovatiebudget Digitale
Overheid 2020.

•

BZK, december 2020. Handboek Innovatiebudget Digitale
Overheid 2021.

•

BZK, 2020. Totaaloverzicht Innovatiebudget Digitale
Overheid & Conclusies pitches.

•

BZK, Resultaten projecten IDO 2019

•

BZK, Voortgang projecten IDO 2020.

•

BZK, Innovatiebudget, van
https://www.digitaleoverheid.nl/overzicht-van-alleonderwerpen/innovatie/Innovatiebudget/criteria/

•

NLDIGIbeter 2019/2021.

•

PwC, 2021. Evaluatie Investeringspost.

•

Innovatiebudget, 2020. IP Rapportage format 2020.

•

Innovatiebudget, 2020. Evaluatie 2020 en verbeterpunten.

•

Tussen en eindrapportages projecten 2019-2020.

•

Documentatie ontvangen als bijlage van respondenten op de
survey (video’s, foto’s, presentaties, dashboards).

Rapportage Evaluatie Innovatiebudget - 2021-0455/SM/LC/lk
PwC

september 2021
26