Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2011–2012

33 034

Leren van subsidie-evaluaties

Nr. 2

RAPPORT
INHOUD
Blz.
Samenvatting

3

1
1.1
1.2
1.3

Over dit onderzoek
Evalueren van subsidies
Subsidies en de Tweede Kamer: historisch overzicht
Doel- en probleemstelling onderzoek

6
6
7
9

2
2.1
2.2
2.2.1

10
10
10
10
13

2.2.4
2.3

Conclusies en aanbevelingen
Hoofdconclusie
Toelichting bij hoofdconclusie
Aanwezigheid van evaluaties en effectiviteit van
subsidies
Kwaliteit van evaluaties
Leren van subsidie-evaluaties op basis van
onderbouwde informatie
Informeren van de Tweede Kamer
Aanbevelingen

3
3.1
3.2

Reactie ministers en nawoord Algemene Rekenkamer
Reactie minister van Financiën
Nawoord Algemene Rekenkamer

23
23
24

Bijlage 1
Bijlage 2

Overzicht conclusies aanbevelingen en toezeggingen
Politieke aandacht voor subsidies en subsidieevaluaties: historisch overzicht
Aanpak onderzoek, normen en begrippen
Onderzochte subsidies
Gekleurde informatie aan de Tweede Kamer
Fouten en onduidelijkheden in «Subsidieoverzicht Rijk
2010»

27

2.2.2
2.2.3

Bijlage 3
Bijlage 4
Bijlage 5
Bijlage 6

kst-33034-2
ISSN 0921 - 7371
’s-Gravenhage 2011

15
17
19

29
34
37
39
41

Literatuur

44

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

1

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

2

SAMENVATTING
Subsidies vormen een belangrijk sturingsinstrument voor de rijksoverheid
bij het verwezenlijken van haar beleidsdoelen. In 2010 verstrekte de
rijksoverheid volgens het Subsidieoverzicht Rijk 2010 (Financiën, 2010d,
p. 16) 633 verschillende subsidies, waaraan ze in dat jaar naar
verwachting ruim € 6 miljard zou uitgeven.
In hoeverre houdt het Rijk in de gaten of al deze subsidiegelden effectief
worden besteed? Die vraag vormde het vertrekpunt van dit onderzoek. Wij
hebben onderzocht of de subsidies bij het Rijk goed worden geëvalueerd,
in hoeverre het Rijk de uitkomsten van uitgevoerde evaluaties gebruikt en
de lessen daaruit adequaat benut door bijvoorbeeld ineffectieve subsidies
aan te passen of stop te zetten. Ook zijn we nagegaan in hoeverre de
informatie die ministers aan de Tweede Kamer sturen over de effectiviteit
van subsidies een ongekleurde weergave is van de informatie in de
evaluatierapporten.
Conclusies
Onze hoofdconclusie is dat subsidies over het algemeen gebrekkig op
effectiviteit worden geëvalueerd. Hierdoor blijft veelal onbekend of
subsidies effectief zijn. Aan het uitgangspunt van het kabinet-Rutte/
Verhagen dat subsidies ter ondersteuning van bedrijven en ondernemers
alleen moeten worden verstrekt als de effectiviteit ervan is bewezen
(Informateur, 2010, p. 8), wordt dan ook niet voldaan.
Door de gebrekkige wijze waarop subsidies worden geëvalueerd bestaat
het risico dat ministers beslissingen nemen over bijvoorbeeld voortzetting
van een subsidieregeling op basis van niet-onderbouwde informatie over
de effectiviteit ervan. Ook bestaat het risico dat ministers over de
effectiviteit van subsidies niet-onderbouwde informatie aan de Tweede
Kamer verstrekken.
Wij hebben vastgesteld dat deze risico’s in de praktijk ook manifest
worden. De uitkomsten van gebrekkige evaluaties zijn in de door ons
onderzochte periode door bewindspersonen gebruikt bij het nemen van
beleidsbeslissingen en in de verantwoording aan de Tweede Kamer.
Het is onbekend welk deel van de subsidieregelingen binnen de wettelijke
termijn van vijf jaar wordt geëvalueerd.
Wij baseren onze hoofdconclusie op de volgende deelconclusies:
1. Volgens de gegevens van het Rijk zelf zijn 111 van de 633 subsidieregelingen uit in de periode 2005–2009 onderworpen aan een evaluatie.
Dit aantal blijkt niet te kloppen; in werkelijkheid zijn in de periode
2005–2009 slechts 81 subsidies geëvalueerd. De meeste van deze
subsidies zijn echter niet op effectiviteit geëvalueerd. Van de
subsidies die wél op effectiviteit zijn geëvalueerd, is dat zelden
deugdelijk gebeurd: de evaluaties maken niet duidelijk of de
subsidies effectief zijn of niet. Het is onbekend welk deel van de
subsidieregelingen binnen de wettelijke termijn van vijf jaar wordt
geëvalueerd.
2. De onduidelijkheid over de effectiviteit van subsidies is in de meeste
gevallen terug te voeren op gebreken in het evaluatieonderzoek
(gebrekkige onderzoeksopzet) en/of in de verslaglegging daarover
(onduidelijke informatie over hoe het effectiviteitsonderzoek is
uitgevoerd). Bovendien bestaat er vaak geen helderheid over de
doelen van de subsidie; of de door de minister beoogde doelen
gehaald zijn valt dan niet goed te zeggen. Een mogelijke verklaring

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

3

3.

4.

voor de gebrekkige wijze van evalueren is dat er nauwelijks wettelijke
kwaliteitseisen zijn vastgelegd voor subsidie-evaluaties.
De uitkomsten van de door ons beoordeelde effectevaluaties zijn voor
het merendeel gebruikt om subsidies aan te passen. De evaluaties
blijven dus niet onbenut. Wij leiden hieruit af dat er bij de rijksoverheid wel degelijk de intentie bestaat om te leren van subsidieevaluaties. De uitkomsten van de door ons onderzochte evaluaties
hebben echter in geen enkel geval geleid tot het stopzetten van een
subsidie. Met andere woorden: over alle geëvalueerde subsidies is
besloten dat ze – al dan niet in gewijzigde vorm – konden worden
voortgezet. Deze besluiten zijn dikwijls genomen op basis van niet of
onduidelijk onderbouwde informatie.
De Tweede Kamer wordt niet over alle subsidie-evaluaties geïnformeerd. De informatie die de Tweede Kamer wél bereikt, is in de
meeste gevallen gebaseerd op conclusies uit subsidie-evaluaties die
niet deugdelijk zijn onderbouwd. Daar komt bij dat de informatievoorziening aan de Kamer in een aantal gevallen gekleurd is; ministers
melden soms alleen de positieve punten uit subsidie-evaluaties. Ook
de kwaliteit van het rijksbrede Subsidieoverzicht Rijk 2010 schiet op
diverse punten tekort. Een en ander heeft tot gevolg dat de Tweede
Kamer op basis van de door ministers verstrekte informatie geen
goed beeld krijgt van de effectiviteit van subsidies.

Aanbevelingen
Wij bevelen alle ministers aan om de subsidieregelingen die onder hun
verantwoordelijkheid vallen deugdelijk te evalueren op effectiviteit en om
alleen onderbouwde effectiviteitsconclusies te gebruiken voor het trekken
van lessen (c.q. aanpassing van het beleid) en voor het afleggen van
verantwoording aan de Tweede Kamer.
Om goed invulling te kunnen geven aan deze aanbevelingen is het nodig
dat subsidies worden voorzien van een duidelijke doelstelling en dat de
minister van Financiën inhoudelijke kwaliteitscriteria voor effectevaluaties
opstelt. Gelijktijdig met dit rapport publiceren we de Handreiking voor
effectevaluaties van subsidies om ministeries hierbij te ondersteunen
(Algemene Rekenkamer, 2011).
Wij bevelen de ministers verder aan om subsidies waarvan in evaluatieonderzoek is aangetoond dat ze niet effectief zijn, in beginsel stop te
zetten. Indien ministers in zo’n geval besluiten dat een subsidie toch niet
moet worden stopgezet, zouden zij dit met redenen omkleed aan de
Tweede Kamer moeten melden, conform het principe «comply or explain»
(pas toe of leg uit).
Tot slot bevelen wij de minister van Financiën aan om door te gaan met
het publiceren van een Subsidieoverzicht Rijk of een ander, soortgelijk
overzicht. Wij vinden dat de minister de bruikbaarheid, uniformiteit en
consistentie van dit overzicht zou moeten waarborgen door middel van
begrotingsvoorschriften die expliciete vermelding van bepaalde informatie over subsidies verplicht stellen, zoals de doelstelling(en), de beginen einddatum, alle geplande en uitgevoerde evaluaties en de uitkomsten
hiervan (inclusief verwijzingen naar de betreffende evaluatierapporten).
De afzonderlijke ministers zouden op basis van deze voorschriften moeten
zorgen voor een openbaar en raadpleegbaar juist, volledig, actueel en
consistent departementaal subsidieoverzicht.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

4

Reactie minister van Financiën
We hebben een reactie ontvangen op ons onderzoek van de minister van
Financiën, mede namens de ministers van Binnenlandse Zaken en
Koninkrijksrelaties, Buitenlandse Zaken, Defensie, Economische Zaken,
Landbouw en Innovatie, Infrastructuur en Milieu, Onderwijs, Cultuur en
Wetenschap, Sociale Zaken en Werkgelegenheid, Veiligheid en Justitie en
Volksgezondheid, Welzijn en Sport. Het Ministerie van Algemene Zaken
verstrekt geen subsidies en is daarom niet in het onderzoek betrokken.
De minister van Financiën is het op hoofdlijnen eens met onze aanbevelingen, maar plaatst wel een aantal kanttekeningen. De minister geeft aan
dat de informatievoorziening over subsidies aan de Tweede Kamer
transparanter en frequenter zal worden, doordat in het kader van
«Verantwoord begroten» met ingang van het begrotingsjaar 2012 alle
departementale begrotingen zijn voorzien van een bijlage met daarin een
overzicht van alle subsidieregelingen.
De minister is het niet eens met onze aanbeveling om inhoudelijke
kwaliteitscriteria in regelgeving vast te leggen. De minister geeft ook aan
geen voorstander te zijn van het invoeren van een beslisregel op grond
waarvan subsidieregelingen in principe stopgezet moeten worden bij een
negatieve evaluatie.
Nawoord Algemene Rekenkamer
In ons nawoord schrijven wij dat wij er niet van overtuigd zijn dat de
veranderingen die de minister wil doorvoeren voldoende zijn om de
gewenste verbeteringen te realiseren. Wij missen in de reactie van de
minister concrete toezeggingen op twee belangrijke punten:
1. De minister wil geen inhoudelijke kwaliteitscriteria voor effectevaluaties vastleggen, terwijl zulke criteria juist een belangrijke functie
vervullen. Aan de hand van kwaliteitscriteria kunnen beperkingen in
uitgevoerd evaluatieonderzoek duidelijk zichtbaar worden gemaakt.
Inzicht in zulke beperkingen helpt bij het nemen van een onderbouwde beslissing over het al dan niet voortzetten of aanpassen van
een subsidieregeling. Tegelijkertijd is inzicht in de beperkingen van
een evaluatie nuttig bij het informeren van de Tweede Kamer over de
uitkomsten van een evaluatie.
2. Als het gaat om de verbeteringen in de informatievoorziening aan de
Tweede Kamer laat de minister een groot deel van onze aanbevelingen buiten beschouwing. De minister gaat niet in op zijn rol bij het
opstellen van de subsidieoverzichten: waarborgen van de bruikbaarheid, uniformiteit en consistentie. Hij gaat ook niet in op elementen
die van belang zijn om een goed inzicht te geven in de mate waarin
subsidiegelden effectief zijn besteed, zoals de subsidiedoelstelling,
begin- en einddatum en evaluatie-uitkomsten.
Wij vinden dat een minister, als hij ineffectief gebleken subsidies wil
voortzetten, de Tweede Kamer actief moet informeren en in samenspraak
met het parlement een eventuele keuze over voortzetting moet maken.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

5

1 OVER DIT ONDERZOEK
1.1 Evalueren van subsidies
Subsidies vormen een belangrijk sturingsinstrument voor de rijksoverheid
bij het verwezenlijken van haar beleidsdoelen. Een subsidie is volgens de
Algemene wet bestuursrecht (Awb) «... een aanspraak op financiële
middelen, anders dan als betaling voor geleverde goederen of diensten,
die door een bestuursorgaan wordt verstrekt aan burgers, bedrijven en
instellingen met het oog op bepaalde activiteiten van de aanvrager»
(artikel 4:21 Awb).1
In 2010 verstrekte de rijksoverheid volgens het Subsidieoverzicht Rijk 2010
(Financiën, 2010d) 633 verschillende subsidies, waaraan ze in dat jaar naar
verwachting ruim € 6 miljard zou uitgeven.
Subsidieoverzicht Rijk 2010
Het Subsidieoverzicht Rijk 2010 is op 8 maart 2010 door de minister
van Financiën gepubliceerd. Met dit overzicht wil hij voorzien in de
behoefte van de Tweede Kamer aan een overzicht van en inzicht in
subsidieregelingen. Het overzicht is gebaseerd op informatie over
subsidieregelingen en subsidies die door de afzonderlijke departementen is verstrekt.2
Voor het Subsidieoverzicht Rijk 2010 is de definitie van het subsidiebegrip in artikel 4.21 van de Awb als uitgangspunt genomen. In het
subsidieoverzicht staan volgens de toelichting «... subsidieregelingen waarvoor per 1 januari 2010 of op een later moment
aanvragen kunnen worden ingediend, en die in 2010 tot uitgaven
leiden (naar stand van de begroting 2010). Daarnaast zijn subsidies
en bijdragen opgenomen die, voor zover bekend op 1 januari 2010,
in 2010 worden verleend op basis van een kaderwet of begroting
(subsidies met een eenmalig of uniek karakter)» (Financiën, 2010d,
p. 3).

1

Het begrip «subsidie» is in bijlage 3 verder
toegelicht.
Binnen deze werkwijze achtte de minister
van Financiën zichzelf verantwoordelijk voor
de samenstelling van het overzicht, de
helderheid van de gebruikte definities en het
uitvoeren van plausibiliteitschecks op de
aangeleverde informatie. De departementen
waren verantwoordelijk voor het aanleveren
van de gevraagde informatie over hun
subsidies en de juistheid van die informatie.
3
Doeltreffendheid is een synoniem van
effectiviteit. In dit rapport gebruiken we beide
begrippen.
2

De rijksoverheid moet er naar streven subsidiebudgetten effectief te
besteden. «Effectief»3 betekent in dit onderzoek dat het doel van de
subsidie (mede) dankzij de subsidiemaatregelen wordt gerealiseerd. Voor
een goed inzicht in een effectieve besteding van subsidiebudgetten is het
van belang om subsidies regelmatig te evalueren op doeltreffendheid.
Ministers moeten subsidies met een wettelijke grondslag op grond van de
Awb (artikel 4:24) eens per vijf jaar evalueren.
Wanneer uit een evaluatie blijkt dat een subsidie niet effectief is, kan
worden besloten deze aan te passen of stop te zetten. Op deze manier
draagt een regelmatige evaluatie van subsidies bij aan de beheersing van
de overheidsuitgaven.
Dat subsidies ter versterking van de positie van bedrijven en ondernemers
alleen worden verstrekt indien de effectiviteit ervan is bewezen, is als
uitgangspunt opgenomen in het regeerakkoord van het kabinet-Rutte/
Verhagen (Informateur, 2010, p. 8).
In de recente vereenvoudiging en uniformering van de uitvoering en
verantwoording van rijkssubsidies, conform het Kader financieel beheer
rijkssubsidies (Financiën, 2009), is periodieke evaluatie van subsidieregelingen aangewezen als één van de noodzakelijke randvoorwaarden ter
beheersing van het risico op misbruik en oneigenlijk gebruik.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

6

Op grond van het Kader financieel beheer rijkssubsidies worden aan
subsidieverstrekkingen tot € 25 000 geen, en aan subsidieverstrekkingen
tussen € 25 000 en € 125 000 weinig verantwoordingseisen gesteld.
Hierdoor nemen de administratieve lasten voor verlener en aanvrager/
ontvanger af, maar neemt het risico op misbruik en oneigenlijk gebruik en
op een onrechtmatige besteding van deze middelen toe. De Aanwijzingen
voor subsidieverstrekking (AZ, 2009) voorzien daarom in diverse
maatregelen voor het tegengaan daarvan. Een van die stappen betreft het
periodiek evalueren van de subsidieregeling. Dat biedt ook de
mogelijkheid om voor de regeling als geheel na te gaan in hoeverre deze
effectief is.
In ons onderzoek Inzicht in belastinguitgaven, specifieke uitkeringen en
subsidies hebben wij op basis van het Subsidieoverzicht Rijk 2010
vastgesteld dat meer dan de helft van de subsidies van vijf jaar of ouder
niet is geëvalueerd (Algemene Rekenkamer, 2010). In datzelfde onderzoek
constateerden wij dat voor bijna een derde van de subsidies die op
1 januari 2010 liepen en die een verwachte looptijd hadden van meer dan
vijf jaar, nog geen evaluatie was gepland en dat een derde van alle
subsidies geen einddatum had.
In dit vervolgonderzoek hebben we onderzocht wat de kwaliteit is van de
subsidie-evaluaties die wél zijn uitgevoerd. Ook hebben we bekeken hoe
deze evaluaties zijn gebruikt bij de beslissing om beleid te stoppen of –
eventueel in aangepaste vorm – voort te zetten. Verder hebben we
onderzocht wat uit de uitgevoerde evaluaties bleek over de effectiviteit
van de onderzochte subsidies. Tot slot hebben we gekeken naar de
informatievoorziening aan de Tweede Kamer over de uitkomsten en het
gebruik van de uitgevoerde evaluaties.
1.2 Subsidies en de Tweede Kamer: historisch overzicht
Behoefte aan periodieke inventarisatie
Al in een onderzoek van 1989 constateerden wij dat een systematische
inventarisatie en analyse van door de rijksoverheid verstrekte subsidies
ontbrak (Algemene Rekenkamer, 1989). Ons rapport vormde de aanzet
voor het «geïntegreerde subsidiebeleid» van het kabinet-Lubbers III
(1989–1994). Dat beleid kende twee «sporen»: het richtte zich enerzijds op
het verbeteren van het subsidiebeheer (in het bijzonder het voorkomen
van misbruik en oneigenlijk gebruik) en anderzijds op het verbeteren van
het subsidiebeleid (doorlichten van subsidies op actualiteit, effectiviteit en
doelmatigheid). In 1991 publiceerden wij een vervolg op ons onderzoek
uit 1989, waarin we constateerden dat van de 31 financieel omvangrijkste
subsidieregelingen er sinds ons vorige onderzoek 15 toereikend waren
geëvalueerd (Algemene Rekenkamer, 1991).
Bij de voortgangsrapportage over het geïntegreerde subsidiebeleid in mei
1993, ontving de Tweede Kamer van het kabinet het eerste subsidieoverzicht (de «subsidiebijbel»). In het overzicht werd voor elke lopende
subsidie informatie verstrekt over de stand van zaken op beide «sporen».
Deze informatie betrof onder meer de uitgevoerde evaluaties en de
resultaten daarvan. Daarbij werd door het kabinet overigens wel
opgemerkt dat «het karakter van de desbetreffende evaluaties» uiteenliep
(Financiën & Justitie, 1993, p. 12). Het kabinet kondigde aan een algemene
wettelijke regeling voor subsidies te zullen treffen waarin ook een
periodieke evaluatieplicht voor subsidieregelingen zou worden
opgenomen. Verder kondigde het kabinet aan dat ontwerpbegrotingen
voortaan een subsidiebijlage zouden bevatten.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

7

In 1996 publiceerden wij ons vervolgonderzoek naar subsidiebeheer door
de rijksoverheid (Algemene Rekenkamer, 1996). Naar aanleiding hiervan
vroegen Tweede Kamerleden om een (jaarlijkse) inventarisatie van
bestaande subsidieregelingen. Zij refereerden daarbij aan de eerdere
«subsidiebijbel» van het vorige kabinet. De minister van Financiën zegde
toe jaarlijks een «puur feitelijk en objectief» subsidieoverzicht te publiceren aan de hand van de criteria uit het genoemde Rekenkamerrapport.
In de jaren 1998 tot en met 2002 (met een aanvulling in 2003) ontving de
Tweede Kamer jaarlijks een overzicht van lopende rijkssubsidies. Daarna
nam de frequentie van de overzichten sterk af: in 2006 verscheen een
«Instrumentenoverzicht Rijk» en in 2010 (weer) een «Subsidieoverzicht
Rijk».
Behoefte aan duidelijke definities voor subsidieoverzichten
Bij het opstellen van de subsidieoverzichten zijn in de loop der jaren
verschillende definities van «subsidie» gehanteerd. Aanvankelijk werd
uitgegaan van de subsidiedefinitie uit de Miljoenennota 1988 (Financiën,
1987).
Aan die keuze is vastgehouden, ook toen per 1 januari 1998 de subsidiedefinitie in de Awb officieel van kracht werd. Toen in 2003 duidelijk werd
dat sommige ministeries de (striktere) Awb-definitie hanteerden en andere
niet, was dat voor de minister van Financiën aanleiding om, vasthoudend
aan de eerder gekozen bredere subsidiedefinitie in de Miljoenennota 1988,
een aanvulling op het Subsidieoverzicht Rijk 2003 (Financiën, 2003) te
publiceren. In het Algemeen Overleg waarin dit aanvullende rapport
besproken werd, gaven verscheidene Kamerleden aan behoefte te hebben
aan uniformering van definities, regels en afspraken voor het opstellen
van de subsidieoverzichten. De minister van Financiën antwoordde hierop
dat de Awb-definitie een juridisch karakter heeft en voor andere
doeleinden wordt gebruikt.
Het daaropvolgende Instrumentenoverzicht 2006 (Financiën, 2006a) had
een nog bredere scope dan de voorgaande overzichten, namelijk het in
kaart brengen van álle geldstromen die het Rijk verlaten. Pas in het
Subsidieoverzicht Rijk 2010 is gekozen voor de (beperktere) subsidiedefinitie uit de Awb die al sinds 1998 van kracht is.
Behoefte aan inzicht in doeltreffendheid van subsidies
De Tweede Kamer heeft de afgelopen jaren herhaaldelijk aangegeven dat
ze graag inzicht wil hebben in de doeltreffendheid van subsidies en graag
wil worden geïnformeerd over resultaten van subsidie-evaluaties. In geen
van de overzichten die de minister van Financiën na de «subsidiebijbel»
uit 1993 heeft gepubliceerd, is dit echter gebeurd.
In 2002 werd de regering in de «zoeklicht»-motie van Tweede Kamerlid
Van As (Tweede Kamer, 2002), verzocht om alle rijkstaken en in het
bijzonder subsidieregelingen door te lichten op taakstelling, omvang en
kosten. In antwoord op deze motie stuurde het kabinet in 2003 het rapport
Zicht op subsidies naar de Tweede Kamer (Financiën, 2003), met daarin
een inventarisatie van bestaande subsidieregelingen (inclusief de eerder
genoemde aanvulling) en een beoordelingskader op basis waarvan
subsidies kunnen worden beoordeeld. Hierop diende Tweede Kamerlid
Van As een volgende motie in, waarin hij verzocht om alle subsidies te
voorzien van een einddatum waar dat nog niet gebeurd was, en subsidies
alleen te verlengen als ze waren geëvalueerd.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

8

In een Algemeen Overleg over het Instrumentenoverzicht Rijk 2006, zegde
de minister van Financiën toe om in een volgend overzicht informatie op
te nemen over de geplande evaluatiedatum van subsidies en de
vindplaats van de resultaten van evaluaties.
In december 2009, in een Algemeen Overleg over het Kader financieel
beheer rijkssubsidies, gaven verscheidene Kamerleden opnieuw aan
graag frequenter een actueel overzicht te willen hebben van rijkssubsidies
en meer inzicht te willen krijgen in de effectiviteit van verstrekte subsidies.
De minister van Financiën zegde toe een rijksbreed overzicht van
subsidies in het voorjaar van 2010 naar de Tweede Kamer te sturen.
Hierna werd de motie-Weekers aangenomen, waarin de regering werd
verzocht om in het Instrumentenoverzicht dat in 2010 zou verschijnen, een
beoordeling van de doelmatigheid en doeltreffendheid van de verschillende subsidieregelingen op te nemen.
In de toelichting op het Subsidieoverzicht Rijk 2010 gaf de minister van
Financiën aan dat de vermelding van het evaluatiemoment (jaartal) in het
subsidieoverzicht moest worden gezien als de invulling van de motieWeekers. «De beoordeling van de doeltreffendheid en doelmatigheid van
instrumenten wordt gedaan door de beleidsverantwoordelijke ministers
en staatssecretarissen, bijvoorbeeld in beleidsdoorlichtingen die aan de
Tweede Kamer worden aangeboden» (Financiën, 2010a, p. 3–4).
In 1989 constateerden wij dat maar weinig subsidieregelingen met een
substantieel financieel belang goed waren geëvalueerd. In 1996 constateerden we in een vervolgonderzoek dat de helft van de subsidies nog
steeds niet was geëvalueerd. In 2010 stelden wij op basis van de
gegevens in het Subsidieoverzicht Rijk 2010 vast dat meer dan de helft
van de subsidies van vijf jaar of ouder niet was geëvalueerd.
Een uitgebreider historisch overzicht staat in bijlage 2.
1.3 Doel- en probleemstelling onderzoek
Het doel van dit onderzoek is een bijdrage te leveren aan het lerend
vermogen van het Rijk, door inzicht te verschaffen in:
• de mate waarin het Rijk zijn subsidies adequaat op doeltreffendheid
evalueert;
• de lessen die uit deze evaluaties kunnen worden getrokken;
• de mate waarin deze lessen adequaat worden benut om de subsidies
aan te passen of stop te zetten;
• de mate waarin de informatie aan de Tweede Kamer over de effectiviteit van subsidies een ongekleurde weergave is van de informatie uit
de evaluaties.
De probleemstelling van het onderzoek is drieledig:
1. In hoeverre worden de subsidies bij het Rijk goed geëvalueerd?
2. In hoeverre gebruikt het Rijk de uitkomsten van uitgevoerde
evaluaties en benut ze de lessen daaruit adequaat (door bijvoorbeeld
ineffectieve subsidies aan te passen of stop te zetten)?
3. In hoeverre is de informatie die ministers aan de Tweede Kamer
sturen over de effectiviteit van subsidies een ongekleurde weergave
van de informatie in de evaluatierapporten?
In bijlage 3 staat een korte toelichting bij de aanpak van ons onderzoek.
Op onze website www.rekenkamer.nl is een uitgebreide onderbouwing
van ons rapport te vinden.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

9

2 CONCLUSIES EN AANBEVELINGEN
2.1 Hoofdconclusie
Subsidies worden over het algemeen gebrekkig op effectiviteit geëvalueerd. Hierdoor blijft veelal onbekend of subsidies effectief zijn. Aan het
uitgangspunt van het kabinet-Rutte/Verhagen dat subsidies ter versterking
van de positie van bedrijven en ondernemers alleen worden verstrekt als
de effectiviteit ervan is bewezen (Informateur, 2010, p. 8), wordt dan ook
niet voldaan.
Door de gebrekkige wijze waarop subsidies worden geëvalueerd bestaat
het risico dat ministers beslissingen nemen over bijvoorbeeld voortzetting
van een subsidieregeling op basis van niet-onderbouwde informatie over
de effectiviteit ervan. Ook bestaat het risico dat ministers over de
effectiviteit van subsidies niet-onderbouwde informatie aan de Tweede
Kamer verstrekken.
Deze risico’s worden in de praktijk ook manifest. De uitkomsten van
gebrekkige evaluaties zijn in de door ons onderzochte periode herhaaldelijk door bewindspersonen gebruikt bij het nemen van beleidsbeslissingen en in de verantwoording aan de Tweede Kamer.
Een onbekend deel van de subsidies wordt niet binnen de wettelijke
termijn van vijf jaar geëvalueerd.
In de volgende paragrafen lichten we deze hoofdconclusie toe.
2.2 Toelichting bij hoofdconclusie
2.2.1 Aanwezigheid van evaluaties en effectiviteit van subsidies
De meeste subsidies zijn in de periode 2005–2009 niet op effectiviteit
geëvalueerd. Van de subsidies die wél op effectiviteit zijn geëvalueerd, is
dat zelden deugdelijk gebeurd: de evaluaties maken niet duidelijk of de
subsidies effectief zijn of niet. Een onbekend deel van de subsidies wordt
niet binnen de wettelijke termijn van vijf jaar geëvalueerd.
Uit figuur 1 blijkt dat het Subsidieoverzicht Rijk 2010 (Financiën, 2010d)
633 subsidies vermeldt. Bij 111 subsidies daarvan is aangegeven dat ze
zijn geëvalueerd in de periode 2005–2009. In werkelijkheid zijn slechts 81
subsidies geëvalueerd, waarvan 59 op effectiviteit: voor 42 van de 111
subsidies bleek de evaluatie niet te bestaan, en evaluaties van 22 andere
subsidies gingen niet over de effectiviteit van die subsidie. De evaluaties
van de resterende 47 subsidies betroffen wel de effectiviteit. Daarnaast
bleken er van twaalf subsidies wel effectevaluaties te bestaan, hoewel
deze niet in het subsidieoverzicht stonden vermeld. In totaal waren dus 59
subsidies op effectiviteit geëvalueerd.
We hebben 50 van deze 59 subsidies in ons onderzoek betrokken. Samen
hadden deze subsidies voor 2010 een budget van € 654 miljoen.1
De effectiviteit van deze 50 subsidies is in 53 evaluaties onderzocht.

1

In bijlage 3 is de selectie meer in detail
beschreven. Op grond van het Subsidieoverzicht Rijk 2010 is te berekenen dat de door ons
onderzochte subsidies een budget voor 2010
vertegenwoordigen van € 725 miljoen, maar
uit ons onderzoek blijkt dat er enkele fouten in
de budgetten zitten, waardoor het werkelijke
bedrag op € 654 miljoen uitkomt.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

10

Figuur 1 Hoeveel subsidies zijn op effectiviteit geëvalueerd en door ons onderzocht?

Aantal subsidies volgens Subsidieoverzicht Rijk

633*

Aantal subsidies dat volgens
Subsidieoverzicht Rijk is geëvalueerd

111
Aantal subsidies dat werkelijk is geëvalueerd

81

47

22

12

Aantal subsidies op
effectiviteit geëvalueerd

59

47 Geëvalueerd op
effectiviteit
22 Geëvalueerd, maar
niet op effectiviteit
12 Geëvalueerd op
effectiviteit, maar
niet in Subsidieoverzicht Rijk vermeld

Aantal subsidies dat door ons
is onderzocht
50**
* Het werkelijke aantal subsidies is onbekend; zie de toelichting in § 2.2.4.
** Zie bijlage 3 voor een toelichting op de selectie.

Hoewel de 53 evaluaties betrekking hebben op de effectiviteit van de
betreffende subsidies, maken de meeste van deze evaluaties niet duidelijk
of de subsidies werken of niet. In slechts negen gevallen kunnen we op
basis van de evaluatie met zekerheid iets zeggen over (in)effectiviteit: in
vier gevallen is aannemelijk gemaakt dat de betreffende subsidie in ieder
geval deels wel werkt. Het budget voor 2010 voor deze subsidies bedroeg
volgens het Subsidieoverzicht Rijk 2010 € 50,4 miljoen. In vijf (andere)
gevallen is op grond van de evaluatie aannemelijk dat de subsidie in ieder
geval deels niet werkt. Het budget voor de betrokken subsidies bedraagt
voor 2010 € 60,8 miljoen.1 Van de rest van het door ons onderzochte
subsidiebudget 2010 (€ 542,6 miljoen) is het, ondanks de beschikbaarheid
van effectevaluaties, onbekend of het effectief is besteed.
1

Een belangrijke kanttekening bij dit bedrag is
dat meer dan de helft van dit bedrag, € 31,7
miljoen, subsidiegelden uit het Filmfonds
betreft. Van de Filmfondssubsidies is maar een
zeer beperkt deel geëvalueerd. Van het
grootste deel van het fonds is niet onderzocht
of het effectief is. De conclusie «niet effectief»
heeft dus slechts betrekking op een klein deel
(hooguit enkele miljoenen euro’s) van de
€ 31,7 miljoen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

11

Figuur 2 Hoeveel evaluaties geven inzicht in de effectiviteit van de subsidie?

Wel inzicht in effectiviteit: 9
In ieder geval deels effectief: 4
Subsidiebudget 2010 € 50 miljoen

In ieder geval deels niet effectief: 5
Subsidiebudget 2010 € 61 miljoen

5
4
Geen inzicht in effectiviteit: 44
Subsidiebudget 2010 € 543 miljoen

44

Ministers moeten op grond van de Algemene wet bestuursrecht (Awb)
subsidies met een wettelijke grondslag eens per vijf jaar evalueren. In
eerder onderzoek (Algemene Rekenkamer, 2010, p. 36) constateerden we
dat van de subsidies die vijf jaar of langer lopen1 59% niet was geëvalueerd. In dit onderzoek constateren we dat het Subsidieoverzicht Rijk
2010 veel fouten en onduidelijkheden bevat (zie daarover § 2.2.4), onder
meer over de begindatum van een subsidie. Daardoor is het precieze
aantal subsidies dat (niet) tijdig is geëvalueerd en het precieze aantal
subsidies ouder dan vijf jaar dat nog niet is geëvalueerd, onbekend.
Schema 1 Schematische indeling van de subsidies van het Rijk, verdeeld naar al dan niet
tijdige naleving van de evaluatieverplichting
Aantal subsidies volgens Subsidieoverzicht Rijk
633*

Subsidies vijf jaar of ouder**
Niet of niet tijdig
geëvalueerd

Tijdig
geëvalueerd

Subsidies jonger dan vijf jaar**
Niet geëvalueerd

Tijdig
geëvalueerd

* Het werkelijke aantal subsidies is onbekend; zie de toelichting in § 2.2.4.
** De grootte van de hokjes is niet meer dan illustratief; de werkelijke omvang is niet bekend.

Voor een onbekend aantal subsidies, dat echter waarschijnlijk groter is
dan de genoemde 45, geldt derhalve dat de verplichting om de subsidie
eens in de vijf jaar te evalueren niet is nagekomen en dat het desbetreffende ministerie zichzelf en de Tweede Kamer de kans ontnomen heeft om
van de resultaten van een evaluatie te leren.

1

Op dit moment betreft dit 45 subsidies.

De fouten en onduidelijkheden in het Subsidieoverzicht Rijk 2010 hebben
ook gevolgen voor het inzicht in de stand van zaken op de motie-Van As
uit 2003. In deze motie heeft de Tweede Kamer het kabinet verzocht om
alle bestaande subsidies en subsidieregelingen te voorzien van een
einddatum. In ons vorige onderzoek (Algemene Rekenkamer, 2010, p. 42)
constateerden we dat 38% van de lopende subsidies (238 subsidies) geen
einddatum had. Ook van de einddata in het Subsidieoverzicht Rijk 2010

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

12

weten we echter niet in hoeverre die juist zijn. Daarom is ook onbekend
hoeveel subsidies voldoen aan de motie-Van As en dus een einddatum
hebben.
Schema 2 Schematische indeling van de subsidies van het Rijk, verdeeld naar subsidies
met en zonder einddatum
Aantal subsidies volgens Subsidieoverzicht Rijk
633*

Subsidies met einddatum**

Subsidies zonder einddatum**

* Het werkelijke aantal subsidies is onbekend; zie de toelichting in § 2.2.4.
** De grootte van de hokjes is niet meer dan illustratief; de werkelijke omvang is niet bekend.

2.2.2 Kwaliteit van evaluaties
Dat er onduidelijkheid bestaat over de effectiviteit van geëvalueerde
subsidies, is in de meeste gevallen terug te voeren op gebreken in het
evaluatieonderzoek (gebrekkige onderzoeksopzet) en/of in de verslaglegging daarover (onduidelijke informatie over hoe het effectiviteitsonderzoek is uitgevoerd). Bovendien bestaat er vaak geen helderheid over
de doelen van de subsidie; of de door de minister beoogde doelen
gehaald zijn valt dan niet goed te zeggen.
Een mogelijke verklaring voor de gebrekkige wijze van evalueren is dat er
nauwelijks wettelijke kwaliteitseisen zijn vastgelegd voor subsidieevaluaties.
Wij komen tot deze conclusies op grond van onze analyse van de 53 in het
onderzoek betrokken evaluaties. Daaruit kwam het volgende naar voren:
1. De onderzoeksopzet voldoet vaak niet aan vereisten voor goede
effectevaluaties:
– In slechts zes van de 53 evaluaties voldeden zowel alle gebruikte
indicatoren voor het bepalen van de doelrealisatie als de meting
van die indicatoren.1 In alle overige gevallen bestonden er naar ons
oordeel onzekerheden over de keuze van de indicatoren, de
kwaliteit van de meting of beide. De variabelen voor doelrealisatie
worden niet altijd specifiek en meetbaar gedefinieerd.
Voorbeeld van een niet-gedefinieerd begrip

1

De vraag of het doel is gerealiseerd, is niet
identiek aan de vraag of het beleid effectief is.
Voor die laatste vraag moet nog worden
vastgesteld welk deel van die doelrealisatie is
veroorzaakt door het ingezette beleid.

«Ter bevordering van de samenwerking» met andere agrarische
ondernemers en andere partners heeft de minister van Landbouw,
Natuur en Voedselkwaliteit (LNV) in 2005, 2006 en 2007 subsidie
verstrekt aan samenwerkingsverbanden van agrariërs bij innovatieprojecten in de intensieve veehouderij. In het kader van de evaluatie
van deze regeling zijn aanvragers van de subsidie bevraagd over de
betekenis van de subsidieregeling voor de samenwerking (Bureau
Bartels B.V., 2008, p. 23). De vragen die zijn gesteld, zijn echter niet in
de evaluatiedocumenten opgenomen.
Het begrip «samenwerking» wordt daarin ook niet gedefinieerd (en
is ook in de regeling zelf of in de selectiecriteria voor de projectaanvragen niet nader omschreven). Kennelijk wordt met samenwerking
bedoeld dat verscheidene partijen betrokken zijn bij de uitvoering,
maar hoe die betrokkenheid eruit moet zien wordt nergens aangegeven.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

13

In het evaluatierapport staat dat de regeling volgens de deelnemers
«een extra stimulans aan de samenwerking» heeft gegeven. Dat is
echter voor meer dan één uitleg vatbaar. Het kan betekenen dat men
door het project met partijen is gaan samenwerken waarmee men
dat eerder nog niet deed. Maar ook: dat men in een bestaand
samenwerkingsverband meer of intensiever is gaan samenwerken.
–

Er wordt vaak niet of onvoldoende onderzocht of er sprake is van
een causale relatie tussen de subsidie, de activiteit en het vermeende effect: komt de activiteit (mede) tot stand dankzij de
subsidie en wordt het effect vervolgens (mede) veroorzaakt door de
activiteit? Als dit niet aannemelijk kan worden gemaakt, is in feite
geen sprake van een effectiviteitsmeting maar van een meting van
de mate waarin het beleidsdoel bereikt is, zonder dat duidelijk is
wat de subsidie bijdraagt aan het bereiken van dit doel.
We realiseren ons dat dit soort onderzoek ingewikkeld is en niet in
alle gevallen zonder meer mogelijk is.

Voorbeelden van subsidies die relatief lastig zijn te evalueren
Het Rijk verstrekt subsidies voor de instandhouding van bepaalde
instellingen. Voorbeelden hiervan die wij in ons onderzoek tegenkwamen zijn subsidies voor Instituut Clingendael en de Atlantische
Commissie. Voor dit soort instituten is het lastig om een vergelijking
met een representatieve referentiegroep – in casu een of meer
vergelijkbare instellingen – te maken, omdat die vaak niet zal
bestaan, zeker niet in Nederland, maar veelal ook niet in het
buitenland. Ook is het lastig is te beoordelen wat er zou zijn gebeurd
indien deze instituten er niet zouden zijn geweest.
Wij hebben slechts bij één van de 53 door ons bekeken evaluaties een
(quasi-)experimentele opzet aangetroffen.1
2. Conclusies zijn niet altijd onderbouwd door onderzoek. In 38 van de 53
evaluaties wordt een conclusie over de effectiviteit van een subsidie
getrokken op grond van bevindingen die volgens ons onvoldoende
bewijskracht hebben, of waarvan op basis van de rapportage onduidelijk is hoe deze tot stand zijn gekomen. Zo ontbreekt in de doelomschrijving van diverse subsidies een maatstaf op grond waarvan kan
worden geconcludeerd of de subsidie voldoende effectief is. Toch
wordt in de evaluaties van deze subsidies een uitspraak gedaan over
de effectiviteit.
Voorbeelden van subsidies zonder maatstaf voor behalen
doelstelling

1

Dit betrof een evaluatieonderzoek naar de
effecten van HALT (Ferwerda et al., 2006).
2
«MATRA» staat voor maatschappelijke
transformatie.

MATRA
Het MATRA-programma2 van het Ministerie van Buitenlandse Zaken
richt zich op het stimuleren van kleinschalige projecten in de
buurlanden van de EU, die bijdragen aan de ontwikkeling van de
plaatselijke maatschappelijke organisaties. De steun bestaat onder
meer uit het geven van subsidies. In de evaluatie van dit programma
wordt geconcludeerd dat de verstrekte subsidie «niet doorslaggevend» is geweest, «maar wel een belangrijke steun». Ook wordt
aangegeven dat de projecten «lokaal van belang» zijn geweest.
Welke maatstaven er voor deze oordelen zijn toegepast (wanneer is

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

14

de steun belangrijk en wanneer doorslaggevend?) is niet helder.
Humanitair ontmijnen
Non-gouvernementele organisaties die actief zijn in voormalige
oorlogsgebieden kunnen subsidie aanvragen voor het ruimen van
landmijnen. Het is de bedoeling dat het ruimen gebeurt in samenwerking met de lokale bevolking en dat na kennisoverdracht het
werk aan hen wordt overgedragen. In de evaluatie van de subsidie
«Humanitair ontmijnen» staat: «Mine clearance in Angola and
Cambodia were highly effective». Hoewel in de evaluatie wel
effecten worden beschreven, is onduidelijk op welke maatstaf het
oordeel is gebaseerd. Bij welke mate van effectiviteit spreekt men
van «highly effective» en wanneer moet worden gesproken van «less
effective?»
3. In de evaluatierapporten staat vaak onvoldoende informatie om te
kunnen beoordelen hoe het onderzoek is uitgevoerd:
– In elf van de 53 evaluaties was voor alle variabelen onduidelijk hoe
ze waren gemeten; in negen andere evaluaties gold dat voor een
deel van de variabelen.
4. Gebrek aan helderheid over wat de doelen van een subsidie zijn, maakt
zowel het uitvoeren als het beoordelen van een effectmeting lastig.
– In zestien van de 53 evaluaties wordt het ontbreken van of
ambivalentie in doelstellingen expliciet aan de orde gesteld. Niet
alleen voor de evaluatoren is dit lastig. Ook voor ons was het in
deze gevallen lastig om te bepalen of de mate van doelrealisatie
juist was gemeten; verscheidene interpretaties van het doel zijn in
zulke situaties verdedigbaar.
5. Wet- en regelgeving bieden onvoldoende houvast voor de inhoudelijke
kwaliteit van evaluaties van subsidies.
– De Awb regelt wel de evaluatieplicht voor subsidies, maar deze
plicht is niet uitgewerkt of toegelicht, noch naar inhoud, noch naar
vorm.
– De Rijksbegrotingsvoorschriften 2011 bieden te weinig houvast
voor de technische kwaliteit van uit te voeren evaluaties. Hierin
staat weliswaar dat op basis van een verantwoorde effectevaluatie
kan worden bepaald in welke mate de doelrealisatie is toe te
schrijven aan het gevoerde beleid en dat dit vereist dat de situatie
mét beleid kan worden afgezet tegen de situatie zónder beleid
(of met ánder beleid) (Financiën, 2010c, p. 68). Maar er is niet in
aangegeven dat dit een voorschrift is voor evaluatieonderzoek bij
het Rijk. De wel opgenomen voorschriften luiden:
* De verantwoordelijkheden en bevoegdheden in het totstandkomingsproces moeten helder zijn verdeeld en het totstandkomingsproces moet achteraf reconstrueerbaar zijn.
* De onafhankelijkheid van de evaluatieonderzoeken moet zijn
gewaarborgd.
* Van de beleidsinformatie moet duidelijk zijn aangegeven wat de
bron is.
2.2.3 Leren van subsidie-evaluaties op basis van onderbouwde informatie
De uitkomsten van de door ons op gebruik beoordeelde effectevaluaties
zijn voor het merendeel gebruikt om subsidies aan te passen. De evaluaties blijven dus niet onbenut. Wij leiden hieruit af dat er bij de rijksoverheid wel degelijk de intentie bestaat om te leren van subsidieevaluaties. De uitkomsten van de door ons onderzochte evaluaties hebben

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

15

echter in geen enkel geval geleid tot het stopzetten van de subsidie. Met
andere woorden: over alle geëvalueerde subsidies is besloten dat ze – al
dan niet in gewijzigde vorm – konden worden voortgezet. Deze besluiten
zijn dikwijls genomen op basis van niet of onduidelijk onderbouwde
informatie.
Wij baseren deze conclusies op de volgende onderzoeksbevindingen:
1. Voor zeven van de dertig subsidie-evaluaties waarvan we het gebruik
hebben kunnen vaststellen, geldt dat de subsidie niet gewijzigd is op
grond van conclusies over de effectiviteit. In de overige 23 gevallen is
de subsidie gewijzigd voortgezet. Deze wijzigingen hebben betrekking
op de subsidiedoelen, de subsidievoorwaarden, de uitvoering en/of de
financiering.
2. Stopzetting van een subsidieregeling wordt niet vaak overwogen.1
Redenen die beleidsambtenaren opgeven voor het voortzetten van
subsidies die niet (optimaal) blijken te werken, zijn:
– dat de reikwijdte van het evaluatieonderzoek (te) beperkt is;
– dat de subsidie (ook) andere doelen dient dan de doelen die in de
– evaluatie zijn betrokken;
– dat de subsidie wel degelijk noodzakelijk is, ook al toont de
evaluatie dat niet aan;
– dat de evaluatie tegenstrijdige conclusies en aanbevelingen bevat.
Daarnaast hebben beleidsambtenaren tegenover ons redenen voor
voortzetting van subsidies genoemd die losstaan van de werkzaamheid ervan. Men gaf bijvoorbeeld aan:
– dat «niets doen» moreel gezien geen optie is (bij subsidie voor
noodhulp);
– dat er breed politiek draagvlak voor de subsidie bestaat;
– dat er belangen en afwegingen spelen op een hoger beleidsniveau
(subsidiëren van de beleidssector wordt bijvoorbeeld belangrijker
gevonden dan de effectiviteit ervan);
– dat er geen alternatief beleidsinstrument voorhanden is;
– dat de doelen van de subsidie niet helder zijn, waarmee het
mogelijk is om de subsidie te laten aansluiten op verschuivende
beleidsprioriteiten.
We zijn geen voorbeelden tegengekomen waarbij op basis van de
evaluatieresultaten is besloten de subsidie(regeling) stop te zetten.
Voorbeelden van subsidies die niet zijn stopgezet, hoewel de
evaluatie daar wel aanleiding toe gaf

1

Het ontbreken van een heldere exitstrategie
speelt uiteraard minder voor subsidieregelingen met een tijdelijk karakter of subsidieregelingen die deel uitmaken van Europees
beleid.

De evaluaties van de subsidieregeling «Buitenlandse arthouse films»
en van de subsidieregeling «Distributie buitenlandse jeugdfilms»
(beide Ministerie van OCW) roepen vragen op over de doeltreffendheid van de subsidies. Zo blijkt het vooruitzicht van subsidie bij
de beslissing van distributeurs over de aankoop van een specifieke
arthousefilm niet in hun (risico)afweging te worden meegenomen en
wordt subsidie voor de distributie van buitenlandse jeugdfilms
nauwelijks aangevraagd.
Er is op basis van deze conclusies echter niet tot stopzetting
besloten. Dit is in het geval van de subsidieregeling «Buitenlandse
arthouse films» wel enigszins verklaarbaar, aangezien in dezelfde
evaluatie wordt aanbevolen de regeling (met enkele aanpassingen)
te handhaven. Een andere reden voor het Filmfonds en het Minis-

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

16

terie van OCW om door te gaan met deze subsidie is dat zij niet
twijfelen aan de noodzaak van subsidie om het kwantitatieve en
kwalitatieve aanbod van buitenlandse arthousefilms op peil te
houden, iets wat in het evaluatieonderzoek onvoldoende aan bod
komt volgens de betrokken beleidsmedewerker.
In het geval van de evaluatie van de subsidieregeling «Distributie
buitenlandse jeugdfilms» heeft het Filmfonds aangegeven eigenlijk
de regeling te willen stopzetten, wegens het gebrek aan belangstelling bij distributeurs. Na signalen dat de regeling zou worden
stopgezet, bleek toch een aantal distributeurs interesse te hebben
voor gebruikmaking van de regeling. Het Filmfonds heeft vervolgens
besloten voorlopig door te gaan met de regeling.
3. Uit onze interviews met beleidsambtenaren over veertien evaluaties
blijkt dat zij weinig aandacht hebben voor de kwaliteit van het
uitgevoerde onderzoek. Hoewel ze in verreweg de meeste (twaalf van
de veertien) gevallen aangeven tevreden te zijn met de kwaliteit van de
evaluatie, is er slechts in één geval gelet op de kwaliteit van de meting
en slechts in zes gevallen op de kwaliteit van de onderzoeksopzet en
op de mate waarin de conclusies over effectiviteit werden onderbouwd
door de bevindingen.
Zoals we hiervoor al aangaven (zie § 2.2.2) geldt voor de meeste van
de door ons bekeken evaluaties dat de kwaliteit van het uitgevoerde
onderzoek onduidelijk is of gebreken vertoont. Deze tekortkomingen
worden evenwel door beleidsambtenaren veelal niet opgemerkt. Wij
signaleren dan ook bij de rijksoverheid het risico dat beslissingen om
subsidies (ongewijzigd) voort te zetten, worden genomen op basis van
informatie uit effectevaluaties die niet of onduidelijk is onderbouwd.
2.2.4 Informeren van de Tweede Kamer
De Tweede Kamer wordt niet over alle subsidie-evaluaties geïnformeerd.
De informatie die de Tweede Kamer wél bereikt, is in de meeste gevallen
gebaseerd op conclusies uit subsidie-evaluaties die niet deugdelijk zijn
onderbouwd. Daar komt bij dat de informatievoorziening aan de Kamer in
een aantal gevallen gekleurd is; ministers melden soms alleen de
positieve punten uit subsidie-evaluaties. Ook de kwaliteit van het
rijksbrede Subsidieoverzicht Rijk 2010 schiet op diverse punten tekort. Een
en ander heeft tot gevolg dat de Tweede Kamer op basis van de door
ministers verstrekte informatie geen goed beeld krijgt van de effectiviteit
van subsidies.

1

Met deze 36 evaluaties, 68% van het totale
aantal, is 77% van het door ons onderzochte
subsidiebudget voor 2010 gemoeid. Dit
betekent dat met de subsidies waarvan de
resultaten van de effectevaluaties aan de
Tweede Kamer zijn verstrekt gemiddeld iets
meer geld gemoeid is dan met de subsidies
waarvoor dit niet is gebeurd.

Wij leiden dit af uit de volgende onderzoeksbevindingen:
1. De Tweede Kamer wordt niet in alle gevallen geïnformeerd over de
uitkomsten van subsidie-evaluaties. Over de uitkomsten van twee
derde (36 van de 53) van de door ons onderzochte subsidie-evaluaties
hebben de ministers informatie naar de Tweede Kamer gestuurd,
meestal in de vorm van een beleidsreactie bij de evaluatie.1 Voor 30
van de 36 evaluaties hebben ze aangegeven of en zo ja hoe ze de
subsidie zouden gaan aanpassen. In 25 van de 36 reacties stonden ook
conclusies uit de evaluatie vermeld over de effectiviteit van de
subsidies.
2. De informatie die de ministers aan de Tweede Kamer sturen is voor
een deel aantoonbaar ondeugdelijk onderbouwd; voor een ander deel
geldt dat er onzekerheid bestaat over de juistheid van de onderbouwing. Deze problemen spelen bij in totaal 20 van de 36 subsidies
waarover de Tweede Kamer evaluatie-informatie heeft ontvangen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

17

De betrokken minister heeft in deze twintig gevallen conclusies over de
effectiviteit aan de Tweede Kamer gemeld waarvan wij hebben
vastgesteld dat ze onjuist zijn dan wel dat onbekend is of ze juist zijn.
3. De informatie die de Tweede Kamer ontvangt over de subsidieevaluaties is in een aantal gevallen gekleurd:
– Vaak bieden ministers de Tweede Kamer een beleidsreactie op een
evaluatierapport aan, waarbij ze meestal ook het evaluatierapport
meesturen. Over drie subsidies verstrekten de ministers in hun
beleidsreactie de positieve uitkomsten van de evaluaties en lieten
ze de minder positieve uitkomsten achterwege (zie kader).
Overigens zijn bij een andere subsidie positieve conclusies niet
gemeld.
Gekleurde informatie over uitkomsten van subsidie-evaluaties
NESO-programma voor internationale samenwerking in het hoger
onderwijs (OCW)
In 2009 verscheen een evaluatie van het NESO-programma van het
Ministerie van Onderwijs, Cultuur en Wetenschap (OCW), dat erop
gericht is om de naamsbekendheid van Nederland als kennisland in
tien gekozen doellanden te vergroten en te versterken door middel
van Netherlands Education Support Offices (NESO’s).
De minister meldde aan de Tweede Kamer onder meer dat het
programma in een duidelijke behoefte voorziet en succesvol is. Hij
meldde niet dat uit de evaluatie blijkt dat de meeste NESO’s nog te
kort bestaan om nu al van een integraal succes te kunnen spreken.
Subsidie Atlantische Commissie (BuZa)
De Atlantische Commissie geeft voorlichting over trans-Atlantische
samenwerking en laat onderzoek doen naar de trans-Atlantische
betrekkingen. Zij ontvangt daarvoor subsidie van het Ministerie van
Buitenlandse Zaken (BuZa).
In 2010 verscheen een evaluatierapport over deze subsidie. De
minister van BuZa heeft alleen de zes positieve hoofdbevindingen uit
het rapport aan de Tweede Kamer gemeld, de drie bevindingen die
minder positief waren niet.
Subsidie Technologische topinstituten (EZ)
Technologische topinstituten (TTI’s) hebben als doel om wetenschappelijke excellentie die relevant is voor het bedrijfsleven, te stimuleren. Op die manier moet de innovatiecapaciteit en daarmee de
concurrentiepositie van het Nederlandse bedrijfsleven worden
verstevigd.
Begin 2006 stuurde de minister van Economische Zaken (EZ) een
evaluatie van de subsidie voor TTI’s naar de Tweede Kamer, en ook
haar beleidsreactie daarop. In die reactie vermeldde zij alleen de
positieve conclusie dat het TTI-programma de start en ontwikkeling
van vier succesvolle TTI’s mogelijk heeft gemaakt. Een conclusie die
in tegenspraak is met de vorige stond echter niet in de beleidsreactie.
Een uitgebreidere toelichting op deze drie casussen is opgenomen in
bijlage 5 van dit rapport.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

18

–

Bij drie andere subsidies heeft de betrokken minister twijfels over
de effectiviteit van de subsidie of nuanceringen bij de uitspraak dat
de subsidie niet effectief is, niet aan de Tweede Kamer gemeld.
4. De informatiewaarde van het Subsidieoverzicht Rijk 2010 schiet op
verschillende punten tekort:
– De informatie blijkt niet altijd juist te zijn. Niet alle vermelde
financiële bijdragen zijn subsidies; niet alle vermelde evaluaties
bestaan ook echt; er bestaan ook evaluaties die niet in het overzicht
zijn vermeld.
– De informatie is niet consistent. Zo blijken ministeries verschillend
om te gaan met subsidies die berusten op een kaderwet. Het
Ministerie van Sociale Zaken en Werkgelegenheid (SZW) benoemt
bijvoorbeeld alle incidentele subsidies die op grond van de
Kaderwet SZW-subsidies worden verstrekt apart in het overzicht,
terwijl het Ministerie van Volksgezondheid, Welzijn en Sport (VWS)
dat niet doet en de Subsidieregeling VWS-subsidies als één
subsidieregeling telt, hoewel onder die paraplu zeer veel incidentele subsidies worden verstrekt. Ook de begindata van subsidies
worden in het overzicht niet consistent vermeld. Sommige
ministeries noemen hier de instellingsdatum van de subsidie,
andere ministeries de datum waarop de subsidieregeling voor het
laatst is aangepast.
In bijlage 6 is een uitgebreider overzicht opgenomen van de fouten en
onduidelijkheden in het Subsidieoverzicht Rijk 2010.
De recente voorstellen van de minister van Financiën (Financiën, 2011c) in
het kader van «Verantwoord begroten», om elk begrotingshoofdstuk te
voorzien van een subsidiebijlage, schieten volgens ons op dit punt tekort.
Zo staan in de voorbeeld-subsidiebijlage die de minister van Financiën
aan de Tweede Kamer heeft gestuurd geen doelstellingen, begin- en
einddata, geen evaluatiemoment van afgeronde onderzoeken noch de
uitkomsten daarvan (Financiën, 2011b).
Overigens is ook de informatievoorziening aan de Tweede Kamer over
subsidies vooraf beperkt. De Tweede Kamer krijgt maar weinig rijkssubsidieregelingen vooraf te zien, namelijk alleen de regelingen die de status
van formele wet hebben. Dat zijn meestal de kaderwetten, waarin
doelstellingen slechts globaal staan omschreven.
2.3 Aanbevelingen
1. Ministers moeten hun subsidies niet alleen (laten) evalueren, maar er
ook voor zorgen dat dit deugdelijk gebeurt.
Om het risico zo klein mogelijk te maken dat er uit subsidie-evaluaties
verkeerde lessen over de effectiviteit van de subsidie worden getrokken,
dient de informatie hierover van goede kwaliteit te zijn. Nieuw uit te
voeren evaluaties naar de effectiviteit van subsidies moeten volgens ons
voldoen aan de volgende drie vereisten voor goede effectevaluaties:
–
De meting van de doelrealisatie moet valide zijn.
–
De vraag of de doelrealisatie kan worden toegeschreven aan de
subsidie moet worden beantwoord.
–
De conclusies moeten deugdelijk zijn onderbouwd.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

19

Wij realiseren ons dat het onderzoeken van de effectiviteit van beleid vaak
ingewikkeld is. Soms is het niet mogelijk of niet haalbaar (bijvoorbeeld
omdat de kosten van het onderzoek niet in verhouding staan tot de
grootte van de subsidie) om onderzoek uit te voeren op basis van de
hierboven genoemde vereisten. Om ministeries te ondersteunen bij de
belangrijke, maar niet eenvoudige taak om subsidies op effectiviteit te
onderzoeken, hebben we in een gelijktijdig met dit rapport gepubliceerde
Handreiking voor effectevaluaties van subsidies uitgewerkt hoe ze hieraan
concreet vorm kunnen geven (Algemene Rekenkamer, 2011).
2. Ministers moeten alleen van goed uitgevoerde effectevaluaties de
resultaten gebruiken bij het nemen van beleidsbeslissingen en bij de
verantwoording aan de Tweede Kamer.
Alleen op basis van onderbouwde conclusies over de effectiviteit van
subsidies kunnen verantwoorde lessen worden geleerd. Indien ministers
alleen onderbouwde conclusies over de effectiviteit van subsidies aan de
Tweede Kamer meedelen, krijgt zij een goed beeld van de effectiviteit van
subsidies. In onze Handreiking voor effectevaluaties van subsidies
(Algemene Rekenkamer, 2011) hebben we uitgewerkt hoe ministers de
kwaliteit kunnen beoordelen van evaluaties die ze hebben laten uitvoeren,
hoe ze de resultaten daarvan kunnen omzetten in beleidsbeslissingen en
hoe ze daarover de Tweede Kamer kunnen informeren.
3. De minister van Financiën moet inhoudelijke kwaliteitscriteria voor
evaluatieonderzoek naar de effectiviteit van beleid vastleggen.
Op dit moment zijn er geen duidelijke beoordelingscriteria voor de
inhoudelijke kwaliteit van evaluaties van subsidies (en ander beleid).
Dat is wel van belang. Immers, alleen van kwalitatief goede informatie kun
je verantwoord leren. De minister van Financiën zou daarom dergelijke
beoordelingscriteria moeten vastleggen. Wij bieden aan met de minister
mee te denken over de wijze waarop invulling aan deze aanbeveling
gegeven kan worden zonder te verzanden in bureaucratische
voorschriften.
4. Subsidies en subsidieregelingen moeten door de ministers zo veel
mogelijk worden voorzien van een concrete doelstelling.
Subsidies en subsidieregelingen moeten voldoende handvatten bieden
voor een evaluatie. Daarom moeten ze in principe een specifieke en
meetbare doelstelling hebben. Hieraan moet aan het begin van het
beleidsproces aandacht worden geschonken.
Als de minister van mening is dat formulering van een concrete
doelstelling niet mogelijk is, zou hij dat vooraf expliciet moeten melden
aan de Tweede Kamer.
5. Een subsidie waarvan in evaluatieonderzoek is aangetoond dat hij niet
werkt, dient te worden stopgezet, tenzij de minister met redenen omkleed
aan de Tweede Kamer aangeeft waarom hij toch niet tot stopzetting heeft
besloten («comply or explain»).
Een subsidie die aantoonbaar niet werkt moet worden stopgezet, of
zodanig worden aangepast dat ze wel effectief zou kunnen worden.
Het kabinet Rutte/Verhagen hanteert in zijn regeerakkoord een strenger
principe. Daarin heeft het aangegeven dat subsidies, althans die ter
versterking van de positie van bedrijven en ondernemers, alleen verstrekt
mogen worden als de effectiviteit ervan is bewezen (Informateur, 2010, 8).
Wij kunnen ons evenwel voorstellen dat de minister redenen heeft om een
bepaalde subsidie waarvan uit onderzoek blijkt dat zij niet effectief is, of
waarvan de effectiviteit niet is aan te tonen, toch te laten doorlopen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

20

Plausibele redenen kunnen bijvoorbeeld zijn dat de minister meent dat het
niet-effectief zijn vooral te wijten is aan gebreken in de uitvoering van de
subsidie en dat hij goede argumenten heeft om te veronderstellen dat de
subsidie in gewijzigde vorm wel kansrijk is, of dat hij de subsidie om
andere redenen van belang acht (bijvoorbeeld omdat met de subsidie een
bijzonder maatschappelijk belang gemoeid is). In die gevallen zou de
minister deze keuze expliciet tegenover de Tweede Kamer moeten
verantwoorden.
6. De minister van Financiën moet doorgaan met het publiceren van een
Subsidieoverzicht Rijk of een ander, soortgelijk overzicht. Het document
zou een overzicht moeten bieden van de subsidies per departement.
De minister van Financiën moet de bruikbaarheid, uniformiteit en
consistentie van dit overzicht waarborgen door middel van begrotingsvoorschriften over onder andere de doelstellingen en de begin- en
einddatum van subsidies, alle geplande en uitgevoerde evaluaties van
subsidies en de uitkomsten hiervan, inclusief verwijzingen naar de
evaluatierapporten. De afzonderlijke ministers moeten op basis van deze
voorschriften zorgen voor een openbaar en raadpleegbaar juist, volledig,
actueel en consistent departementaal subsidieoverzicht.
Het periodiek publiceren van een Subsidieoverzicht Rijk is een goede
manier om de ministers invulling te laten geven aan hun wettelijke plicht
(uit hoofde van artikel 20 lid 2 van de Comptabiliteitswet) om inzicht te
geven in de doelmatigheid en doeltreffendheid van beleid. Bovendien
wordt hiermee het belang dat de Tweede Kamer al decennia hecht aan
inzicht in subsidies, gehonoreerd.
Vastgelegd moet worden welke informatie het overzicht moet bevatten. Te
denken valt aan: de begrote budgetten, de beoogde doelen, de begin- en
einddata en de evaluatiedata (vergelijk de motie-Van As, Tweede Kamer,
2003b). Daarbij is speciale aandacht nodig voor doorlopende subsidies. In
reactie op ons vorige onderzoek naar subsidies (Algemene Rekenkamer,
2010) heeft de minister van Financiën aangegeven dat veel subsidies
zonder einddatum doorlopende subsidies zijn en dat voor deze subsidies
periodiek een besluit genomen wordt over de voortzetting daarvan. De
momenten waarop deze besluiten genomen gaan worden en de
uitkomsten daarvan zouden eveneens in het subsidieoverzicht moeten
komen.
Verder zou dit overzicht informatie moeten bevatten over de uitkomsten
van uitgevoerde effectevaluaties, zodat de Tweede Kamer zich daadwerkelijk een beeld kan vormen van de doeltreffendheid van de verstrekte
subsidies. Dit laatste is conform de motie-Weekers uit 2009, die hierom
vraagt (Tweede Kamer, 2009). Wanneer het volgens de minister niet
wenselijk of mogelijk is om een subsidie op effectiviteit te evalueren moet
dit ook, met redenen omkleed, in het overzicht worden vermeld.
Ook moet de minister van Financiën duidelijk maken wat onder verschillende begrippen verstaan moet worden. Daarvoor zijn eenduidige
definities nodig van onder meer begin-, eind- en evaluatiedata.
De recente voorstellen van de minister van Financiën ter zake (Financiën,
2011c) in het kader van «Verantwoord begroten», schieten volgens ons op
dit punt tekort.
De vorm waarin het overzicht wordt gepubliceerd, ligt niet per se vast,
maar het ligt anno 2011 voor de hand te kiezen voor een op internet te
publiceren bijlage bij de begroting en/of het jaarverslag. Met gebruikmaking van ICT is het mogelijk om eenvoudig en tegen relatief lage lasten
subsidieoverzichten te genereren op basis van onderliggende (departementale) databestanden met informatie over subsidieregelingen en

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

21

subsidies. Wanneer deze subsidieoverzichten, apart per ministerie en/of
samengenomen in één overzicht voor het Rijk, via het internet
raadpleegbaar worden gemaakt, voorziet dat in de herhaaldelijk uitgesproken behoefte van de Tweede Kamer aan een actueel en toegankelijk
overzicht van subsidieregelingen en subsidies.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

22

3 REACTIE MINISTERS EN NAWOORD ALGEMENE REKENKAMER
Op 14 september 2011 heeft de minister van Financiën een reactie
gegeven op ons onderzoek, mede namens de ministers van Binnenlandse
Zaken en Koninkrijksrelaties, Buitenlandse Zaken, Defensie, Economische
Zaken, Landbouw en Innovatie, Infrastructuur en Milieu, Onderwijs,
Cultuur en Wetenschap, Sociale Zaken en Werkgelegenheid, Veiligheid en
Justitie en Volksgezondheid, Welzijn en Sport. Het Ministerie van
Algemene Zaken verstrekt geen subsidies en is daarom niet in het
onderzoek betrokken.
Hieronder volgt een samenvattende weergave van de reactie.
Een integrale weergave van de brief is te vinden op onze website:
www.rekenkamer.nl.
3.1 Reactie minister van Financiën
De minister van Financiën is het op hoofdlijnen eens met onze aanbevelingen. Wel plaatst hij een aantal kanttekeningen bij onze aanbevelingen
over de wijze waarop de beschikbaarheid en kwaliteit van evaluaties kan
worden verbeterd. Verder wijst hij op het feit dat in het regeerakkoord een
aantal subsidietaakstellingen is opgenomen vanuit de gedachte dat de
samenleving minder moet worden gestuurd met behulp van subsidies.
Aanwezigheid van evaluaties en effectiviteit van subsidies
De minister van Financiën is het eens met onze aanbeveling dat een zo
dekkend mogelijke programmering van evaluaties, en een goede
rapportage daarover, wenselijk is.
De minister geeft aan dat overeenkomstig onze aanbevelingen de
informatievoorziening over subsidies aan de Tweede Kamer, transparanter
en frequenter zal worden. In het kader van «Verantwoord begroten»
(Financiën, 2011c) wordt namelijk met ingang van het begrotingsjaar 2012
jaarlijks per departement een overzicht van alle subsidieregelingen als
bijlage bij de begroting opgenomen. Daarin staat onder meer het
evaluatiemoment van subsidies vermeld. Hiermee wordt volgens de
minister al een grote stap gezet in de richting van betere informatievoorziening.
Komend jaar zal de minister evalueren in hoeverre deze nieuwe begrotingsopzet voldoet aan de wensen van de Tweede Kamer. Hij zegt toe onze
suggestie om ook de laatst uitgevoerde evaluatie in de tabel op te nemen,
daarin mee te nemen. Door ook naar het verleden te kijken, wordt
zichtbaar in hoeverre de evaluatieprogrammering dekkend is, aldus de
minister.
Hoewel de Algemene wet bestuursrecht (Awb) de verplichting bevat om
subsidieregelingen elke vijf jaar te evalueren, betekent dat volgens de
minister nog niet dat voor elke subsidie een evaluatierapport beschikbaar
moet zijn. De evaluatie kan volgens hem ook onderdeel zijn van bijvoorbeeld een beleidsnota of een breder onderzoek, zoals een beleidsdoorlichting. Om een goed overzicht tot stand te brengen, zullen volgens hem
uiteraard ook evaluaties in deze vorm te vinden moeten zijn in het eerder
genoemde subsidieoverzicht.
Kwaliteit van de evaluaties
De minister deelt onze aanbeveling om te streven naar een betere
kwaliteit van evaluaties. Wel plaatst hij enkele kanttekeningen bij de
aanbevolen invulling en aard van de evaluaties. Hij schrijft dat wij in ons
rapport ervan uit lijken te gaan dat in alle gevallen sprake kan zijn van een

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

23

zinvol effectonderzoek, waarin de situaties met en zonder de inzet van de
te evalueren subsidieregeling op een betekenisvolle manier gekwantificeerd naast elkaar gezet kunnen worden. Volgens de minister is het
kwantitatief meten van effecten in de praktijk echter vaak lastig, niet goed
mogelijk of te kostbaar (in verhouding tot de omvang van de subsidieregeling).
In de Awb worden, zo stelt de minister, aan de precieze aard van de
evaluaties dan ook geen nadere regels gesteld. Ook in de Rijksbegrotingsvoorschriften (die regels bevatten voor het evaluatieonderzoek ex post)
wordt volgens hem benadrukt dat de vraag naar de effecten (en neveneffecten) van het beleid weliswaar essentieel is, maar ook vaak moeilijk te
beantwoorden. Als het niet mogelijk is om de situatie met en zonder
beleid onderling te vergelijken, moeten we soms tevreden zijn met het
goed aanduiden van de effecten van een subsidieregeling en een
plausibele indicatie van de effectiviteit, aldus de minister. Een volledig
dekkende programmering van effectonderzoek is volgens hem
onmogelijk.
Om deze redenen is de minister het niet eens met onze aanbeveling om
inhoudelijke kwaliteitscriteria in regelgeving vast te leggen. Dat wil
volgens hem niet zeggen dat we niet moeten streven naar kwalitatief
goede subsidie-evaluaties, of naar goede evaluaties in het algemeen.
Om tot deze goede evaluaties te komen is een aantal zaken vereist.
Van belang is om te beginnen dat een subsidieregeling is voorzien van
een duidelijke doelstelling; de minister vindt dat wij dit in ons rapport
terecht benadrukken.
Daarnaast kunnen best practices en handreikingen een waardevolle
bijdrage leveren, zoals de handreiking die de Algemene Rekenkamer
tegelijk met dit onderzoek publiceert. Verder is de minister het met ons
eens dat in een goede evaluatie juist ook de beperkingen van het
onderzoek duidelijk aan bod moeten komen.
Leren van subsidie-evaluaties
De minister vindt het positief dat wij in ons rapport aangeven dat de
intentie om van evaluaties te leren bij het Rijk wel aanwezig is.
In reactie op onze vaststelling dat een groot deel van de evaluaties wel
heeft geleid tot wijzigingen in de subsidieregeling, maar niet tot het
stopzetten van een subsidie, schrijft de minister geen voorstander te zijn
van het invoeren van een beslisregel op grond waarvan subsidieregelingen in principe moeten worden stopgezet bij een negatieve evaluatie.
De beslissing om een subsidie al dan niet stop te zetten vergt volgens
hem een politieke weging, waarbij de uitkomsten van evaluaties worden
benut, maar niet het enige criterium zijn.
De minister besluit zijn reactie met het uitspreken van de hoop dat door
de genoemde verbeteringen in het kader van «Verantwoord begroten» en
door een verbeterde kwaliteit van subsidie-evaluaties (met oog voor de
methodologische en praktische beperkingen) de Tweede Kamer in het
vervolg een beter beeld zal krijgen van de effectiviteit van de diverse
subsidieregelingen.
3.2 Nawoord Algemene Rekenkamer
Wij nemen met instemming kennis van het feit dat de minister van
Financiën, mede namens zijn collega’s, op hoofdlijnen instemt met onze
aanbevelingen en streeft naar een betere kwaliteit van subsidie-evaluaties
en een betere informatievoorziening over (de uitkomsten van) die
evaluaties aan de Tweede Kamer. We zijn er echter niet van overtuigd dat

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

24

de veranderingen die de minister wil doorvoeren voldoende zijn om deze
verbeteringen daadwerkelijk te realiseren.
Op twee belangrijke punten ontbreken concrete toezeggingen: het
vastleggen van kwaliteitscriteria voor effectiviteitsonderzoek en de wijze
waarop de Tweede Kamer wordt geïnformeerd over de effectiviteit van
subsidies.
We zijn het eens met de minister waar hij schrijft dat het uitvoeren van
effectiviteitsonderzoek soms lastig, niet goed mogelijk of te kostbaar (in
relatie tot de omvang van de subsidieregeling) is. Waar de minister echter
om die reden de conclusie trekt dat hij geen inhoudelijke kwaliteitscriteria
wil vastleggen, willen wij nogmaals het belang en de functie van die
criteria benadrukken.
Het gaat ons om basale criteria die aan elk effectiviteitsonderzoek kunnen
worden gesteld: het onderzoek moet betrekking hebben op de doelstelling
van de subsidie, het onderzoek moet aannemelijk maken of de subsidie
aan het bereiken van die doelstelling heeft bijgedragen en de conclusies
van het onderzoek moeten onderbouwd zijn door onderliggende
bevindingen.
Juist aan de hand van deze criteria kunnen beperkingen in uitgevoerd
evaluatieonderzoek duidelijk zichtbaar worden gemaakt. Dat kan de
ministers helpen als zij de resultaten willen gebruiken voor het nemen van
onderbouwde beleidsbeslissingen. Bovendien kunnen de criteria de
ministers handvatten bieden als zij de Tweede Kamer willen informeren
over de uitkomsten van een evaluatie of willen uitleggen waarom een
evaluatie niet goed mogelijk of te kostbaar is.
Als het gaat om de verbeteringen in de informatievoorziening aan de
Tweede Kamer laat de minister een groot deel van onze aanbevelingen
buiten beschouwing. De minister gaat niet in op zijn rol bij het opstellen
van de subsidieoverzichten die in het kader van «Verantwoord begroten»
nu jaarlijks als bijlagen bij de departementale begrotingen worden
gepubliceerd.
Die rol is vastgelegd in de Comptabiliteitswet (CW). De minister van
Financiën heeft op grond van artikel 18 van de CW tot taak regels te
stellen over onder meer de voorbereiding, wijziging en inrichting van de
begrotingen. Vanuit die taak behoort de minister de bruikbaarheid,
uniformiteit en consistentie van het subsidieoverzicht te waarborgen,
onder meer door duidelijke definities te geven van de daarin gebruikte
begrippen, en ervoor zorg te dragen dat een en ander wordt vastgelegd in
de rijksbegrotingsvoorschriften.
De minister zegt toe de datum van de laatst uitgevoerde evaluatie aan het
overzicht te willen toevoegen. Hij gaat niet in op de andere zaken die
volgens ons van belang zijn om een goed inzicht te geven in de mate
waarin subsidiegelden effectief zijn besteed, zoals de subsidiedoelstelling,
begin- en einddatum en evaluatie-uitkomsten. Deze zaken zijn (nog) niet
opgenomen in de als bijlage bij de departementale begrotingen van 2012
opgenomen subsidie-overzichten.
De minister geeft aan dat hij geen voorstander is van een beslisregel op
grond waarvan subsidieregelingen in principe moeten worden stopgezet
bij een negatieve evaluatie. Wij vragen niet om een beslisregel, maar om
transparantie bij het voortzetten van ineffectief gebleken subsidies.
Daarom zijn wij van mening dat ministers deze afweging niet alleen
moeten maken, maar de Tweede Kamer in dergelijke gevallen actief
moeten informeren en in samenspraak met het parlement de keuze
moeten maken over het al dan niet voortzetten. Tot slot merken wij op het

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

25

stopzetten van niet-effectieve subsidies aansluit bij het voornemen in het
regeerakkoord om subsidies alleen te verstrekken, indien de effectiviteit
ervan is bewezen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

26

BIJLAGE 1 OVERZICHT CONCLUSIES AANBEVELINGEN EN
TOEZEGGINGEN
Plaats in deel I
Hoofdconclusie
§ 2.1

Deelconclusies
§ 2.2.1

§ 2.2.2

§ 2.2.3

Conclusies

Aanbevelingen

Toezegging minister

Meeste onderzochte subsidies zijn
niet op effectiviteit geëvalueerd.
Voor zover ze wél op effectiviteit zijn
geëvalueerd, is dat zelden deugdelijk
gebeurd: evaluaties maken niet
duidelijk of subsidies in kwestie
effectief zijn of niet.

• Ministers moeten hun subsidies
niet alleen (laten) evalueren, maar er
ook voor zorgen dat dit deugdelijk
gebeurt.

• Minister deelt deze aanbeveling.
Door ook laatst uitgevoerde evaluatie
in subsidieoverzicht bij begroting op
te nemen, wordt zichtbaar in hoeverre
de evaluatieprogrammering dekkend
is. Minister zegt toe dit in de evaluatie
van nieuwe begrotingsopzet mee te
nemen.
• Minister vindt dat in een evaluatie
ook beperkingen van het onderzoek aan bod moeten komen.

Onduidelijkheid over effectiviteit van
subsidies komt vaak door gebrekkige onderzoeksopzet en onduidelijke informatie over hoe effectiviteitsonderzoek is uitgevoerd.
Bovendien bestaat er vaak geen
helderheid over doelen van
subsidies. Mogelijke verklaring voor
gebrekkige wijze van evalueren is
dat er nauwelijks wettelijke
kwaliteitseisen zijn vastgelegd voor
subsidie-evaluaties.

• Subsidies en subsidieregelingen
moeten door ministers zo veel
mogelijk worden voorzien van
concrete doelstellingen.

• Minister vindt dat een subsidieregeling duidelijke doelstelling moet
hebben.

• Minister van Financiën moet
inhoudelijke kwaliteitscriteria voor
evaluatieonderzoek naar effectiviteit
van beleid vastleggen.

• Minister oneens met tweede
aanbeveling, omdat volgens hem
effectonderzoek per definitie
kwantitatieve meting vereist en om
die reden vaak lastig, niet goed
mogelijk of te kostbaar is.

Evaluaties blijven niet onbenut. Bij
rijksoverheid bestaat dus intentie
om te leren van subsidie-evaluaties.
Maar geen van de onderzochte
subsidies is op grond van evaluatieuitkomsten stopgezet. Besluiten om
subsidies te laten doorlopen zijn
dikwijls genomen op basis van niet
of onduidelijk onderbouwde
informatie.

• Ministers moeten alleen van goed
uitgevoerde effectevaluaties
resultaten gebruiken bij beleidsbeslissingen en bij verantwoording aan
Tweede Kamer.
• Subsidies waarvan in evaluatieonderzoek is aangetoond dat ze niet
werken, moeten worden stopgezet,
tenzij de minister met redenen
omkleed aan Tweede Kamer
aangeeft waarom hij toch niet tot
stopzetting heeft besloten («comply
or explain»).

• Minister eens met eerste aanbeveling.

Subsidies worden over het
algemeen gebrekkig op effectiviteit
geëvalueerd. Risico’s hierbij:
ministers nemen beslissingen over
subsidieregelingen op basis van
niet-onderbouwde informatie en
verstrekken niet onderbouwde
informatie aan Tweede Kamer.
Deze risico’s worden in de praktijk
ook manifest.
Onbekend deel van subsidies wordt
binnen wettelijke termijn van vijf
jaar geëvalueerd.

• Minister wil geen beslisregel
invoeren op grond waarvan subsidieregelingen in principe worden
stopgezet bij negatieve evaluatie. Zo’n
beslissing vergt politieke weging.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

27

Plaats in deel I

Conclusies

Aanbevelingen

Toezegging minister

§ 2.2.4

Tweede Kamer krijgt op basis van
door ministers verstrekte informatie
geen goed beeld van effectiviteit van
subsidies. Ze wordt niet over alle
subsidie-evaluaties geïnformeerd.
Informatie die Tweede Kamer wél
bereikt is veelal gebaseerd op
conclusies uit subsidie-evaluaties
die niet deugdelijk zijn onderbouwd.
Informatievoorziening aan de Kamer
in aantal gevallen gekleurd. Kwaliteit
van rijksbrede Subsidieoverzicht Rijk
2010 schiet op diverse punten tekort.

• Minister van Financiën moet
doorgaan met publiceren van
Subsidieoverzicht Rijk of een ander,
soortgelijk overzicht dat overzicht
biedt van subsidies per departement. Minister moet bruikbaarheid,
uniformiteit en consistentie van dit
overzicht waarborgen door middel
van begrotingsvoorschriften over
doelstellingen en begin- en
einddatum van subsidies, alle
geplande en uitgevoerde evaluaties
van subsidies en uitkomsten
hiervan, inclusief verwijzingen naar
evaluatierapporten.
Alle ministers moeten op basis van
deze voorschriften zorgen voor een
openbaar en raadpleegbaar juist,
volledig, actueel en consistent
departementaal subsidieoverzicht.

• Informatievoorziening over subsidies
aan Tweede Kamer wordt transparanter en frequenter, via jaarlijkse bijlage
bij begroting met overzicht van alle
subsidieregelingen.
Minister overweegt vermelden van
laatst uitgevoerde evaluatie.
Op onze overige concrete aanbevelingen om informatievoorziening over
subsidies aan Tweede Kamer te
verbeteren en rol van de minister van
Financiën daarbij, doet minister geen
toezeggingen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

28

BIJLAGE 2 POLITIEKE AANDACHT VOOR SUBSIDIES EN
SUBSIDIE-EVALUATIES: HISTORISCH OVERZICHT
Jaar

Subsidieoverzicht
(P/D/B)1

Definitie subsidie

1989

Aandacht voor subsidie-evaluaties

Vindplaats
documentatie

Algemene Rekenkamer:
Publicatie van rijksbrede inventarisatie van subsidiebeheer door rijksoverheid. Van 66% van de 410 subsidieregelingen met een financieel belang van minstens f 1
miljoen was geen evaluatie beschikbaar; slechts 75
evaluaties voldoen aan de eisen.

Algemene Rekenkamer, 1989, deel 2

Ministers van Financiën en van Justitie:
Geïntegreerd subsidiebeleid. Twee sporen: verbeteren
van subsidiebeheer (in het bijzonder voorkomen van
misbruik en oneigenlijk gebruik) en verbeteren van
subsidiebeleid (in het bijzonder actualiteit, effectiviteit
en doelmatigheid).

Financiën & Justitie,
1993a

Algemene Rekenkamer:
Publicatie van het Verslag 1990, met daarin onder meer
een analyse van de mate waarin de 31 financieel
omvangrijkste subsidieregelingen waren geëvalueerd en
van de vraag of de evaluaties voldeden aan de gestelde
criteria.

Algemene Rekenkamer, 1991

Ministers van Financiën en Justitie:
Er komt een algemene wettelijke regeling voor subsidies
in de Algemene wet bestuursrecht (Awb). Daarin ook
een plicht tot periodieke evaluaties van subsidieregelingen op effectiviteit. Ontwerpbegrotingen dienen vanaf
nu een subsidiebijlage te bevatten.

Financiën en Justitie,
1993b; het subsidieoverzicht is als
bijlage hierbij
gevoegd (ter inzage
gelegd)
Financiën, 1987, p.
82

Algemene Rekenkamer:
Publicatie Vervolgonderzoek subsidiebeheer. Hoewel het
inzicht in de realisatie van doelstellingen is toegenomen,
wordt de helft van de subsidies nog steeds niet
geëvalueerd.

Algemene Rekenkamer, 1996

Tweede Kamer:
Tweede Kamerleden vragen in algemeen overleg om
een (jaarlijkse) inventarisatie van bestaande subsidieregelingen en refereren aan de «subsidiebijbel» van het
vorige kabinet. Minister van Financiën zegt toe jaarlijks
een puur feitelijk en objectief subsidieoverzicht te
publiceren aan de hand van de toetsingscriteria uit het
Rekenkamerrapport Subsidiebeheer. Vooruitlopend op
de evaluatieplicht die in de Awb zal worden opgenomen,
heeft de minister reeds een plan om subsidieregelingen
eens in de vijf jaar te evalueren ingediend. Financiën zal
toezien op de uitvoering.

Tweede Kamer, 1996

1990
1991

1992
1993

Subsidieoverzicht2 bij de
rapportage
Geïntegreerd
subsidiebeleid
(de eerste
«subsidiebijbel»)3
(P)
[700 subsidies,
f 39 miljard]

«Een gebonden
inkomensoverdracht- en vermogensoverdrachtom-niet van het
Rijk aan personen,
instellingen
enzovoort in
Nederland.»
(definitie Miljoenennota 1988)

1994
1995
1996

1997

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

29

Jaar

Subsidieoverzicht
(P/D/B)1

Definitie subsidie

Aandacht voor subsidie-evaluaties

Vindplaats
documentatie

1998

Subsidieoverzicht
19984 (P)

Cf Miljoenennota
1988

Ministers van Justitie en Financiën:
Subsidietitel in de Awb van kracht, met daarin een
subsidiedefinitie die afwijkt van die in de Miljoenennota.

Justitie, 1996
Financiën, 1998a
Financiën, 1998b

Subsidieoverzicht
1999 (P)

Cf Miljoenennota
1988

Tweede Kamer:
Tweede Kamerlid Weekers merkt in een algemeen
overleg op dat het subsidieoverzicht 1998 beperkt
vergelijkbaar is met die uit 1993, door de veranderde
subsidiedefinitie.

Tweede Kamer, 1998

1999

Subsidieoverzicht
20005 (P)

Cf Miljoenennota
1988

2000

Subsidieoverzicht
2001 (P)

Cf Miljoenennota
1988

2001

Subsidieoverzicht
2002 (P)

Cf Miljoenennota
1988

2002

Subsidieoverzicht
2003 (D)
[505 subsidies,
€ 17,5 miljard]

Cf Miljoenennota
1988

Financiën, 1999

Tweede Kamer:
De commissie voor de Rijksuitgaven (CRU) verzoekt de
minister van Financiën de huidige wijze van toezenden
van het subsidieoverzicht te veranderen. De CRU stelt
voor dat de Tweede Kamer eens in de vier jaar een
evaluatieve brief over het instrument subsidie in
algemene zin ontvangt. Actuele informatie over
subsidies zoals die nu in het subsidieoverzicht en de
desbetreffende begrotingen staat, moet bij voorkeur via
internet beschikbaar zijn. Aandachtspunt voor de
evaluatieve brief: aantal subsidieregelingen, budgettair
belang, onderbouwing van keuze voor instrument
subsidie, aanwezigheid toetsbare doelstellingen en
helder geformuleerde doelgroep, vijfjaarlijkse evaluatieplicht, anti-cumulatiebepalingen, valt naleving onder
reikwijdte accountantscontrole.

Financiën, 2000
Tweede Kamer, 2000

Financiën, 2001

Tweede Kamer:
In de motie-Van As (zoeklicht) wordt de regering
verzocht alle rijkstaken tegen het licht te houden door
middel van een op te starten «zoeklichtactie», die tot
doel heeft om alle rijkstaken qua taakstelling, omvang
en kosten door te lichten en bijzondere aandacht te
besteden aan alle subsidieregelingen.

Financiën, 2002
Tweede Kamer, 2002

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

30

Jaar

Subsidieoverzicht
(P/D/B)1

Definitie subsidie

Aandacht voor subsidie-evaluaties

Vindplaats
documentatie

2003

Aanvulling op
subsidieoverzicht
2003 in rapport
«Zicht op subsidies» (P)
[aanvulling: € 4,7
miljard]

Bij de inventarisatie
op basis van het
Subsidieoverzicht
Rijk 2003 bleek dat
sommige ministeries de (striktere)
Awb-definitie voor
subsidies hanteerden. Voor het
rapport zijn ook
regelingen buiten
het subsidieoverzicht die wel onder
de definitie van de
Miljoenennota 1988
vallen, als subsidie
aangemerkt.

Minister van Financiën:
Aanbieding van rapport Zicht op subsidies, bedoeld als
invulling van kabinetsreactie op de motie-Van As
(zoeklicht). Twee delen: inventarisatie van de bestaande
subsidieregelingen en een beoordelingskader voor
subsidies. Hierin twee criteria: actualiteit en doelmatigheid van de subsidie, waaronder ook de vraag «in welke
mate wordt de doelstelling gerealiseerd dankzij de
subsidie»? Als «overige beleidsrelevante vraag» ook
vermeld: is horizonbepaling aanwezig?
Minister van Financiën schrijft in aanbiedingsbrief:
subsidieoverzicht wordt met ingang van de Miljoenennota 2003 alleen nog gepubliceerd op het internet
(www.minfin.nl). Tweede Kamer zal vierjaarlijks een
evaluatieve brief over het instrument subsidies in het
algemeen ontvangen, waarvan het rapport Zicht op
subsidies de eerste is.

Financiën, 2003

Tweede Kamer:
In de motie-Van As (einddatum) wordt de regering
verzocht alle subsidies en subsidieregelingen te
voorzien van een einddatum, waar dat nog niet is
gebeurd. Na deze einddatum zouden subsidieregelingen
automatisch moeten worden stopgezet, tenzij na
evaluatie uitdrukkelijk wordt besloten tot verlenging.

Tweede Kamer,
2003b

Algemeen overleg over het rapport Zicht op subsidies.
Verschillende Tweede Kamerleden vragen om uniformering van definities, regels en afspraken voor het
subsidieoverzicht en scherper inzicht in evaluaties.
Minister van Financiën houdt vast aan subsidiedefinitie
van Miljoenennota 1988: Awb-subsidie-definitie is
juridisch en heeft andere doeleinden. Toezegging dat in
de toekomst eens per vier jaar (kabinetsperiode) een
subsidieoverzicht rijk zal worden gepresenteerd (uiterlijk
eind 2005). Minister zal werken aan completering van
het overzicht, zoals opname van premiegefinancierde
sector (VWS) en specifieke uitkeringen.

Tweede Kamer,
2003a

Tweede Kamer:
Tweede Kamerlid Van As geeft in algemeen overleg aan
aanvulling van Instrumentenoverzicht Rijk 2006 te
wensen, met informatie over geplande evaluaties en
resultaten van laatst uitgevoerde evaluatie, en uitvoering van zijn motie uit 2003 (einddatum) want 80% van
de subsidieregelingen heeft nog steeds geen einddatum.
Conclusies van het algemeen overleg: in het volgende
instrumentenoverzicht wordt geplande evaluatiedatum
opgenomen plus verwijzing naar vindplaats van
resultaten. Minister van Financiën komt terug op een
einddatum in subsidieregelingen.

Managementsamenvatting Instrumentenoverzicht Rijk
2006 (Financiën,
2006b).
Het Instrumentenoverzicht Rijk
2006 zelf is in 2006
beschikbaar gesteld
via
www.rijksbegroting.nl/ior,
maar met de
conversie van deze
website naar
www.rijksoverheid.nl
in het ongerede
geraakt en nu niet
meer raadpleegbaar
(Tweede Kamer,
2006).

2004
2005
2006

Instrumentenoverzicht Rijk
2006 (B); plus
managementsamenvatting (P)
[983 instrumenten, € 149,4 mld.
Waarvan € 86,9
miljard subsidies
en overdrachten]

Wijziging
«Subsidies aan
producenten,
sociale uitkeringen
inclusief sociale
overdrachten in
natura, en overige
inkomensoverdrachten.»
(gebaseerd op het
Europees Stelsel
van rekeningen
1995)6

2007

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

31

Jaar

Subsidieoverzicht
(P/D/B)1

Definitie subsidie

Aandacht voor subsidie-evaluaties

Vindplaats
documentatie

Ministerraad:
Vaststelling Kader financieel beheer rijkssubsidies (in
december 2009 omgezet in Aanwijzingen voor de
subsidieverstrekking).

Financiën, 2009

Algemene Rekenkamer:
Advies om elektronische hulpmiddelen te gebruiken bij
de subsidieverlening; dit levert ook de benodigde
gegevens voor het opstellen van een subsidieoverzicht.
Tevens oproep om terughoudend te zijn met inzet van
subsidie-instrument, zeker bij kleine subsidiebedragen.

Algemene Rekenkamer, 2009

Tweede Kamer:
Tweede Kamerleden vragen in algemeen overleg om
een actueel (en frequenter verschijnend) overzicht van
rijkssubsidies en doen de suggestie om het overzicht
«dynamisch» te maken, bijvoorbeeld via een website.
De Kamerleden willen inzicht in de doeltreffendheid en
doelmatigheid van subsidies: is een subsidieregeling
nodig en vormt deze het juiste instrument om een
bepaald doel te bereiken.
Minister van Financiën geeft aan horizonbepaling
serieus te nemen maar vindt die voor bepaalde
subsidies niet raadzaam. Toezegging van rijksbreed
subsidieoverzicht in het voorjaar 2010.

Tweede Kamer, 2010

In de Motie-Weekers (doelmatigheid en doeltreffendheid
van subsidies) wordt de regering verzocht om doelmatigheid en doeltreffendheid van subsidieregelingen op te
nemen in het eerstvolgende Instrumentenoverzicht Rijk.

Tweede Kamer, 2009

Minister van Financiën:
Aanbieding van Subsidieoverzicht Rijk 2010. Als
invulling van de motie-Weekers wordt per regeling het
evaluatiemoment vermeld [Ministeries blijken dit later
verschillend te hebben geïnterpreteerd: de vermelde
jaartallen liggen zowel in het verleden (= datum van
reeds uitgevoerde evaluaties) als in de toekomst (=
datum van geplande evaluaties) – Algemene Rekenkamer]

Financiën, 2010b

Algemene Rekenkamer:
Publicatie rapport over subsidies vermeld in het
Subsidieoverzicht Rijk 2010. Meer dan de helft van de
subsidies van vijf jaar of ouder is niet geëvalueerd. Voor
bijna een derde van de subsidies die liepen op 1 januari
2010 en een verwachte looptijd hadden van meer dan
vijf jaar, was nog geen evaluatie gepland en een derde
van alle subsidies had geen einddatum.
Aanbevelingen: (1) stel de frequentie van informatievoorziening over subsidies in de vorm van het Subsidieoverzicht Rijk opnieuw vast: (2) stel voor alle lopende
subsidieregelingen een evaluatieplanning op en neem
deze op in het eerstvolgende Subsidieoverzicht Rijk
(comply or explain); (3) voorzie subsidieregelingen
zonder einddatum op korte termijn van een einddatum
en neem deze op in eerstvolgend Subsidieoverzicht Rijk
(comply or explain).

Algemene Rekenkamer, 2010

Regeerakkoord Rutte/Verhagen:
Subsidies ter versterking van de positie van bedrijven en
ondernemers worden alleen verstrekt als de effectiviteit
ervan bewezen is.

Informateur, 2010

2008
2009

2010

Subsidieoverzicht
Rijk 20107 (P en
D)
[633 subsidies,
€ 6 060 miljoen]

Wijziging
«Een aanspraak op
financiële middelen, anders dan als
betaling voor geleverde goederen of
diensten, die door
een bestuursorgaan wordt verstrekt aan burgers,
bedrijven en instellingen met het oog
op bepaalde activiteiten van de
aanvrager.»
(conform artikel
4.21 van de
Algemene Wet
Bestuursrecht)8

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

32

Jaar

2011

Subsidieoverzicht
(P/D/B)1

Definitie subsidie

Aandacht voor subsidie-evaluaties

Vindplaats
documentatie

Minister van Financiën:
Aanvullingen op de Rijksbegrotingsvoorschriften in het
kader van de plannen voor Verantwoord Begroten.
Departementen moeten met ingang van de ontwerpbegroting 2012 een (internet-)bijlage publiceren met daarin
een overzicht van de subsidies (conform Awb 4:21) per
departement.

Financiën, 2011a

Tweede Kamer:
Tweede Kamerleden geven in algemeen overleg aan de
bijlagen bij de ontwerpbegrotingen, waaronder de
subsidiebijlage, ook op papier te willen blijven
ontvangen. Minister van Financiën geeft aan dat de
stukken op papier aangeboden worden, maar ook
digitaal beschikbaar worden gesteld via een toegankelijke website.

Tweede Kamer, 2011

1

P: Papieren versie; D: digitaal document op internet; B: database op internet.
Dit overzicht geeft per subsidie informatie over onder meer: doelstelling, doelgroep, datum meest recente evaluatie en de conclusie daarvan,
aanwezigheid horizonbepaling.
3
De subsidieoverzichten werden in de wandelgangen van de Tweede Kamer ook wel aangeduid als «subsidiebijbels» vanwege de grote omvang
van het eerste subsidieoverzicht uit 1993.
4
De in het overzicht genoemde budgetten zijn naar de stand van de ontwerpbegrotingen 1998. Voor de Subsidieoverzichten 1999 tot en met 2003 is
eenzelfde systematiek gehanteerd. De subsidieoverzichten 1998 tot en met 2003 geven per subsidie informatie over onder meer: doelstelling,
doelgroep, datum en aard meest recente ex-post-evaluatie en de vindplaats daarvan, aanwezigheid horizonbepaling.
5
Het Subsidieoverzicht 2000 is als bijlage bij de Miljoenennota 2000 in september 1999 aangeboden aan de Tweede Kamer. Ook de subsidieoverzichten over 2001, 2002 en 2003 zijn als bijlage bij de desbetreffende miljoenennota’s gepubliceerd.
6
Het instrumentenoverzicht biedt een overzicht van álle uitgaande geldstromen van de departementen, waarbij een uitsplitsing gemaakt is naar
«subsidies en overdrachten» en overige geldstromen. Tot «subsidies en overdrachten» gerekend de uitgaven met de ESR-codes 31 en 41–43 , en tot
«overige uitgaven» de uitgaven met andere codes (ESR: Europees Stelsel van rekeningen).
7
Volgens de toelichting zijn de in het overzicht genoemde budgetten gebaseerd op door departementen verstrekte informatie en in een aantal
gevallen niet ingevuld omdat hierover nog geen informatie beschikbaar was of pas in 2011 of later budget gereserveerd was. Het overzicht geeft per
subsidie informatie over onder meer: doelstelling, doelgroep, begin- en einddatum en evaluatiemoment.
8
Zo zijn niet opgenomen: aanspraken of verplichtingen op grond van fiscale wetten en volksverzekeringen, inkomensoverdrachten, verstrekkingen
aan publiekrechtelijk ingestelde rechtspersonen, specifieke uitkeringen aan medeoverheden en bekostiging van onderwijs en onderzoek
(structureel/eerste geldstroom).
2

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

33

BIJLAGE 3 AANPAK ONDERZOEK, NORMEN EN BEGRIPPEN

1

In dit overzicht staan subsidies van alle
ministeries, behalve van Algemene Zaken,
omdat dat ministerie geen subsidies verstrekt.
2
Van de ministeries van Defensie en VWS zijn
door deze selectiewijze geen subsidieevaluaties voor dit onderzoek geselecteerd.
3
In bijlage 4 staat een overzicht van de
onderzochte subsidies, op www.rekenkamer.nl
staat een overzicht van de onderzochte
evaluaties.
4
Niet alle subsidies berusten op een wettelijke
grondslag. Uitzonderingen zijn er voor (artikel
4:23 lid 3 Awb): (1) subsidies waarvoor binnen
een jaar een wettelijke regeling wordt
opgesteld, (2) EU-subsidieprogramma’s, (3)
subsidies waarvan in de begroting zowel de
subsidieontvanger als het maximaal te
verlenen subsidiebedrag is vermeld («begrotingssubsidie») en (4) incidentele subsidies
met een klein aantal subsidieontvangers.
Overigens hebben bestuursorganen op basis
van artikel 4:23 lid 4 Awb wel de verplichting
om jaarlijks een openbaar verslag te publiceren over de verstrekking van spoedeisende
en incidentele subsidies. Dat geldt niet voor
de EU-subsidies en de begrotingssubsidies
waarvan de wetgever aanneemt dat «de
openbaarheid al langs andere weg is
verzekerd» (Den Ouden et al., 2004, 38).

Aanpak onderzoek
In ons onderzoek hebben we alle 111 subsidies betrokken die volgens het
Subsidieoverzicht Rijk 2010 in de jaren 2005 tot en met 2009 zijn geëvalueerd.1 Van deze subsidies hebben we de bijbehorende evaluatieverslagen opgezocht. In 42 gevallen bleken die niet aanwezig, in 69 gevallen
wel. Aan deze verzameling van 69 geëvalueerde subsidies hebben we
twaalf subsidies toegevoegd waarvoor wél een evaluatie in de jaren 2005
tot en met 2009 bleek te zijn uitgevoerd, maar waarvan dit niet was
vermeld in het Subsidieoverzicht Rijk 2010. Van deze 81 subsidies met
evaluaties zijn we nagegaan of deze documenten daadwerkelijk uitspraken
bevatten over de effectiviteit van de subsidie. Dat bleek bij 22 subsidies
niet en voor 59 subsidies wel het geval.2
Niet alle 59 subsidies hebben we betrokken in het vervolg van ons
onderzoek. De twee subsidies die twee maal in het Subsidieoverzicht Rijk
voorkwamen onder twee verschillende nummers, hebben we uiteraard
maar één maal meegenomen in het onderzoek, waarmee het aantal
geëvalueerde subsidies op 57 uitkomt.
Omdat we niet alleen de kwaliteit maar ook het leren van deze evaluaties
wilden beoordelen, en dit leren enige tijd vergt na de publicatie van het
rapport, hebben we de zes evaluaties gepubliceerd ná 1 juli 2009 verder
buiten beschouwing gelaten. Ook één evaluatie gepubliceerd vóór 2005
viel buiten de scope van dit onderzoek.
Aldus resteerden 53 evaluaties, die betrekking hadden op vijftig
subsidies.3 Deze 53 hebben we op kwaliteit beoordeeld. Een belangrijke
vraag daarbij was of de conclusies en aanbevelingen die de effectiviteit
van de subsidie betroffen, voldoende waren onderbouwd.
Vervolgens hebben we voor een aantal van de op kwaliteit beoordeelde
subsidie-evaluaties, gesprekken gevoerd met ambtenaren van de
betrokken ministeries. Het doel van deze gesprekken was om na te gaan
of en hoe de resultaten van de evaluaties zijn gebruikt en welke overwegingen daarbij gehanteerd zijn.
Tot slot zijn we voor alle evaluatieverslagen die in dit onderzoek zijn
betrokken, nagegaan welke informatie naar de Tweede Kamer is gestuurd
over de evaluatie zelf, over de belangrijkste conclusies en aanbevelingen
als het gaat om de effectiviteit van de subsidie, en over het gebruik van de
resultaten van de evaluatie.
Normen
Periodieke evaluatie
Algemene wet bestuursrecht
In artikel 4:24 is bepaald dat subsidieregelingen iedere vijf jaar
geëvalueerd moeten worden:
«Indien een subsidie op een wettelijk voorschrift berust, wordt ten
minste eenmaal in de vijf jaren een verslag gepubliceerd over de
doeltreffendheid en de effecten van de subsidie in de praktijk, tenzij
bij wettelijk voorschrift anders is bepaald.»4
Regeling Rijksbegrotingsvoorschriften 2011 (Financiën, 2010c, 67)
Artikel 5 regelt de periodieke evaluatie van beleid:
«Beleid gericht op de realisatie van de algemene of operationele
beleidsdoelstellingen wordt, aansluitend bij de beleidscyclus,
periodiek geëvalueerd in een beleidsdoorlichting.»

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

34

In de toelichting op dit artikel wordt aangegeven dat het de
bedoeling is om beleid met een zekere regelmaat – bijvoorbeeld elke
vier, vijf of zeven jaar – te evalueren. De reden om hiervoor geen
termijn vast te leggen, is het streven dat de beleidsdoorlichting zo
wordt ingepast in de beleidscyclus dat de informatie ook daarvoor
kan worden gebruikt.
In dit onderzoek hebben we de volgende normen gehanteerd:
1. Subsidies worden door het Rijk goed op effectiviteit geëvalueerd. Dat
wil zeggen:
– dat de meting valide is (er wordt gemeten wat gemeten moet
worden);
– dat het aannemelijk is dat de gevonden effecten kunnen worden
toegeschreven aan de subsidie (met andere woorden, dat er een
causale relatie is tussen de subsidie en de doelrealisatie), iets wat
aannemelijk kan worden gemaakt door middel van:
* evaluaties met een (quasi-)experimentele opzet, waarin het
bereiken van een bepaald doel bij de beoogde doelgroep
centraal staat;1
* onderzoeken waarin de doelgroep wordt bevraagd over de
noodzaak van de subsidie;2
* onderzoeken waarin de relatie tussen subsidie en effect
plausibel wordt gemaakt door informatie uit verscheidene
bronnen te combineren (triangulatie).
– dat de conclusies worden onderbouwd door onderzoeksresultaten.
2. Het Rijk gebruikt de uitkomsten van uitgevoerde evaluaties en benut
de lessen daaruit adequaat:
– conclusies over de effectiviteit van de subsidie (en bijbehorende
aanbevelingen) die voldoende zijn onderbouwd, worden gebruikt
voor de voortzetting, aanpassing of stopzetting van de subsidie(regeling);
– conclusies over de effectiviteit van de subsidie (en bijbehorende
aanbevelingen) die onvoldoende zijn onderbouwd worden niet
gebruikt voor de voortzetting, aanpassing of stopzetting van de
subsidie(regeling);
– de informatievoorziening aan de Tweede Kamer is niet gekleurd:
indien de minister in een beleidsreactie een selectie maakt van de
resultaten van het onderzoek, dan moet deze selectie een evenwichtig beeld schetsen van die uitkomsten van dat onderzoek.

1

De score op dit doel bij de doelgroep wordt
niet alleen vergeleken met de score vóór
invoering van de subsidie (is er iets veranderd
na de invoering?), maar ook met die van een
vergelijkbare «controlegroep» die geen
subsidie heeft ontvangen (wijkt deze
verandering af van de autonome ontwikkeling?). Volgens Cook en Campbell (1979)
vormt dit het minimumniveau waarmee op
verantwoorde wijze conclusies kunnen
worden getrokken over de effectiviteit van een
interventie.
2
Hoewel belanghebbenden de neiging zullen
hebben om de noodzaak van de subsidie te
hoog in te schatten, kan deze methode inzicht
geven in eventueel «freeridergedrag»,
namelijk als zowel subsidieontvangers als
afgewezenen aangeven de subsidie niet nodig
te hebben gehad voor het gewenste gedrag.

Overigens kan een evaluatie die niet aan onze normen voldoet, soms toch
een onverwacht inzicht geven in de noodzaak van een subsidie. Dat is het
geval wanneer de subsidieontvanger daarover wordt bevraagd. Bij
toepassing van deze methode is echter het risico groot dat een te
rooskleurig beeld ontstaat van de noodzakelijkheid van de subsidie. Een
subsidieontvanger zal immers niet snel aangeven dat hij deze subsidie
niet nodig had. Daarom is deze methode als enige methode van
onderzoek niet aan te raden. Maar als (vrijwel) alle subsidieontvangers
aangeven de subsidie niet nodig te hebben om de met de subsidie
beoogde activiteiten te zullen verrichten, is het vrij aannemelijk dat er
sprake is van een cadeau-effect en dat de subsidie dus niet nodig was.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

35

Begrippen
Doeltreffendheid (= effectiviteit):
Onder doeltreffendheid verstaan we in dit onderzoek de mate waarin de
beleidsdoelstelling dankzij de prestaties, waaronder de inzet van
beleidsinstrumenten, wordt gerealiseerd (Financiën, 2010c, 70).
Evaluatie
Met «evaluatie» bedoelen we in dit onderzoek «effectenonderzoek ex
post».
Effectenonderzoek ex post
In effectenonderzoek ex post worden op een systematische en methodologisch verantwoorde wijze de effecten van beleid in de maatschappij of
overheidsorganisatie onderzocht en beoordeeld (Financiën, 2010c, 70).
Effectenonderzoek ex post is één van de twee vormen van evaluatieonderzoek ex post die in de Rijksbegrotingsvoorschriften worden onderscheiden.
Subsidie
In dit onderzoek sluiten we aan bij het subsidiebegrip zoals gedefinieerd
in artikel 4:21 van de Awb. We gebruiken hierna het woord «subsidie»
voor zowel subsidieregelingen als subsidies met een eenmalig en uniek
karakter.
Met «subsidieregelingen» bedoelen we subsidies met een wettelijke
grondslag. Niet alle subsidies berusten echter op een wettelijk grondslag.
In de Awb (artikel 4:23 lid 3 Awb) zijn vier uitzonderingen benoemd. Met
«subsidies met een eenmalig en uniek karakter» bedoelen we subsidies
waarvoor één van de volgende drie uitzonderingsgronden op het vereiste
van de wettelijke grondslag van toepassing is : spoedeisende subsidies,
begrotingssubsidies en incidentele subsidies. De vierde uitzondering geldt
(volledig) Europese subsidies, maar die komen niet ten laste van de
Nederlandse begroting en vallen daarmee buiten het bereik van dit
onderzoek.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

36

BIJLAGE 4 ONDERZOCHTE SUBSIDIES
De hieronder vermelde gegevens zijn overgenomen uit het Subsidieoverzicht Rijk 2010. De ID-nrs zijn de voor elke subsidie unieke identificatienummers die in dit overzicht worden gebruikt.
Ministerie1

Budget 2010

ID-nr

MATRA/Kleine Plaatselijke activiteitenprogramma (KPA)

BuZa

€ 2 000 000

142

Beleidskader Vakbondsmedefinanciering 2005–2008 (VMF)

BuZa

€ 16 345 000

145

Financieringsmaatschappij voor Ontwikkelingslanden (FMO)

BuZa

€–

159

Europafonds

BuZa

€ 2 500 000

161

Prins Clausfonds

BuZa

€ 3 403 352

188

Clingendael

BuZa

€ 2 820 000

299

Atlantische Commissie

BuZa

€ 490 000

301

Stabiliteitsfonds

BuZa

€ 28 000 000

302

Kleine en lichte wapens

BuZa

€–

346

Humanitair ontmijnen

BuZa

€ 10 000 000

345

Seksuele en reproductieve gezondheid en rechten

BuZa

€ 11 700 000

917

PUM

BuZa

€ 10 064 000

1014

Marktontwikkeling

BuZa

€ 32 558 000

1016

MOL-fonds FMO

BuZa

€ 14 500 000

1020

Duurzame economische ontwikkeling

BuZa

€ 4 282 000

1022

Wederopbouw

BuZa

€ 4 000 000

1040

Noodhulp

BuZa

€ 25 000 000

1041

Subsidieregeling starten, groeien overdragen van ondernemingen, Seed
capital technostarters

EZ (EL&I)

€ 21 032 000

4

Subsidieregeling starten, groeien overdragen van ondernemingen,
Borgstelling MKB (garantie)

EZ (EL&I)

€ 45 000 000

9

Subsidieregeling innoveren, Innovatievouchers

EZ (EL&I)

€ 24 880 000

10

Subsidieregeling sterktes in innovatie, prekwalificatie ESA / programma’s

EZ (EL&I)

€ 77 227 0002

260

Subsidieregeling sterktes in innovatie, Innovatieprogramma’s (exclusief
TI’s)

EZ (EL&I)

€ 70 000 000

1054

Bijdrage aan diverse instituten, Nederlands Bureau voor Toerisme &
Congressen

EZ (EL&I)

€ 16 839 000

1071

Bijdrage aan diverse instituten, Stichting Technische Wetenschappen

EZ (EL&I)

€ 25 919 000

1073

Subsidieregeling sterktes in innovatie, Innovatieprogramma’s (TI’s)

EZ (EL&I)

€ 77 606 000

739–45 en
1064–1066

JenG

€ 24 000 000

656

Justitie (VenJ)

€ 52 000

404

Naam subsidie

Subsidieregeling schippersinternaten
Leerstoelen Universiteit Maastricht «Wetgeving en Wetgevingskwaliteit»
en «Europees bestuursrecht»

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

37

Ministerie1

Budget 2010

ID-nr

Stichting Geschillencommissies voor Consumentenzaken (De Geschillencommissie)

Justitie (VenJ)

€ 1 307 000

415

Bijdrage Expertisecentrum Forensische Psychiatrie

Justitie (VenJ)

€ 545 000

1007

Haltbureaus/Wet Justitiesubsidies

Justitie (VenJ)

€ 12 572 000

391

Subsidie praktijknetwerken veehouderijen

LNV (EL&I)

€ 400 000

210

Subsidie samenwerking bij innovatieprojecten landbouwondernemingen

LNV (EL&I)

€ 1 016 000

211

Subsidie innovatieprojecten melkveehouderij en intensieve veehouderij

LNV (EL&I)

€ 3 071 000

214

Kaderregeling Technocentra 2006 tot en met 2010 (Wet Fonds economische structuurversterking)

OCW

€ 9 998 000

7

Regeling innovatiearrangement 2006 tot en met 2009

OCW

€ 10 000 000

449

Subsidieregeling Aanvalsplan laaggeletterdheid 2006–2010

OCW

€ 4 000 000

460

Subsidieregeling Huygens Scholarship Programme

OCW

€ 9 750 000

462

Stichting Kennisnet

OCW

€ 21 847 000

868

Bevorderen van internationale oriëntatie en samenwerking in het primair
en voortgezet onderwijs

OCW

€ 850 000

884

Regeling voor het aanvragen van een startsubsidie of een subsidie
veldinitiatief Passend onderwijs 2009–2011

OCW

€ 850 000

906

Nederlands Filmfonds

OCW

€ 31 762 268

983

OCW/Financiën

€ 500 0003

1439

Stichting Nederlandse Organisatie voor Internationale Samenwerking in
het Hoger Onderwijs (Nuffic)

OCW

€ 15 210 000

1481

Subsidieregeling milieugerichte technologie; Subsidieprogramma Milieu
en Technologie

VROM

€ 4 218 000

288

Subsidieprogramma Verkeersmaatregelen Luchtkwaliteit

VROM

€ 39 054 000

16

Tijdelijke subsidieregeling Stichting Nederland Maritiem Land (NML)
2006–2009

VenW (I&M)

€ 671 000

563

Betere mobiliteit voor morgen

VenW (I&M)

€ 6 000 000

1154

Regeling tot subsidiëring van de Stichting Voorlichtingsbureau Short Sea
Shipping gedurende de jaren 2010 tot en met 2012

VenW (I&M)

€ 159 000

1352

Regeling tot subsidiëring van de Stichting Bureau Voorlichting Binnenvaart gedurende de jaren 2010 tot en met 2012

VenW (I&M)

€ 94 000

1354

SZW

€ 521 000

70

Naam subsidie

Stichting service centrum scholenbouw

Subsidieregeling kwaliteit arbeidsverhoudingen
1

Van ministeries die sinds november 2010 een andere naam hebben gekregen, staat deze nieuwe naam tussen haakjes vermeld.
Volgens het Ministerie van EL&I/EZ bedroeg het budget voor PEP slechts € 5,9 miljoen in 2010.
3
De Ministeries Financiën en OCW hebben beide € 500 000 betaald. In het Subsidieoverzicht Rijk 2010 is alleen het bedrag van het Ministerie van
OCW opgenomen.
2

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

38

BIJLAGE 5 GEKLEURDE INFORMATIE AAN DE TWEEDE KAMER
1: Subsidie Samenwerking in het Hoger Onderwijs (Nuffic)
Onderdeel: Netherlands Education Support Offices (NESO’s),
Ministerie van OCW
Een (klein) onderdeel van de subsidie aan het Nuffic betreft de Netherlands Education Support Offices (NESO’s). De NESO’s zijn vertegenwoordigingen van het Nederlandse hoger onderwijs in landen waar de vraag
naar hoger onderwijs het aanbod overtreft. Ten tijde van de evaluatie van
de subsidieregeling voor deze instellingen waren er tien NESO’s in
evenzoveel landen actief. Op 15 oktober 2009 stuurde de minister van
OCW zijn beleidsreactie op een evaluatieonderzoek over de NESO’s en
een interne evaluatie van het Nuffic, de subsidie-uitvoerder, over deze
NESO’s, naar de Tweede Kamer (OCW, 2009).
De minister merkte over de effectiviteit van de NESO’s het volgende op:
«Het algemene beeld dat uit de evaluaties naar voren komt is dat het
NESO-programma een goed gekozen instrument is voor de generieke
promotie van het Nederlandse hoger onderwijs in het buitenland» (p. 2).
Het NESO-stelsel is «potentieel een bijzonder waardevol instrument voor
het Nederlandse hoger onderwijs en, meer in den brede, de Nederlandse
kennissamenleving. De NESO’s vormen een brug tussen Nederland en de
NESO-landen, versterken de mogelijkheden voor de internationalisering
van het Nederlandse hoger onderwijs en vergroten de mogelijkheden om
talentvolle kenniswerkers aan te trekken» (p. 3). De minister onderschrijft
deze conclusies. Zijn eindconclusie (p. 5) is dat het programma niet alleen
in een duidelijke behoefte voorziet en succesvol is, maar dat met het
overnemen van een aantal van de gedane aanbevelingen het
NESO-stelsel in de toekomst nog effectiever de Nederlandse instellingen
en kenniseconomie van dienst zal zijn.
De minister meldde diverse kanttekeningen bij de effectiviteit van de
NESO’s echter niet. Zo noemde hij niet dat uit de evaluatie blijkt dat de
meeste NESO’s nog te kort bestaan om nu al van een integraal succes te
kunnen spreken (Breimer et al., 2009, p. 16). Hetzelfde beeld komt naar
voren uit de evaluatie door het Nuffic: «Bij de beantwoording van de
evaluatievragen moet rekening worden gehouden met het feit dat de
meeste NESO-kantoren nog niet zo lang bestaan en de meeste NESO’s net
met de uitvoering van het programma zijn begonnen. Dat heeft tot gevolg
dat nog onvoldoende data beschikbaar zijn. De evaluatie heeft daarom
vooral het karakter van een tussenbalans» (Nuffic, 2009, p. 6).
2: Subsidie Atlantische Commissie, Ministerie van BuZa
De Atlantische Commissie geeft voorlichting over trans-Atlantische
samenwerking en laat onderzoek doen naar de trans-Atlantische betrekkingen. De minister van BuZa heeft op 5 maart 2010 het evaluatierapport
en de beleidsreactie naar de Tweede Kamer verstuurd (BuZa & Defensie,
2010).
De minister heeft alleen de zes positieve hoofdbevindingen uit het rapport
weergegeven. De drie bevindingen die minder positief zijn, staan er niet
in. «Via de zogenoemde kennisvermenigvuldigers wordt indirect een
breder publiek bereikt, maar in welke mate dat gebeurt is op methodologische gronden niet te kwantificeren.» «De Atlantische Commissie heeft
veel energie gestoken in de verbetering van het digitale lesmateriaal,
maar dit wordt weinig gebruikt in het onderwijs.» «Het oordeel over het
tijdschrift Atlantisch Perspectief is gemengd. De artikelen zijn over het
algemeen actueel en interessant. De kwaliteit ervan wisselt» (IOB, 2009,
13,14).

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

39

3: Subsidie Technologische Top Instituten (TTI’s), Ministerie van
EZ (EL&I)
TTI’s hebben als doel om wetenschappelijke excellentie op een coherent
onderzoeksgebied, relevant voor het bedrijfsleven, te stimuleren en bij te
dragen aan toepassing en internationale aantrekkingskracht. Door het
publieke onderzoek op zulke gebieden te concentreren en de invloed van
het bedrijfsleven op het vaststellen van de onderzoeksagenda te
vergroten, zou het bedrijfsleven strategische kennis vergaren waarmee de
innovatiecapaciteit en daarmee de concurrentiepositie wordt verstevigd.
Op 30 januari 2006 stuurde de minister van EZ het rapport en zijn
beleidsreactie daarop, naar de Tweede Kamer (EZ, 2006).
De hoofdconclusie uit de aanbiedingsbrief luidde: «Het TTI-programma
heeft de start en ontwikkeling van vier succesvolle TTI’s mogelijk gemaakt,
die elk op hun eigen wijze in hun eigen (sterk verschillende) omgeving
aan de genoemde doelstellingen een positieve bijdrage hebben
geleverd.» Deze tekst is vrijwel letterlijk uit het rapport overgenomen.
Een andere conclusie, die in tegenspraak is met de vorige, staat echter
niet in de beleidsreactie. «As the objectives of the LTI instruments have
not been clearly codified and defined in rather broad terms, the evaluation
of whether the instrument has fulfilled its goals is difficult to establish.
The interpretation of what constitutes a «good» LTI institute is ambiguous.
Therefore, there is no clear yardstick whether an LTI institute complies
with the instrument’s intentions» (Technopolis, 2005, p. 54).
De conclusies en de aanbeveling over explicietere doelen en monitoring
zijn ook niet de brief opgenomen.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

40

BIJLAGE 6 FOUTEN EN ONDUIDELIJKHEDEN IN «SUBSIDIEOVERZICHT RIJK 2010»
Bij de uitvoering van dit onderzoek zijn we op een aantal fouten en
onduidelijkheden in het Subsidieoverzicht Rijk 2010 gestuit. We bespreken
ze hier kort, om aan te geven op welke punten de informatiewaarde van
het Subsidieoverzicht Rijk 2010 tekortschiet. Daarbij willen we de
kanttekening plaatsen dat we alleen zaken vermelden die ons zijn
opgevallen bij ons onderzoek naar subsidie-evaluaties, in het bijzonder bij
het navragen en opzoeken van aanwezige subsidie-evaluaties en het
beoordelen van de kwaliteit daarvan. We hebben niet alle informatie in het
Subsidieoverzicht Rijk 2010 gecontroleerd. Ook hebben we niet voor de
subsidies waarvan de evaluaties in dit onderzoek betrokken zijn, alle
daarover vermelde gegevens in het Subsidieoverzicht Rijk 2010 gecontroleerd.
De beperkte informatiewaarde van het Subsidieoverzicht Rijk 2010 is terug
te voeren op twee gebreken. Ten eerste blijkt niet alle informatie die erin
staat te kloppen. Ten tweede is de informatie die in het Subsidieoverzicht
Rijk 2010 staat op punten onduidelijk en niet zelfstandig leesbaar.
Fouten
Tijdens ons onderzoek zijn wij de volgende acht fouten in het Subsidieoverzicht Rijk 2010 tegengekomen.
1. Niet alle in het Subsidieoverzicht Rijk 2010 vermelde evaluaties waren
daadwerkelijk aanwezig bij de ministeries.
2. Het Subsidieoverzicht Rijk 2010 vermeldt ook budgetten die niet onder
de subsidiedefinitie van artikel 4:21 van de Awb vallen. Het gaat hierbij
onder meer om de hieronder genoemde budgetten.
•

•

•

•

•

Bijdragen aan volkenrechtelijke organisaties (en de programma’s die
zij uitvoeren). De Awb is hierbij niet van toepassing, omdat bij
dergelijke geldstromen de verhouding tussen de verstrekker en de
ontvanger door het volkenrecht wordt beheerst. Dit geldt voor de
financiële bijdrage aan het Internationaal Strafhof.
Financiële verstrekkingen van Nederlandse ambassades aan (rechts-)personen buiten de EU. In artikel 4 tweede lid van de Kaderwet
subsidies Buitenlandse Zaken is geregeld dat dergelijke verstrekkingen
geen subsidies zijn. Hiervan is sprake als het gaat om de bijdrage aan
«MEFMI Macro economic and Financial Management Institute of
Eastern and Southern Africa».
Bijdragen op grond van de Wet bevordering eigenwoningbezit. Het
gaat hier om een aanvullende inkomensvoorziening. Dat de Awb niet
van toepassing is, is ook in de Wet bevordering eigenwoningbezit
vastgelegd (artikel 6, vierde lid).
Opdrachten, dat wil zeggen betalingen voor de levering van goederen
en diensten. Dit is bijvoorbeeld het geval bij de uitgaven aan «Kenniskringen Visserij», «Ondersteuning Visserij Innovatie Platform (VIP)»,
«Onderzoek transitie mosselsector en natuurherstel Waddenzee» en
«Subsidie Netwerk veelzijdig platteland» van het Ministerie van LNV
(nu EL&I).
Overdracht van het ene departement aan een andere voor een bijdrage
aan een agentschap voor een beleidsprogramma. Het gaat om het
energiebesparingsprogramma Het Nieuwe Rijden, dat onder verant-

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

41

woordelijkheid van het Ministerie van VenW werd uitgevoerd door
Agentschap NL, een agentschap van het Ministerie van EZ (nu EL&I).
3. Het Ministerie van EZ (nu EL&I) heeft aangegeven dat de hoogte van
het subsidiebudget voor de Prekwalificatie ESA Programma’s (PEP) in
2010 niet € 77,2 miljoen bedraagt, zoals nu in het Subsidieoverzicht Rijk
2010 vermeld is, maar € 5,9 miljoen. Bovendien is alleen het deel dat het
Ministerie van OCW betaalt voor de subsidie aan de Stichting service
centrum scholenbouw in dit overzicht opgenomen (€ 0,5 miljoen), terwijl
het even grote deel dat het Ministerie van Financiën betaalt, er niet in
staat. Gerelateerd aan het totale subsidiebudget volgens het Subsidieoverzicht Rijk 2010 van € 6 060 miljoen in 2010, en het totale budget van
€ 725 miljoen volgens het Subsidieoverzicht Rijk 2010 voor subsidies met
een evaluatie in de door ons onderzochte periode, is dat een substantiële
wijziging. We kunnen niet uitsluiten dat ook de hoogte van de andere, niet
door ons onderzochte subsidiebedragen die in het Subsidieoverzicht Rijk
2010 staan genoemd, onjuist zijn.
4. De vermelde begin-, eind- en evaluatiedatum blijken in veel gevallen
niet te kloppen. Dit is onder meer problematisch met het oog op het
kunnen vaststellen of voldaan wordt aan de wettelijke eis om minimaal
eens per vijf jaar subsidies die op een wettelijk voorschrift berusten op
effectiviteit te onderzoeken. Er zou hier echter ook sprake kunnen zijn van
een onduidelijkheid bij de departementen over wat als begindatum moet
worden aangehouden voor subsidies die jaarlijks worden toegekend.
Relatief vaak is 1 januari 2010 als begindatum vermeld, ook als subsidies
al langer lopen en dus eerder gestart zijn, zoals de subsidies aan de
Academie voor Wetgeving (vanaf 2001) en aan de Stichting Geschillencommissie Consumentenzaken (het Ministerie van Justitie subsidieert al
minstens sinds 2002). In het geval van de Geschillencommissie, waarbij
het gaat om een jaarlijkse subsidietoekenning, heeft het Ministerie van
Justitie aangegeven als «begindatum» de begindatum van de betreffende
subsidieperiode (te weten het jaar 2010), te hebben ingevuld. Ook blijkt in
een aantal gevallen de datum van een tussentijdse wijziging van een
subsidieregeling te zijn opgegeven als begindatum.
5. Niet alle subsidies in het Subsidieoverzicht Rijk 2010 blijken te voldoen
aan het criterium dat volgens de toelichting bepalend was voor opname in
dit overzicht. Volgens de toelichting zijn subsidieregelingen opgenomen
waarvoor per 1 januari 2010 of op een later moment in 2010 aanvragen
kunnen worden ingediend, en die in 2010 tot uitgaven leiden (naar stand
begroting 2010). Daarnaast zijn subsidies en bijdragen opgenomen die,
voor zover bekend op 1 januari 2010, in 2010 worden verleend op basis
van een kaderwet of begroting (subsidies met een eenmalig of uniek
karakter (Financiën, 2010a, p. 3). Niet alle subsidies bleken echter aan dit
criterium te voldoen.
• Twee subsidies worden volledig gefinancierd worden door de EU,
waarbij er geen sprake is van Nederlandse cofinanciering. Dit betreft
de uitgaven vermeld voor «Compensatie voor elektronische merken»
en «Compensatie voor kosten I&R centrale databank». Omdat deze
subsidies niet ten laste van de Nederlandse begroting komen, horen ze
niet thuis in het Subsidieoverzicht Rijk 2010.
• Ook staat er in het Subsidieoverzicht Rijk 2010 een subsidie die pas
start in 2011 en doorloopt tot 2015 («Medefinancieringsstelsel
2011–2015» van het Ministerie van BuZa).

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

42

6. Soms staat de subsidie bij het verkeerde ministerie (Besluit subsidies
investeringen kennisinfrastructuur valt onder het Ministerie van LNV (nu
EL&I), niet het Ministerie van VWS).
7. De in het Subsidieoverzicht Rijk 2010 vermelde evaluatie blijkt
betrekking te hebben op een specifieke uitkering op hetzelfde beleidsterrein, niet op de subsidieregeling (subsidie «Wet Bodemsanering»).
8. De vermelde vindplaatsen van documentatie blijkt vaak niet te kloppen.
Onduidelijkheden
Als het gaat om onduidelijkheden valt allereerst op dat wat als subsidieregeling of subsidie wordt geteld, verschilt tussen ministeries. Zo blijken
ministeries verschillend om te gaan met subsidies die berusten op een
kaderwet. Het Ministerie van SZW benoemt bijvoorbeeld alle (incidentele)
subsidies die op grond van de Kaderwet SZW-subsidies worden verstrekt
apart in het Subsidieoverzicht Rijk 2010, terwijl het Ministerie van VWS
dat niet doet en de Subsidieregeling VWS-subsidies als één subsidieregeling telt, hoewel daaronder vele (incidentele) subsidies worden
verstrekt. Soms ook wordt een beleidsprogramma als één eenheid geteld,
ook al omvat deze twee (aparte) subsidieregelingen (Programma
Verkeersmaatregelen Luchtkwaliteit van het voormalige Ministerie van
VROM).1
In het Subsidieoverzicht Rijk 2010 wordt dus zowel specifieke als
generieke informatie vermeld, zonder dat dit de lezer wordt duidelijk
gemaakt.
In twee gevallen worden subsidies die door twee ministeries gefinancierd
worden, als twee aparte subsidies vermeld in het Subsidieoverzicht Rijk
2010. Een verwijzing of toelichting waarin dit duidelijk wordt gemaakt,
ontbreekt. Dit geldt voor «Programma Uitzending Managers», gefinancierd door zowel het Ministerie van EZ/EL&I als door het Ministerie van
BuZa, en voor «Nederland Maritiem Land», gefinancierd door zowel het
Ministerie van EL&I/EZ als door het Ministerie van VenW/IenM. Onduidelijk is wat het uiteindelijke subsidiebudget voor deze twee subsidies is:
kunnen hiervoor de budgetten van beide betrokken ministeries worden
opgeteld? Hier is het Subsidieoverzicht Rijk dus niet zelfstandig leesbaar.
Soms is onduidelijk in hoeverre de in het Subsidieoverzicht Rijk 2010
vermelde budgetten zijn bestemd voor subsidie-uitgaven. Dit geldt voor
twee «gemengde posten» van het Ministerie van BuZa: «Thema integraal
waterbeheer (gemengde post)», «Drinkwater en sanitaire voorzieningen
(gemengde post)». Navraag leerde ons dat hiermee wordt bedoeld dat de
vermelde budgetten niet alleen voor subsidies maar voor anderssoortige
financiële bijdragen zijn bestemd, zonder dat dit nader kon worden
gespecificeerd.

1

Onder het Programma Verkeersmaatregelen
Luchtkwaliteit vallen vijf subsidieprogramma’s, ondergebracht in twee regelingen: de
«Subsidieregeling emissieverminderende
voorzieningen voor voertuigen» en de
«Subsidieregeling voertuigen met een
emissiearme dieselmotor en recht op
teruggaaf BPM».

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

43

LITERATUUR
Algemene Rekenkamer (1989). Verslag 1988. Tweede Kamer, vergaderjaar
1988–1989, 21 080, nrs. 1–2. Den Haag: Sdu.
Algemene Rekenkamer (1991). Verslag 1990. Tweede Kamer, vergaderjaar
1990–1991, 22 032, nrs. 1–2. Den Haag: Sdu.
Algemene Rekenkamer (1996). Subsidiebeheer. Tweede Kamer, vergaderjaar 1995–1996, 24 825, nrs. 1–2. Den Haag: Sdu.
Algemene Rekenkamer (2009). Reactie op adviesaanvraag conceptAanwijzingen voor subsidieverstrekking. Brief aan de minister van
Financiën van de Algemene Rekenkamer d.d. 17-09-2009. Kenmerk
9006390 R. Den Haag: Eigen beheer.
Algemene Rekenkamer (2010). Inzicht in belastinguitgaven, specifieke
uitkeringen en subsidies. Den Haag: Sdu.
Algemene Rekenkamer (2011). Handreiking voor effectevaluaties van
subsidies. Den Haag: Algemene Rekenkamer.
AZ (2009). Regeling van de Minister-President, Minister van Algemene
Zaken, van 15 december 2009, nr. 3086451, houdende vaststelling van
Aanwijzingen voor subsidieverstrekking. Staatscourant nr. 20306, d.d.
31 december 2009.
Breimer, D.D., C. Boom & E.A.A.M. Broesterhuizen (2009). Evaluatie
Neso-programma. Den Haag: eigen beheer.
Bureau Bartels B.V. (2008). Procesevaluatie innovatieregeling intensieve
veehouderij. Amersfoort: eigen beheer.
BuZa & Defensie (2010). Navo. Brief van de ministers van Buitenlandse
Zaken en van Defensie. Tweede Kamer, vergaderjaar 2009–2010, 28 676,
nr. 100. Den Haag: Sdu.
Cook, T.D. & D.T. Campbell (1979). Quasi-experimentation: design and
analysis issues for field settings. Boston: Houghton Mifflin Company.
EZ (2006). Vaststelling van de begrotingsstaten van het Ministerie van
Economische Zaken (XIII) voor het jaar 2006. Brief van de minister van EZ
om de evaluatie van TTI’s aan de Tweede Kamer aan te bieden. Tweede
Kamer, vergaderjaar 2005–2006, 30 300 XIII, nr. 66. Den Haag: Sdu.
Ferwerda, H.B., I.M.G.G. van Leiden, N.A.M. Arts & A.R. Hauber (2006).
Halt: Het Alternatief? De effecten van Halt beschreven. Den Haag: Boom.
Financiën (1987). Miljoenennota 1988; Nota over de toestand van ’s Rijks
Financiën. Tweede Kamer, vergaderjaar 1987–1988, 20 200, nr. 1. Den
Haag: Sdu.
Financiën (1998a). Subsidieoverzicht rijksoverheid 1998. Brief aan de
voorzitter van de Tweede Kamer van de minister van Financiën d.d.
23 februari 1998. Kenmerk 98-BBH/029. Den Haag: Directie Begrotingszaken.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

44

Financiën (1998b). Subsidieoverzicht rijksoverheid 1999. Den Haag: eigen
beheer.
Financiën (1999). Subsidieoverzicht rijksoverheid 2000. Brief van de
minister van Financiën aan de voorzitter van de Tweede Kamer inzake
Subsidie Overzicht Rijksoverheid 2000, kenmerk B/1999/725M, d.d.
21 september 1999. Den Haag: eigen beheer.
Financiën (2000). Subsidieoverzicht rijksoverheid 2001. Den Haag: eigen
beheer.
Financiën (2001). Subsidieoverzicht rijksoverheid 2002. Brief van de
minister van Financiën aan de voorzitter van de Tweede Kamer inzake
Subsidie Overzicht Rijksoverheid 2000, kenmerk BZ/2001–01 217M, d.d.
18 september 2001. Den Haag: eigen beheer.
Financiën (2002). Subsidieoverzicht rijksoverheid 2003. Den Haag: eigen
beheer.
Financiën (2003). Nota over de toestand van ’s Rijks Financiën. Brief van
de minister van Financiën aan de voorzitter van de Tweede Kamer met de
aanbieding van het rapport «Zicht op subsidies». Tweede Kamer,
vergaderjaar 2002–2003, 28 600, nr. 65. Den Haag: Sdu.
Financiën (2006a). Instrumentenoverzicht Rijksoverheid. Den Haag: eigen
beheer.
Financiën (2006b). Vaststelling van de begrotingsstaat van het Ministerie
van Financiën (IXB) voor het jaar 2006. Brief van de minister van Financiën
aan de voorzitter van de Tweede Kamer met de aanbieding van de
managementsamenvatting van het Instrumentenoverzicht Rijk (IOR).
Tweede Kamer, vergaderjaar 2005–2006, 30 300 IXB, nr. 27. Den Haag:
Sdu.
Financiën (2009). Brief van de minister van Financiën d.d. 29 april 2009
met de aanbieding van het kader financieel beheer rijkssubsidies. Tweede
Kamer, vergaderjaar 2008–2009, 31 865 en 31 031, nr. 5. Den Haag: Sdu.
Financiën (2010a). Bijlage 1 bij Subsidieoverzicht Rijk 2010. Den Haag:
eigen beheer.
Financiën (2010b). Brief van de minister van Financiën aan de voorzitter
van de Tweede Kamer met de aanbieding van het subsidieoverzicht Rijk
(SOR) 2010. Tweede Kamer, vergaderjaar 2009–2010, 32 335, nr. 1.
Den Haag: Sdu.
Financiën (2010c). Regeling Rijksbegrotingsvoorschriften 2011, bijlage B.
rbv.minfin.nl, geraadpleegd op 7 juni 2011.
Financiën (2010d). Subsidieoverzicht Rijk 2010. Den Haag: eigen beheer.
Financiën (2011a). Aanvullingen op de Rijksbegrotingsvoorschriften in het
kader van de plannen voor Verantwoord Begroten. http://rbv.minfin.nl/
begroten/Verantwoord-begroten, geraadpleegd op 27 mei 2011.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

45

Financiën (2011b). Brief van de minister van Financiën d.d. 20 april 2011
inzake de verbetering van de verantwoording en begroting, met een
voorbeeld subsidiebijlage. Tweede Kamer, vergaderjaar 2010–2011,
31 865, nr. 29. Den Haag: Sdu.
Financiën (2011c). Brief van de minister van Financiën d.d. 22 maart 2011
met voorstellen voor de verbetering van de verantwoording en begroting.
Tweede Kamer, vergaderjaar 2010–2011, 31 865, nr. 26. Den Haag: Sdu.
Financiën & Justitie (1993). Rapportage over het geïntegreerd subsidiebeleid en aanbieding subsidie-overzicht. Tweede Kamer, vergaderjaar
1992–1993, 22 150, nr. 11. Den Haag: Sdu.
Financiën & Justitie (1993a). Brief over het geïntegreerd subsidiebeleid.
Tweede Kamer, vergaderjaar 1992–1993, 22 150, nrs. 1 en 4. Den Haag:
Sdu.
Financiën & Justitie (1993b). Rapportage over het geïntegreerd subsidiebeleid en aanbieding subsidie-overzicht. Tweede Kamer, vergaderjaar
1992–1993, 22 150, nr. 11. Den Haag: Sdu.
Informateur (2010). Kabinetsformatie 2010. Brief van de informateur aan
de Tweede Kamer, d.d. 7 oktober 2010 ter aanbieding van zijn eindverslag
alsmede het regeerakkoord van VVD en CDA, het gedoogakkoord van
VVD, PVV en CDA en de bijbehorende analyse van het Centraal
Planbureau. Tweede Kamer, vergaderjaar 2010–2011, 32 417, nr. 15.
Den Haag: Sdu.
IOB (2009). Evaluatie van de Atlantische Commissie. Den Haag: Sdu.
Nuffic (2009). Tussenbalans: Interne evaluatie naar de doeltreffendheid en
doelmatigheid van het programma betreffende de Netherlands Education
Support Offices. Den Haag: Nuffic.
OCW (2009). Hoger Onderwijs-, Onderzoek- en Wetenschapsbeleid;
Vaststelling van de begrotingsstaten van het Ministerie van Onderwijs,
Cultuur en Wetenschap (VIII) voor het jaar 2010. Brief van de minister van
Onderwijs, Cultuur en Wetenschap over de evaluatie van het programma
rondom de Netherlands Education Support Offices (Neso’s). Tweede
Kamer, vergaderjaar 2009–2010, 31 288 en 32 123 VIII, nr. 69. Den Haag:
Sdu.
Ouden, W. den, M.J. Jacobs & N. Verheij (2004). Subsidierecht. Deventer:
Kluwer.
Technopolis (2005). Evaluation Leading Technological Institutes.
Amsterdam: eigen beheer.
Tweede Kamer (1996). Subsidiebeheer en Rechtmatigheidsonderzoek
1995. Verslag van een algemeen overleg. Tweede Kamer, vergaderjaar
1996–1997, 24 825 en 24 830, nr. 3. Den Haag: Sdu.
Tweede Kamer (1998). Van uitgaven naar kosten; interdepartementale
beleidsonderzoeken 1997. Verslag van een algemeen overleg. Tweede
Kamer, vergaderjaar 1998–1999, 25 257 en 25 509, nr. 3. Den Haag: Sdu.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

46

Tweede Kamer (2000). Brief van de voorzitter van de commissie voor de
Rijksuitgaven aan de minister van Financiën inzake de wijze van
informatie-uitwisseling over subsidies. Kenmerk BZ/2000/1607 I
(Financiën), d.d. 22 november 2000. Den Haag: Sdu.
Tweede Kamer (2002). Nota over de toestand van ’s Rijks Financiën. Motie
van het lid Van As over het doorlichten van rijkstaken (zoeklichtactie).
Tweede Kamer, vergaderjaar 2002–2003, 28 600, nr. 51. Den Haag: Sdu.
Tweede Kamer (2003a). Nota over de toestand van ’s Rijks Financiën.
Verslag van een Algemeen Overleg over het rapport «Zicht op subsidies»
en het verslag van het schriftelijk overleg hierover. Tweede Kamer,
vergaderjaar 2003–2004, 29 200, nr. 47. Den Haag: Sdu.
Tweede Kamer (2003b). Nota over de toestand van ’s Rijks Financiën.
Motie van het lid Van As om alle bestaande subsidies en subsidieregelingen te voorzien van een einddatum in zoverre dat nog niet is gebeurd,
vergaderjaar 2003–2004, 29 200, nr. 40. Den Haag: Sdu.
Tweede Kamer (2006). Evaluatie VBTB. Verslag van een algemeen overleg
over onder meer het Instrumentoverzicht van het Rijk. Tweede Kamer,
vergaderjaar 2005–2006, 29 949, nr. 41. Den Haag: Sdu.
Tweede Kamer (2009). Verbetering verantwoording en begroting. Motie
van het lid Weekers om in het in het Instrumentenoverzicht Rijk dat in
2010 verschijnt, een beoordeling op doelmatigheid en doeltreffendheid
van de verschillende subsidieregelingen op te nemen. Tweede Kamer,
vergaderjaar 2009–2010, 31 865, nr. 14. Den Haag: Sdu.
Tweede Kamer (2010). Verbetering verantwoording en begroting. Verslag
van een algemeen overleg over onder meer het Kader financieel beheer
rijkssubsidies. Tweede Kamer, vergaderjaar 2009–2010, 31 865, nr. 17. Den
Haag: Sdu.
Tweede Kamer (2011). Verbetering verantwoording en begroting. Verslag
van een algemeen overleg over diverse stukken inzake Verantwoord
Begroten. Tweede Kamer, vergaderjaar 2010–2011, 31 865, nr. 31.
Den Haag: Sdu.

Tweede Kamer, vergaderjaar 2011–2012, 33 034, nr. 2

47