Commissie Financiën

Aan de minister van Financiën

Plaats en datum:
Betreft:
Ons kenmerk:

Den Haag, 27 oktober 2016
Beleidsdoorlichtingen
…..

De vaste commissie voor Financiën monitort jaarlijks de kwaliteit van de door de Kamer ontvangen
beleidsdoorlichtingen. Dit als terugkerend aandachtspunt uit het werkprogramma
Rijksuitgavenonderwerpen. Recentelijk heeft de commissie Financien het belang van een goede
uitvoering van beleidsdoorlichtingen en behandeling daarvan in de Kamer nog eens onderstreept.1
Met deze brief legt de commissie u de belangrijkste bevindingen voor van haar terugblik op de in
2015 en tot medio 2016 verschenen beleidsdoorlichtingen. Daarnaast verneemt de commissie
graag de stand van zaken rond het in kaart brengen van mogelijke verbeteropties binnen het
evaluatiestelsel, zoals recent gesuggereerd door de Studiegroep Begrotingsruimte. Dit ook omdat
de Tweede Kamer ervoor gekozen heeft om ‘focus op beleidstoetsing’ aan te merken als
focusonderwerp voor de verantwoording over 2016 (in mei 2017). De Tweede Kamer hecht veel
waarde aan gedegen evaluatie van beleid en een sluitend evaluatiestelsel.
In april 2015 stuurde de commissie u een brief over beleidsdoorlichtingen.2 Deze brief was vooral
gericht op verbetering van de ‘plannen van aanpak’, waarin de voorziene opzet van
beleidsdoorlichtingen vooraf aan de Tweede Kamer worden voorgelegd (conform de motie Harbers
c.s.). De commissie heeft de sindsdien verschenen plannen van aanpak tegen het licht gehouden
en daarnaast de kwaliteit en behandelwijze van de verschenen beleidsdoorlichtingen geanalyseerd.
Op hoofdlijnen komt de commissie tot de volgende bevindingen.
Bevindingen plannen van aanpak
De betrokkenheid van Kamer bij de plannen van aanpak is groot; vrijwel altijd worden ze actief
behandeld in de betreffende commissies en regelmatig worden er vragen over gesteld of
aanvullende verzoeken gedaan aan bewindslieden.
In veel gevallen blijkt op voorhand al dat de doorlichting niet over het volledige beleid zal of
kan gaan (fragmentarische aanpak), waardoor zicht op doelbereiking en doeltreffendheid wordt
belemmerd.
Het is voor de Kamer vaak lastig om goed zicht te krijgen of het benodigde
onderzoeksmateriaal voor een ‘syntheseonderzoek’ aanwezig is. Hierover zijn geregeld twijfels
geuit door de vakcommissies.

1

Kamerstuk II, 2015/16, 31 597, nr. 11

2 Brief van de voorzitter van de commissie voor de Rijksuitgaven van 24 april 2015 (2015D15543).

-

-

In plannen van aanpak kan duidelijker aangegeven worden hoe de onafhankelijkheid van de
uitvoering van de doorlichting wordt gewaarborgd en hoe de methodologie achteraf
onafhankelijk zal worden getoetst.
De grondslag voor de te onderzoeken besparingsvarianten is vaak niet helder.

Bevindingen beleidsdoorlichtingen
De tijdigheid van beleidsdoorlichtingen is verbeterd. De planning en verschijning van
beleidsdoorlichtingen is goed te volgen (via o.m. de begrotingen en een website)
De kwaliteit van doorlichtingen is nog altijd vaak ondermaats. Terugkerende problemen zijn
onder meer: onvolledigheid van de doorlichting, vaag geformuleerde doelstellingen,
methodologische problemen om een uitspraak te kunnen doen over
doelmatigheid/doeltreffendheid van het beleid, onvoldoende onderliggend
onderzoeksmateriaal.
Waarborgen voor de onafhankelijkheid van de uitvoering geven een wisselend beeld, evenals
de externe toets op de kwaliteit.
Kabinetsreacties op beleidsdoorlichtingen zijn niet altijd objectiveerbaar. Ook wordt niet altijd
op alle aanbevelingen ingegaan.
De behandeling in de Kamer van beleidsdoorlichtingen is weliswaar iets systematischer
aangepakt (er worden bijvoorbeeld vaker feitelijke vragen gesteld), maar de behandeling in
commissies daarna is veelal nog (te) beperkt.
De commissie verzoekt u te reageren op deze bevindingen en het bijzonder in te gaan op de
mogelijkheden die u ziet om verdere verbeteringen aan te brengen in de opzet, uitvoering en
bruikbaarheid van het instrument beleidsdoorlichtingen. De commissie tekent daarbij aan dat het
eens per zeven jaar doorlichten van beleid een erg ruime periode is en verzoekt u ook in te gaan
op de mogelijkheden om de frequentie van doorlichtingen aan te scherpen. In de bijlage bij deze
brief treft u denkrichtingen aan van de commissie Financiën voor mogelijke verbeteringen van de
huidige praktijk rond beleidsdoorlichtingen.
Verbetering evaluatiestelsel
In het algemeen overleg met de toenmalige commissie voor de Rijksuitgaven van 14 oktober 2015
over Verantwoord Begroten3 heeft u aangegeven dat het hele stelsel zou worden doorgelicht en
zegde u toe de Kamer daarvan op de hoogte te houden. Voorstellen voor deze stelseldoorlichting
zijn vervolgens neergelegd bij de Studiegroep Begrotingsruimte die hierover het volgende schreef:
“De Studiegroep adviseert daarom de operatie Inzicht in Kwaliteit te starten. Vier richtingen die
hierbij kunnen worden uitgewerkt zijn: een grotere rol voor onafhankelijke partijen, betere
kennisdeling tussen departementen, meer flexibiliteit en maatwerk in de inzet en toepassing van
instrumenten en de ontwikkeling van nieuwe benaderingen binnen bestaande instrumenten.”4
De commissie onderschrijft het belang dat ook de Studiegroep hecht aan ‘Inzicht in Kwaliteit’ en
verzoekt u -ook in het licht van het door de Kamer gekozen focusonderwerp- uiterlijk in maart
2017 de Kamer te informeren over concrete denkrichtingen en fundamentele verbeteringsopties
van het evaluatiestelsel, waaronder de richtingen die de Studiegroep schetst. In deze uitgebreide
verkenning kunnen voor- en nadelen van mogelijke aanpassingen in het evaluatiestelsel worden
geschetst.
De commissie verzoekt u daarbij zowel aandacht te besteden aan verbeteringen aan de voorkant
als aan de achterkant van het proces. Aan de ‘voorkant’ ligt het voor de hand – zoals eerder door
de commissie Financiën bepleit – zwaardere eisen te stellen aan de plannen van aanpak: ten
aanzien van de volledigheid van doorlichtingen, de compleetheid van de onderzoeksbasis, de eisen
aan de onafhankelijke uitvoering en -toetsing en de motivatie van de timing van de doorlichting.

3
4

Kamerstuk II, 2015/16, 31 865 nr. 75
Van saldosturing naar stabilisatie. 15e rapport Studiegroep begrotingsruimte. Juli 2016. P. 10.

Gegeven de nieuwe bepalingen over doelmatigheid en doeltreffendheid in het wetsvoorstel
Comptabiliteitswet 2016, ligt het voor de hand dat al bij de beleidsvorming sterker wordt gestuurd
op de voorwaarden voor beleid dat goed te evalueren is. Dat kan door het stellen van eisen aan de
doelenstellingen, het transparant formuleren van de beleidstheorie, en door gebruik te maken van
concrete indicatoren/streefwaarden waarmee beoogde effecten en de doelmatigheid van het beleid
worden ingeschat. Daarnaast ligt een steviger sturing voor de hand op de volledigheid van de
evaluatieprogrammering op basis waarvan beleidsdoorlichtingen (syntheseonderzoek) kunnen
worden uitgevoerd en op het daadwerkelijk doorlichten van gehele beleidsdomeinen, in plaats van
de huidige fragmentarische aanpak.
Aan de ‘achterkant’ – vanaf het moment dat evaluaties en doorlichtingen eenmaal zijn uitgevoerd –
kan gedacht worden aan mogelijkheden om de resultaten van en opvolging van aanbevelingen in
beleidsdoorlichtingen te verbeteren. Specifiek daarbij is de koppeling met de begrotingscyclus punt
van aandacht (dat wil zeggen dat de uitkomsten worden gebruikt ter verbetering van de
beleidsvorming in de toekomst en een weerslag vinden in de begroting), alsmede de implementatie
van lessen over de volledigheid van de evaluatieprogrammering en de mate waarin
beleidsdoelstellingen überhaupt te evalueren zijn.
In de bijlage bij deze brief treft u enkele denkrichtingen aan voor mogelijke fundamentelere
verbeteringen van de huidige evaluatiepraktijk vanuit de commissie Financiën. Hopelijk inspireren
deze om in gezamenlijkheid te komen tot de nodige verbeteringen van het stelsel.
Hoogachtend,
De voorzitter van de vaste commissie voor Financiën,
P.J. Duisenberg
De griffier van de vaste commissie voor Financiën,
R.F. Berck

Bijlage – Aanbevelingen vaste commissie Financiën
Op basis van de terugblik op de in 2015 en tot medio 2016 aan de Tweede Kamer aangeboden
plannen van aanpak en beleidsdoorlichtingen, geeft de commissie Financien onderstaande
verbeteropties ter overweging mee aan de minister van Financiën. De aanbevelingen zijn
onderverdeeld in suggesties ter verbetering van de kwaliteit van de doorlichtingen (en daar aan
voorafgaande plannen van aanpak) en een tweetal denkrichtingen die betrekking hebben op het
evaluatiestelsel.
KWALITEIT BELEIDSDOORLICHTINGEN

A.

Kwaliteitscriteria vastleggen voor plannen van aanpak

In lijn met de brief van april 20155 van de commissie aan de minister van Financiën beveelt de
commissie aan alsnog werk te maken van het specifiek vast leggen van een aantal kwaliteitscriteria
voor de plannen van aanpak.
Timing plannen van aanpak
In de praktijk komen de meeste plannen van aanpak geconcentreerd en soms zelfs gebundeld naar
de Tweede Kamer aan het eind van het jaar (rond de begroting). Zo ontstaat er enerzijds een risico
dat ze minder aandacht krijgen dan ze verdienen, anderzijds heeft dit ook gevolgen voor de
uitvoering van de doorlichtingen zelf. Ervan uitgaande dat de doorlichtingen worden gestart na
behandeling van het plan van aanpak in de betreffende Kamercommissie en daarmee dus
overwegend aan het begin van het volgend jaar, zal de oplevering van de doorlichtingen zich ook
gaan concentreren aan het eind van het jaar. Dit heeft risico’s voor een zorgvuldige behandeling in
de Kamer. Dit terwijl er geen noodzaak is om een strakke jaarcyclus te hanteren voor plannen van
aanpak of doorlichting, mits hier maar helder over wordt gecommuniceerd.
De volledigheid van doorlichtingen
Beleidsdoorlichtingen zijn vaker incompleet dan compleet. Soms omdat maar een deel wordt
doorgelicht, soms omdat evaluatiemateriaal ontbreekt, dan weer omdat recent een IBO is
uitgevoerd. Sommige departementen lichten standaard slechts een deel van het beleid door. Zo
ontstaat zelden een integraal beeld over de beleidseffectiviteit (te relateren aan de oorspronkelijke
beleidsdoelstellingen) en overstijgen veel doorlichtingen een gewone evaluatie niet. In plaats van
syntheseonderzoek worden het relatief beperkte instrumentevaluaties. Beleidsdoorlichtingen
hebben pas echt meerwaarde als ze het totaal aan beleidsinterventies in beeld brengen op een
beleidsthema.
De ‘compleetheid’ van de onderliggende onderzoeksbasis
Als die niet compleet is zal moeten worden gemotiveerd hoe dit in de doorlichting wel zal gebeuren
of hoe met witte vlekken zal worden omgegaan. Anders krijgt de Kamer vooraf geen zekerheid
over de vraag of er voldoende basis licht om in de beleidsdoorlichting uitspraken te doen over
doelmatigheid en doeltreffendheid van het beleid en hoe met eventuele lacunes wordt omgegaan.
De onafhankelijkheid van de uitvoering van beleidsdoorlichtingen
In veel plannen van aanpak is niet duidelijk wie de doorlichting uitvoert en in hoeverre dit
onafhankelijk gebeurt. Wanneer een doorlichting niet door een onafhankelijke partij wordt
uitgevoerd, moeten er waarborgen zijn dat de methodologie en kwaliteit geborgd zijn en
onafhankelijk worden getoetst. Idealiter worden doorlichtingen onafhankelijk uitgevoerd en
onafhankelijk methodologisch getoetst. Er zou een “ja, tenzij principe” gehanteerd kunnen worden
waar het de uitvoering door onafhankelijke derden betreft en het onafhankelijke toetsing van de
kwaliteit betreft.

5 Brief van de voorzitter van de commissie voor de Rijksuitgaven van 24 april 2015 (2015D15543).

B.

De motivatie van de timing van beleidsdoorlichtingen

Beleidsdoorlichtingen komen het beste tot hun recht als er momentum is voor beleidswijziging. Te
vaak wordt duidelijk – soms al in het plan van aanpak, soms bij oplevering van de doorlichting –
dat de conclusies of niet meer betrokken kunnen worden bij een grote beleidswijziging; of dat de
periode om te bezien of het beleid daadwerkelijk effectief en doelmatig was te kort blijkt (te vroeg
om conclusies te trekken). Motivatie van de timing en de wijze waarop met de conclusies zal
worden omgegaan in het plan van aanpak, kan bijdragen aan een betere kwaliteit en opvolging van
de conclusies en aanbevelingen.

C.

Toetsing ‘lerend vermogen’ kabinetsreacties

Kabinetsreacties zijn vaak selectief en incompleet. Om te voorkomen dat er met de resultaten uit
beleidsdoorlichtingen onvoldoende gebeurt, zou de minister van Financiën zwaardere eisen kunnen
stellen aan de kabinetsreactie. Minimaal zou moeten vastliggen dat kabinetsreacties ingegaan op
alle beleidsconclusies en eventuele aanbevelingen uit de beleidsdoorlichting.
Daarnaast kunnen departementen zelf beter bewaken dat zij ‘integer’ omgaan met conclusie uit
beleidsdoorlichtingen. Het volledig opnemen van beleidsconclusies en de opvolging daarvan in de
jaarcyclus is een eerste stap. De minister van Financiën kan hier ook beter op toezien.

D.

Standaardaanbeveling: onderzoeksbasis op orde brengen

In elke beleidsdoorlichting zou een conclusie getrokken moeten worden over de onderzoeksbasis
die aanwezig was ten behoeve van de uitvoering van de doorlichting, de tekortkomingen van die
basis; en moeten aanbevelingen worden gedaan hoe deze basis voor een volgende gelegenheid wel
op orde worden gebracht. Zo wordt het leereffect gemaximaliseerd en tegelijkertijd een basis
gelegd voor een betere doorlichting in de toekomst.

VERBETERING EVALUATIESTELSEL

A.

Intensievere beleidsdoorlichtingen

Het is inmiddels geregeld dat de Tweede Kamer vooraf invloed uit kan oefenen op de opzet en
vraagstelling van beleidsdoorlichtingen; de plannen van aanpak van beleidsdoorlichtingen lopen
mee met de begrotingscyclus en worden uiterlijk op Prinsjesdag door de beleidsverantwoordelijke
bewindspersonen met een aparte brief aan de Tweede Kamer aangeboden. Bij de behandeling van
een plan van aanpak in een procedurevergadering kan een Kamercommissie dus ook besluiten met
de desbetreffende bewindspersoon in overleg te treden om tot een intensievere doorlichting te
komen dan wordt voorgesteld, afhankelijk van de importantie van het beleidsterrein. Het is goed
als Kamercommissies dat meer bewust afwegen.
De gedachte om beleidsdoorlichtingen eens in de vier jaar uit te voeren (in plaats van eens in de
zeven jaar) verdient ook nadere bestudering.
Er zou tegelijkertijd - in den brede - meer werk gemaakt moeten worden van de effect- en
doelmatigheidsinformatie in de (jaarlijkse) begrotingscyclus op deze onderwerpen, zodat de Kamer
wel beter zicht krijgt op effecten en doelmatigheid op alle beleidsonderwerpen. Bemoedigend is in
dit licht dat sommige Kamercommissies – in navolging van de commissie OCW - afspraken hebben
gemaakt met de vakministers over indicatoren en concrete streefwaarden in begroting en
jaarverslag. Het gaat hier om de commissies VWS, SZW, I&M en BuHa-OS. Op basis van een
centrale set aan indicatoren gaan zij jaarlijks bekijken waar het goed gaat en waar minder goed.
Dat vormt vervolgens basis voor politiek debat (bij begroting en jaarverslag), waarbij vervolgens
weer relevante stukken, zoals evaluaties en beleidsdoorlichtingen kunnen worden betrokken.

B.

Beleidsdoelstellingen meer SMART

Gegeven de huidige situatie – doorlichtingen eens per 5-7 jaar en volledige programmering – zal er
iets moeten gebeuren aan de kwaliteit van de beleidsdoelstelling en de transparantie over de
aannames onder het beleid voorafgaand aan de evaluatieperiode. De afgelopen jaren zijn
begrotingsdoelstellingen aanmerkelijk minder concreet geworden dan ze voorheen waren, toen
hoge eisen werden gesteld aan de concreetheid, meetbaarheid, etc. Aan het feit dat
begrotingsdoelstellingen de basis vormen voor een beleidsdoorlichting is echter niet getornd.
Zonder heldere doelstellingen vooraf – en transparante aannames over hoe het beleid effect zal
hebben (beleidstheorie) – is evalueren echter bij voorbaat zeer moeilijk.
Het gebeurt nu te vaak dat in een beleidsdoorlichting – aan het eind van een beleidscyclus - een
(meer of minder geslaagde) poging moet worden gedaan om de oorspronkelijke doelstellingen,
hypothesen en verwachtingen onder het beleid te reconstrueren. Dit terwijl de basis hiervoor
eigenlijk al aan het begin van de beleid(scyclus) zou moeten worden gelegd: concrete
doelstellingen en een raamwerk voor een evaluatieprogrammering op basis waarvan aan het einde
van de cyclus kan worden beoordeeld of het beleid succesvol (doelmatig en doeltreffend) was. Hier
zijn verbeteringen mogelijk, onder meer door aanscherping en concretisering van de in de
begroting opgenomen beleidsdoelstellingen.