Reactie op “Evaluatiedoorlichting fiscale regelingen 2010-2018”
Pierre Koning en Carl Koopmans, 27 april 2020

In september 2019 is ons gevraagd als onafhankelijke deskundigen een oordeel te geven over deze brede
doorlichting van evaluaties van fiscale regelingen, uitgevoerd over de periode van 2010 tot 2018. Deze
taak hebben wij op ons genomen en uitgevoerd in een aantal stadia: (1) een toelichting op en discussie
over de te voeren doorlichting aan het begin van deze opdracht; (2) mondeling en schriftelijk
commentaar op een eerste versie van het rapport in november 2019; en (3) een tweede schriftelijke
ronde van commentaar in januari 2020. Aangezien zo goed als alle concrete punten van ons zijn
overgenomen gaandeweg dit proces, kunnen wij ons in deze korte beschouwing beperken tot een
algemene beschouwing. In een bijlage zijn nog enkele specifieke zaken vermeld.

Om te beginnen willen wij onze waardering uiten voor het verrichte werk van de werkgroep. Het moet
niet eenvoudig geweest zijn om zoveel rapporten – en de impact daarvan – door te nemen en deze
onder dezelfde noemer te brengen. Desalniettemin hebben alle inspanningen geleid tot een goed
leesbaar rapport met duidelijke aanbevelingen. En misschien wel belangrijker: de werkgroep heeft
evaluaties van het ministerie kritisch tegen het licht gehouden. De constateringen en aanbevelingen van
de werkgroep zijn daardoor treffend en eerlijk.

De aanpak die de werkgroep heeft gevolgd is degelijk. Er is een lijst van tien relevante criteria opgesteld
(geformuleerd als vragen), waarna de evaluaties hierop grondig zijn getoetst. De uitkomsten worden in
een bijlage per evaluatie weergegeven. In de hoofdtekst per wordt per criterium aangegeven hoeveel
evaluaties daaraan in meerdere of mindere mate voldoen.

Het totaalbeeld van de wijze waarop de fiscale evaluaties zijn geëvalueerd dat uit deze doorlichting naar
voren komt, is niet positief. Enkele voorbeelden daarvan zijn:
•

7 van de 31 evaluaties geven geen informatie over doeltreffendheid; 10 van de 31 evaluaties
doen geen uitspraken over doelmatigheid;

•

Slechts 8 van de 31 evaluaties besteden aandacht aan de instrumentkeuze;

•

In de helft van de evaluaties is de effectmeting gebaseerd op uitspraken over de effectiviteit in
enquêtes en/of interviews, in plaats van kwantitatief onderzoek;

•

Slechts bij 14 van de 31 evaluaties waren bij de begeleiding onafhankelijke deskundigen
betrokken.

Voor deze resultaten worden in de doorlichting veelal verklaringen gegeven, maar dat betekent niet dat
het om een gewenste situatie gaat. Er is meer aandacht nodig voor goede evaluaties. De strategische
evaluatieagenda die momenteel wordt uitgewerkt dient naar onze mening expliciet aandacht te
besteden aan verbetering van de evaluatiepraktijk op tenminste de bovenstaande punten.

De belangrijkste constateringen en aanbevelingen van dit rapport passen goed bij elkaar. Wij delen dan
ook de constatering dat de balans zou moeten verschuiven van meer naar minder evaluaties, zodat er
meer ruimte ook ontstaat voor hoogkwalitatieve evaluaties. Keuzes die bewuster gemaakt worden zullen
ook op meer draagvlak en gevoel voor urgentie aansluiten, zodat betrokken directies minder snel een
evaluatie als ‘corvee’ zullen zien en dit plichtmatig afdoen. Evaluaties worden ook interessanter en
sturender als de opdracht opener is, met de nodige ruimte voor reflectie op de instrumentkeus en meer
gewicht van externe begeleidingscommissies. En vooral belangrijk: evaluaties leggen gewicht in de
schaal als beleidsmakers hier serieus leerpunten uit oppikken en de uitkomsten de aandacht krijgen in de
kamer en in de media die zij verdienen. Op al die schakels zijn verbeteringen mogelijk en de werkgroep
geeft hier de juiste suggesties voor. Wat dit betreft is sprake van een versterkend effect waarnaar
gestreefd moet worden. Met enerzijds ministeries er alles aan doen om relevante en hoogwaardige
evaluaties af te leveren en anderzijds diverse externe partijen zitten te wachten op die uitkomsten, in de
uitkomsten geloven en er daadwerkelijk iets mee doen.

Meer specifiek verdient onzes inziens het punt van beschikbaarheid van data nog meer aandacht dan de
werkgroep nu aangeeft. Wij onderkennen dat hier vaak een belangrijke beperking ligt en daarom een
hoge score op de effectladder bij voorbaat vaak lastig is. Een strategische evaluatieprogrammering kan
daarom helpen om vooruit te denken en onderzoek op beschikbaarheid van data te baseren. Daaraan
willen wij toevoegen dat het natuurlijk ook andersom kan: nu nadenken over welke data verzameld
zouden moeten worden om in de toekomst alsnog een kwalitatief hoogwaardige evaluatie te kunnen
verrichten. Hier zouden planbureaus en het CBS een rol in kunnen vervullen.

Tot slot zouden we nog een punt willen aanstippen dat misschien buiten de reikwijdte van de opdracht
valt, maar daardoor niet minder relevant is. Het ligt voor de hand om een ministerie als verantwoordelijk
2

te zien voor een evaluatie, maar meestal betekent dit niet dat datzelfde ministerie deze evaluatie ook
uitvoert. Onderzoeksbureaus wordt doorgaans deze opdracht gegund. In het rapport wordt dit
onderscheid niet of nauwelijks besproken. Bij het uitschrijven van conclusies en aanbevelingen is de
invulling van die opdrachtgever-opdrachtnemer relatie echter een subtiel en complex spel. In de regel
beperken onderzoeksbureaus zich tot het uitschrijven van bevindingen, zonder daarbij diep in te gaan op
passend beleid of op beleidswijzigingen. Dit is begrijpelijk. Maar het betekent wel dat beleidsdirecties, de
directie communicatie en bewindslieden veel ruimte hebben om accenten te leggen in de waardering
van de evaluatie. Het is belangrijk dat die ruimte niet te opportunistisch wordt benut, opdat de
geloofwaardigheid – en daarmee de kracht – van evaluaties niet in het geding komt.

3

Bijlage Opmerkingen bij specifieke onderdelen en aspecten
•

(p. 1) Het rapport vermeldt niet wie de leden van de werkgroep waren

•

(p. 2) De samenvatting is zeer kort (een halve bladzijde) en doet daarmee niet volledig recht aan
de vele belangwekkende uitkomsten van de evaluatie.

•

(p. 7) Waarom hebben sommige regelingen alleen een outputdoel en geen outcomedoel? Het
gaat toch uiteindelijk altijd om outcomes?

•

(p. 4) “De kwaliteit van de analyses komt niet aan de orde”. De tien vragen die per evaluatie
worden gesteld (p. 6) gaan echter voor een groot deel wel degelijk over kwaliteit (bijvoorbeeld
“Is de doeltreffendheid en doelmatigheid onderzocht?”; “Hoe scoort de evaluatie op de
effectladder?”)

4