Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2021–2022

31 865

Verbetering verantwoording en begroting

Nr. 212

BRIEF VAN DE MINISTER VAN VOLKSGEZONDHEID, WELZIJN EN
SPORT
Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Den Haag, 6 juli 2022
Hierbij ontvangt u de ex durante evaluatie van de pilot Lerend evalueren
van het Ministerie van VWS. Om als overheid effectief te zijn, is inzicht in
de kwaliteit van het beleid cruciaal. Dit inzicht wordt verkregen door
evaluaties van beleid. Goed evaluatieonderzoek is complex en vereist
expertise en maatwerk, met name door de combinatie van de twee
hoofddoelen van evaluatieonderzoek: verantwoorden én leren.
In dit kader is het Ministerie van VWS in 2018 een pilot gestart met als
doel werkende weg het inzicht in de kwaliteit van het beleid en het effect
hiervan op de samenleving te verbeteren. Belangrijk hierbij is dat
evaluaties onderdeel uitmaken van de beleidscyclus van het Ministerie
van VWS en zodoende alle betrokkenen actief leren van de resultaten van
de evaluaties. Een jaar later startte de rijksbrede operatie Inzicht in
Kwaliteit1. Het doel van deze operatie is ook het vergroten van de
maatschappelijk toegevoegde waarde van overheidsbeleid. Het Ministerie
van VWS was met de pilot hier al mee gestart, de pilot is als geheel
opgenomen in de operatie Inzicht in Kwaliteit.
In 2019 is er een Startevaluatie2 van de pilot uitgevoerd. Deze evaluatie
heeft de kwaliteit en het leereffect van de beleidsdoorlichtingen onderzocht die zijn uitgevoerd in de jaren voor de start van de pilot. Ook zijn
factoren beschreven die van invloed zijn op de kwaliteit van het leren van
evaluaties, bijvoorbeeld de aanwezigheid van een beleidstheorie,
betrekken van de praktijk of timing van de evaluatie. In de startevaluatie is
geanalyseerd in hoeverre deze factoren aanwezig waren bij de beleidsdoorlichtingen. Deze factoren zijn in de ex durante evaluatie wederom
geanalyseerd voor de individuele evaluaties in de pilot. Deze ex durante
evaluatie is uitgevoerd om te kunnen bepalen of de pilot de gewenste
1

Kamerstuk 31 865, nr. 118, Verbetering verantwoording en begroting. Start operatie Inzicht in
Kwaliteit.
2
Bijlage bij Kamerstuk 31 865, nr. 150

kst-31865-212
ISSN 0921 - 7371
’s-Gravenhage 2022

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

1

resultaten oplevert en hoe het Ministerie van VWS lerend evalueren
verder kan versterken in de organisatie.
Aanpak evaluatie
In de evaluatie zijn twee lijnen onderscheiden, namelijk de kwaliteit van de
individuele evaluaties en de veranderkundige aspecten van het Ministerie
van VWS als lerende organisatie. Hiervoor zijn twee afzonderlijke
rapportages opgesteld. De resultaten uit beide lijnen geven belangrijke
informatie om de kwaliteit en het gebruik van lopende en toekomstige
lerende evaluaties te verbeteren. Het onderzoek is uitgevoerd door een
extern onderzoeksbureau (Regioplan) en onderzoekers van het Ministerie
van VWS. Het onderzoek is begeleid door een stuurgroep met deskundigen en een onafhankelijke voorzitter. Op basis van beide onderzoeken
heeft de stuurgroep een appreciatie en aanbevelingen geformuleerd voor
het Ministerie van VWS. De beide rapportages en de appreciatie vindt u in
de bijlagen.
Doel pilot Lerend evalueren
Een belangrijk doel van de pilot is om werkende weg het inzicht in de
doeltreffendheid en doelmatigheid van het beleid te vergroten. Dit inzicht
wordt onder meer verkregen door te evalueren. Door niet alleen achteraf
maar ook ex ante en ex durante te evalueren kan het beleid eerder worden
bijgestuurd, met als einddoel de maatschappelijke impact van het beleid
van het Ministerie van VWS te vergroten. Hierbij gaat het met name om
evaluaties van complexe beleidsvraagstukken op het brede terrein van het
Ministerie van VWS. Een ander essentieel aspect van de pilot is dat de
praktijk (zoals de uitvoerende instanties en de burgers) nadrukkelijk wordt
betrokken. Dit omdat het van belang is om in beeld te brengen wat de
condities voor doeltreffendheid en doelmatigheid zijn, wat de implicaties
zouden zijn van alternatieve beleidskeuzes. Belangrijk hierbij is om te
onderzoeken hoe verschillende betrokkenen hier tegenaan kijken, juist ook
vanuit de praktijk. Dit inzicht vergroot de handelingsopties. Ten slotte is de
pilot er ook op gericht om binnen het Ministerie van VWS een nieuwe
manier van omgaan met beleidsonderzoek tot stand te brengen.
Evalueren moet een vast en logisch onderdeel worden van de beleidscyclus om zodoende het beleid te monitoren en te verbeteren. Evalueren
is een mogelijkheid om te reflecteren.
In deze brief worden eerst kort de conclusies van de rapportages
weergegeven. Vervolgens wordt toegelicht hoe het Ministerie van VWS de
aanbevelingen uit de rapportages gaat uitwerken om zo het lerend
evalueren te versterken in de organisatie.
Conclusies ex durante evaluatie
De evaluatie bestaat uit twee delen; onderzoek naar de kwaliteit van de
individuele evaluaties en actieonderzoek naar de veranderkundige
aspecten van het Ministerie van VWS als lerende organisatie. Beide
onderzoeken geven conclusies en aanbevelingen. De stuurgroep heeft een
appreciatie op de onderzoeken gegeven en komt ook met aanbevelingen.
Hieronder wordt kort per onderdeel de conclusies en aanbevelingen
beschreven.
Regioplan heeft de kwaliteit van de individuele evaluaties onderzocht en
stelt dat de evaluaties vaak een kwalitatieve indruk van doeltreffendheid
geven en in zeer beperkte mate zicht op doelmatigheid. Er worden kleine
stappen gezet richting het meer leren van evalueren. Regioplan ziet dat er
nog veel winst te behalen is door stappen te zetten om het zicht op

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

2

doeltreffend en doelmatigheid te versterken, om het op leren gerichte
karakter van evaluaties te vergroten en om benutting te versterken.
Uit het actieonderzoek blijkt dat er binnen het Ministerie van VWS over
het algemeen enthousiasme is over lerend evalueren. Het geeft ruimte en
vrijheid om evaluaties zo vorm te geven dat veldpartijen en de praktijk
goed kunnen worden betrokken en dat werkende weg beleid kan worden
verbeterd. De focus van lerend evalueren op de maatschappelijke impact
helpt ook om de doelstelling van het beleid leidend te laten zijn in een
evaluatie. De ondersteuning vanuit de pilot wordt ook als waardevol
aangemerkt. Aan de andere kant wordt soms te veel vrijheid gegeven en
bestaat er vaak nog onduidelijkheid over de te hanteren methodieken en
onbekendheid over begrippen zoals beleidstheorie. Een gestructureerd
evaluatieprogramma met verschillende methoden, mogelijkheden en een
goede ondersteuning zijn daarom essentieel.
De stuurgroep die de evaluatie heeft begeleid ziet een wisselend beeld.
Enerzijds heeft de pilot ervoor gezorgd dat het Ministerie van VWS het
beleid vaker dan voor de pilot is gaan evalueren en de vragen die worden
gesteld, worden goed beantwoord. Anderzijds mogen meer vrijheden bij
evalueren niet leiden tot het negeren van vragen over inzicht in doelmatigheid. Inzicht in doelmatigheid is niet alleen nodig om te verantwoorden
dat publieke middelen goed worden besteed, maar juist ook om te leren.
Versterken evaluatiefunctie bij het Ministerie van VWS
De pilot fase loopt eind dit jaar af. De resultaten van de ex durante
evaluatie ondersteunen de koers die het Ministerie van VWS met lerend
evalueren heeft ingezet en ik wil deze verder brengen.
Ook rijksbreed wordt het versterken van de evaluatiefunctie gestimuleerd.
In het kader van de operatie Inzicht in Kwaliteit is rijksbreed ingezet op
een nieuwe manier van evalueren. Zie de voortgangsrapportage van de
operatie3. Dit heeft ook geleid tot een voorstel voor herziening van de
Regeling periodieke evaluatie (RPE)4, waarin de nieuwe departementale
Strategische Evaluatieagenda (SEA) wordt verankerd. De motivatie voor
de herziening is dat door de betere aansluiting op de beleidscyclus, de
SEA tussentijdse bijsturing faciliteert van beleid op basis van opgedane
inzichten uit vooraf strategisch geplande evaluaties.
Deze ex durante evaluatie is ook een lerende evaluatie; dat betekent dat
niet alleen achteraf wordt onderzocht of de pilot effectief was, maar ik de
aangereikte handvatten uit het ex durante onderzoek ook zal benutten om
de evaluatiefunctie bij het Ministerie van VWS te versterken.
De aanbevelingen zijn samen te vatten in drie hoofdpunten.
1. Verbeteren kwaliteit van de individuele evaluaties: het gebruik van de
beleidstheorie bevorderen, het inzicht in doelmatigheid verhogen.
2. Verbeteren van het leren: verdere ontwikkeling Strategische
Evaluatieagenda (SEA), vooraf de leerbehoeften of leervragen
onderbouwen, verbeteren gebruik resultaten evaluaties.
3. Lerende organisatie: investeren in (de ondersteuning van) beleidsmedewerkers, commitment top departement.

3
4

Kamerstuk 31 865, nr. 184, Vierde voortgangsrapportage operatie Inzicht in Kwaliteit.
Kamerstuk 31 865, nr. 203, Herziening Regeling periodieke evaluatie (RPE).

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

3

Ad 1 Verbeteren kwaliteit van de individuele evaluaties
Uit de ex durante evaluatie komt naar voren dat er veel vrijheid is om de
onderzoeksvragen te formuleren. Het advies is hier meer op te sturen, ik
neem dit advies over.
Het op een goede wijze invulling geven aan de geboden ruimte is een
groeiproces. Belangrijke ontwikkelstappen zijn kennis en ervaring op doen
met achtergronden, begripsvorming en voor het Ministerie van VWS
nieuwe methoden voor evaluatieonderzoek.
Ik ga een expertisecentrum opzetten om zodoende meer ondersteuning en
sturing te bieden bij evaluaties. Het expertisecentrum is een kennisplatform dat ondersteuning biedt in de verschillende fasen van het
opzetten en uitvoeren van onderzoek: oriëntatie op kennis- en evaluatiebehoefte, opstellen leervragen en taakopdracht, organiseren onderzoek,
uitvoeren onderzoek en opvolging adviezen. Daarnaast krijgt het
expertisecentrum ook een toetsende taak; een taakopdracht moet
verplicht worden besproken. Daarbij wordt getoetst of er een beleidstheorie is of wordt ontwikkeld, zijn de leervragen helder en hoe de
doelmatigheid van beleid wordt onderzocht. Het expertisecentrum bestaat
uit medewerkers vanuit verschillende disciplines van het VWS-concern en
waar nodig ook externe deskundigen.
Ad 2 Verbeteren van het leren
De rapportages bevatten verschillende aanbevelingen om het leren van
evalueren te versterken. Ik ga verder met de doorontwikkeling van de
Strategische Evaluatieagenda (SEA). Evalueren moet een integraal
onderdeel worden van het beleidsproces en vooraf moet duidelijk zijn wat
we willen leren. De praktijk wordt ook nadrukkelijk betrokken, zowel bij het
formuleren van de leerbehoefte als de uitvoering van het onderzoek.
Om de SEA verder te onderbouwen komt er een onderzoekprogrammering waarin lerende evaluaties en andere (meer reguliere) evaluaties
een plek hebben, zodat verschillende typen evaluaties elkaar kunnen
verrijken. In de evaluatie eerste ervaringen met de Strategische Evaluatieagenda (SEA)5 uitgevoerd in opdracht van het Ministerie van Financiën,
wordt het Ministerie van VWS op dit onderdeel als goed voorbeeld
genoemd. De belangrijke begrotingsartikelen en beleidsprioriteiten komen
helder en navolgbaar terug in de SEA-thema’s. Daarnaast is er een
duidelijke prioritering in de thema’s aangebracht (p.13).
De SEA wordt versterkt door het formuleren van inzichtbehoeften. De
inzichtbehoeften vormen het fundament voor het maken van strategische
keuzes rond het programmeren van (ex-ante, ex-durante en ex-post)
evaluatieonderzoeken. De inzichtbehoeften komen onder meer voort uit
(een prioritering van) kennislacunes, naderende besluitvormingsmomenten en vaststaande (verplichte) evaluatiemomenten6.
Lerend evalueren is een integraal onderdeel van het beleidsproces en
daarmee onderdeel van de kerntaak van beleid. Via deze manier van
werken wordt bereikt dat er nadrukkelijk wordt gekeken naar de
maatschappelijke impact van beleid, ervaringen en dat hier lessen uit
worden getrokken. Hierdoor ontstaat een continu proces van leren en
verbeteren. Zo komen in de lerende evaluatie leren en verantwoorden
samen. Dit leidt tot een lerende organisatie waarin het Ministerie van
5

Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda
(SEA)
6
Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda
(SEA) p.14

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

4

VWS haar eigen handelen durft te confronteren met de effecten ervan in
de samenleving en daarvan leert.
Bij iedere evaluatie zal vooraf meer aandacht komen voor de leerbehoeften van de verschillende betrokkenen, en hoe de inzichten uit het
onderzoek benut moeten worden. Door ook de perspectieven van de
verschillende stakeholders te betrekken komt er beter inzicht op de
implicatie van het beleid in de praktijk. Door de leerbehoeften vooraf goed
te formuleren worden de onderzoeksvragen meer gericht op leren en op
het handelingsperspectief van de betrokkenen.
Ook wil ik meer aandacht geven aan onbedoelde en onverwachte effecten
van beleid. Juist van de onbedoelde en onverwachte effecten is te leren.
Evaluatieresultaten zijn geen afreken momenten maar leerlessen voor
verbetering of doorstart.
Ad 3 Lerende organisatie
De evaluatie geeft als aanbeveling door te gaan met lerend evalueren en
voldoende middelen beschikbaar te stellen voor de ondersteuning,
begeleiding en benutting ervan. Betrokkenheid van (top) management is
daarbij belangrijk.
Evalueren wordt verder ingebed in de beleidscyclus, mede door de
nieuwe regelgeving zoals de invoeringstoets bij nieuw beleid die is
opgenomen in het integraal afwegingskader (IAK) en de verplichting van
het monitoren en evalueren van beleid zoals opgenomen in de Comptabiliteitswet (art. 3.1.).
Gedurende het jaar zal structureel door de ambtelijke top worden gevolgd
hoe de evaluaties vorderen en hoe de adviezen uit evaluaties worden
opgepakt. Op deze wijze wordt meer aandacht gegeven aan evalueren en
ontstaat een bestuursstijl gericht op ruimte voor reflectie en evalueren.
Het voorbeeldgedrag van leidinggevenden is belangrijk om verandering te
stimuleren en is voor de verantwoordelijk beleidsmedewerker een
ondersteuning om lerend te evalueren. De praktische ondersteuning bij
een evaluatie wordt verder versterkt door het op te richten expertisecentrum. De al bestaande ondersteuning zoals onderlinge kennisuitwisseling, opleidingen en de toolbox (praktische en methodologische
ondersteuning bij het uitvoeren van een evaluatie) wordt voortgezet.
Slot
De ex durante evaluatie geeft het Ministerie van VWS voldoende
vertrouwen om verder te gaan met lerend evalueren. In de rijksbrede
Evaluatie van de SEA7 wordt het Ministerie van VWS als good practise
genoemd voor lerend evalueren. Hiervoor wordt onder andere genoemd
dat de aandacht voor evalueren eerder in het beleidsproces is komen te
liggen. De keuze voor samenhangende beleidsonderwerpen zorgt voor
meer integraal evaluatieonderzoek. En door de praktijk bij evaluaties te
betrekken, worden ervaringen van mensen («leefwereld») gekoppeld aan
de regelgeving van het zorgstelsel («systeemwereld»).
Ik wil het lerend evalueren binnen het Ministerie van VWS verder
versterken en de aanbevelingen uit de ex durante evaluatie zijn hierbij
goede handvatten. Lerend evalueren is daarmee geen pilot meer maar is
een vast onderdeel van de beleidscyclus geworden. Dit wordt mede
ondersteund door het voorstel van herziene regelgeving voor de RPE8.
7

Kamerstuk 31 865 nr. 206, Evaluatie eerste ervaringen met de Strategische Evaluatieagenda
(SEA) p.16
8
Kamerstuk 31 865, nr. 203 Verbetering verantwoording en begroting

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

5

Deze versterking van de evaluatiefunctie vraagt ook de komende jaren tijd,
energie en aandacht van het Ministerie van VWS. Ik zal u op de hoogte
houden van de ontwikkeling. In de begroting 2023 van het Ministerie van
VWS wordt de SEA opgenomen waarbij ingezet wordt op goede onderbouwing en strategische invulling qua onderwerpen en in de tijd.
Over twee jaar wordt opnieuw onderzoek uitgevoerd naar lerend
evalueren binnen het Ministerie van VWS.
De Minister van Volksgezondheid, Welzijn en Sport,
E.J. Kuipers

Tweede Kamer, vergaderjaar 2021–2022, 31 865, nr. 212

6