Rapport
Naar meer evidence-based
beleid binnen JenV

R. TORENVLIED
H.F. DE BOER
S. COUWENBERG
J.H.M. LINNENBANK
B.J.R. VAN DER MEULEN

MAART 2022

Rapport:

Naar meer evidence-based beleid binnen JenV

Opdrachtgever
Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC)

Onderzoeksteam
Prof. dr. R. Torenvlied (projectleiding)
Dr. H.F. de Boer
S. Couwenberg, MSc
J.H.M. Linnenbank, MSc
Prof. dr. B.J.R. van der Meulen

Universiteit Twente
Universiteit Twente
Universiteit Twente
Saxion University of Applied Sciences
Universiteit Twente

Copyright
© 2022; Wetenschappelijk Onderzoek- en Documentatiecentrum. Auteursrechten voorbehouden. Niets uit dit rapport
mag worden verveelvoudigd en/of openbaar gemaakt door middel van druk, fotokopie, microfilm, digitale verwerking
of anderszins, zonder voorafgaande schriftelijke toestemming van het WODC.

ii

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

iii

Inhoudsopgave

Inhoudsopgave
Woord vooraf ....................................................................................................................................................................................... viii

Lijst van gehanteerde afkortingen ..............................................................................................................................................x

Samenvatting: Naar meer evidence-based beleid binnen JenV............................................................................... xii

1

Aanleiding, doel en vraagstelling van het onderzoek........................................................................................... 1
1.1

Aanleiding en doel ........................................................................................................................................................... 1

1.2

‘Evidence-based’ werken en -beleid...................................................................................................................... 3

1.2.1

Wetenschappelijke onderbouwing van werken en beleid ........................................................... 3

1.2.2

Enkele definities ..................................................................................................................................................... 5

1.2.3

Politieke oordeelsvorming en ‘evidence-based’ werken en -beleid ...................................... 6

1.3

2

Vraagstelling........................................................................................................................................................................ 7

1.3.1

Formele institutionele inbedding ............................................................................................................... 8

1.3.2

Informele institutionele inbedding ............................................................................................................ 9

1.3.3

Perceptie van ‘evidence-based’ werken en -beleid.......................................................................... 9

1.3.4

Gebruik van wetenschappelijke kennis in werken en beleid ..................................................... 9

1.3.5

Condities voor ‘evidence-based’ werken en -beleid .......................................................................10

1.4

Inperking van het onderzoek ...................................................................................................................................11

1.5

Aanpak van het onderzoek ...................................................................................................................................... 12

1.6

Leeswijzer ...........................................................................................................................................................................14

Institutionele inbedding ........................................................................................................................................................ 15
2.1

Rijksbrede wettelijke- en beleidsmatige kaders .......................................................................................... 15

2.1.1

Kaders ten behoeve van ex-ante beleidsvorming en -voorbereiding.................................. 15

2.1.2

Kaders ten behoeve van ex-post beleidsevaluatie ......................................................................... 17

2.1.3

Antwoord op de deelvraag............................................................................................................................19

2.2

Beleidskaders bij drie geselecteerde ministeries ........................................................................................19

2.2.1

Rol en werkwijze van kennisorganisaties ............................................................................................ 20

2.2.2

Omschrijving van ‘evidence-based’ werken en -beleid................................................................ 22

2.2.3

Antwoord op de deelvraag........................................................................................................................... 25

iv

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

2.3
2.3.1

Medewerkers van de beleidsdirecties ................................................................................................... 26

2.3.2

Medewerkers hoofdkantoor uitvoerende organisatie ................................................................ 27

2.3.3

Medewerkers kennisorganisatie ............................................................................................................... 29

2.4

3

3.1

Het streven naar ‘evidence-based’ beleid ...................................................................................................... 33

3.2

Evidence-based’ beleid in de academische literatuur ............................................................................. 35

3.2.1

Wetenschappelijke kennis als ‘evidence’ ............................................................................................. 36

3.2.2

Twee perspectieven op wetenschappelijke kennis als ‘evidence’ ....................................... 37

3.2.3

‘Evidence-based’ werken gedefinieerd in dit onderzoek ........................................................... 38
Percepties onder medewerkers van JenV: resultaten van de enquête ........................................41

3.3.1

Medewerkers van de beleidsdirecties ................................................................................................... 42

3.3.2

Medewerkers hoofdkantoor uitvoerende organisatie ................................................................ 45

3.3.3

Medewerkers kennisorganisatie ............................................................................................................... 47

3.3.4

Enquête: antwoord op de deelvraag...................................................................................................... 50

3.4

Uitkomsten van de interviews .............................................................................................................................. 50

3.4.1

Algemeen beeld .................................................................................................................................................. 50

3.4.2

Beleidsontwikkeling en beleidsuitvoering bij typen beleidsvraagstukken ..................... 52

3.4.3

Interviews: antwoord op de deelvraag ................................................................................................. 53

Daadwerkelijk gebruik van kennis in beleid ............................................................................................................. 55
4.1

Verschil tussen woord en daad? .......................................................................................................................... 55

4.2

Gebruik van kennis: resultaten van de enquête ......................................................................................... 55

4.2.1

Medewerkers van de beleidsdirecties ................................................................................................... 56

4.2.2

Medewerkers hoofdkantoor uitvoerende organisatie ............................................................... 60

4.2.3

Medewerkers kennisorganisatie ............................................................................................................... 62

4.2.4

Deelconclusie over gebruik: enquêtes ..................................................................................................64

4.3

v

Antwoord op de deelvraag ..................................................................................................................................... 30

Wat is ‘evidence-based’ werken en -beleid? ........................................................................................................... 33

3.3

4

Organisatiecultuur als informele institutie .................................................................................................... 25

Gebruik van informatiebronnen: resultaten van de enquête............................................................. 65

4.3.1

Medewerkers van de beleidsdirecties ................................................................................................... 65

4.3.2

Medewerkers hoofdkantoor uitvoerende organisatie............................................................... 66

4.3.3

Medewerkers kennisorganisatie ............................................................................................................... 67

Inhoudsopgave

4.3.4
4.4

Uitkomsten van de interviews ............................................................................................................................. 69

4.4.1

Kennisgebruik in verschillende fasen .................................................................................................... 69

4.4.2

Kennisgebruik in verschillende beleidsvelden ................................................................................... 71

4.4.3

Deelconclusie over gebruik: interviews ................................................................................................ 74

4.5

5

Deelconclusie over informatiebronnen: enquêtes ....................................................................... 69

Antwoord op de deelvragen .................................................................................................................................. 75

Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid .................................................... 77
5.1

Verklaringen voor kennisbenutting ................................................................................................................... 77

5.2

Motieven voor het gebruik van wetenschappelijke kennis................................................................. 78

5.2.1

Resultaten van de literatuurstudie .......................................................................................................... 78

5.2.2

Medewerkers van de beleidsdirecties ................................................................................................... 79

5.2.3

Medewerkers hoofdkantoor van uitvoerende organisatie .......................................................81

5.2.4

Medewerkers kennisorganisatie ............................................................................................................... 82

5.2.5

Deelconclusie over motieven voor gebruik: enquêtes ................................................................ 83

5.3

Belemmeringen bij het gebruik van wetenschappelijke kennis .......................................................84

5.3.1

Resultaten van de literatuurstudie ..........................................................................................................84

5.3.2

Medewerkers van de beleidsdirecties ................................................................................................... 85

5.3.3

Medewerkers hoofdkantoor uitvoerende organisatie ............................................................... 86

5.3.4

Medewerkers kennisorganisatie ............................................................................................................... 87

5.3.5

Deelconclusie over belemmeringen bij gebruik: enquêtes ...................................................... 88

5.4

Invloed van context: verklarende analyse bij beleidsdirecties ......................................................... 89

5.4.1

Werkzaamheden van respondenten ..................................................................................................... 90

5.4.2

Kenmerken van het beleidsveld ............................................................................................................... 90

5.4.3

Multipele regressie van kennisgebruik bij de beleidsdirecties ................................................91

5.5

Uitkomsten van de interviews .............................................................................................................................. 97

5.5.1

BD-A: politiek vraagstuk ................................................................................................................................ 98

5.5.2

BD-B: Technisch vraagstuk........................................................................................................................... 99

5.5.3

BD-C: Wetenschappelijk vraagstuk .........................................................................................................101

5.5.4

BD-D: Ethisch vraagstuk ............................................................................................................................... 102

5.6

Antwoord op de deelvraag ...................................................................................................................................104

vi

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

6

Conclusies en aanbevelingen .......................................................................................................................................... 107
6.1

‘Evidence-based’ werken en –beleid in de literatuur............................................................................. 107

6.2

‘Evidence-based’ werken en –beleid binnen het ministerie van JenV .........................................110

6.2.1

Perceptie van ‘evidence-based’ werken en -beleid.......................................................................110

6.2.2

Benutting van wetenschappelijke kennis in werken en beleid............................................... 111

6.2.3

Belemmerende en bevorderende factoren....................................................................................... 113

6.3

Aanbevelingen ............................................................................................................................................................... 115

Literatuur ................................................................................................................................................................................................ 117

Appendix A: Leden Begeleidingscommissie ..................................................................................................................... 123
Appendix B: Verantwoording van het onderzoek ........................................................................................................ 125
B1 Opzet van het onderzoek................................................................................................................................................. 125
B1.1 Fasering van het onderzoek................................................................................................................................... 125
B1.2 Literatuurstudie ............................................................................................................................................................ 126
B1.3 Ontwikkeling van analysekader .......................................................................................................................... 127
B2 Enquête....................................................................................................................................................................................... 129
B2.1 Inhoud van de vragenlijst ........................................................................................................................................ 129
B2.2 Selectie van organisatieonderdelen en benaderen van medewerkers ...................................... 132
B2.3 Mogelijke vertekening in het onderzoek ...................................................................................................... 133
B2.4 Uitzetten van de vragenlijst.................................................................................................................................. 134
B2.5 Respons ............................................................................................................................................................................. 135
B3 Interviews.................................................................................................................................................................................. 136
B3.1 Gekozen onderzoekbenadering ......................................................................................................................... 136
B3.2 Selectie van beleidsdossiers en afdelingen ................................................................................................. 138
B3.3 Opzet van de interviews ......................................................................................................................................... 139
B4 Overzicht aanpak van het onderzoek ......................................................................................................................140
Appendix C: Vragenlijst .................................................................................................................................................................. 141
Appendix D: Toelichting operationalisering vragenlijst ............................................................................................ 155
Appendix E: Interviewprotocol ................................................................................................................................................ 163

vii

Woord vooraf

Woord vooraf
Voor u ligt het rapport ‘Naar meer evidence-based beleid binnen JenV”. Het onderzoek is
uitgevoerd in opdracht van de afdeling Extern Wetenschappelijk Beleidsonderzoek van het WODC
en vernoemd naar de gelijkluidende titel van de startnotitie. Aan de relatief lange doorlooptijd
van het onderzoek hebben twee oorzaken ten grondslag gelegen. De eerste oorzaak is de
uitbraak van de viruspandemie van 2020, op het moment van start van het onderzoek, waardoor
de gangbare werksituatie van zowel de onderzoekers als de beleidsambtenaren van het
ministerie drastisch veranderde. De tweede oorzaak is gelegen in de grootschalige enquête
binnen het ministerie van JenV; een onderzoek dat uniek was in schaal en daarmee uitermate
complex in de uitvoering.
Met een onderzoek naar ‘evidence-based’ werken en -beleid- stelt het ministerie van JenV zich
kwetsbaar op. En dat valt zeer te waarderen. De relatie tussen wetenschap en beleid is niet
onproblematisch omdat de academische- en de beleidswerelden vaak gescheiden zijn met elk
eigen doelstellingen en belangen. Dat geldt niet alleen voor het ministerie van JenV. Voor alle
ministeries die werken in het brede taakdomein van de rijksoverheid is het een grote uitdaging
om het werken en beleid te onderbouwen met wetenschappelijke kennis en inzichten—zeker in
situaties waarin de agenda wordt bepaald door crises en incidenten. Denk daarbij bijvoorbeeld
ook aan de inbreng van wetenschappelijke kennis bij de bestrijding van de COVID-19 uitbraak. Wij
hopen dan ook van harte dat uit het onderhavige onderzoek niet alleen lessen te trekken zijn voor
het ministerie van JenV, maar ook voor de andere ministeries die worstelen met vergelijkbare
uitdagingen ten aanzien van de inbreng van wetenschappelijke kennis.
Wij hebben geprobeerd een gebalanceerd rapport te schrijven op basis van een literatuurstudie
en de analyse van empirische gegevens die recht doet aan de inbreng alle betrokkenen.
Respondenten van de enquête en geïnterviewden willen wij hartelijk danken voor de tijd en
enthousiasme waarmee zij ons te woord stonden. Daarnaast willen wij een woord van dank
uitspreken aan de voorzitter en leden van de begeleidingscommissie, alsmede aan Veronica
Junjan en Claudio Matera die in een beginstadium hebben bijgedragen aan dit project.

viii

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

ix

Lijst van gehanteerde afkortingen

Lijst van gehanteerde afkortingen
ACVZ Adviescommissie voor vreemdelingenzaken
CES
Centrale Eenheid Strategie
CJIB Centraal Justitieel Incassobureau
DFEZ Directie Financieel-Economische Zaken
DJI
Dienst Justitiële Inrichtingen
IAK
Integraal Afwegingskader
IBO
Interdepartementale beleidsonderzoeken
JenV Ministerie van Justitie en Veiligheid
JUSTID Justitiële Informatiedienst
MKBA Maatschappelijke kosten-baten analyse
NFI
Nederlands Forensisch Instituut
NIFP Nederlands Instituut voor Forensische Psychiatrie en Psychologie
NRO Het Nederlands Regieorgaan Onderwijsonderzoek
NSCR Nederlands Studiecentrum voor Criminaliteit en Rechtshandhaving
NWO De Nederlandse Organisatie voor Wetenschappelijk Onderzoek
OCW Het ministerie van Onderwijs, Cultuur en Wetenschap
RIVM Het Rijksinstituut voor Volksgezondheid en Milieu
TIER Top Institute for Evidence Based Education Research
WODC Wetenschappelijk Onderzoek- en Documentatiecentrum
VWS Ministerie van Volksgezondheid, Welzijn en Sport
ZBO Zelfstandig bestuursorgaan

x

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

xi

Samenvatting: Naar meer evidence-based beleid binnen JenV

Samenvatting: Naar meer evidence-based beleid binnen
JenV
Doel en aanleiding
Het ministerie van Justitie en Veiligheid (JenV) ziet kennis als een onmisbaar kompas voor een
goed onderbouwd en effectief beleid. Een betere kennisbenutting leidt tot de verbetering van
bestaand en nieuw beleid. In 2017 wordt daarom op het ministerie van JenV aangegeven dat de
strategische kennisfunctie bij het ministerie zou moeten worden versterkt. De boodschap is
helder: kennismanagement en kennisinnovatie, sturen op kennisbenutting en kennisontwikkeling,
moeten (meer) aandacht krijgen binnen het ministerie van JenV. Ondanks verschillende
initiatieven die de afgelopen tijd bij het ministerie van JenV zijn genomen, blijft het vermoeden
bestaan dat het gebruik van beschikbare wetenschappelijke kennis in de beleidsvoorbereiding
van JenV kan worden verbeterd. De vermeende onderbenutting van beschikbare
wetenschappelijke kennis vormt de aanleiding voor dit onderzoek, dat in opdracht van het
Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) is uitgevoerd door een
onderzoeksteam van de Universiteit Twente, onder toeziend oog van een breed samengestelde
begeleidingscommissie.
•

Het doel van het onderhavige onderzoek is om een beeld te krijgen in welke mate het
werken en het beleid binnen JenV ‘evidence-based’ en/of ‘evidence-informed’ is.

•

De hoofdvraag van het onderzoek luidt: in hoeverre kan het werken en beleid binnen het
ministerie van JenV worden gekarakteriseerd als ‘evidence-based’ en welke institutioneleen contextfactoren zijn hierop van invloed?

Aanpak
Het ministerie van JenV kent veel deeldomeinen en het aantal organisatieonderdelen binnen en
buiten het kerndepartement is erg omvangrijk. Om het onderzoek behapbaar te maken, zijn het
Openbaar Ministerie, de politie en de rechterlijke macht buiten beschouwing gelaten. In het
onderzoek hebben wij een beeld gekregen van het werken en beleid vanuit het perspectief van
medewerkers. Het onderzoek heeft nadrukkelijk niet tot doel gehad te evalueren in welke mate,
en op welke wijze, beleidsstukken inhoudelijk ook de uitkomsten van wetenschappelijk
onderzoek reflecteren.
Om de hoofdvraag te beantwoorden, hebben wij verschillende onderzoeksmethoden gebruikt. In
de eerste plaats hebben wij een literatuurstudie verricht naar de stand van zaken in de
beleidswetenschappelijke literatuur over ‘evidence-based’ werken en -beleid. In de tweede plaats
hebben wij interne en openbaar toegankelijke websites en beleidsdocumenten geanalyseerd ten
behoeve van een beschrijving van de wettelijke- en beleidsmatige kaders ter bevordering van
‘evidence-based’ werken.

xii

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

In de derde plaats hebben wij een online enquête en interviews uitgevoerd om een beeld te krijgen
van percepties en activiteiten van medewerkers van het ministerie van JenV. De online enquête
hebben wij uitgezet onder drie organisatieonderdelen: de beleidsdirecties, het hoofdkantoor van
een uitvoeringsorganisatie en een kennisorganisatie. Wij hebben 23 interviews gehouden met
medewerkers op vier verschillende beleidsdossiers, die variëren in politieke dynamiek en
onzekerheid van kennis.

Evidence-based’ werken en –beleid in de beleidswetenschappelijke literatuur
Het idee van ‘meer weten is beter beslissen en beter uitvoeren’ wordt zowel door
beleidswetenschappers als beleidsmakers en -uitvoerders breed gedragen. Van een
wetenschappelijke onderbouwing van beleid wordt niet alleen verwacht dat het bijdraagt tot de
doeltreffendheid en doelmatigheid van beleid en beleidsinterventies, maar (daarmee) ook tot de
legitimiteit van de overheid en haar beleid. Uit de beleidswetenschappelijke literatuur hebben wij
drie perspectieven onderscheiden op het gebruik van kennis in werken en beleid:
1.

‘Evidence-based’ werken en -beleid. Werken en beleid zijn voornamelijk gebaseerd op de
resultaten van onafhankelijk wetenschappelijk onderzoek. Het gebruiken van
wetenschappelijke kennis (als ‘evidence’) ter onderbouwing van werken en beleid zal alleen
mogelijk (of wenselijk) zijn in specifieke situaties. Een voorbeeld is het gebruik van
wetenschappelijk gevalideerde protocollen in de behandeling van doelgroepen (cliënten).

2. ‘Evidence-informed’ werken en -beleid. In het werken en beleid wordt praktijkkennis op de een
of andere wijze systematisch geïntegreerd met wetenschappelijke kennis en inzichten. In de
literatuur bestaat brede overeenstemming over de noodzaak tot het systematisch integreren
van wetenschappelijke kennis (als ‘evidence’) met praktijkkennis.
Om bij bovenstaande twee perspectieven te kunnen spreken van ‘evidence’ zal aan drie
voorwaarden moeten zijn voldaan:
• De uitkomst van het onderzoek is verkregen via een geaccepteerde wetenschappelijke
systematische benadering en methode. De verkregen inzichten zijn bij voorkeur ingebed
in een systematisch en cumulatief opgebouwd kennisfonds.
• Het onderzoek is onafhankelijk uitgevoerd, dat wil zeggen: in dialoog met beleid en
bestuur, maar onafhankelijk van druk vanuit beleid en bestuur.
• Het onderzoek is transparant en controleerbaar zodat het kan worden herhaald en
bekritiseerd.
Wanneer niet aan de bovenstaande drie voorwaarden is voldaan, spreken we van een derde
perspectief op het gebruik van kennis in werken en beleid:
3. ‘Practice-based’ werken en -beleid. Werken en beleid zijn voornamelijk gebaseerd op
(systematische) praktijkkennis, verkregen vanuit het professionele veld of gebaseerd op
individuele ervaring. In dit perspectief op werken en beleid speelt ‘evidence’ (als
resultaten van onafhankelijk wetenschappelijk onderzoek) geen rol.

xiii

Samenvatting: Naar meer evidence-based beleid binnen JenV

Wij verbinden in ons onderzoek geen waardeoordeel aan elk van de drie perspectieven. Het zijn
omstandigheden, zoals de specifieke taakstelling, die bepalen op welke wijze ‘evidence’ kan
worden gebruikt in werken en beleid. Dat laat onverlet dat het gebruik van de resultaten van
onafhankelijk wetenschappelijk onderzoek zowel inhoudelijk, als rechtstatelijk nastrevenswaardig
wordt geacht. Inhoudelijk kunnen managers, beleidsmedewerkers en professionals hun
beleidskeuzes en -interventies beter onderbouwen vanuit wetenschappelijke inzichten. De
verwachting is dat deze wetenschappelijke onderbouwing de kwaliteit, doeltreffendheid en
doelmatigheid van beleid bevordert. Rechtstatelijk draagt het wetenschappelijk onderbouwen
van beleid bij aan de transparantie, verantwoording en beginselen van goed bestuur—en kan
daarmee de kwaliteit en legitimiteit van politieke oordeelsvorming vergroten.

Percepties van evidence-based werken en -beleid bij de medewerkers van
het ministerie van JenV
Een belangrijke deelvraag van het onderzoek betreft de vraag wat de medewerkers van het
ministerie van JenV verstaan onder ‘evidence-based’ werken en -beleid. Deze percepties hebben
wij beschreven aan de hand van antwoorden op vragen in de enquête en de 23 interviews met
medewerkers. Uit de enquêtes onder in totaal bijna 350 medewerkers komt een helder beeld
naar voren.
Conclusie 1. Vanuit het perspectief van de medewerkers van JenV verbindt ‘evidence-based’
werken en -beleid wetenschap met praktijk.
‘Evidence-based’ werken en -beleid associëren vrijwel alle medewerkers van het ministerie van
JenV met een gebruik van onafhankelijk verkregen wetenschappelijke kennis. Maar, een
meerderheid van de medewerkers vindt ook praktijkkennis behoren tot ‘evidence’. Zij relateren
dat aan de integratie van wetenschappelijke kennis en praktijkkennis als ‘evidence’. Dit sluit aan
bij de definitie van ‘evidence-informed’ werken en -beleid. Uit de interviews blijkt dat ‘evidencebased’ of ‘evidence-informed’ werken en -beleid voor veel geïnterviewden eigenlijk geen
belangrijk thema is. Wetenschappelijke evidentie wordt aangemerkt als bewijs wanneer het
potentieel de eigen werkzaamheden kan ondersteunen.
De bovenstaande conclusie is niet absoluut. Een uitzondering vormt bijvoorbeeld een
specialistisch organisatieonderdeel dat wij tegenkwamen in onze interviews. Medewerkers van
dit onderdeel hebben bij het begrip ‘evidence-based’ wel degelijk de associatie dat werken en
beleid voornamelijk zijn gebaseerd op wetenschappelijke kennis. Dit betreft een onderdeel in de
uitvoering waarin handelingen sterk geprotocolleerd zijn.

Daadwerkelijk gebruik van kennis in beleid bij het ministerie van JenV
Ondanks de pleidooien om gebruik te maken van wetenschappelijke kennis blijkt uit de
beleidswetenschappelijke literatuur dat in de beleidspraktijk wetenschappelijke kennis met
regelmaat wordt genegeerd.
Conclusie 2. Er is sprake van een beperkte benutting van wetenschappelijke kennis op het
ministerie van JenV.

xiv

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

‘Evidence-based’ werkt vrijwel niemand van de onderzochte medewerkers van JenV. Dit blijkt
zowel uit de zelf-gerapporteerde antwoorden op de enquête als uit de interviews. ‘Evidenceinformed’ wordt wel gewerkt op het ministerie, maar dit varieert tussen organisatieonderdelen.
Uit de interviews blijkt dat medewerkers professionele kennis en wetenschappelijke kennis niet
op een systematische en transparante wijze integreren ter onderbouwing van hun werken en
beleid. Een belangrijk deel van de medewerkers van het ministerie stelt ‘practice-based’ te
werken, dat wil zeggen zonder de inbreng van wetenschappelijke kennis.
Uit de enquête blijkt dat bij organisatieonderdelen die te maken hebben met beleidsvraagstukken
met veel politieke dynamiek, er weinig beroep wordt gedaan op beschikbare wetenschappelijke
kennis en praktijkkennis. Uit de interviews komt bovendien naar boven dat zowel beschikbare
wetenschappelijke kennis als praktijkkennis regelmatig terzijde worden geschoven wanneer de
inhoud ervan niet goed past bij politieke uitgangspunten of (voorgenomen) beleid. Dit betreft
met name de fases van agendering, beleidsvoorbereiding en evaluatie.
De belangrijkste bronnen voor werken en beleid blijken te bestaan uit praktijkervaring,
beleidsdocumenten, jurisprudentie en instructies van leidinggevenden. Het gebruik van bronnen
van wetenschappelijke kennis blijft daar ver bij achter.
Er zijn ook uitzonderingen. Het specialistisch organisatieonderdeel dat wij in de vorige subparagraaf bespraken hanteert expliciete ‘evidence-based’ handelingsprotocollen in de
uitvoerende werkzaamheden en is zeer actief in het uitzetten en vertalen van onafhankelijk
wetenschappelijk onderzoek.

Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid
In het onderzoek is een aantal aangrijpingspunten naar voren gekomen die het gebruik van
wetenschappelijke kennis binnen het ministerie van JenV kunnen belemmeren of bevorderen.
Conclusie 3. De afdeling vormt een belangrijke schakel bij kennisintensief werken binnen het
ministerie van JenV.
De cultuur en gangbare praktijken binnen de afdeling bepalen in belangrijke mate het gebruik van
wetenschappelijke kennis binnen het ministerie van JenV. Het belangrijkste knelpunt daarbij is de
weinig beschikbare tijd die hiervoor aanwezig is op de afdeling (voortvloeiend uit een gebrek aan
prioriteit of korte-termijn politieke druk).
Er zijn ook uitzonderingen. Sommige afdelingen van specifieke uitvoerende organisaties werken
strikt ‘evidence-based’ vanuit hun specifieke taakstelling. Dit betreft afdelingen waar
professionals strikte handelingsprotocollen hanteren, ondersteund door kennisorganisaties die
hen voeden met specialistische wetenschappelijke inzichten. Op de afdelingen waar
kennisintensief wordt gewerkt, wordt niet alleen meer wetenschappelijke kennis gebruikt maar
ook praktijkkennis en kennis uit beleidsdocumenten. Op deze afdelingen wordt ‘evidence-based’
en ‘evidence-informed’ werken en -beleid actief aangemoedigd.
Conclusie 4. Medewerkers van de beleidsafdelingen vinden wetenschappelijke kennis vaak
minder relevant voor beleid.

xv

Samenvatting: Naar meer evidence-based beleid binnen JenV

Medewerkers van beleidsafdelingen voeren aan dat ‘evidence-based’ of ‘evidence-informed’
werken en -beleid wordt, naast het gebrek aan tijd, ook belemmerd door een gebrek aan
relevantie van wetenschappelijk onderzoek voor de beleidspraktijk. Meer specifiek wijst men op:
• Slecht passende onderzoeksresultaten bij lopend beleid, mede door een wetenschap die
te specialistisch is en soms ongeïnteresseerd.
• Achterlopende of (nog) niet beschikbare wetenschappelijke kennis.
• Een gepercipieerd gebrek aan eigen expertise om wetenschappelijk onderzoek te
integreren met praktijkkennis.
In de interviews wordt opgemerkt dat vraag en aanbod van wetenschappelijke kennis soms
moeilijk op elkaar aansluiten op beleidsniveau. Het grote aanbod van wetenschappelijke kennis,
zorgt ervoor dat men op sommige beleidsafdelingen ‘tussen de bomen het bos niet meer ziet’.
Medewerkers van de beleidsdirecties geven aan een gebrek aan expertise te ervaren om
wetenschappelijk onderzoek naar de praktijk te vertalen.
Conclusie 5. Politieke dynamiek verhindert het gebruik van kennis.
In situaties van politieke dynamiek verdwijnen ‘evidence-based’ en ‘evidence-informed’ werken
en -beleid naar de achtergrond en valt men terug op (juridische) kennis uit beleidsdocumentatie.
Een meerderheid van de respondenten geeft aan dat wetenschappelijke kennis symbolisch kan
worden gebruikt, alhoewel men dat geen aspect vindt van de afdelingscultuur. In de interviews
geven sommige medewerkers aan dat politieke emoties zorgen voor een korte-termijn noodzaak
van het informeren van het parlement, waardoor de tijd ontbreekt voor wetenschappelijke
verdieping. Zij stellen dat politieke waardeoordelen met regelmaat ook haaks staan op
wetenschappelijke inzichten, waarbij vaak de voorkeur wordt gegeven aan het eerste.
Wetenschappelijke inzichten krijgen dan niet de kans om door te klinken in het beleid. Bij politiek
geladen beleidsvraagstukken wordt, in plaats daarvan, vooral gebruik gemaakt van juridische
kaders en kennis uit beleidsdocumentatie in plaats van praktijkkennis.
Conclusie 6. Rijksbrede wetgeving en beleidskaders werken niet door in ‘evidence-based’ of
‘evidence-informed’ werken en -beleid binnen het ministerie.

Bestaande Rijksbrede wetgeving en beleidskaders, zoals het Integraal Afwegingskader, (IAK)
bieden hooguit indirecte aanknopingspunten voor ‘evidence-based’ of ‘evidence-informed’
werken en -beleid. Departementale beleidskaders ten behoeve van ‘evidence-based’ of ‘evidenceinformed’ werken en -beleid ontbreken vrijwel. Het blijkt dat Rijksbrede wetgeving en
beleidskaders ten behoeve van kennisbenutting in werken en beleid vrijwel niet refereren naar
‘evidence-based’ of ‘evidence-informed’ werken en -beleid. In deze documenten blijft het begrip
kennis ambigu.
Doorwerking van de wettelijke en beleidsmatige kaders van de Comptabiliteitswet of het IAK
vindt voornamelijk plaats op de beleidsdirecties. Maar ook daar geeft slechts een derde van de
medewerkers aan bekend te zijn met het IAK. Het is dus nog niet gelukt om het belang van de
eisen uit het IAK ten behoeve van de systematische onderbouwing van beleid voldoende onder
de aandacht te krijgen van de medewerkers van de beleidsafdelingen.

xvi

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Aanbevelingen
Op grond van de bevindingen en conclusies hebben wij enkele aanbevelingen geformuleerd.
Aanbeveling 1. Ondersteun ‘evidence-based’ en ‘-informed’ werken binnen het ministerie van
JenV.
1a.
Creëer een kennisfunctie binnen het ministerie van JenV, in de vorm van kennisafdelingen,
die zich expliciet richt op het ondersteunen van medewerkers:
• bij het identificeren en ontsluiten van nuttige bronnen van wetenschappelijk
onderzoek ten behoeve van werken en beleid;
• bij het systematisch integreren van wetenschappelijke kennis en praktijkkennis ten
behoeve van werken en beleid.
1b.
Ken deze kennisafdelingen voldoende middelen en tijd toe om deze
professionaliseringsslag te maken, als uitdrukking van het belang dat wordt gehecht aan
‘evidence-based/-informed’ werken en -beleid binnen het ministerie van JenV.
Aanbeveling 2. Professionaliseer en stimuleer kennisintensief werken op afdelingen.
2a.
Stimuleer het leiderschap binnen onderdelen (afdelingen) van het ministerie om
kennisintensief werken aan te moedigen.
2b.
Creëer voldoende (financiële) ruimte om medewerkers ‘evidence-based’ of ‘evidenceinformed’ te kunnen laten werken.
2c.
Schenk in het personeelsbeleid expliciet aandacht aan het werven van nieuwe
medewerkers, of het bevorderen van zittende medewerkers, met competenties op het
gebied van ‘evidence-based/ -informed’ werken.
2d.
Investeer in het vergroten van de competenties van medewerkers om wetenschappelijke
kennis te waarderen en systematisch te integreren met praktijkkennis, bijvoorbeeld door
het initiëren van leergangen in het kader van leven-lang-leren.
2e.
Doe vervolgonderzoek naar het proces van ‘evidence-informed’ werken en -beleid: hoe
kunnen (soms tegenstrijdige) kennisbronnen optimaal worden geïntegreerd.
Aanbeveling 3. Kaders voor de borging van onafhankelijkheid van wetenschappelijk onderzoek en
het systematische gebruik van wetenschappelijke kennis ten behoeve van werken en beleid.
3a.
Van wetenschappelijk onderzoek is het essentieel dat dit onafhankelijk is. Voor het WODC
is deze onafhankelijkheid geborgd door een ministeriële richtlijn en omgangskader. Draag
zorg dat ook bij het overige wetenschappelijk onderzoek ten behoeve van het ministerie
van JenV de onafhankelijkheid is geborgd.
3b.
Onderzoek waarom het Integraal Afwegingskader zo weinig wordt toegepast in de
praktijk van het ministerie. Pleeg concrete inspanningen die leiden tot een betere
toepassing van het Integraal Afwegingskader binnen het ministerie.

xvii

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

1 Aanleiding, doel en vraagstelling van het onderzoek
1.1

Aanleiding en doel

In 2017 wordt op het ministerie van JenV aangegeven dat de strategische kennisfunctie bij het
ministerie zou moeten worden versterkt.1 De versterking van de kennisfunctie heeft een driedelig
doel: het realiseren van (1) een uitdagend kennisbeleid, (2) een effectievere kennisbenutting, en
(3) een (pro)actieve kennisontwikkeling (Hermans, 2018). Bij het versterken van de strategische
kennisfunctie van JenV zou het moeten gaan om het formuleren van heldere kennisbehoeften,
het verbeteren van samenwerkingsrelaties met de wetenschap en een betere benutting van
aanwezige kennis (toegankelijkheid en verwerkbaarheid). Het ministerie ziet kennis als een
onmisbaar kompas voor een goed onderbouwd en effectief beleid. Kortom, door een betere
kennisbenutting zal bestaand beleid verbeteren en nieuw, effectief beleid ontwikkeld kunnen
worden.
Kennisontwikkeling in de departementale agenda. De boodschap is helder: kennismanagement en innovatie, sturen op kennisbenutting en kennisontwikkeling, moeten (meer) aandacht krijgen
binnen het ministerie van JenV. De afgelopen jaren zijn bij het ministerie van JenV initiatieven
ontplooid om aan de oproep uit 2017 gehoor te geven. Desalniettemin bestaat binnen het
ministerie van JenV het vermoeden dat kennis nog onvoldoende wordt benut, dat het beleid niet
altijd (voldoende) wordt geëvalueerd, of dat de evaluaties die er zijn, soms onder de maat zijn
(Startnotitie, 2019, nr. 3072; Algemene Rekenkamer, 2012).
Aanleiding tot het onderzoek. Een interne notitie van het ministerie van JenV stelt dat het gebruik
van beschikbare wetenschappelijke kennis in de beleidsvoorbereiding van JenV aanmerkelijk kan
worden verbeterd (De Waard en Van Voorst, 2018, p. 1). In combinatie met de gepercipieerde
onderbenutting van kennis en het ontbreken van, of soms gebrekkig vormgeven, beleids- en
programmaevaluaties, voedt dit de gedachte dat JenV-beleid wellicht weinig ‘evidence-based’ is.
Over ‘evidence-based’ werken binnen het ministerie is evenwel weinig bekend en de gedachte is
niet onderbouwd met onderzoek. De gedachte dat JenV-beleid wellicht weinig ‘evidence-based’
is, vormt de aanleiding tot het onderhavige onderzoek naar ‘evidence-based’ werken en -beleid bij
het ministerie van JenV.2
Aanvraag en opdrachtverlening. Naar aanleiding van de bovenstaande gedachte hebben de
kenniscoördinatoren van de beleidsdirecties van het ministerie van JenV een aanvraag ingediend
bij het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) om een onafhankelijk

1 Zie bijvoorbeeld het meerjarenprogramma ‘JenV Verandert’, de Strategische Agenda van JenV, de Strategische Kennis

en Innovatieagenda (SKIA), de toekomstvisie WODC 2025 en interne notities van bijvoorbeeld ‘De Waard, J. en van
Voorst, P. (2018). Maatschappelijk perspectief voorop: het belang van een DGRR-breed kennisbeleid. Den Haag:
Ministerie van Justitie & Veiligheid’ en ‘Hermans, C. (2018). Kennis als kompas – Verkenning naar de toekomstige
inrichting van de kennisfunctie bij JenV’.
2 De opdracht vanuit het ministerie (WODC) spreekt van “werken en beleid.” Wij hebben deze terminologie
overgenomen. Het expliciet benoemen van werken en beleid geeft aan dat het ‘evidence-based’ karakter niet alleen
betrekking heeft op beleidsproducten, maar (juist) ook op beleidsmatige werkzaamheden, zoals agendering,
advisering, het schrijven van beleidsnota’s, besluitvorming, of het uitvoeren van beleid.

1

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

onderzoek uit te zetten. Elke beleidsdirectie van het ministerie heeft tenminste een
kenniscoördinator.3 De kenniscoördinatoren formuleren onderzoeksvragen die zij uitzetten bij het
WODC. Het WODC heeft vervolgens als taak onafhankelijk wetenschappelijk onderzoek te
borgen. Naast deze rol in het aanvragen van WODC-onderzoek zijn de kenniscoördinatoren actief
in het coördineren van kennis. Kenniscoördinatoren hebben een verschillende achtergrond en
vullen hun werk ook op verschillende wijze in.4
Het door de kenniscoördinatoren aangevraagde onderzoek betreft een empirisch onderzoek naar
(a) de opvattingen die medewerkers van het ministerie van JenV huldigen over ‘evidence-based’
werken en -beleid en (b) in hoeverre hun werken en het beleid ook ‘evidence-based’ is. Het
onderzoek richt zich niet op de onderliggende kennisinfrastructuur van het Ministerie van JenV.
Het WODC heeft het onderzoek uitbesteed aan de onderzoeksgroep van de Universiteit Twente
die het onderhavige onderzoek heeft uitgevoerd en waarvan het onderhavige rapport verslag
doet.
In ons onderzoek inventariseren wij in hoeverre sprake is van een ‘evidence-based’ manier van
werken bij het ministerie van JenV en hoe deze manier van werken zich verhoudt tot andere
vormen van kennisbenutting (zoals het werken op basis van praktijkkennis en ervaring). Het
onderhavige onderzoek richt zich daarmee op de basale vraag in hoeverre het werken en het
beleid binnen het ministerie van JenV is gebaseerd op (of geïnformeerd door) wetenschappelijke
en beleidsrelevante kennis5.
Samengevat luiden de aanleiding, het doel en de vraagstelling van het onderzoek:
De aanleiding van het onderhavige onderzoek is de gedachte die leeft binnen het ministerie van
JenV dat het werken en het beleid binnen het ministerie wellicht weinig ‘evidence-based’ en/of
‘evidence-informed’ is.
Het doel van het onderhavige onderzoek is om een beeld te krijgen in welke mate het werken en
het beleid binnen JenV ‘evidence-based’ en/of ‘evidence-informed’ is.
De hoofdvraag van het onderzoek luidt: in hoeverre kan het werken en beleid binnen het
ministerie van JenV worden gekarakteriseerd als ‘evidence-based’ en welke institutionele- en
contextfactoren zijn hierop van invloed?

Het onderhavige onderzoek is daarmee vooral beschrijvend en verkennend van aard. Ons
onderzoek richt zich uitdrukkelijk niet op de vraag of ‘evidence-based’ beleid leidt tot betere
beleidsprestaties in vergelijking met beleid dat niet, of in mindere mate, op ‘evidence’ berust.

3 Wij sluiten aan bij de gangbare praktijk binnen het ministerie van JenV om te spreken van ‘kenniscoördinatoren’. Wij

merken op dat in een circulaire van de secretaris-generaal van 4 februari 1998, kenmerk DDS-679433, wordt gesproken
van ‘onderzoekcoördinatoren’. Ook in het omgangskader voor het Ministerie van JenV en het WODC, van 5 december
2019, wordt gesproken van ‘onderzoekcoördinator’.
4 Er bestaat geen formele taakomschrijving van de functie kenniscoördinator binnen het ministerie van JenV.
5 Vertrouwelijke startnotitie, 2019, p. 1.

2

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

1.2 ‘Evidence-based’ werken en -beleid
Voordat wij de hoofdvraag van het onderzoek introduceren, is het verstandig om een korte
schets te geven van het begrip ‘evidence-based’ werken en -beleid. Een meer uitgebreide
bespreking van dit begrip presenteren wij in hoofdstuk 3, als resultaat van een literatuurstudie.

1.2.1

Wetenschappelijke onderbouwing van werken en beleid

Het idee van ‘meer weten is beter beslissen’ wordt breed gedragen, zowel in de
beleidswetenschap als in de praktijk (AWTI, 2021). Er bestaat in de beleidswetenschap een ruime
traditie op het gebied van onderzoek naar de onderbouwing van beleidstheorieën. De aanname is
dat de consistentie en onderbouwing van de beleidstheorie bijdraagt aan de effectiviteit van het
gevoerde beleid. Deze consistentie en onderbouwing van de beleidstheorie kan zijn gebaseerd op
verschillende bronnen van systematisch verkregen kennis. Deze kennis kan worden verkregen uit
onafhankelijk uitgevoerd wetenschappelijk onderzoek, maar ook ontsloten worden vanuit de
praktijk, bijvoorbeeld door het uitvoeren van systematische beleidsevaluaties. De eis van
systematiek is leidend om te komen tot ‘meer weten’: persoonlijke ervaringen en intuïtie worden
niet geschaard onder het systematisch onderbouwen van de beleidstheorie.
Wanneer de beleidstheorie stevig is verankerd in inzichten vanuit onafhankelijk wetenschappelijk
onderzoek spreekt men wel van een “rationele” beleidstheorie (Hoogerwerf, 1984; Leeuw, 1993).
Het beleid en het beleidsvoeringproces (met agendering, ontwerp, besluitvorming, uitvoering, en
evaluatie als ideaaltypische fasen) worden dan gevoed door wetenschappelijke kennis. De
systematische, onafhankelijk verkregen wetenschappelijke kennis wordt verondersteld bij te
dragen aan de doeltreffendheid en doelmatigheid van beleidsinterventies. Daarbij wordt
regelmatig gerefereerd aan het onderbouwen van beleid door (waardevrije) ‘feiten’ in plaats van
(politieke) oordelen. Ook is het in zwang om beleidsinterventies ‘data-gedreven’ bij te sturen, met
het oog op doeltreffendheid en doelmatigheid.
De wetenschappelijke onderbouwing van beleid wordt overigens niet alleen geacht bij te dragen
aan de doeltreffendheid en doelmatigheid van beleid en beleidsinterventies—en daarmee tot de
legitimiteit van overheidsbeleid. Een onafhankelijk verkregen wetenschappelijke onderbouwing
van beleid versterkt de democratische rechtstaat. Dit komt doordat “volksvertegenwoordigers
en media het gevoerde beleid kunnen controleren en dat burgers geïnformeerde keuzes maken
bij het uitoefenen van hun democratische rechten”.6 Als de overheid beleid baseert op of zich
systematisch laat informeren door wetenschappelijke inzichten vergroot dit ook het vertrouwen
van de burger in de overheid.
In de Angelsaksische terminologie die de huidige wetenschap thans kenmerkt, wordt wel
gesproken van wetenschappelijk onderbouwd beleid als ‘evidence-based’. De term ‘evidencebased’ vindt zijn oorsprong in de medische wetenschappen, waar een internationale standaard is
gecreëerd om te beoordelen in hoeverre en onder welke condities medische interventies
werkzame effecten produceren. Het idee is dat alleen interventies met aangetoonde effecten
6 Zie https://www.wodc.nl/over-het-wodc.

3

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

zouden moeten worden ingezet. De wetenschappelijke bewijsvoering die nodig is om te komen
tot een oordeel over werkzaamheid (effectgroottes) wordt wel de ‘gouden standaard’ genoemd.
In de geneeskunde bestaat deze gouden standaard uit ‘Randomized (dubbelblind) Controlled
Trials’ (RCT) in experimenteel onderzoek. ‘Evidence-based medicine’ probeert vervolgens in
(multi-)disciplinaire teams van wetenschappers en professionals, via meta-analyses van de
experimenteel verkregen kennis, richtlijnen op te stellen over welke interventies wel (meer) en
welke interventies niet (minder) goed werken. De bekende ‘Cochrane reviews’ zijn hiervan een
belangrijk voorbeeld.
Het mag duidelijk zijn dat de werkelijkheid van beleidsinterventies in publieke sectoren een
andere is dan die van medisch handelen. ‘Harde’ wetenschappelijke bewijsvoering past vaak lastig
bij behoeften vanuit de beleidspraktijk. Daarvoor bestaan enkele belangrijke redenen.
1. In de eerste plaats kent de academische gemeenschap een heel andere, eigen dynamiek
en belangen dan de beleidsgemeenschap. Wetenschappers zijn primair verantwoording
verschuldigd aan het academische forum, waarin toetsing op zorgvuldigheid van de
gehanteerde onderzoeksmethodologie soms lange tijd in beslag neemt. Deze tijd hebben
beleidsmakers vaak niet, gegeven de politieke dynamiek en hectiek waarin zij zich vaak
bevinden. Bovendien lopen de onderzoeksvragen waarin wetenschappers zijn
geïnteresseerd niet (altijd) parallel met belangrijke vragen uit de beleidspraktijk.
Aansluiting tussen wetenschappelijk onderzoek en de beleidspraktijk is dan ook niet
vanzelfsprekend.
2. In de tweede plaats leggen beleidsmakers verantwoording af aan een politiek forum.
Beleidsinterventies vinden dan ook plaats binnen beleidscontexten die gedreven worden
door waardeoordelen en waardenconflicten.7 Omdat beleid naast analyse ook de
condensatie vormt van politieke oordeelsvorming, kan kennis-in-beleid nooit losstaan van
waardeoordelen (Van de Graaf en Hoppe, 1996).
3. In de derde plaats is de mate van overeenstemming tussen sociale- en
gedragswetenschappers over een gemeenschappelijk kennisfonds minder groot dan
onder (de meeste) medici of natuurwetenschappers. Er is vaak sprake van een
intersubjectieve beoordeling van gegevens, waardoor ‘data’ verschillend geïnterpreteerd
kunnen worden. Daar komt bij dat beleidsinterventies zich vaak richten op het niveau van
populaties, waardoor ‘dubbelblind’ experimenteel onderzoek niet goed mogelijk is.
Sociaalwetenschappelijk onderzoek is vaak gebaseerd op quasi-experimentele- of op
kwalitatieve onderzoekdesigns.
De ‘gouden standaard’ van ‘evidence-based medicine’ zal daarom niet opgaan voor beleid en ook
niet voor de meeste beleidsinterventies. Maar dat laat onverlet dat een wetenschappelijke
onderbouwing van beleid, beleidsvoering en beleidsinterventies nastrevenswaardig wordt
geacht. De aanleiding tot het onderhavige onderzoek (de wens van het ministerie van JenV tot
het versterken van de kennisinfrastructuur) getuigt dan ook van deze opvatting: ‘evidence-based’
werken en beleid door het ministerie vergroten naar verwachting de doeltreffendheid,
doelmatigheid en het sterker verankeren van het beleid in de rechtstaat.
7 Dit kan overigens ook het geval bij het vaststellen van multidisciplinaire richtlijnen ten behoeve van professionals in de

gezondheidszorg.

4

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

1.2.2

Enkele definities

Zoals wij in hoofdstuk 3 nader zullen bespreken, bestaan er verschillende perspectieven op wat
als ‘evidence’ ten behoeve van werken en beleid kan (of zou moeten) worden aangemerkt. Deze
perspectieven vloeien voort uit het besef dat de beleidscontext een fundamenteel andere is dan
die van medisch handelen. In de wetenschappelijke literatuur, die uitgebreid wordt besproken in
hoofdstuk 3, worden veel verschillende termen gebruikt om deze perspectieven op het gebruik
van ‘evidence’ aan te duiden. Hieronder definiëren wij deze termen voor het onderhavige
onderzoek.
1. Evidence-based werken en -beleid. In het onderhavige onderzoek sluiten wij aan bij het
gangbare standpunt van ‘evidence-based’ werken en -beleid als voornamelijk gebaseerd
op de resultaten van onafhankelijk wetenschappelijk onderzoek. Een voorbeeld van
‘evidence-based’ werken is handelen op basis van wetenschappelijk onderbouwde
protocollen.8
2. Evidence-informed werken en -beleid. Eén van de alternatieve perspectieven op het
benutten van wetenschappelijke kennis in beleid is dat van ‘evidence-informed’ werken
en -beleid. Bij ‘evidence-informed’ werken en -beleid wordt praktijkkennis op de een of
andere wijze geïnformeerd door wetenschappelijke kennis en inzichten. In ‘evidenceinformed’ werken en -beleid worden wetenschappelijke kennis en (systematische)
praktijkkennis gecombineerd of geïntegreerd.
Het verschil tussen ‘evidence-based’ en ‘evidence-informed’ bestaat uit de nadruk die ligt op de
component van wetenschappelijke kennis in de kennisbenutting. Daarnaast leiden we drie
belangrijke voorwaarden af voor het begrip ‘evidence’ (in zowel ‘evidence-based’ als ‘evidenceinformed’ werken en -beleid):
• Voorwaarde 1: Wetenschappelijke systematiek. De wetenschappelijke kennis is ontleend
aan wetenschappelijke theorievorming en/ of empirisch onderzoek dat is uitgevoerd
vanuit een geaccepteerde, systematische (wetenschappelijke) methode;
• Voorwaarde 2: Onafhankelijkheid. De wetenschappelijke kennis is tot stand gekomen in
dialoog met beleid en bestuur, maar onafhankelijk van druk vanuit beleid en bestuur.
• Voorwaarde 3: Transparantie. De totstandkoming van de wetenschappelijke kennis en/ of
de integratie van deze wetenschappelijke kennis met praktijkkennis zijn transparant en te
repliceren.
3. Practice-based werken en -beleid. Het mag duidelijk zijn dat een benadering van
kennisbenutting in werken en beleid die voornamelijk is gebaseerd op praktijkkennis niet
voldoet aan een van de drie bovenstaande voorwaarden. Praktijkgericht werken en beleid is niet gebaseerd op ‘evidentie.’ Het is goed mogelijk dat medewerkers van het
ministerie van JenV hun werken en beleid voornamelijk baseren op praktijkkennis. In dit
onderzoek zullen wij daarom het ‘evidence-based’ en ‘evidence-informed’ werken en beleid van medewerkers van JenV onderzoeken naast hun praktijkgericht werken en beleid.
8 ‘Evidence-based werken’ mag niet worden verward met het begrip ‘evidence-based practice’. Dat laatste begrip wordt in de
beleidswetenschappelijke literatuur ook wel gebruikt om de integratie van wetenschappelijke kennis en praktijkkennis aan te
duiden. Wij gebruiken hiervoor de term ‘evidence-informed’ werken en -beleid. Zie hoofdstuk 3 voor een nadere duiding.

5

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

Beleidsevaluaties en data-gedreven werken. Ten slotte worden beleidsevaluaties en data-gedreven
werken vaak aangemerkt als belangrijke instrumenten waarmee kennis kan worden gegenereerd
ten behoeve van verbetering van de beleidsontwikkeling of beleidsuitvoering. Beleidsevaluaties
kunnen inzichten genereren waarmee de overheid kan leren, bijvoorbeeld door het bijstellen van
beleid, interventies, of werkwijzen. Data-gedreven werken kan meer of minder systematische
kennis genereren waarmee toekomstige trends in beleidsproblemen kunnen worden voorspeld,
of uitvoeringspraktijken gemonitord. Het is een misvatting om beleidsevaluaties of data-gedreven
werken vanzelfsprekend te zien als ‘evidence-based’ of ‘evidence-informed’. Beide instrumenten
zullen aan één of meer van de bovenstaande voorwaarden moeten voldoen om als zodanig
aangemerkt te worden. Kortom, of een beleidsevaluatie ‘evidence-based’ is, ‘evidence-informed’
is, of berust op voornamelijk praktijkkennis is afhankelijk van de wetenschappelijke systematiek
en onafhankelijkheid van het onderzoek dat aan de basis ligt van de evaluatie zelf.9

1.2.3

Politieke oordeelsvorming en ‘evidence-based’ werken en -beleid

In de beleidswetenschappelijke literatuur wordt beleid wel gedefinieerd als een politiek
bekrachtigd plan. Politiek wordt dan vanuit datzelfde beleidswetenschappelijk perspectief
gedefinieerd als de strijd om beleid (Van de Graaf en Hoppe, 1996). Politiek en beleid zijn sterk
met elkaar verbonden omdat zij de inbreng van kennis (wetenschappelijke kennis en
praktijkkennis) verbinden aan politieke oordeelsvorming. Los van het werken op basis van kennis
(verkregen uit wetenschappelijk onderzoek of uit de praktijk) speelt politieke oordeelsvorming
vaak een belangrijke rol bij de totstandkoming, uitvoering en evaluatie van beleid. De
achterliggende reden is dat er niet altijd politiek-maatschappelijke consensus bestaat over de
doeleinden van beleid of de instrumenten van beleid. Er moeten dan keuzes worden gemaakt die
worden gelegitimeerd vanuit het politieke besluitvormingsproces.
Beleid wordt ontwikkeld, uitgevoerd en geëvalueerd in een veld dat zich kenmerkt door meer- of
minder consensus over doeleinden en instrumenten. Wanneer er een grote politiekmaatschappelijke consensus bestaat, zal de inbreng van wetenschappelijke kennis in werken en
beleid in beginsel een meer technisch-wetenschappelijk karakter hebben. De wetenschappelijke
kennis richt zich dan op het vergroten van de instrumentele doeltreffendheid en doelmatigheid
van het beleid. Een voorbeeld is het ontwikkelen van nieuwe technieken om kinderporno op te
sporen, of risico’s op cyberaanvallen in te schatten. Wanneer deze technieken de privacy van
burgers onder druk zetten, zal politieke oordeelsvorming moeten plaatsvinden over de
aanvaardbaarheid van deze technisch-wetenschappelijke bijdragen. Wanneer er evenwel sprake is
van een geringe politiek-maatschappelijke consensus, zal de inbreng van wetenschappelijke
kennis in werken en -beleid niet zonder politieke oordeelsvorming bijdragen tot meer doeltreffend
of doelmatig beleid.

9 Ook kennis uit beleidsevaluaties wordt lang niet altijd optimaal benut (o.a. Knottnerus e.a. 2016). Hoewel veel beleid

wordt geëvalueerd (bijvoorbeeld maatschappelijke kosten- en batenanalyses, wetsevaluaties, beleidsdoorlichtingen en
interdepartementale beleidsonderzoeken), zouden evaluaties onvoldoende prioriteit hebben gedurende het
beleidsproces of te weinig systematisch worden gebruikt (Studiegroep Begrotingsruimte, 2016). Beleidsrelevante
kennis voor de doorontwikkeling van beleid blijft dan achterwege.

6

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Technocratisch beleid. Politiek omstreden beleidsbeslissingen nemen op grond van uitsluitend
wetenschappelijke kennis verwordt tot een technocratische benadering van werken en beleid.
Dat laat onverlet dat, wanneer politieke keuzes zijn gemaakt en knopen zijn doorgehakt,
wetenschappelijke kennis (naast praktijkkennis) kan bijdragen aan de doeltreffendheid en
doelmatigheid van de gekozen (deel)oplossingen. Een voorbeeld is het asielbeleid waar, binnen
de kaders van een politiek gelegitimeerd toelatingsbeleid, wetenschappelijk gefundeerde
inzichten kunnen bijdragen tot een doelmatiger en rechtvaardiger overheidshandelen binnen de
asielketen.
‘Fact-free-politics’. Een ander uiterste is politieke oordeelsvorming die niet (mede) is gebaseerd op
wetenschappelijke inzichten of ervaringen uit de praktijk. Deze vorm van politieke
oordeelsvorming wordt wel aangeduid als ‘fact-free politics’. Kortom, er zal, gegeven de mate van
politiek-maatschappelijke consensus op het beleidsveld, een evenwicht bestaan tussen politieke
oordeelsvorming en de inbreng van wetenschappelijke- en praktijkkennis. Deze context nemen
wij mee in ons onderzoek.

1.3 Vraagstelling
De hoofdvraag van het onderzoek luidt: in hoeverre kan het werken en beleid binnen het
ministerie van JenV worden gekarakteriseerd als ‘evidence-based’ en welke institutionele- en
contextfactoren zijn hierop van invloed? De deelvragen gaan nader in op verschillende niveaus
waarbinnen ‘evidence-based’ werken en -beleid plaatsvindt.
1. De eerste deelvraag gaat in op de inbedding van ‘evidence-based’ werken en -beleid in formele
wetgeving en beleidskaders, alsmede inbedding in de informele cultuur (normen en praktijken)
binnen de organisatie.
• Deelvraag 1a: Welke bestaande wettelijke en beleidsmatige kaders zouden ‘evidence-based’
werken en -beleid op het gebied van JenV moeten bevorderen?
• Deelvraag 1b: Hoe wordt het concept van ‘evidence-based’ beleid omschreven en nader
ingevuld binnen (beleidsmatige) kaders of richtlijnen binnen het ministerie van JenV en
(enkele) andere ministeries?
• Deelvraag 1c: Welke bevorderende/ belemmerende organisatiecultuur treffen wij aan binnen
het ministerie van JenV ten aanzien van ‘evidence-based’ werken en -beleid?
2. De tweede deelvraag betreft de beschrijvende vraag hoe medewerkers van het ministerie van
JenV het begrip ‘evidence-based’ werken en -beleid percipiëren. Hun antwoorden kunnen worden
vergeleken met definities en omschrijvingen uit de literatuur en met omschrijvingen uit de
wettelijke en beleidsmatige kaders.
• Deelvraag 2: Wat wordt in de praktijk binnen het ministerie van JenV verstaan onder ‘evidencebased’ werken en -beleid?

7

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

3. De derde deelvraag betreft de beschrijvende vraag hoe kennisbenutting binnen het ministerie
van JenV plaatsvindt. Bij de beantwoording van deze deelvraag wordt ‘evidence-based’ werken
en -beleid bestudeerd als één van de vormen van kennisbenutting, naast ‘evidence-informed’
werken en -beleid of het gebruik van voornamelijk praktijkkennis.
• Deelvraag 3a: In hoeverre vindt kennisbenutting plaats binnen het ministerie van JenV vanuit
‘evidence-based’ werken en -beleid in vergelijking met andere vormen van kennisbenutting?
• Deelvraag 3b: Welke informatiebronnen hanteren medewerkers van het ministerie van JenV
om wetenschappelijke kennis te ontsluiten?
3. De vierde deelvraag betreft de verklarende vraag hoe ‘evidence-based’ werken en -beleid
wordt belemmerd of bevorderd binnen het ministerie van JenV. Het gaat hier mede om de
motieven van werknemers om ‘evidence-based’ te werken.
• Deelvraag 4: Welke omstandigheden bevorderen ‘evidence-based’ werken en -beleid en
andere vormen van kennisbenutting binnen het ministerie van JenV?

De deelvragen worden in de onderstaande deelparagrafen nader uitgewerkt.

1.3.1

Formele institutionele inbedding

Een belangrijke vraag is welke formele grondslag ‘evidence-based’ werken en -beleid heeft—ten
opzichte van andere vormen van kennisbenutting—bij het ministerie van JenV. Hierbij valt
bijvoorbeeld te denken aan de Comptabiliteitswet of het Integraal Afwegingskader (IAK). Maar
ook andere beleidskaders en richtlijnen kunnen relevant zijn, waaronder aangenomen moties van
het parlement. Het betreft hier de formele institutionele kaders op Rijksniveau. Deelvraag 1a gaat
nader in op deze formele institutionele kaders. De deelvraag wordt beantwoord in hoofdstuk 2.
Deelvraag 1a: Welke bestaande wettelijke en beleidsmatige kaders zouden ‘evidence-based’ werken
en -beleid op het gebied van JenV moeten bevorderen?
Rijksbrede kaders worden vaak nader uitgewerkt binnen de beleidsdirecties van ministeries.
Ministeries geven immers hun eigen interpretatie en invulling aan concepten, gegeven de
beleidsvrijheid die zij hebben op hun beleidsdomein. Deelvraag 1b gaat daarom nader in op de
wettelijke kaders en beleidsmatige kaders die worden ontwikkeld binnen ministeries. Hierbij is het
ook belangrijk te beschrijven welke verschillen er bestaan tussen ministeries. Deze deelvraag
wordt beantwoord in hoofdstuk 2.
Deelvraag 1b: Hoe wordt het concept van ‘evidence-based’ beleid omschreven en nader ingevuld
binnen (beleidsmatige) kaders of richtlijnen binnen het ministerie van JenV en (enkele) andere
ministeries?

8

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

1.3.2

Informele institutionele inbedding

Instituties zijn breder dan formele kaders en omvatten ook gedeelde normen of
gedragsevenwichten (Crawford en Ostrom, 1995). ‘Evidence-based’ werken kan daarmee
verankerd zijn in specifieke normen en houdingen binnen organisatieonderdelen van JenV.
Relevant daarbij is de vraag in hoeverre de formele instituties vanuit deelvraag 1a (wetgeving en
beleidskaders) doorwerken in de informele instituties binnen de organisatie en hun afdelingen.
Daarmee komen de contexten in beeld waarbinnen ‘evidence-based’ werken en -beleid
plaatsvindt. Meer specifiek kijken wij daarbij naar de bevorderende of belemmerende
organisatiecultuur die bestaat ten aanzien van ‘evidence-based’ werken en -beleid. In hoofdstuk 2
geven wij een beschrijving van deze bevorderende/ belemmerende organisatiecultuur ten aanzien
van ‘evidence-based’ werken en -beleid. Deelvraag 1c gaat hierop nader in.
Deelvraag 1c: Welke bevorderende/ belemmerende organisatiecultuur treffen wij aan binnen het
ministerie van JenV ten aanzien van ‘evidence-based’ werken en -beleid?

1.3.3

Perceptie van ‘evidence-based’ werken en -beleid

Een karakterisering van het werken en beleid als ‘evidence-based’ begint met een inventarisatie
van wat medewerkers van het ministerie zelf verstaan onder ‘evidence-based’ werken en -beleid.
Deze inventarisatie geeft inzicht in de normen en houdingen die bestaan bij medewerkers binnen
de organisatie ten aanzien van ‘evidence-based’ werken en -beleid. Welke associaties roept het
concept ‘evidence’ op bij medewerkers van het ministerie van JenV? Wordt een verband gelegd
met wetenschappelijke kennis, praktijkkennis, een combinatie van beide, of iets geheel anders?
Een vergelijking van de normen en houdingen van medewerkers ten aanzien van ‘evidence-based’
werken en -beleid met de wettelijke- en beleidsmatige kaders geeft inzicht in de (mate van)
doorwerking van deze kaders binnen de organisatie. Deelvraag 2 gaat nader in op de beschrijving
van de houdingen van medewerkers van JenV ten aanzien van ‘evidence-based’ werken en beleid. Deze beschrijvende deelvraag wordt beantwoord in hoofdstuk 3.
Deelvraag 2: Wat wordt in de praktijk binnen het ministerie van JenV verstaan onder ‘evidencebased’ werken en -beleid?

1.3.4

Gebruik van wetenschappelijke kennis in werken en beleid

De mate waarin ‘evidence-based’ wordt gewerkt, en waarin ‘evidence-based’ beleid wordt
gevormd en uitgevoerd binnen het ministerie van JenV, is een belangrijke vraag van het
onderzoek. Het betreft hier de empirische beschrijving van de bestaande mate van
kennisbenutting binnen het ministerie van JenV. ‘Evidence-based’ werken en –beleid neemt
daarbij een plaats in ten opzichte van andere vormen van kennisbenutting, zoals ‘evidenceinformed’ werken en -beleid, of praktijkgericht werken en -beleid. ‘Evidence-based’ werken en beleid is immers een van de drie verschillende vormen van kennisbenutting. Beleid en werken
kunnen bijvoorbeeld berusten op eigen ervaringen van medewerkers uit de praktijk,
praktijkkennis die is ingebracht vanuit het professionele veld, meer of minder systematische
beleidsevaluaties, of data-gedreven werken.
9

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

Het is daarom relevant te onderzoeken welke informatiebronnen medewerkers van het ministerie
van JenV gebruiken om wetenschappelijke kennis te ontsluiten. Ook dat is een belangrijk aspect
van het gebruik van wetenschappelijke kennis. Deelvraag 3 gaat nader in op: (a) de beschrijving
van de plaats van ‘evidence-based’ werken en -beleid tussen andere vormen van kennisbenutting
door medewerkers van JenV en (b) de toegangsbronnen die zij benutten om wetenschappelijke
kennis te ontsluiten. Deze deelvraag wordt beantwoord in hoofdstuk 4.
Deelvraag 3a: In hoeverre vindt kennisbenutting plaats binnen het ministerie van JenV vanuit
‘evidence-based’ werken en -beleid in vergelijking met andere vormen van kennisbenutting?
Deelvraag 3b: Welke informatiebronnen hanteren medewerkers van het ministerie van JenV om
wetenschappelijke kennis te ontsluiten?

1.3.5

Condities voor ‘evidence-based’ werken en -beleid

Er zijn diverse factoren die het gebruik van kennis in de beleidsvoering verklaren. Een eerste stap
om te verklaren welke factoren een rol spelen bij het ministerie van JenV in kennisgebruik in het
beleidsproces betreft het identificeren van de omstandigheden waaronder verschillende vormen
van kennis worden benut. Hoofdstuk 5 gaat nader in op deze omstandigheden.
Wanneer we kijken naar de omstandigheden waaronder verschillende typen van kennis worden
gebruikt bij het werken en beleid van het ministerie van JenV spelen verschillende, mogelijke
verklaringen.
1. Het gebruik van verschillende typen van kennis kan, in de eerste plaats, te maken hebben
met de kenmerken van het beleidsveld waarin medewerkers van JenV moeten opereren.
Een beleidsveld dat vraagt om (pragmatisch) politiek-bestuurlijke handelen op korte
termijn (denk bijvoorbeeld aan politieke incidenten), draagt niet gemakkelijk bij tot de tijd
en rust die nodig is om beschikbare wetenschappelijke kennis goed doordacht en
‘volledig’ te integreren in het beleid. Hierdoor zullen medewerkers van het ministerie van
JenV eerder terugvallen op opgebouwde ervaring en praktijkkennis. Ook bestaat het
gevaar dat wetenschappelijke kennis gebruikt wordt als gelegenheidsargument.10 Op een
beleidsveld waarin de status van wetenschappelijke kennis onzeker is (bijvoorbeeld door
sterk concurrerende wetenschappelijke inzichten of gemengde resultaten van empirisch
onderzoek) kan de benutting van wetenschappelijke kennis beperkt zijn, of evenzeer
gedreven door gelegenheidsargumenten.
2. In de tweede plaats kunnen ook binnen de organisatieonderdelen (afdelingen) van het
departement mechanismen werkzaam zijn die leiden tot kennisonderbenutting. Te
denken valt aan een onvoldoende bewustzijn van en sturing op kennis, onvoldoende
capaciteit, een beperkt collectief geheugen, gebrekkige mogelijkheden tot de ontsluiting
van kennis, of een gebrekkige kennisdeling tussen verschillende beleidsafdelingen.
Dergelijke mechanismen dragen niet alleen bij tot een onderbenutting van kennis, maar
kunnen eveneens leiden tot duplicering van onderzoek.

10 Zoals De Waard en Van Voorst (2018, p. 2) het formuleren: ‘Evidence-based policy’ en ‘policy-based evidence’

verdragen elkaar slecht.”

10

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

3. In de derde plaats kunnen kenmerken van het onderzoek zelf belemmerend of
bevorderend werken. Te denken valt aan een geringe relevantie voor de beleidspraktijk,
een lange duur en doorlooptijd van het onderzoek, of een gebrekkige wetenschappelijke
kwaliteit. Evaluaties zelf zijn regelmatig onder de maat of onvolledig zodat geen
uitspraken kunnen worden gedaan over doeltreffendheid en doelmatigheid. De
Algemene Rekenkamer (2016, p. 32) signaleert dat al jarenlang “een tekort aan goede
evaluaties” bestaat.11
4. In de vierde plaats kunnen kenmerken van de medewerker zelf bijdragen aan een
onderbenutting van kennis; bijvoorbeeld omdat de medewerker niet de expertise heeft
om wetenschappelijk onderzoek te vertalen naar de beleidspraktijk. Maar ook de
individuele motivatie van de medewerker speelt een rol: de literatuur spreekt van
instrumentele-, conceptuele-, of strategische motieven om wetenschappelijke kennis te
gebruiken in werken en beleid.
Deelvraag 4 gaat nader in op een analyse van de omstandigheden die bevorderen dat
medewerkers van JenV ‘evidence-based’ werken en -beleid ‘evidence-based’ is. Daarbij nemen wij
ook de andere vormen van kennisbenutting mee. In hoofdstuk 5 wordt deze deelvraag
beantwoord.
Deelvraag 4: Welke omstandigheden bevorderen ‘evidence-based’ werken en -beleid en andere
vormen van kennisbenutting binnen het ministerie van JenV?

1.4 Inperking van het onderzoek
De reikwijdte van een onderzoek naar ‘evidence-based’ werken en -beleid binnen het ministerie
van JenV is potentieel kolossaal. Het ministerie is zeer omvangrijk en vertegenwoordigt zeer veel
deeldomeinen van de gebieden van Justitie en Veiligheid (zie bijvoorbeeld het Introductiedossier
Ministerie van Justitie en Veiligheid, 2017). Bijvoorbeeld vallen de Nationale Politie, de
rechtspleging en rechtsbijstand, veiligheid en criminaliteitsbestrijding, straffen en beschermen,
contraterrorisme en nationale veiligheid en het vreemdelingenbeleid onder JenV. Daarnaast zijn
er zeer vele diensten, ZBO’s, agentschappen en sui-generis organisaties een onderdeel van, of
gelieerd aan, het ministerie van JenV (van bijvoorbeeld het Nederlands Forensisch Instituut tot de
Immigratie- en Naturalisatiedienst).12
Om het onderzoek zinvol en uitvoerbaar te houden, is mede in overleg met de opdrachtgever
besloten de reikwijdte van het onderzoek in te perken. Deze inperking hebben wij vanuit drie
invalshoeken gedaan.
11 Ook kan het enorme aanbod van kennis het gebruik ervan negatief beïnvloeden. Er is immers een zeer grote voorraad

van kennis voorhanden dat voor het veelomvattende terrein van JenV van belang kan zijn. Onderzoek uit vrijwel alle
maatschappij- en gedragswetenschappelijke disciplines en specialisaties, en ook uit diverse technische en medische
wetenschappen, kunnen voor JenV beleidsrelevant zijn. De paradox is dat een overvloed aan kennis een verlammende
werking kan hebben op het gebruik ervan.
12 Als wij kijken naar het aantal medewerkers van de beleidsdirecties (in fte’s), dan is het ministerie van JenV, na
Financiën, de grootste met 27.276 fte. Dit betreft 25% van het totaal aantal rijksambtenaren (Jaarrapportage
Bedrijfsvoering Rijk 2017). Als wij kijken naar het aantal medewerkers dat uiteindelijk onder de verantwoordelijkheid van
het departement valt, komen wij op meer dan 100.000 (zie onze berekeningen in Appendix B).

11

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

1.

Eerste inperking. In de eerste plaats hebben wij ingezoomd op twee contexten waarvan
wij verwachten dat ‘evidence-based’ werken en -beleid varieert. Deze contexten worden
meegenomen in de antwoorden op deelvragen over percepties onder medewerkers van
het ministerie (deelvraag 2) en daadwerkelijke kennisbenutting in werken en beleid
binnen het ministerie (deelvragen 3 en 4). De twee contexten zijn:
(1)
de fase in het beleidsproces, zoals agendering, beleidsvorming/ besluitvorming,
uitvoering en evaluatie;
(2)
kenmerken van het beleidsveld, meer specifiek: (on)zekerheid van kennis of een
(gebrek aan) overeenstemming over middelen en doelstellingen.
2. Tweede inperking. In de tweede plaats hebben wij in onze onderzoekstrategie een keuze
gemaakt uit alle mogelijke, te benaderen organisatieonderdelen van het ministerie.
Daarbij hebben wij drie organisatieonderdelen van het ministerie van JenV buiten de
selectie gehouden: het Openbaar Ministerie, de politie en de rechterlijke macht. De
onderzoekstrategie wordt uitgebreid uiteengezet in Appendix B.
3. Derde inperking. In de derde plaats hebben wij ervoor gekozen om, via bovenstaande
onderzoekstrategie, de vraagstelling te benaderen via zelf-gerapporteerde gegevens van
medewerkers van het ministerie van JenV (middels de enquête en interviews). Dit
betekent dat wij geen evaluatief oordeel vellen over een (geobjectiveerde) mate waarin
beleidsstukken gebaseerd zijn op, of geïnformeerd zijn door, wetenschappelijke kennis.
De reikwijdte van het onderzoek staat dit niet toe. Wij zouden dan een inhoudelijk oordeel
moeten vellen over de wetenschappelijke onderbouwing van beleidstheorieën en werken.
In plaats daarvan bestuderen wij de hoofdvraag vanuit het perspectief van de
medewerkers zelf, zoals bijvoorbeeld blijkt uit de tweede deelvraag over percepties onder
medewerkers.

1.5 Aanpak van het onderzoek
Ten behoeve van het onderzoek is toestemming aan de uitvoering ervan verleend door de
ethische commissie van Faculteit BMS van de Universiteit Twente en is de privacy officer van het
WODC geconsulteerd.13 Om de onderzoeksvraag en de deelvragen te beantwoorden, hebben wij
diverse onderzoeksmethodes gebruikt. Appendix B biedt een uitgebreide verantwoording van de
gehanteerde onderzoekstrategieën. In die appendix presenteren wij in meer detail ons
analysekader en beschrijven wij de wijze van dataverzameling en -verwerking voor het
beantwoorden van de verschillende deelvragen. Hieronder lichten wij kort de
onderzoeksstrategieën toe.
1. In de eerste plaats hebben wij een literatuurstudie verricht naar de stand van zaken in de
wetenschappelijke literatuur over ‘evidence-based’ werken en -beleid. Deze
literatuurstudie vormt de achtergrond van ons analysekader, informeerde onze definities
13 Ten behoeve van het onderzoek is toestemming aangevraagd bij de ethische commissie van Faculteit BMS van de

Universiteit Twente, onder verwijzing van de onderzoekopzet zoals deze in dit hoofdstuk wordt beschreven. Deze
toestemming is verleend op 6 juli 2020 onder nummer 200981. Daarnaast is specifiek ten behoeve van de enquête ook
toestemming gevraagd aan de privacy-beambte van het ministerie van JenV. Deze toestemming had betrekking op (a)
het vermijden van de traceerbaarheid van individuele medewerkers van JenV op grond van kenmerken die in de
enquête werden gevraagd, (b) garanties in het datamanagement, waaronder het onderbrengen en tijdelijk opslaan van
gegevens van de enquête (via Qualtrics) op een server onder Europese regelgeving.

12

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

van ‘evidence-based’, ‘evidence-informed’ en ‘practice-based’ werken en -beleid die wij
hebben gepresenteerd in hoofdstuk 1. De literatuurstudie heeft geresulteerd in een
tussenrapportage, die is verwerkt in de relevante vervolghoofdstukken van dit rapport:
hoofdstuk 3 (percepties van ‘evidence-based’ werken en -beleid); hoofdstuk 4 (gebruik
van de resultaten van wetenschappelijk onderzoek ten behoeve van werken en beleid);
(c) hoofdstuk 5 (motieven en belemmeringen bij de benutting van de resultaten van
wetenschappelijk onderzoek in werken en -beleid).
2. In de tweede plaats hebben wij interne en openbaar toegankelijke websites en
beleidsdocumenten bestudeerd en geanalyseerd. Ten behoeve van de beantwoording van
deelvragen 1a en 1b (over wettelijke- en beleidsmatige kaders ter bevordering van
‘evidence-based’ werken en -beleid) hebben wij een scan uitgevoerd van openbaar
toegankelijke informatie op websites van de Rijksoverheid en ministeries, waaronder
beleidsdocumenten en parlementaire documentatie.
3. In de derde plaats hebben wij een enquête uitgevoerd onder medewerkers van drie
organisatieonderdelen van het ministerie van JenV. De vragenlijst is opgenomen in
appendix C en de verantwoording van de operationalisering is opgenomen in appendix D.
De organisaties zijn geanonimiseerd ten behoeve van het waarborgen van de privacy van
de medewerkers. Het betreft in de eerste plaats alle beleidsdirecties van het
departement. De responses binnen deze populatie bieden daarmee een beeld van het
departement als geheel. In de tweede plaats is de enquête uitgezet onder medewerkers
van het hoofdkantoor van een uitvoerende organisatie. Alhoewel dit enig inzicht biedt in
‘evidence-based’ werken en -beleid binnen een hoofdkantoor van het ministerie, is de
enquête niet breed genoeg uitgezet om uitspraken te doen over de
uitvoeringsorganisaties binnen het ministerie. Hetzelfde geldt voor de derde enquête die
is uitgezet onder de medewerkers van een kennisorganisatie binnen het ministerie.
Binnen het ministerie zijn enkele kennisorganisaties actief. De benaderde kennisorganisatie ondersteunt medewerkers van een uitvoerende organisatie door
gespecialiseerde expertise te leveren voor een van de domeinen waarvoor de
uitvoerende organisatie verantwoordelijk is.14 De resultaten van de enquête geven
gekwantificeerde antwoorden op de deelvragen.
4. In de vierde plaats hebben wij verdiepende interviews verricht om inzicht te verkrijgen in
de vraag hoe binnen de twee belangrijke contexten die wij hebben onderscheiden (fase in
het beleidsproces en type van beleidsvraagstuk) bepaalde mechanismen van
wetenschappelijke kennisbenutting werkzaam zijn. De interviews hebben wij gehouden
onder medewerkers van organisatieonderdelen die werkzaam zijn in een specifieke fase
van het beleidsproces. Het interviewprotocol hebben wij opgenomen in appendix E. De
organisaties selecteerden wij aan de hand van vier beleidsdossiers die representatief zijn
voor een bepaald type van beleidsvraagstuk (met een specifieke mate van politiekmaatschappelijke consensus over middelen of doeleinden en een zekere mate van
(on)zekerheid van wetenschappelijke kennis). De interviews vanuit de vier geselecteerde
beleidsdossiers hebben wij verricht voor een beperkt aantal beleidsdossiers die wij
hebben gekozen uit de strategieparagrafen uit de begrotingen van het ministerie van
14 Dit betreft niet het WODC aangezien dit een generieke kennis-organisatie is.

13

Hoofdstuk 1: Aanleiding, doel en vraagstelling van het onderzoek

JenV van de afgelopen jaren. Bij de selectie hebben wij ons laten inspireren door een
typologie van beleidsvelden. Op grond van kenmerken van een beleidsveld—
(on)zekerheid van kennis of een (gebrek aan) overeenstemming over middelen en
doelstellingen—zijn vier typen vraagstukken te onderscheiden: ‘technische-’,
‘wetenschappelijke-’, ‘ethische-’ en ‘politieke-’ vraagstukken. Wij hebben voor ieder type
vraagstuk een exemplarisch beleidsdossier gekozen. Binnen ieder beleidsdossier hebben
wij interviews gehouden met medewerkers die werkzaam zijn in verschillende fasen van
het beleidsproces. Hierdoor is niet alleen kennisbenutting in de verschillende fasen van
het beleidsproces aan de orde gekomen, maar ook kennisbenutting binnen verschillende
organisatieonderdelen die verantwoordelijk zijn voor een bepaald beleidsdossier.

1.6 Leeswijzer
Deze rapportage is als volgt opgebouwd:
• Hoofdstuk 2 geeft een beschrijving van de contexten waarbinnen kennisbenutting binnen het
ministerie van JenV plaatsvindt (deelvraag 1).
• In hoofdstuk 3 worden de percepties beschreven die er bestaan over ‘evidence-based’ werken
en -beleid onder de medewerkers van het ministerie (deelvraag 2).
• Hoofdstuk 4 geeft een antwoord op de vraag in hoeverre er sprake is van ‘evidence-based’
werken en -beleid binnen het ministerie van JenV ten opzichte van andere vormen van
kennisbenutting (deelvraag 3).
• Hoofdstuk 5 geeft een overzicht van verklaringen (belemmerende en bevorderende factoren)
van het gebruik van ‘evidence-based’ werken en -beleid ten opzichte van andere vormen van
kennisbenutting (deelvraag 4).
• Het rapport wordt, in hoofdstuk 6, afgesloten met onze conclusies en aanbevelingen.

14

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

2 Institutionele inbedding
In dit hoofdstuk gaan wij in op de eerste deelvraag van ons onderzoek die de formele en informele
institutionele inbedding betreft waarbinnen ‘evidence-based’ werken en -beleid plaatsvinden binnen
het ministerie van JenV. De opbouw van het hoofdstuk is als volgt. Eerst gaan wij in op het
institutioneel kader (de wet- en regelgeving) ten behoeve van ‘evidence-based’ werken en -beleid
binnen de Rijksoverheid in het algemeen. Daarna bespreken wij beleidsmatige kaders die zich
specifiek richten op ‘evidence-based’ werken en -beleid binnen het ministerie van JenV en binnen
enkele andere ministeries. Vervolgens rapporteren wij over de organisatiecultuur (informele
institutie): in hoeverre medewerkers van het ministerie aangeven te werken binnen een
afdelingscultuur die ‘evidence-based’ werken en -beleid al dan niet bevordert.

2.1 Rijksbrede wettelijke- en beleidsmatige kaders
Alhoewel ‘evidence-based’ werken en -beleid belangrijk worden gevonden in de beleidspraktijk en
in de wetenschap, is het niet vanzelfsprekend dat beide ook verankerd zijn in een wettelijk- of
beleidsmatig kader. In deze paragraaf rapporteren wij over onze bevindingen ten aanzien van
deelvraag 1a van het onderzoek: Welke bestaande wettelijke- en beleidsmatige Rijksbrede kaders
zouden ‘evidence-based’ beleid op het gebied van JenV moeten bevorderen?
Onze scan van wettelijke- en beleidsmatige kaders gericht op ‘evidence-based’ werken en -beleid
hebben voornamelijk betrekking op twee fasen van het beleidsproces. In de eerste plaats is dit de
beleidsvorming en beleidsvoorbereiding. In deze fase gaat het bijvoorbeeld om bepalingen ten
behoeve van de ex-ante evaluatie van beleidsvoorstellen. In de tweede plaats is dit de ex-post
evaluatie van beleid. In deze fase gaat het om artikelen en aanwijzingen vanuit wet- en
regelgeving ten behoeve van de ex-post evaluatie van beleid.

2.1.1

Kaders ten behoeve van ex-ante beleidsvorming en -voorbereiding

Comptabiliteitswet. De Comptabiliteitswet van 2016 omvat regelgeving die betrekking heeft op de
controle en verantwoording van de financiën van de Rijksoverheid.15 Het ministerie van Financiën
is hiervoor de “stelselverantwoordelijke.” De Comptabiliteitswet 2016 richt zich mede op de
doelmatigheid en doeltreffendheid van het beleid van de Rijksoverheid. Artikel 3.1a van de
Comptabiliteitswet 2016 vermeldt: “Voorstellen, voornemens en toezeggingen bevatten een
toelichting waarin wordt ingegaan op: (…) de doelstellingen, de doeltreffendheid en de
doelmatigheid die worden nagestreefd.”

15 Zie: Comptabiliteitswet 2016. (22 maart 2017). https://wetten.overheid.nl/BWBR0039429/2020-01-01.

15

Hoofdstuk 2: Institutionele inbedding

Kamerbrief “Inzicht in Kwaliteit”. In 2018 is het ministerie van Financiën, als verantwoordelijk
departement, een Rijksbrede operatie gestart met de titel “Inzicht in Kwaliteit”, gebaseerd op
artikel 3.1a van de Comptabiliteitswet. In een Kamerbrief16 geeft het ministerie van Financiën
(2018) aan dat het doel van deze operatie is om de “maatschappelijke impact en de kwaliteit van
het beleid van de nationale overheid te vergroten.” Daar komt ‘evidence-based’ werken en -beleid
expliciet aan de orde. De verbetering van kwaliteit en impact, in brede zin, zal volgens de
Kamerbrief moeten plaatsvinden vanuit twee verschillende “sporen”. Het eerste spoor richt zich
op het vergroten van de maatschappelijke impact van beleid. Dit moet bereikt worden door
inzichten in de impact van beleid te vergroten en tegelijkertijd te werken aan
beleidsverbeteringen. Het tweede spoor richt zich op een structurele verandering met betrekking
tot de manier waarop de overheid tot beleid komt. Volgens de Kamerbrief zal een succesvolle
verandering moeten berusten op een toename aan evaluaties of vanuit meer ‘evidence-based’
beleid. De gehele operatie zal geslaagd zijn als er “aantoonbare stappen richting een lerende
overheid” zijn gezet. Dit betekent, aldus de Kamerbrief, dat “nieuw of gewijzigd beleid expliciet
wordt gebaseerd op ervaringen en lessen uit eerder beleid, praktijk en/of (wetenschappelijk)
onderzoek”. 17
Beleidskaders. In een recente kaderbrief, als voortgangsnotitie bij de operatie “Inzicht in
Kwaliteit,” geeft het ministerie van Financiën een opsomming van de beleidskaders die zich
richten op de ex-ante evaluatie van beleid.18 Deze voortgangsnotitie berust op een analyse van
het volledige Rijksbrede evaluatiestelsel.
• Het eerste beleidskader is het Integraal Afwegingskader (IAK) voor beleid en regelgeving.
Dit kader formuleert zeven vragen die helpen bij het toetsen van de kwaliteit van een
beleidsstuk of wetgeving in een vroeg stadium. 19 Bij deze vragen wordt niet gerefereerd
naar specifieke vormen van kennis. Wetenschappelijke inzichten worden in het IAK slechts
sporadisch genoemd als een mogelijke kennisbron. Maar transparantie in de
onderbouwing van beleid en wetgeving vormt een belangrijk criterium van het IAK. Als
zodanig bevordert het IAK de transparante onderbouwing van werken en beleid met
behulp van wetenschappelijke kennis. Dat laatste is een voorwaarde om te kunnen
spreken van ‘evidence-based’ of evidence-informed’ werken en -beleid (zie paragraaf
1.2.2).

16 Zie: Ministerie van Financiën. (2018). Operatie inzicht in kwaliteit. (2018-0000111694).

https://www.rijksoverheid.nl/documenten/kamerstukken/2018/07/06/kamerbrief-operatie-inzicht-in-kwaliteit.
17 Zie: Ministerie van Financiën. (2018): 3. Operatie inzicht in kwaliteit. (2018-0000111694).
https://www.rijksoverheid.nl/documenten/kamerstukken/2018/07/06/kamerbrief-operatie-inzicht-in-kwaliteit.
18 Zie: Ministerie van Financiën. (2019). Voortgangsrapportage OIIK: Bijlage 2 - Analyse evaluatiestelsel. (20190000010051). https://www.rijksoverheid.nl/documenten/kamerstukken/2019/02/04/bijlage-2-analyse-evaluatiestelsel.
19 Zie: Ministerie van Justitie en Veiligheid. (2020). Integraal afwegingskader voor beleid en regelgeving.
https://www.kcwj.nl/kennisbank/integraal-afwegingskader-voor-beleid-en-regelgeving?

16

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

•

Het tweede beleidskader is de maatschappelijke kosten-baten analyse (MKBA). Deze
analyse heeft tot doel het in kaart brengen van de effecten van een beleidsvoorstel, meer
specifiek voor de domeinen van infrastructuur en ruimtelijke planning. Romijn en Renes
betogen bij de introductie in 2013 van een algemene leidraad voor MKBA dat dit evaluatieinstrument ook kan worden ingezet op andere terreinen dan infrastructuur en ruimtelijke
planning.20 Dit benoemen zij expliciet als een stap “in de richting van op bewijs
gebaseerde (‘evidence-based’) besluitvorming.” Momenteel is de MKBA vormgegeven als
een algemene leidraad waar voor enkele beleidsterreinen specifieke MKBA-werkwijzers
aan zijn toegevoegd. Dit is echter nog niet het geval bij JenV. Recentelijk is in opdracht
van het WODC onderzoek gedaan naar de vraag of een specifieke MKBA-werkwijzer voor
JenV ook nodig is en hoe deze dan tot stand zou moeten komen. Het onderzoek beveelt
aan om een MKBA-werkwijzer voor JenV op te stellen (Koopmans, 2020).

Aanwijzingen voor de regelgeving. Naast de Comptabiliteitswet van 2016, met een relevante basis
voor beleidsmatige kaders rond ‘evidence-based’ beleidsvorming, bieden ook de “Aanwijzingen
voor de regelgeving” van 2018 een belangrijke Rijksbrede grondslag voor deze manier van
werken.21 In aanwijzing 2.3a wordt gesteld dat, alvorens wordt besloten een regeling te creëren,
er eerst “kennis wordt vergaard over de relevante feiten en omstandigheden met betrekking tot
het bewuste onderwerp.” In de toelichting bij dit artikel wordt gerefereerd naar het Integraal
Afwegingskader (IAK). In de toelichting wordt het begrip kennis overigens niet verder toegelicht
of nader gespecificeerd.
Overige kaders. Ten slotte bestaan er nog twee Rijksbrede kaders die, met enige
verbeeldingskracht, kunnen uitnodigen tot een ‘evidence-based’ beleidsvorming. In de eerste
plaats betreft dit het instrument van de publieke businesscase. Dit instrument is gericht op het in
kaart brengen van de financiële gevolgen van, onder andere, beleid.22 Daarnaast bestaan er de
interdepartementale beleidsonderzoeken (IBO’s) die zich richten op brede beleidsterreinen.23

2.1.2

Kaders ten behoeve van ex-post beleidsevaluatie

Comptabiliteitswet. In artikel 4.1.1c van de Comptabiliteitswet 2016 staat vermeld dat de ministers
verantwoordelijke zijn voor “het periodiek onderzoeken van de doeltreffendheid en
doelmatigheid van het beleid.” Artikel 4.20.2f vermeldt dat de minister van Financiën regels kan
opstellen betreffende “de voorstellen, voornemens en toezeggingen, bedoeld in artikel 3.1,
aanhef, en het periodiek onderzoeken van de doeltreffendheid en doelmatigheid van het beleid
en de bedrijfsvoering.” Er bestaat dan ook een Ministeriële Regeling van het ministerie van
Financiën, van 15 maart 2018, over de wijze waarop periodiek evaluatieonderzoek moet worden
gedaan. 24 In deze Regeling wordt evenwel kennis niet nader gespecificeerd, laat staan dat het
20 Zie: Romijn, G., & Renes, G. (2013). Algemene Leidraad voor maatschappelijke kosten-batenanalyse.

https://www.mkba-informatie.nl/mkba-voor-gevorderden/richtlijnen/algemene-leidraad-voor-maatschappelijke-kostenbatenanalyse/.
21 Zie: Aanwijzingen voor de regelgeving. (1 januari 2018). https://wetten.overheid.nl/BWBR0005730/2018-01-01.
22 Zie: Ministerie van Financiën. (2019). Voortgangsrapportage OIIK.
23 Zie: https://www.rijksoverheid.nl/onderwerpen/evaluaties-van-beleid/beleidsonderzoek.
24 Zie: Regeling periodiek evaluatieonderzoek. (15 maart 2018). 20 mei 2020
https://wetten.overheid.nl/BWBR0040754/2018-03-27 .

17

Hoofdstuk 2: Institutionele inbedding

begrip ‘evidence-based’ beleid wordt vermeld. De Algemene Rekenkamer speelt, krachtens
artikel 7.16 van de Comptabiliteitswet, een belangrijke rol bij onderzoek naar de doeltreffendheid
en de doelmatigheid van het gevoerde beleid van het Rijk. De vaststelling of
Rekenkameronderzoeken gebaseerd zijn op veronderstellingen van ‘evidence-based’ werken en beleid valt buiten het bereik van het onderhavige onderzoek.
Zoals hierboven is aangegeven draagt het ministerie van Financiën stelselverantwoordelijkheid
voor de uitvoering van de Comptabiliteitswet. Maar ook het ministerie van Justitie en Veiligheid
(JenV) draagt, vanuit dezelfde wet, verantwoordelijkheid voor de toepassing van (Rijksbrede)
evaluatie-instrumenten. Deze verantwoordelijkheid komt voort uit “de brede
verantwoordelijkheid voor de kwaliteit van wet- en regelgeving.”25 Specifiek gaat het hier om de
toetsing van het “gebruik van evaluatiebepalingen in wetten en algemene maatregelen van
bestuur.”
Aanwijzingen voor de regelgeving. Ook enkele aanwijzingen voor de regelgeving betreffen de expost evaluatie van beleid. Wanneer het wenselijk wordt geacht om een wet of de uitvoering ervan
te evalueren, wordt een evaluatiebepaling in de betreffende wet opgenomen. De juridische
grondslag voor deze evaluatiebepalingen komt voort uit aanwijzing 5.58 van de aanwijzingen
voor de regelgeving. In het algemeen geldt dat bij opname van een evaluatiebepaling binnen vijf
jaar een verslag over de doeltreffendheid en effecten van de wet door de minister naar de StatenGeneraal gestuurd dient te worden.26
Beleidskaders ten aanzien van onafhankelijkheid. Een belangrijk controlerend en evaluerend
instrument van de Tweede Kamer is onafhankelijk onderzoek. Al kan dat onderzoek een meer of
minder wetenschappelijke basis hebben, de onafhankelijkheid van het onderzoek is cruciaal voor
het goed kunnen uitoefenen van de controlerende taak van het parlement.27 Daarbij wordt
weliswaar erkend dat onafhankelijk (wetenschappelijk) onderzoek plaatsvindt in een dialoog met
de beleidspraktijk, maar dat het onderzoek zelf onafhankelijk van druk vanuit beleid en bestuur
tot stand moet komen. In 2019 is de ministeriële regeling wetenschappelijke onafhankelijkheid
WODC tot stand gekomen.28 Dit is weliswaar een specifieke regeling van het ministerie van JenV,
maar mede voortgekomen uit een door de Kamer geuite (Rijksbrede) eis dat wetenschappelijke
kennis ten behoeve van werken en beleid op onafhankelijke wijze tot stand moet komen. Dat
laatste is een voorwaarde om te kunnen spreken van ‘evidence-based’ of evidence-informed’
werken en -beleid (zie paragraaf 1.2.2).

25 Zie: Ministerie van Financiën. (2019). Voortgangsrapportage OIIK.
26 Zie bijvoorbeeld: Kenniscentrum Wetgeving en Juridische zaken. Ministerie van Justitie en Veiligheid. Aanwijzing 5.58

Evaluatiebepaling. https://www.kcwj.nl/archief/aanwijzingen-voor-de-regelgeving/hoofdstuk-5-bijzonderebestanddelen-van-regelingen/§-513-evaluatiebepaling/aanwijzing-558-evaluatiebepaling.
27 Naar aanleiding van een melding van een klokkenluider hebben drie onderzoekscommissies zich gebogen over de
vraag in hoeverre door het WODC verricht of uitgezet onderzoek ook onafhankelijk was. De commissies hanteerden
ieder een specifieke interpretatie van het begrip ‘onafhankelijk’. Rode draad is dat er geen sprake mag zijn van
‘oneigenlijke beleidsbeïnvloeding’. Zie ook het Kamerdebat van 23 januari 2018, Kamerstuk TK-42-33, pp. 1 – 33.
28 Regeling van de Minister van Justitie en Veiligheid en de Minister voor Rechtsbescherming van 25 november 2019 (nr.
2710533) betreffende de wetenschappelijke onafhankelijkheid van het Wetenschappelijk Onderzoek- en
Documentatiecentrum van het Ministerie van Justitie en Veiligheid.

18

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

2.1.3

Antwoord op de deelvraag

Antwoord op deelvraag 1a. Welke bestaande wettelijke- en beleidsmatige Rijksbrede kaders
zouden ‘evidence-based’ beleid op het gebied van JenV moeten bevorderen?
In Rijksbrede wetgeving en beleidskaders zijn zeer weinig referenties te vinden naar ‘evidencebased’ werken of -beleid. In wetgeving en beleidskaders opgesteld ter bevordering van
kennisbenutting blijft het begrip kennis ambigu.
Belangrijke aanknopingspunten voor ‘evidence-based’ werken en -beleid in Rijksbrede wetgeving
en beleidskaders vormen:
1. het Integraal Afwegingskader (IAK). Alhoewel in dit afwegingskader de status van kennis niet
is geëxpliciteerd, bevordert dit kader de systematische en transparante onderbouwing van
werken en beleid. De voorwaarde van transparantie van ‘evidence-based-’ en ‘evidenceinformed-’ werken en -beleid wordt hiermee Rijksbreed bevorderd.
1. beleidskaders die de onafhankelijkheid van wetenschappelijk opdrachtonderzoek garanderen.
De voorwaarde van onafhankelijkheid van ‘evidence-based-’ en ‘evidence-informed-’ werken
en -beleid is daarmee Rijksbreed verankerd.

2.2 Beleidskaders bij drie geselecteerde ministeries
Het ontbreken van specifieke verwijzingen naar ‘evidence-based-’ en ‘evidence-informed-’ werken
en -beleid in Rijksbrede wetgeving en beleidskaders laat onverlet dat ministeries zelfstandig
beleidskaders kunnen opstellen ter bevordering van ‘evidence-based’ werken of -beleid. In deze
paragraaf rapporteren wij dan ook over onze bevindingen ten aanzien van de deelvraag 1b van
het onderzoek: Hoe worden de concepten ‘evidence-based’ beleid en evidence-informed beleid
omschreven en nader ingevuld binnen wettelijke kaders en beleidsmatige kaders binnen het
ministerie van JenV en (enkele) andere ministeries?
Om deze deelvraag te beantwoorden, hebben wij een scan uitgevoerd van openbaar beschikbare
documenten en website-teksten van drie geselecteerde ministeries. Dit betreft het ministerie van
Justitie en Veiligheid (JenV), het ministerie van Volksgezondheid, Welzijn en Sport (VWS) en het
ministerie van Onderwijs, Cultuur en Wetenschap (OCW). Wij hebben gekozen voor deze
ministeries omdat een eerste scan op beleidsdocumenten en website-teksten liet zien dat bij deze
drie ministeries met enige, zij het geringe, frequentie het begrip “evidence-based” (of een
vergelijkbare Nederlandstalige zoekterm) als resultaat kwam bovendrijven.29
De vergelijking die wij hebben gemaakt betreft enerzijds informatie over de werkwijze van
kennisorganisaties binnen de ministeries, als indicator voor het belang dat wordt gehecht aan
‘evidence-based’ werken en -beleid, en anderzijds de inhoudelijke invulling van dit concept.

29 Deze informatie is grotendeels verzameld door middel van een scan van het internet, het documentenportaal van de

Rijksoverheid en het web-archief van de Rijksoverheid. Omdat wij zoektermen constant hebben gehouden, is het
mogelijk een enigszins vergelijkbare beschrijving te geven hoe de ministeries het concept ‘evidence-based’ beleid
invullen binnen het ministerie. De analyse blijft beperkt tot publiek toegankelijke documenten, zoals beleidsstukken en
rapporten.

19

Hoofdstuk 2: Institutionele inbedding

2.2.1

Rol en werkwijze van kennisorganisaties

In deze sub-paragraaf beschrijven wij de kennisorganisaties binnen elk van de drie geselecteerde
ministeries en hun rol met betrekking tot ‘evidence-based’ werken en -beleid. Kennisorganisaties
binnen de ministeries kennen een verscheidenheid, die in vier typen kan worden ingedeeld:
a) Directie/ kennisfunctie binnen het ministerie die zich richt op het gebruik van kennis binnen
het ministerie.
b) Brede wetenschappelijke departementale kennisorganisaties die (mede) onafhankelijk
wetenschappelijk verrichten, zoals het RIVM van het ministerie van VWS of het WODC van het
ministerie van JenV.
c) Kennisorganisaties binnen het departement (kennisinstellingen) die zich richten op een
specifiek expertisedomein.
d) Kennisorganisaties die niet direct onderdeel uitmaken van de ministeries maar die
(wetenschappelijk) onderzoek verrichten in opdracht van een ministerie.
Hieronder bespreken wij de aangetroffen kennisorganisaties kort per geselecteerd ministerie.
Ministerie van JenV. Zoals we hierboven beschreven, bestaan er op de beleidsdomeinen van
ministeries tal van kennisinstellingen, adviesorganen en inspecties. Wat betreft het ministerie van
JenV gaat het vooral om het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC).
Volgens Artikel 63h2.1 van het organisatiebesluit van het ministerie ven JenV heeft het WODC
mede de taak om evaluaties van beleid en beleidsprogramma’s uit te voeren.30 Daarnaast verricht
het WODC zelfstandig wetenschappelijk onderzoek, zet het wetenschappelijk onderzoek uit en is
het verantwoordelijk voor het vastleggen en delen van hun kennis ter ondersteuning van het
ministerie. 31 De onafhankelijkheid van het WODC is geborgd in de eerder genoemde ministeriële
regeling. Naast het WODC zijn er meer kennisinstellingen binnen het ministerie van JenV.
Hermans (2018)32 maakt hiervan inventarisatie:
• Nederlands Forensisch Instituut (NFI),
• Nederlands Instituut voor Forensische Psychiatrie en Psychologie (NIFP),
• Nederlands Studiecentrum voor Criminaliteit en Rechtshandhaving (NSCR)
• Adviescommissie voor vreemdelingenzaken (ACVZ),
• Politieacademie.
Het NFI, het NIFP, het NSCR, het ACVZ en de Politieacademie richten zich op een eigen, specifiek
omschreven taakstelling en lijken minder betrokken bij het direct aanleveren van kennis als
onderbouwing voor beleid van het ministerie. Deze instellingen kwamen niet expliciet naar voren
in een scan van het internet naar de vermelding van ‘evidence-based’ beleid bij het ministerie. Het
Nederlands Studiecentrum Criminaliteit en Rechtshandhaving (NSCR) is weliswaar actief op het
domein van Justitie en Veiligheid, maar valt formeel echter onder de Nederlandse Organisatie
voor Wetenschappelijk Onderzoek (NWO) en is derhalve formeel onafhankelijk van het ministerie

30 Zie: Organisatiebesluit Ministerie van Justitie en Veiligheid. (2017). DP&O/17/2150354, Artikel 63h2.

https://wetten.overheid.nl/BWBR0040293/2020-01-01#Hoofdstuk3.
31 Zie: Organisatiebesluit Ministerie van Justitie en Veiligheid, Artikel 63h2 C.F.R. (2017).
32 Zie: Hermans, C. (2018). Kennis als kompas -Verkenning naar de toekomstige inrichting van de kennisfunctie bij JenV.

20

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

van JenV. 33 De politieacademie heeft lectoren die onderzoek uitvoeren dat is gericht op de
praktijk. Daarvoor wordt eens in de vier jaar een strategische onderzoekagenda en
onderzoeksprogramma vastgesteld. Dit onderzoek doet de Politieacademie veelal in
samenwerking met andere onderzoeksinstellingen.34
Uit de rijksbegroting 2020 van JenV blijkt dat het ministerie recentelijk een strategische
kennisfunctie in het leven heeft geroepen. 35 Deze functie is erop gericht om wetenschappelijke
kennis te benutten en toegankelijk te maken binnen het ministerie zelf ter ondersteuning van het
beleid dat gevoerd en gemaakt wordt op het ministerie JenV. Per 1 september 2021 is een nieuwe
directie gestart bij het ministerie (Directie Innovatie, Kennis en Strategie). Dit betekent een fusie
van de Centrale Eenheid Strategie (CES) en het Innovatieteam, waaraan de nieuwe centrale
kennisfunctie is toegevoegd.36 Bij het ministerie van JenV heeft iedere beleidsdirectie een
kenniscoördinator. Kenniscoördinatoren zijn verantwoordelijk voor het verzamelen en
coördineren van aanvragen voor de WODC-programmering. Daarnaast geven zij zelf invulling aan
het coördineren van kennis binnen hun eigen Directoraat-Generaal. Er bestaat binnen het
ministerie van JenV geen formele omschrijving van de functie van kenniscoördinator. Er zijn geen
publiek toegankelijke documenten vindbaar over de functie, rol en werkwijze van de
kenniscoördinatoren. Ten slotte bestaan er diverse kennis- of adviesafdelingen binnen de
verschillende organisatieonderdelen van het ministerie die een rol spelen in het aandragen van
kennis.37
Ministerie van VWS. Het ministerie van VWS kent een aantal kennisinstellingen waarmee het
verbonden is en die een rol zouden kunnen spelen bij ‘evidence-based’ beleid. Het Rijksinstituut
voor Volksgezondheid en Milieu (RIVM) is een bij wet onafhankelijke instelling die als taak heeft
om onderzoek te verrichten gericht op de ondersteuning van beleid. 38 Het RIVM is ook de
belangrijkste kennisinstelling die wetenschappelijke kennis inbrengt in de bestrijding van
gezondheidscrises, zoals thans de coronacrisis. Het beleid en werken gericht op de
coronabestrijding kan worden getypeerd als ‘evidence-informed’. Wetenschappelijke kennis
wordt (onder hoge maatschappelijke druk) geïntegreerd met praktijkkennis en politieke
oordeelsvorming. Overigens dient te worden opgemerkt dat de wetenschappelijke kennis
onzeker is: betrokken wetenschappers laten regelmatig in de media weten het oneens te zijn
over de (interpretatie) van de resultaten van wetenschappelijk onderzoek.
Naast het RIVM, dat onder meer wetenschappelijk onderbouwde standaarden zet voor de zorg,
bestaan er diverse andere instellingen die, namens het ministerie van VWS, standaarden zetten
33 Zie: NWO-instituut NSCR: Nederlands Studiecentrum Criminaliteit en Rechtshandhaving. https://www.nwo.nl/over-

nwo/organisatie/nwo-onderdelen/nwoi/nscr
34 Zie: https://www.politieacademie.nl/kennisenonderzoek/Onderzoek/Pages/Onderzoek.aspx.
35 Zie: Rijksoverheid. (2020). Rijksbegroting, JenV nader beschouwd.
http://www.rijksbegroting.nl/2020/voorbereiding/begroting,kst264845_36.html#_49_back.
36 Zie de vacature voor een nieuwe directeur: https://securitytalent.nl/nl/vacatures/directeur-innovatie-kennis-enstrategie-bij-jenv en een adviseur kennisbenutting:
https://nederlandvacature.com/view/220497.html?utm_campaign=google_jobs_apply&utm_source=google_jobs_apply
&utm_medium=organic.
37 Zie: Organisatiebesluit Ministerie van Justitie en Veiligheid. (2017). https://wetten.overheid.nl/BWBR0040293/2020-01-01.
38 Zie: Wet op het RIVM, Artikel 3.1a C.F.R. (1996).

21

Hoofdstuk 2: Institutionele inbedding

voor de Nederlandse gezondheidszorg. Dit betreft de ZBO Zorginstituut Nederland en ZonMw.
Daarbij subsidieert ZonMw namens VWS/ NWO onafhankelijk wetenschappelijk onderzoek voor
de gezondheidszorg. 39 Daarnaast zijn er andere kennisinstituten actief op het domein van VWS,
zoals het Trimbos Instituut. Dit instituut helpt bij het zetten van standaarden en geeft ‘evidencebased’ beleidsadvies in diverse zorgdomeinen. 40 Het onderzoeksinstituut Nivel ontvangt een
instellingsbijdrage van het ministerie. Dit instituut voert veel beleidsgericht onderzoek uit
(bijvoorbeeld samen met de Inspectie Gezondheidszorg en Jeugd). 41
Ministerie van OCW. Wat betreft het ministerie van OCW zijn het TIER-instituut en het NRO de
meest prominente kennisinstellingen. Het ministerie heeft in 2008 drie universiteiten (Maastricht,
Amsterdam en Groningen) financieel gesteund42 in het opzetten van het Top Institute for
Evidence Based Education Research (TIER), welke als doel heeft het ontwikkelen van kennis
onder meer ter ondersteuning van beleid. 43 Dit instituut vloeide rechtstreeks voort uit het
rapport “Naar meer evidence based onderwijs” van de onderwijsraad.44 Het Nederlands
Regieorgaan Onderwijsonderzoek (NRO) richt zich op onderwijsverbetering en -vernieuwing door
middel van het subsidiëren van onderzoek en het (helpen) vertalen van wetenschappelijk
onderzoek naar de onderwijspraktijk. 45 Dit orgaan is een onderdeel van wetenschapsfinancier
NWO en werkt in opdracht van het ministerie van OCW. Zoals hierboven al opgemerkt, heeft de
Onderwijsraad in 2006 opgeroepen tot een meer ‘evidence-based’ onderbouwd onderwijsbeleid.
Naast de instituten en instellingen die hierboven zijn vermeld, verwijst het ministerie van OCW
ook expliciet naar de eigen directie Kennis binnen het ministerie. Deze directie heeft specifiek tot
doel ondersteuning te bieden bij het maken van beleid door het leveren van kennis. 46

2.2.2

Omschrijving van ‘evidence-based’ werken en -beleid

Er zijn bij alle drie geselecteerde ministeries slechts een zeer beperkt aantal openbare
documenten te vinden (rapporten, kamerbrieven of antwoorden op Kamervragen) waarin
termen zoals “evidence-based” of “wetenschappelijke onderbouwing” voorkomen. Hoe
‘evidence’ precies wordt omschreven, verschilt soms per document. We bespreken de resultaten
van onze scan hieronder per ministerie.

39 Zie: ZonMw. Over ZonMw. https://www.zonmw.nl/nl/over-zonmw/.
40 Zie: Trimbos instituut. Centrum voor Kwaliteitsstandaarden. https://www.trimbos.nl/aanbod/diensten/centrum-voor-

kwaliteitsstandaarden.
41 Zie: Nivel. Onderzoeksinstituut Nivel. https://nivel.nl/nl/onderzoeksinstituut-nivel.
42 Zie: Ministerie van Onderwijs, Cultuur en Wetenschap. (2008). Vaststelling begroting Ministerie van Onderwijs,
Cultuur en Wetenschap (VIII) voor het jaar 2008 31200 VIII 192 Verslag van een schriftelijk overleg.
http://www.rijksbegroting.nl/2008/kamerstukken,2008/6/19/kst119643.html.
43 Zie: TIER. About TIER. http://www.tierweb.nl/tier/about-tier/.
44 Zie: Onderwijsraad. (2006). Naar meer evidence-based onderwijs. https://zoek.officielebekendmakingen.nl/kst30300-VIII-177-b1.pdf. Op het moment van schrijven van het onderhavige rapport lijkt het TIER-instituut echter niet meer
gelieerd aan het ministerie, behalve in een vermelding door TIER zelf dat de verwachting wordt uitgesproken dat kennis
ook gebruikt zal worden door het ministerie.
45 Zie: NRO. Taken en activiteiten van het NRO. https://www.nro.nl/nro/.
46 Zie: Ministerie van Onderwijs, Cultuur en Wetenschap. (2017). Introductiedossier Ministerie van Onderwijs, Cultuur en
Wetenschap. https://www.rijksoverheid.nl/documenten/publicaties/2017/10/26/introductiedossier-ministerie-vanonderwijs-cultuur-en-wetenschap.

22

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Ministerie van JenV. In het informatieplan JenV 2019 staat vermeld dat ‘evidence-based’ hetzelfde
is als ‘fact-based’ of ‘informatie- gestuurd’ werken. 47 Daarnaast wordt in dit plan de ambitie
geformuleerd om meer informatie-gebaseerd te werken. Er wordt toegelicht welke
organisatieonderdelen zich hierop zouden moeten richten: “Veel organisatieonderdelen zetten in
hun hoofdlijnennotities in op meer fact-based en data gedreven werken (DFEZ, CJIB, Justid, Justis
en Raad voor de Rechtsbijstand), evidence based werken (DGZ) of informatie gestuurd werken
(DJI en Politie).”48. Zo wordt in het document de aanbeveling geformuleerd dat “de omslag naar
informatie-gestuurd werken (…) van breed belang [is] voor JenV en (…) een geschikt thema
[lijkt] om nog meer strategische en overkoepelende aandacht c.q. uitwerking aan te geven, om zo
meer synergie te bereiken en concreet samen te werken (ketenbreed, ketenoverschrijdend, of
JenV breed).”49
Het ministerie van JenV heeft enkele specifiekere programma’s of interventies die rond ‘evidencebased’ werken zijn gebouwd. Een daarvan is de samen met het ministerie van Sociale Zaken en
Werkgelegenheid ontwikkelde toolkit ‘evidence-based werken preventie radicalisering’. Doel van
deze toolkit is om effectieve interventies op te zetten, onder andere gebaseerd op
wetenschappelijke kennis.50
Opmerkelijk genoeg wordt de term ‘evidence-based’ of ‘evidence-informed’ niet veelvuldig
gebruikt in de context van WODC-onderzoek. Het WODC-onderzoek “Evidence based interventies
tijdens detentie” refereert hier expliciet aan en daarnaast kan ook een recent onderzoek naar
“what works” hieronder worden geschaard.51 Daarnaast is in de WODC midterm review van 2021
de kwaliteit van rapporten geëvalueerd op het criterium “het rapport draagt bij aan het Evidence
informed werken op JenV.”52
Het wordt evenwel niet duidelijk wat binnen het ministerie precies wordt verstaan onder
informatie bij informatie-gestuurd werken. In de gegeven voorbeelden, waarmee specifieke
organisatieonderdelen aan de slag moeten gaan, lijkt het alsof elk onderdeel een eigen definitie
hanteert. Zo wil het WODC zich richten op ‘big data analytics’, terwijl het Directoraat-Generaal
Migratie zich richt op de “implementatie en doorontwikkeling van een real-time online
vreemdelingenbeleid”.53
Ministerie van VWS. Het ministerie van VWS en verschillende gelieerde instellingen vermelden
‘evidence-based’ beleid in een actieplan over de zorg voor kwetsbare jongeren. ‘Evidence-based’
wordt in dit plan als volgt gedefinieerd: “gebruikmaken van bestaande kennis over wat werkt om
47 Zie: Directie Informatievoorziening en Inkoop. Informatieplan JenV 2019. Ministerie van Justitie en Veiligheid.

https://www.rijksoverheid.nl/documenten/publicaties/2016/07/08/de-informatiestrategie-2017-2022-van-het-ministerievan-veiligheid-en-justitie-informatie-raakt-mensen;
48 Zie: Directie Informatievoorziening en Inkoop. Informatieplan JenV 2019: 4.
49 Zie: Directie Informatievoorziening en Inkoop. Informatieplan JenV 2019: 4.
50 Zie: Expertise-unit Social Stabiliteit. Toolkit Evidence Based Werken Preventie Radicalisering. Retrieved from
https://www.socialestabiliteit.nl/si-toolkit/meer-over-toolkit-evidence-based-werken.
51 Zie: https://repository.wodc.nl/handle/20.500.12832/3067 en https://repository.wodc.nl/handle/20.500.12832/1257.
52 Zie: https://www.wodc.nl/binaries/wodc/documenten/publicaties/2021/06/17/midterm-review-kwaliteit-wodcrapporten-2016-2020/Midterm+review+kwaliteit+WODC-rapporten+januari+2016-september+2020.pdf;
53 Zie: Directie Informatievoorziening en Inkoop. Informatieplan JenV 2019: 4.

23

Hoofdstuk 2: Institutionele inbedding

het leven van kinderen, jongeren en hun opvoeders te verbeteren.” 54 Deze definitie is zo breed
dat haast alle vormen van kennis deel kunnen uitmaken van de evidentie. Naast het actieplan
heeft het ministerie van VWS enkele programma’s opgesteld om de wetenschappelijke
onderbouwing in bepaalde gebieden van de zorg te versterken, zoals het programma ‘Tussen
Weten en Doen II’. 55 Opmerkelijk is dat het begrip ‘evidence-based’ werken, alhoewel
oorspronkelijk voortgekomen uit ‘evidence-based medicine’, niet expliciet aan de orde komt in
openbaar doorzoekbare beleidsdocumenten van het ministerie van VWS.
Ministerie van OCW. Het ministerie van OCW heeft een Directie Kennis die, zoals blijkt uit het
Introductiedossier Ministerie van OCW “[k]ennis verzamelt en de inzichten [verspreidt] over
ontwikkelingen en effectief beleid uit de nationale en internationale literatuur op de terreinen van
onderwijs, cultuur en wetenschap.”56. Daarnaast onderhoudt het ministerie nauwe banden met
diverse experts, onderzoeks- en kennisinstellingen. De Argumentenfabriek heeft, in opdracht van
het ministerie van OCW, in kaart gebracht wat ‘evidence-based’ beleid is, gebaseerd op
literatuuronderzoek en gesprekken met ambtenaren van het ministerie. De Argumentenfabriek
komt tot de definitie van ‘evidence-based’ beleid als “beleid dat zich bij de beschrijving van het
beleidsprobleem en de oplossing zoveel mogelijk baseert op wetenschappelijke kennis; én EBB is
beleid waarvan de (verwachte) effecten zo wetenschappelijk mogelijk kunnen worden
aangetoond.”57
Op het beleidsterrein van het ministerie van OCW zijn twee substantiële rapporten beschikbaar
die expliciet over ‘evidence-based’ beleid gaan. Het eerste rapport betreft het genoemde
adviesrapport van de onderwijsraad uit 2006, met als titel “Naar meer evidence-based
onderwijs”.58 Dit rapport beantwoordt de vragen: (a) hoe en waar het onderwijs aan effectiviteit
kan winnen met een evidence-based benadering en (b) hoe de benutting van wetenschappelijke
kennis kan worden bevorderd in het onderwijs. In reactie op dit rapport heeft de minister van
OCW onder meer toegezegd “het onderwijs maar ook het onderwijsbeleid van een stevige
kennisbasis te voorzien” waarbij al diverse acties zijn ondernomen, zoals het opzetten van
educatieve masteropleidingen en het opzetten van lectoraten met als doel de kloof tussen het
onderwijs en het onderwijsonderzoek te verkleinen.59

54 Zie: De best passende zorg voor kwetsbare jongeren. (2019): 9.

https://www.rijksoverheid.nl/documenten/rapporten/2019/03/25/de-best-passende-zorg-voor-kwetsbare-jongeren.
55 Zie: Ministerie van Volksgezondheid, Welzijn en Sport. (2019). Eindevaluatie ZonMw programma Tussen, Weten en
Doen II. https://www.rijksoverheid.nl/documenten/kamerstukken/2019/12/16/kamerbrief-over-eindevaluatie-tussenweten-en-doen-ii.
56 Zie: Ministerie van Onderwijs, Cultuur en Wetenschap. (2017): 53. Introductiedossier Ministerie van Onderwijs, Cultuur
en Wetenschap.
https://www.rijksoverheid.nl/binaries/rijksoverheid/documenten/publicaties/2017/10/26/introductiedossier-ministerievan-onderwijs-cultuur-en-wetenschap/Introductiedossier+Ministerie+van+OCW.pdf.
57 Zie: De Argumentenfabriek. (2010). Definitiekaart evidence based beleid.
https://www.argumentenfabriek.nl/nl/definitiekaart-evidence-based-beleid.
58 Zie: Onderwijsraad. (2006). Naar meer evidence-based onderwijs. https://zoek.officielebekendmakingen.nl/kst-30300VIII-177-b1.pdf.
59 Zie: Ministerie van Onderwijs, Cultuur en Wetenschap. (2008). Vaststelling begroting Ministerie van Onderwijs,
Cultuur en Wetenschap (VIII) voor het jaar 2008 31200 VIII 192 Verslag van een schriftelijk overleg.
http://www.rijksbegroting.nl/2008/kamerstukken,2008/6/19/kst119643.html.

24

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Het tweede rapport betreft het Parlementair onderzoek onderwijsvernieuwingen. 60 Deze
commissie heeft een toetsingskader geformuleerd met twee relevante aspecten voor ‘evidencebased’ werken en -beleid. Het eerste aspect is dat probleemanalyses en gekozen beleidsopties
wetenschappelijk onderbouwd zouden moeten zijn. Het tweede aspect betreft de aanbeveling
om meer te investeren in het verspreiden van gevalideerde kennis.

2.2.3

Antwoord op de deelvraag

Antwoord op deelvraag 1b. Hoe worden de concepten ‘evidence-based’ beleid en ‘evidenceinformed’ beleid omschreven en nader ingevuld binnen wettelijke kaders en beleidsmatige kaders
binnen het ministerie van JenV en (enkele) andere ministeries?
Openbaar beschikbare documenten van drie geselecteerde ministeries (VWS, JenV en OCW) laten
zien dat:
1.
de term ‘evidence’ (of varianten hierop) zeer spaarzaam worden gebruikt.
2.
een grote verscheidenheid bestaat wat betreft de invulling van het begrip ‘evidence’
binnen een ministerie en tussen de ministeries. Meestal blijft het bij het benoemen dat
‘evidence-based’ werken en -beleid belangrijk zijn.
3.
elk ministerie verschillende typen van kennisorganisaties kent, waarbij geen
(samenhangende) kennisinfrastructuur is geëxpliciteerd.

2.3 Organisatiecultuur als informele institutie
In de inleiding beschreven wij dat instituties breder zijn dan alleen formele wettelijke- en
beleidsmatige kaders. Het begrip ‘institutie’ omvat ook gedeelde normen. Formele instituties
(besproken in deelvragen 1a en 1b) die ‘evidence-based’ werken en -beleid bevorderen, kunnen
doorwerken in een bevorderende organisatiecultuur van afdelingen binnen het ministerie van
JenV. De organisatiecultuur komt aan de orde in onze beantwoording van deelvraag 1c: Welke
bevorderende/ belemmerende organisatiecultuur treffen wij aan binnen het ministerie van JenV ten
aanzien van ‘evidence-based’ werken en -beleid? Wij beantwoorden deze vraag hier aan de hand
van de resultaten van de uitgezette enquête.61
Om inzicht te krijgen in de organisatiecultuur ten aanzien van ‘evidence-based’ werken en -beleid
hebben wij een aantal vragen opgenomen in de enquête. Deze enquête hebben wij afgenomen
onder: (1) medewerkers van de departementale beleidsdirecties van JenV, (2) het hoofdkantoor
van een uitvoerende organisatie van JenV, en (3) een kennisorganisatie van de betreffende
uitvoerende organisatie. Hieronder bespreken wij de resultaten voor ieder van deze organisaties.

60 Zie: Commissie Parlementair Onderzoek Onderwijsvernieuwingen. (2008). Parlementair Onderzoek

Onderwijsvernieuwingen. https://www.parlement.com/9291000/d/tk31007_6.pdf.
61 In hoofdstuk 5 komt organisatiecultuur ook aan de orde vanuit de interviews die zijn gehouden ten behoeve van de
casestudies en als verklarende variabele voor het benutten van verschillende typen van kennis binnen het ministerie
van JenV.

25

Hoofdstuk 2: Institutionele inbedding

2.3.1

Medewerkers van de beleidsdirecties

In de enquête is aan respondenten gevraagd om hun mate van instemming aan te geven met een
aantal stellingen die een indicatie vormen voor een afdelingspraktijk/ afdelingscultuur die
‘evidence-based’ werken en -beleid zou bevorderen of belemmeren.62 Iedere stelling heeft een
gesloten antwoordcategorie (vijfpuntschaal van ‘helemaal oneens’ tot ‘helemaal eens’ en
daarnaast de antwoordmogelijkheid ‘weet niet/ niet van toepassing’). De uitkomsten van de
enquête onder de medewerkers van de beleidsdirecties van het ministerie van JenV staan
vermeld in tabel 2.1. Wij hebben de stellingen in tabel 2.1 gerangschikt van meeste instemming
(categorieën “eens” en “helemaal eens”) naar minste instemming.
Tabel 2.1: Scores op stellingen over de afdelingscultuur ten aanzien van ‘evidence-based’ werken en beleid bij medewerkers van de beleidsdirecties van JenV (in %) N=272
Op mijn afdeling:

1

2

3

4

5

6

m

sd

7

Heb ik te weinig tijd om mij te verdiepen in
wetenschappelijk onderzoek

1

14

18

42

20

4

3,68 1,01

26

Wordt het gebruik van wetenschappelijke
kennis aangemoedigd

4

17

27

36

12

4

3,36 1,04

26

Is men bekend met de eisen uit het Integrale
Afwegingskader (IAK) of Comptabiliteitswet

8

27

18

23

9

15

2,98 1,19

26

Wordt het aangemoedigd om zelf
wetenschappelijk onderzoek te doen

15

42

20

11

4

7

2,43 1,05

26

Is het gebruik van wetenschappelijke kennis
vaak symbolisch

9

43

26

12

2

8

2,50 0,92

26

Kan ik collega's niet overtuigen om
wetenschappelijke kennisbronnen te
raadplegen

9

42

19

10

1

18

2,42 0,90

26

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5);
Weet niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

•

De belangrijkste belemmering binnen de afdelingscultuur op de beleidsdirecties is de
weinig beschikbare tijd om zich te verdiepen in de resultaten van wetenschappelijk
onderzoek.63 Tabel 2.1 laat allereerst zien dat een ruime meerderheid van de
beleidsambtenaren van het ministerie aangeeft te weinig tijd te hebben om zich te
verdiepen in wetenschappelijk onderzoek (62%).

62 De vragen zijn ontleend aan het onderzoek van Cherney et al. (2015) maar aangepast en aangevuld ten behoeve van

de context van JenV. Cherney et al (2015) spreken van een bevorderende afdelingscultuur. Strikt genomen bevat het
meetinstrument items die zowel een weerslag kunnen zijn van cultureel bepaalde normen als van gangbare
afdelingspraktijken. Alhoewel wij het begrip “afdelingscultuur” hanteren, afgeleid van Cherney et al. (2015), kan dus
ook worden gesproken van “gangbare afdelingspraktijken die bevorderend of belemmerend werken ten aanzien van
‘evidence-based’ werken en -beleid.”
63 Meer precies: uit het percentage van 62% dat aangeeft het (helemaal) eens te zijn met de stelling “te weinig tijd te
hebben zich te verdiepen in wetenschappelijk onderzoek” leiden wij af dat tijd als belemmerende factor door de
respondenten onderschreven wordt.

26

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

•

•

•

Los van de weinig beschikbare tijd om er iets mee te doen, wordt wetenschappelijke
kennis wel degelijk belangrijk gevonden. De helft (48%) van de beleidsambtenaren vindt
dat het gebruik van wetenschappelijke kennis op hun afdeling wordt aangemoedigd.
Slechts heel weinig beleidsambtenaren ondervindt weerstand bij hun collega’s op de
afdeling om wetenschappelijke kennisbronnen te raadplegen (11%).
Systematiek wordt aangemoedigd en symboliek ontmoedigd bij afdelingen met een
bevorderende organisatiecultuur. Een derde van de beleidsambtenaren (32%) is bekend
met het Integraal Afwegingskader dat de systematische en transparante onderbouwing
van beleid vanuit kennis zou moeten bevorderen. Interessant is dat vrijwel niemand van
de beleidsambtenaren vindt dat binnen hun afdeling het gebruik van wetenschappelijke
kennis vaak symbolisch is. Terwijl slechts 14% van de beleidsambtenaren met deze stelling
instemt, is ruim de helft (52%) het hiermee (hartgrondig) oneens.
Zelf onderzoek doen wordt niet aangemoedigd. Slechts zeer weinig beleidsambtenaren
(15%) geven aan aangemoedigd te worden om zelf onderzoek te verrichten. Een grote
meerderheid (57%) rapporteert hierin niet aangemoedigd te worden.

Aangezien wij redelijk veel antwoorden hebben verkregen (n = 202), is het interessant om te
onderzoeken of de stellingen onderling een sterke schaal vormen. Bestaan er verschillende
dimensies van afdelingscultuur, of hangen de antwoorden op de stellingen met elkaar samen? Dit
laatste blijkt het geval te zijn. De verschillende stellingen vormen tezamen een redelijk
consistente meting van één onderliggende schaal van “bevorderende afdelingscultuur”
(Cronbach’s α = .69).64 Dit betekent dat gangbare normen en praktijken binnen de afdeling ten
aanzien van ‘evidence-based’ werken en -beleid met elkaar samenhangen. Interessant daarbij is
dat de stelling “bekendheid met het IAK” goed schaalbaar is met de andere stellingen. Inhoudelijk
betekent dit dat bekendheid op de afdeling met het Rijksbrede beleidskader van het IAK kan
worden gezien als een uitdrukking van een organisatiecultuur die ‘evidence-based’ werken en beleid bevordert. Er is dus sprake van doorwerking van dit formele institutionele kader in de
informele organisatiecultuur binnen het ministerie.

2.3.2

Medewerkers hoofdkantoor uitvoerende organisatie

De uitkomsten van de vraag over de afdelingscultuur onder medewerkers van het hoofdkantoor
van een uitvoerende organisatie van JenV staan vermeld in tabel 2.2. Ook nu hebben wij de
stellingen gerangschikt van meeste instemming (“eens” en “helemaal eens”) naar minste
instemming. De antwoorden van de medewerkers van het hoofdkantoor van de uitvoerende
organisatie laat zowel enkele interessante overeenkomsten als verschillen zien in vergelijking met
de beleidsdirecties.
• Ook bij medewerkers van de uitvoerende organisatie vormt de weinig beschikbare tijd om
de resultaten van wetenschappelijk onderzoek tot zich te nemen de belangrijkste
64 Wij rapporteren Cronbach’s alpha om de sterkte van de schaal binnen de groep respondenten aan te duiden.

Daarnaast hebben wij factoranalyses verricht op iedere vraag van de enquête. Die leiden tot dezelfde resultaten binnen
de groepen respondenten. Om de interpreteerbaarheid van de schalen te vergroten, maken wij gebruik van somscores
en niet van factorscores.

27

Hoofdstuk 2: Institutionele inbedding

•

•

•

belemmering. Ook hier geeft een ruime meerderheid van de respondenten aan te weinig
tijd te hebben om zich te verdiepen in wetenschappelijk onderzoek (54%).
Ook bij medewerkers van de uitvoerende organisatie wordt gerapporteerd dat binnen de
afdeling wetenschappelijke kennis wel degelijk belangrijk wordt gevonden. Een groot deel
(44%) van de medewerkers vindt dat het gebruik van wetenschappelijke kennis op hun
afdeling wordt aangemoedigd. Ook hier rapporteren slechts heel weinig medewerkers
dat zij weerstand ondervinden bij hun collega’s op de afdeling om wetenschappelijke
kennisbronnen te raadplegen (10%).
Minder bekendheid met het IAK en hogere score op symboliek. Waar een derde van de
beleidsambtenaren aangeeft bekend te zijn met het Integraal Afwegingskader (IAK) is dat
slechts een vijfde van de medewerkers van het hoofdkantoor van de uitvoerende
organisatie (22%). Opvallend is dat veel meer dan bij de beleidsdirecties, medewerkers van
de uitvoerende organisatie vinden dat binnen hun afdeling het gebruik van
wetenschappelijke kennis vaak symbolisch is (27%). Tegelijkertijd zijn minder medewerkers
van de uitvoerende organisatie (40%) het (hartgrondig) oneens met deze stelling. Dit
vinden wij een opvallend verschil.
Zelf onderzoek doen wordt niet aangemoedigd. Binnen de afdelingen van de uitvoerende
organisatie wordt zelf onderzoek doen minder aangemoedigd dan binnen de
beleidsdirecties. Ook hier geven slechts zeer weinig medewerkers (11%) aan
aangemoedigd te worden om zelf onderzoek te verrichten. Maar liefst 71% van de
respondenten rapporteert het (volstrekt) oneens te zijn met de stelling ‘aangemoedigd te
worden om zelf onderzoek te doen’.

Tabel 2.2: Scores op stellingen over de afdelingscultuur ten aanzien van ‘evidence-based’ werken en beleid bij medewerkers van het hoofdkantoor van een uitvoerende organisatie van JenV (in %) N=46
Op mijn afdeling:

1

2

3

4

5

6

m

sd

7

Heb ik te weinig tijd om mij te verdiepen in
wetenschappelijk onderzoek

8

16

19

46

8

3

3,31

1,12

20

35

22

30

14

3,22

1,08

20

Wordt het gebruik van wetenschappelijke
kennis aangemoedigd
Is het gebruik van wetenschappelijke kennis
vaak symbolisch

5

35

27

27

5

2,8

0,93

20

Is men bekend met de eisen uit het Integrale
Afwegingskader (IAK) of Comptabiliteitswet

14

41

14

22

11

2,48

1,03

20

Wordt het aangemoedigd om zelf
wetenschappelijk onderzoek te doen

22

49

16

11

3

2,17

0,91

20

Kan ik collega’s niet overtuigen om
wetenschappelijke kennisbronnen te
raadplegen

3

30

38

5

19

2,77 0,90

20

5

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

28

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

2.3.3

Medewerkers kennisorganisatie

De uitkomsten van de vraag over de afdelingscultuur onder medewerkers van de
kennisorganisatie binnen het ministerie van JenV staan vermeld in tabel 2.3. Ook nu hebben wij de
stellingen gerangschikt van meeste instemming (“eens” en “helemaal eens”) naar minste
instemming. Hieronder bespreken wij de antwoorden van de medewerkers van deze
kennisorganisatie in vergelijking met die van de beleidsdirecties en het hoofdkantoor. Wederom
zijn er interessante overeenkomsten en verschillen te zien. Deze houden, vanzelfsprekend,
verband met de missie en doelstellingen van de kennis-organisatie ten behoeve van de
ontwikkeling en het delen van specialistische expertise. Gezien het geringe aantal respondenten
(kleine n) moeten we zeer voorzichtig zijn met het generaliseren van de onderstaande
bevindingen.
• Opvallend is dat relatief veel medewerkers van de kennisorganisatie aangeven te weinig
tijd te hebben om zich te verdiepen in wetenschappelijk onderzoek (58%). Binnen de
afdelingscultuur van de kennisorganisatie wordt er weinig beschikbare tijd ervaren om zich
te verdiepen in de resultaten van wetenschappelijk onderzoek. Dit percentage is groter
dan bij de medewerkers van het hoofdkantoor en vergelijkbaar met dat van de
beleidsdirecties.
• Daarnaast is opvallend dat weliswaar 53% van de medewerkers van de kennisorganisatie
aangeeft dat het gebruik van wetenschappelijke kennis wordt aangemoedigd, maar dat
37% hier neutraal tegenover staat of het er mee oneens is. Het geeft aan dat binnen de
cultuur van de kennisorganisatie wetenschappelijke kennis zeker niet het primaat heeft.
Ook zeer weinig medewerkers van de kennisorganisatie rapporteren weerstand bij
collega’s op de afdeling om wetenschappelijke kennisbronnen te raadplegen (10%).
• Onbekendheid met het IAK en hoge score op symboliek. Het is evident dat minder
medewerkers van de kennisorganisatie van het ministerie bekend zijn met het Integraal
afwegingskader (10%). Voor hun werk speelt dat kader immers geen (belangrijke) rol.
Opvallend is dat een behoorlijk aantal medewerkers van de kennisorganisatie vindt dat
binnen hun afdeling het gebruik van wetenschappelijke kennis vaak symbolisch is (21%).
Tegelijkertijd zijn veel medewerkers van de kennisorganisatie (63%) het (hartgrondig)
oneens met deze stelling. Dit reflecteert de missie en doelstellingen van de
kennisorganisatie als een centrum voor het ontwikkelen en delen van expertise.
• Zelf onderzoek doen wordt aangemoedigd. De aard van de werkzaamheden van de
kennisorganisatie weerspiegelt ook de antwoorden van de respondenten op de stelling of
zij worden aangemoedigd om zelf onderzoek te doen. 37% van de medewerkers geeft aan
hiertoe te worden aangemoedigd. Dit ligt, zoals we eerder zagen, fundamenteel anders
bij de beleidsdirecties en het hoofdkantoor van de uitvoerende organisatie, waar relatief
veel medewerkers aangaven niet aangemoedigd te worden om zelf onderzoek te doen.

29

Hoofdstuk 2: Institutionele inbedding

Tabel 2.3: Scores op stellingen betreffende de afdelingscultuur ten aanzien van ‘evidence-based’ werken
en -beleid bij medewerkers van een kennis-organisatie van de uitvoerende organisatie van JenV (in %) N=22
Op mijn afdeling:

2

3

4

5

Heb ik te weinig tijd om mij te verdiepen in
wetenschappelijk onderzoek

26

16

42

16

Wordt het gebruik van wetenschappelijke
kennis aangemoedigd

5

32

53

58

11

21

37

26

5

Is het gebruik van wetenschappelijke kennis
vaak symbolisch

1

5

Is men bekend met de eisen uit het Integrale
Afwegingskader (IAK) of Comptabiliteitswet
Kan ik collega's niet overtuigen om
wetenschappelijke kennisbronnen te
raadplegen

11

53

21

5

Wordt het aangemoedigd om zelf
wetenschappelijk onderzoek te doen

11

16

32

37

6

m

sd

7

3,47

1,07

14

11

3,53

0,62

14

5

2,5

0,92

14

5

26

1,79

1,12

14

5

5

2,39 0,98

14

5

3

14

1,03

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

2.4 Antwoord op de deelvraag
Antwoord op deelvraag 1c. Hoe ziet de afdelingscultuur ten aanzien van ‘evidence-based’ werken
en -beleid eruit op het ministerie van JenV?
De enquêtes onder medewerkers van de beleidsdirecties, het hoofdkantoor van een uitvoerende
organisatie en een kennisorganisatie binnen het ministerie van JenV laten het volgende beeld zien
van de afdelingscultuur:
1.

2.

30

Een ruime meerderheid van de medewerkers rapporteert dat binnen hun afdeling te
weinig tijd beschikbaar is om zich te verdiepen in de resultaten van wetenschappelijk
onderzoek. Hierin bestaan geen grote verschillen tussen beleidsdirecties, het
hoofdkantoor van een uitvoerende organisatie en een kennisorganisatie van het
ministerie van JenV. Opvallend is dat ook binnen de kennisorganisatie dit tijdgebrek sterk
wordt ervaren.
Daar staat tegenover dat binnen de onderzochte organisaties een afdelingscultuur wordt
gerapporteerd die het gebruik van wetenschappelijk onderzoek vaak aanmoedigt. Rond
de helft van de respondenten geeft dit aan. Ook hier is het opvallend dat binnen de
kennisorganisatie (slechts) de helft van de respondenten zich aangemoedigd voelt om
wetenschappelijke kennis te gebruiken. In geen van de onderzochte organisaties ervaren
medewerkers een belemmering om intercollegiaal het raadplegen van wetenschappelijke
bronnen te stimuleren.

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

3.

4.

5.

Als we van de beleidsdirecties onze aandacht verschuiven naar meer uitvoerende
organisaties, neemt de kennis af bij medewerkers over vereisten uit de Comptabiliteitswet
of het Integraal Afwegingskader. Doorwerking van het Rijksbrede kader vindt
voornamelijk bij de beleidsdirecties plaats, waar een derde van de beleidsambtenaren
aangeeft bekend te zijn met deze eisen. Dit percentage daalt tot een vijfde van de
medewerkers van het hoofdkantoor van de uitvoerende organisatie en tot een tiende van
de medewerkers van de kennisorganisatie.
In alle drie enquêtes geven veel respondenten aan het (hartgrondig) oneens te zijn met
de stelling dat binnen hun afdeling het symbolisch gebruik van wetenschappelijke kennis
wordt bevorderd. Er lijkt sprake van enige verdeeldheid hierover buiten de
beleidsdirecties. Instemming met deze stelling is namelijk groter bij de uitvoerende
organisatie en de kennisorganisatie (27-21% instemming) dan bij de beleidsdirecties (14%
instemming).
Bij de beleidsdirecties en het hoofdkantoor van de uitvoerende organisatie wordt het zelf
doen van onderzoek niet aangemoedigd. Bij de kennisorganisatie wordt het zelf doen van
onderzoek wel aangemoedigd.

31

Hoofdstuk 2: Institutionele inbedding

32

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

3 Wat is ‘evidence-based’ werken en -beleid?
In dit hoofdstuk gaan wij in op de tweede deelvraag van ons onderzoek: Wat wordt in de praktijk
binnen het ministerie van JenV verstaan onder ‘evidence-based’ werken en -beleid? De opbouw van
het hoofdstuk is als volgt. Eerst gaan wij in op de vraag wat in de beleidswetenschappelijke literatuur
onder ‘evidence-based’ werken en -beleid wordt verstaan. Vervolgens onderbouwen wij onze
definitie van ‘evidence-based’ werken en -beleid ten behoeve van in dit onderzoek. Daarna
beschrijven wij hoe binnen het ministerie van JenV 'evidence-based’ werken en -beleid wordt
gepercipieerd. Dit laatste gebeurt op basis van enerzijds de uitkomsten van de enquêtes en
anderzijds de interviews die zijn gehouden met beleidsambtenaren van verschillende
organisatieonderdelen en professionals van uitvoerende instanties.

3.1 Het streven naar ‘evidence-based’ beleid
In onze kennisintensieve samenleving verwachten we dat beleidskeuzen en wetgeving goed
geïnformeerd en systematisch onderbouwd zijn (bijv. Radaelli 1995; Faasse et al. 2020, p. 6;
Veerman, 2021). Over tal van onderwerpen is immers zeer veel informatie en kennis voorhanden.
Die kennis en informatie zouden idealiter moeten worden benut bij het ontwerpen, bepalen en
uitvoeren van beleidsmaatregelen. In veel wetenschappelijke publicaties wordt dan ook een
oproep gedaan aan beleidsmakers en uitvoerders om (meer) gebruik te maken van de best
beschikbare kennis (bijv. Jennings en Hall 2012). Beleid zou ‘evidence-based’ moeten zijn,
simpelweg omdat “evidence matters for public policy making” (Parkhurst 2016).
Niet alleen wetenschappers wijzen op de waarde die ‘evidence’ heeft voor de beleidsvoering, ook
beleidsmakers doen dit. “Evidence-based policy making is at the heart of being a reformist
government”, aldus de Australische minister-president Rudd in 2008. In de Nederlandse
wetenschapsvisie 2025 van het ministerie van OCW valt te lezen dat “voor de rijksoverheid is het
van belang om beleid te kunnen ontwikkelen op basis van state-of-the-art wetenschappelijke
kennis” (p. 54). Ook bij het ministerie van JenV wordt het belang van het gebruik van
wetenschappelijke kennis in de beleidsvoering onderkend. Het meerjarenprogramma ‘JenV
Verandert’ beoogt stappen te zetten naar het versterken van de kennisfunctie binnen het
departement.
Er zijn maar weinig wetenschappers en beleidsmakers die zich distantiëren van het idee dat
‘evidence-based’ beleid nastrevenswaardig is (Oliver et al. 2014, p. 1). “It is difficult to imagine
anyone arguing that policy should be based on anything but the best available evidence”
(Marston en Watts 2003, p. 144). Het wetenschappelijk onderbouwen van beleid is, naast het
verhogen van de kwaliteit van beleid, ook een algemeen recept geworden voor het vergroten van
transparantie, verantwoording en goed bestuur (Strassheim en Kettunen 2014).

33

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

De waardering voor, en het geloof in, het gebruik van wetenschappelijke kennis in beleid berust
op verschillende gronden.
• De eerste reden is dat het vertrouwen in de wetenschap groot is (Rathenau Instituut
2021). Op de wetenschap kun je bouwen. De spelregels van de wetenschap leiden tot
uitkomsten van onderzoek die gewicht hebben en doorgaans serieus worden genomen.
Bewijs verkregen via de wetenschappelijke methode wordt gezien als ‘hard bewijs’ en het
is voor beleidsmakers en uitvoerders zinvol om hier hun voordeel mee te doen.
• De tweede reden is de perceptie dat het gebruik van wetenschappelijke kennis in beleid
leidt tot betere beleidsprestaties (bijv. Parkhurst 2016; Newman 2017; van Hoesel en
Herold 2018). Als onderzoek uitwijst dat iets wel of niet werkt, dan kan die kennis in het
beleid worden meegenomen zodat de kans van slagen wordt vergroot en de kans op
falen wordt verkleind.
• De derde reden is dat het gebruik van kennis in beleid een legitimerende functie kan
hebben, vanuit de waarde die doorgaans aan wetenschappelijke kennis wordt gehecht
(bijv. Smet 2013). Het kan helpen om anderen voor beleid te winnen door te wijzen op het
gebruik van wetenschappelijke kennis (beleidsacceptatie). Het gebruik van
wetenschappelijke kennis, geeft de indruk dat het beleid goed is doordacht en berust op
een stevig kennisfundament, waardoor het aan overtuigingskracht wint.
• De vierde reden om te streven naar het gebruik van wetenschappelijke inzichten in beleid
is dat wetenschappelijk bewijs kan worden gebruik om bepaalde beleidskeuzen te
rechtvaardigen. Het kan goed van pas komen om bepaalde beleidsuitkomsten te
onderbouwen. De laatste decennia is een steeds grotere nadruk gelegd op het meten van
uitkomsten en prestaties bij het afleggen van verantwoording. Betrouwbare
meetmethoden en daaruit voortkomende wetenschappelijke informatie kunnen in dat
opzicht behulpzaam zijn.
• De vijfde reden is dat er veel belangstelling bestaat voor het concept van de ‘lerende
organisatie’. Uit wetenschappelijk onderbouwde monitoring en evaluaties kunnen lessen
worden getrokken. De operatie “Inzicht in kwaliteit,” ingesteld onder
verantwoordelijkheid van het ministerie van Financiën is hiervan een sprekend voorbeeld.
Kennis speelt in elk leerproces een belangrijke rol. Wie leergierig is, zal zich ook willen
laven aan wetenschappelijke kennis.
Wij merken op dat de voordelen van op bewijs gestoeld beleid doorgaans normatief van aard zijn.
Er is weliswaar een geloof dat dergelijk beleid leidt tot betere prestaties, maar de ironie wil dat
overtuigend empirisch bewijs hiervoor ontbreekt (Boaz et al 2008; Cameron et al. 2011, p. 431). Er
zijn nauwelijks studies die de effectiviteit aantonen van evidence-based beleid in de zin dat deze
vorm van beleidsvoering tot betere beleidsresultaten leidt dan beleid dat niet (expliciet) gebruik
maakt van de resultaten van wetenschappelijk onderzoek (bijv. Nutley et al. 2007). Ondanks het
ontbreken van overtuigend bewijs is de wens dat beleid is gebaseerd op empirische evidentie, niet
vreemd. Het streven naar beleidseffectiviteit en legitimiteit, als twee pijlers in beleidsvoering, zijn
beide gerelateerd aan bewijsmateriaal (bijv. Adam et al. 2018). Aan de ene kant is bewijs over
oorzaak-gevolgrelaties van belang voor beleidsmakers om de doeltreffendheid van hun beleid te
vergroten. Aan de andere kant draagt kennis die uitwijst dat beleid effectief is gebleken, bij aan
de legitimiteit van het gevoerde beleid.
34

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

3.2 Evidence-based’ beleid in de academische literatuur
Hoewel het idee van ‘evidence-based’ beleid breed wordt gedragen, zowel in theorie als in de
praktijk, bestaat zowel in de academische literatuur als in de beleidspraktijk geen consensus wat
eronder moet worden verstaan. ‘Beleid dat gebruikt maakt van de best beschikbare kennis’ biedt
weinig soelaas. Dit roept immers direct de vraag op wat onder kennis moet worden verstaan. En
daar wringt de schoen. Er zijn verschillende redenen aan te geven waarom er in de academische
wereld en beleidspraktijk weinig consensus bestaat over het begrip “evidence-based beleid.”
Betekenis van het woord “evidence.” In de eerste plaats speelt in Nederland de taal ons parten
(Kuiper, Verhoef en Munten 2016, p. 22). ‘Evidence-based’ is een Angelsaksische term die ook in
de Nederlandse taal ‘common language’ is geworden. Maar in de Engelse taal kent ‘evidence’
verschillende betekenissen (bijv. Shaxson 2005). Daarnaast wordt in de Engelse taal een
onderscheid gemaakt tussen ‘evidence’ en ‘proof’. ‘Evidence’ verwijst naar iets of een situatie die
waarschijnlijk is (twijfel mogelijk), bij ‘proof’ gaat om een onomstotelijk bewijs. In de literatuur
over ‘evidence-based policy’ wordt dit onderscheid zelden gemaakt en wordt praktisch altijd de
term ‘evidence’ gebezigd, al is dit enigszins afhankelijk van het vakgebied (bijv. Nutley et al. 2010).
In het Nederlands worden beide termen vaak vertaald als ‘bewijs’, al kan een onderscheid worden
aangebracht tussen bewijs – ‘feit of redenering waaruit de juistheid van een bewering
onweerlegbaar blijkt’ – en evidentie – ‘klaarblijkelijkheid’. Een dergelijk onderscheid speelt ook
een rol bij het beantwoorden van de vraag ‘wat is wetenschappelijke kennis’. Hierop gaan wij
verderop in.
Verwarrende terminologie. Een tweede reden voor het ontbreken van een consensus over het
begrip ‘evidence-based’ policy is dat er verschillende begrippen gangbaar zijn die (indirect)
verwijzen naar op bewijs gebaseerd beleid: ‘evidence-based’, ‘evidence-informed’, ‘evidenceaware’, ‘evidence-inspired’ en ‘evidence-influenced’. Met veel woorden wordt geprobeerd de
overeenkomsten en verschillen tussen de begrippen aan te geven. Deze pogingen tot meer
duidelijkheid leiden in de praktijk eerder tot een grotere verwarring.
Wetenschappelijke- en praktijkkennis. In de derde plaats is er onenigheid over de grondslag van
het bewijs. Is er uitsluitend sprake van bewijs als dit voorkomt uit wetenschappelijk onderzoek?
Kan bewijs ook worden ontleend aan de praktijk? Voorstanders van een brede opvatting van op
bewijs gebaseerd beleid zijn van neming dat zowel praktijkkennis als wetenschappelijke kennis
hieronder vallen. De best beschikbare kennis voor beleid komt niet alleen voort uit
wetenschappelijk onderzoek maar ook uit de praktijk. Praktijkkennis is gebaseerd op ervaringen.
Het kan daarbij gaan om persoonlijke ervaringen (‘kennis en inzicht verkregen in de dagelijkste
praktijk’), maar ook om ervaringen van anderen (bijvoorbeeld van andere beleidsafdelingen of
andere organisaties). De uitkomsten van effect- en evaluatiestudies kunnen ook hieronder
worden geschaard. Review-, monitor- en evaluatie-instrumenten worden gebruikt om te kijken of
beleid werkt (zoals beoogd) en of het beleid kan worden verbeterd (‘leren’). Informatie uit deze
bronnen kan volgens de aanhangers van een brede definitie allemaal worden aangemerkt als
‘bewijs’.

35

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

3.2.1

Wetenschappelijke kennis als ‘evidence’

Hoewel praktijkkennis zeer waardevol kan zijn in verschillende fasen van een beleidsproces
(Nutley et al. 2010; Levidow en Papaioannou 2016), wordt het in veel wetenschappelijke
publicaties niet geschaard onder de noemer van ‘evidence-based policy’. In strikte definities van
‘evidence-based’ beleid gaat het om bewijs dat voortkomt uit wetenschappelijke onderzoek,
zonder te ontkennen dat praktijkkennis eveneens relevant kan zijn. Bij deze strikte opvatting van
een op wetenschappelijk bewijs gestoeld beleid dringt zich vervolgens de vraag op wat dan telt
als wetenschappelijk bewijs. Ook hierover bestaan verschillende opvattingen.
Bewijs als wetenschappelijk verkregen kennis. Volgens de strikte opvatting is er sprake van
‘evidence-based’ beleid als de gebruikte kennis is gebaseerd op empirisch bewijs dat op
systematische wijze volgens de normen van de wetenschap is verkregen (bijv. Jennings en Hall
2012, p. 246, 259).
Wij spreken van evidence (bewijs) als de verworven kennis het product is van onderzoek dat op
een systematische, controleerbare, kritische en onafhankelijke manier is uitgevoerd.
Maar de regels van wetenschap verschillen per wetenschappelijke discipline en soms zelfs
daarbinnen. Meningen verschillen over de vraag of sommige vormen van wetenschappelijk
verkregen kennis ‘beter’ zijn dan andere, afhankelijk van de wijze waarop de wetenschappelijke
kennis is verkregen.
Geïnspireerd door een natuurwetenschappelijk wetenschapsperspectief wordt daarbij wel
gewezen op een ordening (kennispiramide of bewijshiërarchie) wat betreft de kwaliteit van
wetenschappelijk bewijs. Deze ordening is gebaseerd op methodologische criteria (bijv. Leigh
2009; Argyrous 2012). Deze ordening van wetenschappelijke kennis—van sterker naar zwakker—
ziet er als volgt uit:
• Systematische beoordelingen (meta-analyses) van meervoudige gerandomiseerde trials.
• Gerandomiseerde onderzoeken van hoge kwaliteit.
• Systematische beoordelingen (meta-analyses) van experimenten en voor-en-na-metingen.
• Quasi-experimenten met gebruikmaking van technieken zoals verschillen-in-verschillen,
regressiediscontinuïteit, matching of meervoudige regressie
• before-and-after (pre-post) studies.
• Opvattingen van deskundigen.
Daarnaast zou volgens de strikte opvatting van bewijs de voorkeur moeten uitgaan naar
wetenschappelijke kennis verkregen uit de meest recente studies, gepubliceerd in de meest
vooraanstaande wetenschappelijke tijdschriften. Tevens gaat bij een strikte opvatting van bewijs
meestal de voorkeur uit naar kwantitatieve methoden van gegevensverzameling en -analyse
(Maddison 2012, p. 270).

36

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

De bovenstaande ordening is bekritiseerd vanuit de eenzijdige nadruk op methodologische
criteria, terwijl er ook andere criteria zijn om de kwaliteit van bewijs voor een bepaald
beleidsissue te beoordelen (bijv. Argyrous 2012). In andere wetenschapsgebieden dan de
natuurwetenschappen worden wetenschapsmethoden aanvaard die verschillen van de
natuurwetenschappelijke aanpak (bijv. Shulock 1999; Heinrich 2007). De ‘gouden standaard’ uit de
natuurwetenschappen wordt gezien als te positivistisch en te elitair. Solesbury (2002) geeft
bijvoorbeeld aan dat ook de uitkomsten van descriptief, analytisch, diagnostisch, theoretisch,
prescriptief of verkennend onderzoek een bijdrage aan beleid kunnen leveren. Ook daar gaat het
immers om kennis verkregen via een systematisch proces van kritisch onderzoek en evaluatie,
theorievorming, gegevensverzameling, analyse en codificatie.

3.2.2

Twee perspectieven op wetenschappelijke kennis als ‘evidence’

Verschillende opvattingen over wat wetenschappelijk bewijs is ten behoeve van beleid, hoe het
wordt verkregen en wat de ‘kwaliteit’ ervan is, komen tot uitdrukking in de epistemologische
tegenstellingen tussen het rationeel-instrumentalistisch perspectief en het sociaalconstructivistisch perspectief (Newman 2017).
Rationeel-instrumentalistisch perspectief. Rationeel-instrumentalisten zijn van oordeel dat door
middel van een empirisch onderbouwde wetenschappelijke aanpak, bewijs kan worden gevonden
en toegepast om beleid te verbeteren (bijv. Chalmers 2005). Wetenschappelijke kennis leidt, of
draagt op zijn minst bij, tot succesvol beleid. Beleid dat is vormgegeven door ideologieën,
tradities, dogma’s of anekdotische verhalen helpt de wereld niet vooruit. De beste strategie voor
wetenschappers en beleidsmakers is om zoveel mogelijk wetenschappelijk bewijsmateriaal te
verzamelen en daarmee potentieel succesvol beleid te onderscheiden van potentieel onsuccesvol
beleid. Het is daarbij zaak om vast te houden aan het uitgangspunt van onafhankelijk
waargenomen en geverifieerde kennis ten behoeve van het beleidsproces. Hierbij wensen veel
rationeel-instrumentalisten overigens het onderscheid tussen doel- en waardenrationaliteit te
handhaven. Zij menen dat het bepalen van beleidsdoelen in essentie is voorbehouden aan de
politiek (waardenrationaliteit). Er bestaat geen objectief bewijs om deze doelen te bepalen (bijv.
Kay 2011). Wetenschappelijk bewijs kan wel worden gebruikt om beleidsstrategieën te verbeteren
waarmee de gekozen beleidsdoelen kunnen worden gerealiseerd (doelrationaliteit).
Sociaal-constructivistisch perspectief. De academische literatuur over evidence-based beleid staat
bol van kritiek op de bovenstaande rationeel-instrumentele zienswijze. De felste kritiek komt uit
de hoek van het sociaal constructivisme (bijv. Neylan 2008). Sociaal-constructivisten wijzen erop
dat veel aspecten van de werkelijkheid (inter-)subjectief zijn en dat ieder bewijs eigenlijk een
sociale constructie is. Neutraal of waardevrij bewijs is een fictie (Marston en Watts 2003, p. 157).
Feiten zijn immers altijd vatbaar voor interpretatie en krijgen verschillende betekenissen vanuit
het perspectief van verschillende waarnemers. Bewijs is daarmee per definitie een problematisch
begrip en voor discussie vatbaar: objectief bewijs kan niet bestaan in een wereld waar de
interpretaties van waarnemer tot waarnemer verschillen. De grondslag voor die verschillende
waarnemingskaders kan liggen in verschillende theoretische uitgangspunten of wereldbeelden. In
37

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

feite bekritiseren sociaal-constructivisten de rationeel-instrumentalisten ervan dat zij aan
rationele oordelen betekenissen verbinden die verder niet mogen worden betwist (Adams 2004,
p. 40; Biesta 2007; Hammersley 2005; 2013).
Beide kampen betwisten elkaar niet alleen als het gaat om de vraag ‘wat is wetenschappelijk
bewijs’ maar hebben, in het verlengde daarvan, ook andere opvattingen over het gebruik van
bewijs in een beleidsproces. Rationeel-instrumentalisten hebben volgens sociaal-constructivisten
een onrealistische, zelfs soms naïeve voorstelling van politiek en beleid. Bewijs als sociale
constructie wordt niet per se ingezet om op de beste manier beleidsdoelen te bereiken maar
(tevens en vooral) als middel om politieke oordelen gewicht te geven. Sociaal-constructivisten
daarentegen kunnen, volgens de rationeel-instrumentalisten, geen gezaghebbende uitspraken
doen om beleid te verbeteren.
Uiteraard nemen veel auteurs een positie in tussen beide kampen. Gematigd sociaalconstructivisten bagatelliseren de potentiële waarde van wetenschappelijke kennis niet, maar
keren zich tegen de manier waarop deze wordt ingepast in een model van rationele
beleidsvorming (Ansell en Geyer 2017). Rationeel-instrumentalisten van gematigde huize vinden
een instrumenteel gebruik van wetenschappelijke kennis in beleid weliswaar wenselijk—
bijvoorbeeld om ‘sociale vooruitgang te bereiken door toepassing van de rede’ (Sanderson 2002,
19), maar zijn zich ervan bewust dat politiek en beleid meervoudige (niet-lineaire) processen zijn,
waarbij ook andere kennisbronnen kunnen worden benut en waar rationeel wetenschappelijk
verkregen bewijs als politieke munitie kan worden ingezet.
In deze paragraaf is een bescheiden overzicht gegeven van gangbare perspectieven op het begrip
‘evidence-based’ beleid. Op basis hiervan geven wij in de volgende paragraaf aan wat wij in het
onderhavige onderzoek verstaan onder ‘evidence-based werken’. Daarna presenteren wij de
percepties van ‘evidence-based werken’ zoals deze leven onder beleidsambtenaren van
verschillende organisatieonderdelen van het ministerie van JenV en professionele uitvoerende
diensten.

3.2.3

‘Evidence-based’ werken gedefinieerd in dit onderzoek

Zoals wij hierboven hebben beschreven, bestaan er verschillende perspectieven op ‘evidencebased’ beleid. Er blijkt, grofweg, een ruime definitie te bestaan, die praktijkkennis en
ervaringskennis ook als vormen van evidence beschouwen. Daarnaast blijkt er een strikte definitie
te bestaan, die uitgaat van kennis verkregen uit wetenschappelijk onderzoek.
In het onderhavige onderzoek volgen wij de mainstream van de academische literatuur en
hanteren een strikte definitie van ‘evidence-based’ beleid. Wij vatten ‘evidence-based’ beleid als
volgt op:

38

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Wij spreken van ‘evidence-based' werken en -beleid wanneer, in het beleidsproces voornamelijk
gebruik wordt gemaakt van de best beschikbare uitkomsten en inzichten verkregen uit
wetenschappelijk onderzoek. Bij wetenschappelijk onderzoek gaat het om onafhankelijk
verkregen inzichten verkregen op basis van transparante wetenschappelijke
onderzoeksmethoden (vaak empirisch onderbouwd) en bij voorkeur ingebed in een systematisch
cumulatief kennisfonds.

De wetenschappelijke kennis kan tijdens verschillende fasen van het beleidsproces–van
agendavorming tot beleidsbeëindiging–worden benut. Hoewel niet geheel onomstreden, is de
bovenstaande beschrijving vanuit de mainstream academische literatuur ook een gangbare
opvatting in de beleidspraktijk. Het Joint Research Centre van de Europese Commissie geeft
bijvoorbeeld aan dat:
“in hun doen en laten bewijs onvermijdelijk wordt opgevat als het resultaat van een
wetenschappelijk proces. Dit gaat verder dan evaluaties of gegevens met betrekking
interventieprogramma’s. Bewijsmateriaal als resultante van wetenschappelijk onderzoek
berust op de waarden en normen van robuuste, systematische wetenschappelijke methoden,
hun objectiviteit, transparantie en openheid voor controle” (Sienkiewics en Mair 2020).
Wat sluiten we dan uit? De strikte definitie van ‘evidence-based beleid’ die wij hanteren, sluit
andere kennisbronnen uit als ‘evidence-based’. Voorbeelden van uitgesloten kennisbronnen zijn:
individuele expertoordelen, kennis verkregen uit werkervaring, beschrijvende ‘uitzoek-vragen’,
‘fact finding’, data-gedreven monitoring, informatie ten behoeve van PDCA-cycli, en ‘ad hoc’ leren
van beleid. Kennis uit beleidsevaluaties is niet vanzelfsprekend ‘evidence’ zoals bedoeld in onze
omschrijving. Waar beleidsevaluaties de toets der kritiek van de wetenschappelijke methode
doorstaan en de evaluatie-uitkomsten worden gebruikt voor beleid, zien wij dit wel als ‘evidencebased’ beleid. Waar dit niet het geval is, bijvoorbeeld wanneer het beleid ‘in de praktijk wordt
gevolgd’ of wanneer ‘signalen vanuit het veld’ worden opgetekend, dan is er in onze ogen geen
sprake van ‘evidence-based’ beleid. In het laatste geval is eerder sprake van gebruik van datagedreven of professionele kennis uit de praktijk.
Geen waardeoordeel. De gekozen focus op wetenschappelijke kennis en uitsluiting van andere
kennisbronnen in de definitie van ‘evidence-based’ beleid berust in ons onderzoek niet op een
waardeoordeel. Soms wordt betoogd dat wetenschappelijke kennis per se superieur is aan het
gebruik van andere kennisbronnen in beleid. Wij delen deze opvatting niet. Andere
kennisbronnen dan wetenschappelijk kennis, zoals traditie, ideologie, waarden en (persoonlijke)
ervaringen kunnen wel degelijk een waardevolle functie hebben ten behoeve van de
beleidsvoering. Het gebruik van wetenschappelijke kennis in beleid is een keuze uit een veelheid
van kennisbronnen die voorhanden zijn (Newman 2017). De keuze voor wetenschappelijke kennis
(dus: ‘evidence’) is afhankelijk van vele factoren. Andere kennisbronnen zijn in onze ogen dus niet
onbruikbaar, onwenselijk of inferieur ten opzichte van wetenschappelijke kennis en kunnen
beslist bijdragen aan goede beleidsresultaten. Maar het gaat daarbij om een ander type van
kennisbron – zijnde niet-wetenschappelijke kennis – en valt daarmee in ons onderzoek niet onder
de term ‘evidence-based’ beleid.
39

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

Hetzelfde geldt voor politieke oordeelsvorming. Politieke oordeelsvorming is weliswaar geen
kennisbron, maar wel een intrinsiek onderdeel van democratisch tot stand gekomen (legitiem)
beleid. Dat ‘evidence-based’ beleid voornamelijk is gebaseerd op onafhankelijk verkregen
wetenschappelijke kennis, laat onverlet dat ook dan sprake is van politieke oordeelsvorming. Het
wordt, vanzelfsprekend, spannend wanneer het politieke oordeel tot andere inzichten leidt dan
de onafhankelijk verkregen wetenschappelijke kennis. Wanneer de politieke oordeelsvorming de
inbreng van onafhankelijk verkregen wetenschappelijke inzichten naar de achtergrond drukt, zal
geen sprake zijn van ‘evidence-based’ werken of -beleid.
Vanuit de strikte opvatting van evidence als wetenschappelijke kennis kunnen allerlei gangbare
begrippen zoals ‘evidence-based policy’, ‘evidence-informed policy’, ‘evidence-based practice’ of
‘practice-based evidence’ worden verduidelijkt. Vooral over de laatste twee begrippen bestaat
veel verwarring. Wij hanteren het volgende onderscheid:
• Bij evidence-based policy gaat het om beleid waar wetenschappelijk bewijs aan ten
grondslag ligt (bijv. Slob en Staman 2012; Siekkiewics en Mair 2020).
• Evidence-informed policy verwijst naar het gebruik van het beste bewijsmateriaal om
beslissingen te nemen waarbij een combinatie of integratie plaatsvindt van professionele
expertise (kennis uit de praktijk van professionals en stakeholders) en extern
bewijsmateriaal voortkomend uit wetenschappelijk onderzoek.65
• Bij practice-based evidence gaat het om praktijkkennis, gebaseerd op individuele en
professionele inzichten en ervaringen uit de praktijk—aangemerkt als ‘bewijs’ voor
beleidsmatig handelen.
In Figuur 3.1 geven wij onze definitie van ‘evidence-based policy’ schematisch weer. In deze figuur
maken wij een onderscheid tussen beleid dat (deels) berust op politieke oordeelsvorming,
professionele- of praktijkkennis, dan wel op wetenschappelijke kennis. In deelverzameling (2) is
het beleid volledig de resultante van het gebruik van wetenschappelijke kennis. Criticasters
spreken hier van een ‘technocratie’ en ‘niet-democratisch beleid’ (bijv. Lewis 2003). Een dergelijk
beleid is exclusief bepaald door wetenschappelijke kennis die politieke oordeelsvorming
vervangt. In deelverzameling (4) worden beiden geïntegreerd. Bij deelverzamelingen (6) en (7) is
sprake van beleid dat berust op een gecombineerd gebruik van wetenschappelijke- en
praktijkkennis. Volgens onze definitie is er bij (2) en (4) sprake van ‘evidence-based beleid’, waarin
voornamelijk wetenschappelijke kennis wordt gebruikt als kennisbron in bepaalde fasen van een
beleidsproces. Volgens onze definitie is er bij (6) en (7) sprake van ‘evidence-informed beleid’,
waarin wetenschappelijke kennis in combinatie met praktijkkennis wordt benut in bepaalde fasen
van een beleidsproces.

65 Dit wordt ook wel aangeduid met ‘evidence-based practice’.

40

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Figuur 3.1: Beleid en kennis

3.3 Percepties onder medewerkers van JenV: resultaten van de enquête
De vraag ‘wat is evidence’ wordt door beleidsmakers en academici verschillend beantwoord, ook
al wordt in de mainstream van de academisch literatuur en de gangbare beleidspraktijk vaak over
evidence in strikte zin gesproken. De definities van ‘evidence’ die beleidsmakers hanteren en
wetenschappelijke constructies van ‘evidence’ komen niet met elkaar overeen (Oliver et al. 2014;
Orton et al. 2011; Boaz et al. 2011). De diversiteit van opvattingen wekt op zich weinig verbazing,
gezien de pluriformiteit en verscheidenheid van de beleidspraktijk. Vandaar dat het een zeer
relevante vraag is wat in de praktijk, door beleidsambtenaren van het ministerie van JenV, wordt
verstaan onder ‘evidence-based’ werken en -beleid. In een enquête hebben wij deze vraag gesteld
aan medewerkers van drie typen organisatieonderdelen: (a) de beleidsdirecties van het
kerndepartement, (b) het hoofdkantoor van een grote uitvoerende organisatie van JenV en (c)
een kennisorganisatie. De resultaten van de enquête bespreken wij hieronder achtereenvolgens
voor elke van deze drie typen organisatieonderdelen.
In de uitgezette enquête is de respondenten gevraagd om aan te geven wat zij verstaan onder
‘evidence-based’ werken en -beleid. We hebben daartoe acht stellingen opgenomen, met ieder
een gesloten antwoordcategorie (vijfpuntschaal van ‘helemaal oneens’ tot ‘helemaal eens’ en
daarnaast de antwoordmogelijkheid ‘weet niet/ niet van toepassing’). De acht stellingen zijn door
de onderzoekers ontleend aan de literatuur over evidence-based policy en aan stellingen
voorgelegd in eerder enquête-onderzoek naar het gebruik van wetenschappelijk onderzoek in
werken en beleid bij overheidsdiensten (Tallbot en Tallbot 2014).66

66 Tallbot en Tallbot (2014) onderscheiden: casestudies, kwantitatief onderzoek, kwalitatief onderzoek, evaluaties,

vergelijkende studies, formele modellen, operations research, en theoretische analyse. Tallbot en Tallbot (2014)
conceptualiseren praktijkkennis als “algemene expertise ten opzichte van wetenschappelijke kennis”. Wij hebben
echter op basis van de literatuur over practice-based evidence items toegevoegd die verschillende typen bronnen van
praktijkkennis onderscheiden (bijvoorbeeld interne evaluaties binnen het ministerie en extern uitbestede evaluaties
door wetenschappers). Hiermee hopen wij een scherper onderscheid te kunnen maken tussen praktijkkennis en
wetenschappelijke kennis. Uit de schaalanalyses in dit hoofdstuk blijkt dat dit ook door de data wordt bevestigd.

41

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

3.3.1

Medewerkers van de beleidsdirecties

De uitkomsten van de enquête onder beleidsambtenaren van het kerndepartement staan
vermeld in tabel 3.1. Wij hebben de items gerangschikt van ‘meeste instemming’ (“eens” en
“helemaal eens”) naar ‘minste instemming’. De antwoorden van de respondenten laten aan
duidelijkheid weinig te wensen over. De meeste ondervraagden vinden dat ‘evidence-based’
werken en -beleid betekent dat in het beleid gebruik wordt gemaakt verschillende typen van
wetenschappelijke kennis. Maar ook kennis en ervaring uit het professionele veld wordt door het
merendeel van de respondenten gezien als ‘evidence-based’.
Tabel 3.1: Percepties van ‘evidence-based’ werken en -beleid bij medewerkers van de beleidsdirecties van
JenV (in %) N=272
Wat is ‘evidence-based’ werken en -beleid?

1

2

3

4

5

6

m

sd

7

Wetenschappelijke inzichten in wat werkt en
wat niet, zoals meta-analyses of
systematische reviews

1

2

36

58

3

4,56

0,60

1

Onafhankelijk kwantitatief wetenschappelijk
onderzoek

1

6

41

48

4

4,41

0,67

0

Beleidsevaluaties door onafhankelijke
wetenschappers

2

6

39

49

4

4,41

0,70

0

Onafhankelijk kwalitatief wetenschappelijk
onderzoek

3

7

43

44

3

4,34

0,72

0

Kennis en ervaring vanuit professionele veld

2

8

10

44

34

3

4,03

0,97

0

Data-gedreven werken door het ministerie

1

6

16

45

25

6

3,93

0,91

0

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

2

12

23

41

17

5

3,63

0,99

0

Kennis en ervaring van mijzelf/ directe
collega’s

5

25

24

35

9

3

3,18

1,08

0

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

Tabel 3.1 laat zien dat vrijwel alle beleidsambtenaren van de kerndepartementen van het
ministerie van JenV vinden dat ‘evidence-based’ werken inhoudt dat gebruik wordt gemaakt van
wetenschappelijke kennis over wat (al dan niet) werkt (voorkomend uit bijvoorbeeld metaanalyses en systematische reviews (94%), van onafhankelijk kwantitatief wetenschappelijk
onderzoek (89%), van beleidsevaluaties door onafhankelijke wetenschappers (88%) en van
onafhankelijk kwalitatief wetenschappelijk onderzoek (87%).

42

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Lager scoren kennis en ervaring vanuit de praktijk, alhoewel nog steeds een groot deel van de
beleidsambtenaren dit schaart onder ‘evidence-based’ werken en -beleid. Het gaat hier om kennis
en ervaring uit het professionele veld (78%), data-gedreven werken door het ministerie (70%) en
beleidsevaluaties uitgevoerd door beleidsdirecties van het ministerie (58%). Een grote minderheid
van de beleidsambtenaren (44%) is van mening dat eigen, persoonlijke kennis en ervaring kan
worden gezien als een kennisbron voor ‘evidence-based’ werken en -beleid.
Het bovenstaande beeld wordt verder bevestigd wanneer we de uitkomsten van de enquête
nader analyseren. De acht stellingen kunnen worden gereduceerd tot twee onderliggende
dimensies.67 De eerste dimensie van evidence-based werken betreft het gebruik van
onafhankelijke wetenschappelijke kennis.68 De tweede dimensie betreft het gebruik van
professionele kennis.69 Deze tweedeling in typen kennisbronnen zijn wij in de academische
literatuur veel tegenkomen en treffen wij dus ook duidelijk in onze empirische studie aan onder
de beleidsambtenaren van het kerndepartement van JenV. De dimensies benadrukken ook de
onafhankelijkheid van de kennisbron van wetenschappelijk onderzoek. Onderzoek uitgevoerd
binnen het ministerie (beleidsevaluaties) passen bij de dimensie van professionele kennis.
Figuur 3.2 geeft de scores van deze beleidsambtenaren op beide dimensies weer. Een hoge score
op een van deze assen betekent dat de betreffende respondent sterk instemt met het
betreffende type van kennisbron als onderdeel van ‘evidence-based’ werken en -beleid binnen
het ministerie. In rood is de scheidslijn aangegeven tussen een gemiddelde score “neutraal” en de
scores “eens” of “helemaal eens”.70 Uit de verdeling van de scores in de figuur valt af te lezen dat
veel respondenten evidence-based beleid percipiëren als het gebruik van wetenschappelijk kennis
in beleid (kwadranten rechtsboven en rechtsonder). Toch zien ook veel beleidsambtenaren het
gebruik van professionele kennis als ‘evidence-based’ (kwadranten linksboven en rechtsboven),
maar in mindere mate dan wetenschappelijke kennis.

67 Hiervoor is een factoranalyse uitgevoerd: Principale componentenanalyse, varimax, Kaiser rotatie (N=249). De items

met de hoogste bijdrage aan een dimensie (de hoogste ‘lading’ op de componenten) hebben wij in een schaalanalyse
op interne consistentie onderzocht. De schaalscore van een respondent hebben wij berekend als de gemiddelde score
op de items in de schaal.
68 Deze schaal wordt gevormd door de items: ‘Wetenschappelijke inzichten (in wat werkt en wat niet, zoals metaanalyses of systematische reviews)’, ‘Onafhankelijk kwantitatief wetenschappelijk onderzoek,’ ‘Onafhankelijk
kwalitatief wetenschappelijk onderzoek’ en ‘Beleidsevaluaties door onafhankelijke wetenschappers’. De interne
consistentie van deze schaal is redelijk tot hoog (Cronbach’s α = .76; Loevinger’s H = .50).
69 Deze schaal wordt gevormd door de items: ‘Kennis en ervaring van mijzelf en directe collega’s’, ‘Kennis en ervaring
vanuit het professionele veld’, en ‘Beleidsevaluaties uitgevoerd door beleidsdirecties van het ministerie’. De interne
consistentie van deze schaal is redelijk (Cronbach’s α = .64; Loevinger’s H = .43). Het item ‘Data-gedreven werken door
het ministerie’ schaalt redelijk zowel op wetenschappelijke kennis als op professionele kennis. Dit item is niet
meegenomen in beide schalen.
70 De lijn is iets voor de score “4” (eens) getrokken omdat wij de scores in de figuur hebben ‘uitgesmeerd’, om beter
zichtbaar te maken hoeveel respondenten de onderliggende score hebben.

43

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

5
4
3
1

2

Evidentie is professionele kennis 1

Figuur 3.2: Perceptie van ‘evidence-based’ werken en -beleid bij medewerkers van de beleidsdirecties
van JenV op basis van twee onderliggende dimensies

2.5
3
3.5
4
4.5
5
Evidentie
is wetenschappelijke
Evidentie
is wetenschappelijke
Evidentiekennis
iskennis
wetenschappelijke kennis 1

De nadruk op wetenschappelijke kennis als type van kennisbron voor ‘evidence-based’ werken en
-beleid blijkt ook uit tabel 3.2, die is gebaseerd op figuur 3.2. Van de 255 beleidsambtenaren zien
227 (89%) evidence-based werken als het gebruik maken van wetenschappelijke kennis en 148
(58%) als het benutten van professionele kennis. Ruim een derde van de beleidsambtenaren (95
van de 255) is van mening dat evidence-based werken betekent dat vooral gebruik wordt
gemaakt van onafhankelijke wetenschappelijke kennis. Het merendeel van de respondenten (52%)
is van oordeel dat ‘evidence-based’ werken en -beleid inhoudt dat in het beleid gebruik wordt
gemaakt van zowel onafhankelijke wetenschappelijke kennis als professionele kennis, inclusief
beleidsevaluaties (132 van de 255 respondenten).
Tabel 3.2: Percepties van medewerkers van de beleidsdirecties van JenV over ‘evidencebased’ werken en -beleid op basis van twee dimensies (in aantallen)
Wat is evidence-based werken en -beleid?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
12
95
107
Wel
16
132
148
Totaal
28
227
255
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

44

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

De strikte definitie van ‘evidence-based’ werken en -beleid, die wij eerder in dit hoofdstuk hebben
geformuleerd, wordt dus door iets meer dan een-derde van de ambtenaren van de
beleidsdirecties onderschreven. Een kleine meerderheid van de beleidsambtenaren vindt dat
daarnaast het gebruik van professionele kennis ook kan worden gezien als een bron van
‘evidence’ ten behoeve van hun weken en beleid. Deze opvatting sluit aan bij de eerder
omschreven definitie van ‘evidence-informed’ werken en -beleid.71 ‘Evidence-informed’ werken en
-beleid is dus de meest voorkomende perceptie van op bewijs gebaseerd werken en beleid.
Ten slotte hebben wij gekeken naar samenhangen met relevante achtergrondkenmerken van de
medewerkers van de beleidsdirecties. Hierbij vallen de volgende resultaten op:
• Werkervaring. Medewerkers met relatief weinig ervaring in de huidige functie (minder dan
vijf jaar) scoren significant (p < .05) iets hoger op de schaal ‘evidence als
wetenschappelijke kennis’ (score 4.50) dan ervaren medewerkers (score 4.33).
Medewerkers met relatief veel ervaring in de huidige functie scoren significant (p < .05)
hoger op de schaal ‘evidence als professionele kennis’ (score 3.77) dan medewerkers met
minder ervaring (score 3.50). Met andere woorden, een groeiende werkervaring leidt
ertoe dat het verschil in belang dat wordt gehecht aan wetenschappelijke kennis ten
opzichte van professionele kennis—als evidentie ten behoeve van beleid en werken—
omslaat ten faveure van professionele kennis.
• Type werkzaamheden. Wij treffen in de gegevens geen significante samenhang aan tussen
de mate waarin de medewerker beleidsgerichte werkzaamheden en/ of leidinggevende
werkzaamheden verricht en hun score op één van de twee dimensies van perceptie van
evidentie. Wij hebben ook gekeken of beleidsadviseurs of leidinggevende
oververtegenwoordigd zijn of ondervertegenwoordigd zijn in één van de cellen in tabel
3.2. Dat is niet het geval.
• Gender. Er zijn geen verschillen tussen mannen en vrouwen in hun scores op één van de
twee schalen.

3.3.2

Medewerkers hoofdkantoor uitvoerende organisatie

De uitkomsten van de enquête onder medewerkers van het hoofdkantoor van een
uitvoeringsorganisatie van JenV staan vermeld in tabel 3.3. Ook nu hebben wij de stellingen
gerangschikt van ‘meeste instemming’ (boven in de tabel) naar ‘minste instemming’.
Opvallend is dat medewerkers van het hoofdkantoor van de uitvoerende organisatie het meeste
instemmen met de stellingen ‘onafhankelijk kwalitatief onderzoek’ (89%) en ‘beleidsevaluaties
door onafhankelijke wetenschappers’ (93%). Dit betreffen twee kennisbronnen van
wetenschappelijk onderzoek die bij de medewerkers van de beleidsdirecties op de derde
respectievelijk vierde plaats kwamen (zij het ook met hoge percentages). Met andere woorden:
medewerkers van het hoofdkantoor van de uitvoeringsorganisatie vinden kennis uit kwalitatief

71 Hoe wetenschappelijke kennis en professionele kennis geïntegreerd zouden moeten worden is niet in de enquête

onderzocht.

45

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

onderzoek en wetenschappelijke beleidsevaluaties meer passen als wetenschappelijke evidentie
ten behoeve van werken en beleid dan hun collega’s van de beleidsdirecties. Die legden de
nadruk bij wetenschappelijke inzichten over wat werkt en bij kwantitatief onderzoek. De overige
stellingen verschillen niet wat betreft de rangordening.72
Tabel 3.3: Percepties van ‘evidence-based’ werken en -beleid bij medewerkers van het hoofdkantoor
van een uitvoeringsorganisatie van het ministerie van JenV (in %) N=46
Wat is ‘evidence-based’ werken en -beleid?

1

Beleidsevaluaties door onafhankelijke
wetenschappers

2

Onafhankelijk kwalitatief wetenschappelijk
onderzoek
Wetenschappelijke inzichten in wat werkt en
wat niet, zoals meta-analyses of
systematische reviews
Onafhankelijk kwantitatief wetenschappelijk
onderzoek

2

2

3

4

5

6

m

sd

7

51

42

4

4,37

0,72

1

2

7

38

51

2

4,41

0,73

1

4

7

29

53

4

4,33

0,97

1

2

13

42

40

2

4,23

0,77

1

Kennis en ervaring vanuit professionele veld

7

4

11

40

36

2

3,95

1,14

1

Data-gedreven werken door het ministerie

2

7

29

40

20

2

3,70

0,95

1

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

4

4

29

42

16

4

3,63 0,98

1

Kennis en ervaring van mijzelf/ directe
collega’s

13

16

13

47

9

2

3,23

1

1,24

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5);
Weet niet/ Niet van toepassing (6); Ontbrekende waarneming (7).

Ook voor de medewerkers van het hoofdkantoor van de uitvoeringsorganisatie hebben wij nader
onderzocht welke dimensies van ‘evidence-based’ werken en beleid wij kunnen onderscheiden in
de antwoordpatronen van de medewerkers van de uitvoeringsorganisatie. Hier vinden wij
dezelfde twee onderliggende dimensies van ‘evidence-based’ werken en – beleid terug.73 In de
antwoordpatronen van de medewerkers van het hoofdkantoor van de uitvoeringsorganisatie zien
wij dezelfde dimensies terugkomen als bij de beleidsambtenaren. Ook bij hen is de eerste dimensie
van evidence-based werken en -beleid het gebruik van onafhankelijke wetenschappelijke kennis.
De tweede dimensie betreft het gebruik van professionele kennis.74

72 Gegeven het geringere aantal respondenten bij de uitvoeringsorganisatie (n = 46) zijn de relatief kleine verschillen in

scores vergeleken met die van de collega’s van de beleidsdirecties statistisch niet significant.
73 Omdat het aantal respondenten erg gering is, hebben wij geen factoranalyse uitgevoerd. Wel hebben wij dezelfde
schalen geanalyseerd die wij bij de medewerkers van de beleidsdirecties hebben geïdentificeerd. De schaal
wetenschappelijke kennis bestaat uit de items: ‘Wetenschappelijke inzichten (in wat werkt en wat niet, zoals metaanalyses of systematische reviews)’, ‘Onafhankelijk kwantitatief wetenschappelijk onderzoek,’ ‘Onafhankelijk
kwalitatief wetenschappelijk onderzoek’ en ‘Beleidsevaluaties door onafhankelijke wetenschappers’. De interne
consistentie van deze schaal voor de medewerkers van het hoofdkantoor van de uitvoeringsorganisatie is sterk
(Cronbach’s α = .82; Loevinger’s H = .63). De schaal professionele kennis wordt gevormd door de items: ‘Kennis en
ervaring van mijzelf en directe collega’s’, ‘Kennis en ervaring vanuit het professionele veld’, en ‘Beleidsevaluaties
uitgevoerd door beleidsdirecties van het ministerie’. De interne consistentie van ook deze schaal onder de
medewerkers van het hoofkantoor van de uitvoeringsorganisatie is sterk (Cronbach’s α = .77; Loevinger’s H = .61).
74 Het item ‘Data-gedreven werken door het ministerie’ schaalt redelijk zowel op wetenschappelijke kennis als op
professionele kennis. Dit item is niet meegenomen in beide schalen.

46

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Ten slotte hebben wij ook voor de medewerkers van het hoofdkantoor van de
uitvoeringsorganisatie nader onderzocht in hoeverre zij verschillen in hun gemiddelde scores op
de twee dimensies. Dit geeft, net als bij de medewerkers van het kerndepartement, inzicht in de
bijdrage die zij zien vanuit wetenschappelijke kennis en professionele kennis aan hun evidencebased werken en -beleid. De onderstaande tabel 3.4 presenteert hiervan de resultaten.
Tabel 3.4: Percepties van medewerkers van het hoofdkantoor van een uitvoeringsorganisatie
van JenV over ‘evidence-based’ werken en -beleid op basis van twee dimensies (in aantallen)
Wat is ‘evidence-based’ werken en -beleid?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
1
13
14
Wel
6
23
29
Totaal
7
36
43
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

Van de 43 medewerkers van het hoofdkantoor zien 36 (84%) ‘evidence-based’ werken als het
gebruik maken van wetenschappelijke kennis en zien 29 (67%) dit als het benutten van
professionele kennis. Bijna een-derde van de medewerkers van het hoofdkantoor van de
uitvoeringsorganisatie (30%) is van mening dat ‘evidence-based’ werken en -beleid betekent dat
vooral gebruik wordt gemaakt van onafhankelijke wetenschappelijke kennis. Dit is ‘evidencebased’ werken en -beleid volgens onze strikte definitie. Wederom een ruime meerderheid van de
respondenten (53%) ziet evidence-based werken en -beleid vooral als ‘evidence-informed’ werken
en -beleid: in het beleid wordt zowel gebruik wordt gemaakt van onafhankelijke
wetenschappelijke kennis als van professionele kennis. De percentages van de
beleidsmedewerkers van het hoofdkantoor komen grofweg overeen met die van de collega’s die
werkzaam zijn bij de beleidsdirecties van het kerndepartement. Ook op het hoofdkantoor van de
uitvoerende organisatie leeft de opvatting dat evidentie wordt gezien als het gebruik van
wetenschappelijke- en praktijkkennis.

3.3.3

Medewerkers kennisorganisatie

De uitkomsten van de enquête onder medewerkers van een kennisorganisatie (behorende tot de
uitvoeringsorganisatie van JenV waarover hierboven verslag is gedaan) staan vermeld in tabel 3.5.
Wij hebben de items wederom gerangschikt van ‘meeste instemming’ (boven in de tabel) naar
‘minste instemming’.

47

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

Tabel 3.5: Percepties van ‘evidence-based’ werken en -beleid bij medewerkers van een kennisorganisatie
van het ministerie van JenV (in %) N=22
Wat is ‘evidence-based’ werken en -beleid?

1

2

3

Wetenschappelijke inzichten in wat werkt en
wat niet, zoals meta-analyses of
systematische reviews
Onafhankelijk kwalitatief wetenschappelijk
onderzoek

5

4

5

6

m

sd

7

45

50

5

4,52

0,51

0

45

45

5

4,38

0,74

0

Onafhankelijk kwantitatief wetenschappelijk
onderzoek

9

36

45

9

4,4

0,68

0

Beleidsevaluaties door onafhankelijke
wetenschappers

27

41

27

5

4

0,77

0

5

3,90

0,83

0

5

3,57

0,87

0

9

3,05

0,94

0

9

3,1

0,91

0

Kennis en ervaring vanuit professionele veld

5

23

45

23

Data-gedreven werken door het ministerie

9

36

36

14

Kennis en ervaring van mijzelf/ directe
collega’s

5

23

27

36

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

5

14

45

23

5

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

De volgorde van de items in gemiddeld meeste instemming van medewerkers van de
kennisorganisatie correspondeert volledig met die van de beleidsdirectie. De medewerkers van de
kennisorganisatie, die een onderzoekoriëntatie hebben in hun werkzaamheden, stellen dat
‘evidence-based’ werken inhoudt dat gebruik wordt gemaakt van wetenschappelijke kennis over
wat (al dan niet) werkt (95%). Daarna volgen onafhankelijk kwantitatief wetenschappelijk
onderzoek (81%) en onafhankelijk kwalitatief wetenschappelijk onderzoek (90%).
Beleidsevaluaties door onafhankelijke wetenschappers wordt door deze medewerkers iets
minder sterk gezien als basis voor evidentie (68%) dan door hun collega’s van de beleidsdirecties.
Wat betreft praktijkkennis is het interessant te zien dat de medewerkers van de kennisorganisatie
praktijkkennis iets minder sterk waarderen als vormen van evidentie dan hun collega’s op het
hoofdkantoor of op de beleidsdirecties.75 Dit betreft kennis en ervaring vanuit het professionele
veld (68%), data-gedreven werken door het ministerie (50%) en kennis en ervaring van henzelf of
directe collega’s (36%). Van de medewerkers oordeelt ruim een kwart (28%) dat beleidsevaluaties
uitgevoerd door beleidsdirecties van het ministerie kan worden gezien als ‘evidence-based’
werken en -beleid. Geen enkele medewerker van de kennisorganisatie is het overigens helemaal
eens met deze stelling.
Ook voor de medewerkers van de kennisorganisatie hebben wij nader onderzocht in hoeverre zij
verschillen in hun gemiddelde scores op de schalen van evidence als ‘gebruik maken van

75 Gegeven het geringere aantal respondenten vanuit de kennisorganisatie (n = 22) kunnen we hier alleen spreken over

tendensen. De verschillen zijn statistisch niet significant.

48

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

wetenschappelijke kennis’ en evidence als ‘gebruik maken van professionele kennis’.76 Dit geeft,
net als bij de medewerkers van de beleidsdirecties van het kerndepartement en het hoofdkantoor
van de uitvoeringsorganisatie, inzicht in de bijdrage die zij zien vanuit wetenschappelijke kennis
en professionele kennis aan hun evidence-based werken en -beleid. De onderstaande tabel 3.6
geeft de resultaten weer.
Tabel 3.6: Percepties van medewerkers van de kennisorganisatie van het ministerie van
JenV over ‘evidence-based’ werken en -beleid op basis van twee dimensies (in aantallen)
Wat is ‘evidence-based’ werken en -beleid?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
3
8
11
Wel
1
7
8
Totaal
4
15
19
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

Van de 19 medewerkers van de kennisorganisatie met een oriëntatie op expertise zien 15 (79%)
evidence-based werken als het gebruik maken van wetenschappelijke kennis en zien 8 (42%) dit
als het benutten van professionele kennis. Dit laatste percentage is een stuk lager dan bij de
beleidsdirecties en het hoofdkantoor van de uitvoeringsorganisatie. Die scoorden 52%
respectievelijk 67%
Ruim twee-vijfde van de medewerkers van de kennisorganisatie (42%) is van mening dat
‘evidence-based’ werken en -beleid betekent dat vooral gebruik wordt gemaakt van
onafhankelijke wetenschappelijke kennis. Dit is ‘evidence-based’ werken en -beleid volgens onze
strikte definitie.
Een vergelijkbaar percentage van de respondenten (37%) ziet ‘evidence-based’ werken en -beleid
vooral als ‘evidence-informed’ werken en -beleid: evidentie in beleid wordt gezien als een
gecombineerd gebruik van wetenschappelijke en professionele kennis.
Deze percentages komen vrijwel overeen met die van de collega’s die werkzaam zijn bij de
beleidsdirecties van het kerndepartement en bij het hoofdkantoor van de uitvoeringsorganisatie.
Dat de kennisorganisatie een sterke oriëntatie heeft op het ontwikkelen en delen van
gespecialiseerde expertise laat onverlet dat ook hier de helft van de medewerkers evidencebased invult vanuit een perceptie van ‘evidence-informed’ werken en -beleid.

76 Hierbij is wel enige voorzichtigheid geboden bij het voortborduren op deze twee onderliggende schalen. Gegeven het

geringe aantal respondenten geeft ook een schaalanalyse een beperkt inzicht. Een non-parametrische Mokkenschaalanalyse laat zien dat de interne consistentie van deze schaal wetenschappelijke kennis zwak tot redelijk is (Loevinger’s
H = .33) en die van de schaal van professionele kennis redelijk tot gemiddeld is (Loevinger’s H = .42). Het voordeel van
de Mokkenschaal is dat deze gegeneraliseerd mag worden naar andere populaties. De sterke schalen die wij eerder
vonden voor de medewerkers van de beleidsdirecties en het hoofdkantoor geven daarmee een belangrijke indicatie dat
wij deze ook voor de medewerkers van de kennisorganisatie kunnen gebruiken.

49

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

3.3.4 Enquête: antwoord op de deelvraag
Antwoord op deelvraag 2 (enquête). Wat wordt in de praktijk binnen het ministerie van JenV
verstaan onder ‘evidence-based’ werken en -beleid?
Het antwoord op de tweede deelvraag op basis van de enquêtes onder bijna 350 medewerkers is
helder. ‘Evidence-based’ werken en-beleid roept bij vrijwel alle medewerkers de associatie op van
wetenschappelijk onderzoek. Maar bij een meerderheid van de medewerkers roept het ook de
associatie op met praktijkkennis.
•

•

Meer dan de helft van de medewerkers definieert ‘evidence-based’ werken en beleid als
‘evidence-informed’, waarbij zowel gebruik wordt gemaakt van wetenschappelijke als
professionele kennis. Dit strookt niet met de door ons gehanteerde, strikte definitie van
‘evidence-based’ werken en -beleid.
Ongeveer een derde van alle medewerkers hanteert de strikte omschrijving en omarmt de
interpretatie van evidentie als het voornamelijk gebruik van kennis verkregen uit
wetenschappelijk onderzoek (en de eisen die daaraan gesteld worden zoals systematisch,
controleerbaar en onafhankelijk uitgevoerd, buiten het ministerie).

Of dit resultaat ook wordt onderschreven door de uitkomsten van de gehouden interviews is het
onderwerp dat in volgende paragraaf wordt behandeld.

3.4 Uitkomsten van de interviews
Naast de drie enquêtes onder beleidsmedewerkers van het ministerie van JenV zijn 23 interviews
afgenomen onder medewerkers van verschillende organisatieonderdelen op vier beleidsdossiers
(zie Appendix B). Het betreft organisatieonderdelen die actief zijn in specifieke fasen van het
beleidsproces (beleidsadvisering en -ontwikkeling versus beleidsuitvoering). De beleidsveldspecifieke beleidsdossiers (BD) worden aangeduid als BD-A, BD-B, BD-C en BD-D. Hieronder
presenteren wij onze uitkomsten langs drie lijnen. Eerst geven we een algemene indruk die
voortkomt uit alle interviews. Daarna maken we een dwarsdoorsnede aan de hand van de
beleidsveld-specifieke beleidsdossiers om vervolgens af te sluiten met een dwarsdoorsnede voor
de verschillende organisatieonderdelen die actief zijn in specifieke fasen uit het beleidsproces.

3.4.1

Algemeen beeld

In alle gesprekken is de geïnterviewden gevraagd wat zij verstaan onder ‘evidence-based’ werken
en -beleid. Het antwoord op de deelvraag vanuit de enquêtes (zie bovenstaand) over wat onder
‘evidence-based’ werken en -beleid is, wordt – in zijn algemeenheid – bevestigd in de gesprekken
met medewerkers in de beleidsontwikkeling en -uitvoering. In zeer veel gesprekken wordt het
gebruik van evidentie opgevat als ‘evidence-informed’ werken en -beleid. Dit betreft de
toepassing van een combinatie van verschillende kennisbronnen, waarvan wetenschappelijk
onderzoek er een is. De geïnterviewden geven aan dat ‘evidence-based’ verschillende facetten
kent, zoals de uitkomsten van wetenschappelijk onderzoek, kennis en kunde van de professional
en, bij bepaalde dossiers en afdelingen, ook opvattingen van andere stakeholders. ‘Evidencebased’ wordt vooral vaak gezien als kennis die aangeeft of ‘iets’ (een interventie) wel of niet
50

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

werkt. De kennisbron hoeft dan niet per se wetenschappelijk onderzoek te zijn. ‘Evidence’ wordt
eerder geassocieerd met het geven van een goede onderbouwing voor wat men aan het doen is.
‘Evidence-based’ beleid is met andere woorden het onderbouwen van beleid op basis van diverse
kennisbronnen. In een aantal gesprekken hebben geïnterviewden aangegeven dat volgens hen
‘evidence-based’ een attitude is, in de zin dat anekdotisch bewijs of signalen uit het veld
aanleiding kunnen zijn om actief op zoek te gaan naar meer systematisch, ‘hard bewijs’.
Slechts in een beperkt aantal gesprekken is ‘evidence-based’ werken aangeduid als het
voornamelijk gebruiken van de uitkomsten van (empirisch) wetenschappelijk onderzoek, deels op
basis van door het organisatieonderdeel zelf uitgevoerd onderzoek dan wel onderzoek
uitgevoerd door onafhankelijke derden, waaronder het WODC. ‘Evidence-based’ betekent het op
de hoogte zijn van de wetenschappelijke ontwikkelingen op het vakgebied en deze waar mogelijk
door-vertalen naar de uit te voeren werkzaamheden. De strikte definitie van ‘evidence-based’
werken zoals wij dit in dit onderzoek hanteren wordt ook in de interviews dus maar heel weinig
benoemd. ‘Evidence-informed’ werken en -beleid heeft in alle onderzochte beleidsdossiers en bij
de meeste organisatieonderdelen duidelijk de overhand.
Dit algemene beeld uit de interviews, dat de resultaten van de enquêtes onderschrijft, behoeft
wel twee nuanceringen. Hieronder bespreken wij deze.
• Vrij veel gesprekspartners gaven te kennen dat ‘evidence-based’ bij hun eigenlijk geen
duidelijk of belangrijk thema is. Er wordt weinig over gesproken. In een enkel interview
werd zelfs naar voren gebracht dat ‘evidence-based’ eigenlijk een non-issue is – als
‘gespreksthema’ nauwelijks interessant voor de taakuitvoering.
• Op de open vraag ‘wat verstaat u onder ‘evidence-based’ werken en -beleid?’ werd met
regelmaat pas na enige aarzeling geantwoord. Het bleek een lastige vraag waar de
geïnterviewde niet een-twee-drie een pasklaar antwoord op had. Deze aarzeling wekt
overigens weinig verbazing omdat, zoals aan het begin van dit hoofdstuk aangegeven,
ook in de literatuur geen consensus bestaat over wat onder ‘evidence-based’ moet
worden verstaan. Het is een ‘container-begrip’, wat een eenduidige interpretatie ook in de
praktijk in de weg zit.
Het resultaat is een divers palet aan antwoorden met een heldere gemeenschappelijke noemer:
onder evidence-based wordt in de beleidspraktijk ‘evidence-informed’ verstaan. Dit komt volledig
overeen met de bevindingen van de enquête. We vinden ook enkele verdiepende aanvullingen op
de resultaten van de enquête.
• De antwoorden op de stellingen uit de enquêtes (soms hoge scores op stellingen met
gesloten antwoordcategorieën) zouden de indruk kunnen wekken dat
beleidsmedewerkers een duidelijk beeld hebben wat zij onder ‘evidence-based’ verstaan.
Een dergelijke stelligheid komt in de gesprekken met beleidsmedewerkers (met open
vragen) niet direct naar boven. Daar overheerst vaak twijfel en aarzeling in het op eigen
initiatief omschrijven van het begrip ‘evidence-based’ werken en -beleid.

51

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

•

3.4.2

Uit de interviews komt bovendien het beeld naar voren dat de omschrijving van het
begrip ‘evidence-based’ mede wordt ingegeven door de mogelijkheden om bewijs te
kunnen gebruiken in het verrichten van werkzaamheden. Sommige werkzaamheden
lenen zich meer voor ‘evidence-based’ werken dan andere.

Beleidsontwikkeling en beleidsuitvoering bij typen beleidsvraagstukken

De veronderstelling dat de fase in het beleidsproces van invloed is op de opvatting wat onder
‘evidence-based’ moet worden verstaan, kan op basis van de interviews deels worden bevestigd:
• Bij de afdelingen van het kerndepartement die zich sterk richten op beleidsontwikkeling is
in alle gevallen sprake van ‘evidence-informed’ werken.
• De strikte definitie van ‘evidence-based’ werken als het voornamelijk gebruik maken van
wetenschappelijke kennis wordt alleen gehanteerd door enkele uitvoerende afdelingen
c.q. organisatieonderdelen.
De verschillende afdelingen en organisatieonderdelen definiëren ‘evidence-based’ dus anders
naar gelang de plaats van hun werkzaamheden in de beleidscyclus. Hieronder geven wij enkele
voorbeelden om dit onderscheid in opvattingen te illustreren.
Beleidsveld met ethisch vraagstuk. Bij een uitvoeringsorganisatie in beleidsdossier BD-D wordt
‘evidence-based’ werken gezien als het systematische gebruik van bewijs en kennis voortkomend
uit wetenschappelijk onderzoek of het gebruik van instrumenten die zijn gebaseerd op
wetenschappelijke kennis. Bij een andere uitvoeringsorganisatie in hetzelfde beleidsdossier wordt
op basis van het onderliggende vraagstuk gekeken naar de mogelijkheden die de wetenschap
biedt om het op te lossen, dit indien mogelijk toe te passen en vervolgens te monitoren of het
werkt zoals beoogd. De beleidsafdeling van het kerndepartement op dit beleidsdossier hanteert
evenwel een veel ruimere definitie. ‘Evidence-based’ werken wordt op de beleidsafdeling gezien
als het gebruik van informatie die voortkomt uit het monitoren van beleid en informatie die wordt
verkregen door contacten met verschillende partners uit het veld. ‘Evidence-based’ werken wordt
door de beleidsafdeling gezien als het gedegen onderbouwen van beleid met data uit het veld en
vormt met regelmaat het startpunt voor agendavorming en beleidsontwikkeling. In ons
begrippenkader kan hier gesproken worden van een ‘evidence-informed’ zienswijze.
Beleidsveld met ‘ontembaar’ politiek vraagstuk. Ook in het beleidsdossier BD-A zien geïnterviewden
van de beleidsuitvoerende instanties ‘evidence-based’ beleid als beleid dat wordt uitgevoerd op
basis van eerder empirisch onderzoek, waaronder wetenschappelijk onderzoek zoals verricht
door het WODC of de eigen onderzoeksafdeling. Ook beleidsevaluaties worden gezien als
‘evidence-based’ werken en is van belang voor de onderbouwing van beleidsaanpassingen.
Beleidsveld met wetenschappelijk vraagstuk. Ook in het beleidsdossier BD-C definiëren de
geïnterviewden ‘evidence-based’ werken en -beleid verschillend, waarbij opgemerkt dat het
thema ‘evidence-based’ werken weinig aandacht geniet in dit beleidsdossier. Bij de afdeling op
het kerndepartement wordt ‘evidence-based’ gezien als het gebruik van informatie uit het veld,
technische informatie over systemen, producten en bestaande data, waarbij ervaringen van
professionals en technische kennis het belangrijkst zijn. Het draait daarbij vooral om technische
52

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

kennis over wat wel en wat niet werkt. Bij de uitvoerende organisaties wordt ‘evidence-based’
opgevat als werken en -beleid gebaseerd op wetenschappelijke inzichten. Het belang van
wetenschappelijke kennis wordt door de beleidsuitvoerende organisaties onderkend, maar zij
merken daarbij direct op dat de praktijk zich er vaak niet voor leent.
Beleidsveld met technisch-wetenschappelijk vraagstuk. In het beleidsdossier BD-B wordt geen
onderscheid tussen geïnterviewden aangetroffen in hun omschrijvingen van ‘evidence-based’.
Zowel door de beleidsontwikkelaars als de -uitvoerders wordt het in onze terminologie
omschreven als ‘evidence-informed’. Bij de beleidsontwikkeling in dit dossier wordt ‘evidencebased’ werken gezien als het werken op basis van bronnen, maar niet zozeer op basis van
wetenschappelijk onderzoek. ‘Evidence’ wordt bij deze beleidsafdeling breder opgevat dan
uitkomsten van wetenschappelijk onderzoek. Uit sporadisch gehouden interne gesprekken over
‘evidence-based’ werd het gezien als het gebruik maken van kennis, waarbij het om meer gaat
dan wetenschappelijk onderbouwde kennis. In tegenstelling tot de andere beleidsdossiers
refereert de uitvoerende organisatie bij CS-B bij het omschrijven van ‘evidence-based’ werken
niet direct aan het gebruik van wetenschappelijk onderzoek. Het wordt eerder gezien als datagedreven werken, waar kennis berust op monitor-uitkomsten en analyses van zelf vergaarde
gegevens. Onder ‘evidence-based’ wordt verstaan het benutten van expertkennis, ervarings- en
observatiekennis en ‘fact-finding onderzoek’ door derden.

3.4.3 Interviews: antwoord op de deelvraag
Antwoord op deelvraag 2 (interviews). Wat wordt in de praktijk binnen het ministerie van JenV
verstaan onder ‘evidence-based’ werken en -beleid?
Het antwoord op de tweede deelvraag op basis van de 23 interviews onder medewerkers van
verschillende organisatieonderdelen op vier beleidsdossiers komt overeen met de resultaten van
de enquête. De strikte definitie van ‘evidence-based’ werken, zoals wij dit in dit onderzoek
hanteren, wordt in de interviews heel weinig benoemd. Alleen enkele organisatieonderdelen die
actief zijn in de uitvoering hanteerden de strikte definitie. Het betreft dan deels door het
organisatieonderdeel zelf uitgevoerd onderzoek of onderzoek uitgevoerd door derden,
waaronder het WODC. ‘Evidence-based’ betekent in de praktijk voornamelijk het op de hoogte
zijn van de wetenschappelijke ontwikkelingen op het vakgebied en deze, waar mogelijk, te
vertalen naar de uit te voeren werkzaamheden.
De interviews gaven de volgende nuanceringen:
• Er bestaat weinig duidelijkheid, en dus consensus, over wat precies onder ‘evidence-based’
moet worden verstaan.
• ‘Evidence-based’ of ‘evidence-informed’ werken en -beleid is voor veel geïnterviewden
eigenlijk geen belangrijk thema.
• Wetenschappelijke evidentie wordt aangemerkt als bewijs wanneer het potentieel de
taakvervulling kan ondersteunen, naast andere kennisbronnen die ook als ‘evidentie’ worden
aangemerkt.

53

Hoofdstuk 3: Wat is ‘evidence-based’ werken en -beleid?

54

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

4 Daadwerkelijk gebruik van kennis in beleid
In dit hoofdstuk gaan wij in op de derde deelvraag van ons onderzoek: (a) In hoeverre vindt
kennisbenutting plaats binnen het ministerie van JenV vanuit ‘evidence-based’ werken en -beleid in
vergelijking met andere vormen van kennisbenutting? (b) Welke toegangsbronnen hanteren
medewerkers van het ministerie van JenV om wetenschappelijke kennis te ontsluiten? Voor het
beantwoorden van deze vragen bouwen wij voort op de beschrijvingen uit het vorige hoofdstuk.
Daar lag het accent op de percepties van de beleidsmedewerkers op ‘evidence-based’ werken en beleid. In dit hoofdstuk gaat het om het daadwerkelijk gebruik van kennis in beleid en welke bronnen
worden geraadpleegd om deze kennis te vergaren. Na een korte inleiding doen wij dit wederom op
basis van de uitkomsten van de enquête die zijn gehouden met ambtenaren van de beleidsdirecties,
het hoofdkantoor van de uitvoerende organisatie en professionals van een van de kennisorganisaties
van het ministerie van JenV en van de interviews met ambtenaren van de beleidsdirecties en diverse
uitvoerende organisaties. Wij hanteren daarbij dezelfde opzet als in het vorige hoofdstuk.

4.1 Verschil tussen woord en daad?
In het vorige hoofdstuk is aangegeven dat zowel beleidswetenschappers als beleidsmakers het
gebruik van wetenschappelijke kennis in beleid toejuichen. Ondanks de soms hartverwarmende
pleidooien om gebruik te maken van wetenschappelijke kennis bij de onderbouwing en
legitimering van beleid wordt in de praktijk wetenschappelijke kennis met regelmaat genegeerd.
Vaak is de retoriek van ‘evidence-based’ werken en -beleid indrukwekkender dan de praktijk ervan
(Head 2016, p. 479). Kortom: zelfs als wetenschappelijke kennis beschikbaar is, bestaat nog geen
garantie dat deze kennis ook daadwerkelijk wordt gebruikt. Hier kunnen veel verschillende
redenen voor zijn. In de beleidswetenschappelijke literatuur worden verschillende factoren
aangemerkt die van invloed zijn op kennisbenutting in de beleidspraktijk deze beschrijven wij in
het volgende hoofdstuk. In dat hoofdstuk zullen wij ook een verklaring bieden voor het gebruik
van verschillende kennisbronnen bij het werken en beleid van het ministerie van JenV.

4.2 Gebruik van kennis: resultaten van de enquête
In de uitgezette enquêtes hebben wij respondenten gevraagd naar het daadwerkelijk gebruik van
verschillende kennisbronnen ten behoeve van hun werken en beleid. Daartoe hebben wij uit de
academische literatuur (voor een verantwoording zie Appendix B) verschillende bronnen
gedestilleerd en medewerkers gevraagd of zij hun werk en beleid baseren op deze bronnen.
Hiervoor hebben wij voor een deel de stellingen gebruikt die in het vorige hoofdstuk aan de orde
kwamen (zie Talbot en Talbot 2014 en voetnoot 66 in hoofdstuk 3). Wij hebben drie stellingen
toegevoegd. Deze aanvullingen betreffen stellingen over ‘instructies van leidinggevenden’,
‘parlementaire stukken’ en ‘jurisprudentie’. De eerste aanvullende stelling betreft de context van
de hiërarchie; de tweede en derde betreffen het juridisch kader.

55

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Daarnaast hebben wij gevraagd naar de toegangsbronnen die respondenten gebruiken voor het
ontsluiten van (wetenschappelijke) kennis. De items in deze vraag zijn gebaseerd op Newman et
al. (2017), Cherney et al. (2015), Talbot en Talbot (2014) en Jennings Jr. en Hall (2012). De items zijn
erop gericht een algemeen beeld te verkrijgen van het gebruik van verschillende kennisbronnen.
De vragen maken het niet mogelijk om direct te achterhalen op welke verschillende manieren
gebruik wordt gemaakt van de kennisbronnen (bijvoorbeeld ten behoeve van inspiratie of ten
behoeve van directe taakvervulling).
In de enquête hebben wij deze vragen gesteld aan medewerkers van drie typen
organisatieonderdelen: (a) de beleidsdirecties van het kerndepartement, (b) het hoofdkantoor
van een grote uitvoerende organisatie van JenV en (c) een kennisorganisatie. De resultaten van
de enquête bespreken wij hieronder achtereenvolgens voor elk van deze drie typen
organisatieonderdelen.

4.2.1

Medewerkers van de beleidsdirecties

We hebben uiteindelijk twaalf bronnen geselecteerd en respondenten gevraagd om op een
vijfpuntschaal aan te geven in hoeverre deze bronnen de basis vormen voor hun werkzaamheden
en beleidstukken binnen hun afdeling. Deze bronnen zijn opgenomen in tabel 4.1.
Uit tabel 4.1 blijkt dat de meeste respondenten hun werkzaamheden en beleidstukken baseren op
beleidsdocumenten en regelgeving (94%), kennis en ervaring van henzelf of directe collega’s
(92%), kennis en lessen uit de praktijk vanuit het professionele veld (87%), parlementaire stukken
(76%), instructies van leidinggevende (72%) en jurisprudentie (62%). Onafhankelijk kwalitatief (60%)
en kwantitatief (52%) wetenschappelijk onderzoek, onafhankelijke wetenschappelijke
beleidsevaluaties (60%), departementale beleidsevaluaties (52%), meta-analyses en systematische
reviews (49%) en opbrengsten van data-gedreven werken (39%) worden door veel minder
respondenten aangemerkt als informatiebron voor hun beleidsmatig handelen.

56

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Tabel 4.1: Gebruik van verschillende kennisbronnen ten behoeve van ‘evidence-based’ werken en beleid bij ambtenaren van de beleidsdirecties van het ministerie van JenV (in %) N=272
Werkzaamheden of beleidstukken binnen
mijn afdeling baseren wij op:

1

2

3

4

5

6

m

sd

7

Beleidsdocumenten en regelgeving

0

1

3

52

42

2

4,37 0,63

13

Kennis en ervaring van mijzelf/ directe
collega’s

0

3

5

63

29

1

4,19 0,64

13

Kennis en lessen uit de praktijk vanuit mijn
professionele veld

0

3

6

61

26

3

4,14 0,67

13

Parlementaire stukken

1

5

11

44

32

7

4,07 0,90

13

Instructies van leidinggevenden

1

6

18

59

13

3

3,78 0,80

13

Jurisprudentie

3

9

16

41

21

10

3,74 1,04

13

Onafhankelijk kwalitatief wetenschappelijk
onderzoek

3

11

19

45

15

7

3,61

1,01

13

Beleidsevaluaties door onafhankelijke
wetenschappers

2

13

19

47

13

6

3,58 0,96

13

Onafhankelijk kwantitatief
wetenschappelijk onderzoek

4

14

22

40

12

8

3,46 1,04

13

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

3

16

24

45

7

5

3,39 0,95

13

Wetenschappelijke inzichten in wat werkt
en wat niet, zoals meta-analyses of
systematische reviews

4

15

24

36

13

8

3,44 1,05

13

Opbrengsten van data-gedreven werken
binnen het ministerie

5

21

24

31

8

12

3,17 1,06

13

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5);
Weet niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

Vergelijking gebruik met perceptie. Zoals in het vorige hoofdstuk is aangegeven vindt het
merendeel van de respondenten dat evidence-based werken en -beleid betekent dat in het beleid
gebruik wordt gemaakt van wetenschappelijke kennis, beleidsdocumentatie én kennis uit de
praktijk. Dit beeld vinden wij ook terug in het gebruik van de verschillende kennisbronnen door
medewerkers van de beleidsdirecties in hun werken en beleid. Professionele kennisbronnen
(kennis en ervaring uit de praktijk en kennis en ervaring van collega’s) worden echter door hen
vaker gebruikt dan wetenschappelijke kennisbronnen. Ten slotte wat opmerkelijk is dat in tabel
4.1 hierboven bijna 90% van de beleidsambtenaren aan geeft kennis en ervaring van henzelf of
collega’s te gebruiken als onderbouwing voor beleid. In hoofdstuk 4 geeft minder dan de helft
(44%) van de respondenten aan dat te beschouwen als evidence-based werken en -beleid. Het
bovenstaande beeld wordt verder bevestigd wanneer we de uitkomsten van de enquête nader
analyseren met behulp van een schaalanalyse. De twaalf items die verschillende kennisbronnen
representeren, kunnen worden gereduceerd tot drie onderliggende dimensies.77

77 Hiervoor is eerst een factoranalyse uitgevoerd: Principale componentenanalyse, varimax, Kaiser rotatie (N=249). De

items met de hoogste bijdrage aan een dimensie (de hoogste ‘lading’ op de componenten) hebben wij vervolgens in
een schaalanalyse op interne consistentie onderzocht. De schaalscore van een respondent hebben wij berekend als de
gemiddelde score op de items in de schaal.

57

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

De eerste dimensie van evidence-based werken betreft het gebruik van onafhankelijke
wetenschappelijke kennis (dimensie 1). Zoals hierboven beschreven, wordt deze dimensie ook
gerapporteerd in de wetenschappelijke literatuur naar kennisgebruik ten behoeve van beleid. De
schaal die hoort bij deze dimensie wordt gevormd door de items “Opbrengsten van datagedreven werken binnen het ministerie van JenV”, “Beleidsevaluaties door onafhankelijke
wetenschappers”, “Wetenschappelijke inzichten in wat werkt en wat niet, zoals meta-analyses of
systematische reviews”, “Onafhankelijk kwantitatief wetenschappelijk onderzoek” en
“Onafhankelijk kwalitatief wetenschappelijk onderzoek.” De interne consistentie van deze schaal
is zeer hoog (Cronbach’s α = .90).78
De tweede dimensie betreft het gebruik van professionele kennis. Dit bestaat uit verschillende
vormen van praktijkkennis. De schaal die hoort bij deze dimensie wordt gevormd door de items
“Kennis en ervaring van mijzelf/ directe collega’s” en “Kennis en lessen uit de praktijk vanuit mijn
professionele veld”. Ook deze dimensie wordt genoemd in de wetenschappelijke literatuur naar
kennisgebruik ten behoeve van beleid. De interne consistentie van deze schaal is ook hoog.79
De derde dimensie die wij aantroffen, betreft het gebruik van beleidsdocumentatie (dimensie 3).
Interessant genoeg wordt deze dimensie in de literatuur niet expliciet gerapporteerd als
kennisbron ten behoeve van beleid, terwijl dit vanzelfsprekend een belangrijke (gecodificeerde)
bron van kennis betreft. De schaal die hoort bij deze dimensie wordt gevormd door de items
“Beleidsdocumenten en regelgeving”, “Parlementaire stukken” en “Jurisprudentie”. De interne
consistentie van deze schaal is goed.80 In de rest van dit hoofdstuk zullen we deze dimensie niet
nader bespreken en ingaan op de dimensies van wetenschappelijke kennis en professionele
kennis, omdat beide centraal staat in ‘evidence-based’ en ‘evidence-informed’ werken en -beleid.
Het gebruik van beleidsdocumenten zullen we nader analyseren in hoofdstuk 5.

78 Het item “Beleidsevaluaties uitgevoerd door beleidsdirecties van het ministerie” is niet opgenomen in deze dimensie

omdat deze niet schaalbaar bleek.
79 Loevinger’s H = .52. Voor deze schaal hebben wij Loevinger’s H berekend met behulp van een Mokkenschaalanalyse
voor polytome items. De reden is dat deze schaalanalyse geschikt is om de consistentie te berekenen van een schaal
bestaande uit twee items. Het item “Instructies van leidinggevenden” is niet opgenomen aangezien het item niet sterk
genoeg laadt op deze dimensie. Dit resultaat is niet onlogisch: instructies van leidinggevenden worden door de
medewerkers kennelijk niet gezien als een vorm van praktijkkennis ten behoeve van werken en beleid.
80 Cronbach’s α = .69.

58

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

4
3
2

Gebruik van professionele kennis

5

Figuur 4.1: Gebruik van kennis door medewerkers van de beleidsdirecties van JenV op
basis van twee onderliggende dimensies, wetenschappelijke- en professionele kennis

1

2
3
4
Gebruik van wetenschappelijke kennis

5

Gebruik van wetenschappelijke kennis

In figuur 4.1 zijn de scores van de beleidsambtenaren op de eerste twee dimensies weergegeven.
Een hoge score op een van deze assen betekent dat de betreffende beleidsambtenaar veel
gebruik maakt van wetenschappelijke en/ of professionele kennis. De rode lijn geeft de scheidslijn
aan tussen een gemiddelde antwoordcategorie “neutraal” en de categorieën “eens”/ “helemaal
eens”. Hieronder bespreken wij aan de hand van tabel 4.2 de verdeling die ook in figuur 4.1 te zien
is.
Uit tabel 4.2, die is gebaseerd op figuur 4.1, blijkt dat van ‘evidence-based’ werken en -beleid
binnen de beleidsdirecties weinig sprake is. Van de 209 beleidsambtenaren maken 99 (47%)
gebruik van wetenschappelijke kennis als bron voor hun werken en beleid. Daarentegen maken
179 van de 209 (86%) van de beleidsambtenaren gebruik van praktijkkennis als bron voor hun
werken en beleid. Vrijwel niemand (4%) werkt uitsluitend ‘evidence-based’, zoals strikt door ons
gedefinieerd. Daarentegen stelt iets meer dan twee-vijfde van de beleidsambtenaren (42%)
uitsluitend gebruik te maken van kennis uit de praktijk. Van de beleidsambtenaren stellen 91 (44%)
hun praktijkkennis te integreren met wetenschappelijke kennis. Dit hebben wij eerder
omschreven als werken volgens de principes van ‘evidence-informed’ werken en -beleid.
Tabel 4.2: Gebruik door medewerkers van de beleidsdirecties van JenV van
wetenschappelijke- en professionele kennis in hun werken en beleid (in aantallen)
Van welke kennisbron maakt u daadwerkelijk gebruik?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
22
8
30
Wel
88
91
179
Totaal
110
99
209
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

59

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Interessant is dat, ondanks dat iets meer dan een-derde van de ambtenaren van de
beleidsdirecties de strikte definitie van ‘evidence-based’ werken en -beleid onderschrijft (zie
hoofdstuk 3), slechts vier procent aangeeft ook volgens deze strikte definitie te werken. Er is, met
andere woorden, uitgaande van de strikte definitie in de praktijk geen sprake van ‘evidencebased’ werken en -beleid op de beleidsdirecties van het ministerie van JenV. Dit wil niet zeggen
dat wetenschappelijke kennis niet wordt gebruikt: het gebeurt echter alleen uitsluitend in
combinatie met professionele kennis. Van belang is de constatering dat twee-vijfde van de
medewerkers (88 van de 209) stelt uitsluitend te werken op basis van praktijkkennis.
Verschillen tussen de perceptie en het daadwerkelijk gebruik zijn ook te zien wanneer we kijken
naar ‘evidence-informed’ werken en -beleid, (als ‘wetenschappelijke kennis + professionele kennis),
al zijn de verschillen niet zo groot. De integratie van (praktijk)kennis met extern bewijsmateriaal,
voortkomend uit wetenschappelijk onderzoek, wordt door een kleine meerderheid van de
medewerkers gezien als ‘evidence-based’ werken (zie hoofdstuk 3). Evenwel laat tabel 4.2 zien
dat 44 procent van de beleidsambtenaren aangeeft in de praktijk ook ‘evidence-informed’ te
werken (91/209). Een belangrijk resultaat van de enquête onder de departementale
beleidsambtenaren van JenV is dus dat het gebruik van ‘evidence’, zelfs in meest ruime definitie,
bij ongeveer de helft van de beleidsambtenaren (99/209) een rol speelt in hun werken en beleid.

4.2.2

Medewerkers hoofdkantoor uitvoerende organisatie

De uitkomsten van de enquête over het gebruik van informatiebronnen onder medewerkers van
het hoofdkantoor van een uitvoerende organisatie van JenV staan vermeld in tabel 4.3. Ook nu
hebben wij de items gerangschikt van gemiddeld meeste instemming (boven in de tabel) naar
gemiddeld minste instemming.
Uit tabel 4.3 blijkt dat vrijwel alle respondenten vanuit het hoofdkantoor van de uitvoerende
organisatie hun werkzaamheden en beleidstukken baseren op beleidsdocumenten en regelgeving
(96%), kennis en lessen uit de praktijk vanuit het professionele veld (96%), en kennis en ervaring
van henzelf of directe collega’s (96%). Daarna volgen kaders die volgen uit jurisprudentie (73%) en
uit instructies van leidinggevenden (73%) en parlementaire stukken (63%). Rond de helft van de
medewerkers van het hoofdkantoor maakt gebruik van departementale beleidsevaluaties (56%),
onafhankelijke wetenschappelijke beleidsevaluaties (48%), onafhankelijk kwalitatief onderzoek
(51%), opbrengsten van data-gedreven werken (51%), onafhankelijk kwantitatief onderzoek (50%)
en meta-analyses en systematische reviews (46%).
Vergelijking gebruik met perceptie. Ook het merendeel van de medewerkers van het hoofdkantoor
geeft in het vorige hoofdstuk (3) aan dat ‘evidence-based’ werken en -beleid voor hen betekent
dat in het werken en beleid gebruik wordt gemaakt van wetenschappelijke kennis,
beleidsdocumentatie én kennis uit de praktijk. Dit beeld wordt bevestigd in het daadwerkelijk
gebruik, echter geven de respondenten hier aan dat professionele kennisbronnen meer worden
gebruikt dan wetenschappelijke kennisbronnen. Ook hier (tabel 4.3) is een vergelijkbaar verschil
te zien tussen het gebruik van kennis en ervaring van henzelf of collega’s (93%), terwijl ruim de
helft (58%) aangeeft dat te beschouwen als ‘evidence-based’ werken en -beleid.
60

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Tabel 4.3: Gebruik van verschillende kennisbronnen ten behoeve van ‘evidence-based’ werken en beleid bij het hoofdkantoor van een uitvoerende organisatie van het ministerie van JenV (in %) N=46
Werkzaamheden of beleidstukken binnen
mijn afdeling baseren wij op:

1

2

sd

7

38

4,33 0,57

13

68

28

4,23 0,53

13

5

63

33

4,28 0,55

13

3

18

63

10

3,79 0,78

13

Instructies van leidinggevenden

5

23

63

10

3,78 0,70

13

Parlementaire stukken

15

23

53

10

3,58 0,87

13

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

13

30

43

13

3

3,56 0,88

13

Opbrengsten van data-gedreven werken
binnen het ministerie

13

33

43

8

5

3,47 0,83

13

Beleidsdocumenten en regelgeving
Kennis en ervaring van mijzelf/ directe
collega’s
Kennis en lessen uit de praktijk vanuit mijn
professionele veld
Jurisprudentie

3

3

4

5

5

58

5

6

5

m

Onafhankelijk kwalitatief wetenschappelijk
onderzoek

3

15

25

38

13

8

3,46 1,02

13

Onafhankelijk kwantitatief
wetenschappelijk onderzoek

5

13

28

35

15

5

3,45 1,08

13

15

30

35

13

8

3,49 0,93

13

25

18

33

13

5

3,18 1,20

13

Beleidsevaluaties door onafhankelijke
wetenschappers
Wetenschappelijke inzichten in wat werkt
en wat niet, zoals meta-analyses of
systematische reviews

8

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens
(5); Weet niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

Voor de medewerkers van het hoofdkantoor hebben wij dezelfde dimensies onderzocht die wij
ook bij de beleidsdirecties hebben gevonden. Wij vinden dan ook dezelfde drie schalen ook terug
in de antwoordpatronen van de medewerkers van het hoofdkantoor.81 Ook hier vinden wij een
eerste dimensie wetenschappelijke kennis, een tweede dimensie die bestaat uit items die
professionele kennis meten en een derde dimensie het gebruik van documenten.

81 Aangezien het aantal respondenten niet groot is, hebben wij geen factor analyse uitgevoerd. Dezelfde schalen, als

gevonden in de antwoordpatronen van het beleidsdepartement, zijn geanalyseerd. De schaal wetenschappelijke kennis
bestaat uit de items “Beleidsevaluaties door onafhankelijke wetenschappers”, “Wetenschappelijke inzichten in wat
werkt en wat niet, zoals meta-analyses of systematische reviews”, “Onafhankelijk kwantitatief wetenschappelijk
onderzoek” en “Onafhankelijk kwalitatief wetenschappelijk onderzoek.”. De interne consistentie van deze schaal is
sterk (Cronbach’s α = .93; Loevinger’s H = .79). De schaal professionele kennis wordt gevormd door twee items “Kennis
en ervaring van mijzelf/ directe collega’s” en “Kennis en lessen uit de praktijk vanuit mijn professionele veld” de interne
consistentie van deze schaal is redelijk (Loevinger’s H = .43). De derde schaal gebruik van beleidsdocumentatie wordt
gevormd door de items “Beleidsdocumenten en regelgeving”, “Parlementaire stukken” en “Jurisprudentie”. De
interne consistentie van deze schaal is redelijk (Cronbach’s α = .65; Loevinger’s H = .52).

61

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Tabel 4.4: Gebruik door medewerkers van het hoofdkantoor van een uitvoerende organisatie
van JenV van wetenschappelijke- en professionele kennis in hun werken en beleid (in aantallen)
Van welke kennisbron maakt u daadwerkelijk gebruik?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
2
2
4
Wel
21
11
32
Totaal
23
13
36
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

Uit tabel 4.4 blijk dat van ‘evidence-based’ werken en -beleid ook bij het hoofdkantoor van een
uitvoerende organisatie weinig sprake is (op basis van de strikte definitie). Van de 36
medewerkers geven 13 (36%) aan gebruik te maken van wetenschappelijke kennis bij hun werk en
beleid. Maar 2 medewerkers (6%) maken uitsluitend gebruik van wetenschappelijke kennis als
bron voor hun werken en beleid; dit in tegenstelling tot de 21 (58%) van de medewerkers die
aangegeven uitsluitend gebruik te maken van professionele kennis. Van de medewerkers geven 11
(31%) aan gebruik te maken van zowel wetenschappelijke alsook professionele kennis als bron
voor hun werk en beleid. Dit is eerder beschreven als ‘evidence-informed’ werken en -beleid
(wetenschappelijke kennis + professionele kennis).
Opmerkelijk is dat bijna een derde van de medewerkers van het hoofdkantoor aangeven de
strikte definitie van ‘evidence-based’ werken en -beleid, dus alleen wetenschappelijke kennis, te
onderschrijven (zie hoofdstuk 3), slechts 6% aangeeft zo ook te werken. Dit fenomeen is ook
zichtbaar bij ‘evidence-informed’ werken en -beleid, waar ruim de helft aangeeft dit ook als
‘evidence-based’ werken en -beleid te zien (zie hoofdstuk 3), werkt maar 31% ook zo in de praktijk.
Een belangrijk resultaat bij de enquête van de medewerkers van het hoofdkantoor van een
uitvoerende organisatie van JenV is dus dat 36% gebruik maakt van ‘evidence’ in de meest ruime
zin van het woord.

4.2.3

Medewerkers kennisorganisatie

De uitkomsten van de enquête onder medewerkers van de kennisorganisatie staan vermeld in
tabel 4.5. Ook nu hebben wij de items gerangschikt van gemiddeld meeste instemming (boven in
de tabel) naar gemiddeld minste instemming.
Uit tabel 4.5 blijkt dat, opvallend genoeg, vrijwel alle respondenten vanuit de kennisorganisatie
gebruik maken van kennis en ervaring van henzelf of directe collega’s (95%). De meeste
respondenten vanuit de kennisorganisatie maken daarnaast gebruik van kennis en lessen uit de
praktijk vanuit het professionele veld (90%), beleidsdocumenten en regelgeving (90%), en
jurisprudentie (80%). Veel minder medewerkers, ongeveer twee-derde, baseert de
werkzaamheden en beleidsstukken op meta-analyses en systematische reviews (65%), op
onafhankelijk kwantitatief wetenschappelijk onderzoek (65%), onafhankelijk kwalitatief
wetenschappelijk onderzoek (60%) en instructies van leidinggevenden (65%). Onafhankelijke
wetenschappelijke beleidsevaluaties worden minder gebruikt door medewerkers van de
62

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

kennisorganisatie (45%), net zoals de opbrengsten van data-gedreven werken (40%) en
departementale beleidsevaluaties (40%). Parlementaire stukken worden vrijwel niet gebruikt
(20%).
Tabel 4.5: Gebruik van verschillende kennisbronnen ten behoeve van ‘evidence-based’ werken en
beleid bij een kennisorganisatie van het ministerie van JenV (in %) N=22
Werkzaamheden of beleidstukken binnen
mijn afdeling baseren wij op:

1

Kennis en ervaring van mijzelf/ directe
collega’s
Beleidsdocumenten en regelgeving

2

3

4

5

5

65

10

6

m

sd

7

30

4,25 0,55

9

65

25

4,05 0,83

9

4,25 0,64

9

4,11 0,66

9

3,65 0,67

9

Kennis en lessen uit de praktijk vanuit mijn
professionele veld

10

55

35

Jurisprudentie

15

55

25

30

60

5

Wetenschappelijke inzichten in wat werkt
en wat niet, zoals meta-analyses of
systematische reviews

15

45

20

20

4,06 0,68

9

Onafhankelijk kwantitatief
wetenschappelijk onderzoek

15

50

15

20

4

0,63

9

Onafhankelijk kwalitatief wetenschappelijk
onderzoek

20

40

20

20

4

0,73

9

15

35

10

35

3,69 1,03

9

10

25

25

15

20

3,44 1,15

9

15

25

35

5

20

3,38 0,89

9

20

30

10

10

25

3

9

Instructies van leidinggevenden

5

Beleidsevaluaties door onafhankelijke
wetenschappers

5

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

5

Opbrengsten van data-gedreven werken
binnen het ministerie
Parlementaire stukken

5

5

1,13

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5);
Weet niet/ Niet van toepassing (6); Ontbrekende waarnemingen (7).

Vergelijking gebruik met perceptie. Ook bij de kennisorganisatie geeft het merendeel van de
medewerkers aan (zie hoofdstuk 3) dat ‘evidence-based’ werken en -beleid voor hen betekent dat
in het werken en beleid gebruik wordt gemaakt van wetenschappelijke kennis, en in mindere
mate beleidsdocumentatie én kennis uit de praktijk. Opmerkelijk is dat, terwijl slechts 39% van de
medewerkers aangeeft (hoofdstuk 3) dat kennis en ervaring van hunzelf en collega’s te zien als
‘evidence’, dit toch de meest gebruikte vorm van kennis is (95%) bij de medewerkers van de
kennisorganisatie.

63

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Voor de medewerkers van de kennisorganisatie hebben wij dezelfde schalen berekend vanuit de
onderliggende dimensies die wij bij de beleidsdirecties hebben gevonden.82
Tabel 4.6: Gebruik door medewerkers van de kennisorganisatie van JenV van
wetenschappelijke- en professionele kennis in hun werken en beleid (in aantallen)
Van welke kennisbron maakt u daadwerkelijk gebruik?
Gebruik maken van wetenschappelijke kennis
Niet
Wel
Totaal
Gebruik maken van professionele kennis
Niet
2
0
2
Wel
3
8
11
Totaal
5
8
13
Noot. De categorie “wel” is toegekend wanneer de respondent gemiddeld hoger scoort dan
“neutraal” op de items van de schaal.

Uit tabel 4.6 blijkt dat er alleen sprake is van ‘evidence-informed’ werken en -beleid en niet van
‘evidence-based’ werken en -beleid bij deze kennisorganisatie. Van ‘evidence-based’ werken en beleid in de strikte definitie, dus als alleen wetenschappelijke kennis, is geen sprake. Van de 13
medewerkers geven 8 (62%) aan gebruik te maken van wetenschappelijke kennis in combinatie
met professionele kennis (‘evidence-informed’ werken en -beleid) bij hun werk en beleid. Geen
enkele respondent maakt uitsluitend gebruik van wetenschappelijke kennis als bron voor hun
werken en beleid; dit in tegenstelling tot de 3 (23%) van de medewerkers die aangegeven
uitsluitend gebruik te maken van professionele kennis.
Opmerkelijk is dat ruim twee vijfde van de medewerkers van de kennisorganisatie aangeven de
strikte definitie van ‘evidence-based’ werken en -beleid, dus alleen wetenschappelijke kennis, te
onderschrijven (zie hoofdstuk 3), maar dat geen enkele respondent aangeeft ook zo te werken. In
tegendeel, bijna twee-derde vindt dat ‘evidence-based’ ook ‘evidence-informed’ werken en beleid betreft (zie hoofdstuk 3). Een ander belangrijk resultaat is dat ruim driekwart (79%)
aangeeft ‘evidence-based’ werken en -beleid te zien als ‘evidence-based’ of ‘evidence-informed’
(zie hoofdstuk 3) en dat 62% aangeeft ook zodanig te werken.

4.2.4 Deelconclusie over gebruik: enquêtes
Wanneer wij de uitkomsten van de drie enquêtes vergelijken dan is te zien dat praktijkkennis,
beleidsdocumenten, jurisprudentie en instructies van leidinggevenden meer worden gebruikt in
het werken en beleid dan enige vorm van wetenschappelijke kennis (zie tabellen 4.1, 4.3 en 4.5).
Niet geheel onverwacht geven de medewerkers van de kennisorganisatie aan meer gebruik te
82 Aangezien het aantal respondenten zeer gering is, is er geen factor analyse uitgevoerd. Dezelfde schalen, als

gevonden in de antwoordpatronen van het beleidsdepartement, zijn geanalyseerd. De schaal wetenschappelijke kennis
bestaat uit de items “Beleidsevaluaties door onafhankelijke wetenschappers”, “Wetenschappelijke inzichten in wat
werkt en wat niet, zoals meta-analyses of systematische reviews”, “Onafhankelijk kwantitatief wetenschappelijk
onderzoek” en “Onafhankelijk kwalitatief wetenschappelijk onderzoek.” We moeten heel voorzichtig zijn met
interpretatie van de interne consistentie van deze schaal, gezien de lage n. Een non-parametrische Mokkenschaal
analyse laat zien dat deze goed is (Loevinger’s H = .53). De schaal professionele kennis wordt gevormd door twee items
“Kennis en ervaring van mijzelf/ directe collega’s” en “Kennis en lessen uit de praktijk vanuit mijn professionele veld.”
De interne consistentie van deze schaal is sterk (Loevinger’s H = .83). De derde schaal gebruik van beleidsdocumentatie
wordt gevormd door de items “Beleidsdocumenten en regelgeving”, “Parlementaire stukken” en “Jurisprudentie”. De
interne consistentie van deze schaal is sterk (Loevinger’s H = .70).

64

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

maken van onafhankelijk kwalitatief en kwantitatief wetenschappelijk onderzoek en metaanalyses/ systematische reviews dan de medewerkers van het hoofdkantoor. In tegenstelling tot
de departementale beleidsambtenaren en de medewerkers van het hoofdkantoor wordt er bij de
kennisorganisatie een stuk minder gebruik gemaakt van parlementaire stukken (verschilt
minstens 40 procentpunten). Ongeveer de helft van de medewerkers geeft aan beleidsevaluaties
te gebruiken in het werken en beleid.
‘Evidence-based’ werken en -beleid. Slechts 4% van de beleidsambtenaren werkt in de praktijk
volgens de strikte definitie van ‘evidence-based’ werken en -beleid, tegenover 6% bij het
hoofdkantoor (tabel 4.4) en 0% bij de kennisorganisatie (tabel 4.6). Van ‘evidence-based’ werken
stricto sensu is bij het ministerie van JenV dus nauwelijks of geen sprake.
‘Evidence-informed’ werken en -beleid. Bijna twee-derde (62%) van de medewerkers van de
kennisorganisatie maakt gebruik van een mengeling van wetenschappelijke en professionele
kennis. Zij werken derhalve ‘evidence-informed’. Dit staat tegenover 44% bij de beleidsdirecties
van het departementen en een derde (31%) bij het hoofdkantoor van een uitvoerende organisatie.
Practice-based werken en -beleid. Bij ’practice-based’ wordt helemaal geen gebruik gemaakt van
wetenschappelijke kennis. Twee-vijfde van de beleidsambtenaren van JenV (42%) gebruikt alleen
praktijkkennis. Bij het hoofdkantoor is dit nog meer (58%) en zelfs bij de kennisorganisatie
gebruiken nog steeds enkele medewerkers (23%) alleen praktijkkennis. Een ‘evidence-base’ is hier,
zelfs in de meest ruime zin, nicht im frage.

4.3 Gebruik van informatiebronnen: resultaten van de enquête
Een belangrijk aspect van het gebruik van wetenschappelijke kennis betreft de informatiebronnen
die medewerkers gebruiken om toegang te krijgen tot deze kennis. De vraag is welke
informatiebronnen medewerkers gebruiken om kennis te ontsluiten, waaronder
wetenschappelijke kennis. Wij hebben elf informatiebronnen geselecteerd en de respondenten
gevraagd in hoeverre ze gebruik maken van deze informatiebronnen. Ook hierbij is een
vijfpuntschaal gebruikt (van ‘nooit’ naar ‘altijd’ en daarnaast de antwoordmogelijkheid ‘geen
toegang’). De resultaten van de enquête bespreken wij hieronder achtereenvolgens voor elk van
deze drie typen organisatieonderdelen.

4.3.1

Medewerkers van de beleidsdirecties

In tabel 4.7 zijn de antwoorden van de beleidsambtenaren van het ministerie weergegeven. De
items zijn gerangschikt van meeste frequentie in categorieën “4: vaak” en “5: altijd” naar minste
frequentie in deze categorieën.
Bij de beleidsambtenaren geeft ruim twee-derde (70%) aan vaak of altijd gebruik te maken van
communicatie vanuit de eigen organisatie. Iets meer dan de helft van de respondenten geeft aan
nieuwsmedia te gebruiken (54%), gebruik te maken van onafhankelijke kennisinstellingen van het
ministerie van JenV (51%) en professionele publicaties (48%). Pas daarna volgen wetenschappelijke
65

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

informatiebronnen. Ongeveer een-derde van de beleidsambtenaren maakt gebruik van
wetenschappelijke bijeenkomsten (36%), wetenschappelijke publicaties (35%) en documenten van
consultants, denktanks en belangengroepen (32%). Veel minder beleidsambtenaren geeft aan
individuele wetenschappers te raadplegen als bron (22%). Wetenschappelijke zoekmachines (17%),
niet-wetenschappelijke webpagina’s (12%) of sociale media (11%) worden zeer weinig gebruikt als
informatiebron door de ambtenaren van de beleidsdirecties. Slechts zeer weinig respondenten
geven aan geen toegang te hebben tot een van de genoemde bronnen van kennis.
Tabel 4.7: Informatiebronnen voor kennis ten behoeve van ‘evidence-based’ werken en -beleid bij
het ministerie van JenV (in %) N=272
Binnen mijn afdeling raadplegen wij de
volgende bronnen

1

2

3

4

5

6

m

sd

7

Communicatie vanuit eigen organisatie

0

6

23

61

9

1

3,74 0,76

19

Nieuwsmedia (zoals nieuwssites, kranten,
weekbladen, televisieprogramma's)

4

10

31

40

14

1

3,54 1,00

19

Onafhankelijke kennisinstellingen binnen
het ministerie van JenV, zoals het NFI of
het WODC

4

11

33

42

9

2

3,47 0,98

19

Professionele publicaties (vaktijdschriften,
nieuwsbrieven en maillijsten)

1

13

36

42

6

2

3,44 0,89

19

Wetenschappelijke bijeenkomsten (zoals
klankbordgroepen, lezingen, conferenties)

3

13

48

31

5

1

3,24 0,87

19

Wetenschappelijke boeken, tijdschriften of
rapporten

3

16

44

25

10

2

3,31 1,02

19

Documenten van consultants, denktanks
of belangengroepen

2

17

48

28

4

1

3,17 0,87

19

Individuele wetenschappers

7

24

45

20

2

2

2,92 0,99

19

Wetenschappelijke zoekmachines (zoals
web-of-science, google scholar, scopus)

17

34

25

13

4

7

2,71 1,36

19

Niet-wetenschappelijke webpagina's
(bijvoorbeeld Wikipedia)

15

38

34

11

1

0

2,46 0,95

19

Sociale media, zoals Twitter, LinkedIn of
Instagram

21

36

31

10

1

1

2,37 1,01

19

Noot. Antwoordcategorieën: Nooit (1); Zelden (2); Af en toe (3); Vaak (4); Altijd (5); Geen toegang (6);
Ontbrekende waarnemingen (7).

4.3.2

Medewerkers hoofdkantoor uitvoerende organisatie

De uitkomsten van de enquête over welke informatiebronnen medewerkers van het
hoofdkantoor van een uitvoerende organisatie van JenV gebruiken staan vermeld in tabel 4.8.
Ook nu hebben wij de items gerangschikt van meeste frequentie (“vaak” en “altijd”) naar minste
frequentie.
Veruit de meest gebruikte informatiebron voor kennis voor de medewerkers van het
hoofdkantoor is communicatie vanuit de eigen organisatie. Driekwart (75%) van de medewerkers
gebruikt dit vaak of altijd als informatiebron. Op aanzienlijke afstand volgen, rond een-derde,
66

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

onafhankelijke kennisinstellingen (38%), professionele publicaties (33%), nieuwsmedia (33%) en het
bezoeken van wetenschappelijke bijeenkomsten (30%). Ongeveer een kwart van de medewerkers
gebruikt wetenschappelijke publicaties (25%) en documenten van consultants, denktanks of
belangengroepen (23%). Een-vijfde van de medewerkers geeft aan gebruik te maken van
wetenschappelijke zoekmachines (21%) of individuele wetenschappers (20%) als informatiebron
voor kennis. Vrijwel niemand gebruikt niet-wetenschappelijke webpagina’s (8%), terwijl slechts
een enkeling (3%) zich vaak tot sociale media richt als bron voor kennis. Slechts zeer weinig
respondenten geven aan geen toegang te hebben tot een van de genoemde bronnen van kennis.
Tabel 4.8: Informatiebronnen voor kennis ten behoeve van ‘evidence-based’ werken en -beleid bij
een hoofdkantoor van een uitvoerende organisatie van het ministerie van JenV (in %) N=46
Binnen mijn afdeling raadplegen wij de
volgende bronnen

1

2

3

4

5

Communicatie vanuit eigen organisatie

0

25

60

Onafhankelijke kennisinstellingen binnen
het ministerie van JenV, zoals het NFI of
het WODC

23

40

Professionele publicaties (vaktijdschriften,
nieuwsbrieven en maillijsten)

15

sd

7

15

3,9 0,63

13

33

5

3,2 0,85

13

53

30

3

3,2

0,72

13

2,98 0,92

13

3,18 0,81

13

3

0,72

13

2,98 0,78

13

2,88 1,34

13

2,95 0,88

13

Nieuwsmedia (zoals nieuwssites, kranten,
weekbladen, televisieprogramma's)

8

20

40

33

Wetenschappelijke bijeenkomsten (zoals
klankbordgroepen, lezingen, conferenties)

3

13

55

25

Wetenschappelijke boeken, tijdschriften of
rapporten

25

50

25

Documenten van consultants, denktanks
of belangengroepen

28

50

20

3

6

5

m

Wetenschappelijke zoekmachines (zoals
web-of-science, google scholar, scopus)

13

33

28

18

3

Individuele wetenschappers

5

20

55

15

5

Niet-wetenschappelijke webpagina's
(bijvoorbeeld Wikipedia)

25

33

35

8

2,25 0,93

13

Sociale media, zoals Twitter, LinkedIn of
Instagram

30

35

33

3

2,08 0,86

13

8

Noot. Antwoordcategorieën: Nooit (1); Zelden (2); Af en toe (3); Vaak (4); Altijd (5); Geen toegang (6);
Missing responses on n=46 (7).

4.3.3 Medewerkers kennisorganisatie
De uitkomsten van de enquête onder medewerkers van de kennisorganisatie staan vermeld in
tabel 4.9. De items zijn wederom gerangschikt van meeste frequentie (“vaak” en “altijd”) naar
minste frequentie. Bij de medewerkers van de kennisorganisatie zijn de gehanteerde
toegangsbronnen tot het ontsluiten van kennis anders dan die bij de beleidsdirecties of op het
hoofdkantoor. Professionele publicaties worden het meest gebruikt als bron, en wel door ruim de
helft (58%) van de medewerkers . Ook ruim de helft van de medewerkers gebruikt
wetenschappelijke publicaties (55%), wetenschappelijke zoekmachines (55%), wetenschappelijke

67

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

bijeenkomsten (50%) en communicatie vanuit de eigen organisatie (50%). De daaropvolgende
informatiebronnen worden een stuk minder gebruikt. Slechts een kwart van de medewerkers van
de kennisorganisatie raadpleegt individuele wetenschappers (25%) of onafhankelijke
kennisinstellingen van JenV (25%). Een vijfde gebruikt vaak (20%) nieuwsmedia als bron voor
kennis, terwijl slechts een-tiende vaak niet-wetenschappelijke webpagina’s (10%) raadpleegt. Ten
slotte worden documenten van consultants, denktanks of belangengroepen (5%) en sociale media
helemaal (0%) (vrijwel) niet gebruikt als bron voor kennis. Slechts zeer weinig respondenten
geven aan geen toegang te hebben tot een van de genoemde bronnen van kennis.
Tabel 4.9: Informatiebronnen voor kennis ten behoeve van ‘evidence-based’ werken en -beleid bij
een kennisorganisatie van het ministerie van JenV (in %) N=22
Binnen mijn afdeling raadplegen wij de
volgende bronnen

2

3

4

5

Professionele publicaties (vaktijdschriften,
nieuwsbrieven en maillijsten)

5

37

42

Wetenschappelijke boeken, tijdschriften of
rapporten

5

40

10

Wetenschappelijke bijeenkomsten (zoals
klankbordgroepen, lezingen, conferenties)
Communicatie vanuit eigen organisatie

Wetenschappelijke zoekmachines (zoals
web-of-science, google scholar, scopus)

1

10

6

sd

7

16

3,68 0,82

14

45

10

3,6 0,75

9

20

50

5

3,45 1,23

9

15

35

45

5

3,4 0,82

9

5

45

50

3,45 0,6

9

5

m

Individuele wetenschappers

5

25

45

25

2,9 0,85

9

Onafhankelijke kennisinstellingen binnen
het ministerie van JenV, zoals het NFI of
het WODC

15

10

50

25

2,85 0,99

9

Nieuwsmedia (zoals nieuwssites, kranten,
weekbladen, televisieprogramma's)

5

30

45

20

2,8 0,83

9

Niet-wetenschappelijke webpagina's
(bijvoorbeeld Wikipedia)

5

40

45

10

2,6

0,75

9

Documenten van consultants, denktanks
of belangengroepen

20

30

45

5

2,35 0,88

9

Sociale media, zoals Twitter, LinkedIn of
Instagram

50

50

1,5

9

0,51

Noot. Antwoordcategorieën: Nooit (1); Zelden (2); Af en toe (3); Vaak (4); Altijd (5); Geen toegang (6);
Missing responses on n=22 (7).

68

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

4.3.4 Deelconclusie over informatiebronnen: enquêtes
Wanneer we de uitkomsten van de drie enquêtes onderling vergelijken valt een aantal dingen op.
In de eerste plaats is de voornaamste bron op de beleidsdirecties en het hoofdkantoor de
communicatie vanuit de eigen organisatie. Andere informatiebronnen worden veel minder vaak
door medewerkers geraadpleegd. Professionele publicaties en publicaties van kennisinstellingen,
zoals het WODC, worden geraadpleegd door de helft van de respondenten op de beleidsdirecties
en een derde van de medewerkers van het hoofdkantoor. Zoekmachines en wetenschappelijke
artikelen worden minder geraadpleegd (20-30% geeft aan deze vaak of altijd te gebruiken). Bij de
kennisorganisatie is het beeld volstrekt anders. Rond de helft van de medewerkers van de
kennisorganisatie raadpleegt wetenschappelijke bronnen en gebruikt wetenschappelijke
zoekmachines. Daar worden professionele publicaties en publicaties van kennisinstellingen
minder vaak gebruikt als informatiebron. Ten slotte is het opvallend dat documenten van
consultants of denktanks en lobbyisten als informatiebron niet door veel medewerkers worden
gebruikt als informatiebron. Het gebruik ervan neemt af met afstand tot het beleid: van 30% van
de medewerkers van de beleidsdirecties tot slechts 5% van de medewerkers van de
kennisorganisatie. Slechts zeer weinig respondenten geven aan geen toegang te hebben tot een
bepaalde bron van kennis. In combinatie met de bevinding dat vooral door de beleidsdirecties en
het hoofdkantoor niet veel gebruik wordt gemaakt van wetenschappelijke bronnen (met name
zoekmachines), kunnen wij concluderen dat het identificeren en ontsluiten van nuttige bronnen
van wetenschappelijk onderzoek niet veel plaatsvindt.

4.4 Uitkomsten van de interviews
Naast de enquête onder medewerkers van het ministerie van JenV hebben wij interviews
afgenomen met medewerkers van verschillende organisatieonderdelen op vier beleidsdossiers
(voor de selectie zie Appendix B). Het betreft organisatieonderdelen die actief zijn in
beleidsadvisering en -ontwikkeling en beleidsuitvoering. Dit resulteert in vier casestudies die wij
aanduiden met beleidsdossiers BD-A, BD-B, BD-C en BD-D. Het algemene beeld dat uit de
interviews naar voren komt is dat vooral gebruik wordt gemaakt van praktijkkennis, politieke
opvattingen, wet- en regelgeving en, in sommige gevallen, ook wetenschappelijke kennis.

4.4.1

Kennisgebruik in verschillende fasen

In deze sub-paragraaf bespreken wij de resultaten van onze casestudies vanuit de context van
verschillende fasen van het beleidsproces.
Agendering en beleidsvoorbereiding. In de fase(n) van agendasetting en beleidsvoorbereiding
wordt sterk gekeken naar politieke opvattingen en wordt gebruik gemaakt van kennis van weten regelgeving. In de interviews wordt daarbij vaak aangegeven dat het belangrijk is om mee te
nemen wat werkt in de praktijk en dat daarom praktijkkennis erg belangrijk is in de agendering en
beleidsvorming. In sommige gesprekken geven geïnterviewden aan dat het gebruik van
wetenschappelijke kennis ondergeschikt is aan de politieke opvatting van bestuurders.

69

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Uitvoering. In gesprekken met de meeste uitvoerende organisaties wordt aangegeven dat de
kennis van professionals en stakeholders erg belangrijk is en dat deze veelvuldig wordt gebruikt.
Als er veelvuldig gebruik wordt gemaakt van wetenschappelijke kennis – in de zin van de strikte
definitie – dan is dat tijdens de beleidsuitvoering. Zo wordt bij BD-D expliciet aangegeven dat
waar mogelijk gebruik wordt gemaakt van wetenschappelijke kennis. Voor de uitvoerende
organisaties op dit beleidsdossier vormt wetenschappelijk kennis de basis voor de taakuitvoering
(bijvoorbeeld in de vorm van gevalideerde handelingsprotocollen) die wordt aangevuld met
specifieke kennis van de betreffende doelgroep. Er wordt zelfstandig wetenschappelijk
onderzoek uitgevoerd en er wordt samengewerkt met kennisinstellingen zoals universiteiten. Dit
laatste gebeurt ook bij het beleidsdossier BD-B, waar niet alleen de uitvoerende organisatie maar
ook de beleidsafdeling contacten onderhoudt met een universiteit. Om in hun kennisbehoefte te
voorzien laten verschillende beleidsafdelingen onderzoek uitzetten – bijvoorbeeld via het WODC
of tegen betaling bij derden (waarvoor programmabudgetten beschikbaar zijn).
Maar ook de uitvoerende organisaties geven te kennen dat professionele kennis en kennis uit het
veld onontbeerlijk is. Bij een van de uitvoerende organisaties in beleidsdossier BD-C wordt te
kennen gegeven dat zij graag meer gebruik zouden willen maken van wetenschappelijke kennis
maar dat deze kennis vaak niet voorhanden is (zie ook het volgende hoofdstuk). Bij beleidsdossier
BD-C wordt in de uitvoering vooral gebruik gemaakt van professionele kennis, die op
systematische en methodische wijze wordt verkregen (mede door evaluatiestudies). In de andere
twee casestudies wordt in de uitvoering vooral gebruik gemaakt van praktijkkennis en
persoonlijke en professionele ervaringen, al dan niet aangevuld met enige wetenschappelijke
kennis.
Bij zowel beleidsafdelingen als uitvoerende organisaties wordt het beleid gemonitord om te
kijken of het beleid werkt. Signalen en informatie uit het veld worden naar het beleid
teruggekoppeld. Tevens worden – vooral bij de uitvoerende organisaties – op basis van de
monitor-uitkomsten trendanalyses gemaakt die kunnen leiden tot een bijstelling van het beleid of
tot een bepaalde kennisvraag. Dergelijke trendanalyses zijn weliswaar niet gebaseerd op
wetenschappelijk onderzoek, maar leveren wel belangrijke informatie.
Evaluatie. Het patroon in kennisgebruik tijdens de uitvoering zien we ook terug bij het gebruik van
beleidsevaluaties en de daaruit voortkomende kennis. Bij beleidsdossier BD-D worden evaluaties
zoveel mogelijk gestoeld op onafhankelijk verkregen wetenschappelijke kennis. Deze kennis
wordt vervolgens ook gebruikt om de uitvoering van taken te verbeteren. In beleidsdossier BD-C
worden evaluaties als een belangrijke kennisbron gezien en worden deze ook op een
systematische en methodische manier verricht. Deze kennis wordt benut voor de uitvoering. Bij
de andere twee beleidsdossiers wordt evaluatie niet expliciet genoemd als kennisbron. In één van
de gesprekken geven geïnterviewden aan dat kennis uit beleidsevaluaties niet noodzakelijk is om
tot goed beleid te komen.

70

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

4.4.2 Kennisgebruik in verschillende beleidsvelden
In deze sub-paragraaf bespreken wij de resultaten van onze casestudies vanuit de context van
verschillende beleidsvelden, ieder gekenmerkt door een verschillende politieke dynamiek en
(on)zekerheid van wetenschappelijke kennis.
Technisch-wetenschappelijk vraagstuk: beleidsdossier BD-B. Uit de gesprekken met de
beleidsambtenaren komt naar voren dat weinig gebruik wordt gemaakt van wetenschappelijk
onderzoek, omdat het beleidsdossier zich daar niet goed voor leent (zie ook het volgende
hoofdstuk). De gebruikte kennis bestaat onder andere uit data uit verschillende monitoractiviteiten, kennis van professionals of vanuit de strafrechtketen in de beleidsvorming. Deze
informatie wordt niet zozeer op directe wijze gebruikt voor de beleidsvorming maar vooral
indirect als inspiratiebron. Bij de uitvoerende organisatie is het gebruik van wetenschappelijke
kennis beperkt en afhankelijk van de uit te voeren taak. Er wordt vooral gebruikt gemaakt van
praktijkkennis die binnen komt in de uitvoering. Daarnaast wordt gebruik gemaakt van kennis en
ervaringen van collega’s, nieuwsbrieven en uit netwerken waarin kennis wordt gedeeld. Uit de
gesprekken blijkt niet dat de praktijkkennis wordt verkregen op basis van een wetenschappelijke
systematiek (transparantie en onafhankelijkheid). Kennis vanuit evaluaties kan leiden tot
bijsturing of bijstelling van het beleid. Deze kennis wordt voornamelijk verkregen door interne
evaluaties en of door monitoring van het beleid. Een goede illustratie van dit laatste (datagedreven werken, verkregen door observaties uit het veld), is als volgt verwoord. Op basis van de
uitkomsten van monitor-activiteiten bleek dat het probleem steeds groter werd en dat het tot
dan gevoerde beleid niet succesvol was. Reden om het beleid (deels) op een andere leest te
schoeien. Sindsdien wordt binnen dit beleidsdossier samengewerkt met een Nederlandse
universiteit, onder andere om deze monitor-activiteiten te versterken. Ook wordt
(wetenschappelijke) expertise bij derden opgevraagd, bijvoorbeeld over diverse juridische
aspecten (zowel voor de beleidsvoorbereiding als de beleidsuitvoering).
Ethisch vraagstuk: beleidsdossier BD-D. Uit de gesprekken in BD-D blijkt dat het gebruik van
wetenschappelijke kennis verschilt per organisatieonderdeel (zie ook bovenstaand ‘fasen in het
beleidsproces’). Wie dicht bij de minister staat, laat zich minder leiden door wetenschappelijke
kennis en meer door de politieke dynamiek. Beleidsontwikkeling en advisering aan de minister is
een mix van het gebruik van praktijkkennis en een goed functionerende politieke antenne.
Wetenschappelijke kennis is vooral leidend in de uitvoering. Tegelijkertijd wordt in dit dossier
duidelijk hoe lastig is het is om de scheidslijnen tussen de verschillende kennisbronnen te
benoemen, laat staan deze systematisch en transparant te integreren. De uitvoerende
organisaties maken veel gebruik van wetenschappelijke kennis in de uitvoering van hun taken en
door de terugkoppeling van hun resultaten aan de departementale beleidsambtenaren over wat
wel en niet werkt. Zij zijn een belangrijke schakel in de beleidsontwikkeling. De vraag die dan
opkomt is of hiermee de beleidsontwikkeling ook (deels) als ‘evidence-based’ in de strikte zin van
het woord kan worden aangemerkt.

71

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

In de beleidsvorming wordt vooral praktijkkennis – als resultaat van veelvuldig overleg met
diverse stakeholders en beleidsrapportages – gebruikt. En dit gebeurt langs drie lijnen: (1) directe
kennistoepassing, (2) kennis als inspiratiebron en (3) kennis ter rechtvaardiging/ onderbouwing
van reeds gemaakte keuzes. Meestal wordt kennis gebruikt als inspiratiebron voor de
beleidsontwikkeling. Daarnaast wordt kennis benut om ‘onderbuikgevoelens’ en ervaringskennis
te onderbouwen zodat met autoriteit een keuze kan worden gerechtvaardigd. Belangrijke
kennisbronnen hierbij zijn het werkveld, wet- en regelgeving, maar ook informatie uit de
samenleving wordt gezien als belangrijke kennis. Kennis vanuit de uitvoerende organisatie wordt
als erg belangrijk gezien in combinatie met de heersende politieke opvattingen. Ook rapporten
van de inspectie worden gebruikt in de beleidsvorming.
Er wordt in de uitvoering gebruik gemaakt van diverse bronnen. De primaire kennisbron is
wetenschappelijke kennis over hoe bepaalde problemen kunnen worden aangepakt en of deze
werken in de praktijk. Een van de uitvoerende organisaties heeft een zelfstandige
onderzoeksafdeling met een meerjarige onderzoekagenda die aansluit bij het meerjarige
organisatieplan. Deze onderzoeksafdeling zorgt dat kennis beschikbaar is of beschikbaar wordt
gemaakt voor professionals en stakeholders, waarbij ervoor wordt gezorgd dat deze kennis ook
daadwerkelijk wordt gebruikt in de uitvoering. Zo worden onderzoeksresultaten door de
onderzoekers van de uitvoerende organisatie teruggekoppeld naar de medewerkers, vaak
voorzien van een samenvatting. Onderzoekers vormen een schakel tussen wat er in de
wetenschap gebeurt en wat medewerkers zouden kunnen (of moeten) gebruiken. Belangrijke
kennisbronnen zijn universiteiten en hogescholen maar ook onderzoeken vanuit het WODC.
Daarnaast wordt gebruik gemaakt van data die uitvoerende organisaties zelf generen door
monitoring. De uitkomsten worden beoordeeld mede aan de hand van wetenschappelijke
literatuur. Hiervoor wordt gebruikt gemaakt van een systematische, wetenschappelijke
werkwijze.
De kennis vanuit evaluaties op dit beleidsdossier wordt gebruikt om de beleidsaanpak te
verbeteren en te beoordelen of de gewenste effecten optreden. De evaluaties worden deels
zelfstandig uitgevoerd, deels door de inspectie JenV en, in sommige gevallen, door een
onafhankelijke externe partij. Door de onderzoekers worden de resultaten van de evaluaties weer
teruggekoppeld naar medewerkers. Rapporten worden doorgestuurd en voorzien van een
samenvatting. Gespecialiseerde onderzoekers vormen zo een actieve schakel tussen de
uitkomsten van evaluaties en wat medewerkers kunnen gebruiken.
Wetenschappelijk vraagstuk: beleidsdossier BD-C. In gesprekken met beleidsambtenaren kwam naar
voren dat vooral kennis wordt gebruikt voor een goede duiding tussen bestuurders, technici en
private partijen over het gespecialiseerde uitvoeringsproces. Hiervoor wordt vooral gebruik
gemaakt van ervaringen van professionals met inbreng van technische kennis. Er wordt relatief
weinig gebruik gemaakt van wetenschappelijke kennis, wat voorkomt uit de aard der
werkzaamheden. Crisismanagement en snelheid van handelen staan voorop, waarbij het accent
wordt gelegd op ervaringskennis (wat heeft wel en wat heeft in het verleden niet gewerkt) en
technische kennis.
72

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Binnen de uitvoerende organisatie wordt wetenschappelijke kennis vooral gebruikt om
protocollen op te stellen en processen in te richten binnen de actieve uitvoeringsorganisatie.
Verder wordt veel gebruik gemaakt van technische kennis over diverse producten en
professionele kennis die is gecreëerd binnen een breed netwerk van experts. Oefeningen zijn een
belangrijke bron om op een systematische en methodische manier kennis op te doen. In de
actieve uitvoering is technische kennis van de producten belangrijk, maar ook kennis over de
organisatie en over hoe de technische zaken zijn georganiseerd. De producent en organisatie
waar het incident is, zijn op dat moment de belangrijkste kennisbronnen. Ondanks de behoefte
aan wetenschappelijke kennis staat deze daarbij op de achtergrond, gezien de technische
dynamiek van het beleidsdossier.
Evaluaties worden gezien als een belangrijke kennisbron. Na elke actieve uitvoeringssituatie
wordt door de uitvoerende organisatie een evaluatie uitgevoerd om leermomenten te creëren die
meegenomen kunnen worden in nieuwe situaties. Afhankelijk van de impact wordt een evaluatie
intern uitgevoerd, door inspectie van JenV of door een externe partij.
Politiek vraagstuk: beleidsdossier BD-A. Juridische kaders worden als belangrijkste kennisbron
genoemd door beleidsambtenaren die werkzaam zijn op dit beleidsdossier. In de interviews wordt
aangegeven dat jurisprudentie kan leiden tot aanpassing van het beleid waardoor deze kennis
belangrijk is. Naast juridische kaders wordt in sommige gevallen om het beleid te onderbouwen
gebruik gemaakt van kennis van het WODC, adviescommissies en ambtelijke expertise met
uitvoeringskennis. Ook rapporten van de inspectie JenV worden gezien als belangrijke kennisbron
voor de praktijk. Deze praktijkkennis wordt vooral gebruikt om te onderbouwen wat wel en niet
werkt. Zo is in de interviews aangegeven dat jurisprudentie kan zorgen voor beleidswijzigingen en
tevens dat nieuw gepubliceerde wetenschappelijke kennis hiertoe vaak geen aanleiding geeft.
Het kan wel zijn dat de Tweede Kamer erop aandringt dat wetenschappelijke kennis wordt
gebruikt voor het onderbouwen van beleid. Het is niet helder wat er vervolgens met deze
wetenschappelijke kennis gebeurt en of deze ook daadwerkelijk wordt gebruikt.
In de uitvoering blijkt dat wet- en regelgeving leidend zijn en dat daarnaast vooral gebruik wordt
gemaakt van praktijkkennis. Er wordt veel waarde gehecht aan de kennis van professionals over
wat wel en niet werkt of zou kunnen werken. Data-gedreven werken wordt door de uitvoerende
organisatie als belangrijke kennisbron gezien en wordt steeds vaker gebruikt. Er wordt ook
gebruik gemaakt van onderzoek verricht door instanties waar de uitvoerende organisatie een
relatie mee onderhoudt, onderzoeken van het WODC, het CPB en universiteiten. Ook CBS-data
worden veel gebruikt. De uitvoerende organisaties geven aan dat zij zelf onderzoek uitvoeren om
vragen van bewindsleden te beantwoorden, maar hiertoe ook met enige regelmaat onderzoek
laten uitvoeren door derden.
In gesprekken wordt aangegeven dat het gebruik van kennis überhaupt geen
vanzelfsprekendheid is en dat kennis ook niet systematisch wordt gebruikt. Het is sterk
afhankelijk van het dossier en de politiek. Als een bewindspersoon een bepaalde aanpak
voorstaat die politiek opportuun is, dan is het niet (altijd) zinvol om een wetenschappelijke
aanpak te gebruiken.
73

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

Evaluaties worden gezien als belangrijke kennisbron voor praktijkkennis. De kennis vanuit
evaluaties kan volgens de geïnterviewden een beter handelingsperspectief geven aan de
professionals. In welke mate deze evaluaties ook daadwerkelijk voldoen aan de eisen die aan
wetenschappelijk onderzoek worden gesteld, is niet uit de gesprekken gebleken.

4.4.3 Deelconclusie over gebruik: interviews
De interviews overziend, kunnen we enkele algemene conclusies trekken over het gebruik van
wetenschappelijke kennis. De interviews ondersteunen de resultaten van de enquête. Er wordt
weinig gebruik gemaakt van wetenschappelijke kennis en als deze wordt gebruikt is het
geïntegreerd met praktijkkennis. Wetenschappelijke kennis wordt genoemd als inspiratiebron en
bron voor duiding.
Met betrekking tot de fase in het beleidsproces nemen we waar dat in de agendering en
beleidsvoorbereiding het gebruik van wetenschappelijke kennis ondergeschikt is aan de politieke
opvattingen van bestuurders en eisen uit wet- en regelgeving. Uitvoerende organisaties wijzen op
het belang van praktijkkennis bij professionals. Een uitzondering vormt een uitvoerende
organisatie die handelingsprotocollen sterk baseert op wetenschappelijke evidentie en ook een
belangrijke kennisfunctie heeft om deze kennis te ontsluiten, mede ook via opdrachtonderzoek
aan onafhankelijke wetenschappers. De evaluatiefase ontbreekt vaak binnen de geselecteerde
beleidsdossiers. Een opvallend resultaat van de interviews is dat op uitvoeringsniveau, binnen
enkele organisatieonderdelen, medewerkers hun handelen zeer regelmatig evalueren om te leren
van situaties. Maar op beleidsniveau ligt dat anders: daar wordt vrijwel geen gebruik gemaakt van
(kennis uit) evaluatiestudies. Hoewel de uitkomsten van de interviews in het algemeen sporen
met de uitkomsten van de enquête (weinig gebruik van voornamelijk wetenschappelijke kennis),
is dit een ander resultaat dan naar voren kwam in de enquêtes.83
Met betrekking tot het type van beleidsveld constateren we dat bij het technische en
wetenschappelijke beleidsvraagstuk gebruik wordt gemaakt van wetenschappelijke kennis tijdens
de uitvoering. In de uitvoering zelf wordt geconstateerd dat wetenschap ‘achterloopt’ waardoor
praktijkkennis (noodzakelijkerwijs) voorop komt te staan. Bij het ethische beleidsvraagstuk
worden op beleidsniveau wetenschappelijke inzichten gebruikt om politiek-maatschappelijke
tegenstellingen te slechten. De uitvoering en evaluatie richt zich, meer technisch van aard, op het
ontwikkelen en wetenschappelijk valideren van handelingsprotocollen. Bij het politieke
beleidsvraagstuk vormen juridische kaders en jurisprudentie de belangrijkste bron van kennis.
Wetenschappelijke inzichten worden weliswaar ingebracht, maar voornamelijk wordt
praktijkkennis gebruikt. Intern onderzoek wordt vooral uitgezet om vragen van bewindspersonen
te kunnen beantwoorden. Maar ook praktijkkennis wordt regelmatig terzijde geschoven wanneer
dit politiek opportuun is.

83 Een mogelijke verklaring die in appendix B aan de orde komt, is dat de enquêtes sociaal-wenselijke antwoorden

oproepen, zodat het gerapporteerde gebruik een overschatting geeft van het werkelijke gebruik.

74

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

4.5 Antwoord op de deelvragen
Deelvraag 3a: In hoeverre vindt kennisbenutting plaats binnen het ministerie van JenV vanuit
‘evidence-based’ werken en -beleid in vergelijking met andere vormen van kennisbenutting?
Bij het beantwoorden van de deelvraag hebben wij gekeken hoe ‘evidence-based’ werken en beleid zich verhoudt tot het gebruik van andere kennisbronnen. Die kennisbronnen bestaan uit
onafhankelijk wetenschappelijk onderzoek, professionele kennis en gecodificeerde kennis uit
beleidsdocumenten.
Gebruik
Ongeacht of we kijken naar de beleidsdirecties, het hoofdkantoor van een uitvoerende
organisatie of de kennisorganisatie, de belangrijkste bronnen voor werken en beleid blijken te
bestaan uit praktijkkennis, beleidsdocumenten, jurisprudentie en instructies van leidinggevenden
(rond 90%). Het gebruik van enige vorm van wetenschappelijke kennis blijft daar ver bij achter. De
medewerkers van de kennisorganisatie geven aan meer gebruik te maken van onafhankelijk
kwalitatief/ kwantitatief wetenschappelijk onderzoek en meta-analyses/ systematische reviews
dan de medewerkers van het hoofdkantoor, maar hun mate van gebruik is grofweg vergelijkbaar
met die van de beleidsdirecties (rond 50-60%).
Vormen van gebruik
• Evidence-based werken en -beleid. Zowel uit de enquêtes als de interviews blijkt dat vrijwel
niemand op het ministerie van JenV ‘evidence-based’ werkt. Als we kijken naar onze ‘strikte’
definitie van ‘evidence-based’ werken en -beleid, gaat slechts 4% van de ambtenaren van de
beleidsdirecties op deze wijze te werk. Bij het hoofdkantoor rapporteert 6% ‘evidence-based’
te werken, terwijl dit opvallend genoeg niemand betreft bij de kennisorganisatie.
• Evidence-informed werken en -beleid. Rond 45% van de medewerkers bij de beleidsdirecties
en een derde van de medewerkers van het hoofdkantoor van de uitvoerende organisatie
gebruikt wetenschappelijke- en professionele kennis als bronnen voor werken en beleid. Bij
de medewerkers van de kennisorganisatie is dit bijna twee-derde. Uit de interviews blijkt niet
dat beide vormen van kennis op een systematische en transparante wijze geïntegreerd
worden.
• Practice-based werken en -beleid. Iets meer dan 40% van de ambtenaren van de
beleidsdirecties van JenV gebruikt uitsluitend praktijkkennis. Bij het hoofdkantoor van de
uitvoerende organisatie is dit nog iets meer (rond 60%). Ook bij de kennisorganisatie gebruikt
een vijfde van de medewerkers voornamelijk praktijkkennis in werken en beleid.
Fase in het beleidsproces
•
In de agendering en beleidsvoorbereiding is het gebruik van wetenschappelijke kennis
ondergeschikt aan de politieke opvattingen van bestuurders en eisen uit wet- en
regelgeving.
•
Uitvoerende organisaties wijzen op het belang van praktijkkennis bij professionals. Een
uitzondering vormt een uitvoerende organisatie die handelingsprotocollen sterk baseert
op wetenschappelijke evidentie en ook een belangrijke kennisfunctie heeft om deze
75

Hoofdstuk 4: Daadwerkelijk gebruik van kennis in beleid

•

kennis te ontsluiten, mede ook via opdrachtonderzoek door onafhankelijke
wetenschappers.
Waar grofweg de helft van de respondenten van de enquête aangeeft gebruik te maken
van de resultaten van evaluaties vinden we daarvoor weinig aanwijzingen in de interviews
bij de beleidsafdelingen. De evaluatiefase is vooral ingegeven door monitoring/ interne
evaluaties en minder door onafhankelijk wetenschappelijke evaluaties. Voor evaluaties is
zeer beperkte aandacht, mede ook omdat deze vaak pas beschikbaar komen als
verantwoordelijke bewindspersonen of ambtenaren zijn gewisseld. Op uitvoerend niveau
worden evaluaties vooral verricht om te leren van praktijksituaties. Dit gebeurt niet (altijd)
methodisch systematisch of transparant.

Type van beleidsvraagstuk
•
Bij het technische en wetenschappelijke vraagstuk wordt op beleidsniveau aangegeven
gebruik te maken van wetenschappelijke kennis om te anticiperen op de uitvoering. In de
uitvoering zelf wordt geconstateerd dat wetenschap ‘achterloopt’ waardoor
praktijkkennis voorop komt te staan.
•
Bij het ethische vraagstuk worden op beleidsniveau wetenschappelijke inzichten gebruikt
om politiek-maatschappelijke tegenstellingen te slechten. De uitvoering en evaluatie richt
zich, meer technisch, op het ontwikkelen en wetenschappelijk valideren van
handelingsprotocollen.
•
Bij het politieke vraagstuk vormen juridische kaders en jurisprudentie de belangrijkste
bron van kennis. Wetenschappelijke inzichten worden weliswaar ingebracht, maar
voornamelijk wordt praktijkkennis gebruikt. Intern onderzoek wordt vooral uitgezet om
vragen aan bewindspersonen te kunnen beantwoorden. Maar ook praktijkkennis wordt
regelmatig terzijde geschoven wanneer dit politiek opportuun is.

Deelvraag 3b: Welke informatiebronnen hanteren medewerkers van het ministerie van JenV om
wetenschappelijke kennis te ontsluiten?
De voornaamste informatiebron bij de beleidsdirecties en het hoofdkantoor van de uitvoerende
organisatie is communicatie vanuit de eigen organisatie. Andere informatiebronnen worden door
veel minder medewerkers van deze organisatieonderdelen geraadpleegd. Professionele
publicaties en publicaties van kennisinstellingen, zoals het WODC, worden geraadpleegd door de
helft van de respondenten bij de beleidsdirecties en een derde van de medewerkers van het
hoofdkantoor. Zoekmachines en wetenschappelijke artikelen worden minder geraadpleegd (2030%).
Bij de kennisorganisatie is het beeld volstrekt anders. Wetenschappelijke informatiebronnen zijn
daar veel prominenter. Rond de helft van de medewerkers van de kennisorganisatie raadpleegt
wetenschappelijke bronnen en gebruikt wetenschappelijke zoekmachines. Daarentegen worden
professionele publicaties en publicaties van kennisinstellingen minder gebruikt als informatiebron
door medewerkers van de kennisorganisatie.

76

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

5 Motieven en belemmeringen bij ‘evidence-based’
werken en -beleid
In dit hoofdstuk presenteren wij factoren die het gebruik van kennis uit wetenschappelijk onderzoek
beïnvloeden. Hiermee beantwoorden wij de vierde deelvraag; Welke omstandigheden bevorderen
‘evidence-based’ werken en -beleid en andere vormen van kennisbenutting binnen het ministerie van
JenV? In hoofdstuk 3 hebben wij geconstateerd dat bij vrijwel alle medewerkers ‘evidence-based’ de
associatie oproept van wetenschappelijk onderzoek. In hoofdstuk 4 constateerden we dat vrijwel
niemand ‘evidence-based’ werkt of beleid vormt in de strikte zijn. Bij het merendeel van de
respondenten is sprake van een ‘evidence-informed’ benadering. Wellicht vormt de motivatie van
medewerkers om wetenschappelijke kennis te gebruiken in het werken en beleid, of belemmeringen
daarin, een verklaring voor het gebruik van verschillende kennisbronnen. Hieronder gaan wij in op de
factoren motivatie, belemmeringen, kenmerken van de organisatiecultuur en kenmerken van het
beleidsvraagstuk die het gebruik van kennisbronnen bij het ministerie van JenV verklaren.

5.1 Verklaringen voor kennisbenutting
Bij de benutting van de resultaten van wetenschappelijk onderzoek ten behoeve van werken en
beleid zijn twee partijen te onderscheiden. Dit betreft de aanbieders van wetenschappelijke
kennis en de gebruikers ervan. De werelden van de aanbieders (gemakshalve hier aangeduid als
de ‘academische wereld’) en die van de gebruikers (‘beleidsmakers en -uitvoerders’) zijn vaak
omschreven als ‘twee gemeenschappen;’ elk met eigen mores en waarden (Caplan 1979; Dunn
1980; Sanderson 2002). Door verschillen in normen, waarden en werkwijzen zijn deze
gemeenschappen soms van elkaar gescheiden.84 In het kader van onderhavige studie voert het te
ver om diepgaand de scheiding tussen de academische en de beleidswereld te bespreken. Wel
vormt deze scheiding de achtergrond voor drie factoren die kennisbenutting kunnen verklaren, te
weten: motivatie voor, en belemmeringen bij ‘evidence-based’ werken en -beleid en kenmerken
van de organisatie- en beleidscontext.
Motivatie. Er bestaan verschillende redenen waarom wetenschappelijke kennis in de
beleidspraktijk benut zou moeten worden. In dit rapport is vooral aan de orde gekomen dat het
verwerken van wetenschappelijke inzichten in de onderbouwing van beleid en beleidskeuzes kan
bijdragen aan een doelmatiger, doeltreffender en meer legitiem beleid. Die eerste twee motieven
gaan uit van een instrumentele benadering van kennisbenutting. Wie een conceptueel gebruik
van wetenschappelijke kennis rekent tot kennisbenutting kan concluderen dat in de praktijk deze
kennis indirect doorwerkt in beleid, bijvoorbeeld om licht te werpen op situaties en problemen.
Daarnaast kunnen de motieven om wetenschappelijke kennis te gebruiken ook strategisch en
symbolisch van aard zijn, bijvoorbeeld om eerder gemaakte besluiten te legitimeren. De motivatie
om wetenschappelijke kennis al dan niet te gebruiken komt aan de orde in paragraaf 5.2.

84 Er is in de loop der jaren enige onenigheid is ontstaan over de juistheid van de metafoor van de twee

gemeenschappen (bijv. Wingens 1990; Newman en Head 2015).

77

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Belemmeringen. Hoewel er in de loop der jaren enige onenigheid is ontstaan over de juistheid van
de metafoor van de twee gemeenschappen (bijv. Wingens 1990; Newman en Head 2015), is deze
metafoor nog steeds een gangbare manier om de interactie tussen beleidsmakers en academici te
beschrijven en te analyseren (Ward, House, en Hamer 2009, 271). Uit deze twee gescheiden
werelden vloeien factoren voort die belemmeringen opwerpen voor medewerkers om gebruik te
(kunnen) maken van wetenschappelijke kennis. Belemmeringen bij het gebruik van
wetenschappelijke kennis in werken en beleid komen aan de orde in paragraaf 5.3.
Contexten. In het vorige hoofdstuk bleek dat het type beleidsvraagstuk van invloed was op
kennisbenutting. Welke invloed heeft de politieke dynamiek van het beroepsveld op de
kennisbenutting van medewerkers? Welke consequenties heeft mogelijke onzekerheid van kennis
op kennisbenutting? De enquête biedt ons de mogelijkheid om de invloed van deze kenmerken
van het beroepsveld te gebruiken om het gebruik van verschillende kennisbronnen te verklaren.
Ook de context van de afdelingscultuur nemen wij mee in een verklarende analyse. Een
verklarende analyse van de invloed van contexten (organisatiecultuur, type beleidsvraagstuk) op
het gebruik van kennisbronnen in werken en beleid van de beleidsdirecties komt aan de orde in
paragraaf 5.4. Daarin controleren wij voor achtergrondkenmerken van de respondenten. Wij
beperken ons tot de beleidsdirecties omdat voor dit organisatieonderdeel een voldoende hoge
respons beschikbaar is.

5.2 Motieven voor het gebruik van wetenschappelijke kennis
Hieronder bespreken wij eerst een kort overzicht van de literatuur over de motieven die ten
grondslag liggen aan ‘evidence-based’ werken en -beleid. Vervolgens presenteren wij de
resultaten van de enquête waarin wij medewerkers van de beleidsdirecties, van het hoofdkantoor
van een uitvoerende organisatie en van een kennisorganisatie binnen het ministerie van JenV
hebben gevraagd naar hun motivatie om wetenschappelijke kennis te gebruiken in hun werken en
beleid.

5.2.1

Resultaten van de literatuurstudie

In het veel geciteerde artikel “the many meanings of research utilization” beschijft Weiss (1979)
verschillende modellen over het gebruik van wetenschappelijke kennis in beleid. Enerzijds geeft
zij aan dat kennis vaak direct zijn weerslag in beleid vindt—of zou moeten vinden (Weiss noemt
dit het ‘kennisgedreven model’). Anderzijds wijst zij op een meer indirect gebruik van kennis in
beleid; bijvoorbeeld vanuit de interactie tussen wetenschappers en beleidsmakers (Weiss noemt
dit het ‘interactieve model’). Een andere wijze van kennisgebruik in beleid vindt plaats door
beleidsmakers te ‘verlichten’ met wetenschappelijke inzichten die doorsijpelen in beleid (Weiss
noemt dit het ‘verlichtingsmodel’). Over dat laatste model stelt Weiss (1979, p. 429) dat “it is the
concepts and theoretical perspectives that social science research has engendered that permeate
the policy-making process.”

78

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

De typologie van Weiss, die uiteindelijk zeven modellen over de relatie tussen wetenschap en
beleid specificeert, is later vereenvoudigd. In dit vereenvoudigde overzicht staan drie modellen
centraal voor het gebruik van evidentie in een beleidsproces, uitgaand van een instrumenteel-,
een conceptueel- of een symbolisch motief (Beyer 1997; Amara, Ouimet en Landry 2004). Bij
instrumenteel gebruik wordt kennis direct aangewend in een beleidsproces, gericht op het
oplossen van maatschappelijke problemen. Bij conceptueel gebruik wordt kennis benut om ideeën
op te doen in een beleidsproces. Nieuwe wetenschappelijke concepten en inzichten inspireren
beleidsmakers en beïnvloeden daarmee, op indirecte wijze, het verloop en de uitkomsten van
beleid. Bij symbolisch gebruik wordt wetenschappelijke kennis selectief benut; bijvoorbeeld door
het rationaliseren van eerder genomen besluiten of door het strategisch gebruik van kennis voor
bepaalde bestuurlijk-politieke doeleinden. Er wordt dan ook wel gesproken van ‘cherry picking’ of
van ‘the partisan use of evidence’ (Head 2016, 475).85

5.2.2

Medewerkers van de beleidsdirecties

De motieven om wetenschappelijke kennis te benutten hebben wij inzichtelijk gemaakt door
medewerkers in de vragenlijst 11 stellingen voor te leggen. In tabel 5.1 presenteren wij de
antwoorden van de medewerkers van de beleidsdirecties van het kerndepartement van JenV.
Tabel 5.1: Redenen voor het gebruik van wetenschappelijke kennis bij medewerkers van JenV (in %) N=272
Met wetenschappelijke kennis kan mijn
afdeling:

1

2

3

4

5

6

m

sd

7

Dieper inzicht verkrijgen in vraagstukken

0

1

5

52

38

3

4,31

0,66

21

1

9

53

33

4

4,22

0,65

21

2

8

58

25

6

4,12

0,68

21

2

13

54

25

6

4,09

0,69

21

Verantwoorde keuzes maken
Bestaand beleid evalueren

0

Effectieve interventies ontwikkelen
Eigen argumenten legitimeren

0

2

16

54

23

4

4,02

0,73

21

Nieuw beleid agenderen

0

2

16

55

20

6

3,98

0,73

21

2

21

54

19

4

3,94

0,70

21

Argumenten van anderen ontkrachten
Discussies depolitiseren

0

10

25

39

15

10

3,65

0,91

21

Eigen gezag en invloed (symbolisch)
versterken
Eerder gemaakte keuzes onderbouwen

2

12

25

44

10

6

3,52

0,92

21

3

11

33

37

9

7

3,41

0,92

21

Niet zoveel, maar het wordt voorgeschreven

26

39

18

4

2

11

2,06

0,93

21

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

85 De instrumentele zienswijze is sterk bekritiseerd omdat deze zou getuigen van weinig realisme (zie ook hoofdstuk 3).

“Scientific findings do not fall on blank minds that get made up as a result. Science engages with busy minds that have
strong views about how things are and ought to be.” (Marmot 2004, p. 906). Er wordt wel gewezen op het indirecte
gebruik van kennis in beleid en op de samenwerkingsverbanden en wisselwerking tussen wetenschappers en
beleidsmakers waarin kennisuitwisseling centraal staat in een dynamisch proces (Nutley et al. 2010). Een interactieve
benadering maakt het onmogelijk vast te stellen in hoeverre het beleid uiteindelijk berust op de inbreng van
wetenschappelijke kennis en op de inbreng van praktijkkennis (bijvoorbeeld Oliver, Lorenc en Innvaer 2014).

79

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

De stellingen hebben wij mede ontleend aan eerder onderzoek.86 Bij de stellingen vragen wij
medewerkers om hun mate van instemming met verschillende redenen waarom op hun afdeling
al dan niet gebruik wordt gemaakt van wetenschappelijke kennis. De antwoordcategorieën
variëren op een vijfpuntschaal tussen ‘helemaal oneens’ en ‘helemaal eens,’ met daarnaast de
antwoordmogelijkheid ‘weet niet/ niet van toepassing’).
Het grote merendeel (90%) van de beleidsambtenaren geeft aan dat wetenschappelijke kennis op
de afdeling voornamelijk gebruikt wordt om dieper inzicht in vraagstukken te verkrijgen; om
verantwoorde keuzes te maken (86%) en om bestaand beleid te evalueren (83%). Rond driekwart
van de respondenten stelt dat op hun afdeling wetenschappelijke kennis wordt gebruikt om
effectieve interventies te ontwikkelen (79%); om eigen argumenten te legitimeren (77%); om
nieuw beleid te agenderen (75%); en om argumenten van anderen te ontkrachten (73%).
Daarna volgen drie stellingen die door grofweg de helft van de beleidsambtenaren wordt
onderschreven. Dit betreft het gebruik van wetenschappelijke kennis om discussies te
depolitiseren (54%); om het eigen gezag en invloed (symbolisch) te versterken (54%); of om eerder
gemaakte keuzes te onderbouwen (46%). Slechts een zeer klein van de respondenten geeft aan
dat wetenschappelijke kennis op de afdeling alleen maar wordt gebruikt omdat het wordt
voorgeschreven (6%).
Ten slotte hebben wij een schaalanalyse uitgevoerd om te toetsen of de drie verschillende
motieven voor het gebruik van wetenschappelijke kennis (instrumenteel, conceptueel en
symbolisch) gereflecteerd worden in de antwoorden van de respondenten.
• Instrumenteel gebruik. Twee stellingen “verantwoorde keuzes maken” en “effectieve
interventies ontwikkelen” weerspiegelen een instrumenteel gebruik van
wetenschappelijke kennis. Zij vormen onderling een sterke schaal.87 Van de respondenten
is 93% het eens met de stelling dat wetenschappelijke kennis wordt gebruikt vanuit een
instrumenteel motief.88
• Conceptueel gebruik. Drie stellingen “dieper inzicht verkrijgen in vraagstukken”,
“bestaand beleid evalueren” en “nieuw beleid agenderen” vormen ook een sterke schaal,
die een conceptueel gebruik van wetenschappelijke kennis weerspiegelt.89 Van de
respondenten is 94% het eens met de stelling dat wetenschappelijke kennis wordt
gebruikt vanuit een conceptueel motief.
• Symbolisch gebruik. Vier stellingen “eigen argumenten legitimeren”, “argumenten van
anderen ontkrachten”, “eerder gemaakte keuzes achteraf onderbouwen”, en “eigen
gezag en invloed (symbolisch) versterken” vormen tezamen een sterke schaal, die een
symbolisch gebruik van wetenschappelijke kennis weerspiegelt.90 Van de respondenten is
86 Zie Cherney, Head, Boreham, Povey, and Ferguson (2011), Rimkutė and Haverland (2015), Amara et al. (2004) en deels

zelf ontwikkeld.
87 Een Mokkenschaal analyse voor polytome items laat een sterke schaal zien voor deze twee items: H = .63.
88 Zij scoren gemiddeld hoger dan 3,0 op deze items.
89 Een Mokkenschaal analyse laat een zeer sterke schaal zien voor deze drie items: H = .75.
90 Omdat het hier vier items betreft, hebben wij ook Cronbach’s alpha berekend: alpha = .80. Een Mokkenschaal analyse
laat een sterke schaal zien voor deze drie items: H = .59.

80

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

72% het eens met de stelling dat wetenschappelijke kennis kan worden gebruikt vanuit
een symbolisch motief. Dit is interessant, omdat uit hoofdstuk 2 bleek dat respondenten
het oneens waren met de stelling dat symbolisch gebruik op de eigen afdeling wordt
bevorderd.
De drie motieven hangen samen, maar zeker niet perfect. De correlatie tussen gebruik vanuit een
instrumenteel- en conceptueel motief is 0,64. Dit wijst erop dat respondenten deze twee
motieven vaak in samenhang gebruiken. Gebruik vanuit een symbolisch motief hangt met beide
veel minder sterk samen: de correlatie met het conceptuele motief is 0,41 en met het
instrumentele motief is 0,29. Dit betekent dat het symbolisch gebruik van wetenschappelijke
kennis door respondenten op zichzelf staat.

5.2.3

Medewerkers hoofdkantoor van uitvoerende organisatie

De resultaten van de enquête bij de medewerkers van het hoofdkantoor van een
uitvoeringsorganisatie zijn weergeven in tabel 5.2 hieronder.
Tabel 5.2: Motivatie voor het gebruik van wetenschappelijke kennis bij medewerkers van een
hoofdkantoor van een uitvoerende organisatie van JenV (in %) N=46
Met wetenschappelijke kennis kan mijn
afdeling:

1

2

3

4

5

Dieper inzicht verkrijgen in vraagstukken

3

51

Verantwoorde keuzes maken

5

Nieuw beleid agenderen

6

m

sd

7

46

4,44

0,55

15

56

38

4,33

0,58

15

10

59

31

4,21

0,61

15

Bestaand beleid evalueren

3

10

51

33

3

4,18

0,73

15

Effectieve interventies ontwikkelen

3

8

46

38

5

4,27

0,73

15

Eigen argumenten legitimeren

3

13

59

23

3

4,05

0,70

15

Argumenten van anderen ontkrachten

3

33

41

18

5

3,78

0,79

15

Eerder gemaakte keuzes onderbouwen

21

28

44

5

3

3,34

0,88

15

Discussies depolitiseren

8

36

38

10

8

3,56

0,81

15

8

3

3,32

0,90

15

5

1,92

0,86

15

Eigen gezag en invloed (symbolisch)
versterken

3

13

41

33

Niet zoveel, maar het wordt voorgeschreven

36

33

23

3

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

81

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Vrijwel alle respondenten van het hoofdkantoor geven aan dat wetenschappelijke kennis op hun
afdeling wordt gebruikt om dieper inzicht te verkrijgen in vraagstukken (97%); om verantwoorde
keuzes te maken (94%), en om nieuw beleid te agenderen (90%). Ook het evalueren van beleid
(84%), ontwikkelen van effectieve interventies (84%) en het legitimeren van de eigen argumenten
(82%) wordt door een groot deel van de medewerkers van het hoofdkantoor aangevoerd als
belangrijke motieven voor het gebruiken van wetenschappelijke kennis.
Rond de helft van de medewerkers van het hoofdkantoor geeft aan wetenschappelijke kennis te
gebruiken om argumenten van anderen te ontkrachten (59%), om eerder gemaakte keuzes te
onderbouwen (49%), discussies te depolitiseren (48%), of het eigen gezag en invloed (symbolisch)
te versterken (41%). Ook hier geldt dat vrijwel geen enkele respondent aangeeft dat
wetenschappelijke kennis wordt gebruikt omdat het is voorgeschreven (3%).
Ook op de motieven voor het gebruik van wetenschappelijke kennis op het hoofdkantoor van de
uitvoerende organisatie hebben wij een schaalanalyse uitgevoerd. De schaal instrumenteel
gebruik is sterk.91 Van de respondenten is 95% het eens met de stelling dat wetenschappelijke
kennis wordt gebruikt vanuit een instrumenteel motief. De stellingen voor conceptueel gebruik
vormen onderling ook een sterke schaal.92 Van de respondenten is 92% het eens met de stelling
dat wetenschappelijke kennis wordt gebruikt vanuit een conceptueel motief. Ten slotte vormen
de vier stellingen voor het symbolisch gebruik van wetenschappelijke kennis ook een sterke
schaal.93 Van de respondenten is 62% het eens met de stelling dat wetenschappelijke kennis wordt
gebruikt vanuit een symbolisch motief. De correlatie tussen gebruik vanuit een instrumenteel- en
conceptueel motief is hoog: 0,72. Gebruik vanuit een symbolisch motief hangt met beide minder
sterk samen: de correlatie met het conceptuele motief is 0,36 en met het instrumentele motief is
0,17. Ook bij deze respondenten zien we dus dat wetenschappelijke kennis gebruikt wordt vanuit
een samenhangend conceptueel-instrumenteel motief, terwijl het gebruik van wetenschappelijke
kennis om symbolische redenen hiervan los staat.

5.2.4

Medewerkers kennisorganisatie

De resultaten van de enquête onder medewerkers van een kennisorganisatie van JenV worden
gepresenteerd in tabel 5.3. Zeer veel medewerkers van de kennisorganisatie geven aan dat
wetenschappelijke kennis op hun afdeling wordt gebruikt om dieper inzicht te verkrijgen in
vraagstukken (90%); om verantwoorde keuzes te kunnen maken (89%); en om bestaan beleid te
evalueren (84%) en om nieuw beleid te agenderen (79%). Rond driekwart van de respondenten
geeft aan dat op hun afdeling wetenschappelijke kennis wordt gebruikt om effectieve
interventies te ontwikkelen (74%) en de eigen argumenten te legitimeren (74%).

91 Een Mokkenschaal analyse voor polytome items laat een sterke schaal zien voor deze twee items: H = .65.
92 Een Mokkenschaal analyse laat een zeer sterke schaal zien voor deze drie items: H = .88.
93 Omdat het hier vier items betreft, hebben wij ook Cronbach’s alpha berekend: alpha = .73. Een Mokkenschaal analyse

laat een sterke schaal zien voor deze drie items: H = .49.

82

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Tabel 5.3: Motivatie voor het gebruik van wetenschappelijke kennis bij medewerkers van een
kennisorganisatie van JenV (in %) N=22
Met wetenschappelijke kennis kan mijn
afdeling:

1

3

4

5

m

sd

7

Dieper inzicht verkrijgen in vraagstukken

11

53

37

4,26

0,65

14

Verantwoorde keuzes maken

11

42

47

4,37

0,68

14

5

68

16

5

4

0,69

14

Nieuw beleid agenderen

16

63

16

5

4

0,59

14

Effectieve interventies ontwikkelen

21

53

21

5

4

0,69

14

21

53

21

3,89

0,81

14

26

42

21

11

3,94

0,75

14

16

5

3,72

0,83

14

6

3,35

0,70

18

11

3,41

0,80

14

16

2,13

0,89

14

Bestaand beleid evalueren

2

5

Eigen argumenten legitimeren

5

Discussies depolitiseren
Argumenten van anderen ontkrachten

5

32

42

Eerder gemaakte keuzes onderbouwen

11

39

44

Eigen gezag en invloed (symbolisch)
versterken
Niet zoveel, maar het wordt voorgeschreven

11

37

37

37

21

5

21

5

6

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

Een ruime meerderheid van de respondenten geeft aan wetenschappelijke kennis te gebruiken
om discussies te depolitiseren (63%) en om argumenten van anderen te ontkrachten (58%).
Daarna volgen motieven zoals het onderbouwen van eerder gemaakte keuzes met
wetenschappelijke kennis (44%) en het (symbolisch) versterken van het eigen gezag en invloed
(42%). Slechts één respondent geeft aan wetenschappelijke kennis alleen maar te gebruiken
omdat het wordt voorgeschreven (5%).
Een schaalanalyse op de motieven voor het gebruik van wetenschappelijke kennis binnen de
kennisorganisatie is niet goed mogelijk, gezien het lage aantal respondenten. We kunnen wel de
gemiddelde instemming berekenen van de respondenten met de items die behoren tot een
schaal. Van de respondenten is gemiddeld 89% het eens met de twee stellingen over een
instrumenteel motief voor het gebruik van wetenschappelijke kennis. Eenzelfde gemiddeld
percentage (89%) is het eens met de drie stellingen over een conceptueel motief. Van de
respondenten is gemiddeld 62% het eens met de vier stellingen over het gebruik van
wetenschappelijke kennis vanuit een symbolisch motief.

5.2.5

Deelconclusie over motieven voor gebruik: enquêtes

Als we de drie verschillende organisatieonderdelen vergelijken valt op dat in de top-vier van
motieven drie redenen voor gebruik steeds terugkomen. Dit betreft het dieper inzicht verkrijgen
in vraagstukken, het maken van verantwoorde keuzes en het agenderen van nieuw beleid. Ook
het evalueren van bestaand beleid wordt veel genoemd. Dit weerspiegelt de instrumentele en
conceptuele motieven voor het gebruik van wetenschappelijke kennis.
83

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Opvallend is dat bij de beleidsdirecties en het hoofdkantoor de items ‘discussies depolitiseren’ en
‘eigen gezag en invloed (symbolisch) versterken’ bijna gelijk scoren. Bij de kennisorganisatie
gebruikt men wetenschappelijke kennis veel meer om discussies te depolitiseren dan om het
eigen gezag en de eigen invloed te versterken (een verschil van zestien procentpunten). De
antwoorden in alle drie enquêtes laten zien dat door veel minder respondenten politieksymbolische motieven worden aangedragen voor het gebruik van wetenschappelijke kennis.

5.3 Belemmeringen bij het gebruik van wetenschappelijke kennis
Hieronder bespreken wij een kort overzicht van de literatuur over belemmeringen die optreden
bij het ‘evidence-based’ werken en -beleid. Vervolgens presenteren wij de resultaten van de
enquête waarin wij medewerkers van de beleidsdirecties, van het hoofdkantoor van een
uitvoerende organisatie en van een kennisorganisatie binnen het ministerie van JenV hebben
gevraagd naar de belemmeringen die zij ervaren om wetenschappelijke kennis te gebruiken in
hun werken en beleid.

5.3.1

Resultaten van de literatuurstudie

De literatuurstudie levert vier belangrijke belemmeringen op voor het gebruik van
wetenschappelijk onderzoek in werken en beleid. Deze zijn te vinden in kenmerken van het
kennisfonds, (gebrek aan) expertise bij gebruikers, (gebrek aan) relevantie van
onderzoeksresultaten, en belangentegenstellingen tussen wetenschap en beleid.
Kenmerken van het kennisfonds. Belemmeringen bij het gebruik van wetenschappelijke kennis zijn
te vinden in kenmerken van de beschikbare kennis. Bij ‘evidence-based’ werken en -beleid wordt
soms de (impliciete) aanname gehanteerd dat er sprake zou zijn van een consistent en cumulatief
wetenschappelijk kennisfonds waaruit de beleidspraktijk kan putten. Deze aanname is veel te
simplistisch. In de eerste plaats is over bepaalde problemen geen (overtuigende)
wetenschappelijke kennis beschikbaar. Niet voor ieder probleem waar beleidsmakers zich gesteld
zien, zijn ook wetenschappelijke inzichten voorhanden. In de tweede plaats doet
tegenovergestelde zich ook voor: vaak is het aanbod van kennis overweldigend. Met de
opeenstapeling van bewijzen neemt de kans op tegenstrijdige inzichten toe. Het waarderen van
conflicterend bewijs is geen sine cure, waardoor keuzestress of apathie het gevolg kunnen zijn
(Adam et al. 2018).
(Gebrek aan) expertise bij gebruikers. Wetenschap is vaak een zaak van hyperspecialisten die een
eigen taal spreken en dit jargon niet weten om te zetten in uitkomsten en aanbevelingen die
aansluiten bij de belevingswereld van beleidsmakers (Greenberg en Mandell 1991, 646). Daarnaast
bemoeilijkt diversiteit bij potentiële kennisgebruikers eenduidige, heldere verslaglegging van
wetenschappelijke onderzoeksresultaten (Head 2016). Hierdoor kan het voor gebruikers in de
beleidspraktijk lastig zijn om kwaliteit en resultaten te verifiëren, analyses te interpreteren, of om
de resultaten van wetenschappelijk onderzoek goed te vertalen naar de praktijk. Of dat
wetenschap gewoonweg te saai wordt gevonden.
84

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

(Gebrek aan) relevantie. Doordat de wereld van de beleidspraktijk en die van de academie niet
(altijd) op elkaar zijn afgestemd is academisch onderzoek soms niet relevant voor beleidsmakers
(Baldridge, Floyd, en Markóczy 2004; Mead 2015). Alhoewel wetenschappers steeds meer
‘impact’ moeten creëren, zullen de resultaten van wetenschappelijk onderzoek niet altijd direct
toepasbaar zijn in een specifieke beleidspraktijk, bijvoorbeeld door het ontbreken van concrete
beleidsaanbevelingen of het te laat beschikbaar komen van de resultaten.
Belangentegenstellingen tussen wetenschap en beleid. Onderzoekers hebben vaak zelf ook een
belang dat de geloofwaardigheid van onderzoeksresultaten, en daarmee het gebruik, negatief
kan beïnvloeden. Zij kunnen bijvoorbeeld afhankelijk zijn van financiële sponsoren, of uitsluitend
gericht op de eigen academische reputatie. Hierdoor kan de indruk ontstaan dat onderzoek
bevooroordeeld is. Maar ook het belang van de beleidswereld weegt mee. Zo kunnen de
resultaten van wetenschappelijk onderzoek niet passen bij het lopend beleid of politiekbestuurlijk onacceptabel zijn. Ten slotte staat ook de wetenschap maatschappelijk onder druk er
wordt soms gesteld dat wetenschap ‘ook maar een mening’ is.

5.3.2

Medewerkers van de beleidsdirecties

Aan de hand van 12 stellingen hebben wij de respondenten van de drie verschillende organisaties
gevraagd welke belemmerende factoren ze ervaren voor het gebruik van wetenschappelijke
kennis in hun werken en beleid. Deze items hebben wij ontleend aan de literatuur en aan eerder
uitgevoerd empirisch onderzoek (Newman et al. 2017; Newman et al. 2016; Cherney et al. 2011;
Smet 2013). Deels hebben wij de items zelf ontwikkeld.
Tabel 5.4 presenteert de resultaten van de enquête bij medewerkers van de beleidsdirecties van
het kerndepartement. Wat direct opvalt is dat bij alle stellingen minder dan de helft van de
beleidsambtenaren van de kerndepartementen van JenV aangeeft het (helemaal) eens te zijn met
de specifieke belemmerende factor. De meest belemmerende factor is de gebrekkige
beschikbaarheid van relevante wetenschappelijke kennis (45%).
Hierop volgen verschillende belemmeringen die (ruim) een derde van de respondenten
onderkent. De kwaliteit en resultaten zijn lastig te verifiëren (40%), er is te weinig expertise
beschikbaar om onderzoek naar de praktijk te vertalen (38%), de methodologische kwaliteit van
het onderzoek is te gering (36%), er worden geen relevante beleidsaanbevelingen worden gedaan
(36%) en het onderzoek is te bevooroordeeld (33%). Minder dan een derde van de respondenten
geeft aan geen gebruik te maken van wetenschappelijke kennis omdat de onderzoeksresultaten
te laat komen (30%), de analyses te moeilijk te interpreteren zijn (28%), onderzoeksresultaten
tegenstrijdig zijn (28%) en de resultaten niet goed passen bij het lopend beleid of politiekbestuurlijk onacceptabel zijn (26%).

85

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Slechts weinig beleidsambtenaren geven aan dat zij worden belemmerd omdat wetenschap ook
maar een mening is (9%) of dat wetenschappelijk onderzoek te saai is (6%) om te gebruiken in hun
werken en beleid.
Tabel 5.4: Belemmeringen voor het gebruik van wetenschappelijke kennis bij medewerkers van de
beleidsdirecties van JenV (in %) N=272
Mijn afdeling gebruikt (een)
wetenschappelijk onderzoek niet wanneer,
of omdat

1

2

3

4

5

6

m

sd

7

Er geen relevant wetenschappelijk onderzoek
beschikbaar is

2

18

22

36

9

12

3,66

1,01

25

Kwaliteit en resultaten lastig te verifiëren zijn

2

25

20

32

8

13

3,22

1,04

25

Er te weinig expertise is om het onderzoek te
vertalen naar de praktijk

1

23

23

31

7

14

3,21

0,99

25

De methodologische kwaliteit van het
onderzoek te gering is

2

25

21

28

8

16

3,16

1,04

25

Er geen relevante beleidsaanbevelingen
worden gedaan

2

20

27

29

7

16

3,22

0,97

25

Het onderzoek te bevooroordeeld is

4

22

26

24

9

15

3,13

1,08

25

De onderzoeksresultaten te laat komen

2

24

25

27

3

19

3,05

0,94

25

De analyses moeilijk te interpreteren zijn

5

31

23

24

4

13

2,89

1,02

25

De onderzoeksresultaten tegenstrijdig zijn

2

26

26

22

6

17

3,04

1,00

25

De resultaten niet goed passen bij het lopend
beleid of politiek- bestuurlijk onacceptabel
zijn

8

33

20

19

7

12

2,82

1,11

25

Wetenschap is ook maar een mening

33

33

16

7

2

9

2,03

1,02

25

Het onderzoek te saai is

24

38

18

5

1

13

2,1

0,93

25

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

5.3.3

Medewerkers hoofdkantoor uitvoerende organisatie

De antwoorden van de medewerkers over belemmeringen in het gebruik van wetenschappelijke
kennis worden gepresenteerd in tabel 5.5. Deze medewerkers geven aan voornamelijk te worden
belemmerd door een gebrek aan expertise om wetenschappelijk onderzoek naar de praktijk te
vertalen (58%). Op enige afstand volgen de belemmeringen dat resultaten niet goed passen bij het
lopende beleid of dat ze politiek-bestuurlijk onacceptabel zijn (37%), dat er geen relevante
beleidsaanbevelingen worden gedaan (37%), dat het onderzoek te bevooroordeeld is (34%) en dat
de methodologische kwaliteit te beperkt is (34%). Rond een kwart van de medewerkers maakt
geen gebruik van wetenschappelijke kennis als de analyses moeilijk te interpreteren zijn (26%), er
geen relevant wetenschappelijk onderzoek beschikbaar is (26%) en dat de resultaten tegenstrijdig
zijn (26%).

86

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Veel minder medewerkers van het hoofdkantoor zien het moeilijk verifiëren van kwaliteit en
resultaten als een belemmering (18%) of dat de resultaten van wetenschappelijk onderzoek te laat
komen om van nut te zijn (18%). Ten slotte geeft slechts 8% aan dat wetenschap ook maar een
mening is of te saai is om te gebruiken in werken en beleid (8%).
Tabel 5.5: Belemmeringen voor het gebruik van wetenschappelijke kennis bij medewerkers van het
hoofdkantoor van een uitvoeringsorganisatie van JenV (in %) N=46
Mijn afdeling gebruikt (een)
wetenschappelijk onderzoek niet wanneer,
of omdat

1

Er te weinig expertise is om het onderzoek te
vertalen naar de praktijk
De resultaten niet goed passen bij het lopend
beleid of politiek-bestuurlijk onacceptabel
zijn

3

Er geen relevante beleidsaanbevelingen
worden gedaan

2

3

4

5

6

m

sd

7

13

18

47

11

11

3,62

0,89

17

24

18

32

5

18

3,16

1,04

17

18

32

26

11

13

3,33

0,96

17

Het onderzoek te bevooroordeeld is

5

24

18

29

5

18

3,06

1,09

17

De methodologische kwaliteit van het
onderzoek te gering is

8

26

18

29

5

13

2,97

1,13

17

De analyses moeilijk te interpreteren zijn

5

29

24

26

16

2,84

0,95

17

Er geen relevant wetenschappelijk
onderzoek beschikbaar is

3

29

32

26

11

2,91

0,87

17

De onderzoeksresultaten tegenstrijdig zijn

5

18

34

26

16

2,97

0,90

17

Kwaliteit en resultaten lastig te verifiëren zijn

5

26

37

13

13

2,85

0,97

17

De onderzoeksresultaten te laat komen

3

29

29

18

21

2,8

0,85

17

Wetenschap ook maar een mening is

32

37

16

5

8

2,03

1,01

17

Het onderzoek te saai is

21

34

18

8

18

2,16

0,93

17

5

3

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

5.3.4 Medewerkers kennisorganisatie
Belemmeringen die de medewerkers van een kennisorganisatie van JenV ervaren voor het
gebruik van wetenschappelijke kennis worden gepresenteerd in tabel 5.6. Zij geven aan dat de
voornaamste belemmeringen liggen in het lastig verifiëren van kwaliteit en resultaten (58%), de
geringe methodologische kwaliteit van het onderzoek (58%), dat de analyses moeilijk te
interpreteren zijn (53%) en dat er te weinig expertise is om het onderzoek naar de praktijk te
vertalen (47%).
Hierna volgen belemmeringen dat het onderzoek te bevooroordeeld is (42%), er geen relevant
wetenschappelijk onderzoek beschikbaar (37%), dat onderzoeksresultaten tegenstrijdig zijn (26%)
of dat geen relevante beleidsaanbevelingen worden gedaan (21%).
87

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Een enkeling geeft aan dat er weinig wetenschappelijke kennis wordt gebruikt omdat het
onderzoek te saai is (5%) en de resultaten te laat komen (5%). Niemand ziet wetenschap als ook
maar een mening (0%) of niet-passende resultaten bij lopend beleid of een gebrek aan politiekbestuurlijke acceptatie (0%) als belemmeringen voor het gebruik van wetenschappelijke kennis.
Tabel 5.6: Belemmeringen voor het gebruik van wetenschappelijke kennis bij medewerkers van een
kennisorganisatie van JenV (in %) N=22
Mijn afdeling gebruikt (een)
wetenschappelijk onderzoek niet wanneer,
of omdat

2

3

4

5

6

m

sd

7

Kwaliteit en resultaten lastig te verifiëren zijn

11

11

53

5

21

3,67

0,82

14

De methodologische kwaliteit van het
onderzoek te gering is

11

11

42

16

21

3,8

0,94

14

De analyses moeilijk te interpreteren zijn

21

11

42

11

16

3,5

1,03

14

Er te weinig expertise is om het onderzoek te
vertalen naar de praktijk

5

26

42

5

21

3,6

0,74

14

11

21

26

16

21

3,47

1,19

14

Er geen relevant wetenschappelijk onderzoek
beschikbaar is

5

37

11

26

21

3,73

1,03

14

De onderzoeksresultaten tegenstrijdig zijn

16

37

21

5

21

3,2

0,86

14

5

16

2,94

1,06

14

Het onderzoek te bevooroordeeld is

1

5

Er geen relevante beleidsaanbevelingen
worden gedaan

11

11

42

16

Het onderzoek te saai is

26

26

26

5

16

2,13

0,96

14

26

32

5

37

2,67

0,65

14

De onderzoeksresultaten te laat komen
Wetenschap ook maar een mening is

21

53

11

16

1,89

0,62

14

De resultaten niet goed passen bij het lopend
beleid of politiek-bestuurlijk onacceptabel
zijn

16

21

37

26

2,29

0,83

14

Noot. Antwoordcategorieën: Helemaal oneens (1); Oneens (2); Neutraal (3); Eens (4); Helemaal eens (5); Weet
niet/ Niet van toepassing (6); Ontbrekende waarden (7).

5.3.5

Deelconclusie over belemmeringen bij gebruik: enquêtes

Op de beleidsdirecties en het hoofdkantoor van de uitvoerende organisatie worden vooral
belemmeringen gezien in de relevantie van het onderzoek voor de beleidspraktijk, de
passendheid van de onderzoeksresultaten bij het lopende beleid en de politiek-bestuurlijke
acceptatie van de uitkomsten van het onderzoek. Bij de beleidsdirecties wordt ook wel het
gebrek aan expertise aangegeven om wetenschappelijk onderzoek te vertalen naar de praktijk.
Die laatste belemmering vormt een mooie brug naar de kennisorganisatie. Medewerkers van de
kennisorganisatie zien belemmeringen vooral in de toegankelijkheid en kwaliteit van het
wetenschappelijke onderzoek. Dit is logisch, omdat zij goed onderlegd zijn in het begrijpen en
uitvoeren van wetenschappelijk onderzoek en daarnaast het onderzoek ook goed weten te
vinden. Voor hen is immers de belangrijke taak weggelegd om wetenschappelijke kennis te
ontsluiten voor de professionele praktijk.
88

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

5.4 Invloed van context: verklarende analyse bij beleidsdirecties
In deze paragraaf gaan wij nader in op de invloed van contexten op het gebruik van verschillende
kennisbronnen binnen het ministerie van JenV. In hoofdstuk 4 bleek dat wetenschappelijke kennis
één van de drie kennisbronnen zijn die benut worden binnen het ministerie, naast praktijkkennis
en kennis uit beleidsdocumenten. In het vorige hoofdstuk kennisbenutting hebben wij vooral
aandacht besteed aan wetenschappelijke kennis en (de integratie ervan met) praktijkkennis, als
uitdrukkingen van ‘evidence-based’ en ‘evidence-informed’ werken en -beleid.
Deze paragraaf heeft een andere opzet dan de voorgaande. In deze paragraaf rapporteren wij
over de resultaten van een verklarende analyse van de enquête onder medewerkers van de
beleidsdirecties van het kerndepartement. Deze keuze is niet zozeer principieel als wel
pragmatisch: de respons van de beleidsdirecties laat het toe om een eenvoudige statistische
analyse te verrichten, waarmee wij verschillende verklaringen tegelijkertijd kunnen toetsen.
In het rapport zijn verschillende verklaringen voor het gebruik van kennis aan de orde gekomen
Deze verklaringen zijn in het kort:
• Een bevorderende afdelingscultuur voor ‘evidence-based’ werken en -beleid.
• Werkzaamheden van de medewerker, zoals strategiebepaling, beleidsadvisering, of
uitvoering.
• Kenmerken van het beleidsvraagstuk.
De afdelingscultuur is uitgebreid besproken in hoofdstuk 2, waarbij ook de doorwerking van
wettelijke- en beleidsmatige kaders in deze cultuur aan de orde kwamen, zoals bekendheid met
de eisen uit de Comptabiliteitswet en het Integraal Afwegingskader. De conclusie was dat vooral
tijdgebrek om ‘evidence-based’ of ‘evidence-informed’ te werken een belangrijk kenmerk is van
de organisatiecultuur.
In de interviews is naar voren gekomen dat het gebruik van kennisbronnen varieert tussen de
fasen van het beleidsproces en verschillende typen van beleidsvraagstukken die ten grondslag ligt
aan de beleidsdossiers. In deze paragraaf onderzoeken wij of wij ook in de enquête dergelijke
verschillen kunnen vinden in de het gerapporteerde gebruik van verschillende kennisbronnen.
Bovendien kunnen wij dan ook individuele achtergrondkenmerken tussen medewerkers van de
beleidsdirecties meenemen in de analyse.94 Individuele achtergrondkenmerken, zoals ervaring of
gender zouden kunnen samenhangen met het gebruik van de verschillende typen van kennis.
Om de interpretatie van de verklarende analyse te vergemakkelijken presenteren wij hieronder
eerst (a) hoe wij de werkzaamheden van de medewerker hebben gemeten, en (b) hoe wij hebben
geprobeerd kenmerken van het beleidsvraagstuk te meten. Vervolgens presenteren wij de
resultaten van een verklarende analyse voor het gebruik van achtereenvolgens
wetenschappelijke kennis, praktijkkennis, en beleidsdocumentatie.

94 Deze achtergrondkenmerken komen kort aan de orde in Appendix B, bij de beschrijving van de enquête.

89

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

5.4.1

Werkzaamheden van respondenten

Wij hebben in de vragenlijst enkele stellingen opgenomen die betrekking hebben op de
werkzaamheden van de respondenten. Deze stellingen zijn ontleend aan eerder onderzoek naar
werkzaamheden van ambtenaren in ministeries in de Verenigde Staten (Aberbach en Rockman
1981). Wij beperken ons hier op de medewerkers van de beleidsdirecties van het
kerndepartement. Op grond van de bestuurskundige literatuur kunnen wij hun werkzaamheden
in enkele categorieën onderverdelen die elkaar niet wederzijds hoeven uit te sluiten. Het betreft
leidinggevende taken, beleidsadviserende werkzaamheden, strategiebepaling, uitvoerende
werkzaamheden en onderzoek.
• Leidinggevenden zijn medewerkers van de beleidsdirecties die vaak of altijd
“medewerkers aan te sturen”. Dit betreft 13% van de respondenten.
• Beleidsadviseurs zijn medewerkers (44%) die gemiddeld vaak of altijd “de
beleidsvoorbereiding/ besluitvorming ondersteunen” en “werken aan beleidsstukken”.95
• Strategen zijn medewerkers (22%) die gemiddeld vaak of altijd “besluiten nemen en de
strategie bepalen” en “contact hebben met minister en/ of politici”.96
• Uitvoerders zijn medewerkers (14%) van de beleidsdirecties die hebben aangegeven vaak
of altijd “uitvoerende taken te verrichten”.
• Onderzoekers zijn medewerkers (5%) van de beleidsdirecties die hebben aangegeven vaak
of altijd “onderzoek te doen”.

5.4.2

Kenmerken van het beleidsveld

In de inleiding en Appendix B is besproken dat de context van het beleidsvraagstuk
medebepalend kan zijn voor de wijze waarop verschillende vormen van kennis worden gebruikt in
het werken en beleid. De interviews laten bijvoorbeeld zien dat op beleidsdossiers waar een grote
mate van onzekerheid bestaat over de status van wetenschappelijke kennis en waar een grote
mate van politieke dynamiek bestaat, politieke oordeelsvorming het gebruik van
wetenschappelijke kennis en praktijkkennis naar de achtergrond drukt.
In de vragenlijst hebben wij een aantal stellingen opgenomen over het beleidsveld waarin de
medewerkers actief zijn. Deze stellingen zijn gebaseerd op Cherney et al. (2015) en Newman et al.
(2016). De stellingen proberen kenmerken van het beleidsveld te meten die betrekking hebben op
enerzijds onzekerheid van kennis (zoals tegenstrijdige wetenschappelijke kennis, of
onduidelijkheid over doelen en middelen) en anderzijds politieke dynamiek.
• Onzekerheid van kennis. Zeven stellingen (op mijn beroepsveld “bestaat er in de
beleidsvoering weinig overeenstemming over doelen en / of middelen”, “spreken
informatie of feiten elkaar vaak tegen”, “wordt soms selectief omgegaan met feitelijke
onderbouwing”, “is besluitvorming gericht op de korte termijn”, “is weinig
wetenschappelijke kennis beschikbaar”, “heeft de beschikbare wetenschappelijke kennis
een onzekere status” en “is kennis uit de praktijk belangrijker dan wetenschappelijke
kennis”) weerspiegelen onzekerheid van kennis die de respondent ervaart in het
95 Beide items vormen een zeer sterke schaal: H = .62.
96 Beide items vormen een sterke schaal: H = .46.

90

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

•

beroepsveld. Zij vormen onderling een sterke schaal.97 Van de respondenten is 38% het
eens met de stelling dat hun beroepsveld gekenmerkt wordt door enige mate van
onzekerheid.
Politieke dynamiek. Twee stellingen (“de media hebben een grote impact” en “er is sprake
van veel politieke dynamiek”) weerspiegelen de politieke dynamiek die de respondent
ervaart in het beroepsveld. Zij vormen onderling een sterke schaal.98 Van de
respondenten is 93% het eens met de stelling dat hun beroepsveld gekenmerkt wordt
door enige mate van politieke dynamiek.

5.4.3 Multipele regressie van kennisgebruik bij de beleidsdirecties
Tabel 5.7 presenteert de resultaten van een OLS-regressieanalyse van de verschillende
kennisbronnen die wij hebben uitgevoerd op de gegevens van de beleidsdirecties. In de
regressieanalyse hebben wij de variabelen ‘afdelingscultuur’, ‘motieven voor het gebruik van
wetenschappelijke kennis’, ‘type werkzaamheden’ en ‘kenmerken van het beleidsveld’
meegenomen. De analyses zijn gecontroleerd voor ‘vakgebied’, ‘ervaring’, ‘gender’ en ‘leeftijd’.99
Bij het interpreteren van de resultaten moeten we de nodige voorzichtigheid betrachten. In de
eerste plaats zijn er flink wat ontbrekende waarnemingen, waardoor de n is teruggebracht naar
ongeveer 100. Daarnaast bestaat de kans dat de samenhangen (deels) kunnen zijn veroorzaakt
door “common method variance”, dat wil zeggen, door de structuur van de meting en vragenlijst
(zie Appendix B voor een korte bespreking). Wij hebben verschillende modellen gedraaid en
varianten geprobeerd, bijvoorbeeld met en zonder controlevariabelen. De effectschattingen
variëren niet sterk tussen deze modellen.
Afdelingscultuur. De regressieanalyses laten zien dat een bevorderende afdelingscultuur voor
‘evidence-based’ werken en -beleid significant samenhangt met het gebruik van alle verschillende
bronnen van kennis. Medewerkers die rapporteren dat op hun afdeling het gebruik van
wetenschappelijke kennis wordt aangemoedigd rapporteren niet alleen significant meer
wetenschappelijke kennis te gebruiken, maar tevens ook praktijkkennis en kennis uit
beleidsdocumenten. Dit zijn, met andere woorden, kennisintensieve afdelingen in brede zin – al is
het effect het grootst op het gebruik van wetenschappelijke kennis.
Motieven voor het gebruik van wetenschappelijke kennis. De motieven voor het gebruik van kennis
hangen niet samen met het gerapporteerde gebruik van kennis – wat voor kennisbron dan ook.
Het is dus niet het geval dat één van de motieven bepalend zou zijn voor het gebruik van
wetenschappelijke kennis of een andere kennisbron bij de beleidsdirecties van het
kerndepartement.

97 Cronbach’s alpha = .75.
98 Een Mokkenschaal analyse voor polytome items laat een sterke schaal zien voor deze twee items: H = .63.
99 Wij hebben de analyses op de afhankelijke variabelen separaat uitgevoerd. Wij weten uit hoofdstuk 4 dat de drie

afhankelijke variabelen onderling zijn gecorreleerd. Daarom hebben wij ter controle een ‘seemingly unrelated
regression” uitgevoerd via stata commando “sureg”. In de SUR-analyse wordt de veronderstelling losgelaten dat de
errortermen van de drie modellen niet gecorreleerd zijn. De SUR-analyse die wij verrichtten leidt niet tot een inhoudelijk
andere interpretatie van onze resultaten.

91

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Werkzaamheden. Medewerkers die hoger scoren op beleidsadviserende werkzaamheden
rapporteren ook significant meer gebruik te maken van wetenschappelijke kennis in hun werken
en beleid. Interessant genoeg is dit het enige stabiele effect dat wij vinden in de gegevens. De
werkzaamheden die medewerkers van de beleidsdirecties verrichten hangen verder niet samen
met het gebruik van verschillende vormen van kennis.
Kenmerken beleidsveld. De sterkste samenhangen (naast die met afdelingscultuur) vinden wij bij
de context van het beleidsveld. Dit hadden wij ook al eerder geconstateerd bij de interviews die
betrekking hadden op de geselecteerde beleidsdossiers. In die interviews kwamen wij tot deze
conclusie na vergelijking van verschillende organisatieonderdelen. Nu blijkt dat ook binnen de
beleidsdirecties de kenmerken van het beleidsveld (en achterliggende beleidsvraagstuk) van
invloed zijn op het gebruik van de verschillende kennisbronnen. Wij hebben een interactie-effect
geschat tussen onzekerheid van wetenschappelijke kennis en politieke dynamiek op het
beleidsveld. Immers, vanuit de theorie is gepostuleerd dat bij ontembare politieke problemen
(gekenmerkt door een hoge mate van onzekerheid van kennis en een grote politieke dynamiek)
het gebruik van (wetenschappelijke) kennis het meest problematisch is.
Tabel 5.7: Resultaten van een OLS-regressieanalyse van het gebruik van verschillende
kennisbronnen door medewerkers van de beleidsdirecties van JenV (ongestandaardiseerde
coëfficiënten, standaardfout tussen haakjes).
Wetenschappelijke
kennis
1a
1b
.44
.43
(.17)**
(.17)**

Praktijkkennis
2a
2b
.26
.24
(.12)* (.12)*

Kennis uit
documenten
3a
3b
.33
.36
(.14)* (.14)**

-.03
(.18)
-.14
(.19)
.03
(.15)

-.04
(.18)
-.14
(.19)
.04
(.15)

-.10
(.13)
-.10
(.13)
.15
(.11)

-.11
(.13)
-.11
(.13)
.17
(.11)

-.06
(.16)
-.02
(.17)
.22
(.13)

-.03
(.15)
-.01
(.16)
.20
(.13)

-.26
(.21)
.37
(.17)*

-.26
(.22)
.36
(.17)*

-.15
(.15)
.17
(.12)

-.15
(.15)
.15
(.12)

-.16
(.19)
.19
(.15)

-.19
(.18)
.21
(.14)

Strateeg

.29
(.19)

.29
(.19)

.05
(.18)

.04
(.14)

.05
(.17)

.04
(.16)

Uitvoerder

-.24
(.25)

-.28
(.26)

.42
(.18)*

.33
(.18)

-.13
(.22)

.07
.21)

Onderzoeker

.29
(.29)

.30
(.29)

-.07
(.21)

-.04
(.21)

-.06
(.25)

-.16
(.24)

Variabele
Afdelingscultuur
Motieven voor gebruik van
wetenschappelijke kennis
Instrumenteel
Conceptueel
Symbolisch
Werkzaamheden
Leidinggevende
Beleidsadviseur

92

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Vervolg tabel 5.7:

Variabele
Kenmerken beleidsveld
Onzekerheid van kennis
Politieke dynamiek

Wetenschappelijke
kennis
1a
1b

Praktijkkennis
2a
2b

Kennis uit
documenten
3a
3b

-.52
(.15)***

-.12
(.80)

-.09
(.10)

.90
(.56)

-.11
-2.43
(.13) (.69)**

-.03
(.12)

.24
(.57)

.16
.85
(.09) (.40)*

.22
-1.42
(.11)* (.49)**

-.09
(.18)

-.23
(.13)

.53
(.16)**

Onzeker x dynamisch
Leeftijd (< 30 jr. referentie categorie)
.15
(.29)
-.09
(.30)

.14
(.30)
-.08
(.31)

-.01
(.21)
-.04
(.21)

-.02
(.21)
-.02
(.21)

.10
(.27)
.12
(.27)

.10
(.25)
.03
(.26)

.27
(.34)
.29
(.37)

.27
(.34)
.27
(.37)

-.08
(.24)
.03
(.26)

-.09
(.24)
-.02
(.26)

.08
(.30)
-.09
(.33)

.13
(.28)
.01
(.31)

.02
(.18)

.01
(.18)

.08
(.12)

.07
(.12)

.06
(.16)

.13
(.15)

.29
(.19)
-.11
(.27)

.30
(.19)
-.10
(.27)

.09
(.13)
-.15
(.19)

.11
(.13)
-.13
(.19)

-.11
(.17)
-.02
(.23)

-.13
(.16)
-.09
(.22)

Gedrag en maatschappij

.17
(.19)

.16
(.19)

.05
(.13)

.04
(.13)

-.16
(.17)

-.13
(.16)

Geschiedenis, letteren, filosofie

.13
(.33)

.13
(.33)

.28
(.23)

.28
(.22)

-.27
(.29)

-.26
(.27)

.30
(.34)
.30
(.28)

.31
(.34)
.32
(.28)

.11
(.24)
-.14
(.20)

.12
(.24)
-.09
(.20)

.07
(.30)
-.05
(.24)

.07
(.29)
-.17
(.23)

4.28
(1.01)**

3.10
(2.56)

3.14
.21
(.74)*
(1.80)
*

1.98
8.89
(.92)
(2.20)**
*

R2adj

.27

.27

.01

.04

.10

.20

N

109

109

110

110

104

104

30-39 jaar
40-49 jaar
50-59 jaar
60+ jaar

Respondent is vrouw†
Ervaring (< 3 jr. referentie categorie)
3-9 jaar
10+ jaar
Vakgebied (juridisch referentie
categorie)

Natuur en techniek
Overig

Constante

Noot. *p < .05; **p < .01; † Man of overige is referentiecategorie.

93

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Wetenschappelijke kennis
Interactie-effecten zijn buitengewoon lastig te interpreteren. Daarom hebben wij een specifieke
analyse uitgevoerd, waarmee wij meer inzicht verkrijgen hoe de effectsterkte van een variabele
verandert bij verschillende waarden van de andere variabele.100 Wij verwachten, bijvoorbeeld, dat
onzekerheid van kennis op het beleidsveld ertoe leidt dat er door beleidsmakers meer gebruik
wordt gemaakt van wetenschappelijke kennis. Tenminste, wanneer de rust bestaat om dingen
goed uit te zoeken. Dat kan heel anders zijn wanneer de politieke dynamiek groot is. Dan bestaat
die rust niet en bestaat er grote druk om beleid te ontwikkelen en besluiten te nemen die politiek
opportuun zijn. Met andere woorden, wij verwachten het volgende:
• In situaties van politieke stabiliteit leidt onzekerheid van kennis op het beleidsveld tot
meer gebruik van wetenschappelijke kennis
• In situaties van politieke dynamiek leidt onzekerheid van kennis op het beleidsveld tot
minder gebruik van wetenschappelijke kennis.

-1.5

-1

Effects on linear prediction
-.5
.5
0

1

Figuur 5.1: Marginale effecten van onzekerheid van kennis op het beleidsveld op het gebruik
Marginaal
Effect
Onzekerheid
van
van wetenschappelijke
kennis
voor van
verschillende
waarden
vanKennis
politieke dynamiek

1

1.5

2

2.5
3
3.5
Politieke dynamiek
Politiek dynamiek

4

4.5

5

De bovenstaande verwachting maken we inzichtelijk aan de hand van figuur 5.1. Op de
horizontale as wordt de mate van politieke dynamiek afgebeeld. Links van de horizontale as is
geringe politieke dynamiek, terwijl rechts van deze as grote politieke dynamiek staat afgebeeld.
Op de verticale as staat het effect van onzekerheid van kennis op het gebruik van
wetenschappelijke kennis afgebeeld. Bovenaan de verticale as staan sterke positieve effecten
afgebeeld. Onderaan de verticale as zijn sterke negatieve effecten afgebeeld. In het midden van
de verticale as staat de “0”, hetgeen betekent dat er geen effect is.

100 In meer technische termen: wij hebben de “marginale effecten” van de onafhankelijke variabele berekend voor

waarden van de modererende variabele, inclusief het 95% betrouwbaarheidsinterval van de schatting van het marginale
effect. Vervolgens hebben wij de marginale effectgroottes en betrouwbaarheidsintervallen geplot tegen de waarden
van de modererende variabele. Wij hebben daarbij gebruik gemaakt van de stata-routines “margins” en “marginsplot”.

94

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

De punten in figuur 5.1 zijn de schattingen van de effecten. Op grond van onze verwachting
zouden deze punten bij geringe politieke dynamiek bovenaan de y-as worden afgebeeld, terwijl
deze bij grote politieke dynamiek onderaan de y-as worden afgebeeld. Figuur 5.1 laat zien dat
daarvan geen sprake is. Ook bij zeer geringe politieke dynamiek is er sprake van een (zeer klein)
negatief effect van onzekerheid van kennis op het beleidsveld. Zoals wij verwachtten, wordt het
effect wel steeds meer negatief naarmate politieke dynamiek toeneemt (verder naar rechts op de
x-as).
Dan hebben wij ook nog onderbroken verticale lijnen getekend in figuur 5.1. Deze lijnen geven het
95% betrouwbaarheidsinterval weer van de schatting van het effect. Als de waarde “nul” binnen
dit interval is gelegen, kunnen we niet met enige zekerheid stellen dat de schatting ook significant
afwijkt van nul. In figuur 5.1 kunnen we aflezen dat pas bij hogere waardes van politieke dynamiek
(3.5 en groter) er sprake is van een significant negatief effect van onzekerheid van kennis op het
beleidsveld op het gebruik van wetenschappelijke kennis.
De conclusie is nu eenvoudig te trekken over de samenhang van het beleidsveld met het gebruik
van wetenschappelijke kennis bij respondenten van de beleidsdirecties:
• Bij respondenten die een geringe politieke dynamiek rapporteren op hun beleidsveld
heeft onzekerheid van kennis op hun beleidsveld geen effect op hun gebruik van
wetenschappelijke kennis.
• Bij respondenten die een hoge mate van politieke dynamiek rapporteren, leidt de
onzekerheid van kennis die zij ervaren op hun beleidsveld tot significant minder gebruik
van wetenschappelijke kennis.
Wij hebben vergelijkbare analyses verricht om te begrijpen welke samenhang het beleidsveld
heeft met het gebruik van praktijkkennis en kennis uit beleidsdocumenten. Voor het gebruik van
praktijkkennis en kennis uit beleidsdocumenten hebben we geen expliciete verwachtingen
geformuleerd.
Praktijkkennis
Figuur 5.2 presenteert de resultaten van een analyse die wij hebben verricht voor praktijkkennis.
Het blijkt dat hier vooral het effect van politieke dynamiek verandert voor verschillende waarden
van (on)zekerheid van kennis op het beleidsveld. Uit dit figuur kunnen wij het volgende afleiden.
Voor respondenten die een grote mate van zekerheid van kennis ervaren op hun beleidsveld, leidt
politieke dynamiek tot een groter gebruik van praktijkkennis. Naarmate de ervaren onzekerheid
van kennis toeneemt, verdwijnt dit effect. (De nullijn ligt binnen de lijnen van het
betrouwbaarheidsinterval).

95

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

-1

Effects on linear prediction
-.5
.5
0

1

Figuur 5.2: Marginale effecten van politieke dynamiek op het gebruik van praktijkkennis
Marginaal
van Politieke
voor verschillende waarden
vanEffect
onzekerheid
van kennisDynamiek
op het beleidsveld

1

1.5

2

2.5

3
3.5
Onzekerheid
Onzekerheid

4

4.5

5

Kennis uit beleidsdocumenten
Figuur 5.3 presenteert de resultaten van een analyse die wij hebben verricht voor kennis uit
beleidsdocumenten. Ook hier blijkt dat vooral het effect van politieke dynamiek verandert voor
verschillende waarden van (on)zekerheid van kennis op het beleidsveld. Uit figuur 5.3 kunnen wij
het volgende afleiden. Voor respondenten die een grote mate van zekerheid van kennis ervaren
op hun beleidsveld, leidt politieke dynamiek tot een significant minder gebruik van kennis uit
beleidsdocumenten. Naarmate de ervaren onzekerheid van kennis op het beleidsveld toeneemt,
klapt dit effect om en wordt significant positief. Als de onzekerheid van kennis op het beleidsveld
groot is, maken respondenten juist significant meer gebruik van kennis uit beleidsdocumenten. Zij
vallen dan ‘terug’ op eerdere gevoerd beleid, wettelijke kaders en jurisprudentie.

1
0

-2

-1

Effects on linear prediction

2

Figuur 5.3: Marginale effecten van politieke dynamiek op het gebruik van Kennis uit beleidsdocumenten voor
Marginaal
Effect van Politieke
verschillende waarden
van onzekerheid
van kennisDynamiek
op het beleidsveld

1

1.5

2

2.5

3
3.5
Onzekerheid

Onzekerheid

96

4

4.5

5

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Wat gebeurt er bij ‘ontembare’, politieke problemen? Samenvattend kunnen wij concluderen dat
de context van het beleidsveld bij de beleidsdirecties een belangrijke samenhang heeft met het
gebruik van verschillende vormen van kennis. Als er sprake is van zowel een grote onzekerheid
van kennis op het beleidsveld en een hoge mate van politieke dynamiek, dan zien we dat
wetenschappelijke- en praktijkkennis worden weggedrukt ten faveure van kennis uit
beleidsdocumentatie. Bij een grote politieke dynamiek is van ‘evidence-based’ of ‘evidenceinformed’ werken en -beleid dan geen sprake meer. Bij een grote politieke dynamiek:
• Leidt onzekerheid in kennis tot significant minder gebruik van wetenschappelijke kennis in
werken en beleid.
• Verdwijnt de samenhang tussen zekerheid van kennis op het beleidsveld en het gebruik
van praktijkkennis.
• Vallen medewerkers sterk terug op gecodificeerde kennis over wettelijke- en
beleidskaders uit beleidsdocumenten
Controlevariabelen. De controlevariabelen leeftijd, gender, ervaring en vakgebied hangen niet
significant samen met het gebruik van de verschillende vormen van kennis.101

5.5 Uitkomsten van de interviews
In de academische literatuur over ‘evidence-based’ beleid wordt een groot scala aan
mechanismen aangereikt die verklaren waarom wetenschappelijke kennis in bepaalde fasen van
een beleidsproces al dan niet wordt benut. We hebben gezien dat beleidsmakers en -uitvoerders
op de hoogte moeten zijn van dergelijke kennis, deze kunnen begrijpen en beoordelen en
vervolgens kunnen omzetten in beleidsmatig handelen. Tijdens iedere stap kunnen specifieke
problemen optreden die kennisbenutting in de weg staan. Voorbeelden daarvan zijn: kennis is
niet (tijdig) beschikbaar, sluit niet aan bij de beleidscontext, is ontoegankelijk, is gefragmenteerd
of niet eenduidig. Daarnaast hebben we gezien dat de politieke context, de aard van het
beleidsprobleem, de ambtelijke cultuur, de beleidscapaciteit (tijd, expertise en (institutionele)
infrastructuur) ertoe kunnen bijdragen dat wetenschappelijke kennis niet of in beperkte mate
wordt gebruikt.
In deze paragraaf bespreken wij de uitkomsten van de verdiepende interviews. Veel van de
hierboven genoemde mechanismen zijn tijdens de gesprekken naar voren gekomen. Onderstaand
bespreken wij deze mechanismen per beleidsdossier, waarbij wij in elk dossier specifiek ingaan op
de verschillende stadia in de beleidscyclus. Vanuit deze interviews over de beleidsdossiers komt
een rijker en meer verdiepend beeld naar voren over de motieven voor, en de belemmeringen bij,
‘evidence-based’ werken en -beleid bij het ministerie van JenV.

101 Helaas hebben wij om redenen van privacy niet de vraag kunnen stellen wat het opleidingsniveau van de

respondenten is. Wij hebben derhalve hiervoor niet kunnen controleren.

97

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

5.5.1

BD-A: politiek vraagstuk

Agendering en beleidsontwikkeling. Dit beleidsdossier is sterk politiek getint. Gezien de politieke
gevoeligheden in dit beleidsdossiers is ‘binnen de lijntjes kleuren’ van groot belang: wet- en
regelgeving zijn leidend voor het handelen. Deze juridische kaders zijn omvattend en zowel
nationaal als Europees van origine. Wij zien hier dus dat het terugvallen op institutionele
structuren binnen een gepolitiseerde beleidscontext remmend werkt op het gebruik van
(wetenschappelijke) kennis.
Wetenschappelijk onderzoek dat deze handelwijze doorkruist, wordt genegeerd, wat makkelijker
wordt naarmate onderzoek minder eenduidig is. Dit laatste komt veelvuldig voor. De
geïnterviewden op dit beleidsdossier wijzen vaak naar de ‘onvolkomenheden van
wetenschappelijk onderzoek’. ‘Hard’ bewijs is nauwelijks voorhanden, cijfers staan ter discussie
en onderzoek is niet zelden gekleurd door de inbreng van belangengroepen of (vermeende)
voorkeuren van onderzoekers. Er wordt op gewezen dat uitkomsten van wetenschappelijk
onderzoek elkaar met regelmaat tegenspreken. Daarnaast wordt erop gewezen dat
‘wetenschappers geen beleidskeuzen hoeven te maken’ en zich mede daardoor ook niet geremd
voelen door aanpalend beleid terwijl de beleidsontwikkelaars dat wel moeten doen (de negatieve
invloed van beleidsaccumulatie).
Politieke waardeoordelen overschaduwen ook bij tijd en wijle het gebruik van kennis, ongeacht
de bron. De politieke dynamiek draagt ertoe bij dat niet alleen wetenschappelijke kennis vaak ter
discussie staat, maar ook professionele kennis. Dit laatste vooral in de vorm van juridische kennis
en expertise. Die juridische kennis is echter van groot belang om te kunnen bepalen of beleid
rechtmatig en uitvoerbaar is.
Beleidsuitvoering. Ook tijdens de gesprekken met beleidsuitvoerders in dit beleidsdossier wordt
duidelijk dat er vaak geen goede match is tussen wetenschap en de uit te voeren taken. Dit is
mede te wijten aan de politieke druk die met regelmaat ‘op de ketel’ staat. Door de urgentie van
bepaalde issues is wetenschappelijke kennis vaak niet tijdig voorhanden. Oplossingen vanuit de
politiek of maatschappelijk middenveld dienen zich al aan voordat goed kan worden onderzocht
wat een ‘wetenschappelijk verantwoorde’ oplossing is. Als voorbeeld wordt een lopend WODConderzoek genoemd, terwijl oplossingen door derden al worden opgedrongen. Ook wordt
gewezen op het feit dat verschillende, goed onderbouwde oplossingen vanuit de wetenschap
niet uitvoerbaar zijn; bijvoorbeeld omdat de beschikbare budgetten hiervoor niet toereikend zijn.
De kennis is, met andere woorden, niet toepasbaar en de wetenschap heeft onvoldoende oog
voor de realiteit. Hoewel de geïnterviewden aangeven geen ervaring te hebben met
wetenschappelijk kennis die tegenstrijdig is, merken zij wel op dat het gebruik van kennis inherent
is aan tegenstrijdigheden en ook dat kennis diffuus is. Men vindt de kennisbron zelf op zich niet
relevant (wetenschappelijke kennis of professionele kennis), zolang maar duidelijk wordt wat wel
of niet werkt.

98

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Onvoldoende tijd en ruimte bij beleidsmakers om kennisbanken te raadplegen wordt daarbij als
een factor aangehaald die eraan bijdraagt dat wetenschappelijke kennis niet altijd wordt gebruikt.
De capaciteit om aanbevelingen uit onderzoek op te volgen ontbreekt vaak. Het gebruik van
kennis is overigens wel afhankelijk van het specifieke beleidsissue dat voor ligt. In sommige
gevallen wordt heel bewust de wetenschap geraadpleegd, maar in andere gevallen zijn er weinig
prikkels om dat te doen. De inbreng van professionele kennis en afstemming met de politiek
worden vaak voldoende gevonden; dan heeft een wetenschappelijke benadering niet zoveel zin.
Omdat politieke voorkeuren in dit beleidsdossier sterk verschillen is het vaak onmogelijk om te
bepalen welke wetenschappelijke inzichten kunnen worden benut.
De politieke dynamiek is bepalender voor het uitvoeren van beleid dan wetenschappelijke
inzichten. Emoties spelen een belangrijke rol. Tijdig informeren van het parlement is van groot
belang, waardoor geen tijd is voor ‘wetenschappelijke verdieping’. Bovendien staan politieke
waardeoordelen met regelmaat haaks op wetenschappelijke inzichten, waarbij vaak de voorkeur
wordt gegeven aan het eerste. Wetenschappelijke inzichten krijgen dan niet de kans door te
klinken in het beleid.
In de beleidsuitvoering bestaat wel een wens om meer gebruik te maken van wetenschappelijke
inzichten en dan vooral van ‘harde cijfers’. Waar dat kan wordt aangeklopt bij universiteiten en
worden opgedane ervaringen uitgewisseld met derden waaronder andere lidstaten en
ministeries. Maar door het politieke karakter blijft het een druppel op een gloeiende plaat.
Evaluatie. Beleidsevaluaties worden als belangrijk ervaren voor de onderbouwing van
beleidsaanpassingen, maar door de hectiek en tijdsgebrek gebeurt dit niet structureel. Hoewel
nieuwe wetten een jaar na invoering moeten worden geëvalueerd, geven gesprekspartners te
kennen dat erop zich niet veel wordt geëvalueerd. Waar beleidsevaluaties, waaronder die van de
inspectie, zich in het verleden vaak op incidenten richtten, ligt tegenwoordig het accent vooral op
leren en verbeteren. Daarnaast wordt opgemerkt dat beleidsevaluaties soms weinig effect
sorteren, omdat door vigerende juridische kaders weinig veranderingen zijn door te voeren.

5.5.2

BD-B: Technisch vraagstuk

Dit beleidsdossier bevindt zich, met uitzondering van sporadische incidenten, in relatief rustig
politiek vaarwater. De op te lossen problemen staan in de politiek en samenleving nauwelijks ter
discussie. Minister Grapperhaus kent een hoge prioriteit toe aan het beleidsdossier. Belangrijke
factoren die wetenschappelijke kennisbenutting in de weg staan, zijn een gebrek aan tijd en
beleidscapaciteit en het ontbreken van relevant wetenschappelijk onderzoek. Er is duidelijk een
kennisbehoefte, maar er is weinig wetenschappelijk onderzoek voorhanden. Meer budget en
aandacht voor het verrichten van wetenschappelijk onderzoek wordt als zeer wenselijk gezien.

99

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

Agendering en beleidsvoorbereiding. Bij de beleidsafdeling bestaat een duidelijk behoefte aan
meer wetenschappelijke kennis om beter beleid te ontwikkelen en de minister beter te adviseren.
Er worden verschillende trajecten genoemd om in die kennisbehoefte te voorzien. Een van de
trajecten is bijvoorbeeld om onderzoek uit te zetten bij het WODC. De capaciteit bij het WODC en
de beschikbare budgetten zijn echter beperkt. Een ander traject betreft een structurele
samenwerking met een Nederlandse universiteit, die hiervoor jaarlijks een subsidie van het
ministerie ontvangt. Op basis van gesprekken met en signalen uit het veld wordt een kennisvraag
geformuleerd en neergelegd bij de onderzoeksafdeling van deze universiteit. Een derde traject
betreft het raadplegen en uitzetten van onderzoek bij derden. Externe juridische experts worden
bijvoorbeeld geconsulteerd om te onderzoeken welke interventies haalbaar zijn (bijvoorbeeld op
het gebied van privacywetgeving).
Het beoordelen van kennis wordt als een lastige exercitie ervaren. Het is moeilijk een oordeel te
vellen als sprake is van tegenstrijdige kennis of wanneer wetenschappelijke kennis verschilt van
ervaringen uit het veld. Deze weging wordt verder bemoeilijkt op het moment dat politieke
opvattingen, waaronder die van de eigen minister, moeten worden meegenomen. De waan van
de dag, bijvoorbeeld als gevolg van een incident dat veel aandacht krijgt en daardoor een snelle
respons vraagt, en een verschil van inzicht tussen wetenschap en ervaringsdeskundigen, plaatsen
de beleidsafdeling in een spagaat.
Hoewel het beleidsdossier hoge beleidsprioriteit geniet, is de beleidsafdeling klein en als gevolg
daarvan de capaciteit beperkt. Wel is het streven om meer mensen te werven met een
onderzoekachtergrond zodat het beoordelen van de bruikbaarheid van kennis kan worden
vergroot. Door digitalisering zijn de mogelijkheden om zelf actief op zoek te gaan naar ‘bewijs’
enorm toegenomen, maar dit leidt direct ook tot nieuwe problemen: de hoeveelheid, mogelijke
relevante informatie is gigantisch en de tegenstrijdigheden ‘stapelen zich op’.
Beleidsuitvoering. In de beleidsuitvoering bestaat een uitgesproken behoefte naar het gebruik van
meer wetenschappelijk onderzoek. Er zijn twee voorname redenen waarom dit niet gebeurt. In de
eerste plaats is de ‘wereld van dit beleidsterrein’ klein en (blijkbaar) niet erg interessant voor
wetenschappers. Wetenschappers tonen weinig belangstelling voor de vraagstukken uit dit
beleidsdossier en bovendien weten wetenschappers de ‘praktijkgevoelens’ niet goed te vertalen
in onderzoek. De afstemming tussen wetenschap en praktijk is hier verre van ideaal. Het grootste
probleem dat zich hier dus voordoet is dat er nauwelijks wetenschappelijk onderzoek voorhanden
is. Het onderzoek dat wel beschikbaar is, is overigens goed te begrijpen – daar zit hem de kneep
niet – en wordt waar mogelijk ook toegepast. In het verlengde van het eerste punt speelt het de
uitvoerende organisatie parten dat zij echte frontlijnwerkers zijn. Zij zijn pioniers van
onontgonnen terrein. Waar mogelijk doen zij zelf onderzoek, afhankelijk van de uit te voeren
taak, vooral het analyseren van zelf vergaarde gegevens, verkregen uit contacten met het veld.

100

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

5.5.3

BD-C: Wetenschappelijk vraagstuk

Agendering en beleidsontwikkeling. Door de waan van de dag, werkdruk en snelheid waarmee
technologische ontwikkelingen zich aandienen, is wetenschappelijke kennis vaak niet tijdig
voorhanden of is er onvoldoende capaciteit om het te verwerken. Ook het feit dat bij dit dossier
betrokken partijen verschillende belangen hebben (er zijn bijvoorbeeld vaak verschillende
departementen bij betrokken), remt de mogelijkheden tot kennisdeling.
Door de aard van het werk, waar acuut handelen vaak een vereiste is, is er weinig belangstelling
voor ‘evidence-based’ werken en -beleid. Informatie wordt vooral verkregen via nationale
adviesorganen en WODC-onderzoek. Er wordt veel gewerkt op basis van professionele richtlijnen
en protocollen; wetenschappelijke kennis heeft daar volgens de geïnterviewden weinig aan toe te
voegen. De belangrijkste belemmering is evenwel dat door de vereiste snelheid van handelen
wetenschappelijke kennis niet voorhanden is.
Beleidsuitvoering. Kennisdeling wordt niet alleen belemmerd door belangentegenstellingen
tussen actoren, maar ook doordat de vertrouwelijkheid van informatie een grote rol speelt. Deze
vertrouwelijkheid, of gebrek aan openheid, hindert kennisdeling. Tegenstrijdigheden komen vaak
voort uit een verschillen in aannames. Dit maakt dat (professionele) kennis moet worden
geverifieerd. Er is zo nu en dan sprake van politieke dynamiek, vooral als bepaalde gebeurtenissen
een grote impact hebben, maar dit staat het gebruik van professionele kennis niet in de weg.
Intern wordt veel kennis gedeeld om goed op de hoogte te blijven van de meest recente
ontwikkelingen.
Duidelijk is dat door de aard van de uit te voeren taken wetenschappelijke kennis een
ondergeschikte rol speelt. Bruikbare wetenschappelijke kennis is vaak niet aanwezig.
Wetenschappelijke modellen bieden vaak geen soelaas. Daar komt bij dat niet alles wat vanuit een
wetenschappelijk oogpunt wenselijk zou zijn, in de praktijk te realiseren is. Urgentie, beperkte
budgetten en politieke voorkeuren van de minister staan het gebruik van wetenschappelijke
kennis met regelmaat in de weg.
Evaluatie. De opdrachten en doelstellingen van de beleidsuitvoerende organisatie worden
voornamelijk kwalitatief geëvalueerd. Doorgaans zeggen deze evaluaties niet veel over de
effectiviteit.

101

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

5.5.4 BD-D: Ethisch vraagstuk
Agendering en beleidsontwikkeling. Een van de problemen om wetenschappelijke inzichten te
benutten bij de beleidsvoorbereiding is dat dergelijke inzichten niet altijd voorhanden zijn als ze
nodig zijn. Vraag en aanbod van kennis sluiten niet altijd goed op elkaar aan. Het formuleren van
een goede onderzoeksvraag kost tijd, moet vervolgens worden aanbesteed en dan nog worden
uitgevoerd. In de praktijk kan daar niet op worden gewacht. Een ander probleem is dat een
spanning kan bestaan tussen de uitkomsten van wetenschappelijk onderzoek en de signalen die
men uit het veld krijgt (er is veelvuldig overleg met het veld). Het wegen van verschillende
inzichten – wetenschappelijke kennis versus ervarings- en professionele kennis – is een lastige
exercitie. Doorgaans gebeurt dit doormiddel van overleg. De uitkomst vormt de basis van het
advies aan de minister, die daar overigens ‘gewoon’ van kan afwijken. Dit wordt door de
beleidsafdeling gezien als een normale gezonde spanning. Het beoordelen van de
betrouwbaarheid van kennis en informatie blijft evenwel moeilijk. Zeker informatie van
belangenorganisaties is soms moeilijk te duiden. Uiteindelijk speelt ervaring en het eigen gevoel
een essentiële rol.
Het probleem, zo werd gememoreerd, is dat onderzoek nooit zwart-wit is maar altijd grijs. Daarbij
is algemene wetenschappelijke kennis, vaak het gevolg van belemmeringen om een perfect
onderzoeksontwerp te kiezen, niet toepasbaar op specifieke gevallen. Veel werk in dit
beleidsdossier vraagt om op maat gesneden onderzoek, maar dat is vaak niet mogelijk
(bijvoorbeeld ook mede ingegeven door privacy-issues).
Interessant is de constatering dat ‘evidence-based’ werken niet per se leidt tot ‘evidence-based’
beleid. Hoewel op basis van wetenschappelijke inzichten kan worden aangetoond dat een
wetswijziging onverstandig is, kan een Kamermeerderheid de minister doen besluiten de wet
toch aan te passen.
De beleidsafdelingen laat een deel van zijn vragen onderzoeken door het WODC – aangeduid als
‘hard core’ onderzoek. De WODC-capaciteit is echter beperkt. Het gros van de onderzoeken richt
zich echter op relatief ‘platte’ vragen, uitgevoerd door adviesbureaus (‘fact finding’): hoe ziet het
er in de praktijk uit? Hoe zit het met de cijfertjes? Het beperkte budget voor onderzoek dwingt
overigens om heel goed na te denken wat men uitgezocht wil hebben. Er wordt vooral een tekort
geconstateerd aan kwantitatief onderzoek; men wil graag meer betrouwbare cijfers om het
beleid te onderbouwen.
Politieke aandacht en sociale media zijn, zeker in geval van incidenten, een mixed blessing.
Enerzijds omdat het de druk enorm opvoert en tegenstellingen worden uitvergroot, anderzijds
omdat aandacht vaak ook geld betekent. Negatieve publiciteit kan tevens meer ruimte bieden
voor het verrichten van onderzoek.

102

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Betrouwbaarheid van kennis is van groot belang, vooral vanwege de impact van bepaalde
wetgevingstrajecten. Een goede onderbouwing is dan zeer gewenst, al realiseert men zich
terdege dat kennis tijdelijk van aard is en dat gewijzigde omstandigheden ‘harde cijfers’ in een
ander daglicht kunnen plaatsen. Illustratief is het voorbeeld dat op basis van zeer gedegen
onderzoek en harde cijfers bepaalde voorzieningen werden afgeschaald, maar toen een paar jaar
later de vraag sterk steeg ontstond er wel een groot probleem.
Tot slot werd ook door deze beleidsafdeling gewezen op beschikbare tijd als een belemmerende
factor. Tijd om zelf te grasduinen in wetenschappelijk onderzoek of met de wetenschap ‘in
gesprek te gaan’ ontbreekt domweg.
Beleidsuitvoering. Er zijn gesprekken gevoerd met twee typen uitvoeringsorganisaties. De eerste
bevindt zich op nationaal niveau, de andere in het veld. Tussen beide bestaan verschillen in het
gebruik van wetenschappelijke kennis.
Bij de uitvoeringsorganisatie op nationaal niveau wordt kennisgenomen van wetenschappelijk
onderzoek dat is uitgezet bij het WODC en via deelname aan een landelijk platform waar praktijk
en wetenschap samenkomen. Dit platform wordt als waardevol ervaren en er wordt dankbaar
gebruik gemaakt van de informatie die daar wordt gedeeld. Er wordt veel gewerkt met richtlijnen
en beoordelingsinstrumenten die vaak met wetenschappelijk onderzoek zijn onderbouwd.
Er wordt in algemene zin op gewezen dat veel onderzoek wordt verricht maar dat de focus vaak
ontbreekt, waardoor het minder bruikbaar is. Bovendien is er het gevoel dat men geen goed
inzicht heeft in wat de wetenschap te bieden heeft. Vraag en aanbod van wetenschappelijke
informatie lijken ook hier een belemmerende factor. Binnen de uitvoerende organisatie is
behoefte om de eigen capaciteit te vergroten om wetenschappelijke inzichten sneller en beter te
kunnen beoordelen, bijvoorbeeld door mensen aan te stellen met onderzoeksexpertise en belangstelling of door medewerkers hiervoor te prikkelen.
Bij de uitvoeringsorganisatie in het veld vinden wij van alle organisatieonderdelen in de vier
beleidsdossiers de meest uitgesproken opvattingen en gebruik van wetenschappelijke kennis. Uit
de gesprekken blijkt dat deze uitvoeringsorganisatie ‘evidence-based’ werken, ook in de strikte
zin van onze definitie, het meest benadert, ook al speelt hier professionele kennis nog steeds een
belangrijke rol. Deze uitvoeringsorganisatie heeft een aantal stafleden die zelf onderzoek
verrichten, wetenschappelijk onderzoek inventariseren, contacten onderhouden met
universiteiten (bijvoorbeeld promotieonderzoek) en deze kennis binnen de eigen organisatie
verspreiden. Het uitgangspunt is om waar mogelijk gebruik te maken van de laatste
wetenschappelijke inzichten. Dit is – uiteraard – niet onder alle omstandigheden mogelijk. Niet
alleen onderzoeksresultaten maar ook nieuwe onderzoeksmethoden (als voorbeeld wordt virtual
reality genoemd) worden kritisch gevolgd en beoordeelt op mogelijke inzetbaarheid voor
verbetering van de dienstverlening.
Gebruik maken van wetenschappelijk onderzoek gaat immers gepaard met problemen. Bepaalde
wetenschappelijke analyses kunnen niet direct worden toegepast op de specifieke doelgroepen
waar dit beleidsdossier mee te maken heeft. Daarnaast zijn er veel onderwerpen waar de
wetenschap geen belangstelling voor heeft of waar nauwelijks een goed onderzoeksontwerp
103

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

voor te creëren is, en waar dus geen wetenschappelijk onderzoek voor beschikbaar is. Bovendien
is soms sprake van tegenstrijdige onderzoeksresultaten. Gebrek aan tijd, geld en capaciteit vormt
ook hier een probleem voor een uitgebreidere kennisbenutting. Het vertrek van een
bibliothecaris deed zich hier bijvoorbeeld voelen.
Een ander belangrijk aspect is hoe de hele organisatie – van management tot professionals – te
betrekken bij kennisbenutting. De zelfstandige kennisafdeling van deze uitvoerende organisatie
speelt daarin een cruciale rol. Zij filteren, voor zover mogelijk, de wetenschappelijke literatuur en
proberen professionals te bewegen hiervan gebruik te maken. Dit vergt de nodige
overtuigingskracht, omdat, vanzelfsprekend, kennis en ervaring van professionals ook zeer
waardevol zijn. Daar moet een middenweg worden gevonden. Overigens zijn nieuwe inzichten,
hoe waardevol dan ook, vaak niet direct toepasbaar omdat het bestaande instrumentarium moet
worden aangepast. Iets wat tijd en aandacht vergt.

5.6 Antwoord op de deelvraag
Antwoord op deelvraag 4. Welke omstandigheden bevorderen ‘evidence-based’ werken en beleid en andere vormen van kennisbenutting binnen het ministerie van JenV?
Politieke dynamiek
Op het beleidsveld is het samenspel belangrijk tussen politieke dynamiek en onzekerheid van
kennis. Bij politiek geladen beleidsvraagstukken is er sprake van een grote politieke dynamiek en
grote onzekerheid van kennis. Dan is van ‘evidence-based’ of ‘evidence-informed’ werken en beleid meestal geen sprake. Politieke emoties zorgen voor een korte-termijn noodzaak van het
informeren van het parlement, waardoor de tijd ontbreekt voor ‘wetenschappelijke verdieping’.
Politieke waardeoordelen staan met regelmaat haaks op wetenschappelijke inzichten, waarbij
vaak de voorkeur wordt gegeven aan het eerste. Wetenschappelijke inzichten krijgen dan niet de
kans door te klinken in het beleid.
Bij dergelijke vraagstukken leidt onzekerheid van kennis tot een significant minder gebruik van
wetenschappelijke kennis in werken en beleid. Ook het gebruik van praktijkkennis verdwijnt naar
de achtergrond. Daarentegen vallen medewerkers sterk terug op gecodificeerde kennis over
wettelijke- en beleidskaders uit beleidsdocumenten. Deze mechanismen komen naar voren in
zowel de enquête als (onafhankelijk hiervan) in de interviews over het betreffende
beleidsdossier. Soms worden politieke incidenten aangedragen als een ‘mixed blessing’ omdat
dan in ieder geval ruimte kan ontstaan voor investeringen in onderzoeksmiddelen.
Als er relatief weinig politieke dynamiek is, leidt onzekerheid van kennis tot meer gebruik van
praktijkkennis. Ook dit wordt bevestigd door zowel de enquête als de interviews. Wij hadden
verwacht dat bij dergelijke “wetenschappelijke beleidsvraagstukken” meer gebruik zou worden
gemaakt van wetenschappelijke kennis, om de lacune in wetenschappelijke kennis te slechten,
maar dit is niet het geval. Omdat de wetenschap achterloopt, niet is geïnteresseerd, of omdat
wetenschappelijke kennis (nog) niet beschikbaar is, maken medewerkers in deze situatie juist
meer gebruik van praktijkkennis. Bij weinig politieke dynamiek leidt onzekerheid van kennis tot
104

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

minder gebruik van beleidsdocumentatie. Het beleidsveld is politiek dan voldoende stabiel om
niet terug te hoeven vallen op eerder vastgelegde wettelijke- en beleidskaders.
Motieven
Binnen het ministerie van JenV worden vooral instrumentele en conceptuele motieven
aangedragen voor het gebruik van wetenschappelijke kennis. Conceptueel gebruikt men
wetenschappelijke kennis vooral om dieper inzicht te verkrijgen in vraagstukken, verantwoorde
keuzes te maken en nieuw beleid te agenderen. Daarnaast wordt als belangrijk motief
aangedragen om effectieve interventies te ontwikkelen, samen met het evalueren van bestaand
beleid. Dit weerspiegelt de conceptuele en instrumentele motieven voor het gebruik van
wetenschappelijke kennis. Interessant is dat medewerkers van de kennisorganisatie het gebruik
van wetenschappelijke kennis belangrijk achten om discussies te depolitiseren. De mechanismen
die leiden tot meer ‘evidence-based’ werken en -beleid verschillen duidelijk tussen de
beleidsafdelingen en de uitvoerende organisaties. De motieven leiden niet tot meer of minder
‘evidence-based’ werken en -beleid.
Beleidsafdelingen
Op beleidsafdelingen wordt opgemerkt dat vraag en aanbod van wetenschappelijke kennis soms
moeilijk op elkaar aansluiten op beleidsniveau. Hierbij wordt dan gerefereerd aan het grote
aanbod van wetenschappelijke kennis, waardoor men op de beleidsafdelingen ‘tussen de bomen
het bos niet meer ziet’.
Niet onverwacht ziet men op de beleidsafdelingen en het hoofdkantoor van de uitvoerende
organisatie dan ook vooral belemmeringen in de relevantie van het onderzoek voor de
beleidspraktijk, de passendheid van de onderzoeksresultaten bij het lopende beleid en de politiekbestuurlijke acceptatie van de uitkomsten van het onderzoek. Medewerkers van de
beleidsdirecties geven daarbij ook aan een gebrek aan expertise te ervaren om wetenschappelijk
onderzoek te vertalen naar de praktijk. De legitimering voor onderbenutting van
wetenschappelijke kennis door beleidsambtenaren wordt dus vooral ingegeven door hun
perceptie van de scheiding tussen een academische- en een beleidswereld.
Uitvoerend niveau
Op uitvoerend niveau spelen veel specifieke vraagstukken in de professionele praktijk. Daarvoor
bestaan kennisorganisaties die het veld ondersteunen met wetenschappelijke inzichten of zelfs
‘evidence-based’ handelingsprotocollen ontwikkelen voor de professionele praktijk. In deze
specialistische kennisorganisaties op uitvoerend niveau wordt specialistische wetenschappelijke
kennis ontwikkeld en ontsloten. De kennisorganisaties zelf zijn ingebed in nauwe
samenwerkingsverbanden met wetenschappelijke instellingen.
Interessant genoeg zien degenen die zich actiever bezighouden met wetenschappelijk
onderzoek, de medewerkers van de kennisorganisatie, veel concretere belemmeringen. In
tegenstelling tot hun beleidscollega’s zien zij vooral belemmeringen in de methodologische
toegankelijkheid en kwaliteit van het wetenschappelijke onderzoek. Dit is logisch, omdat zij goed
105

Hoofdstuk 5: Motieven en belemmeringen bij ‘evidence-based’ werken en -beleid

onderlegd zijn in het begrijpen en uitvoeren van wetenschappelijk onderzoek. Juist omdat zij als
belangrijke taak hebben wetenschappelijke kennis te ontsluiten voor de professionele praktijk,
zien zij belemmeringen in de specifieke, methodologische kwaliteit van het onderzoek.
Uitvoerende organisaties ondervinden ook belemmeringen door de noodzaak van
geheimhouding en vertrouwelijkheid die voor hun werkzaamheden is vereist.
Belang van afdelingscultuur
Onze analyses van de enquête laten zien dat medewerkers van een afdeling waar ‘evidencebased’ werken en -beleid wordt bevorderd niet alleen meer wetenschappelijke kennis gebruiken,
maar ook meer praktijkkennis en kennis uit beleidsdocumentatie. De afdelingscultuur is dus een
belangrijke schakel bij kennisintensief werken binnen het ministerie van JenV.

106

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

6 Conclusies en aanbevelingen
Het ministerie van Justitie en Veiligheid ziet kennis als een onmisbaar kompas voor goed
onderbouwd en effectief beleid. Een betere kennisbenutting leidt tot de verbetering van
bestaand beleid en nieuw te ontwikkelen beleid. In 2017 werd daarom op het ministerie van JenV
aangegeven dat de strategische kennisfunctie bij het ministerie zou moeten worden versterkt. De
versterking van de kennisfunctie betreft het formuleren van heldere kennisbehoeften, het
verbeteren van samenwerkingsrelaties met de wetenschap en een betere benutting van
aanwezige kennis (toegankelijkheid en bruikbaarheid). De kennisfunctie omvat naast
systematische kennis uit de praktijk ook wetenschappelijke kennis. Bij het gebruik van
wetenschappelijke kennis wordt ook wel gesproken van ‘evidence-based’ of ‘evidence-informed’
werken en -beleid.
Aanleiding. De afgelopen jaren zijn bij het ministerie van JenV initiatieven ontplooid om aan de
oproep uit 2017 gehoor te geven. Toch bestaat binnen het ministerie van JenV het vermoeden dat
(wetenschappelijke) kennis nog onvoldoende wordt benut; dat het werken en het beleid binnen
het ministerie wellicht nog weinig ‘evidence-based’ en/of ‘evidence-informed’ is. Daarom heeft
het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC), na een aanvraag van
verschillende kenniscoördinatoren102 van het ministerie, opdracht gegeven tot een onafhankelijk
onderzoek om te voorzien in deze kennislacune. De titel van het aangevraagde onderzoek luidde:
Naar meer ‘evidence-based’ beleid.
In dit hoofdstuk presenteren wij de conclusies van het onderzoek en doen wij enkele
aanbevelingen. Wij structureren dit hoofdstuk niet vanuit de (top-down) volgorde van de
deelvragen in het onderzoek—die vertrekken vanuit de institutionele kaders—maar vanuit
aangrijpingspunten voor aanbevelingen. Deze vertrekken vanuit de percepties en
werkzaamheden van de medewerkers. Wij presenteren eerst de resultaten van het
literatuuronderzoek, die het kader vormen voor de conclusies en aanbevelingen.

6.1 ‘Evidence-based’ werken en –beleid in de literatuur
In onze kennisintensieve samenleving wordt verwacht dat beleidskeuzes goed geïnformeerd zijn
en systematisch worden onderbouwd. Binnen de wetenschap en de beleidspraktijk wordt daarbij
de oproep gedaan aan de overheid om (meer) gebruik te maken van de resultaten van
wetenschappelijk onderzoek.

102 Wij sluiten aan bij de gangbare praktijk binnen het ministerie van JenV om te spreken van ‘kenniscoördinatoren’. Wij

merken op dat in een circulaire van de secretaris-generaal van 4 februari 1998, kenmerk DDS-679433, wordt gesproken
van ‘onderzoekcoördinatoren’. Ook in het omgangskader voor het Ministerie van JenV en het WODC, van 5 december
2019, wordt gesproken van ‘onderzoekcoördinator’.

107

Hoofdstuk 6: Conclusies en aanbevelingen

Inhoudelijk en rechtstatelijk perspectief. Vanuit twee perspectieven kunnen wij de bijdrage van
wetenschappelijk onderzoek aan werken en beleid beschouwen: een beleidsinhoudelijk
perspectief en een rechtstatelijk perspectief.
• Inhoudelijk perspectief. Bestuurders, beleidsmedewerkers en professionals zouden hun
werken beter kunnen onderbouwen door wetenschappelijk verkregen kennis. Ook
beleidskeuzes en beleidsinterventies zouden beter kunnen worden onderbouwd vanuit
wetenschappelijke inzichten. De verwachting is dat de wetenschappelijke onderbouwing
van werken en beleid de kwaliteit, doeltreffendheid en doelmatigheid van beleid
bevordert.
• Rechtstatelijk perspectief. Het onderbouwen van werken en beleid in het openbaar
bestuur door wetenschappelijke kennis levert een belangrijke bijdrage aan de
transparantie, verantwoording en beginselen van goed bestuur in onze democratische
rechtstaat. Wetenschappelijke inzichten vormen een onafhankelijke kennisbron die de
kwaliteit van politieke oordeelsvorming kan vergroten bij het maken van belangrijke
beleidskeuzes voor de samenleving.
Spanningsveld tussen wetenschap en beleid. Tussen de eisen die gesteld worden aan
wetenschappelijke kennis en de praktijk van beleid en politieke oordeelsvorming treedt vaak een
spanningsveld op. Dat is logisch omdat wetenschap en beleid verschillende ‘gemeenschappen’
vormen—ieder met eigen doelstellingen, belangen en normen. Het aantonen van
wetenschappelijk bewijs kost bijvoorbeeld lange tijd, gegeven de noodzakelijke methodologische
eisen van zorgvuldigheid. Wetenschappers communiceren primair met elkaar in het
‘academische’ forum, waarbij onderzoeksresultaten pas ‘evidence’ worden als ze de toets van
academische reflectie en kritiek binnen het forum hebben doorstaan.
Beleidsmakers daarentegen communiceren primair met elkaar binnen het politiek-bestuurlijke
forum. Zij zoeken naar interventies in complexe, ‘wicked’ vraagstukken. Bij dergelijke
vraagstukken staat niet alleen de werkzaamheid van interventies voorop, maar ook de politieke
houdbaarheid van die interventies. Wetenschappelijke kennis levert dan hoogstens een bijdrage
aan een deeloplossing voor het ‘wicked’ vraagstuk. Bovendien maakt politiek-bestuurlijke
dynamiek het niet altijd mogelijk om in de beleidspraktijk te wachten op onderzoeksresultaten die
een uitgebreide toets in het wetenschappelijk forum hebben doorstaan. Kortom,
wetenschappelijke ‘evidence’ kan weliswaar bijdragen aan de inhoudelijke verbetering van
beleid—en aan een steviger verankering van beleid in de rechtstaat—maar kan zeker geen
alternatief vormen voor politiek-bestuurlijke oordeelsvorming.
Wetenschappelijke kennis en praktijkkennis. Kennis en ‘evidence’ zijn begrippen die in de publieke
discussie soms door elkaar heen worden gebruikt. Het is daarom belangrijk om helder te
omschrijven wat ‘evidence’ is ten opzichte van andere vormen van kennis ten behoeve van
werken en beleid. In dit onderzoek volgen wij de gangbare literatuur waarin een onderscheid
wordt gemaakt tussen enerzijds wetenschappelijke kennis als ‘evidence’ en anderzijds
praktijkkennis ten behoeve van werken en beleid.

108

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Wetenschappelijke kennis als ‘evidence’:
a. is ontleend aan wetenschappelijke theorievorming en/ of empirisch onderzoek dat op een
transparante wijze is uitgevoerd vanuit een geaccepteerde, systematische en
controleerbare methodologie;
b. is verkregen in een context van expliciete garanties ter waarborging van de
onafhankelijkheid ten opzichte van beleid en bestuur.
Praktijkkennis:
• is alle andere (systematische) kennis ten behoeve van werken en beleid. Dit betreft kennis
verkregen in het professionele veld of verkregen binnen de overheidsorganisatie zelf. Het
kan ook kennis betreffen die gebaseerd is op eigen ervaringen.
De bovenstaande twee omschrijvingen hebben enkele belangrijke implicaties voor de relatie
tussen wetenschappelijk onderzoek en beleid. Enkele voorbeelden laten dit zien:
• Beleidsevaluaties die voldoen aan zowel de eisen van onafhankelijkheid ten opzichte van
beleid en bestuur als wetenschappelijke kwaliteit (theoretische fundering,
methodologische zorgvuldigheid en transparantie) leveren wetenschappelijke evidentie
ten behoeve van werken en beleid.
• Een onderzoek dat op wetenschappelijke wijze is uitgevoerd, maar zonder expliciete
garanties ter waarborging van de onafhankelijkheid ten opzichte van beleid en bestuur,
levert praktijkkennis en geen evidentie. Bij het ministerie van JenV is bijvoorbeeld de
onafhankelijkheid van het WODC, als wetenschappelijke kennisinstelling, geborgd vanuit
een ministeriële regeling. Daarom levert het WODC wetenschappelijke evidentie ten
behoeve van werken en beleid.
• (Big) data, verkregen uit beleidsmonitors, zijn geen wetenschappelijke evidentie.
Wanneer de data methodisch geanalyseerd worden en geïnterpreteerd worden op basis
van een theoretisch-empirisch kennisfonds en deze analyse plaatsvindt vanuit harde
garanties die de onafhankelijkheid waarborgen, leveren deze data ‘evidentie’ op.
• Een wetenschapper die zonder een onderliggende wetenschappelijke theorie en/ of
systematisch onderzoek adviezen geeft aan een ministerie brengt geen evidentie in maar
treedt op als consultant.
Drie vormen van kennis-gebaseerd werken en beleid. Gegeven de strikte definitie van ‘evidence’ die
in de literatuur wordt gehanteerd, zal het systematisch gebruik van wetenschappelijke kennis in
werken en beleid variëren. Wij volgen de literatuur en onderscheiden drie vormen van kennisgebaseerd werken en beleid: ‘evidence-based’, ‘evidence-informed’, en ‘practice-based’.
•

‘Evidence-based’ werken en -beleid. Het voornamelijk of uitsluitend gebruiken van
wetenschappelijke kennis (als ‘evidence’) ter onderbouwing van werken en beleid zal
alleen mogelijk (of wenselijk) zijn in zeer specifieke situaties. We spreken dan van
‘evidence-based’ werken en -beleid. Een voorbeeld is het gebruik van wetenschappelijk
gevalideerde protocollen in de behandeling van doelgroepen (cliënten).

109

Hoofdstuk 6: Conclusies en aanbevelingen

•

‘Evidence-informed’ werken en -beleid. In de literatuur bestaat brede overeenstemming
over de noodzaak tot het systematisch integreren van wetenschappelijke kennis (als
‘evidence’) met praktijkkennis. We spreken dan van ‘evidence-informed’ werken en beleid. Wetenschappelijke kennis levert alleen een bijdrage aan de kwaliteit,
doeltreffendheid en doelmatigheid van werken en beleid wanneer het op een
systematische wijze wordt verbonden aan kennis uit de praktijk.

•

‘Practice-based’ werken en -beleid. Werken en beleid hoeven niet altijd te zijn gebaseerd op
de inbreng van wetenschappelijke kennis als evidentie. Wanneer werken en beleid
voornamelijk zijn gebaseerd op (systematische) praktijkkennis vanuit het professionele
veld spreken wij van ‘practice-based’ werken en -beleid. Ook kennis gebaseerd op
individuele ervaring merken wij aan als praktijkkennis.

6.2 ‘Evidence-based’ werken en –beleid binnen het ministerie van JenV
Nu wij vanuit de literatuur een analytisch kader hebben geformuleerd, kunnen wij een
beschrijving geven van de praktijk van ‘evidence-based’ werken en -beleid binnen het ministerie
van JenV. Wij geven eerst een overzicht van de perceptie van medewerkers en vervolgens een
overzicht van het daadwerkelijke gebruik van wetenschappelijke kennis.

6.2.1

Perceptie van ‘evidence-based’ werken en -beleid

Welke associaties roept het concept ‘evidence’ op bij medewerkers van het ministerie van JenV?
Wordt een verband gelegd met wetenschappelijke kennis, praktijkkennis, een combinatie van
beide, of iets geheel anders?
Conclusie 1: Vanuit het perspectief van de medewerkers van JenV verbindt ‘evidence-based’ werken
en -beleid wetenschap met praktijk.
1a.
‘Evidence-based’ werken en -beleid associëren vrijwel alle medewerkers van het ministerie
van JenV met een gebruik van onafhankelijk verkregen wetenschappelijke kennis.
1b.
Maar, een meerderheid van de medewerkers vindt ook praktijkkennis behoren tot
‘evidence’. Zij relateren dat aan de integratie van wetenschappelijke kennis en
praktijkkennis als ‘evidence’. Dit sluit aan bij de definitie van ‘evidence-informed’ werken
en -beleid.

Uit de interviews blijkt dat ‘evidence-based’ of ‘evidence-informed’ werken en -beleid voor veel
geïnterviewden eigenlijk geen belangrijk thema is. Wetenschappelijke evidentie wordt
aangemerkt als bewijs wanneer het potentieel de eigen werkzaamheden kan ondersteunen,
naast andere kennisbronnen die ook als ‘evidentie’ worden aangemerkt. Meer dan de helft van de
medewerkers definieert ‘evidence-based’ werken en -beleid dan ook als ‘evidence-informed’,
waarbij zowel gebruik wordt gemaakt van wetenschappelijke- als professionele kennis. De
bovenstaande conclusies zijn niet absoluut. Een uitzondering vormt bijvoorbeeld een
specialistisch organisatieonderdeel dat wij tegenkwamen in ons kwalitatief onderzoek.
110

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Medewerkers van dit onderdeel hebben bij het begrip ‘evidence-based’ wel degelijk de associatie
dat werken en beleid voornamelijk zijn gebaseerd op wetenschappelijke kennis. Dit betreft een
onderdeel in de uitvoering waarin handelingen sterk geprotocolleerd zijn.

6.2.2

Benutting van wetenschappelijke kennis in werken en beleid

In hoeverre wordt er ‘evidence-based’ gewerkt binnen het ministerie van JenV? ‘Evidence-based’
werken en -beleid neemt daarbij een plaats in ten opzichte van de andere vormen van
kennisbenutting: ‘evidence-informed’ of ‘practice-based’ werken en -beleid. Welke
informatiebronnen gebruiken medewerkers van het ministerie van JenV om wetenschappelijke
kennis te ontsluiten? Beide vragen komen hieronder aan de orde.
Conclusie 2: Er is sprake van een beperkte benutting van wetenschappelijke kennis op het ministerie
van JenV.
2a.
2b.

2c.
2d.

‘Evidence-based’ werkt vrijwel niemand van de onderzochte medewerkers van JenV.
‘Evidence-informed’ wordt wel gewerkt op het ministerie, maar dit varieert tussen
organisatieonderdelen. Uit de interviews blijkt niet dat medewerkers professionele kennis
en wetenschappelijke kennis op een systematische en transparante wijze integreren ter
onderbouwing van hun werken en beleid.
‘Practice-based’ werkt een belangrijk deel van de medewerkers van het ministerie, dat wil
zeggen zonder de inbreng van wetenschappelijke kennis.
Bij organisatieonderdelen die te maken hebben met beleidsvraagstukken die veel
politieke dynamiek kennen, wordt een minder groot beroep gedaan op beschikbare
wetenschappelijke kennis en praktijkkennis. Uit de interviews blijkt dat zowel beschikbare
wetenschappelijke kennis als praktijkkennis regelmatig terzijde worden geschoven
wanneer de inhoud ervan niet goed past bij politieke uitgangspunten of (voorgenomen)
beleid. Dit betreft met name de fases van agendering, beleidsvoorbereiding en evaluatie.

Ongeacht welk organisatieonderdeel, de belangrijkste bronnen voor werken en beleid blijken te
bestaan uit praktijkkennis, beleidsdocumenten, jurisprudentie en instructies van leidinggevenden.
Het gebruik van enige vorm van wetenschappelijke kennis blijft daar ver bij achter.
Ook al zijn medewerkers op de hoogte van wat ‘evidence-based’ werken en -beleid inhoudt, zij
doen er niet aan. Slechts vier tot zes procent van de onderzochte medewerkers rapporteert een
werkwijze die strikt ‘evidence-based’ is. Gegeven de soms problematische relatie tussen
wetenschap en beleid mag dit geen verwondering wekken.
Dit wordt verder bevestigd wanneer wij kijken naar kennisontsluiting door medewerkers van de
beleidsdirecties. Communicatie vanuit de eigen organisatie wordt het meest geraadpleegd.
Daarna volgen professionele publicaties en publicaties van kennisinstellingen, zoals het WODC.
Zoekmachines en wetenschappelijke artikelen worden slechts af en toe geraadpleegd. Bij de
kennisorganisatie is het beeld anders. Medewerkers van de kennisorganisatie raadpleegt
wetenschappelijke bronnen vaak en gebruikt wetenschappelijke zoekmachines ook vaak.
Medewerkers blijken wel toegang tot kennis te hebben, maar vooral op de beleidsdirecties en het
111

Hoofdstuk 6: Conclusies en aanbevelingen

hoofdkantoor blijkt het identificeren en ontsluiten van nuttige bronnen van wetenschappelijk
onderzoek niet frequent plaats te vinden.
Opmerkelijk is dat rond de helft van de onderzochte medewerkers aangeeft uitsluitend
praktijkkennis te gebruiken in de werkzaamheden (40% bij de beleidsdirecties, 60% bij het
hoofdkantoor van de uitvoerende organisatie en 20% bij de kennisorganisatie). In de interviews
wordt het belang van praktijkkennis in de uitvoering benadrukt. Soms wordt hierbij aangevoerd
dat dat wetenschap ‘achterloopt’ of dat wetenschappelijke kennis niet beschikbaar is. Dan komt
praktijkkennis voorop te staan. Evaluaties zijn vooral ingegeven door een behoefte aan (interne)
monitoring en minder vanuit een behoefte aan onafhankelijk wetenschappelijk onderzoek.
Uitvoerende organisaties evalueren vooral intern op professioneel niveau, waarbij dit niet (altijd)
methodisch systematisch of transparant gebeurt.
Uiteindelijk rapporteren veel medewerkers een werkwijze die wij als ‘evidence-informed’ kunnen
aanmerken (45% van de medewerkers van de beleidsdirecties en 33% van het hoofdkantoor van de
uitvoerende organisatie). Zoals eerder aangegeven blijkt uit de interviews dat niemand van de
geïnterviewde medewerkers helder kon aangeven op welke wijze zij wetenschappelijke- en
praktijkkennis integreren ter onderbouwing van hun werken en beleid. Het is de ontbrekende
systematiek en transparantie die deze pragmatische werkwijze problematisch maken. Meer
systematiek en transparantie in de integratie van wetenschappelijke- en praktijkkennis zou
noodzakelijk zijn om kennisintensiever te kunnen werken binnen het ministerie van JenV.
Tenslotte doen zich ook situaties voor waarbij wetenschappelijke kennis noch praktijkkennis
worden gebruikt. Bij politiek dynamische beleidsvraagstukken vormen juridische kaders en
jurisprudentie de belangrijkste bron van kennis. In de agendering en beleidsvoorbereiding is het
gebruik van wetenschappelijke kennis ondergeschikt aan de politieke opvattingen van
bestuurders en eisen uit wet- en regelgeving. Wetenschappelijke inzichten worden vooral
gebruikt om politiek-maatschappelijke tegenstellingen te slechten. Intern praktijkgericht
onderzoek wordt uitgezet om vragen aan bewindspersonen te kunnen beantwoorden. Maar, ook
dergelijke praktijkkennis wordt regelmatig terzijde geschoven wanneer dit politiek opportuun is.
Voor evaluaties is maar zeer beperkte aandacht, mede ook omdat deze vaak pas beschikbaar
komen als verantwoordelijke bewindspersonen of ambtenaren zijn gewisseld.
Er zijn ook uitzonderingen. Het specialistisch organisatieonderdeel dat wij in de vorige subparagraaf bespraken hanteert expliciete ‘evidence-based’ handelingsprotocollen in de
uitvoerende werkzaamheden en is zeer actief in het uitzetten en vertalen van onafhankelijk
wetenschappelijk onderzoek.

112

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

6.2.3

Belemmerende en bevorderende factoren

In het onderzoek is een aantal belangrijke aangrijpingspunten naar voren gekomen die het
gebruik van wetenschappelijke kennis binnen het ministerie van JenV kunnen belemmeren of
bevorderen. Deze belemmerende en bevorderende factoren bieden inzicht in mogelijkheden tot
versterking van ‘evidence-based’ werken en -beleid.
Conclusie 3: De afdeling vormt een belangrijke schakel bij kennisintensief werken binnen het
ministerie van JenV.
3a.
De cultuur en gangbare praktijken binnen de afdeling bepalen in belangrijke mate het
gebruik van wetenschappelijke kennis binnen het ministerie van JenV.
3b.
3c.

Het belangrijkste knelpunt is daarbij de weinig beschikbare tijd van medewerkers
(voortvloeiend uit een gebrek aan prioriteit of korte-termijn politieke druk).
Sommige uitvoerende organisaties werken strikt ‘evidence-based’ vanuit hun specifieke
taakstelling. Dit betreft afdelingen waar professionals strikte handelingsprotocollen
hanteren, ondersteund door kennisorganisaties die hen voeden met specialistische
wetenschappelijke inzichten.

Er zijn afdelingen die relatief veel kennisintensief werken. Op die afdelingen wordt niet alleen
meer wetenschappelijke kennis gebruikt, maar ook praktijkkennis en kennis uit
beleidsdocumenten. Dit zijn afdelingen waar ‘evidence-based’ en ‘evidence-informed’ werken en beleid actief wordt aangemoedigd, onder meer door intercollegiale aansporing om
wetenschappelijke bronnen te raadplegen. ‘Evidence-based’ en ‘evidence-informed’ werken en beleid vormen daarmee een samenhangend onderdeel van kennisintensief werken.
Dat gezegd hebbend geeft een ruime meerderheid van de bevraagde medewerkers aan te weinig
tijd beschikbaar te hebben om zich te verdiepen in de resultaten van wetenschappelijk
onderzoek. Tegelijkertijd ervaart de helft van de medewerkers een afdelingscultuur die het
gebruik van wetenschappelijk onderzoek aanmoedigt. De afdelingscultuur en afdelingspraktijk
vormen dus een belangrijke schakel bij kennisintensief werken binnen het ministerie van JenV.
Als onderzoekers zijn wij direct in aanraking gekomen met verschillen in afdelingsculturen en praktijken ten aanzien van wetenschappelijk onderzoek. Het systematisch uitzetten van de
vragenlijst van het onderhavige onderzoek bij sommige beleidsdirecties bleek moeizaam te
verlopen. Er bleek een grote variatie op te treden in de wijze waarop de vragenlijst uiteindelijk
(systematisch) is uitgezet binnen de verschillende directoraten-generaal. In de procesbeschrijving
van Appendix B beschrijven wij dit in meer detail.
In de uitvoering wil men heel graag kennisintensiever werken, waaronder ‘evidence-based’ en
‘evidence-informed’. Op uitvoerend niveau spelen veel specifieke vraagstukken in de
professionele praktijk. Daarvoor bestaan kennisorganisaties die deze professionele
uitvoeringspraktijk ondersteunen met wetenschappelijke inzichten of ‘evidence-based’
handelingsprotocollen. Hiertoe wordt specialistische wetenschappelijke kennis ontwikkeld en
113

Hoofdstuk 6: Conclusies en aanbevelingen

ontsloten. De kennisorganisaties zelf zijn ingebed in nauwe samenwerkingsverbanden met
wetenschappelijke instellingen. Medewerkers van deze uitvoerende organisaties zijn goed
onderlegd in het begrijpen (of zelfs uitvoeren) van wetenschappelijk onderzoek.
Conclusie 4: Medewerkers van de beleidsafdelingen vinden wetenschappelijke kennis vaak minder
relevant voor beleid.
4.
Medewerkers van beleidsafdelingen voeren aan dat ‘evidence-based’ of ‘evidenceinformed’ werken en -beleid wordt, naast het gebrek aan tijd, ook belemmerd door een
gebrek aan relevantie van wetenschappelijk onderzoek voor de beleidspraktijk. Meer
specifiek wijst men op:
4a.
4b.
4c.

Slecht passende onderzoeksresultaten bij lopend beleid, mede door een wetenschap die
te specialistisch is en soms ongeïnteresseerd.
Achterlopende of (nog) niet beschikbare wetenschappelijke kennis.
Een gepercipieerd gebrek aan eigen expertise om wetenschappelijk onderzoek te
integreren met praktijkkennis.

Uit de interviews blijkt dat de legitimering voor onderbenutting van wetenschappelijke kennis
door de medewerkers vooral ingegeven lijkt te zijn door hun perceptie van een scheiding tussen
de academische- en de beleidswereld. Er wordt dan ook opgemerkt dat vraag en aanbod van
wetenschappelijke kennis soms moeilijk op elkaar aansluiten op beleidsniveau. Hierbij refereren
de geïnterviewde medewerkers aan het grote aanbod van wetenschappelijke kennis, waardoor
men op de beleidsafdelingen ‘tussen de bomen het bos niet meer ziet’. Medewerkers van de
beleidsdirecties geven daarbij aan een gebrek aan expertise te ervaren om wetenschappelijk
onderzoek te vertalen naar de praktijk.
Conclusie 5: Politieke dynamiek verhindert het gebruik van kennis.
5.
In situaties van politieke dynamiek verdwijnen ‘evidence-based’ en ‘evidence-informed’
werken en -beleid naar de achtergrond en valt men terug op (juridische) kennis uit
beleidsdocumentatie.

Op beleidsvelden bestaat er een samenspel tussen politieke dynamiek en onzekerheid van kennis.
Een meerderheid van de respondenten geeft aan dat wetenschappelijke kennis symbolisch wordt
gebruikt. Bij politiek beladen beleidsvraagstukken is er sprake van een grote politieke dynamiek
en grote onzekerheid van kennis. Uit de enquête en interviews blijkt dat er dan weinig sprake is
van ‘evidence-based’ of ‘evidence-informed’ werken en -beleid. In de interviews geven sommige
medewerkers aan dat politieke emoties zorgen voor een korte-termijn noodzaak van het
informeren van het parlement, waardoor de tijd ontbreekt voor wetenschappelijke verdieping. Zij
stellen dat politieke waardeoordelen met regelmaat ook haaks staan op wetenschappelijke
inzichten, waarbij vaak de voorkeur wordt gegeven aan het eerste. Wetenschappelijke inzichten
krijgen dan niet de kans om door te klinken in het beleid. Bij politiek beladen beleidsvraagstukken
wordt, in plaats daarvan, vooral gebruik gemaakt van juridische kaders en kennis uit
beleidsdocumentatie in plaats van praktijkkennis.
114

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Conclusie 6: Rijksbrede wetgeving en beleidskaders werken niet door in ‘evidence-based’ of
‘evidence-informed’ werken en -beleid binnen het ministerie.
6a.
Bestaande Rijksbrede wetgeving en beleidskaders, zoals het Integraal Afwegingskader,
(IAK) bieden hooguit indirecte aanknopingspunten voor ‘evidence-based’ of ‘evidenceinformed’ werken en -beleid.
6b.
Departementale beleidskaders ten behoeve van ‘evidence-based’ of ‘evidence-informed’
werken en -beleid ontbreken vrijwel.

In Rijksbrede wetgeving en beleidskaders ten behoeve van kennisbenutting in werken en beleid
wordt vrijwel niet gerefereerd naar ‘evidence-based’ of ‘evidence-informed’ beleid. Het begrip
kennis blijft daarin ambigu. Doorwerking van de wettelijke en beleidsmatige kaders van de
Comptabiliteitswet of het Integraal afwegingskader vindt voornamelijk plaats op de
beleidsdirecties. Maar ook daar geeft slechts een derde van de medewerkers aan bekend te zijn
met het IAK. Het is dus nog niet gelukt om het belang van de eisen uit het IAK ten behoeve van de
systematische onderbouwing van beleid voldoende onder de aandacht te krijgen van de
medewerkers van de beleidsafdelingen.

6.3 Aanbevelingen
Zoals aan het begin van dit hoofdstuk werd gememoreerd, ziet het ministerie van Justitie en
Veiligheid kennis als een onmisbaar kompas voor een goed onderbouwd en effectief beleid. Een
betere kennisbenutting leidt tot de verbetering van bestaand beleid en nieuw, te ontwikkelen
beleid. In 2017 werd daarom op het ministerie van JenV aangegeven dat de strategische
kennisfunctie bij het ministerie zou moeten worden versterkt. De versterking van de
kennisfunctie betreft het formuleren van heldere kennisbehoeften, het verbeteren van
samenwerkingsrelaties met de wetenschap en een betere benutting van aanwezige kennis
(toegankelijkheid en verwerkbaarheid).
In 2018 startte het ministerie van Financiën, als verantwoordelijk departement, een Rijksbrede
operatie genaamd “Inzicht in Kwaliteit”, met als doel om de “maatschappelijke impact en
kwaliteit van het beleid van de nationale overheid te vergroten”. Ook daarin komt evidence-based
werken en -beleid expliciet aan de orde.
Op grond van de bovenstaande conclusies hebben wij enkele aanbevelingen geformuleerd die
recht doen aan de titel van het aangevraagde WODC-onderzoek; “naar meer evidence-based
beleid”. Daarbij willen wij, op grond van onze resultaten, graag toevoegen dat ook meer
‘evidence-informed’ werken en -beleid binnen het ministerie van JenV nastrevenswaardig is. De
eerste twee aanbevelingen richten zich op ondersteuning en professionalisering van het gebruik
van wetenschappelijke kennis ten behoeve van werken en beleid binnen het ministerie.

115

Hoofdstuk 6: Conclusies en aanbevelingen

Aanbeveling 1: Ondersteun ‘evidence-based’ en ‘-informed’ werken binnen het ministerie van JenV.
1a.
Creëer een kennisfunctie binnen het ministerie van JenV, in de vorm van kennisafdelingen,
die zich expliciet richt op het ondersteunen van medewerkers:
●
bij het identificeren en ontsluiten van nuttige bronnen van wetenschappelijk
onderzoek ten behoeve van werken en beleid;
●
1b.

bij het systematisch integreren van wetenschappelijke kennis en praktijkkennis ten
behoeve van werken en beleid.
Ken deze kennisafdelingen voldoende middelen en tijd toe om deze
professionaliseringsslag te maken, als uitdrukking van het belang dat wordt gehecht aan
‘evidence-based/-informed’ werken binnen het ministerie van JenV.

Aanbeveling 2: Professionaliseer en stimuleer kennisintensief werken op afdelingen.
2a.
Stimuleer het leiderschap binnen onderdelen (afdelingen) van het ministerie om
kennisintensief werken aan te moedigen.
2b.
2c.

2d.

2e.

Creëer voldoende (financiële) ruimte om medewerkers ‘evidence-based’ of ‘evidenceinformed’ te kunnen laten werken.
Schenk in het personeelsbeleid expliciet aandacht aan het werven van nieuwe
medewerkers, of het bevorderen van zittende medewerkers, met competenties op het
gebied van ‘evidence-based/ -informed’ werken.
Investeer in het vergroten van de competenties van medewerkers om wetenschappelijke
kennis te waarderen en systematisch te integreren met praktijkkennis, bijvoorbeeld door
het initiëren van leergangen in het kader van leven-lang-leren.
Doe vervolgonderzoek naar het proces van ‘evidence-informed’ werken en -beleid: hoe
kunnen (soms tegenstrijdige) kennisbronnen optimaal worden geïntegreerd.

De derde aanbeveling richt zich op de soms uiteenlopende werelden van academie en beleid
waarbinnen vraag en aanbod van beleidsrelevant wetenschappelijk onderzoek elkaar ontmoeten.
De onafhankelijkheid van wetenschappelijk onderzoek (in dialoog met bestuur en beleid maar
zonder druk vanuit bestuur en beleid) is daarbij cruciaal. Zonder deze onafhankelijkheid kan niet
worden gesproken van ‘evidentie’ en is ‘evidence-based’ of ‘evidence-informed’ werken en -beleid
niet mogelijk.
Aanbeveling 3: Kaders voor de borging van onafhankelijkheid van wetenschappelijk onderzoek en
het systematische gebruik van wetenschappelijke kennis ten behoeve van werken en beleid.
3a.
Van wetenschappelijk onderzoek is het essentieel dat dit onafhankelijk is. Voor het WODC
is deze onafhankelijkheid geborgd door een ministeriële richtlijn en omgangskader.103
Draag zorg dat ook bij het overige wetenschappelijk onderzoek ten behoeve van het
ministerie van JenV de onafhankelijkheid is geborgd.
3b.
Onderzoek waarom het Integraal Afwegingskader zo weinig wordt toegepast in de
praktijk van het ministerie. Pleeg concrete inspanningen die leiden tot een betere
toepassing van het Integraal Afwegingskader binnen het ministerie.
103 Zie: Ministerie van JenV, Regeling wetenschappelijke onafhankelijkheid WODC. Kamerstuk 2710533, 3 december 2019.

Omgangskader voor het Ministerie van JenV en het WODC. Intern document. Den Haag, 5 december 2019.

116

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Literatuur
Aberbach, J.D., Putnam, R.D. & Rockman, B.A. (1981) Bureaucrats and politicians in western
democracies, Boston, MA: Harvard University Press.
Adam, C., Steinebach, Y., & Knill, C. (2018) Neglected challenges to evidence-based policy-making.
the problem of policy accumulation. In Policy Sciences 51 (3), pp. 269–290. DOI: 10.1007/s11077018- 9318-4.
Adams, David (2004) Usable Knowledge in Public Policy. In Australian Journal of Public
Administration 63 (1), pp. 29–42. DOI: 10.1111/j.1467-8500.2004.00357.x.
Akkerman, A., Resodihardjo, S.L., Vries, M.S. de. (2014) Problemen op de agenda. In: Hoogerwerf,
A. & Herweijer, M. (eds.), Overheidsbeleid. Een inleiding in de beleidswetenschap. Alphen aan
den Rijn: Kluwer, pp. 49-64.
Allen, W. L. (2017) Factors that impact how civil society intermediaries perceive evidence. In
Evidence & Policy 13 (2), pp. 183–200. DOI: 10.1332/17442646x14538259555968.
Amara, N., Ouimet, M., & Landry, R. (2004) New evidence on instrumental, conceptual, and
symbolic utilization of university research in government agencies. In Science communication,
26(1), 75-106.
Ansell, C. & Geyer, R. (2017) ‘Pragmatic complexity’ a new foundation for moving beyond
‘evidence-based policy making’? In Policy Studies 38 (2), pp. 149–167. DOI:
10.1080/01442872.2016.1219033.
Argyrous, G. (2012) Evidence Based Policy. Principles of Transparency and Accountability. In
Australian Journal of Public Administration 71 (4), pp. 457–468. DOI: 10.1111/j.14678500.2012.00786.x.
Arinder, M. K. (2016) Bridging the Divide between Evidence and Policy in Public Sector Decision
Making. A Practitioner's Perspective. In Public Administration Review 76 (3), pp. 394–398. DOI:
10.1111/puar.12572.
AWTI. (2021) Rijk aan kennis - Naar een herwaardering van kennis en expertise in beleid en
politiek. (2021). ISBN: 978-90-77005-87-3. Van
https://www.awti.nl/binaries/awti/documenten/adviezen/2021/02/17/advies-rijk-aankennis/AWTI-advies+Rijk+aan+kennis_def.pdf
Baldridge, D.C., S.W. Floyd, & L. Markóczy (2004) Are Managers from Mars and Academicians
from Venus? Toward an Understanding of the Relationship Between Academic Quality and
Practical Relevance. In Strategic Management Journal 25 (11): 1063–1074. doi:10.1002/(ISSN)
1097-0266.
Bekkers, V. (2007) Beleid in beweging: Achtergronden, benaderingen, fasen en aspecten van beleid
in de publieke sector. Den Haag: Boom Lemma.
Belkhodja, O. (2012) Toward a Revisited Organisational and Social Perspective of Knowledge
Utilization: Contributions from Organisational Theory. In The International Journal of
Knowledge, Culture and Change Management 11 (3): 39–58.
Belkhodja, O., Amara, N., Landry, R., & Ouimet, M. (2007) The Extent and Organizational
Determinants of Research Utilization in Canadian Health Services Organizations. In Science
Communication, 28 (3), pp. 377–417. DOI: 10.1177/1075547006298486.
Beyer, J. M. (1997) Research utilization: Bridging the gap between communities. In Journal of
Management Inquiry 6 (1): 17-22.
117

Literatuur

Biesta, G. (2007) Why “what works” won’t work: Evidence-based practice and the democratic
deficit in educational research. In Educational Theory 57 (1), pp. 1–22. DOI: 10.1111/j.17415446.2006.00241.x.
Boaz, A., Grayson, L., Levitt, R., & Solesbury, W. (2008) Does evidence-based policy work?
Learning from the UK experience. In Evidence & Policy 4 (2). DOI: 10.1332/174426408784614680.
Boaz, A., Baeza, J., & Fraser, A. (2011). Effective implementation of research into practice: an
overview of systematic reviews of the health literature. BMC research notes, 4(1), 1-8.
Cameron, A., Salisbury, C., Lart, R., Stewart, K., Peckham, S., & Calnan, M. (2011) Policy makers'
perceptions on the use of evidence from evaluations. In Evidence & Policy 7 (4). DOI:
10.1332/174426411X603443.
Caplan, N. (1979) The Two-Communities Theory and Knowledge Utilization. In American Behavioral
Scientist 22 (3): 459–470. doi:10.1177/000276427902200308.
Chalmers, Iain (2005) If evidence-informed policy works in practice, does it matter if it doesn't
work in theory? In Evidence & Policy 1 (2), pp. 227–242. DOI: 10.1332/1744264053730806.
Chang, S.-J., Witteloostuijn, A. van & Eden, L. (2010) Common method variance in international
business research. Journal of International Business Studies 41: 178–184.
Cherney, A., B.W. Head, P. Boreham, J. Povey, & Ferguson, M. (2012) Perspectives of Academic
Social Scientists on Knowledge Transfer and Research Collaborations: A Cross Sectional Survey
of Australian Academics. In Evidence & Policy 8 (4): 433–453. doi:10.1332/174426412X660098.
Cherney, A., Head, B., Boreham, P., Povey, J., & Ferguson, M. (2011) The utilisation of social science
research in policy development and program review. Preliminary report: Phase, 1.
Cherney, A., Head, B., Povey, J., Ferguson, M., & Boreham, P. (2015) Use of academic social
research by public officials: exploring preferences and constraints that impact on research use.
Evidence & Policy 11(2), 169-188.
Crawford, S.E.S. & Ostrom, E. (1995) A Grammar of Institutions. American Political Science Review
89(3): 582–600.
Dedering, K. (2009) Evidence-Based Education Policy: Lip Service or Common Practice? Empirical
Findings from Germany. In European Educational Research Journal 8 (4). DOI:
10.2304/eerj.2009.8.4.484.
Diercks, G., Faasse, P., van der Meulen, B. & Diederen, P. (2018) Met gepaste afstand –
Onafhankelijkheid en integriteit bij onderzoek door rijkskennisinstellingen. Den Haag: Rathenau
Instituut.
Dunn, W. (1980) The Two-Communities Metaphor and Models of Knowledge Use: An Exploratory
Case Survey. In Knowledge: Creation, Diffusion, Utilization 1 (4): 515–536.
Faasse, P., van Elzakker, I.,& Diederen, P. (2020) Kennis, kunde, beleidskeuzes. Den Haag: Rathenau
Instituut.
Fenger, M. & Misdorp, P. (2015) Het beleidsproces en de rol van onderzoek. In P.H.M. van Hoesel,
J.W.M. Mevissen & B. Dekker (Red.), Kennis voor beleid (pp. 119-136). Assen: Van Gorcum.
Freiberg, A., & Carson, W.G. (2010) The limits to evidence-based policy. Evidence, emotion and
criminal justice. In Australian Journal of Public Administration 69 (2), pp. 152–164. DOI:
10.1111/j.1467-8500.2010.00674.x.
George B., & Pandey S.K. (2017) We Know the Yin—But Where Is the Yang? Toward a Balanced
Approach on Common Source Bias in Public Administration Scholarship. Review of Public
Personnel Administration 37 (2): 245-270.
118

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Gorissen, Wim H.M., Schulpen, Tom W.J., Kerkhoff, Antoon H.M. & van Heffen, Oscar (2005)
Bridging the gap between doctors and policymakers. The use of scientific knowledge in local
school health care policy in The Netherlands. In Eur J Public Health 15 (2), pp. 133–139. DOI:
27 10.1093/eurpub/cki125.
Graaf, H. van de & Hoppe, R. (1996) Beleid en Politiek. Een Inleiding tot de Beleidswetenschap en de
Beleidskunde. Bussum: Coutinho.
Greenberg, D.H. & Mandell, M.B.. (1991) Research Utilization in Policymaking: A Tale of Two Series
(Of Social Experiments). In Journal of Policy Analysis and Management 10 (4): 633–656.
doi:10.2307/3324989
Greenhalgh, Trisha, & Russell, Jill (2009) Evidence-based policymaking: a critique. In Perspectives
in biology and medicine 52 (2), pp. 304–318. DOI: 10.1353/pbm.0.0085.
Hammersley, Martyn (2005) Is the evidence-based practice movement doing more good than
harm? Reflections on Iain Chalmers' case for research-based policy making and practice. In
Evidence & Policy 1 (1), pp. 85–100. DOI: 10.1332/1744264052703203.
Hammersley, Martyn (2013) The myth of research-based policy & practice. Los Angeles, Calif.: Sage
Head, B.W. (2008) Three lenses of evidence-based policy. In Australian Journal of Public
Administration 67 (1), pp. 1–11. DOI: 10.1111/j.1467-8500.2007.00564.x.
Head, B.W. (2016) Toward More "Evidence-Informed" Policy Making? In Public Administration
Review 76 (3), 472-484. DOI: 10.1111/puar.1247r5.
Head, Brian W. (2013) Evidence-Based Policymaking - Speaking Truth to Power? In Australian
Journal of Public Administration 72 (4), pp. 397–403. DOI: 10.1111/1467-8500.12037.
Heinrich, C.J. (2007) Evidence-based policy and performance management - Challenges and
prospects in two parallel movements. In American Review of Public Administration 37 (3), pp.
255– 277. DOI: 10.1177/0275074007301957.
Hemsley‐Brown, Jane (2004) Facilitating research utilisation: A cross-sector review of research
evidence. In International Journal of Public Sector Management 17 (6), pp. 534–552. DOI:
10.1108/09513550410554805.
Hoogerwerf, A. & Herweijer, M. (2008) Overheidsbeleid, een inleiding in de beleidswetenschap,
Kluwer: Alphen aan den Rijn.
Hoogerwerf, A. (1984) Beleid berust op veronderstellingen. De beleidstheorie. Acta Politica 14(4):
493-531.
Hoppe, R. (1989) Het beleidsprobleem geproblematiseerd. Inaugurele rede Universiteit van
Amsterdam. Muiderberg: Coutinho.
Jennings, E.T., & Hall, J.L. (2012) Evidence-Based Practice and the Use of Information in State
Agency Decision Making. In Journal of Public Administration Research and Theory 22 (2), pp.
245–266. DOI: 10.1093/jopart/mur040.
Kay, A. (2011) Evidence‐Based Policy‐Making: The Elusive Search for Rational Public
Administration. In Australian Journal of Public Administration 70 (3), pp. 236–245. DOI:
10.1111/j.1467-8500.2011.00728.x.
Koopmans, C. (2020) Verkenning MKBA-werkwijzer Justitie en Veiligheid. SEO Economisch
onderzoek, WODC. https://repository.wodc.nl/handle/20.500.12832/3017
Kuiper, C., Verhoef, J. & Munten, G. (2016) Evidence-based practice, In G. Munten, J. Verhoef & C.
Kuiper (red) Evidence-based practice voor verpleegkundigen. Gezamenlijke, geïnformeerde
besluitvorming, Amsterdam: Boom uitgevers.
119

Literatuur

Leeuw, F.L. (1993) Beleidstheorieën: veronderstellingen achter beleid. In: Hoogerwerf, A. (red.),
Overheidsbeleid (pp. 89‐104). Alphen aan den Rijn: Samsom.
Leicester, Graham (1999) The Seven Enemies of Evidence-Based Policy. In Public Money and
Management 19 (1), pp. 5–7. DOI: 10.1111/1467-9302.00145.
Leigh, Andrew (2009) What Evidence should Social Policymakers Use? In SSRN Journal. DOI:
10.2139/ssrn.1415462.
Lewis, J. (2003) Evidence based policy: a technocratic wish in a political world. In Evidence-based
health policy: Problems and possibilities (pp. 250-259). Oxford University Press.
Lindblom, C. & Cohen, D.K. (1979) Usable knowledge: Social science and social problem solving. New
Haven: Yale University Press.
Lipsky, M. (1980) ‘Street-level bureaucrats as policy makers,’ in: Lipsky, M., Street-level
bureaucracy. Dilemmas of the individual in public services, New York: Russell Sage Foundation,
13-25.
Maddison, S. (2012) Evidence and Contestation in the Indigenous Policy Domain. Voice, Ideology
and Institutional Inequality. In Australian Journal of Public Administration 71 (3), pp. 269–277.
DOI: 10.1111/j.1467-8500.2012.00775.x.
Marmot, Michael G. (2004) Evidence based policy or policy based evidence? In BMJ (Clinical
research ed.) 328 (7445), pp. 906–907. DOI: 10.1136/bmj.328.7445.906.
Marston, G. & R. Watts (2003) Tampering with the Evidence; A Critical Appraisal of Evidencebased Policy Making. The Drawing Board: An Australian Review of Public Affairs 3(3): 143– 163.
Mead, L.M. (2015) Only Connect: Why Government Often Ignores Research. Policy Sciences 48 (2):
257–272. doi:10.1007/s11077-015-9216-y
Newman, J. (2017) Deconstructing the debate over evidence-based policy. In Critical Policy Studies
11 (2), pp. 211–226. DOI: 10.1080/19460171.2016.1224724.
Newman, J. & Head, B.W. (2015) Beyond the Two Communities: A Reply to Mead’s “Why
Government Often Ignores Research”. Policy Sciences 48 (3): 383–393. doi:10.1007/s11077-0159226-9
Newman, J., A. Cherney, A.& Head, B.W. (2017) Policy capacity and evidence-based policy in the
public service, In Public Management Review, 19:2, 157-174, DOI:10.1080/14719037.2016.1148191
Newman, J., Cherney, A., & Head, B.W. (2016) Do policy makers use academic research?
Reexamining the “two communities” theory of research utilization. Public administration
review, 76(1), 24-32.
Neylan, Julian (2008) Social Policy and the Authority of Evidence. In Australian Journal of Public
Administration 67 (1), pp. 12–19. DOI: 10.1111/j.1467-8500.2007.00565.x.
Nutley, S.M., Walter, I., & Davies, H.T. (2007) Using evidence: How research can inform public
services. Bristol Policy press.
Nutley, S., Morton, S., Jung, T., & Boaz, A. (2010) Evidence and policy in six European countries:
diverse approaches and common challenges. In Evidence & Policy 6 (2), pp. 131–144. DOI:
10.1332/174426410x502275.
Oliver, K., Lorenc, T., & Innvær, S. (2014) New directions in evidence-based policy research: a
critical analysis of the literature. In Health Res Policy Sys 12 (1), pp. 1–11. DOI: 10.1186/1478-450512-34

120

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Orton, L., Lloyd-Williams, F., Taylor-Robinson, D., O'Flaherty, M., & Capewell, S. (2011) The use of
research evidence in public health decision making processes: systematic review. In PloS one,
6(7), e21704.
Parkhurst, J. (2017) The politics of evidence: from evidence-based policy to the good governance of
evidence. Taylor & Francis.
https://library.oapen.org/bitstream/handle/20.500.12657/31002/640550.pdf?sequence=1
Pawson, R., Tilley, N., & Tilley, N. (1997) Realistic evaluation. Sage.
Podsakoff, P.M., MacKenzie, S.B., Lee, J-Y. & Podsakoff, N.P. (2003) Common Method Biases in
Behavioral Research: A Critical Review of the Literature and Recommended Remedies.”
Journal of Applied Psychology 88(5): 879–903.
Podsakoff, P.M., MacKenzie, S.B. & Podsakoff, N.P. (2012) Sources of Method Bias in Social
Science Research and Recommendations on How to Control It. Annual Review of Psychology
63(1): 539–69.
Radaelli, Claudio M. (1995) The role of knowledge in the policy process. In Journal of European
Public Policy 2 (2), pp. 159–183.
Rathenau Instituut (2021) Vertrouwen van Nederlanders in wetenschap (enquête 2021). Rathenau
Instituut: Den Haag.
Rimkutė, D., & Haverland, M. (2015) How does the European Commission use scientific expertise?
Results from a survey of scientific members of the Commission’s expert committees. In
Comparative European Politics, 13(4), 430-449.
Rittel, H.W.J. & Webber. M.M. (1973) Dilemmas in a general theory of planning. Policy Sciences 4:
155–169.
Rudd, K. (Prime Minister) (2008) Address to Heads of Agencies and Members of Senior Executive
Service, Great Hall, Parliament House, Canberra, 30 April.
Sanderson, I. (2002) Evaluation, policy learning and evidence-based policy making. In Public
Administration 80 (1), pp. 1–22. DOI: 10.1111/1467-9299.00292.
Schwarz, A., Rizzuto, T., Carraher-Wolverton, C., Roldán, J. L., & Barrera-Barrera, R. (2017)
Examining the impact and detection of the" urban legend" of common method bias. ACM
SIGMIS Database: The DATABASE for Advances in Information Systems, 48(1), 93-119.
Shaxson, L. (2005) Is your evidence robust enough? Questions for policy makers and practitioners.
In Evidence & Policy 1 (1).
Shulock, N. (1999) The paradox of policy analysis: If it is not used, why do we produce so much of
it? In Journal of Policy Analysis and Management 18 (2), pp. 226–244. DOI: 10.1002/(SICI)15206688(199921)18:2<226::AID-PAM2>3.0.CO;2-J
Sienkiewics, M. &Mair, D. (2020) Against the Science-Policy Binary Separation: Science for Policy
1.0, In Sucha, V. & M. Sienkiewics, Science for Policy Handbook. European Commission, Joint
Research Centre, Brussels, Amsterdam: Elsevier
Slob, M. & Staman, J. (2012) Beleid en het bewijsbeest. Een verkenning van verwachtingen en
praktijken rond evidence based policy. Den Haag: Rathenau Instituut
Smet, Valérie (2013) Evidence-based policy en de doorwerking van sociaalwetenschappelijk
onderzoek: are we there yet? In Beleidsonderzoek Online. DOI:
10.5553/Beleidsonderzoek.000031.
Solesbury, William (2002) The Ascendancy of Evidence. In Planning Theory & Practice 3 (1), pp. 90–
96. DOI: 10.1080/14649350220117834.
121

Literatuur

Strassheim, H. & Kettunen, P. (2014) When does evidence-based policy turn into policy-based
evidence? Configurations, contexts and mechanisms. In Evidence & Policy, vol 10, no 2 pp. 25977. http://dx.doi.org/10.1332/174426514X13990433991320
Talbot, C. & Talbot, C. (2015) Bridging the academic–policymaking gap: practice and policy issues,
Public Money & Management, 35:3, 187-194.
Talbot, C., & Talbot, C. (2014) Sir Humphrey and the professors: What does Whitehall want from
academics. Manchester: University of Manchester.
Torenvlied, R. (2000) Political decisions and agency performance. Boston/ London: Kluwer.
Torenvlied, R. & Akkerman, A. (2002) ‘Doorwerking in de diepte: De doorwerking van ‘Agenda
2002’ in de agenda en onderhandelingen van de CAO grootmetaal 1998.’ In ‘Werkt de Stichting
van de Arbeid door?’, Red. R. Torenvlied, Beleid en Maatschappij, 29(4): 218-231.
Van Hoesel, P. (2017) Beleidsevaluatie als ritueel. In Beleidsonderzoek Online februari.
Van Hoesel, P. & Herold, M. (2018) Een positieve relatie tussen beleid en kennis. In
Beleidsonderzoek Online Juli.
Veerman, G.J. (2021). Preadvies: Dertig Jaar ‘Zicht op wetgeving’: zicht op nog eens dertig jaar?
Ward, V., House, A. & Hamer, S. (2009) Knowledge Brokering: The Missing Link in the Evidence to
Action Chain? In Evidence & Policy 5 (3): 267–279. doi:10.1332/174426409X463811.
Weiss, R.S. (1994) Learning from strangers. The art and method of qualitative interview studies.
New York, Free Press
Wingens, M. (1990) Toward a General Utilization Theory: A Systems Theory Reformulation of the
Two-Communities Metaphor. In Knowledge: Creation, Diffusion, Utilization 12 (1): 27–42.

122

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Appendix A: Leden Begeleidingscommissie
Prof. Mr. G. J. Veerman, voorzitter

Emeritus hoogleraar wetgeving en wetgevingskwaliteit

Dr. J. Beijers*

Kenniscoördinator ministerie van JenV

Dr. J. Diehle

Wetenschappelijk Onderzoek- en Documentatiecentrum
(WODC)

Prof. dr. L. Hooft

UMC Utrecht, Department of Epidemiology, Julius Center
Research Program Methodology

Dr. R. Jansen

Universiteit van Tilburg, Tilburg School of Social and
Behavioral Sciences, Department of Organization Studies

Dr. E. Kruisbergen**

Kenniscoördinator ministerie van JenV

Dr. K. Wittebrood

Wittebrood - Onderzoek, training & coaching

*

Tot 1 april 2021; ** Vanaf 1 april 2021

123

Appendix A: Leden Begeleidingscommissie

124

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Appendix B: Verantwoording van het onderzoek
B1 Opzet van het onderzoek
Zoals wij in de inleiding schreven, is de reikwijdte van een onderzoek naar ‘evidence-based’
werken binnen het ministerie van JenV potentieel kolossaal. Daarom is gekozen voor een opzet
van het onderzoek die enerzijds zinvol inzicht biedt in ‘evidence-based’ werken en -beleid binnen
het ministerie, maar wel haalbaar blijft in het kader van een opdrachtonderzoek. Daarom is
gekozen voor een multi-methode benadering die zowel breed inzicht biedt in de stand van zaken
rond ‘evidence-based’ werken en -beleid als een meer diepgaand inzicht biedt in de contexten en
mechanismen die ‘evidence-based’ werken en -beleid bevorderen of belemmeren. De multimethode benadering beschrijven wij hieronder kort in paragraaf B1.1
Om het onderzoek zinvol en uitvoerbaar te houden, is mede in overleg met de opdrachtgever
besloten om de reikwijdte van het onderzoek in te perken. Zoals wij in de inleiding beschreven,
hebben wij deze inperking gedaan vanuit drie invalshoeken:
1. Wij hebben in onze opzet van het onderzoek een keuze gemaakt uit alle mogelijke, te
benaderen organisatieonderdelen van het ministerie. Daarbij hebben wij bij de selectie
drie organisatieonderdelen van het ministerie van JenV buiten de selectie gehouden: het
Openbaar Ministerie, de rechterlijke macht en de politie. Bij de enquête hebben wij ons
beperkt tot de beleidsdirecties van het departement, het hoofdkantoor van een
uitvoerende organisatie en een kennisorganisatie van het ministerie.
2. Wij hebben ervoor gekozen om ons onderzoek te baseren op zelf-gerapporteerde
gegevens (van perceptie en gebruik van verschillende kennisbronnen, alsmede van
ervaren belemmeringen). Het onderzoek heeft uitdrukkelijk niet als doel handelen te
observeren en beleidsteksten te analyseren op hun wetenschappelijke onderbouwing.
Het gaat om de zelf-gerapporteerde ervaringen van de medewerkers zelf.
3. Bij de interviews hebben wij ingezoomd op twee contexten waartussen wij verwachten
dat ‘evidence-based’ werken en -beleid varieert. Deze contexten betreffen: (1) de fase in
het beleidsproces, zoals agendering, beleidsvorming/ besluitvorming, uitvoering en
evaluatie; (2) kenmerken van het beleidsveld, meer specifiek: (on)zekerheid van kennis of
een (gebrek aan) overeenstemming over middelen en doelstellingen.

B1.1 Fasering van het onderzoek
Het onderzoek is uitgevoerd in vijf fasen. Tijdens deze fasen is contact geweest met de
begeleidingscommissie en met de projectbegeleider van de Afdeling Extern Wetenschappelijke
Beleidsonderzoek van het WODC. In totaal zijn er vier bijeenkomsten met de
begeleidingscommissie geweest waarin de voortgang van het onderzoek is besproken. Daarnaast
is regelmatig noodzakelijk contact geweest met de opdrachtgever (WODC) ten behoeve van
ondersteuning bij het verkrijgen van toegang tot gegevens.
• In de eerste fase hebben wij de literatuurstudie verricht, waarmee wij vervolgens het
analysekader van het onderzoek nader hebben uitgewerkt. Meer informatie over de
125

Appendix B: Verantwoording van het onderzoek

•

•
•
•

literatuurstudie en het analysekader presenteren wij in paragrafen B1.3 en B1.4 direct
hierna.
In de tweede fase hebben wij de wettelijke- en beleidsmatige kaders onderzocht die
‘evidence-based’ werken en -beleid Rijksbreed en binnen ministeries zou moeten
bevorderen. Hierover rapporteren wij in hoofdstuk 2.
In de derde fase hebben wij de enquête ontwikkeld en uitgezet. De opzet hiervan
bespreken wij in paragraaf B2.
In de vierde fase hebben wij, deels parallel met de derde fase, de interviews uitgevoerd op
vier geselecteerde beleidsdossiers. De opzet hiervan bespreken wij in paragraaf B3.
De vijfde fase betreft de verslaglegging van het onderzoek.

B1.2 Literatuurstudie
De eerste fase van het onderzoek betreft een literatuurscan en documentanalyse. Het doel van
deze literatuurscan was een overzicht te creëren van de gangbare benaderingen van ‘evidencebased’ beleid zoals wordt gehanteerd in de wetenschappelijke literatuur.104 Voor de literatuurscan
is voornamelijk gebruik gemaakt van ‘Scopus’, ‘Google scholar’ en ‘researchgate’ waar, op basis
van zoektermen zoals evidence-based policy, evidence-based practice, evidence-based policy
making, evidence-based decision making, evidence-based approach en evidence-informed policy,
enkele duizenden artikelen te vinden zijn. Daarbij blijken de sociale- en medische wetenschappen
hofleveranciers te zijn.
Deze lijst is ingekort door specifieke selectiecriteria te hanteren, zoals alleen Engelstalige
artikelen met een bestuurskundige benadering in de periode 2000 – 2020. Deze inperking
resulteerde in een lijst van ruim 800 artikelen, met een bescheiden inbreng van Nederlandse
auteurs. Omwille van de voortgang van het onderzoek is op pragmatische wijze gebruik gemaakt
van deze lijst en is slechts een deel van de publicaties gebruikt (gebaseerd op publicatie-index en
overlap van aangesneden thema’s).
Om daarnaast een overzicht te verkrijgen van Nederlandstalige publicaties zijn, door middel van
‘Google scholar,’ separate zoekopdrachten uitgezet (met zoekterm ‘evidence-based policy’ en
een beperking tot Nederlandstalig, artikelvorm, periode 2000 – 2020). Het hieruit verkregen
overzicht is vervolgens opgeschoond en telt uiteindelijk ruim vijftig tijdschriftartikelen over de
afgelopen 20 jaar. Een flink deel hiervan is van Vlaamse origine. In dit overzicht staan veel
artikelen over ‘evidence-based’ werken in de gezondheidszorg en het maatschappelijk werk. Het
verkregen overzicht is slechts een topje van de ijsberg. Wie gericht te werk gaat, bijvoorbeeld
specifiek voor (de vele) onderwerpen die voor het ministerie van JenV van belang zijn, zal dit
overzicht met meer generieke artikelen probleemloos kunnen uitbreiden.

104 Een uitgebreide en repliceerbare, systematische review van de wetenschappelijke literatuur over ‘evidence-based’

beleid valt buiten de reikwijdte van het onderhavige onderzoek.

126

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

B1.3 Ontwikkeling van het analysekader
De literatuurstudie heeft geresulteerd in een analysekader voor het onderzoek. Een belangrijk
onderdeel van het analysekader is de definitie van ‘evidence-based’ werken en -beleid, ‘evidenceinformed’ werken en -beleid, en ‘practice-based’ werken en -beleid. Deze definities, meer
uitgebreid beschreven in het eerste hoofdstuk, hebben wij niet opgelegd in het empirische
onderzoek, maar gebruikt als kader om de resultaten van het empirische onderzoek te
analyseren. Daarnaast heeft de literatuurstudie inzicht gegeven in:
• De relevante onderzoekseenheden voor het onderzoek, gegeven beschrijvingen van en
verklaringen voor de (onder)benutting van de resultaten van wetenschappelijk onderzoek
in de beleidspraktijk.
• Relevante contexten die ons helpen de belangrijkste condities te identificeren die van
belang zijn voor het gebruik van kennis in de beleidspraktijk.
• Relevante operationaliseringen van kernconcepten in het gangbare empirische onderzoek
naar ‘evidence-based’ werken en -beleid.
Zelf-gerapporteerde gegevens. De literatuurstudie laat zien dat ‘evidence-based’ werken en -beleid
door bestaand wetenschappelijk onderzoek voornamelijk wordt gemeten vanuit zelfgerapporteerde empirische gegevens. Dit heeft als belangrijke voordeel dat wij in dit onderzoek
niet spreken van een evaluatief beoordelingskader. De achterliggende reden is dat de resultaten
van wetenschappelijk onderzoek een van de vele kennisbronnen is die kunnen worden benut in
werken en beleid binnen het ministerie. Dat ‘evidence-based’ werken en -beleid wordt bevorderd
binnen het ministerie laat onverlet dat andere kennisbronnen ook zeer waardevol zijn bij het
systematisch ontwikkelen van beleid en het vakkundig uitvoeren ervan.
Onderzoekseenheden. Uit de literatuurstudie hebben wij verschillende contexten geïdentificeerd
die van belang zijn bij een onderzoek naar ‘evidence-based’ werken en -beleid bij het ministerie
van JenV (Pawson & Tilley 1997). Deze contexten vinden wij op verschillende niveaus van de
organisatie van werkprocessen binnen de rijksoverheid. De belangrijkste contexten waarbinnen
‘evidence-based’ werken en -beleid plaatsvindt zijn:
1. Wettelijke en beleidsmatige kaders. Het wettelijke- en beleidsmatige kader dat ‘evidencebased’ werken en -beleid tracht te bevorderen vormt een belangrijke context voor
medewerkers van het ministerie van JenV. Het wettelijke kader is, op Rijksniveau, gelijk
voor alle ministeries. Formele beleidskaders ten aanzien van ‘evidence-based’ werken en beleid kunnen verschillen tussen de ministeries. Zij vormen de formele kaders waarin
‘evidence-based’ werken en -beleid plaatsvindt. Het Integraal Afwegingskader (IAK) stelt
bijvoorbeeld eisen aan de systematische onderbouwing van beleid vanuit kennis.
2. Beleidsdossier. De context van het beleidsdossier hangt samen met het type van
beleidsvraagstuk dat op het betreffende dossier speelt. Beleidsvraagstukken kunnen
worden gekenmerkt door meer- of minder politiek-maatschappelijke consensus, met
gevolgen voor politieke oordeelsvormig. Beleidsvraagstukken kunnen ook worden
gekenmerkt door meer- of minder (on)zekerheid van kennis, met gevolgen voor de vraag
naar wetenschappelijke kennis. Uit deze kenmerken volgt een onderscheid tussen

127

Appendix B: Verantwoording van het onderzoek

3.

4.

5.

6.

technische, wetenschappelijke, ethische en politieke (ontembare) vraagstukken (zie
onder andere Heinrich, 2007; Hoppe, 1989).
Fase in het beleidsproces. Beleidsvoeringprocessen zij vaak gefaseerd en iedere fase kan
een specifieke context vormen waarbinnen ‘evidence-based’ werken en -beleid een eigen
vorm krijgt. Het beleidsvraagstuk wordt in verschillende fasen van het beleidsproces
“bewerkt”, van agendering en probleemverkenning, via beleidsontwerp en
besluitvorming, tot beleidsuitvoering en evaluatie. Uit de literatuur blijkt dat de wijze van
kennisbenutting afhankelijk kan zijn van context van de fase waarin het beleidsproces zich
bevindt. Ook deze conditie komt in het onderzoek uitvoerig aan de orde.
Organisatieonderdeel. De kerntaak en positie van een organisatieonderdeel zullen, zo is de
verwachting, een medebepalende context vormen voor de kennis die zal (kunnen)
worden benut. Er bestaat variatie tussen departementale onderdelen, maar ook binnen
(grote) diensten (zoals bijvoorbeeld DJI). Sommige onderdelen hebben een staffunctie,
andere een lijnfunctie en weer andere een uitvoerende functie. Sommige afdeling zitten
kort op de politiek, andere staan meer op afstand. Naast taak en positie van een
organisatie(onderdeel) kan ook de heersende cultuur en praktijk (inclusief de wijze van
leidinggeven en aansturing) een context vormen die het ‘evidence-based’ werken en beleid remt dan wel stimuleert.
Type kennis. De resultaten van onafhankelijk wetenschappelijk onderzoek vormen slechts
één mogelijke kennisbron ten behoeve van werken en beleid binnen het ministerie van
JenV. Ook (professionele en individuele) praktijkkennis wordt gebruikt, interne
beleidsevaluaties, of jurisprudentie. Het gebruik van wetenschappelijke ‘evidence’ in
werken en -beleid kan alleen relatief worden vastgesteld ten opzichte van het gebruik van
andere kennisbronnen. Daarmee vormen kennisbronnen elkaars context voor gebruik.
Individuele werknemer. Ten slotte kan het gebruik van kennis persoonsgebonden zijn. Het
gebruik van kennis in beleid zal variëren tussen medewerkers met een andere
opleidingsachtergrond, opgebouwde ervaring, of takenpakket (leidinggevend,
adviserend, of uitvoerend).

Een vereenvoudigd overzicht van het analysekader wordt gepresenteerd in figuur B.1.
Figuur B.1: Vereenvoudigd analysekader

128

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Door middel van documentenanalyse en enkele verkennende interviews hebben wij, ter afsluiting
van de eerste fase, inzichtelijk gemaakt welke organisatieonderdelen (ten behoeve van de
enquête) en beleidsdossiers (ten behoeve van de interviews) relevant zijn voor het onderzoek. In
overleg met de begeleidingscommissie is het juiste niveau van de onderdelen geïdentificeerd en
een (gros)lijst opgesteld van te benaderen onderdelen. De uitwerking van de keuzes en de
onderzoekdesigns ten behoeve van de enquête en de interviews wordt in de onderstaande twee
paragrafen uitgewerkt.

B2 Enquête
In de derde fase van het onderzoek hebben wij een enquête ontwikkeld en uitgezet onder
medewerkers van het ministerie van JenV. Het doel van de enquête is om een enigszins
representatief beeld te verkrijgen bij de beantwoording van deelvraag 1c (organisatiecultuur),
deelvraag 2 (percepties onder medewerkers), deelvraag 3 (kennisbenutting) en deelvraag 4
(verklaring van de kennisbenutting).

B2.1 Inhoud van de vragenlijst
De inhoud van de vragenlijst hebben wij opgesteld aan de hand van: (a) bestaande vragenlijsten
die eerder zijn ontwikkeld ten behoeve van empirisch onderzoek naar ‘evidence-based’ werken en
-beleid; (b) de deelvragen van het onderhavige onderzoek; (c) de literatuurstudie. Het startpunt
wordt gevormd door een inventarisatie van empirisch onderzoek dat gebruikt maakt van
vragenlijsten. Deze vragenlijsten hebben wij deels samengevoegd, vertaald naar het Nederlands,
gecontextualiseerd voor de situatie van medewerkers van een Nederlands ministerie.
Tabel B.1 presenteert een overzicht van de blokken van vragen die wij hebben opgenomen in de
vragenlijst. Daarbij staan referenties naar de oorspronkelijke artikelen waarop de betreffende
vragen zijn gebaseerd. De vragenlijst zelf in opgenomen in appendix C. Wij hebben blokken
opgesteld van in totaal tien vragen. Iedere vraag bevat verschillende stellingen (items). Deze
stellingen hebben wij grotendeels, maar niet volledig, ontleend aan eerder onderzoek.
Tabel B.1: Overzicht vragenlijst
Blok 1: Perceptie van ‘evidence-based’ werken en -beleid
In dit blok stellen wij een vraag die het eigen beeld van ‘evidence-based’ werken en beleid bij de medewerker inzichtelijk maakt.
- Vraag V1. “Voor mij betekent ‘evidence-based’ dat werken en beleid zijn gebaseerd
op …”.
- Stellingen betreffen items, zoals bijvoorbeeld: kennis en ervaring van mijzelf en
directe collega’s, evaluaties door onafhankelijke wetenschappers, onafhankelijk
kwantitatief wetenschappelijk onderzoek, onafhankelijk kwalitatief
wetenschappelijk onderzoek.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over het eigen beeld van wat ‘evidence-based’ werken is wordt zo
vroeg mogelijk in de vragenlijst gesteld. Hiermee wordt voorkomen dat de respondent
“geprimed” wordt door andere vragen over onderbouwing van beleid en

Items deels ontleend
aan Talbot en Talbot
(2014), Cherney,
Head, Povey,
Ferguson, en
Boreham (2015),
Newman, Cherney,
en Head (2017) en
deels zelf
ontwikkeld.

129

Appendix B: Verantwoording van het onderzoek
werkzaamheden. Analyse van de items levert inzicht op in de (mogelijk
meerdimensionale) structuur van het begrip “evidence-based” werken bij medewerkers
van het ministerie.
Blok 2: Gebruik van ‘evidence-based’ werken en -beleid
In dit blok stellen wij een vraag die inzichtelijk maakt in hoeverre een medewerker
daadwerkelijk ‘evidence-based’ werkt en beleid maakt.
- Vraag V2. “Werkzaamheden of beleidstukken binnen mijn afdeling baseren wij
op…”.
- Stellingen betreffen items, zoals bijvoorbeeld: beleidsdocumenten en regelgeving,
instructies van leidinggevenden, beleidsevaluaties uitgevoerd door beleidsdirecties
van het ministerie, kennis en ervaring van mijzelf en directe collega’s, evaluaties
door onafhankelijke wetenschappers, onafhankelijk kwantitatief wetenschappelijk
onderzoek, onafhankelijk kwalitatief wetenschappelijk onderzoek.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over het daadwerkelijk gebruik van kennis, dus de mate waarin er
‘evidence-based’ werken en -beleid plaatsvindt volgt direct op de perceptie van
‘evidence-based’. Analyse van de items levert inzicht op in de (mogelijk
meerdimensionale) structuur van het begrip “evidence-based” werken bij medewerkers
van het ministerie.
Blok 3: Informatiebronnen voor kennis
In dit blok stellen wij een vraag die de informatiebronnen die de medewerker gebruikt
voor het vergaren van kennis inzichtelijk maakt.
- Vraag V3. “Binnen mijn afdeling raadplegen wij de volgende bronnen…”.
- Stellingen betreffen items, zoals bijvoorbeeld: wetenschappelijke boeken,
tijdschriften of rapporten, individuele wetenschappers, communicatie vanuit de
eigen organisatie, onafhankelijke kennisinstellingen binnen het ministerie van JenV,
zoals NFI of het WODC, nieuwsmedia (zoals nieuwssites, kranten, weekbladen,
televisieprogramma’s).
- Antwoordcategorieën: zes-puntschaal bestaand uit “nooit”, “zelden”, “af en toe”,
“vaak”, “altijd” en “geen toegang”
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over het informatiebronnen van kennis, dus waarop de
medewerkers van JenV hun werken en beleid baseren, volgt direct op de het gebruik
van kennis. Analyse van de items levert inzicht op in hoeverre, welke kennis toegankelijk
is.
Blok 4: Redenen voor het gebruik van wetenschappelijke kennis
In dit blok stellen wij een vraag die de motivaties voor het gebruik van
wetenschappelijke kennis bij de medewerkers van JenV inzichtelijk maakt.
- Vraag V4. “Met wetenschappelijke kennis kan mijn afdeling…”.
- Stellingen betreffen items, zoals bijvoorbeeld: dieper inzicht verkrijgen in
vraagstukken, bestaand beleid evalueren, eigen argumenten legitimeren, discussies
depolitiseren, eigen gezag en invloed (symbolisch) versterken.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over de redenen voor het gebruik van wetenschappelijke kennis,
dus waarom medewerkers van JenV wetenschappelijke kennis gebruiken, volgt direct op
de bronnen van kennis. Analyse van de items levert inzicht op waarom medewerkers van
JenV gebruik maken van wetenschappelijke kennis.
Blok 5: Belemmeringen voor het gebruik van wetenschappelijke kennis
In dit blok stellen wij een vraag die de belemmeringen voor het gebruik van
wetenschappelijk onderzoek bij de medewerkers van JenV inzichtelijk maakt.
- Vraag V5. “Mijn afdeling gebruikt (een) wetenschappelijk onderzoek niet wanneer,
of omdat…”.
- Stellingen betreffen items, zoals bijvoorbeeld: de analyses moeilijk te interpreteren
zijn, de methodologische kwaliteit van het onderzoek te gering is, er geen relevante
beleidsaanbevelingen worden gedaan, de onderzoeksresultaten te laat komen, de

130

Items deels ontleend
aan Newman et al.
(2017), Cherney et al.
(2015), Newman et
al. (2017) en deels
zelf ontwikkeld.

Items deels ontleend
aan Newman et al.
(2017), Cherney et al.
(2015), Talbot and
Talbot (2014),
Jennings Jr and Hall
(2012) en deels zelf
ontwikkeld.

Items deels ontleend
aan Cherney, Head,
Boreham, Povey, and
Ferguson (2011),
Rimkutė and
Haverland (2015),
Amara et al. (2004)
en deels zelf
ontwikkeld.

Items deels ontleend
aan Newman et al.
(2017), Newman et
al. (2016), Cherney et
al. (2011), Smet
(2013) en deels zelf
ontwikkeld.

Universiteit Twente: Naar meer evidence-based beleid binnen JenV
resultaten niet goed passen bij het lopend beleid of politiek-bestuurlijk onacceptabel
zijn.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over de belemmeringen voor het gebruik van wetenschappelijk
onderzoek, dus waarom medewerkers van JenV wetenschappelijke kennis niet
gebruiken, volgt direct op de redenen voor het gebruik van wetenschappelijke kennis.
Analyse van de items levert inzicht op waarom medewerkers van JenV geen gebruik
maken van wetenschappelijke kennis.
Blok 6: Afdelingscultuur
In dit blok stellen wij een vraag die de afdelingscultuur betreffende het gebruik van
kennis bij JenV inzichtelijk maakt.
- Vraag V6. “Op mijn afdeling…”.
- Stellingen betreffen items, zoals bijvoorbeeld: wordt het gebruik van
wetenschappelijke kennis aangemoedigd, is het gebruik van wetenschappelijke
kennis vaak symbolisch, heb ik te weinig tijd om mij te verdiepen in wetenschappelijk
onderzoek, is men bekend met de eisen uit het Integrale Afwegingskader (IAK) of de
Comptabiliteitswet.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
Toelichting. De vraag over de afdelingscultuur met betrekking tot wetenschappelijk
onderzoek volgt direct op de belemmeringen voor het gebruik van wetenschappelijke
kennis. Analyse van de items levert inzicht op in hoeverre er een afdelingscultuur is die
het gebruik van (wetenschappelijke) kennis aanmoedigt.
Blok 7: Werkzaamheden respondent
In dit blok stellen wij een vraag die de werkzaamheden van de respondent inzichtelijk
maakt.
- Vraag V7. “Hoe vaak verricht u de volgende werkzaamheden…”.
- Stellingen betreffen items, zoals bijvoorbeeld: ik verricht vooral adviestaken, ik werk
aan beleidsstukken, ik doe onderzoek, ik stuur medewerkers aan, ik heb contact met
ministern en/ of politici.
- Antwoordcategorieën: vijf-puntschaal variërend van “nooit”, “zelden”, “af en toe”,
“vaak”, “altijd”.
- Een vraag met open antwoorden is toegevoegd
Toelichting. De vraag over de werkzaamheden van de respondent volgt direct op de
afdelingscultuur. Analyse van de items levert inzicht op hoe de werkzaamheden van de
medewerkers van JenV zich verhouden tot het ‘evidence-based’ werken en -beleid bij
JenV.
Blok 8: Beroepsveld
In dit blok stellen wij een vraag die de kenmerken van het professionele beroepsveld van
de medewerker van JenV inzichtelijk maakt.
- Vraag V8. “In mijn professionele beroepsveld…”.
- Stellingen betreffen items, zoals bijvoorbeeld: hebben media een grote impact, is er
sprake van veel politieke dynamiek, spreken informatie en feiten elkaar tegen, is
besluitvorming gericht op de korte termijn, is weinig wetenschappelijke kennis
beschikbaar, is kennis uit de praktijk belangrijker dan wetenschappelijke kennis.
- Antwoordcategorieën: zes-puntschaal variërend van “helemaal oneens” tot
“helemaal eens” en “weet niet/ niet van toepassing”.
Toelichting. De vraag over de kenmerken van het professionele beroepsveld volgt direct
op de werkzaamheden van de respondent. Analyse van de items levert inzicht op in het
beroepsveld waarin de respondent functioneert dit geeft inzicht in mogelijke
bevorderende of belemmerende factoren voor het gebruik van wetenschappelijke
kennis.
Blok 9: Achtergrond
In dit blok stellen wij een vraag die enkele kenmerken van de respondent meten.
Locatie van uw afdeling
Vakgebied met hoogst genoten opleiding
Leeftijdscategorie

Items deels ontleend
aan Cherney et al.
(2015) en deels zelf
ontwikkeld.

Items ontleend aan
Aberbach, Putnam,
en Rockman (1981)
en deels zelf
ontwikkeld.

Items deels ontleend
aan Newman et al.
(2016), Cherney et al.
(2015) en deels zelf
ontwikkeld.

Items deels ontleend
aan, Newman et al.
(2017), Cherney et al.

131

Appendix B: Verantwoording van het onderzoek
Gender
Ervaring (jaren in huidige functie)
Toelichting. De vraag over de achtergrond van de respondent volgt direct op het
beroepsveld van de respondent. Analyse van de items levert inzicht op of hoe specifieke
achtergrond kenmerken zich verhouden tot ‘evidence-based’ werken en -beleid. Wij
hebben maar weinig achtergrondkenmerken kunnen meten vanwege privacy vereisten.
Blok 10: Opmerkingen
Opmerkingen naar aanleiding van de enquête.

(2015) en deels zelf
ontwikkeld.

B2.2 Selectie van organisatieonderdelen en benaderen van medewerkers
Een van de grote uitdagingen bij het uitzetten van de vragenlijst was het bepalen van de selectie
van organisatieonderdelen uit de populatie van alle organisatieonderdelen van het ministerie van
JenV die wij zouden benaderen. De organisatiestructuur van het ministerie van JenV kent een
onevenwichtige personele opbouw. Zo werkt bij het ministerie ongeveer 100.000 fte., waarvan
60.000 fte. werkzaam is bij het organisatieonderdeel Korps Nationale Politie. Als we de
organisatieonderdelen Dienst Justitiële Inrichtingen en het Korps Nationale Politie tezamen
nemen, vertegenwoordigen deze organisatieonderdelen 75 procent van de medewerkers die
onder het ministerie van JenV vallen. Ook zijn er talrijke ZBOs, agentschappen en overige
organisaties die vallen onder het ministerie van JenV. Daarnaast is het ministerie verantwoordelijk
voor de organisatie van de Rechterlijke Macht in Nederland.
Om het onderzoek behapbaar te houden en om oververtegenwoordiging van enkele
organisatieonderdelen te voorkomen, hebben wij de enquête uitgezet onder de medewerkers
van de beleidsdirecties van het ministerie, de medewerkers van het hoofdkantoor van een
uitvoerende organisatie en bij de medewerkers van een kennisorganisatie binnen het ministerie,
met expertise op een specifiek domein.
Van de beleidsdirecties hebben wij de medewerkers van de clusters SG, de cluster PSG, de
Directoraten-Generaal en de NCTV geselecteerd om te benaderen. Dit betekent dat wij zeven
organisatieonderdelen van de beleidsdirecties hebben benaderd om de enquête af te nemen. In
totaal is, naar schatting, 1.794 fte. werkzaam binnen deze organisatieonderdelen. Het Korps
Nationale Politie, het Openbaar Ministerie en de organisaties van de rechterlijke macht zijn niet
geïncludeerd in het onderzoek. In een latere fase van het onderzoek, tegelijk met de interviews is
de enquête ook kleinschalig uitgezet bij een uitvoeringsorganisatie en een kennisorganisatie.
Van ieder organisatieonderdeel hebben wij ernaar gestreefd om alle medewerkers uit te nodigen
om deel te nemen aan het onderzoek. Wij hebben daarbij uitsluitend de medewerkers van schaal
10 en hoger gevraagd de vragenlijst in te vullen. De medewerkers zijn via een email uitgenodigd,
waarin kort het onderzoek werd geïntroduceerd. Uitgelegd is dat deelname aan de enquête op
vrijwillige basis plaatsvindt en dat de onderzoeksgegevens en resultaten volledig geanonimiseerd
zullen zijn en nooit herleidbaar zijn tot een bepaalde persoon of organisatieonderdeel. Ook is
vermeld in de uitnodiging dat uitsluitend de onderzoekers toegang hebben tot de onbewerkte
data en dat deze na de afgesproken (wettelijke) bewaartermijn van 10 jaar vernietigd zullen
worden.
132

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

De enquête is afgenomen in een web-omgeving van Qualtrics na doorverwijzing vanuit de email
via een pagina op intranet van het ministerie. Het verloop van deze procedure beschrijven wij
hieronder in meer detail.

B2.3 Mogelijke vertekening in het onderzoek
Er zijn verschillende risico’s op vertekening van de onderzoeksresultaten van de enquête.
Hieronder focussen wij op sociaal-wenselijke antwoorden en non-respons bias.
• Sociaal-wenselijke antwoorden. Omdat ‘evidence-based’ werken en -beleid vaak als een
norm wordt gezien (een ideaal zelfs door sommigen), hadden respondenten geneigd
kunnen zijn om sociaal-wenselijke antwoorden te geven. Het deelname-verzoek is daarom
zodanig opgesteld dat het concept van ‘evidence-based’ werken en -beleid binnen de
vragenlijst zoveel mogelijk ontdaan is van een normatieve lading (zie de beschrijving van
de vragenlijst).
• (Non-)respons bias. Het is erg belangrijk om rekening te houden met (non-)response bias.
Het onderzoek moet daarom zodanig onder de aandacht gebracht worden in de
organisaties dat alle medewerkers van schaal 10 en hoger het belang inzien van het
onderzoek—en ook gemotiveerd zijn tot deelname. Wanneer de benadering van
deelnemers aan het onderzoek vrijblijvend lijkt, dan bestaat de kans dat vooral (sterke)
voorstanders van ‘evidence-based’ werken en -beleid de enquête zullen invullen, omdat zij
een direct belang ervan zien. De resultaten zullen dan neigen naar een te positief of
rooskleurig beeld van ‘evidence-based’ werken binnen het ministerie van JenV. Omdat wij
vrijwel geen achtergrondkenmerken van respondenten konden meten (vanwege privacy
vereisten) is het niet mogelijk om inzicht te verkrijgen in een mogelijke non-respons bias.
• ‘Common method variance’. Dit is een methodologisch verschijnsel in vragenlijstonderzoek
waarbij kenmerken van de methode systematisch de antwoorden van de respondenten
beïnvloeden (Podsakoff et al. 2003, 2012; Chang et al. 2010). Dit gebeurt, bijvoorbeeld,
wanneer een onderdeel van de vragenlijst niet wordt begrepen, of wanneer dezelfde
schaal een automatisme in de antwoorden van respondenten oproept. Common method
variance kan vooral ontstaan bij het meten van attitudes in plaats van (zelfgerapporteerd) gedrag. Het is erg lastig om deze vertekening op te sporen en ervoor te
corrigeren.105 In de vragenlijst die wij hebben gehanteerd hebben wij ex ante enkele
voorzorgsmaatregelen genomen, zoals bij stellingen verschillende antwoordcategorieën
toepassen, vragen zowel positief als negatief stellen en ook vragen naar gedrag (gebruik)
in plaats van uitsluitend naar houdingen. Daarnaast stellen sommige auteurs ook dat het
probleem wordt overdreven en dat het bijvoorbeeld onderzoek naar attitudes in de weg
staat (George en Pandey 2017). Toch kunnen wij niet voorkomen dat deze vorm van bias in
de enquête is geslopen. Wij hebben dan ook slechts één analyse opgenomen (in
hoofdstuk 5) die geenszins een effectstudie is, maar slechts samenhangen probeert te
beschrijven.
105 Zo wordt bijvoorbeeld afgeraden om Harmon’s one-factor test uit te voeren (cf. Schwartz et al. 2017) omdat deze

een incorrect beeld van CMV kan oproepen. Andere ex post oplossingen zijn methodisch zeer complex.

133

Appendix B: Verantwoording van het onderzoek

B2.4 Uitzetten van de vragenlijst
De selectie van organisatieonderdelen was niet de enige grote uitdaging in het enquêteonderzoek. Het systematisch uitzetten van de vragenlijst bij de beleidsdirecties bleek zeer
moeizaam te verlopen. De onderzoekers konden, in verband met privacy, niet zelf de vragenlijst
uitzetten via de email-adressen van medewerkers van de beleidsdirecties. Daarnaast bleek het
ook niet mogelijk om, bijvoorbeeld via een afdeling personeelszaken, centraal één oproep met
één link naar alle medewerkers van de beleidsdirecties te versturen. In overleg met de
opdrachtgever (WODC) en de begeleidingscommissie is daarom besloten om het uitzetten van de
enquête te laten organiseren door de aanvragers van het onderzoek, de kenniscoördinatoren van
de beleidsdirecties van het ministerie.
Bij het uitzetten is gestructureerde en precieze procedure van groot belang, omdat alle potentiële
werknemers van de beleidsdirecties op een uniforme wijze zouden moeten worden benaderd.
Hiertoe zijn de volgende afspraken gemaakt:
1. De onderzoekers benaderen de hoofdredacteur van intranet van het ministerie van JenV
om de link naar de enquête en begeleidende tekst te plaatsen op het intranet. De link is
vervolgens uitgebreid getest door de onderzoekers.
2. De kenniscoördinatoren sturen alle medewerkers van hun respectievelijke directoraatgeneraal per mail de uitnodiging om deel te nemen aan de enquête. Hiertoe is ook een
uniforme uitnodigingstekst opgesteld door de onderzoekers, na terugkoppeling van de
kenniscoördinatoren en in afstemming met de opdrachtgever (WODC) en de
begeleidingscommissie.
3. De kenniscoördinatoren zetten de projectbegeleider van het WODC en de afgevaardigde
kenniscoördinator uit de begeleidingscommissie in BCC/ CC van de uitnodigingsmail.
Zodoende verkrijgen de onderzoekers, via opdrachtgever, inzicht in het bereik van de
uitnodigingsmails. Hiermee kan de dekking van de enquête binnen het ministerie van JenV
(grofweg) worden bepaald—en daarmee later ook de respons.
Vlak voor de kerstperiode van 2020 hebben de kenniscoördinatoren van de DG’s individueel de
uitnodig voor de eerste keer naar medewerkers van hun DG verstuurd. Er blijkt een zeer grote
variatie op te treden in de wijze waarop de vragenlijst is uitgezet binnen de verschillende
directoraten-generaal. Sommige kenniscoördinatoren hebben alle mails volgens de afspraken
verstuurd naar alle relevante medewerkers. Andere kenniscoördinatoren hebben zelf een selectie
gemaakt en, in enkele gevallen, ook de vastgestelde uitnodigingstekst geamendeerd. Bij één DG
heeft een directeur geïntervenieerd in de procedure voor het uitzetten van de enquête.106
Ondanks het rommelige verloop schatten wij dat de uitnodiging, uiteindelijk, toch naar 1835

106 Bij DG-A verstuurt de kenniscoördinator de uitnodigingsmail naar zelf geselecteerde beleidsafdelingen.

Kenniscoördinator DG-B verstuurt de uitnodigingsmail naar 17 mailadressen van de eigen afdeling en leden van het
managementteam van een directie met aan hen het verzoek de uitnodiging weer verder te verspreiden binnen de eigen
afdelingen. De uitnodigingstekst is fors gewijzigd. Alleen kenniscoördinatoren van DG-C en DG-E en DG-F versturen de
uitnodigingsmail aan alle emailadressen van de afdelingen binnen hun DG. Kenniscoördinator DG-D verstuurt de mail
naar alle afdelingen behalve vijf, vanuit de eigen afweging alleen beleidsafdelingen te includeren. Kenniscoördinator
van DG-G benadert één directie niet.

134

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

medewerkers is verzonden. Naar schatting betreft dit 96 procent van de doelgroep van
medewerkers die werkzaam zijn op de beleidsdirecties.107
Medio januari 2021 zijn reminders verzonden naar medewerkers van de beleidsdirecties. Dit
verzoek is, op grond van de eerdere ervaringen, niet meer gelopen via de individuele
kenniscoördinatoren maar via de opdrachtgever, het WODC, samen met de kenniscoördinator die
zitting had in de begeleidingscommissie.108 Hiervoor heeft de opdrachtgever en de
kenniscoördinator in de begeleidingscommissie de secretariaten van de directeuren-generaal
benaderd met het verzoek aan de directeuren-generaal om de reminder te versturen. Ook nu valt
niet met zekerheid precies na te gaan hoeveel medewerkers er zijn bereikt. Soms werden alle
relevante afdelingen opnieuw bereikt, soms werd een (zeer) beperkt aantal e-mails verzonden of
werd er in de nieuwsflits aandacht besteed aan de enquête. Wij schatten dat de reminder,
uiteindelijk, naar 1500 – 1550 medewerkers is verzonden. Naar schatting betreft dit maximaal 81
procent van de doelgroep van medewerkers die werkzaam zijn op de beleidsdirecties.
Het uitzetten van de vragenlijst onder de medewerkers van de uitvoerende organisatie en de
kennisorganisatie verliep soepel. Nadat de directies toestemming hadden gegeven voor het
onderzoek, hebben beleidsmedewerkers van de betreffende organisaties de vragenlijsten
uitgezet. De vragenlijst is uitgezet onder alle medewerkers van het hoofdkantoor (n = 235) en
onder alle medewerkers van de kennisorganisatie (n = 300).

B2.5 Respons
Beleidsdirecties. Op basis van het aantal bereikte medewerkers kunnen wij de respons bepalen.
Wij schatten in dat ongeveer 80 procent van de medewerkers van de beleidsdirecties werkzaam is
in schaal 10 of hoger.109 Uiteindelijk is de respons 272 ingevulde enquêtes na de herinnering. Dit is
dan 18 procent van het aantal medewerkers dat werkzaam is op schaal 10 of hoger.110 Dit
percentage is vergelijkbaar met de respons die in eerder Australisch onderzoek naar ‘evidencebased’ werken en -beleid wordt gerapporteerd voor grotere nationale ministeries (Cherney et al.
2011).

107 De door ons geschatte bezetting van het kerndepartement van JenV is 1.794 fte. Voor deze schatting hebben wij

gebruik gemaakt van het aantal fte. die in het introductiedossier van het ministerie van JenV wordt genoemd voor
verschillende organisatieonderdelen. Het aantal werkzame personen op basis van fte. berekenen wij met een factor
1,068 (zie: “Trends en cijfers 2019: Werken in de overheid- en onderwijssectoren, Den Haag: Ministerie van
Binnenlandse Zaken en Koninkrijksrelaties, 2020, pp. 13-14). Dit levert een totaal aan 1.915 medewerkers van de
beleidsdirecties op.
108 Tegelijkertijd heeft een lid van het onderzoeksteam van de Universiteit Twente korte gesprekken gevoerd met de
kenniscoördinatoren over het eerdere proces van uitzetten. Dit betrof met name ijking van het aantal benaderde
emailadressen en benaderde organisatieonderdelen met het oog op het vaststellen van de bereikte populatie en,
daarmee, van de respons.
109 Een rapport van 2017 verwacht dat in 2024 ongeveer 60 procent van de rijksambtenaren werkzaam zal zijn in schaal
10 of hoger (zie “Een doorkijk in het personeelsbestand van het Rijk”, Den Haag: Ministerie van Binnenlandse Zaken en
Koninkrijksrelaties, 2017, p. 16). Van het kerndepartement JenV kan een hoger percentage worden verwacht. Een
schatting van 80 procent is behoudend en leidt tot een terughoudende, conservatieve inschatting van de feitelijke
respons. Premisse is bovendien dat niemand werkzaam op een schaal lager dan 10 de enquête heeft ingevuld. Bij een
hoger percentage neemt vanzelfsprekend de respons af.
110 Dit is 272/(0,8 * 1.915) * 100 = 17,75 procent.

135

Appendix B: Verantwoording van het onderzoek

Uitvoerende organisatie. Voor deze organisatie hebben we een respons teruggekregen van 46
ingevulde enquêtes. Bij een factor van 80 procent van de medewerkers werkzaam in schaal 10 of
hoger, is de respons 24 procent.
Kennisorganisatie. Voor deze organisatie hebben we een relatief lage respons teruggekregen van
22 ingevulde enquêtes. Wij gaan ervan uit dat de meeste medewerkers van de kennisorganisatie
werkzaam zijn in schaal 10 of hoger. Dan is de respons 7 procent. Mogelijk komt dit omdat de
kennisorganisatie deels regionaal zeer verspreid is georganiseerd en veel medewerkers als
professionals in de uitvoering actief zijn.

B3 Interviews
De vierde fase van het onderzoek betrof interviews met medewerkers die werkzaam zijn op
zorgvuldig geselecteerde beleidsdossiers. Het doel van de interviews is om een meer diepgaand
beeld te verkrijgen bij de beantwoording van deelvraag 2 (percepties onder medewerkers),
deelvraag 3 (kennisbenutting) en deelvraag 4 (verklaring van de kennisbenutting).
In de inleiding is naar voren gekomen dat ‘evidence-based’ werken en -beleid, net als andere
vormen van beleid, ingebed zijn in een proces van politieke oordeelsvorming. Afhankelijk van het
vraagstuk in het beleidsdossier is politieke oordeelsvorming belangrijker en is wetenschappelijke
kennis meer (on)zeker. Daarnaast vormt de fase van het beleidsproces waarin het werken
plaatsvindt (agendering/ beleidsvorming, uitvoering en evaluatie een belangrijke context voor
‘evidence-based’ werken en -beleid. Op beleidsdossiers zijn specifieke organisatieonderdelen en
afdelingen actief in een bepaalde fase van het beleidsproces. Door medewerkers te interviewen
die werkzaam zijn op (zorgvuldig geselecteerde) beleidsdossiers binnen een specifieke fase van
het beleidsproces, verkrijgen wij inzicht in de mechanismen die binnen deze twee contexten
‘evidence-based’ werken en -beleid medebepalen.

B3.1 Gekozen onderzoekbenadering
Ten behoeve van het uitvoeren van de interviews hebben wij in twee stappen afdelingen
geselecteerd waarbinnen wij medewerkers hebben geïnterviewd.111 De eerste stap is de selectie
van beleidsdossiers. Bij deze selectie hebben wij ons laten leiden door de bekende typologie van
beleidsvraagstukken die de relatie tussen wetenschappelijke kennis en politieke oordeelsvorming
beschrijft.
Een beleidsvraagstuk wordt vaak ontleend aan een maatschappelijk vraagstuk dat op de politieke
agenda staat. Een maatschappelijk vraagstuk ontstaat door (de framing van) een kloof tussen een
normatieve maatstaf en een bestaande of verwachte situatie (Akkerman, Resodihardjo & De
Vries, 2014; Van de Graaf & Hoppe, 2007: 46). Een maatschappelijk vraagstuk is dus een sociale
constructie waarin waarden, normen, beginselen, idealen en/of waarderingen een rol spelen.
111 De uiteindelijke keuze voor afdelingen als casus in het kwalitatieve onderzoek heeft plaatsgevonden na overleg met

de aanvrager en opdrachtgever en na advies van de begeleidingscommissie.

136

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Over deze waarnemingen, of percepties, bestaat vaak geen eenduidigheid bij maatschappelijke
actoren, beleidsmakers, of politici (Van de Graaf & Hoppe, 2007, p 47). Maar, hoewel een
probleem een sociale constructie is, kan er wel degelijk een zekere mate van
(deel)overeenstemming bestaan over maatstaven of kennis van bestaande of verwachte
situaties. Dit is mede afhankelijk van de specifieke wijze van probleemdefiniëring.
Beleidsvraagstukken kunnen worden getypeerd aan de hand van twee dimensies:
1. Mate van politiek-maatschappelijke overeenstemming over doeleinden en middelen
2. Mate van (on)zekerheid over de status van wetenschappelijke kennis.
Wanneer beide dimensies worden gekruist, ontstaat de bekende typologie van vier
beleidsvraagstukken. Tabel B.2 geeft een overzicht hiervan: we onderscheiden technische
vraagstukken, wetenschappelijke vraagstukken, ethische vraagstukken en politieke/ ontembare
vraagstukken. De premisse is dat de mechanismen die tot ‘evidence-based’ werken en -beleid
leiden verschillen tussen de vier typen van beleidsvraagstukken. Een zorgvuldige selectie van
beleidsdossiers zal dan, naar verwachting, verschillen in mechanismen blootleggen.
Tabel B.2: Typologie van beleidsvraagstukken
Zekerheid van kennis
Groot
Consensus over
waarden

•

•

•

•

Klein

Groot

TECHNISCH

WETENSCHAPPELIJK

Klein

ETHISCH

POLITIEK/ ONTEMBAAR

Bij technische vraagstukken is er sprake van een grote mate van overeenstemming over de
maatstaven en over de kennis van bestaande en te verwachten situaties. Dit type
vraagstuk is relatief eenvoudig oplosbaar met behulp van eenduidige wetenschappelijke
kennis.
Op het moment dat er nog steeds sprake is van consensus over de maatstaven maar dat
de wetenschappelijke kennis laag is, of tegenstrijdig, is er sprake van een tembaar
wetenschappelijk vraagstuk. Bij dit type vraagstuk kan door wetenschappelijk onderzoek
de kennis vergroot worden en gezocht worden naar een oplossing voor het vraagstuk
(Van de Graaf & Hoppe, 2007, p 48). Een belemmering voor ‘evidence-based’ werken en beleid is dat er weinig zekerheid van kennis bestaat, bijvoorbeeld door verschillende
wetenschappelijke inzichten.
Als kennis eenduidig is en beschikbaar, maar wanneer er weinig consensus bestaat over
de maatstaven, dan is er sprake van een ethisch vraagstuk (Van de Graaf & Hoppe, 2007,
p. 47). Meer evidence alleen zal niet kunnen bijdragen aan een oplossing van dit vraagstuk
of de effectiviteit van beleid. Dit zijn contexten waarin politieke dynamiek mogelijk
verhindert dat eensluidende en beschikbare wetenschappelijke kennis (evidence) kan
worden ingebracht in het beleid.
Op het moment dat er zowel weinig consensus over maatstaven als weinig
(eensluidende) kennis beschikbaar is over een mogelijke oplossing van het vraagstuk,
wordt er gesproken van een politiek/ ontembaar vraagstuk of “wicked” vraagstuk (Van de
Graaf & Hoppe, 2007, p 47; Rittel & Webber, 1973; Hoogerwerf & Herweijer, 2008, p 182).
In deze context kan wetenschappelijke kennis gepolitiseerd raken en kunnen

137

Appendix B: Verantwoording van het onderzoek

“alternatieve” feiten en hypothesen—hoe onwaarschijnlijk wetenschappelijk ook—een
politiek betekenisvolle lading krijgen.

B3.2 Selectie van beleidsdossiers en afdelingen
In de eerste stap hebben wij vier beleidsdossiers geselecteerd die ieder zo goed mogelijk past op
een specifiek type van beleidsvraagstuk. Ieder beleidsdossier vormt een casestudie van ‘evidencebased’ werken en -beleid in de context van een specifiek beleidsvraagstuk.
Beleidsdossier A. Dit beleidsdossier werd op voorhand door de onderzoekers gezien als een
politiek vraagstuk, omdat de assumptie was dat er weinig eenduidige kennis beschikbaar is (grote
onzekerheid) en dat relatief weinig overeenstemming bestaat over de waarden die in het geding
zijn. Over oplossingsrichtingen om het ‘ontembare’ politieke probleem te tackelen bestaan
uiteenlopende opvattingen. Kennis is onzeker en kan gemakkelijk politiek gecontextualiseerd
raken. Bij dit type beleidsprobleem zal meer kennis niet direct bijdragen tot het oplossen van het
probleem omdat de kennis zelf ter discussie staat. Bovendien zal de politieke dynamiek (gebrek
aan waardenconsensus) een succesvolle benutting van kennis in de weg staan. Tijdens de
interviews zijn deze aannames bevestigd. De politieke dynamiek is groot. De inbreng van
wetenschappelijk kennis is ondergeschikt aan politieke oordelen. De beleidsruimte wordt
beperkt door veel juridische kaders, wat ook het gebruik van wetenschappelijk kennis beperkt.
Naast politieke waardeoordelen speelt professionele kennis een belangrijke rol.
Beleidsdossier B. Dit dossier is door de onderzoekers aangemerkt als een technisch
beleidsvraagstuk. Er wordt een grote mate van overeenstemming verwacht over de waarden die
in het geding zijn en dat er een behoorlijke mate van overeenstemming bestaat over de aanpak
van het probleem. Het gaat om relatief eenvoudige, technische problemen (waarmee de
onderzoekers de ernst en weerbarstigheid van dit dossier niet willen ontkennen). Deze duiding
van het beleidsvraagstuk is tijdens de interviews bevestigd. Dit beleidsvraagstuk is in behoorlijke
mate gestructureerd te noemen. Het is in politiek opzicht geen controversieel onderwerp, maar
incidenten leiden (uiteraard) tot consternatie, zeker ook door de media, en vragen om uitleg van
de minister.
Beleidsdossier C. Dit beleidsdossier werd door de onderzoekers benoemd als een
wetenschappelijk beleidsvraagstuk. De verwachting was dat er een grote overeenstemming was
over de wenselijkheid van maatregelen op dit beleidsdossier maar dat de beschikbaarheid van
wetenschappelijke kennis beperkt was. Dit beeld is tijdens de interviews bevestigd. Het is geen
controversieel politiek probleem, alleen bij zaken die hoog oplopen komen er wel eens politieke
vragen. Het werk van de uitvoerders is erg kennis gedreven, echter betreft dit vooral
professionele kennis. De wetenschap loopt wat achter de feiten aan aangezien de uitvoerders
zich voornamelijk bezighouden met het werken aan nieuwe uitdagingen. De uitvoerders zijn
echter behoorlijk van de politiek geïsoleerd zodat ze in relatieve rust hun werk kunnen doen.

138

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Beleidsdossier D. Dit beleidsdossier is door de onderzoekers op voorhand aangemerkt als een
ethisch beleidsvraagstuk. Het vermoeden bestond dat kennis tamelijk eenduidig en beschikbaar
is, maar dat er relatief weinig overeenstemming bestaat over de waarden die in het geding zijn. Bij
een ethisch vraagstuk is de verwachting dat meer kennis niet direct zal bijdragen tot het oplossen
van het probleem omdat de politieke dynamiek (gebrek aan waardenconsensus) verhindert dat
wetenschappelijke kennis met succes wordt ingebracht. Deze duiding van het beleidsvraagstuk
door de onderzoekers is op basis van de interviews niet direct bevestigd, in ieder geval niet ten
aanzien van de beleidsuitvoering. In de uitvoering is (veel) wetenschappelijke kennis beschikbaar
en die wordt ook gebruikt, maar er is volgens de respondenten nauwelijks of geen sprake van
politieke dynamiek.
De tweede stap is de selectie van organisatieonderdelen die actief zijn op de betreffende
beleidsdossiers en zich meer specifiek richten op agendering/ beleidsvoorbereiding en
uitvoering.112 en evaluatie. Bij de selectie van de organisatieonderdelen zijn wij uitgegaan van het
ministerie van JenV in brede zin, dat wil zeggen afdelingen van het kerndepartement en de aan
JenV verbonden organisaties in veld (zoals agentschappen en ZBO’s).113 Wij hebben eerst de
contactambtenaren op deze dossiers benaderd, waarna wij zijn doorverwezen naar medewerkers
van relevante organisatieonderdelen/ afdelingen.

B3.3 Opzet van de interviews
In totaal hebben wij met 23 respondenten bij 10 organisaties en beleidsafdelingen 19 interviews
gehouden. Voor een overzicht van de spreiding van de interviews over de contexten van
beleidsvraagstukken en twee fasen in het beleidsproces verwijzen wij naar tabel B.3. Bij een
aantal interviews waren meerdere personen betrokken (4 interviews met 8 respondenten). De
respondenten zijn van tevoren per email benaderd met het verzoek aan het onderzoek deel te
nemen. De interviews zijn afgenomen door middel van video-bellen en duurden dertig tot zestig
minuten. De gesprekken zijn opgenomen en na (globale) transcribering zijn de gesprekken weer
gewist. Alleen de onderzoekers hebben inzage in de interviewverslagen gehad.
Tabel B.3: Aantal respondenten per beleidsfase en beleidsdossier
Beleidsdossier
Fase beleidscyclus
(1) Agendering/ beleidsvoorbereiding

A
2

B
2

C
2

D
3

(2) Uitvoering

5

1

4

4

Voor het afnemen van de interviews is een interviewprotocol opgesteld om de
semigestructureerde interviews te leiden. Dit protocol is opgenomen in appendix E. De
onderwerpen en een aantal vragen zijn vooraf benoemd in aansluiting op de deelvragen uit het
onderzoek en de enquête.114
112 Medewerkers die zich voornamelijk bezighouden met evaluatie waren niet door ons (gemakkelijk) te identificeren.
113 Voor deze laatste categorie is gebruik gemaakt van bijlage 6 van de laatste begroting van JenV waar alle aan JenV

gelieerde organisaties staan vermeld.
114 Het interviewprotocol is\ doorgesproken met de begeleidingscommissie

139

Appendix B: Verantwoording van het onderzoek

Het interviewprotocol omvat de volgende gespreksthema’s:
1. Een korte beschrijving van taken en werkzaamheden van de medewerker en afdeling.
2. Aangeven door de geïnterviewde wat deze verstaat onder ‘evidence-based’ werken en beleid en wat het belang ervan is.
3. Of en hoe er door de geïnterviewde ‘evidence-based’ wordt gewerkt.
4. Mogelijke te verwachten positieve en/ of negatieve effecten van ‘evidence-based’ werken
en -beleid.
5. Barrières om ‘evidence-based’ te werken.
De analyse en rapportage over de bevindingen vormde de vijfde en laatste fase van het
onderzoek. De uitkomst treft u in dit rapport (en dan met name in de volgende hoofdstukken).

B4 Overzicht aanpak van het onderzoek
In de onderstaande tabel B.4 wordt als wijze van samenvatting per deelvraag aangegeven welke
methode van informatie- en dataverzameling zijn gebruikt in dit onderzoek.
Tabel B.4: Deelvragen en dataverzameling
Deelvraag
1a, 1b

1c
2
3a
3b
4

140

Wijze van dataverzameling
Scan van openbaar toegankelijke websites.
Inhoudsanalyse van beleidsdocumenten en
parlementaire documentatie.
Enquête
Literatuurstudie, enquête, interviews
Literatuurstudie, enquête, interviews
Literatuurstudie, enquête
Literatuurstudie, enquête, interviews

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Appendix C: Vragenlijst

V1_Betekenis
Al enige tijd wordt er bij de overheid en in de media gesproken van “evidence-based” werken
of “evidence-based” beleid. Deze termen roepen verschillende beelden op bij mensen. In de
onderstaande vraag kunt u uw eigen beeld over evidence-based beleid aangeven. Daartoe
vragen wij in hoeverre u het eens bent met de volgende acht stellingen.
Voor mij betekent “evidence-based” dat werken en beleid zijn gebaseerd op:
Kennis en ervaring van mijzelf / directe collega’s
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet van

toepassing

Kennis en ervaring vanuit professionele veld
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet van

toepassing

Data-gedreven werken door het ministerie
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet van

toepassing

Beleidsevaluaties uitgevoerd door beleidsdirecties van het ministerie
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet van

toepassing

Beleidsevaluaties door onafhankelijke wetenschappers
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet van

toepassing

141

Appendix C: Vragenlijst

Wetenschappelijke inzichten in wat werkt en wat niet, zoals meta-analyses of systematische
reviews
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet
van toepassing

Helemaal eens

Weet niet / Niet
van toepassing

Helemaal eens

Weet niet / Niet
van toepassing

Onafhankelijk kwantitatief wetenschappelijk onderzoek
Helemaal oneens

Oneens

Neutraal

Eens

Onafhankelijk kwalitatief wetenschappelijk onderzoek
Helemaal oneens

Oneens

Neutraal

Eens

Anders, namelijk “evidence-based” werken en beleid zijn gebaseerd op:

V2_Vormen
De onderstaande vragen gaan over uw afdeling. Binnen uw afdeling zijn u en uw naaste
collega’s werkzaam. Wij vragen naar de afdeling waar u het grootste deel van uw
werkzaamheden verricht.
Bij het verrichten van de werkzaamheden op uw afdeling, en het bijdragen aan beleid, wordt
gebruik gemaakt van verschillende vormen van kennis. Deze kunnen vanzelfsprekend
variëren in mate waarin zij evidence-based zijn. In hoeverre wordt er op uw afdeling gebruik
gemaakt van de volgende vormen van kennis?
Werkzaamheden of beleidsstukken binnen mijn afdeling baseren wij op:
Beleidsdocumenten en regelgeving
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Parlementaire stukken
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

142

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Jurisprudentie
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Instructies van leidinggevenden
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Kennis en ervaring van mijzelf / directe collega’s
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Kennis en lessen uit de praktijk vanuit mijn professionele veld
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Opbrengsten van data-gedreven werken binnen het ministerie van JenV
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Beleidsevaluaties uitgevoerd door beleidsdirecties van het ministerie
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Beleidsevaluaties door onafhankelijke wetenschappers
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Wetenschappelijke inzichten in wat werkt en wat niet, zoals meta-analyses of systematische
reviews
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

143

Appendix C: Vragenlijst

Onafhankelijk kwantitatief wetenschappelijk onderzoek
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Onafhankelijk kwalitatief wetenschappelijk onderzoek
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Anders, wij baseren werkzaamheden of beleidsstukken binnen mijn afdeling namelijk op:

V3_Bronnen
In hoeverre worden de volgende bronnen binnen uw afdeling geraadpleegd? Binnen uw
afdeling zijn uw naaste collega’s werkzaam. Wij vragen naar de afdeling waar u het grootste
deel van uw werkzaamheden verricht. Indien uw afdeling geen toegang heeft, kunt u dit ook
aangeven.
Binnen mijn afdeling raadplegen wij de volgende bronnen:

Wetenschappelijke boeken, tijdschriften of rapporten
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Wetenschappelijke zoekmachines (zoals web-of-science, google scholar, scopus)
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Wetenschappelijke bijeenkomsten (zoals klankbordgroepen, lezingen, conferenties)
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Af en toe

Vaak

Altijd

Geen toegang

Vaak

Altijd

Geen toegang

Individuele wetenschappers
Nooit

Zelden

Communicatie vanuit eigen organisatie
Nooit

144

Zelden

Af en toe

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Onafhankelijke kennisinstellingen binnen het ministerie van JenV, zoals het NFI of het WODC
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Professionele publicaties (vaktijdschriften, nieuwsbrieven en maillijsten)
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Altijd

Geen toegang

Documenten van consultants, denktanks of belangengroepen
Nooit

Zelden

Af en toe

Vaak

Nieuwsmedia (zoals nieuwssites, kranten, weekbladen, televisieprogramma’s)
Nooit

Zelden

Af en toe

Vaak

Altijd

Geen toegang

Altijd

Geen toegang

Altijd

Geen toegang

Niet-wetenschappelijke webpagina’s (bijvoorbeeld Wikipedia)
Nooit

Zelden

Af en toe

Vaak

Sociale media, zoals Twitter, LinkedIn of Instagram
Nooit

Zelden

Af en toe

Vaak

Anders, binnen mijn afdeling raadplegen wij namelijk de volgende bronnen:

V4_Redenen
In de onderstaande vraag willen wij graag specifiek ingaan op wetenschappelijke kennis. Wij
zijn geïnteresseerd in de redenen voor het gebruik van wetenschappelijke kennis binnen uw
afdeling. In hoeverre bent u het eens met onderstaande stellingen?
Met wetenschappelijke kennis kan mijn afdeling:
Dieper inzicht verkrijgen in vraagstukken
Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Verantwoorde keuzes maken
Helemaal oneens

Helemaal oneens

145

Appendix C: Vragenlijst

Effectieve interventies ontwikkelen
Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Helemaal oneens

Bestaand beleid evalueren
Helemaal oneens

Helemaal oneens

Nieuw beleid agenderen
Helemaal oneens

Helemaal oneens

Eigen argumenten legitimeren
Helemaal oneens

Helemaal oneens

Argumenten van anderen ontkrachten
Helemaal oneens

Helemaal oneens

Discussies depolitiseren
Helemaal oneens

Helemaal oneens

Eerder gemaakte keuzes achteraf onderbouwen
Helemaal oneens

Helemaal oneens

Helemaal oneens

Eigen gezag en invloed (symbolisch) versterken
Helemaal oneens

Helemaal oneens

Helemaal oneens

Niet zoveel, maar het wordt voorgeschreven
Helemaal oneens

Helemaal oneens

Helemaal oneens

Anders, met wetenschappelijke kennis kan mijn afdeling namelijk:

146

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

V5_Belemmeringen
Er kunnen ook redenen zijn waarom wetenschappelijk onderzoek soms niet wordt gebruikt
op uw afdeling. Wij zijn geïnteresseerd in belemmeringen bij het gebruik van
wetenschappelijk onderzoek. In hoeverre bent u het eens met onderstaande stellingen?
Mijn afdeling gebruikt (een) wetenschappelijk onderzoek niet wanneer, of omdat:
De analyses moeilijk te interpreteren zijn
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Kwaliteit en resultaten lastig te verifiëren zijn
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

De methodologische kwaliteit van het onderzoek te gering is
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Er te weinig expertise is om het onderzoek te vertalen naar de praktijk
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Er geen relevante beleidsaanbevelingen worden gedaan
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Er geen relevant wetenschappelijk onderzoek beschikbaar is
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

De onderzoeksresultaten tegenstrijdig zijn

147

Appendix C: Vragenlijst

Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

De onderzoekresultaten te laat komen
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Het onderzoek te saai is
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Het onderzoek te bevooroordeeld is
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

De resultaten niet goed passen bij het lopend beleid of politiek-bestuurlijk onacceptabel zijn
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Wetenschap ook maar een mening is
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Anders, mijn afdeling gebruikt (een) wetenschappelijk onderzoek niet wanneer of omdat:

148

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

V6_Houding
In hoeverre bent u het eens met onderstaande stellingen over uw afdeling? Binnen uw
afdeling zijn uw naaste collega’s werkzaam. Wij vragen naar de afdeling waar u het grootste
deel van uw werkzaamheden verricht.
Op mijn afdeling:
Wordt het gebruik van wetenschappelijke kennis aangemoedigd
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is het gebruik van wetenschappelijke kennis vaak symbolisch
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Wordt het aangemoedigd om zelf wetenschappelijk onderzoek te doen
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Kan ik collega’s niet overtuigen om wetenschappelijke kennisbronnen te raadplegen
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Heb ik te weinig tijd om mij te verdiepen in wetenschappelijk onderzoek
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is men bekend met de eisen uit het Integrale Afwegingskader (IAK) of Comptabiliteitswet
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

149

Appendix C: Vragenlijst

V7_Werkzaamheden
De onderstaande vraag gaat over uw eigen werkzaamheden. U kunt aangeven hoe vaak u
bepaalde typen van werkzaamheden feitelijk verricht.
Ik verricht vooral adviestaken
Nooit

Zelden

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Zelden

Af en toe

Vaak

Altijd

Zelden

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Af en toe

Vaak

Altijd

Ik ondersteun beleidsvoorbereiding / besluitvorming
Nooit

Zelden

Ik werk aan beleidsstukken
Nooit

Zelden

Ik verricht vooral uitvoerende taken
Nooit

Ik doe onderzoek
Nooit

Ik geef behandelingen of therapieën
Nooit

Zelden

Ik werk direct met doelgroepen (cliënten, burgers)
Nooit

Zelden

Ik neem besluiten en bepaal strategie
Nooit

Zelden

Ik stuur medewerkers aan
Nooit

Zelden

Ik heb contact met minister en / of politici

150

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Nooit

Zelden

Af en toe

Vaak

Altijd

Vaak

Altijd

Helemaal eens

Weet niet / Niet

Sociale media, zoals Twitter, LinkedIn of Instagram
Nooit

Zelden

Af en toe

Anders, ik verricht namelijk de volgende werkzaamheden:

In hoeverre bent u het eens met de onderstaande stellingen?
Door corona is mijn werkdruk toegenomen
Helemaal oneens

Oneens

Neutraal

Eens

van toepassing

Mijn werkzaamheden worden gekenmerkt door crisismanagement
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

V8_Beroepsveld
In hoeverre bent u het eens met onderstaande stellingen over uw professionele
beroepsveld? In mijn professionele beroepsveld:
Hebben media een grote impact
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Bestaat er in de beleidsvoering weinig overeenstemming over doelen en / of middelen
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is sprake van veel politieke dynamiek
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

151

Appendix C: Vragenlijst

Spreken informatie of feiten elkaar vaak tegen
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Wordt soms selectief omgegaan met feitelijke onderbouwing
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is besluitvorming gericht op de korte termijn
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is weinig wetenschappelijke kennis beschikbaar
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Heeft de beschikbare wetenschappelijke kennis een onzekere status
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

Is kennis uit de praktijk belangrijker dan wetenschappelijke kennis
Helemaal oneens

Oneens

Neutraal

Eens

Helemaal eens

Weet niet / Niet

van toepassing

V9_Achtergrond
Wij hebben nog enkele vragen over uw achtergrond en die van uw afdeling. De antwoorden
op deze vragen zijn niet herleidbaar tot individuele personen en dienen uitsluitend om
uitspraken te kunnen doen over de representativiteit van de enquête.
Wat is de locatie van uw afdeling?
Turfmarkt 147, Den Haag
Elders
Anders of wil ik liever niet zeggen

152

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

In welk vakgebied ligt uw hoogst genoten opleiding?
Juridisch
Gedrags- en Maatschappijwetenschappen
Geschiedenis, letteren, filosofie
Natuurwetenschappen en techniek
Anders of wil ik liever niet zeggen

Binnen welke categorie valt uw leeftijd?
jonger dan 30 jaar
30 – 39 jaar
40 – 49 jaar
50 – 59 jaar
60+ jaar
Wil ik liever niet zeggen

Wat is uw geslacht?
Vrouw
Man
Overig
Wil ik liever niet zeggen

Hoeveel jaar werkt u in uw huidige functie?
Minder dan 3 jaar
3 – 4 jaar
5 – 7 jaar
8 – 9 jaar
10+ jaar
Wil ik liever niet zeggen

V10_Opmerkingen
Heeft u verder nog opmerking over evidence-based werken en beleid binnen het ministerie
van Justitie en Veiligheid?

Heeft u verder nog opmerkingen over dit onderzoek?

153

Appendix C: Vragenlijst

154

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Appendix D: Toelichting operationalisering vragenlijst
De vragenlijst is opgenomen in appendix C. De inhoud van de vragenlijst hebben wij opgesteld
aan de hand van: (a) bestaande vragenlijsten die eerder zijn ontwikkeld ten behoeve van
empirisch onderzoek naar ‘evidence-based’ beleid; (b) de deelvragen van het onderhavige
onderzoek; (c) de literatuurstudie. Het startpunt wordt gevormd door een inventarisatie van
empirisch onderzoek dat gebruikt maakt van vragenlijsten. Deze vragenlijsten hebben wij deels
samengevoegd, vertaald naar het Nederlands en gecontextualiseerd voor de situatie van
medewerkers van een Nederlands ministerie. Wij hebben niet altijd alle items overgenomen van
bestaande vragenlijsten. De reden is dat de uiteindelijke vragenlijst beperkt van omvang moest
blijven. Daarnaast hebben wij soms items toegevoegd die relevant zijn voor een specifiek aspect
van het onderhavige onderzoek, maar niet in bestaande vragenlijsten zijn opgenomen.
Aan de hand van tien tabellen presenteren wij hieronder een overzicht van alle vragen (items) die
wij hebben opgenomen in de vragenlijst. Daarbij staan steeds referenties naar de
wetenschappelijke artikelen waarin wordt gerapporteerd over de vragen die wij hebben
opgenomen.
In het onderhavige rapport maken wij een onderscheid tussen verschillende vormen van
kennisgebruik (zie hoofdstuk 1). Wij hebben in totaal tien vraagblokken opgesteld, iedere vraag
bevat verschillende stellingen (items). Via deze blokken worden bepaalde aspect van ‘evidencebased’ werken en -beleid geoperationaliseerd:
a) ‘evidence-based’ werken en -beleid is gebaseerd op wetenschappelijke kennis,
b) praktijkkennis hierbij is werken en beleid voornamelijk gedoeld om kennis die voortkomt
uit de praktijk en
c) ‘evidence-informed’ werken en -beleid dit is de integratie van wetenschappelijke en
praktijkkennis.
In de verschillende blokken van de vragenlijst wordt respondenten gevraagd hoe zij “evidencebased” werken en -beleid percipiëren en hoe en of ze gebruik maken van wetenschappelijke
kennis en/ of praktijkkennis.
Blok-1
De vraag naar perceptie is specifiek voor het onderhavige onderzoek. Bestaand vragenlijstonderzoek vraagt niet naar percepties. Ten behoeve van de vraag naar percepties hebben wij
stellingen ontleend aan Talbot en Talbot (2014), Cherney, Head, Povey, Ferguson, en Boreham
(2015) en Newman, Cherney, en Head (2017) en zijn deels zelf ontwikkeld (nader gespecificeerd).
Wij hebben daarbij stellingen geamendeerd die betrekking hebben op de vraag op welke
verschillende manieren beleidsmakers in aanraking zouden kunnen komen met
(wetenschappelijke) kennis. Dit hebben wij, generiek, gedaan door de vraag te stellen: “Voor mij
betekent “evidence-based” dat werken en beleid zijn gebaseerd op.” Daarnaast hebben wij
stellingen toegevoegd die onderscheid aanbrengen tussen wetenschappelijke kennis enerzijds en
(eigen) praktijkkennis en ervaring anderzijds. Dit onderscheid wordt gemaakt in de literatuur,
155

Appendix D: Toelichting operationalisering vragenlijst

maar komt niet tot uitdrukking in bestaande vragenlijsten (Slob en Staman, 20212; Siekkewics en
Mair, 2020). Tabel 1 presenteert de items van vraagblok 1. De antwoordcategorieën worden
besproken in appendix B.
Tabel 1: Vraagblok 1 perceptie van ‘evidence’
Items
Voor mij betekent “evidence-based” dat werken
en beleid zijn gebaseerd op:
Kennis en ervaring van mijzelf/ directie collega’s

Onderliggend concept

Oorsprong

Praktijk kennis

Kennis en ervaring vanuit professionele veld

Praktijk kennis

Data-gedreven werken door het ministerie

Praktijkkennis

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie
Beleidsevaluaties uitgevoerd door onafhankelijke
wetenschappers
Wetenschappelijke inzichten in wat werkt en wat
niet, zoals meta-analyses of systematische
reviews
Onafhankelijk kwantitatief wetenschappelijk
onderzoek
Onafhankelijk kwalitatief wetenschappelijk
onderzoek
Anders, namelijk “evidence-based” werken en
beleid zijn gebaseerd op

Praktijkkennis

Zelf ontwikkeld. Een van de
‘evidence’ types. Zie Hoofdstuk 1
Zelf ontwikkeld. Een van de
‘evidence’ types. Zie Hoofdstuk 1
Zelf ontwikkeld. JenV geeft aan
druk bezig te zijn met datagedreven werken. Zie
Informatieplan JenV 2019.
Talbot en Talbot (2014), Cherney et
al. (2015)
Talbot en Talbot (2014), Cherney et
al. (2015)
Talbot en Talbot (2014), Newman et
al. (2017)

Wetenschappelijke
kennis
Wetenschappelijke
kennis
Wetenschappelijke
kennis
Wetenschappelijke
kennis

Talbot en Talbot (2014), Newman et
al. (2017)
Talbot en Talbot (2014), Newman et
al. (2017)
Zelf ontwikkeld: mogelijkheid voor
respondent om aanvullende
antwoord te geven.

Blok-2
In blok twee, zie tabel 2, wordt respondenten gevraagd naar het daadwerkelijke gebruik van
“evidence-based werken en -beleid”. In dit blok zijn de items van blok 1 overgenomen alsook vier
specifieke items toegevoegd ter vergelijking met andere vormen van input in werken en beleid.
Zie tabel 2 hieronder. In de vraag komt duidelijk tot uitdrukking dat het hier daadwerkelijk gebruik
betreft. De antwoordcategorieën worden besproken in appendix B.
Tabel 2: Vraagblok 2 gebruik van ‘evidence’
Item
Werkzaamheden of beleidstukken binnen mijn
afdeling baseren wij op:
Beleidsdocumenten en regelgeving
Parlementaire stukken
Jurisprudentie
Instructies van leidinggevenden
Kennis en ervaring van mijzelf/ directie
collega’s
Kennis en ervaring vanuit professionele veld

Onderliggend concept

Oorsprong

Kaders
Kaders
Kaders
Kaders
Praktijk kennis

Data-gedreven werken door het ministerie

Praktijk kennis, JenV
specifiek

Beleidsevaluaties uitgevoerd door
beleidsdirecties van het ministerie

Praktijk kennis

Zelf ontwikkeld
Zelf ontwikkeld
Zelf ontwikkeld
Zelf ontwikkeld
Zelf ontwikkeld. Een van de
‘evidence’ types. Zie Hoofdstuk 1
Zelf ontwikkeld. Een van de
‘evidence’ types. Zie Hoofdstuk 1
Zelf ontwikkeld. JenV geeft aan
druk bezig te zijn met datagedreven werken. Zie
Informatieplan JenV 2019.
Talbot en Talbot (2014), Cherney et
al. ( 2015)

156

Praktijk kennis

Universiteit Twente: Naar meer evidence-based beleid binnen JenV
Beleidsevaluaties uitgevoerd door
onafhankelijke wetenschappers
Wetenschappelijke inzichten in wat werkt en
wat niet, zoals meta-analyses of systematische
reviews
Onafhankelijk kwantitatief wetenschappelijk
onderzoek
Onafhankelijk kwalitatief wetenschappelijk
onderzoek

Wetenschappelijke
kennis
Wetenschappelijke
kennis

Talbot en Talbot (2014), Cherney et
al. ( 2015)
Talbot en Talbot (2014), Newman et
al. (2017)

Wetenschappelijke
kennis
Wetenschappelijke
kennis

Talbot en Talbot (2014), Newman et
al. (2017)
Talbot en Talbot (2014), Newman et
al. (2017)

Anders, wij baseren werkzaamheden of
beleidsstukken binnen mijn afdeling namelijk
op:

Zelf ontwikkeld: mogelijkheid voor
respondent om aanvullende
antwoord te geven.

Blok-3
In blok drie, zie tabel 3, wordt respondenten gevraagd om voor diverse specifieke bronnen aan te
geven in hoeverre die worden geraadpleegd of de afdeling waar de respondent werkzaam is. De
bronnen zijn ontleend aan Newman et al. (2017), Cherney et al. (2015), Talbot and Talbot (2014),
Jennings Jr and Hall (2012) en zijn deels zelf ontwikkeld.
Tabel 3: Vraagblok 3 Bronnen van ‘evidence’
Item
Binnen mijn afdeling raadplegen wij de
volgende bronnen
Wetenschappelijke boeken, tijdschriften of
rapporten

Onderliggend concept

Oorsprong

Wetenschappelijke
kennis

Wetenschappelijke zoekmachines (zoals webof-science, google scholar, scopus)
Wetenschappelijke bijeenkomsten (zoals
klankbordgroepen, lezingen, conferenties)
Individuele wetenschappers

Wetenschappelijke
kennis
Wetenschappelijke
kennis
Wetenschappelijke
kennis
Praktijkkennis

Talbot en Talbot (2014), Cherney et
al. ( 2015), Newman et al. (2017),
Jennings Jr and Hall (2012)
Newman et al. (2017)

Communicatie vanuit de eigen organisatie

Talbot en Talbot (2014)
Talbot en Talbot (2014), Cherney et
al. (2015)
Cherney et al. (2015), Jennings Jr
and Hall (2012)
Cherney et al. (2015)

Onafhankelijke kennisinstellingen binnen het
ministerie van JenV, zoals het NFI of het WODC
Professionele publicaties (vaktijdschriften,
nieuwsbrieven en maillijsten)

Wetenschappelijke
kennis
Praktijkkennis

Documenten van consultants, denktanks of
belangengroepen
Nieuwsmedia (zoals nieuwssites, kranten,
weekbladen, televisieprogramma’s)

Praktijkkennis

Niet-wetenschappelijke webpagina’s
(bijvoorbeeld Wikipedia)
Sociale media, zoals Twitter, LinkedIn of
Instagram
Anders, binnen mijn afdeling raadplegen wij
namelijk de volgende bronnen

Overig

Talbot en Talbot (2014), Cherney et
al. (2015), Jennings Jr and Hall
(2012)
Cherney et al. (2015), Jennings Jr
and Hall (2012)
Talbot en Talbot (2014), Cherney et
al. (2015), Jennings Jr and Hall
(2012)
Zelf ontwikkeld

Overig

Talbot en Talbot (2014)

Overig

Zelf ontwikkeld: mogelijkheid voor
respondent om aanvullende
antwoord te geven.

157

Appendix D: Toelichting operationalisering vragenlijst

Blok-4
In het vierde vragenblok komen items aan de orde die ingaan op de redenen waarom de
respondent wetenschappelijke kennis gebruikt. De items voor dit blok zijn ontleend aan; Cherney,
Head, Boreham, Povey, en Ferguson (2011), Rimkutė en Haverland (2015), Amara, Ouimet, en
Landry (2004) en zijn daarnaast deels ook zelf ontwikkeld. De onderliggende concepten voor dit
vragenblok zijn de verschillende redenen voor gebruik, namelijk; instrumenteel, conceptueel en
symbolisch gebruik. Deze redenen worden besproken in hoofdstuk 5.
Tabel 4: Vraagblok 4 Redenen voor het gebruik van wetenschappelijke kennis
Item
Met wetenschappelijke kennis kan mijn
afdeling
Dieper inzicht verkrijgen in vraagstukken

Onderliggend concept

Oorsprong

Instrumenteel gebruik,
conceptueel gebruik

Verantwoorde keuzes maken

Instrumenteel gebruik

Effectieve interventies ontwikkelen

Instrumenteel gebruik,
conceptueel gebruik

Bestaand beleid evalueren
Nieuw beleid agenderen

Instrumenteel gebruik
Conceptueel gebruik

Eigen argumenten legitimeren

Symbolisch gebruik

Argumenten van anderen ontkrachten
Discussies depolitiseren
Eerder gemaakte keuzes achteraf
onderbouwen

Symbolisch gebruik
Symbolisch gebruik
Symbolisch gebruik

Eigen gezag en invloed (symbolisch) versterken

Symbolisch gebruik

Niet zoveel, maar het wordt voorgeschreven
Anders, met wetenschappelijke kennis kan mijn
afdeling namelijk

Symbolisch gebruik

Cherney et al. (2011), Amara et al.
(2004), Rimkutė en Haverland
(2015)
Cherney et al. (2011), Amara et al.
(2004), Rimkutė en Haverland
(2015)
Cherney et al. (2011), Amara et al.
(2004), Rimkutė en Haverland
(2015)
Zelf ontwikkeld
Cherney et al. (2011), Rimkutė en
Haverland (2015)
Cherney et al. (2011), Amara et al.
(2004), Rimkutė en Haverland
(2015)
Rimkutė en Haverland (2015)
Rimkutė en Haverland (2015)
Cherney et al. (2011), Amara et al.
(2004), Rimkutė en Haverland
(2015)
Cherney et al. (2011), Rimkutė en
Haverland (2015)
Zelf ontwikkeld
Zelf ontwikkeld: mogelijkheid voor
respondent om aanvullende
antwoord te geven.

Blok-5
In het vijfde vragenblok wordt respondenten gevraagd naar eventuele belemmeringen die zij
ervaren bij het gebruik van wetenschappelijke kennis. Dit blok volgt op het voorgaande blok
waarin werd gevraagd naar waarom er juist wel gebruik wordt gemaakt van wetenschappelijke
kennis. De items zijn ontleend aan; Newman et al. (2017), Newman, Cherney, en Head (2016),
Cherney et al. (2011), Smet (2013) en zijn deels zelf ontwikkeld. Onderliggende concepten voor dit
vragenblok zijn; kenmerken van het kennisfonds, (gebrek aan) expertise bij de gebruiker, (gebrek
aan) relevantie en belangentegenstellingen tussen wetenschap en beleid (zie ook hoofdstuk 5).

158

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Tabel 5: Vraagblok 5 Belemmeringen voor het gebruik van wetenschappelijke kennis
Item
Mijn afdeling gebruikt (een) wetenschappelijk
onderzoek niet wanneer, of omdat
De analyses moeilijk te interpreteren zijn

Onderliggend concept

Oorsprong

Benodigde expertise

Kwaliteit en resultaten lastig te verifiëren zijn

Kenmerken
kennisfonds
Kenmerken
kennisfonds
Benodigde expertise

Newman et al. (2017), Cherney et
al. (2011),
Cherney et al. (2011), Smet (2013)

De methodologische kwaliteit van het onderzoek
te gering is
Er te weinig expertise is om het onderzoek te
vertalen naar de praktijk
Er geen relevante beleidsaanbevelingen worden
gedaan
Er geen relevant wetenschappelijk onderzoek
beschikbaar is
De onderzoeksresultaten tegenstrijdig zijn
De onderzoeksresultaten te laat komen
Het onderzoek te saai is
Het onderzoek te bevooroordeeld is
De resultaten niet goed passen bij het lopen
beleid of politiek-bestuurlijk onacceptabel zijn
Wetenschap ook maar een mening is

Kenmerken
kennisfonds, relevantie
Kenmerken
kennisfonds,
Relevantie
Kenmerken
kennisfonds
Kenmerken
kennisfonds
Kenmerken
kennisfonds
Relevantie, Belangentegenstellingen
Relevantie, Belangentegenstellingen
Relevantie, Belangentegenstellingen

Anders, mijn afdeling gebruikt (een)
wetenschappelijk onderzoek niet wanneer, of
omdat

Cherney et al. (2011), Smet (2013)
Newman et al. (2017),
Newman et al. (2016), Cherney et
al. (2011), Smet (2013)
Newman et al. (2016), Smet (2013)

Smet (2013)
Cherney et al. (2011),
Zelf ontwikkeld
Cherney et al. (2011), Smet (2013)
Newman et al. (2016), Cherney et
al. (2011), Smet (2013)
Zelf ontwikkeld
Zelf ontwikkeld: mogelijkheid
voor respondent om aanvullende
antwoord te geven.

Blok-6
Het zesde vragenblok gaat in op de cultuur en gangbare praktijken binnen de afdeling wat betreft
het gebruik van wetenschappelijke kennis, zie tabel 6. De items voor dit vragenblok zijn ontleend
aan Cherney et al. (2015) en deels zelf ontwikkeld.
Tabel 6: Vraagblok 6 Houding van de afdeling ten opzichten van het gebruik van wetenschappelijke kennis
Item
Op mijn afdeling
Wordt het gebruik van wetenschappelijke kennis
aangemoedigd
Is het gebruik van wetenschappelijke kennis vaak
symbolisch
Wordt het aangemoedigd om zelf
wetenschappelijk onderzoek te doen
Kan ik collega’s niet overtuigen om
wetenschappelijke kennisbronnen te raadplegen
Heb ik te weinig tijd om mij te verdiepen in
wetenschappelijk onderzoek
Is men bekend met de eisen uit het Integraal
Afwegingskader (IAK) of Comptabiliteitswet

Onderliggend concept

Oorsprong

Cultuur t.o.v gebruik
wetenschappelijke
kennis
Cultuur t.o.v gebruik
wetenschappelijke
kennis
Cultuur t.o.v gebruik
wetenschappelijke
kennis
Cultuur t.o.v gebruik
wetenschappelijke
kennis
Cultuur t.o.v gebruik
wetenschappelijke
kennis
JenV specifiek huidige
kaders voor werken en
beleid

Cherney et al. (2015)

Zelf ontwikkeld

Zelf ontwikkeld

Cherney et al. (2015)

Cherney et al. (2015)

Zelf ontwikkeld

159

Appendix D: Toelichting operationalisering vragenlijst

Blok-7
In blok zeven komen de werkzaamheden van de respondent aan de orde, zie tabel 7. Doel van dit
vragenblok is om te achterhalen in hoeverre de werkzaamheden van de respondent een rol
spelen in het gebruik van wetenschappelijke kennis. De items zijn ontleend aan Aberbach,
Putnam, en Rockman (1981) en deels specifiek ontwikkeld door ons voor het ministerie van JenV.
Tabel 7: Vraagblok 7 Werkzaamheden van de respondent
Item
Ik verricht vooral adviestaken

Onderliggend concept

Ik ondersteun beleidsvoorbereiding/
besluitvorming
Ik werk aan beleidsstukken
Ik verricht vooral uitvoerende taken
Ik doe onderzoek
Ik geef behandelingen of therapieën
Ik werk direct met doelgroepen (cliënten,
burgers)
Ik neem besluiten en bepaal strategie

Oorsprong
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Zelf ontwikkeld
Zelf ontwikkeld
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Aberbach, Putnam, en Rockman
(1981)
Zelf ontwikkeld: mogelijkheid voor
respondent om aanvullende
antwoord te geven.

Ik stuur medewerkers aan
Ik heb contact met ministers en/ of politici
Anders, Ik verricht namelijk de volgende
werkzaamheden

Blok-8
Vragenblok acht richt zich op de kenmerken van het beroepsveld de respondent is actief in, zie
tabel 8. Het doel van de items in dit blok is het achterhalen van de mate van politieke dynamiek en
de onzekerheid van kennis (zie ook hoofdstuk 5). De items in dit blok zijn ontleend aan Newman
et al. (2016), Cherney et al. (2015) en deels zelf ontwikkeld.
Tabel 8: Vraagblok 8 Kenmerken van het professionele beroepsveld
Item
In mijn professionele beroepsveld
Hebben media een grote impact
Bestaat er in de beleidsvoering weinig
overeenstemming over doelen en / of middelen
Is er sprake van veel politieke dynamiek
Spreken informatie of feiten elkaar vaak tegen
Wordt soms selectief omgegaan met feitelijke
onderbouwing
Is besluitvorming gericht op de korte termijn
Is weinig verstand van wetenschappelijke kennis
beschikbaar
Heeft de beschikbare wetenschappelijke kennis
een onzekere status
Is kennis uit de praktijk belangrijker dan
wetenschappelijke kennis

160

Onderliggend concept

Oorsprong

Politieke dynamiek
Onzekerheid van kennis

Newman et al. (2016)
Newman et al. (2016)

Politieke dynamiek
Onzekerheid van kennis
Onzekerheid van kennis

Newman et al. (2016)
Zelf ontwikkeld
Zelf ontwikkeld

Onzekerheid van kennis
Onzekerheid van kennis

Newman et al. (2016)
Cherney et al. (2015)

Onzekerheid van kennis

Newman et al. (2016)

Onzekerheid van kennis

Newman et al. (2016), Cherney et
al. (2015)

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Blok-9
In het negende vragenblok komen enkele achtergrondkenmerken van de respondenten aan bod,
zie tabel 9. Deze items helpen bij het controleren op verschillende factoren als leeftijd en
geslacht. De items zijn ontleend aan Newman et al. (2017), Cherney et al. (2015) en deels zelf
ontwikkeld.
Tabel 9: Vraagblok 9 Achtergrondkenmerken
Item
Wat is de locatie van uw afdeling

In welk vakgebied ligt uw hoogst genoten opleiding
Binnen welke categorie valt uw leeftijd
Wat is uw geslacht
Hoeveel jaar werkt u in uw huidige functie

Onderliggend concept
Locatie zegt wat over
of respondent
onderdeel is van
beleidsdirecties.

Oorsprong
Zelf ontwikkeld.

Newman et al. (2017),
Cherney et al. (2015)
Newman et al. (2017)
Newman et al. (2017)
Newman et al. (2017),
Cherney et al. (2015)

Blok-10
Het laatste vragen blok betreft geen stellingen maar geeft de respondent de kans, door middel
van twee open vragen, eventuele opmerkingen te maken over ‘evidence-based’ werken en -beleid
bij JenV en over dit onderzoek.
Tabel 10: Vraagblok 10 Opmerkingen
Item
Heeft u verder nog opmerkingen over evidence-based werken en beleid binnen het ministerie van Justitie en
Veiligheid?
Heeft u verder nog opmerkingen over dit onderzoek?

161

Appendix D: Toelichting operationalisering vragenlijst

162

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

Appendix E: Interviewprotocol
Introductie
1. Allereerst hartelijk dank dat u bereid bent om mee te werken aan ons onderzoek naar evidencebased werken bij het ministerie van JenV.
a) Wij voeren dit onderzoek uit in opdracht van het WODC.
b) Wij hechten eraan te benadrukken dat het onderzoek volstrekt onafhankelijk wordt
uitgevoerd
c) Het onderzoek is niet gericht op een beoordeling van de werkzaamheden van uw afdeling
als zodanig (het gaat ons derhalve niet om de effectiviteit of efficiëntie van de
beleidsvoering). Wij zijn enkel geïnteresseerd in de vraag in hoeverre en op welke wijze
binnen uw afdeling ‘evidence-based’ wordt gewerkt. Ook aan dit laatste zullen wij geen
waardeoordeel verbinden – evidence-based is niet per definitie goed of slecht.
2. Mijn naam is {….} en ik ben zoals in de uitnodigingsbrief al aangegeven als wetenschappelijk
onderzoeker verbonden aan de faculteit BMS van de Universiteit Twente.
3. Voordat wij met de eerste vraag beginnen, vragen wij uw expliciete toestemming tot vrijwillige
deelname.
a) Daarnaast vragen wij u toestemming om het gesprek op te nemen. Na verwerking van het
interview zullen deze opnames worden gewist.
b) Tevens benadrukken wij de anonimiteit van het onderzoek. Er zullen geen passages in een
rapportage worden opgenomen die naar u als persoon verwijzen. Tevens hechten wij
eraan te vermelden dat de primaire gegevens uit het interviewverslag niet aan derden
zullen worden verstrekt.
Vraag 1. Werkzaamheden en plaats in beleidscyclus
A. Kunt u in het kort iets over uzelf vertellen?
i.
Aandachtspunten: Korte beschrijving geven van de functie, taken en werkzaamheden
en die van de afdeling. Met welk(e) vraagstuk(ken) houdt u zich vooral bezig?
B. Hoe zou u het werkveld/ beroepenveld (professionele omgeving) willen kwalificeren waar u
en uw afdeling in functioneert?
i.
Aandachtspunten: is het sterk gepolitiseerd of niet? Is er een sterke behoefte aan
veldkennis (professioneel) of wetenschappelijke kennis? Of anderszins?
Vraag 2. Omschrijving van evidence-based werken
Evidence-based werken en evidence-based beleid worden in de praktijk op verschillende
manieren omschreven.
A. Kunt u aangeven wat voor u evidence-based werken en beleid is?
B. Heeft u de indruk dat er binnen uw afdeling een eenduidige opvatting bestaat over wat
evidence-based werken en beleid is?
163

Appendix E: Interviewprotocol

i.

Aandachtspunten: Hoe weet u dat er (g)een eenduidige opvatting is? Hoe gaat u of
uw afdeling om met verschillende opvattingen? In welke mate is dit van invloed op het
uitvoeren van u werkzaamheden?

Vraag 3. Gebruik van evidence
A. Evidence-based werken en evidence-based beleid worden (soms) als uitgangspunt genomen
binnen het ministerie. Kunt u aangeven op welke manier u hieraan invulling geeft in uw
werkzaamheden? En uw afdeling?
i.
Aandachtspunten: functie die evidence-based kennis vervult bij het uitvoeren van de
werkzaamheden? Beleidsfase (agendering/ beleidsvoorbereiding/besluitvorming;
uitvoering; evaluatie).
B. Wordt er door u of binnen uw afdeling gebruikt gemaakt van wetenschappelijke kennis?
i.
Aandachtspunten: Welke wetenschappelijke kennis is relevant? Wat is de belangrijkste
reden voor dit gebruik? (Voorbeeld).
C. Hoe wordt het gebruik van (wetenschappelijke of professionele) kennis gestimuleerd/
gefaciliteerd.
i.
Aandachtspunten: Cultuur op afdeling.
Vraag 4. Factoren die het gebruik van wetenschappelijke kennis bevorderen of belemmeren
A. Zijn er factoren die wetenschappelijk evidence-based werken door u of bij uw afdeling
bevorderen en/of belemmeren?
i.
Aandachtspunten: Welke zijn dit?
Naast de factoren die u hierboven hebt genoemd, worden er soms een aantal “standaard”
factoren genoemd. In hoeverre is hiervan sprake?
B. Over welke data- en kennisbronnen heeft u de beschikking om wetenschappelijk evidencebased te kunnen werken?
i.
Aandachtspunten: Waarom zijn deze belangrijk? Zijn de bronnen toereikend? Bestaan
er richtlijnen? Hoe bepaalt u of uw afdeling of bepaalde bronnen ook voldoende
wetenschappelijk evidence-based zijn? Hoe wordt wetenschappelijk onderzoek
“vertaald” naar de praktijk van u of uw afdeling?
C. Hoe gaat u ermee om als kennis wel beschikbaar is, maar tegenstijdig?
i.
Aandachtspunten: Maakt u dan een keuze (zo ja waarop gebaseerd). Kunt u zelf
onderzoek (laten).

Vraag 5. Overige onderwerpen
Zijn er nog andere onderwerpen die u in dit kader naar voren wilt brengen?

Afsluiting en dank voor het interview.
164

Universiteit Twente: Naar meer evidence-based beleid binnen JenV

165

Appendix E: Interviewprotocol

UNIVERSITY OF TWENTE
Drienerlolaan 5
7522 NB Enschede
P.O.Box 217
7500 AE Enschede
P +31 (0)53 489 9111
info@utwente.nl
www.utwente.nl
166