Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2019–2020

32 772

Beleidsdoorlichting Volksgezondheid, Welzijn en
Sport

Nr. 36

LIJST VAN VRAGEN EN ANTWOORDEN
Vastgesteld 19 december 2019
De vaste commissie voor Volksgezondheid, Welzijn en Sport heeft een
aantal vragen voorgelegd aan de Minister van Volksgezondheid, Welzijn
en Sport over de brief van 7 juni 2019 inzake kabinetsreactie beleidsdoorlichting begrotingsartikel 4.3 VWS-begroting (Kamerstuk 32 772, nr. 35).
De Minister heeft deze vragen beantwoord bij brief van 18 december 2019.
Vragen en antwoorden zijn hierna afgedrukt.
De voorzitter van de commissie,
Lodders
De adjunct-griffier van de commissie,
Bakker

kst-32772-36
ISSN 0921 - 7371
’s-Gravenhage 2019

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

1

Algemene vragen over beleidsdoorlichting – pilot lerend
evalueren – proces doorlichting
1
Waarom is deze beleidsdoorlichting – in tegenstelling tot de acht andere
meest recent verschenen beleidsdoorlichtingen – niet betrokken in de aan
de Kamer gestuurde startevaluatie die als nulmeting dient voor de pilot
Lerend evalueren?
Antwoord:
De beleidsdoorlichting was nog niet afgerond tijdens de uitvoering van de
startevaluatie.
2
Kunt u alsnog ook voor deze beleidsdoorlichting aangeven of de elf
gehanteerde assumpties van de pilot van toepassing zijn?
Antwoord:
Ja, zie onderstaand overzicht.
ASSUMPTIES
Beleidstheorie vooraf vastgesteld
Onafhankelijkheid onderzoek is geborgd
Samenhangend beleidsonderwerp
Passende onderzoeksmethode
Kennis van evalueren
Experimenteren i.p.v. afvinklijstje
Beleid ook ex ante en ex durante evalueren
Betrekken van de praktijk
Timing: past in de beleidscyclus
Evalueren heeft aandacht top departement
Thema actueel voor Tweede Kamer

–
+
–
–
0
–
–
–
–
+
+

+: assumptie is van toepassing
–: assumptie is niet van toepassing, 0: onvoldoende informatie beschikbaar om te kunnen beoordelen.

4
Trekt u uit deze beleidsdoorlichting en uit het totstandkomingsproces van
deze beleidsdoorlichting nog lessen die relevant kunnen zijn voor de pilot
en het opzetten en organiseren van toekomstig evaluatieonderzoek? Zo ja,
welke?
20
Welke leerpunten worden uit deze beleidsdoorlichtingen meegenomen
voor toekomstig evaluatieonderzoek?
Antwoord vragen 4 en 20:
Deze beleidsdoorlichting was de laatste beleidsdoorlichting «oude stijl».
De beleidsdoorlichting had beperkte toegevoegde waarde ten opzichte
van de aparte evaluaties van ZonMw en het Nivel. Voor VWS was dit
mede de aanleiding van het initiatief voor de pilot Lerend evalueren. De
pilot onderzoekt hoe de kwaliteit van de evaluatiepraktijk en het leervermogen van de organisatie kan worden verbeterd.
19
Waarom is ervoor gekozen dezelfde persoon zowel de rol van voorzitter
van de begeleidingscommissie als van onafhankelijk deskundige te laten
vervullen?

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

2

61
Waarom heeft u ervoor gekozen om de taken van de voorzitter van de
begeleidingscommissie en van de onafhankelijk deskundige bij één
dezelfde persoon te beleggen? Gebeurt dit bij andere beleidsdoorlichtingen ook? Is dit een werkwijze die bij evaluatieonderzoeken in het kader
van de pilot Lerend Evalueren ook zal worden gevolgd? Zo ja, bij welke?
Zo nee, waarom niet?
Antwoord op vragen 19 en 61:
Voor de beleidsdoorlichting van artikel 4.3 was al onafhankelijk evaluatieonderzoek verricht dat heeft geresulteerd in twee rapporten, te weten de
Evaluatie ZonMw 2010–2015 van Bosman & Vos1 en de Self-evaluation
Nivel 2010–20152, beoordeeld door een onafhankelijke commissie.
Daarom was het verantwoord om bij de beleidsdoorlichting de rol van
voorzitter van de begeleidingscommissie en van onafhankelijk deskundige
door dezelfde persoon te laten vervullen. Inmiddels worden er geen
beleidsdoorlichtingen meer op deze manier uitgevoerd.
60
Wat is de reden dat de evaluatie 2010–2015 van ZonMw door een extern
bureau is uitgevoerd en de evaluatie 2010–2015 van Nivel een zelfevaluatie betreft, uitgevoerd door de geëvalueerde?
Antwoord:
Zoals in de aankondigingsbrief3 van de beleidsdoorlichting is opgenomen,
zou deze evaluatie een syntheseonderzoek betreffen van de onderzoeken
die reeds werden uitgevoerd naar ZonMw en Nivel. De evaluatie van
ZonMw stond reeds gepland in het kader van de verplichte vijfjaarlijkse
evaluatie volgens de Kaderwet zbo’s. Zoals gebruikelijk bij Kaderwetevaluaties bij zbo’s is deze evaluatie door een extern bureau uitgevoerd. Voor
het Nivel betrof het een organisatiebrede audit die in het najaar van 2016
zou worden afgerond. Deze audit is beoordeeld door een onafhankelijke
commissie, om zo alsnog een onafhankelijk oordeel over het Nivel te
verkrijgen.
Vragen over de vertraging en actualiteit van de beleidsdoorlichting
3
Onderschrijft u het oordeel van de onafhankelijke deskundige dat het
proces bij deze beleidsdoorlichting niet optimaal is verlopen, ondanks het
degelijk voorwerk dat was verricht?
Antwoord:
Ja. In de antwoorden bij onderstaande vragen licht ik dit nader toe.
5
Waarop was de inschatting gebaseerd toen uw ambtsvoorganger in de
brief van 23 september 2016 de Kamer meldde deze beleidsdoorlichting
voor het einde van 2017 met een kabinetsreactie aan de Kamer te zullen
sturen?
Antwoord:
Zoals in de door u aangehaalde brief staat, was destijds het uitgangspunt
dat de beleidsdoorlichting van artikel 4.3 een syntheseonderzoek zou zijn,
dat zou steunen op de reeds eerder uitgevoerde of lopende (deel)onder1

Bijlage bij Kamerstuk 30 850, nr. 44
Bijlage bij Kamerstuk 32 772, nr. 35
3
Kamerstuk 32 772, nr. 18
2

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

3

zoeken naar de doelmatigheid en de doeltreffendheid van ZonMw en het
Nivel, en dat aanvullend onderzoek ten behoeve van de huidige
doorlichting dan ook niet noodzakelijk zou zijn. Voor het Nivel betrof het
een organisatiebrede audit die in het najaar van 2016 zou worden
afgerond. Voor ZonMw betrof het de periodieke evaluatie conform de
bepaling in de Kaderwet zelfstandige bestuursorganen (ZBO’s). De
beleidsdoorlichting van artikel 4.3 zou vervolgens bestaan uit het
beantwoorden van de 15 vragen uit de Regeling Periodiek Evaluatieonderzoek4 (RPE), op basis van de reeds opgestelde rapporten. Op basis van
dit uitgangspunt was de inschatting dat dit proces voor het einde van
2017 zou kunnen worden afgerond.
6
Kunt u de opgelopen vertraging van anderhalf jaar nader verklaren?
7
Wat is de reden dat het proces in 2.018 maanden stil heeft gelegen, zoals
de onafhankelijk deskundige schrijft?
8
Wat is de reden dat na verschijning van de beleidsdoorlichting en het
oordeel van de onafhankelijk deskundige in november 2018, het ruim een
half jaar duurde alvorens er een kabinetsreactie was?
9
Is de tekst van de beleidsdoorlichting nog aangepast nadat de onafhankelijk deskundige zijn oordeel heeft uitgebracht in november 2018? Zo ja,
op welke punten is het rapport nog gewijzigd?
10
Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting
langer heeft geduurd nog nieuw onderzoek gedaan of zijn er extra data
verzameld?
11
In hoeverre zijn in de beleidsdoorlichting nog inzichten en conclusies
verwerkt die recenter zijn dan 2015?
15
Wat is de reden voor de ontstane vertraging bij het komen tot een
beleidsdoorlichting (een vertraging van anderhalf jaar) en vervolgens de
kabinetsreactie (een half jaar)?
27
Kunt u toelichten waarom de beleidsdoorlichting en de kabinetsreactie
vertraging hebben opgelopen?
Antwoord op vragen 6 t/m 11, 15 en 27:
Voor de opgelopen vertraging zijn twee hoofdredenen. Ten eerste zijn
door ziekte en vacatures mensen uitgevallen en waren vervangers niet
direct beschikbaar om het werk over te nemen. Ten tweede was, zoals in
het antwoord bij vraag 5 aangegeven, aanvankelijk het uitgangspunt dat
de beleidsdoorlichting een syntheseonderzoek zou zijn, dat zou steunen
op de reeds eerder uitgevoerde of lopende (deel)onderzoeken naar de
doelmatigheid en de doeltreffendheid van ZonMw en het Nivel, en dat
aanvullend onderzoek ten behoeve van de huidige doorlichting dan ook
niet noodzakelijk zou zijn. De onafhankelijke voorzitter van de begelei4

Regeling van 15 augustus 2014 houdende regels voor periodiek evaluatieonderzoek (Regeling
Periodiek Evaluatieonderzoek), Stcrt. 2014, nr. 27142.

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

4

dingscommissie was op sommige onderwerpen (doeltreffendheid,
doelmatigheid en de 20% besparingsoptie) echter van mening dat deze
onderwerpen uitgebreider behandeld dienden te worden dan in de
onderzoeksrapporten tot dan toe het geval was. Dit vereiste een nadere
exercitie die veel tijd in beslag heeft genomen, omdat dit om nieuw
(intern) onderzoek en extra dataverzameling vroeg.
Nadat de beleidsdoorlichting is afgerond, heeft de onafhankelijk
deskundige een oordeel geveld over (het proces van) de beleidsdoorlichting. Hierna is het rapport niet meer aangepast.
Nieuwe informatie vanaf 2016 wordt meegenomen in volgende evaluaties. In de kabinetsreactie5 zijn echter wel inzichten en conclusies
verwerkt die recenter zijn dan 2015, aangezien hierin de meer recente
ontwikkelingen bij VWS en ZonMw zijn genoemd als het gaat om de
opvolging van de beleidsdoorlichting.
Deze beleidsdoorlichting laat zien dat het van belang is om tijdig en
vooraf te kijken hoe verschillende verplichtingen tot evaluaties (enerzijds
de verplichte beleidsdoorlichting, anderzijds de verplichte 5-jaarlijkse
evaluatie) goed op elkaar kunnen worden afgestemd. Dit wordt uitgewerkt
in de rijksbrede operatie Inzicht in Kwaliteit in de ontwikkellijn Verbeteren
strategische evaluatie en onderzoeksplanning6.
16
Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit
dat de onderzoeksperiode 2010–2015 was? Hoe is er in de tussentijd
gewerkt aan de aanbevelingen uit de evaluaties van ZonMw en het Nivel?
34
Kunt u aangeven of de resultaten van de beleidsdoorlichting nog te
vertalen zijn naar het heden of dat deze inmiddels achterhaald zijn?
Antwoord op vragen 16 en 34:
De beleidsdoorlichting heeft betrekking op de periode 2012–2015. Zoals
toegelicht bij de antwoorden op vragen 3, 5 t/m 8, 15 en 27 hebben de
beleidsdoorlichting en de kabinetsreactie hierop door onvoorziene
omstandigheden vertraging opgelopen. Aangezien ZonMw veelal werkt
met langlopende, meerjarige programma’s, zullen de resultaten niet
meteen achterhaald zijn.
ZonMw is na het verschijnen van de evaluatie in 2017 actief aan de slag
gegaan met de verschillende aanbevelingen uit de evaluatie. Begin 2019
heeft ZonMw een rapportage7 uitgebracht over de implementatie van de
aanbevelingen uit de evaluatie. Hierin staat per aanbeveling van zowel het
onderzoeksbureau als de evaluatiecommissie beschreven hoe deze
worden geïmplementeerd en wat de stand van zaken is. Hieruit blijkt dat
ZonMw de implementatie van de aanbevelingen serieus en voortvarend
oppakt.
Vragen over de reikwijdte van de beleidsdoorlichting
10
Is er in de anderhalf jaar dat de uitvoering van deze beleidsdoorlichting
langer heeft geduurd nog nieuw onderzoek gedaan of zijn er extra data
verzameld?

5

Kamerstuk 32 772, nr. 35
Kamerstuk 31 865, nr. 156
7
ZonMw-zelfevaluatie Implementatie aanbevelingen. ZonMw, 2018. Deze rapportage is samen
met de beleidsdoorlichting en kabinetsreactie aan de Kamer gestuurd.
6

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

5

26
Wordt de constatering van uw ambtsvoorganger, zoals gedaan in het
schriftelijk overleg over de opzet van deze beleidsdoorlichting, nog steeds
onderschreven8; namelijk dat het niet nodig wordt geacht om ook het jaar
2016 mee te nemen om betrouwbare uitspraken te doen?
29
Kunt u aangeven of er na de afronding van de beleidsdoorlichting nog
nieuw/aanvullend onderzoek is gedaan en zijn er extra data verzameld
sindsdien?
Antwoord op vragen 10, 26 en 29:
In de periode dat de uitvoering van deze beleidsdoorlichting langer heeft
geduurd is aanvullend onderzoek gedaan ten behoeve van de
20%-besparingsvariant. Dit was ook een van de redenen dat het langer
duurde voordat de beleidsdoorlichting was afgerond. De periode vanaf
2016 zal worden meegenomen in volgende evaluaties. De conclusie van
mijn ambtsvoorganger wordt derhalve gedeeld. In de afrondende fase van
de beleidsdoorlichting heeft ZonMw een zelfevaluatie uitgevoerd naar de
implementatie van de aanbevelingen uit de evaluatie. De resultaten van
deze ZonMw-zelfevaluatie9 zijn gelijktijdig met de kabinetsreactie op de
beleidsdoorlichting naar uw Kamer gestuurd.
17
Waarom is reikwijdte van de doorlichting beperkt; namelijk uitsluitend
betreffende ZonMw en Nivel? Zijn/worden de andere uitgaven/onderdelen
van artikelonderdeel 4.3, waaronder het jaar van de transparantie en het
CIBG, geëvalueerd, zo ja hoe? Wordt de Kamer hierover geïnformeerd?
24
Op welke wijze en door wie wordt «het jaar van de transparantie»
geëvalueerd? Hoe en wanneer wordt de Kamer over de uitkomsten
daarvan geïnformeerd?
25
Op welke wijze en door wie wordt het CIBG geëvalueerd? Hoe en wanneer
wordt de Kamer over de uitkomsten daarvan geïnformeerd?
35
Kunt u aangeven of de overige onderdelen van artikel 4.3, zijnde het jaar
van de transparantie en het CIBG, ook nog geëvalueerd gaan worden? Zo
ja, hoe en wanneer wordt de Kamer daarover geïnformeerd?
Antwoord op vragen 17, 24, 25 en 35:
Zoals destijds in de aankondigingsbrief10 over deze beleidsdoorlichting is
aangegeven, is het Jaar van de transparantie pas in de loop van 2015
gestart, waardoor de beleidsdoorlichting over de jaren 2010–2015 te vroeg
kwam om hierover uitspraken te kunnen doen. Het CIBG is een agentschap en wordt om de vijf jaar onder de Regeling agentschappen
geëvalueerd.
Op 5 juli 2019 heb ik u het evaluatierapport van Zorginstituut Nederland
over het Jaar van de transparantie en de daarmee samenhangende

8

Kamerstuk 32 772, nr. 23
Bijlage bij Kamerstuk 32 772, nr. 35
10
Kamerstuk 32 772, nr. 18
9

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

6

subsidieregeling Transparantie (2016–2019), als onderdeel van de
Voortgangsrapportage Uitkomstgerichte zorg 2018–2022, toegestuurd11.
De doorlichting van het CIBG vindt op dit moment plaats en zal naar
verwachting eind van dit jaar worden afgerond. De doorlichting wordt, in
lijn met de Regeling agentschappen, uitgevoerd door het Ministerie van
VWS en het Ministerie van Financiën. Het rapport over de doorlichting zal
worden gepubliceerd op de website https://www.rijksoverheid.nl/
onderwerpen/rijksoverheid/agentschappen
Vragen over de 20%-besparingsvariant
28
Bent u van plan om alsnog te onderzoeken wat de maatschappelijke
impact zal zijn van een 20% besparingsvariant bij ZonMw en Nivel?
30
Waarom is niet voldaan aan de 20% besparingsvariant door ZonMw?
63
Kunt u de concrete gevolgen van de in de beleidsdoorlichting gepresenteerde 20% besparingsvarianten voor ZonMw in beeld brengen en een
scherper beeld schetsen van de maatschappelijke impact hiervan?
Antwoord op vragen 28, 30 en 63:
In de beleidsdoorlichting zijn verschillende besparingsvarianten
beschreven: een evenredige besparing van 20% op alle onderdelen van de
financiering («kaasschaaf»), en daarnaast een aantal besparingsstrategieën die beleidsmatige keuzes vereisen.
De budgetten die op artikel 4.3 staan gereserveerd voor ZonMw zijn
grotendeels beleidsbudgetten afkomstig van andere beleidsartikelen op
de begroting, zoals preventie of langdurige zorg. Artikel 4.3 betreft dan
ook geen beleidsartikel, maar een «technisch» artikel, een instrument
vanuit waar budgetten worden overgeheveld naar ZonMw. Het doel van
een beleidsdoorlichting is om het gevoerde beleid en alle ingezette
instrumenten te evalueren. ZonMw en Nivel zijn in deze beleidsevaluatie
de onderzochte instrumenten. Een verdere uitwerking van de besparingsopties inclusief de maatschappelijke impact hiervan, vergt een dusdanig
breed onderzoek over nagenoeg het gehele beleidsterrein van VWS dat dit
voorbij gaat aan de scope van artikel 4.3. Bovendien worden de overige
beleidsartikelen op de begroting afzonderlijk doorgelicht. In ben daarom
niet van plan om in dit kader nader te laten onderzoeken wat de
maatschappelijke impact zal zijn van een 20% besparingsvariant bij
ZonMw.
39
Kunt u een besparing op de middelen voor ZonMw van 20% kwantificeren, gezien de impact op kennisontwikkeling fors is wanneer ZonMw
20% moet bezuinigen? Is dat meer dan de € 220 miljoen aan nettoopbrengsten zoals bovenaan de derde pagina is beschreven?

11

Evaluatie van de subsidieregeling Transparantie door het Zorginstituut – Bijlage bij Kamerstuk
31 476, nr. 28. https://www.rijksoverheid.nl/documenten/rapporten/2019/07/05/rapportsubsidieregeling-transparantie

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

7

Antwoord:
Zoals op pagina 33 van de beleidsdoorlichting valt te lezen, zou een
besparing van 20% op het ZonMw-budget vanuit VWS, neerkomen op een
besparing van 29,6 miljoen euro, gebaseerd op het totaalbudget voor
ZonMw van 148 miljoen euro uit de ontwerpbegroting VWS van 2018 (de
toen meest recent beschikbare cijfers). Voor 2019 zou een besparing van
20% op het ZonMw-budget vanuit VWS neerkomen op 38,2 miljoen euro,
uitgaande van een totaalbudget vanuit VWS in 2019 van 191,1 miljoen
euro (kasuitgaven voor 2019 op 1-1-2019). Voor 2020 zou het gaan om
circa 59,5 miljoen euro, uitgaande van een bijdrage van VWS aan ZonMw
van 297,6 miljoen euro zoals begroot in de VWS-begroting voor 2020.
De «netto opbrengsten» waar op pagina 3 van de kabinetsreactie naar
wordt verwezen, heeft echter enkel betrekking op de geschatte
opbrengsten van het ZonMw-programma DoelmatigheidsOnderzoek over
de periode 2006–2017, zoals gebleken uit het externe evaluatieonderzoek.
Dit is slechts één van de ZonMw-programma’s. (Uit de tabel op pagina 37
van de beleidsdoorlichting is op te maken dat het cluster doelmatigheidsonderzoek van ZonMw, in 2018 circa 7,6% van het totale programmabudget van ZonMw uitmaakte.) Een vergelijking tussen een besparing op
het totale ZonMw-budget met de opbrengsten uit één specifiek
programma, gaat dus mank.
Vragen over de bijdrage van VWS aan ZonMw
12
Kunt u een geactualiseerd totaaloverzicht geven van 2012 tot heden van
zowel de jaarlijkse bijdrage van het Ministerie van Volksgezondheid,
Welzijn en Sport (VWS) aan ZonMw als de totale uitgaven van ZonMw,
onderverdeeld naar kasuitgaven en naar programmaruimte?
21
Wat verklaart de sterk wisselende jaarlijkse bijdrage vanuit VWS aan
ZonMw? Kunt u een helder en actueel beeld geven van de uitgaven en de
programmaruimte?
42
Kunt u toelichten in hoeverre de begrote bedragen voor ZonMw ten
opzichte van de periode waar de beleidsdoorlichting betrekking op heeft
zijn verhoogd, verlaagd of gelijk zijn gebleven?
66
Wat is de reden dat zowel de bijdrage van VWS als de totale uitgaven van
ZonMw in de onderzochte periode zo fluctueren? Wat verklaart bijvoorbeeld de daling in de VWS-bijdrage van ruim 30% in twee jaar tijd (van
€ 119 miljoen in 2012 naar € 82 miljoen in 2014)?
Antwoord op vraag 12, 21, 42 en 66:
De sterk wisselende jaarlijkse bijdrage vanuit VWS aan ZonMw wordt
verklaard doordat VWS er beleidsmatig voor kiest om het instrument
bijdrage aan ZBO ZonMw meer c.q. minder in te zetten om de in de
begroting van VWS aangegeven beleidsprioriteiten te realiseren. Dit
resulteert in een toe- c.q. afname van additioneel gefinancierde
programma’s. Een geactualiseerd totaaloverzicht van 2012 tot heden van
de jaarlijkse bijdrage van het Ministerie van VWS aan ZonMw, onderverdeeld naar kasuitgaven en naar programmaruimte vindt u onderstaand.

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

8

Jaar

Kasuitgaven*

Meerjarige programmaruimte*

2012
2013
2014
2015
2016
2017
2018
2019**

135,1
111,9
101,7
113,7
119,1
135,4
170,5
191,1

450,5
404,8
467,0
604,0
666,5
694,2
872,1
689,4

* bedragen x € 1 mln.
** Stand per 1 januari 2019

Vragen over de totstandkoming van de verdeling van middelen
over clusters/ programma’s
22
Hoe komt de verdeling van middelen over de verschillende onderwerpen
precies tot stand?
41
Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de
jaarlijkse bijdrage aan ZonMw en Nivel?
43
Kunt u toelichten waarom de «Programmagelden vanuit additionele
middelen» significant lager zijn in 2013 dan in 2012? Wat is de hoogte van
deze middelen in de jaren na 2015 tot nu?
56
Kunnen de bedragen in miljoenen alsnog worden gegeven en toegelicht –
zoals in de kop wordt gesuggereerd – van de tabel op pagina 37 met
betrekking tot de veertien programmaclusters van ZonMw?
57
Hoe wordt bepaald op welk terrein welke inzet wordt gepleegd (zoals voor
mei 2018 is weergegeven in de tabel op pagina 37)? Kunt u deze tabel
(met als opschrift bedragen in miljoenen euro’s) niet alleen in procenten
maar ook in de aangekondigde euro’s presenteren?
58
Hoe is bijvoorbeeld bepaald dat 1,5% van de programmagelden zich richt
op gehandicapten en chronisch zieken en het tienvoudige (17,7%) op de
geestelijke gezondheidszorg (ggz)?
Antwoord op vragen 22, 41, 43 en 56 t/m 58:
In de begroting van VWS worden de beleidsprioriteiten aangegeven en
welke middelen daarvoor (meerjarig) beschikbaar zijn. Beleidsmatig wordt
dan gekeken welke instrumenten (o.a. subsidies, opdrachten, bijdrage aan
agentschappen, bijdragen aan ZBO’s) hiervoor het best ingezet kunnen
worden. De mate waarin het instrument bijdrage aan ZBO ZonMw wordt
ingezet om de beleidsprioriteit te realiseren verklaart de verdeling van
middelen over de verschillende onderwerpen.
De tabel op pagina 37 van de Beleidsdoorlichting is gebaseerd op de
lopende programma’s van alle financiers van ZonMw (VWS, NWO en
derden) en geeft dus niet alleen een beeld van de VWS-bijdrage.
Hieronder vindt u voor VWS de uitgaven per cluster voor 2019 en de
meerjarige programmaruimte (standen per 1 januari 2019; exclusief
bijdrage aan de basisorganisatie van ca. € 4 miljoen).

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

9

Cluster

Kasuitgaven*

Meerjarige programmaruimte*

12,2
2,9
29,6
29,2
24,6
5,3
19,3
8,6
0,9
18,9
8,0
11,1
9,0
6,5
1,0

62,4
13,7
66,5
127,0
80,6
16,3
31,0
15,1
1,3
81,7
25,6
115,8
27,8
21,9
3,0

Doelmatigheidsonderzoek
Fundamenteel onderzoek
Geestelijke gezondheid
Gehandicapten en Chronisch zieken
Geneesmiddelen
Gezondheidsbescherming
Jeugd
Kwaliteit van zorg
Life Sciences & Health
Ouderen
Palliatieve Zorg
Preventie
Sport
Translationeel Onderzoek
Overig
* bedragen x € 1 mln.

32
Kunt u aangeven hoe hoog de uitgaven zijn geweest in het kader van
begrotingsartikel 4.3 in de periode 2012–2015?
Antwoord:
Jaar

Uitgaven begrotingsartikel 4.3*

2012**
2013
2014
2015

–
119,3
109,2
124,2

* bedragen x € 1 mln.
** de huidige indeling van de VWS-begroting bestaat sinds 2013.

33
Op welk deel van deze uitgaven heeft de evaluatie betrekking?
Antwoord: De beleidsdoorlichting van artikel 4.3 omvat de periode 2012
tot en met 2015 en bevat de onderdelen ZonMw, het Nivel, Jaar van de
transparantie, en het CIBG (toelating nieuwe zorgaanbieders, landelijk
register zorgaanbieders en het Jaardocument Maatschappelijke
Verantwoording).
In deze beleidsdoorlichting zijn de bijdragen aan ZonMw en het Nivel
beschouwd als het beleidsinstrument dat wordt doorgelicht. Jaar van de
transparantie en het CIBG zijn niet meegenomen. Het instrument Jaar van
de transparantie loopt in 2019 af en de evaluatie zal plaatsvinden na
afloop van de regeling. De verschillende activiteiten van het CIBG zijn niet
meegenomen omdat het CIBG dit jaar in brede zin zal worden doorgelicht.
Zie ook het antwoord op vraag 17.
44
Kunt u de uitspraak op de achtste pagina van de beleidsdoorlichting: «de
in het totaal in enig jaar beschikbaar gestelde meerjarige programmaruimte kan een veelvoud zijn van de kasuitgaven in dat jaar», nader
toelichten?
Antwoord:
De programma’s die door ZonMw worden uitgevoerd hebben doorgaans
een looptijd van meerdere jaren. VWS kent de middelen voor de

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

10

uitvoering van de programma’s ook meerjarig toe en bevoorschot ZonMw
jaarlijks op basis van een liquiditeitsprognose die door ZonMw is
opgesteld. Dat de meerjarig toegekende programmaruimte een veelvoud
kan zijn van de kasuitgaven in dat jaar, blijkt uit de tabel bij vraag 22/41/43
& 56 t/m 58, waarin zowel de kasuitgaven als de meerjarige programmaruimte voor 2019 zijn weergegeven.
55
Hoe is de verdeling tot stand gekomen in de veertien programmaclusters
van ZonMw zoals deze op pagina 37 in een tabel is opgenomen?
Antwoord:
De onderverdeling in thematische programmaclusters volgt uit het
Beleidsplan ZonMw 2016–2020.12
Vragen over doeltreffendheid en doelmatigheid
14
Hoe bepaalt het Ministerie van VWS jaarlijks de omvang van de bijdrage
aan ZonMw en hoe wordt hierbij de doelmatigheid en doeltreffendheid
van de bedrijfsvoering, respectievelijk van de programma’s zelf getoetst?
Antwoord:
De omvang van de bijdrage aan ZonMw is het totaal van de bijdrage aan
de afzonderlijke programma’s en een beperkte vaste bijdrage aan de
organisatiekosten, en dus afhankelijk van welke programma’s er in het
betreffende jaar lopen. Zie ook de antwoorden op de vragen over de
totstandkoming van middelen en de verdeling over clusters /
programma’s. De toetsing van de doelmatigheid en doeltreffendheid van
ZonMw en haar programma’s wordt aan de hand van de onderstaande
vragen nader toegelicht.
18
Hoe oordeelt u over het feit dat de voorzitter van de begeleidingscommissie (die ook optrad als onafhankelijke deskundige) de doeltreffendheid
en doelmatigheid van het beleid van ZonMw onvoldoende onderbouwd
acht?
36
Wat moet ZonMw aanpassen zodat haar doeltreffendheid wordt onderbouwd en voldoet aan de voorwaarden van de onafhankelijk deskundige?
59
Kunt u aangeven welke verbeteringen er bij ZonMw zijn doorgevoerd op
het gebied van doelmatigheid en doeltreffendheid naar aanleiding van de
uitkomsten van de beleidsdoorlichting?
62
Kunt u reageren op het oordeel van de onafhankelijk deskundige dat de
conclusie dat ZonMw een doelmatige organisatie is en dat daarmee het
beleid ook doeltreffend en doelmatig is, onvoldoende onderbouwd is?
64
Onderschrijft u het oordeel van de onafhankelijk deskundige dat voor
ZonMw en Nivel een goed onderbouwde conclusie over de doelmatigheid
ontbreekt?

12

https://www.zonmw.nl/fileadmin/zonmw/documenten/Corporate/Over_ZonMw/
ZonMw_beleidsplan2016–2020_2.pdf

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

11

Antwoord op vragen 18, 36, 59, 62 en 64:
De onafhankelijk deskundige heeft in zijn rol als onafhankelijk deskundige
ook een oordeel gegeven over de beleidsdoorlichting en het evaluatieonderzoek van Bosman & Vos bij ZonMw, waarin wordt geconcludeerd dat
ZonMw een doeltreffende en doelmatige organisatie is die zowel
nationaal als internationaal één van de koplopers is in het financieren en
stimuleren van onderzoek en innovatie in de zorg. De onafhankelijk
deskundige geeft in zijn oordeel aan deze conclusie onvoldoende
onderbouwd te vinden, omdat de doeltreffendheid beperkt (weinig
kwantificeerbaar) wordt gerelateerd aan de (maatschappelijke) impact van
de programma’s van ZonMw. Ik begrijp de conclusie van de onafhankelijk
deskundige, maar deel deze niet geheel. De beoordeling van de
maatschappelijke impact van de programma’s van ZonMw gebeurt onder
meer via evaluaties. Deze hebben doorgaans een kwalitatieve opzet. Een
kwantitatieve aanpak op programmaniveau komt weinig voor, omdat het
de ervaring is dat het lastig is om bij onderzoeks- en ontwikkelprogramma’s vooraf kwantificeerbare, specifieke en vooral betekenisvolle
resultaatindicatoren te definiëren. Ik neem het oordeel van de onafhankelijk deskundige echter serieus. Er worden acties genomen door ZonMw
en VWS om nog meer (meetbaar) inzicht te krijgen in, en te sturen op, de
maatschappelijke impact van de programma’s van ZonMw. Waar mogelijk
wordt in evaluaties van langlopende programma’s de maatschappelijke
impact gekwantificeerd, zoals in de externe evaluatie van het Doelmatigheidsonderzoek (zie vraag 40). Ook de evaluatie van «20 jaar preventie»
toont aan wat door langjarig programmeren gerealiseerd kan worden.13
65
Hoe beoordeelt u op dit moment zelf de doelmatigheid van beide
organisaties, respectievelijk de doelmatigheid van de door u verstrekte
programmagelden?
Antwoord:
In het evaluatieonderzoek van Bosman & Vos bij ZonMw waarop de
doorlichting voor een belangrijk deel is gebaseerd, is geconcludeerd dat
ZonMw een doeltreffende en doelmatige organisatie is. Gezien het feit dat
er de laatste jaren bij ZonMw extra aandacht uitgaat naar het verder
vergroten van doelmatigheid en impact, staat de conclusie dat ZonMw
een doelmatige organisatie is wat mij betreft nog steeds overeind.
Wat betreft het Nivel is in de evaluatie geconcludeerd dat de middelen
over het geheel genomen doelmatig zijn ingezet en besteed. Niettemin zal
in navolging van de aanbeveling van de onafhankelijk deskundige, bij
volgende evaluaties extra aandacht worden gegeven aan de onderbouwing van de doelmatigheid. Zo zal het Nivel in aanloop naar de
volgende evaluatie conform het SEP nadenken hoe het zijn doelmatigheid
nog beter kan onderbouwen en dit als gespreksonderwerp met de
internationale beoordelingscommissie meenemen. (Zie ook vraag 71/72
onder het kopje Nivel.)
47
Kunt u aangeven hoe u aankijkt tegen het feit dat meer dan 50% van de
ZonMw-programma’s hun doel niet geheel bereiken en meer dan 75% hun
doel grotendeels bereiken?
Antwoord:
In de tabel op pagina 13 van de beleidsdoorlichting waar in deze vraag
impliciet naar wordt verwezen, staat dat in het grootste deel (circa 90%)
13

https://publicaties.zonmw.nl/fileadmin/zonmw/documenten/Preventie/20_jaar_preventie/
20_jaar_preventie_ZonMw_LR_CH.pdf

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

12

van de beschikbare programma-evaluaties wordt geconstateerd dat het
programma het doel grotendeels of geheel heeft bereikt, en in een klein
deel (ca 10% van de programma-evaluaties) deels (rond 50% van de
doelstelling).
Conclusies uit de evaluaties over doeltreffendheid (bron: Beleidsdoorlichting)
Niet bereikt
Deels bereikt (rond 50% van de doelstelling)
Grotendeels bereikt (meer dan 75%)
Geheel bereikt

–
3
13
12

Ik deel derhalve de conclusie uit het evaluatieonderzoek van Bosman &
Vos dat ZonMw een doeltreffende organisatie is. Overigens neemt dit niet
weg dat ZonMw alsnog veel aandacht schenkt aan het vergroten van de
(maatschappelijke) impact van de verschillende programma’s en het beter
meetbaar maken van deze impact.
48
Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot
grote programma’s?
51
Onderschrijft u de constatering op pagina vijftien van de beleidsdoorlichting dat grotere programma’s doelmatiger zijn? Zo ja, welke actie heeft
u hierop ondernomen? Zo nee, waarom niet?
Antwoord op vragen 48 en 51:
Ik onderschrijf de constatering uit de evaluatie van ZonMw dat grotere
programma’s doorgaans meer mogelijkheden bieden om (cyclisch) in te
spelen op nieuwe vraagstukken uit de praktijk, een manier zijn om
versnippering en inefficiëntie tegen te gaan en doorgaans meer mogelijkheden bieden om flexibiliteit in te bouwen, bijvoorbeeld door een bredere
thematische insteek en meer mogelijkheden om de toepassing van kennis
mee te programmeren. Verder kan het streven naar minder, maar grotere
programma’s een manier zijn om versnippering en inefficiëntie tegen te
gaan.
Zoals ook uit het evaluatierapport en de rapportage van ZonMw over de
implementatie van aanbevelingen blijkt, wordt er door VWS en ZonMw de
afgelopen jaren meer gewerkt met grotere, meer langlopende
programma’s. Door ZonMw wordt er actief gestuurd op samenhang
tussen programma’s door te werken vanuit 14 inhoudelijke clusters. Eén
van de huidige beleidslijnen van ZonMw is «grote duurzame programmaclusters». In een cluster worden met elkaar samenhangende opdrachten
uitgevoerd.
Grote en duurzame programma’s zijn niet in beton gegoten. ZonMw biedt
opdrachtgevers in langlopende programma’s altijd de mogelijkheid om
prioriteiten bij te stellen. Denk hierbij bijvoorbeeld aan het actualiteitenbudget binnen programma’s als preventie en jeugd. Ook de jaarlijkse
opdrachtbrief en tussentijdse programma-evaluaties bieden hiervoor
mogelijkheden. Op deze wijze wordt duurzaamheid met wendbaarheid
gecombineerd.
54
Kunt u aangeven waarom in deze evaluatie niet is vastgesteld of de
veronderstelde voordelen van grotere programma’s zich ook feitelijk
hebben voorgedaan? Bent u van plan om dit alsnog te onderzoeken?

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

13

Antwoord:
De ontwikkeling naar de grotere programmaclusters is door ZonMw in
gang gezet met de start van het beleidsplan «Kennis maken op maat,
samen met betrokken partners (2016–2020)» en kon dus nog geen
onderdeel zijn van de evaluatie die hier voorligt. Sinds 2017 verantwoordt
ZonMw op het niveau van de programmaclusters in de jaarlijkse
verantwoordingscyclus.
Vragen over de maatschappelijke impact en opbrengsten activiteiten van ZonMw
23
Hoe wordt bij ZonMw en [Nivel]14 op dit moment gemeten, gemonitord
en beoordeeld wat de maatschappelijk impact is van hun activiteiten? Op
welke wijze wordt actie genomen door ZonMw en VWS om meer te sturen
op de maatschappelijke impact van de programma’s?
68
Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van
ZonMw en [Nivel] op dit moment worden gemeten en beoordeeld?
50
Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot
inzicht in impact?
Antwoord op vraag 23, 68 en 50:
Meten, monitoren en beoordelen van maatschappelijke impact
Het meten en beoordelen van de maatschappelijke impact van ZonMw
gebeurt via de afzonderlijke programma’s (en de opdrachten daarbinnen).
Bij de inzet van een nieuw programma worden prestatie-indicatoren
geformuleerd. Bij de monitoring wordt hier gebruik van gemaakt.
Evaluatie van de programma’s vindt plaats binnen alle programmakaders.
Beoordeling van de maatschappelijke impact gebeurt via evaluaties. Deze
hebben doorgaans een kwalitatieve opzet: een combinatie van deskresearch, interviews, casestudies en vragenlijsten. Een kwantitatieve aanpak
op programmaniveau komt weinig voor, omdat het de ervaring is dat het
lastig is om bij onderzoeks- en ontwikkelprogramma’s vooraf kwantificeerbare, specifieke en vooral betekenisvolle resultaatindicatoren te
definiëren.
Opvolging vergroten impact ZonMw
Binnen het beleidsplan van ZonMw is impact versterken een van de
hoofdlijnen. ZonMw heeft binnen de interne projecten Realiseren van
impact en Aantonen van impact een systematiek ontwikkeld met daarbij
passende theorieën en modellen. Hierbij ontstaat vergelijkbaarheid en
eenduidigheid. De projecten bouwen voort op trajecten van afgelopen
jaren. Door veelvuldig contact met «impactspecialisten», zowel op
nationaal als internationaal niveau, zorgt ZonMw ervoor dat de ontwikkelde systematiek aansluit bij de huidige (wetenschappelijke) kennis en
praktijk wat betreft impact-analyse.
In 2019 hebben alle ZonMw programmamedewerkers een verplichte
training impact versterken gevolgd op basis van de laatste inzichten en
ontwikkelingen. Deze training wordt ondersteund met praktische
werkwijzers die beschikbaar zijn op intranet. Het nieuwe beleidsplan van
ZonMw dat in maart 2020 wordt gepubliceerd heeft het versterken van
maatschappelijke impact als basis.

14

Vragen over Nivel zijn separaat beantwoord in laatste cluster.

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

14

Opvolging VWS vergroten impact
De aanbevelingen gericht aan VWS ten behoeve van het vergroten van de
maatschappelijke impact worden primair opgevolgd tussen programmahouders en ZonMw. Daarnaast maakt VWS gebruik van een kenniscoördinatorenoverleg. Hierin gaat het om hoe algemeen binnen VWS met kennis
en kennisinstituten wordt samengewerkt (wat is ieders rol en hoe werken
we met elkaar samen?). Sturing op en het vergroten van maatschappelijke
impact is hierin onderwerp van gesprek. Daarnaast komt dit onderwerp
ook naar voren tijdens overleggen tussen VWS en ZonMw, op verschillende ambtelijke niveaus. Een van de verbeterpunten uit de evaluatie van
ZonMw rondom vergroting impact was de (financiële) ruimte die ZonMw
heeft. Hiertoe heeft VWS onlangs het strategisch budget voor ZonMw
verhoogd, zodat ZonMw meer armslag heeft bij het vergroten van
maatschappelijke impact en beter kan inspelen op maatschappelijke
ontwikkelingen.
53
Onderschrijft u de constatering op pagina achttien van de beleidsdoorlichting dat er wellicht meer mogelijkheden ontstaan voor ZonMw om de
maatschappelijke impact op de lange termijn inzichtelijk te maken door in
thematische clusters te werken? Zo ja, welke actie heeft u hierop
ondernomen? Zo nee, waarom niet? Wat is gedaan met de aanbeveling
van de onafhankelijk deskundige om meer in te zetten op impactanalyses?
Antwoord:
Ja, ik onderschrijf deze constatering. ZonMw werkt inmiddels vanuit 14
programmaclusters. Voor elk programmacluster zijn de missie en visie
vastgelegd in een clusterplan met een uitgewerkt toekomstperspectief. Dit
draagt eraan bij dat er meer meetbare (vooral maatschappelijke) impact
met de programma’s wordt bereikt. In de volgende versie van de
clusterplannen zal door ZonMw de verbinding tussen de clusters
onderling en met de beleidslijnen verder worden geconcretiseerd.
Daarnaast vraagt ZonMw van elk cluster een stakeholder-analyse; welke
partijen heeft het cluster nodig om samen zoveel mogelijk impact op de
dagelijkse praktijk te hebben en hoe wordt die samenwerking gerealiseerd. De clusterindeling heeft de voortdurende aandacht van ZonMw om
ervoor te zorgen dat deze blijft passen bij de altijd veranderende
opdrachtenportefeuille.
Wat betreft de aanbeveling om meer in te zetten op impact-analyses kan ik
aangeven dat ZonMw in de interne projecten Realiseren van impact en
Aantonen van impact een systematiek ontwikkelt voor het meten van
impact, met daarbij passende theorieën en modellen. Hierdoor ontstaat
vergelijkbaarheid en eenduidigheid. Door veelvuldig contact met
«impactspecialisten», zowel op nationaal als internationaal niveau, zorgt
ZonMw ervoor dat de ontwikkelde systematiek aansluit bij de huidige
(wetenschappelijke) kennis en praktijk wat betreft impact-analyse.
40
Kunt u toelichten wat de opbrengsten zijn van de programma’s van
ZonMw, welke bijdragen aan het betaalbaar houden van kwalitatief
hoogwaardige zorg en ondersteuning?
Antwoord:
In 2018 is het ZonMw-programma DoelmatigheidsOnderzoek geëvalueerd
over de periode 2006–201715. Uit de evaluatie, uitgevoerd door SiRM
(Strategies in Regulated Markets), blijkt dat het programma ruim 7.500
15

Kamerstuk 29 248, nr. 313.

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

15

levensjaren in volledige gezondheid heeft opgeleverd. De behaalde
geschatte netto opbrengsten zijn € 1,1 miljard (op een totale investering
in het programma van € 154 miljoen in de periode 2006–2017). Het betreft
de gezondheidswinst en monetaire opbrengsten van 24 door SiRM
geselecteerde high-potential projecten, gesubsidieerd door het
programma DoelmatigheidsOnderzoek. € 480 miljoen van de netto
opbrengsten zijn kostenbesparingen, waarvan € 280 miljoen op
zorgkosten en de overige € 200 miljoen op maatschappelijke kosten. Circa
30% van de onderzoeksresultaten is in een richtlijn terechtgekomen en
driekwart van de onderzoeken leidde tot een publicatie waarvan circa 90%
in internationale tijdschriften, vooral in tijdschriften die tot de top 25% van
hun vakgebied behoren.16
Eerder (in 2013) is door Zorgmarktadvies een notitie uitgebracht over
kostenbesparingen door onderzoek en innovatie in de zorg waaruit blijkt
dat de kostenbesparing van vijf projecten van het Nationaal Programma
Ouderenzorg (NPO) elk op zich voldoende is om de kosten van het gehele
NPO (€ 74,7 mln.) ruimschoots terug te verdienen. Ook andere ZonMwprogramma’s leveren aanzienlijke kostenbesparingen op. Zes projecten uit
zes andere ZonMw programma’s (Sport, bewegen en gezondheid,
Preventie 2, Zichtbare schakel, Zorg voor beter, Kwaliteitsverbeteringsprogramma paramedische zorg, Alledaagse ziekten) leveren een totale
kostenbesparing op van circa € 381 mln.17
Vragen over de betrokkenheid van de opdrachtgever en
doelgroepen
45
Kunt u toelichten hoe het komt dat de opdrachtgever minder betrokken is
bij de eindfase van programma-opdrachten?
Antwoord:
In de beleidsevaluatie van ZonMw heeft het onderzoeksbureau geconstateerd dat de betrokkenheid van het ministerie in de geëvalueerde periode
soms afnam in de eindfase. Inmiddels constateert ZonMw in haar
rapportage over de implementatie van de aanbevelingen uit de evaluatie,
dat de betrokkenheid van ministeries groter is dan voorheen, juist ook bij
de afronding, vanwege het feit dat het merendeel van de huidige
programma’s maatschappelijk van aard is. ZonMw en het Ministerie van
VWS werken eraan om de inzet van VWS ook bij de afronding van een
programma te versterken. Zo is ZonMw nauw betrokken bij de versterking
van de kennisfunctie binnen VWS. Twee collega’s zijn parttime gedetacheerd bij VWS onder leiding van de Chief Science Officer (CSO) van
VWS. In samenspraak met de CSO wordt gewerkt aan een training voor
goed opdrachtgever- en opdrachtnemerschap, de ontwikkeling van de
kennisplatforms voor o.a. juiste zorg op de juiste plek en preventie, tips en
tops voor opdrachtverlening voor beleidsmedewerkers en meer (diverse)
communicatie over kennis binnen VWS.
49
Wat is er gedaan met de voorgestelde verbeterpunten met betrekking tot
meer interactie met doelgroepen?
52
Onderschrijft u de constatering op pagina vijftien dat het betrekken van
doelgroepen en een toekomstvisie de doeltreffendheid vergroot? Zo ja,
welke actie heeft u hierop ondernomen? Zo nee, waarom niet?
16
17

https://www.zonmw.nl/nl/onderzoek-resultaten/doelmatigheidsonderzoek/evaluatie/
https://www.zonmw.nl/uploads/tx_vipublicaties/
Notitie_Kostenbesparingen_door_onderzoek_en_innovatie_in_de_zorg_02.pdf

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

16

Antwoord vragen 49 en 52:
Ik onderschrijf de conclusie/constatering uit de beleidsdoorlichting dat er
met het oog op doeltreffendheid van de ZonMw-programma’s, nog ruimte
ligt in verdere doorontwikkeling van «hoe» doelgroepen door ZonMw
betrokken worden. In het betrekken van doelgroepen bij de programmering en financiering van onderzoek en ontwikkeling is ZonMw
nationaal en internationaal al een van de voorlopers. Het perspectief van
cliënten/patiënten en burgers krijgt daarnaast steeds meer een plek in
programma’s en projecten. Zoals in de rapportage over de implementatie
van de aanbevelingen van de evaluatie staat, betrekt ZonMw de diverse
doelgroepen op dit moment in alle fasen van de programmering.
Daarnaast worden programmacommissies evenwichtiger samengesteld
en er wordt meer gewerkt in samenwerkingsverbanden zoals academische werkplaatsen, consortia en netwerken. In deze samenwerkingsverbanden komen onderzoek, praktijk, beleid en in toenemende mate ook
onderwijs samen. Daarnaast worden doelgroepen op meer structurele
basis betrokken bij bijvoorbeeld de Academische Werkplaatsen Transformatie Jeugd en Netwerken Ouderen en Dementie. Op deze manier
ontstaat de gewenste interactie tussen de onderzoekscyclus, het kwaliteitsbeleid van professionals en instellingen, het onderwijscurriculum en
de praktijk. In toenemende mate worden vanuit het gebruikers/
cliëntenperspectief kennisagenda’s ontwikkeld, zoals onlangs met de
Patiëntenfederatie en de GGZ-patiëntenorganisatie.
Vragen over het evalueren van programma’s van ZonMw
13
Wat is de reden dat er voor slechts 30 van de 86 programma’s die tussen
2010 en 2015 hebben gelopen evaluaties beschikbaar waren? Worden
programma’s van ZonMw inmiddels wel allemaal geëvalueerd?
46
Kunt u toelichten hoe het komt dat er relatief weinig evaluaties van het
kader Wetenschap & Innovatie zijn ten opzichte van het aantal evaluaties
bij de andere kaders?
Antwoord vragen 13, 46:
Conform afspraak tussen ZonMw en VWS wordt elk programma dat
ZonMw uitvoert in opdracht van VWS, geëvalueerd. Voor de evaluatie
uitgevoerd door Bosman & Vos is ZonMw gevraagd een overzicht te
geven van alle programma’s in de periode 2010–2015, al dan niet
afgerond. Dit betrof dus ook programma’s die in die periode nog lopend
waren en derhalve (nog) niet geëvalueerd waren.
Voor het programmakader Wetenschap & Innovatie voert ZonMw met
name programma’s uit in opdracht van NWO. Deze programma’s worden
niet standaard geëvalueerd. Vaak betreft het doorlopende programma’s
als de open competitie en de vernieuwingsimpuls.
Overige vragen over ZonMw
31
Ook de Nederlandse Organisatie voor toegepast-natuurwetenschappelijk
onderzoek (TNO) heeft veel kennis op het terrein van gezondheid. Op
welke wijze werken deze instituten samen? Kunt u dat ook aangeven in
bedragen?
Antwoord:
TNO voert als onderzoeksinstituut projecten uit binnen verschillende
ZonMw-programma’s, in de meeste gevallen samen met andere partijen.
De rol van ZonMw verschilt met die van TNO: ZonMw laat als zelfstandige

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

17

intermediaire organisatie in opdracht van VWS en NWO op programmatische wijze projecten, experimenten en onderzoek uitvoeren. TNO kan als
onderzoeksinstituut meedingen naar subsidies die ZonMw via de
verschillende programma’s verleent. De bijdrage aan TNO voor de
gehonoreerde trajecten is in het onderstaande opgenomen:
Bijdrage ZonMw aan TNO voor de gehonoreerde trajecten over de periode 2012–2019
Jaar

Totaalbedrag (€)

2012
2013
2014
2015
2016
2017
2018
2019

2.658.145
2.459.923
2.426.255
2.321.449
2.597.214
2.426.883
2.984.718
1.917.033

37
Waar bestaat de bijdrage van ZonMw uit, die op de derde pagina staat, die
zij heeft geleverd aan standpunten van het Zorginstituut over het
basispakket?
38
Is te kwantificeren of hierdoor het basispakket is uitgebreid of juist
versmald?
Antwoord vragen 37 en 38:
Het gaat hierbij met name om onderzoeksresultaten uit het langlopende
ZonMw-programma DoelmatigheidsOnderzoek, die onder andere door
het Zorginstituut zijn gebruikt bij beslissingen over het basispakket. Dit
onderzoeksprogramma is gericht op wetenschappelijke onderbouwing
van een doelmatigere zorgpraktijk en -beleid. Het gaat hierbij om vragen
als: Welke innovatieve of bestaande zorg is het meest effectief voor de
behandeling van patiënten? Welke innovaties dragen bij aan kwalitatief
hoogstaande zorg en/of kostenbeheersing voor de maatschappij? De
resultaten van dit programma dragen bij aan een zorgvuldige, objectieve
en evidence-based afweging ten behoeve van een optimale inzet van
beperkte financiële middelen. Zoals eerder bij vraag 40 staat aangegeven,
hebben de geschatte netto opbrengsten van het langlopende programma
DoelmatigheidsOnderzoek, de programma-investeringen over de periode
2006–2017 ruimschoots overtroffen.
Vragen over het NIVEL
16
Hoe actueel zijn de beleidsdoorlichting en kabinetsreactie gezien het feit
dat de onderzoeksperiode 2010–2015 was? Hoe is er in de tussentijd
gewerkt aan de aanbevelingen uit de evaluaties van ZonMw en het Nivel?
Antwoord:
Het Nivel heeft de aanbevelingen van de internationale beoordelingscommissie verwerkt in zijn strategisch beleid. Voor de evaluatie van het
strategisch beleid hanteert het Nivel het Standard Evaluation Protocol
(SEP) van de Koninklijke Nederlandse Akademie van Wetenschappen
(KNAW), de Vereniging van Universiteiten (VSNU) en de Nederlandse
Organisatie voor Wetenschappelijk Onderzoek (NWO). Het SEP schrijft een
mid-term assessment (een tussentijdse interne evaluatie) na 3 jaar voor.
Het Nivel heeft in 2019 een mid-term assessment over de periode
2016–2018 uitgevoerd en neemt de aanbevelingen hieruit mee. In 2022

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

18

laat het Nivel zijn strategisch beleid weer conform het SEP door een
internationale beoordelingscommissie beoordelen.
23
Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en
beoordeeld wat de maatschappelijk impact is van hun activiteiten? Op
welke wijze wordt actie genomen door ZonMw en VWS om meer te sturen
op de maatschappelijke impact van de programma’s?
68
Kunt u aangeven hoe de maatschappelijke impact van de activiteiten van
ZonMw en Nivel op dit moment worden gemeten en beoordeeld?
70
Hoe wordt bij ZonMw en Nivel op dit moment gemeten, gemonitord en
beoordeeld wat de maatschappelijk impact is van hun activiteiten?
Antwoord op vragen 23, 68 en 70:
Voor het meten, monitoren en beoordelen van zijn maatschappelijke
impact sluit het Nivel zich aan bij de instrumenten die door het SEP
worden aangereikt. Hierbij richt het Nivel zich onder andere op de
kennisproductie, de kennisverspreiding, het gebruik en de toepassing van
de onderzoeksgegevens en onderzoeksresultaten door anderen en de
samenwerking met maatschappelijke actoren. Door middel van narratives
wordt in de toekomst inzichtelijk gemaakt welke effecten het onderzoek
van het Nivel op het gezondheidszorgbeleid heeft. Met een narrative (een
verhaal) wordt de maatschappelijke relevantie, impact of toegevoegde
waarde en hoe dit is bereikt beschreven.
41
Kunt u toelichten hoe het Ministerie van VWS de omvang bepaalt van de
jaarlijkse bijdrage aan ZonMw en Nivel?
Antwoord:
De bijdrage aan het Nivel wordt gebaseerd op het Onderzoeksprogramma
van het Nivel18, dat is gebaseerd op de meerjarenafspraken die met VWS
worden gemaakt. Voor het ontwikkelen en beheren van databases, panels
en monitors wordt jaarlijks subsidie voor een tiental (p*q) onderbouwde
activiteiten een (subsidie)bijdrage aan VWS gevraagd. De subsidie wordt
jaarlijks (gedurende het uitvoeringsjaar) bijgesteld met de zogenaamde
overheidsbijdrage in de arbeidskostenontwikkeling (OVA).
Zie voor ZonMw het eerdere antwoord op vraag 41.
67
Kunt u aangeven welke verbeteringen er bij het Nivel zijn doorgevoerd
sinds 2015 naar aanleiding van de zelfevaluatie en beleidsdoorlichting?
69
Welke verbeteringen zijn er op het ministerie, respectievelijk bij Nivel,
sinds 2015 nog doorgevoerd naar aanleiding van de verschenen zelfevaluatie en beleidsdoorlichting?
Antwoord op vragen 67 en 69:
De aanbevelingen van de beoordelingscommissie waren gericht op de
zichtbaarheid en de focus van het Nivel, het ontwikkelen van nieuwe
producten en diensten, het verder vergroten van de interactie met
stakeholders en het stimuleren van publiceren over vernieuwende
methoden en concepten in het wetenschappelijk domein. Het Nivel heeft
18

https://www.nivel.nl/sites/default/files/pdf/Nivel_Brochure_Onderzoeksprogramma.pdf

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

19

deze aanbevelingen verwerkt in zijn strategisch beleid (zie ook het
antwoord op vraag 16) en in het onderzoeksprogramma voor de periode
2018–2021, dat is te vinden op de vernieuwde website19. Zo heeft het
Nivel zijn communicatiestrategie verbeterd, waarin de nadruk wordt
gelegd op zijn missie en zijn unieke positie. De focus van wat het Nivel
doet ligt op onderzoek met maatschappelijke impact naar de kwaliteit en
effectiviteit van de gezondheidszorg, en het eraan gerelateerde sociale
domein. Het Nivel vormt hierbij een verbindende schakel vormt tussen
beleid en wetenschap. Verder heeft het Nivel beleid ontwikkeld om zijn
medewerkers te ondersteunen en te stimuleren in het ontwikkelen van
nieuwe producten en diensten, het verder vergroten van de interactie met
stakeholders en te publiceren over vernieuwende methoden en concepten
in het wetenschappelijk domein. De resultaten die uit dit beleid zijn
voortgevloeid zijn te vinden op de website van het Nivel.20
71
Onderschrijft u het oordeel van de onafhankelijk deskundige dat er met
wat goede wil en wat creativiteit bij Nivel meer mogelijk moet zijn om de
doelmatigheid te beoordelen?
72
Is de suggestie van de onafhankelijk deskundige overgenomen om een
vergelijking te maken met de prestaties en de kosten die andere onderzoeksinstituten maken die eveneens grote databestanden beheren?
Antwoord op vragen 71 en 72:
Het zo doelmatig mogelijk inrichten van de activiteiten die het Nivel
uitvoert komt geregeld aan de orde in gesprekken tussen VWS en Nivel,
die plaatsvinden in het kader van de meerjarenafspraak en de jaarlijkse
subsidietoekenning. Naar aanleiding van de aanbevelingen van de
onafhankelijk deskundige zal bij volgende evaluaties extra aandacht
worden gegeven aan de onderbouwing van doelmatigheid. Het Nivel zal
in aanloop naar de volgende evaluatie conform het SEP nadenken hoe het
zijn doelmatigheid nog beter kan onderbouwen en dit als gespreksonderwerp met de internationale beoordelingscommissie meenemen.

19
20

https://www.nivel.nl/sites/default/files/pdf/Nivel_Brochure_Onderzoeksprogramma.pdf
zie bijvoorbeeld: https://www.nivel.nl/nl/producten-en-diensten, https://www.nivel.nl/nl/
nivelverbindt,
https://www.nivel.nl/nl/project/vervolg-ontwikkeling-serious-gamehuisartspraktijkmanagement

Tweede Kamer, vergaderjaar 2019–2020, 32 772, nr. 36

20