Tweede Kamer der Staten-Generaal

Vergaderjaar 2020–2021

2

Aanhangsel van de Handelingen

Vragen gesteld door de leden der Kamer, met de daarop door de
regering gegeven antwoorden

3314
Vragen van het lid Paul (VVD) aan de Minister voor Buitenlandse Handel en
Ontwikkelingssamenwerking over het bericht «Wetenschappers: Overheid
weet niet welke ontwikkelingshulp werkt» (ingezonden 25 mei 2021).
Antwoord van Minister Kaag (Buitenlandse Zaken) (ontvangen 24 juni 2021).
Vraag 1
Deelt u de mening dat we moeten kunnen garanderen dat het belastinggeld
dat we aan ontwikkelingssamenwerking besteden, optimaal wordt aangewend?1 En dat dit leidt tot de gewenste resultaten en impact en niet in
bodemloze putten verdwijnt? En als u het hier inderdaad mee eens bent, hoe
verklaart u dan dat we blijkens het artikel in Trouw nog steeds niet of
nauwelijks zicht hebben op welke ontwikkelingshulp wel of niet werkt?
Antwoord 1
Ja. Het kabinet deelt deze meningen. Daarom zet het kabinet de goede
gewoonte, waarbij binnen Ontwikkelingssamenwerking intensief wordt
geëvalueerd om zicht te krijgen op wat wel en niet werkt, onverminderd
voort.
De eisen die aan een evaluatie van OS-projecten worden gesteld verschillen
naar gelang:
– de aard van het project (standaard noodhulpprogramma’s vereisen andere
evaluatiemethoden dan bijv. de versterking van maatschappelijke
organisaties).
– de financiële omvang (voor programma’s boven de EUR 5 miljoen is een
onafhankelijke eindevaluatie volgens een vast protocol verplicht).
– de leerbehoefte (een pilot project vereist een andere aanpak dan een al
vele keren bewezen interventie).
Het betrekken van wetenschappers is één manier die gebruikt wordt voor het
uitvoeren van evaluaties. Daarnaast zijn er raamovereenkomsten voor het
selecteren van consultancy bedrijven en onderzoeksinstellingen die gespecialiseerd zijn OS-evaluaties. Er is ook de directie Internationaal Onderzoek en
Beleidsevaluatie (IOB), de onafhankelijke interne evaluatiedienst van BZ die
eigen evaluatiedeskundigen in dienst heeft.

1

ah-tk-20202021-3314
ISSN 0921 - 7398
’s-Gravenhage 2021

Trouw, 20 mei 2021, «Wetenschappers: Overheid weet niet welke ontwikkelingshulp werkt»,
https://www.trouw.nl/economie/wetenschappers-overheid-weet-niet-welke-ontwikkelingshulpwerkt~bbfbbff9/?referrer=https%3A%2F%2Fwww.google.nl%2F

Tweede Kamer, vergaderjaar 2020–2021, Aanhangsel

1

In het artikel wordt veel aandacht besteed aan nulmetingen en het werken
met controlegroepen. Dat is een methode die vooral bij impactevaluaties
gebruikt wordt. Het is ook een complexe en dure methode, die vooral zinvol
is bij grote programma’s, waar belangrijke vragen over de effectiviteit nog
niet beantwoord zijn. Wat de meest geschikte evaluatiemethodologie is, wat
de evaluatievragen zijn, en wat het mag kosten, wordt altijd bepaald in
overleg tussen BZ, de uitvoerende partners, en de organisatie of onderzoeker(s) die de evaluatie uitvoert. Een recent voorbeeld is het nieuwe beleidskader Versterking Maatschappelijk Middenveld (VMM). Hier is 2% van het
budget gereserveerd voor monitoring, evalueren en leren (MEL). Als
onderdeel van de monitoring en evaluatie hiervan wordt een nul-situatie
vastgelegd en zijn er referentiegroepen met onder meer leden uit de
wetenschappelijke wereld betrokken. De mogelijkheid om gebruik te maken
van controlegroepen (die niet meeprofiteren van een programma) hangt af
van de aard en context van de ontwikkelingsprojecten.
Vraag 2
Bent u eveneens van mening dat ontwikkelingssamenwerking erop gericht
moet zijn arme landen te helpen, waar mogelijk, toe te groeien naar
zelfstandigheid in plaats van eindeloos aan het «OS-infuus» te blijven
hangen? En zo ja, hoe verhoudt dit zich dan tot het feit dat Nederland door
gebrek aan adequaat evaluatiemateriaal hier nauwelijks op kan sturen?
Antwoord 2
Ja, ontwikkelingssamenwerking is erop gericht om arme landen te laten
toegroeien naar een situatie waarin officiële ontwikkelingsfinanciering (ODA)
niet meer of veel minder nodig is. Die beweging heeft zich de afgelopen
decennia ook in grote delen van de wereld voltrokken en hebben we samen
met andere donoren ondersteund: tientallen ontwikkelingslanden die in de
vorige eeuw nog een fors deel van hun BNI aan ODA ontleenden, hebben
inmiddels een hoger ontwikkelingsniveau bereikt, en alternatieve financieringsbronnen aangeboord, waardoor ODA een bescheidener rol speelt.
Extreme armoede is op veel plekken teruggedrongen, terwijl onderwijs,
gezondheidszorg en levensverwachting sterk zijn verbeterd. Met die
structurele verbeteringen is ook de geografische focus van het Nederlandse
OS-beleid geleidelijk verschoven: terwijl eerder landen als India, Vietnam,
Indonesië, Zuid-Afrika en Latijns-Amerikaanse landen prominent figureerden
op de bilaterale landenlijst, ligt het geografische zwaartepunt van het huidige
beleid op de arme en fragiele focusregio’s Sahel, Hoorn van Afrika, MiddenOosten & Noord-Afrika.
Zoals hierboven al aangegeven, kan Nederland bij de uitvoering van het
beleid putten uit rijke nationale en internationale bronnen van ervaring en
kennis over hoe OS-middelen het beste kunnen worden ingezet. Naast eigen
evaluaties en de over vele jaren opgebouwde kennis bij IOB, gaat het
bijvoorbeeld om het veelomvattende onderzoek van de Wereldbank (de
«kennisbank» op OS-gebied) en om gebundelde internationale kennis en
meta-analyses zoals het ReCom programma van VN-universiteit UNU-Wider.
Niettemin blijft goed evalueren en daarvan leren een cruciaal onderdeel van
elke activiteit, al was het maar omdat context-specifieke factoren sterk
bepalend kunnen zijn voor het resultaat van projecten en programma’s.
Vraag 3
Deelt u de mening dat het een slechte zaak is dat na decennia van ontwikkelingswerk het nog altijd niet duidelijk is welke projecten wel of niet werken,
zoals zestien wetenschappers van tien Nederlandse instellingen in het artikel
in Trouw stellen? En als uw antwoord bevestigend is, waarom is er in de
afgelopen jaren dan niet meer werk gemaakt van doelgerichte rapportages
die duidelijk maken of ontwikkelingsprojecten wel of niet hebben gewerkt
zodat kennis wordt opgebouwd en er actief gestuurd kan worden om met ons
ontwikkelingsgeld het gewenste resultaat te boeken?
Antwoord 3
Er is in de afgelopen jaren internationaal juist erg veel en systematisch bewijs
verzameld over wat wel en niet werkt op het gebied van ontwikkelingssamenwerking. Als een bepaald type project in één gebied werkt, betekent dat
uiteraard niet automatisch dat een vergelijkbare interventie ook in een andere

Tweede Kamer, vergaderjaar 2020–2021, Aanhangsel

2

context effectief is. En als een bepaalde interventie eind vorige eeuw
succesvol was, wil dat niet zeggen dat dat vandaag de dag, in inmiddels sterk
gewijzigde contexten, nog steeds het geval zal zijn. Om uitspraken te kunnen
doen over «welk soort projecten werkt of niet» moet daarom alle bewijs
systematisch worden bestudeerd. Dit gebeurt over het algemeen middels zgn.
systematic reviews, waarbij een groot aantal (impact-)evaluaties van
vergelijkbare interventies nauwkeurig wordt geanalyseerd.
Via IOB draagt het ministerie actief aan bij aan het ontsluiten van dergelijke
belangrijke inzichten. Op korte termijn publiceert IOB bijvoorbeeld een review
van 368 onderzoeken op het gebied van Seksuele en Reproductieve Rechten
en Gezondheid (SRGR). Ook is IOB momenteel betrokken bij een systematic
review op het gebied van het aanpakken van jeugdwerkloosheid.
Uiteraard zoekt het kabinet voortdurend naar verbetering. Op dit moment is
dat bijvoorbeeld de in het antwoord op vraag 1 genoemde financiële
reservering voor MEL onder het VMM-beleidskader. Deze beoogt enerzijds de
vertaling van politieke besluiten in beleidsinstrumenten beter te baseren op
bestaande kennis, en anderzijds om de vele geleerde lessen uit de praktijk
beter te communiceren en te verankeren in nieuw beleid en uitvoering.
Overigens zijn het niet alleen evaluaties en onderzoeken die leiden tot
bijstelling van beleid en beleidsuitvoering. Deze zijn regelmatig ook het
gevolg van politieke keuzes, die een ander fundament onder beleid en
uitvoering kunnen leggen.
Vraag 4
Wat gaat u doen met de oproep van de in vraag 3 genoemde wetenschappers? Welke acties gaat u nemen om beter zicht te krijgen op welke ingrepen
in arme landen daadwerkelijk helpen en hiermee te zorgen voor een betere
besteding van ons belastinggeld?
Antwoord 4
Binnen ontwikkelingssamenwerking wordt intensief en op verschillende
niveaus geëvalueerd. De beleidsdoorlichtingen en (impact-)evaluaties van IOB
worden voorzien van een beleidsreactie waarin wordt ingegaan op bevindingen en aanbevelingen en met de Kamer gedeeld. De wijze waarop aan de
beleidsreactie gevolg wordt gegeven wordt intern gemonitord. Daarbij is
sinds vorig jaar extra capaciteit bij DGIS aangetrokken om medewerkers te
ondersteunen op het gebied van Monitoring, Evaluatie en Leren (MEL). Deze
MEL experts zorgen voor dagelijks advies en coördinatie en daarmee voor
een versterking van MEL binnen het departement. Onder meer zijn MELuitgangspunten geformuleerd die leren en sturen op basis van behaalde
resultaten centraal stellen, en zijn bijbehorende thematische leeragenda’s
ontwikkeld, waarin onder meer aandacht voor adaptief management.
Het ministerie heeft daarmee een MEL werkagenda voor de volgende jaren.
In de eerste fase ligt de nadruk op het uitwerken en actualiseren van interne
MEL richtlijnen voor het beheer van programma’s; adaptief programma- en
portfoliomanagement in de snel veranderende context van veel partnerlanden; een MEL trainingsaanbod voor medewerkers; en het opzetten van een
MEL Community of Practice waarin medewerkers uit Den Haag en van
ambassades, van uitvoerende partners en van andere donoren ervaringen
kunnen uitwisselen en van elkaar kunnen leren.
Vraag 5
Waarom is er niet meer gedaan met de kritische kanttekeningen van de
Algemene Rekenkamer die in de afgelopen tien jaar veelvuldig heeft
geconstateerd dat er op het vlak van ontwikkelingssamenwerking zwakke
punten zitten in het meten van resultaten in het veld? En wat gaat u hier de
komende tijd verder aan doen?
Antwoord 5
Het kabinet heeft de aanbevelingen van de Algemene Rekenkamer ter harte
genomen en er is de afgelopen jaren veel gedaan om de resultaatmeting in
het veld te verbeteren. Zo is het systeem van resultaatmeting op het
ministerie gemoderniseerd met behulp van een resultatenapplicatie waarin
resultaten worden geregistreerd. Dit leidt jaarlijks tot de resultatenrapportage
en de cijfers voor de indicatoren die in de memorie van toelichting bij de
BHOS-begroting zijn opgenomen. BZ is daarnaast één van de weinige

Tweede Kamer, vergaderjaar 2020–2021, Aanhangsel

3

donorlanden die de internationale open data standaard IATI verplicht heeft
gesteld voor uitvoerende partners. Het betekent dat zij details van alle
projecten die Nederland financiert online moeten zetten, inclusief resultaatgegevens.
Tijdens de hele projectcyclus ligt de nadruk op resultaatgerichtheid. Dat
begint al voor de beoordeling van projectvoorstellen, en omvat onder andere
voorwaarden aan uitvoerende organisaties over specifiek en meetbaar
rapporteren. Bij evaluaties wordt ter plekke geverifieerd of gerapporteerde
resultaten ook daadwerkelijk zijn geboekt.
Resultaatmeting kan natuurlijk altijd meer en beter, maar hierbij lopen we ook
aan tegen praktische beperkingen. Het is vaak ingewikkeld en tijdrovend (en
dus kostbaar) om 1 op 1 aan te tonen dat een resultaat is bereikt met een
Nederlandse bijdrage (bijvoorbeeld bij multi-donor activiteiten, of bij het
meten van maatschappelijke veranderingen). Het gevolg is dat bij kleine
projecten de kosten van volledige resultaatmonitoring en impactmeting soms
niet in verhouding zouden staan tot de omvang van het project en daarom
niet gerechtvaardigd zijn.
Daarnaast zijn er ook praktische problemen die resultaatmeting moeizaam of
zelfs (tijdelijk) onmogelijk kunnen maken zoals bij projecten in conflictgebieden.
Vraag 6
Wat is de rol van de Directie Internationaal Onderzoek en Beleidsevaluatie
(IOB) op dit gebied? Zou de IOB niet strakker moeten monitoren en erop
sturen dat ontwikkelingsprojecten anders worden geëvalueerd zodat we
scherp(er) zicht krijgen op de effectieve besteding van ons ontwikkelingsgeld?
Antwoord 6
IOB voert complexe, vernieuwende en strategische evaluaties en beleidsdoorlichtingen uit, overigens niet alleen op het terrein van ontwikkelingssamenwerking, maar op alle beleidsterreinen van het Ministerie van Buitenlandse
Zaken. Sinds 2019 wordt één jaar na het verschijnen van een beleidsdoorlichting of belangrijke studie samen met het betreffende DG gekeken hoe de
geleerde lessen en aanbevelingen zijn gebruikt.
Soms verricht IOB zelf impact-evaluaties, zoals op de thema’s drinkwater,
hernieuwbare energie en voedselzekerheid. Steeds vaker maakt IOB gebruik
van belangrijke, internationaal beschikbare kennis over wat wel en niet werkt
(zie ook het antwoord op vraag 3).
Beleidsdirecties zijn zelf verantwoordelijk voor het (laten) evalueren van de
programma’s die zij beheren. Dit is belangrijk omdat vooral dààr moet
worden geleerd van de uitkomsten van evaluaties. Deze evaluaties worden
uitgevoerd door externe partijen. Het ministerie heeft hiervoor een raamovereenkomst voor evaluaties afgesloten met een 17-tal organisaties die door IOB
zijn beoordeeld op hun methodologische kwaliteiten. IOB adviseert directies
bij hun evaluaties en neemt vaak ook deel aan de referentiegroep om toe te
zien op de (methodologische) kwaliteit en de onafhankelijkheid. IOB verzorgt
ook cursussen om de evaluatiecapaciteit binnen het departement te versterken.
IOB heeft de laatste jaren aandacht gevraagd voor de kwaliteit van evaluaties,
met name die onder de verantwoordelijkheid van uitvoerende organisaties
worden uitgevoerd. Een recent voorbeeld hiervan is de evaluatie «Less
Pretension, More Realism» waarin 36 projecten uit twee programma’s gericht
op stabiliteit en wederopbouw werden geëvalueerd. Een van de conclusies uit
deze IOB evaluatie was dat de onderliggende individuele projectevaluaties
niet altijd van voldoende kwaliteit waren. Een belangrijke aanbeveling die IOB
daarbij deed is dat het al in de ontwikkelingsfase van een project belangrijk is
om goed na te denken over hoe de eindevaluatie in te richten en de daarvoor
benodigde data al gedurende de uitvoering te verzamelen.
Zelf heeft IOB daartoe haar kwaliteitscriteria voor individuele evaluaties
aangescherpt. In het recent gestarte Power of Voices programma van het
ministerie zijn deze criteria bovendien in de beschikkingen opgenomen.
Daarnaast ondersteunt IOB de al genoemde MEL processen die moeten
leiden tot thematische kennisagenda’s en meer strategische, kwalitatief
betere, en op leren gerichte evaluaties.

Tweede Kamer, vergaderjaar 2020–2021, Aanhangsel

4