Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2008–2009

31 250

Beleidsbrief Ontwikkelingssamenwerking

Nr. 53

LIJST VAN VRAGEN EN ANTWOORDEN
Vastgesteld 18 februari 2009
De vaste commissie voor Buitenlandse Zaken1, heeft een aantal vragen
voorgelegd aan de minister voor Ontwikkelingssamenwerking over de
brief van 17 november 2008 inzake nadere informatie over de plaats van
nulmetingen in het kader van resultaatgerichte ontwikkelingssamenwerking naar aanleiding van het wetgevingsoverleg van 18 juni 2008 (Kamerstuk 31 250, nr. 42).
De minister voor Ontwikkelingssamenwerking heeft deze vragen beantwoord bij brief van 16 februari 2009. Vragen en antwoorden, voorzien van
een inleiding, zijn hierna afgedrukt.
De voorzitter van de commissie,
Ormel
Adjunct-griffier van de commissie,
Van Toor

1

Samenstelling:
Leden: Van Bommel (SP), Van der Staaij (SGP),
Wilders (PVV), Waalkens (PvdA), Van Baalen
(VVD), C
q örüz (CDA), Ormel (CDA), voorzitter,
Ferrier (CDA), Van Velzen (SP), De Nerée tot
Babberich (CDA), Haverkamp (CDA), Blom
(PvdA), Eijsink (PvdA), Van Dam (PvdA),
Dezentjé Hamming-Bluemink (VVD), Irrgang
(SP), Knops (CDA), Boekestijn (VVD), Voordewind (CU), Pechtold (D66), ondervoorzitter,
Ten Broeke (VVD), Van Raak (SP), Gill’ard
(PvdA), Thieme (PvdD) en Peters (GL).
Plv. leden: De Wit (SP), Van der Vlies (SGP), De
Roon (PVV), Vermeij (PvdA), Van Miltenburg
(VVD), Omtzigt (CDA), Spies (CDA), Aasted
Madsen-van Stiphout (CDA), Van Dijk (SP), Ten
Hoopen (CDA), Jonker (CDA), Besselink
(PvdA), Leerdam (PvdA), Arib (PvdA),
Neppérus (VVD), Lempens (SP), Schermers
(CDA), Griffith (VVD), Wiegman-van Meppelen
Scheppink (CU), Koşer Kaya (D66), Van Beek
(VVD), Gesthuizen (SP), Samsom (PvdA),
Ouwehand (PvdD) en Vendrik (GL).

KST128185
0809tkkst31250-53
ISSN 0921 - 7371
Sdu Uitgevers
’s-Gravenhage 2009

Tweede Kamer, vergaderjaar 2008–2009, 31 250, nr. 53

1

Graag beantwoord ik uw vragen van 18 december 2008 (Kamerstuknummer 31 250, nr. 42) naar aanleiding van mijn brief van 17 november
jongstleden inzake het gebruik van nulmetingen in het kader van ontwikkelingssamenwerking.
Zoals ik heb aangegeven in deze brief van 17 november kan een onderscheid gemaakt worden tussen nulmeting ten aanzien van de uitvoering
(is een en ander uitgevoerd als gepland) en nulmeting ten aanzien van
effecten en evaluatie (is er een verschil in bijvoorbeeld gezondheid of
inkomen, wanneer de situatie voor en na de uitvoering van een activiteit
of programma wordt gemeten).
Ik vind het belangrijk hierbij op te merken dat mogelijkheden voor
nulmetingen voor (kwantitieve) effectmeting van beleid voor de verschillende beleidsterreinen verschillen en bovendien dat nulmetingen, uit het
oogpunt van evaluatie, niet altijd mogelijk zijn. Een nulmeting van bijvoorbeeld het gebruik van verbeterde waterbronnen is geen probleem, terwijl
een nulmeting van geweld tegen vrouwen ten behoeve van een wereldwijd of nationaal programma dat gericht is op de vermindering van
geweld tegen vrouwen, een stuk lastiger zo niet onmogelijk is. Ook is
nulmeting voor het meten van effecten van Nederlands beleid eenvoudiger in geval van door Nederland gefinancierde projecten in vergelijking
met effectmeting van nationale door meerdere donoren met behulp van
budgetsteun gefinancierde sectorprogramma’s, onder meer als gevolg
van de omvang van het programma, grotere diversiteit van interventies
en het feit dat een groter aantal partijen betrokken is. In dit verband
verwijs ik ook naar de Regeling periodiek evaluatieonderzoek en beleidsinformatie (verder: RPE 2006). Zoals bekend beoogt deze rijksbrede regeling
bij te dragen aan de betrouwbaarheid van beleidsinformatie en stelt eisen
waaraan beleidsinformatie dient te voldoen. In deze regeling staat dat
methodologisch verantwoorde effectevaluaties niet altijd haalbaar zijn, of
omdat het niet mogelijk is, of omdat het te gecompliceerd en kostbaar is.
In dat geval kan worden volstaan met het aangeven van de plausibiliteit
van de effectiviteit.
Ten aanzien van verantwoordelijkheden voor nulmetingen dient ook een
onderscheid te worden gemaakt tussen het bilaterale, particuliere en
multilaterale uitvoeringskanaal. Voor de adequate toepassing ten behoeve
van bilaterale activiteiten is dit Ministerie direct verantwoordelijk. Voor de
andere kanalen zijn in principe de betreffende organisaties verantwoordelijk voor de uitvoering van afspraken die met dit Ministerie over monitoring en evaluatie zijn gemaakt.
1
Kunt u aangeven op welke wijze (nul)metingen plaatsvinden in het kader
van de draagvlakdiscussie? Hoe gebeurt dit bij de medefinancieringsorganisaties (MFO’s) en bij de Nationale Commissie voor internationale
samenwerking en Duurzame Ontwikkeling (NCDO)? Door wie gebeurt dit
en op welke wijze gebeurt dit?
De medefinancieringsorganisaties (MFO’s) dragen ieder voor zich zorg
voor een adequaat planning-, monitoring- en evaluatiesysteem. MFO’s
hebben financiering ontvangen op grond van voorstellen die tegemoet
komen aan de eisen van het beleidskader MFS 2007–2010. Naast de
beoordeling van deze voorstellen wordt er ook een inschatting gemaakt
van hun capaciteit om het programma voorstel uit te voeren. Als onderdeel van de overeenkomst is er de afgelopen jaren gewerkt met een monitoringprotocol ten behoeve van de rapportage op sleutelindicatoren (op
het nivo van inputs, resultaten, doelstellingen en duurzaamheid) die van
tevoren zijn afgesproken in het kader van resultaatgerichte samenwerking.

Tweede Kamer, vergaderjaar 2008–2009, 31 250, nr. 53

2

Er zijn geen MFS-brede afspraken gemaakt met maatschappelijke organisaties over nulmetingen. Dat geldt ook voor NCDO.
De IOB voert dit jaar in het kader van de evaluatieprogrammering van het
ministerie van Buitenlandse Zaken een beleidsdoorlichting uit van het
MFS. Deze evaluatie zal zich concentreren op de mate waarin het
verantwoordingssysteem de benodigde informatie genereert om de doelmatigheid, doeltreffendheid en relevantie van het beleidskader MFS 2007–
2010 en de MFS organisaties te beoordelen. Deze evaluatie zal een
belangrijke bijdrage leveren aan de ontwikkeling van het nieuwe beleidskader. Ik heb u ook een onderzoek naar draagvlak toegezegd tijdens een
debat (op 3 juli 2008) over de toekomstige status van de NCDO. In dit
draagvlakonderzoek, dat nu plaats vindt, wordt gekeken naar draagvlakversterking voor ontwikkelingssamenwerking in bredere zin. Daarbij wordt
stilgestaan bij de resultaten van door NCDO uitgevoerde activiteiten en
draagvlakeffecten.
2
Door wie worden de nulmetingen uitgevoerd? Zijn degenen die de
nulmetingen uitvoeren dezelfde personen als degenen die het betreffende
project uitvoeren of wordt ervoor zorg gedragen dat dat juist niet het
geval is?
In het geval van effectenonderzoek zijn tot nu toe (steekproefsgewijze)
nulmetingen uitgevoerd door lokale consultants onder begeleiding van
deskundigen op het gebied van effectenonderzoek. Deze consultants zijn
niet dezelfde personen als degenen die het betreffende project uitvoeren.
Deze nulmetingen vinden plaats onder verantwoordelijkheid van IOB.
3
Wat kan worden gezegd over de deskundigheid van degenen die de
nulmetingen respectievelijk de dataverzameling uitvoeren?
Ik verwijs naar mijn antwoord op de vorige vraag en benadruk dat bij
nulmetingen in het kader van IOB effectenonderzoeken specifieke deskundigheid op het gebied van statistische en econometrische methoden en
technieken wordt ingezet.
4
Hoe betrouwbaar zijn de steekproeven die ten behoeve van de
nulmetingen worden uitgevoerd?
Bij de opzet van steekproeven ten behoeve van (kwantitatief) effectenonderzoek, door IOB impactevaluatie genoemd, wordt ernaar gestreefd
om zo betrouwbaar mogelijke verbanden tussen interventies en effecten
vast te stellen. Bij iedere impactevaluatie worden de steekproeven voor
het meten van effecten bepaald. Daarbij wordt rekening gehouden met
factoren als verschillende typen activiteiten en heterogeniteit van de
bevolking. Hoe heterogener hoe groter de benodigde steekproef. Alleen
achteraf kan met behulp van kwantitatieve technieken de significantie van
gevonden verbanden worden vastgesteld. Hierover wordt in het evaluatierapport verantwoording afgelegd.
5
Welke personen dragen zorg voor het monitoren van resultaten tijdens de
uitvoering van ontwikkelingsprogramma’s?
In eerste instantie is de uitvoerende organisatie zelf verantwoordelijk voor
het monitoren van de uitvoering van de activiteit en waar nodig bij te
sturen (interne monitoring). Zij rapporteren over de voorgang aan het

Tweede Kamer, vergaderjaar 2008–2009, 31 250, nr. 53

3

Directoraat Generaal Internationale Samenwerking (DGIS) als financier. De
betreffende budgethouder (ambassades of directies) van het DGIS monitoren de voortgang van projecten en programma’s aan de hand van de
ingediende rapportages en de daaraan gekoppelde voortgangsgesprekken
en veldbezoeken (externe monitoring).
6
Kan meer informatie worden gegeven over de aanscherping van het
gebruik van baseline gegevens en voortgangsindicatoren bij de beoordeling van activiteiten en programma’s die begin 2008 werd doorgevoerd?
Per 1 januari 2008 zijn enkele interne regels bij de beoordeling van activiteiten en programma’s aangescherpt. Dat betekent dat vooraf een expliciet verband gelegd moet worden tussen de probleemanalyse en de doelstellingen van de te financieren activiteiten en dat de beoogde resultaten
helder in kaart moeten worden gebracht. Ook moeten deze resultaten
nauwkeuriger worden omschreven en moet vooraf worden aangegeven
op welke wijze zal worden vastgesteld of deze al dan niet zijn behaald op
grond van concrete voortgangs- en effectindicatoren. De kwaliteit van de
beoordelingen van activiteiten zal steekproefsgewijs worden getoetst. Ook
de kwaliteit van eindrapportages van activiteiten, die inzicht moeten
geven in resultaten en de mate waarin voorgenomen activiteiten zijn
uitgevoerd, wordt getoetst.
Naast de aanscherping en vereenvoudiging van instructies wordt er jaarlijks aandacht geschonken aan training van medewerkers op het terrein
van beoordeling en monitoring van activiteiten (activiteitencyclus) en het
beter toegankelijk maken van aanwezige kennis en ervaring op deze
onderwerpen (kennismanagement).

Tweede Kamer, vergaderjaar 2008–2009, 31 250, nr. 53

4