Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2011–2012

31 933

De rol van maatschappelijke organisaties bij
ontwikkelingssamenwerking

Nr. 18

BRIEF VAN DE STAATSSECRETARIS VAN BUITENLANDSE ZAKEN
Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Den Haag, 25 januari 2012
Hierbij bied ik u de recent afgeronde evaluatiestudie aan van de Inspectie
Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) naar de methodische kwaliteit van programma-evaluaties in het Medefinancieringsstelsel I (MFS-I 2007–2010)1.
IOB heeft sinds 2003 toezicht uitgeoefend op de methodische kwaliteit van
programma-evaluaties uitgevoerd in het kader van het Medefinancierings
programma-breed (MFP-b) en dit later voortgezet onder het
Medefinancieringsstelsel-I (MFS-I). In het voorliggende rapport «De
methodische kwaliteit van programma-evaluaties in het Medefinancieringsstelsel I (2007–2010)» constateert IOB dat er gedurende de subsidieperiode 2007–2010 verbeteringen zijn opgetreden in de evaluatiekwaliteit
(dus MFS-I t.o.v. MFP-b). Het sinds 2003 uitgevoerde toezicht en de
advisering door IOB over de evaluatiekwaliteit hebben een aantoonbaar
leereffect gehad. IOB signaleert ook dat op een aantal onderdelen van de
validiteit en betrouwbaarheid van de onderzochte programma-evaluaties
nog kwaliteitsverbetering noodzakelijk is. De bruikbaarheid van de
evaluatie-uitkomsten voor de gebruikers bij MFS-organisaties is over het
algemeen goed.
In deze brief ga ik graag in op de bevindingen uit het rapport en licht ik toe
welke veranderingen zijn aangebracht in de monitoring en evaluatie
architectuur van MFS-II.
Ik verwelkom het leereffect dat is uitgegaan van het IOB-toezicht sinds
2003 en ben blij te kunnen constateren dat evaluaties van organisaties die
al langer onder dit toezicht vallen, beter scoren dan die van de organisaties die relatief nieuwkomer zijn.

1
Ter inzage gelegd bij het Centraal Informatiepunt Tweede Kamer.

kst-31933-18
ISSN 0921 - 7371
’s-Gravenhage 2012

De nieuwe monitoring- en evaluatierichtlijnen voor MFS-II (2011–2015),
zullen, naar mijn overtuiging, leiden tot verbeterd inzicht in de effectiviteit
van de MFS-programma’s.

Tweede Kamer, vergaderjaar 2011–2012, 31 933, nr. 18

1

Bevindingen methodische kwaliteit programma-evaluaties
2007–2010
In het voorliggende rapport heeft IOB de methodische kwaliteit van de
programma-evaluaties die in de periode 2007 t/m 2010 werden verricht,
getoetst aan de kwaliteitscriteria ontleend aan de Regeling Prestatiegegevens en Evaluatieonderzoek (RPE 2006).
Aan de 72 onderzochte evaluaties zijn in totaal 1440 beoordelingsscores
toegekend. Twee derde van de beoordelingsscores is positief. De
resterende scores (een derde) laten in mindere of meerdere mate te
wensen over (scores matig of slecht). Deze tekortkomingen betreffen
vooral de validiteit en betrouwbaarheid.
Ten aanzien van de validiteit spreekt IOB zijn waardering uit voor het feit
dat opdrachtgevers van programma-evaluaties een behoorlijke
voorstelling hebben van wat ze onderzocht willen hebben. Dit blijkt uit
positieve scores voor de operationalisering van probleemstellingen in
onderzoeksvragen. Verbetering behoeft, volgens IOB, de reconstructie van
de interventielogica met bijbehorende definiëring van resultaatniveaus.
Over de betrouwbaarheid constateert IOB dat de meest positieve
waardering de onafhankelijkheid van de onderzoekers betreft, waarvan
het belang wordt benadrukt in de RPE. Daarentegen is er nogal eens
sprake van een tekortschietende aandacht voor de representativiteit van
de onderzochte activiteiten met consequenties voor de generaliseerbaarheid van bevindingen.
De bruikbaarheid van de evaluaties voor de organisaties zelf wordt door
IOB over het algemeen positief beoordeeld. Zo worden onderzoeksvragen
over het algemeen redelijk tot goed beantwoord en zijn bevindingen
bruikbaar voor medewerkers bij MFS-organisaties.
Het samenvattend oordeel van de zijde van IOB luidt dat, hoewel er
verbeteringen zijn opgetreden in de evaluatiekwaliteit, de kwaliteit op
kritische onderdelen nog teveel tekort schiet om er een gefundeerd
oordeel op te kunnen baseren over de effectiviteit van de geëvalueerde
programma’s in termen van bereikte resultaten.
Reactie
Ik ben blij dat IOB spreekt van verbeteringen van de kwaliteit van
programma-evaluaties bij langdurig toezicht. Matig tot slechte scores
komen vooral voor bij organisaties die in het kader van MFS-I voor het
eerst onder het toezicht van de IOB vielen en die hun evaluaties
gebundeld en veelal pas tegen het einde van de subsidieperiode hebben
aangeleverd. Dat ook deze organisaties hun voordeel hebben gedaan met
IOB-toezicht blijkt uit de afdoende kwaliteit van het monitoringprotocol
dat zij voor het MFS-II-programma ontwikkelden en door de keuze voor
deelname aan de gezamenlijke evaluatie (zie verder).
Het rapport van IOB geeft een evenwichtig beeld over de methodische
kwaliteit van programma-evaluaties dat ik onderschrijf. Een substantieel
en groeiend deel van de uitgevoerde programma-evaluaties laat een
overwegend positieve score zien. De slechte scores zijn geconcentreerd
bij een relatief beperkt aantal organisaties dat relatief kort met IOB in
gesprek was over evaluatie aanpak. Met IOB ben ik van mening dat er ten
behoeve van de oordeelsvorming over de effectiviteit van de uitgevoerde
programma’s behoefte is aan verbetering van de evaluatiekwaliteit.
Daartoe heb ik in het MFS-II een aantal maatregelen genomen.
Verbeterslag onder MFS-II (2011–2015)
De aanbevelingen zoals door IOB gedaan in de beperkte beleidsdoorlichting MFS 2007–2010 «Maatgesneden monitoring, het verhaal achter de
cijfers» van april 2009 hebben ten grondslag gelegen aan de opzet van

Tweede Kamer, vergaderjaar 2011–2012, 31 933, nr. 18

2

monitoring- en evaluatierichtlijnen voor MFS-II 2011–2015. Onder MFS-II
(2011–2015) is de maatgesneden monitoring losgelaten en is gekozen
voor een systeem waarbij alle organisaties jaarlijks monitoren en
rapporteren over onderling vergelijkbare resultaatgebieden binnen een
door het ministerie ontwikkeld kader. Dit zal een verbeterde validiteit van
de evaluaties opleveren, doordat er in alle gevallen gerapporteerd en
geëvalueerd wordt over de met de programma’s beoogde resultaten.
Bovendien neemt de vergelijkbaarheid tussen programma’s en de
inzichtelijkheid van de verantwoording toe en daarmee de representativiteit van de onderzochte programma’s. Daarnaast zullen 19 (van de in
totaal 20) MFS-II allianties gezamenlijk hun MFS-II programma’s
evalueren. De gekozen methodologie voor deze gezamenlijke evaluatie
voldoet volgens IOB aan de kwaliteitseisen voor evaluaties. Naar
verwachting zal de gezamenlijke evaluatie het mogelijk maken om valide,
betrouwbare en bruikbare conclusies te trekken over de effectiviteit van de
programma’s. Dit levert unieke mogelijkheden op voor onderlinge
uitwisseling van geleerde lessen tussen de MFS-II allianties.
Voor alle duidelijkheid merk ik op dat verantwoording van organisaties uit
verschillende elementen is opgebouwd. Jaarlijks overleggen de organisaties een inhoudelijk (op basis van bovengenoemde monitoring) en
financieel verslag over het uitgevoerde programma. Tevens vinden
monitoringbezoeken plaats aan het veld. De verkregen informatie wordt
besproken tijdens het jaarlijks te voeren beleidsoverleg tussen de
organisatie en het ministerie.
Ten slotte zijn er de programma-evaluaties om de effectiviteit van de
programma’s te vergroten, die zowel dienen om te kunnen verantwoorden
als te leren.
Ten slotte
Graag complimenteer ik IOB met het bereikte resultaat: enerzijds met het
gedegen en bruikbare evaluatierapport, anderzijds met de geboekte
resultaten van langdurig IOB-toezicht op de kwaliteit van programmaevaluaties van de onderzochte organisaties. Met de opzet van de MFS-II
architectuur en de daarbinnen geïnitieerde evaluaties wordt de ingezette
verbeterslag in de kwaliteit van de verantwoording van subsidiemiddelen
gecontinueerd.
De staatssecretaris van Buitenlandse Zaken,
H. P. M. Knapen

Tweede Kamer, vergaderjaar 2011–2012, 31 933, nr. 18

3