Tweede Kamer der Staten-Generaal

2

Vergaderjaar 2008–2009

27 433

Interdepartementaal Beleidsonderzoek:
Medefinancieringsprogramma

Nr. 70

BRIEF VAN DE MINISTER VOOR ONTWIKKELINGSSAMENWERKING
Aan de Voorzitter van de Tweede Kamer der Staten-Generaal
Den Haag, 11 mei 2009
Hierbij bied ik u de beperkte beleidsdoorlichting over het Medefinancieringsstelsel (MFS) aan, «Maatgesneden Monitoring, het verhaal achter de
cijfers».1 Het gaat daarbij specifiek over de kwaliteit van de gegevens
verkregen via de zogenaamde Maatgesneden Monitoring. Zoals toegezegd wordt deze doorlichting u toegezonden in aanvulling op het BZ jaarverslag 2008, als onderdeel van het experiment «Verbetering verantwoording en begroting». Naast twee eerdere evaluaties over het voorbereidings- en het beoordelingstraject MFS die u eerder zijn toegezonden, is dit
het derde onderzoek dat zal worden meegenomen in de voorbereiding
van het nieuwe MFS. Deze beleidsdoorlichting zal daarom bij het Algemeen Overleg over de rol van maatschappelijke organisaties bij ontwikkelingssamenwerking behandeld kunnen worden.
Halverwege de huidige MFS-looptijd is het nog niet mogelijk om de
effecten van het MFS te meten. Dat is dan ook niet het doel van deze
beperkte beleidsdoorlichting. Doel is wel om van een onderdeel van het
huidige MFS-stelsel, namelijk de Maatgesneden Monitoring, vast te
stellen of het in de toekomst een bijdrage kan leveren aan het meten van
de maatschappelijke effecten van de MFS-subsidies. Hierbij is gekeken
naar de kwaliteit en de bruikbaarheid van de informatie die via Maatgesneden Monitoring wordt verkregen ten behoeve van het MFS-verantwoordingssysteem en de bijdrage die Maatgesneden Monitoring kan
leveren aan de verantwoording over doelmatigheid, doeltreffendheid en
relevantie van het MFS en van de MFS-programma’s.

Ter inzage gelegd bij het Centraal Informatiepunt Tweede Kamer.

Maatgesneden Monitoring is een systeem van monitoring waarbij de
gesubsidieerde organisaties aan de hand van een monitoringsprotocol
zelf hun monitoring kunnen inrichten en daarover aan het ministerie
zullen rapporteren. Hiervoor is voor aanvang van de subsidieverlening
een monitoringsprotocol ingediend. Omdat het huidige MFS stelsel in
werking trad per 2007 heeft deze beleidsdoorlichting voornamelijk betrekking op het introductiejaar van Maatgesneden Monitoring.

KST130840
0809tkkst27433-70
ISSN 0921 - 7371
Sdu Uitgevers
’s-Gravenhage 2009

Tweede Kamer, vergaderjaar 2008–2009, 27 433, nr. 70

1

1

De algemene conclusies ten aanzien van het MFS zijn – hoewel nog zeer
voorlopig – bemoedigend. Herkend wordt dat Nederland zich internationaal koploper toont met een resultaatsgerichte wijze van inrichting en
aansturing van de samenwerking met niet-gouvernementele organisaties.
Het is ook zondermeer positief dat geconcludeerd wordt dat Maatgesneden Monitoring heeft geleid tot het beter zichtbaar maken van beoogde
resultaten en dat Maatgesneden Monitoring het ministerie in staat stelt
beter de resultaatsbereiking te volgen aan de hand van meetbare indicatoren.
Terughoudend zijn de bevindingen over de kwaliteit van de verzamelde
informatie. De kwaliteit van gegevens zou goed kunnen zijn, maar is nog
onvoldoende te achterhalen omdat de kwaliteit van de bronnen niet altijd
kan worden vastgesteld. Ook wordt geconcludeerd dat de monitoringsgegevens nog niet goed geduid kunnen worden, omdat daarvoor noodzakelijke evaluaties nog niet zijn verricht. Hier speelt een rol dat al zo vroeg in
de looptijd van MFS deze beperkte beleidsdoorlichting wordt uitgevoerd.
Niettemin is de constatering van onmiddellijk belang, omdat nog te
verrichten evaluaties nadrukkelijk kunnen worden ingezet om tot betere
duiding van de monitoringsgegevens te komen.
Maatgesneden Monitoring blijkt in de praktijk niet voor monitoring te
worden gebruikt, noch door de MFS-organisaties, noch door het ministerie. Wel wordt het systeem gebruikt voor verantwoording. Dit is een
belangwekkende constatering, omdat monitoring gegevens als zodanig te
weinig verantwoordingswaarde hebben als zij niet zijn gevalideerd door
evaluaties. Dit komt naar voren in de conclusie van IOB dat het monitoringssysteem slechts een beperkte rol speelt in het lerend vermogen van
MFS-organisaties en het ministerie.
Deze indringende conclusies krijgen meer zeggingskracht in combinatie
met de constateringen van IOB dat door gebrek aan richtlijnen de invloed
van Maatgesneden Monitoring op de structuur en inhoud van de beleidsgesprekken tussen MFS-partners en het ministerie – die wel als open en
constructief worden beschouwd door beide partijen – tot nu toe beperkt is
geweest. De capaciteit op het ministerie voor het beheer van het MFS met
Maatgesneden Monitoring om de monitoring bij MFS partners beter te
laten functioneren en het gebruik van monitoringsgegevens te stimuleren,
wordt onvoldoende geacht. De beperkte beleidsdoorlichting van IOB is
daarmee uiterst relevant en goed getimed. Er resteert voldoende tijd om
niet alleen in een volgend MFS-programma, maar nu al, tot verbeteringen
te komen.
Zoals ik de conclusies van IOB relevant acht, zo geldt ook dat ik de aanbevelingen van IOB zeer welkom vind. Het is belangrijk om de potentiële
meerwaarde van Maatgesneden Monitoring beter te benutten. Hiervoor is
het belangrijk scherper te formuleren wat precies doel en functie van
monitoring is. Het gaat hierbij vooral om sturing en bijsturing. Monitoring
kan het proces van leren stimuleren, onder andere door helder te maken
waar behoefte is aan nadere informatie door veldbezoeken, overleg of
evaluaties. Monitoring voedt daarmee de verantwoording, maar kan nooit
afdoende zijn voor verantwoording. Het is noodzakelijk om de betekenis
van monitoringsgegevens goed te kunnen duiden alvorens sterke conclusies te trekken. In die zin zijn evaluaties een kernwaarde in de verantwoording. IOB beveelt aan meer aandacht te schenken aan evaluaties en daar
ben ik groot voorstander van. Niet per se meer evaluaties, maar wel
gerichter op de leervragen en op onderbouwing van de kwaliteit van
beschikbare informatie. Ook ben ik het eens met de aanbeveling om
duidelijker richtlijnen voor Maatgesneden Monitoring op te stellen,
waarbij overigens vermeden moet worden dat Maatgesneden Monitoring

Tweede Kamer, vergaderjaar 2008–2009, 27 433, nr. 70

2

een keurslijf wordt. Maar een goede samenhang tussen monitoring,
verantwoording en dialoog is wenselijk voor alle betrokkenen. Naarmate
conclusies in een dialoog scherper getrokken kunnen worden, is ook de
investering in onderbouwing van conclusies meer de moeite waard. Dit
geldt niet alleen voor de relatie tussen ministerie en MFS-partner, maar
ook voor de te leren lessen tussen partners onderling en samen met
andere spelers zoals kennisinstellingen of niet onder het MFS opererende
organisaties. Juist voor het delen van dergelijke lessen is adequate bestaffing op het departement nodig. Ik neem daarmee alle aanbevelingen van
IOB volledig over.
De aanbevelingen op langere termijn voor zover niet in het verlengde van
wat hierboven al is aangeduid, hebben betrekking op een explicieter
inzicht van de «theories of changes» van MFS-partners, het instellen van
jaarlijkse rapportages over afwijkingen in de realisatie van outputs ten
opzichte van planning en tweejaarlijks als het gaat om zgn. outcomes of
maatschappelijke effecten. Hierop ben ik al in gegaan in de beleidsnotitie
’Samenwerken, Maatwerk, Meerwaarde1.
Een eerste belangrijke verschuiving die ik heb aangekondigd is die van
monitoren op kwantiteit naar monitoren op kwaliteit. De zichtbaarheid van
resultaten heeft in het systeem van Maatgesneden Monitoring de meeste
aandacht gekregen. Het is echter van even groot belang om inzichtelijk te
maken hoe deze resultaten zijn behaald. Door te werken met een methodiek die de verschillende veronderstelde stappen in het veranderingsproces weergeeft en meetbaar maakt, kunnen aannames goed worden
getoetst en tijdig bijstellingen worden doorgevoerd. Niet zozeer de vraag
of resultaten worden gehaald, maar hoe die moeten worden behaald
dringt zich dan op. Dit haalt de meer kwalitatieve vragen naar voren.
Een tweede belangrijke verschuiving in het volgende MFS is het verleggen van de focus op verantwoording naar een focus op leren. In het
huidige systeem ligt de focus onbedoeld sterk op verantwoording. Dit is
ontstaan door de nadruk op een jaarlijkse monitoring van resultaten.
Resultaten zijn enorm belangrijk in termen van verantwoording, maar op
zich zelf biedt de vraag hoe die resultaten al dan niet tot stand komen veel
meer inzicht, die ook in andere situaties en bij andere programma’s van
belang kunnen zijn. Evaluaties zijn een goed middel om leren te bevorderen. Ook andere en soms goedkopere vormen van leren zoals veldbezoek of dialoog kunnen worden toegepast. Welke leervorm het meest
geschikt is hangt deels af van de vragen die worden gesteld. Maatgesneden Monitoring kan en moet helpen om die vragen te stellen en
daarvoor de juiste vorm te vinden.
IOB beveelt nog aan om niet zozeer op stelselniveau evaluaties te verrichten, maar veeleer op programmaniveau. Het diverse karakter van MFS-programma’s leent zich niet of nauwelijks voor stelselevaluaties. Niettemin
acht ik het van belang dat zicht wordt verkregen op de centrale vraag
achter MFS-subsidieverleningen, nl. of de investering in maatschappelijke
organisaties daadwerkelijk de verwachte toegevoegde waarde weet te
realiseren. Door goede combinaties van programma-evaluaties die
inzoomen op de verschillende rollen die organisaties in onderscheiden
landen kunnen spelen, kan dat totaal overzicht worden opgebouwd. Ik
beschouw een dergelijk totaal overzicht als een wezenlijk onderdeel van
de verantwoording over investeringen met publieke middelen.
De minister voor Ontwikkelingssamenwerking,
A. G. Koenders
1

Toegezonden aan Tweede Kamer op 14 april
jl. (kamerstuk 31 933, nr. 1).

Tweede Kamer, vergaderjaar 2008–2009, 27 433, nr. 70

3