Organisatie van beleidsevaluatie; Rapport
Staten-Generaal — Kamerstuk 
Datum: 2014-07-09 00:00:00.000000
Rechtsgebied: Wetgeving


(function (window, document, dataLayerName, id) {
 window[dataLayerName] = window[dataLayerName] || [], window[dataLayerName].push({ start: (new Date).getTime(), event: "stg.start" }); var scripts = document.getElementsByTagName('script')[0], tags = document.createElement('script');
 function stgCreateCookie(a, b, c) { var d = ""; if (c) { var e = new Date; e.setTime(e.getTime() + 24 * c * 60 * 60 * 1e3), d = "; expires=" + e.toUTCString() } document.cookie = a + "=" + b + d + "; path=/; Secure" }
 var isStgDebug = (window.location.href.match("stg_debug") || document.cookie.match("stg_debug")) && !window.location.href.match("stg_disable_debug"); stgCreateCookie("stg_debug", isStgDebug ? 1 : "", isStgDebug ? 14 : -1);
 var qP = []; dataLayerName !== "dataLayer" && qP.push("data_layer_name=" + dataLayerName), qP.push("use_secure_cookies"), isStgDebug && qP.push("stg_debug"); var qPString = qP.length > 0 ? ("?" + qP.join("&")) : "";
 tags.async = !0, tags.src = "https://koop.piwik.pro/containers/" + id + ".js" + qPString, scripts.parentNode.insertBefore(tags, scripts);
 !function (a, n, i) { a[n] = a[n] || {}; for (var c = 0; c < i.length; c++)!function (i) { a[n][i] = a[n][i] || {}, a[n][i].api = a[n][i].api || function () { var a = [].slice.call(arguments, 0); "string" == typeof a[0] && window[dataLayerName].push({ event: n + "." + i + ":" + a[0], parameters: [].slice.call(arguments, 1) }) } }(i[c]) }(window, "ppms", ["tm", "cm"]);
 })(window, document, 'dataLayer', 'f8b9eee5-8d9c-4ea1-abd5-83e174f29813');
 
 
 
Direct naar content
Navigatie
Contextinformatie
Publicatie
Acties
Inhoudsopgave
Gerelateerde informatie

Menu

U bent nu hier: 
Publicaties
Officiële publicaties

Inloggen

Primaire navigatie

Andere sites binnen Overheid.nl
Home
Uitgebreid zoeken
Mijn abonnementen
Help

Andere sites binnen Overheid.nl

Berichten over uw Buurt
Zoals vergunningen, bouwplannen en lokale regelgeving.

Rondom uw woonadres
Rondom een zelfgekozen adres

Dienstverlening
Zoals belastingen, uitkeringen en subsidies.

Naar dienstverlening

Beleid & regelgeving
Officiële publicaties van de overheid.

Naar beleid & regelgeving

Contactgegevens overheden
Adressen en contactpersonen van overheidsorganisaties.

Naar overheidsorganisaties

 
 
 
U bent hier:

Home

Kamerstuk 27065, nr. 2

 
 
 

Kamerstuk

Datum publicatie
Organisatie
Vergaderjaar
Dossier- en ondernummer

30-03-2000

Tweede Kamer der Staten-Generaal

1999-2000

27065 nr. 2

 

 

 
 
 Toon meer van: Inhoudsopgave
 
 

 
 AanhefLichaamInhoudSAMENVATTING1. INLEIDING1.1 Achtergrond1.1.1 Aandacht voor beleidsevaluatie1.1.2 Taken voor de centrale directies Financieel-Economische
Zaken1.1.3 Nadere invulling: het referentiekader in Hafir1.1.4 Huidige situatie1.2 Onderzoek1.2.1 Aanleiding1.2.2 Probleemstelling1.3 Normen1.4 Organisatie van beleidsevaluatie1.5 Van beleidsbegroting tot beleidsverantwoording1.6 Opbouw van het rapport2 AFDEKKING VAN BELEID MET BELEIDSEVALUATIEONDERZOEK2.1 Normen2.2 Toepassing van de normen2.3 ResultatenTabel 1: Bevindingen op de normen over afdekking 2.4 Aanbevelingen3 INZICHT IN DE KWALITEIT VAN BELEIDSEVALUATIEONDERZOEK3.1 Norm3.2 Toepassing van de norm3.3 ResultatenTabel 2: Bevindingen op de norm inzicht in kwaliteit 3.4 Aanbeveling4 INZICHT IN HET GEBRUIK VAN BELEIDSEVALUATIEONDERZOEK4.1 Normen4.2 Toepassing van de normen4.3 ResultatenTabel 3: Bevindingen op de normen voor inzicht in gebruik 4.4 Aanbevelingen5 EX-ANTE-EVALUATIEONDERZOEK5.1 Norm5.2 Toepassing van de norm5.3 ResultatenTabel 4: Bevindingen op de norm voor inzicht in ex-ante-evaluatieonderzoek 5.4 Aanbeveling6 SAMENHANGENDE INZET VAN DE EVALUATIE-INSTRUMENTEN6.1 Norm6.2 Toepassing van de normen6.3 ResultatenTabel 5: Bevindingen bij de samenhangende inzet 6.4 Aanbeveling7 CONCLUSIES EN AANBEVELINGEN8 REACTIES BEWINDSPERSONEN EN NAWOORD REKENKAMER8.1 Inleiding8.2 Algemene reacties en nawoord8.3 Reactie en nawoord over afdekking8.4 Reactie en nawoord over kwaliteitsborging8.5 Reactie en nawoord over gebruik8.6 Reacties en nawoord over ex-ante-evaluatieonderzoek8.7 Reacties en nawoord over optimale mix8.8 Reactie Ministerie van BZK en nawoordBIJLAGE 1 OVERZICHT VAN CONCLUSIES, AANBEVELINGEN
EN TOEZEGGINGENBIJLAGE 2 TOTAALOVERZICHT SCORES OP ALLE NORMEN
 

 
 
 Toon meer van: Extra informatie
 
 

 
 

Informatie over publicatie

 

 

 
 Toon meer van: Gerelateerd
 
 

 
 Publicaties in kamerdossier

Kamerdossier 27065Toon alle publicaties in het hoofddossier

 

 
 
 Geconsolideerde regelgeving

 

 
 
 Geconsolideerde regelgeving

 

 
 
 Publicaties referendum

 

 

 

 

 

Authentieke versie (PDF)
bestandsgrootte: 89 Kb

Informatie

Gerelateerd

Printen

Delen

 
 
 
27 065Organisatie van beleidsevaluatienr. 2RAPPORTInhoud1Inleiding71.1Achtergrond7 1.1.1Aandacht voor beleidsevaluatie7 1.1.2Taken voor de centrale directies
Financieel-Economische Zaken7 1.1.3Nadere invulling: het referentiekader
in Hafir7 1.1.4Huidige situatie71.2Onderzoek8 1.2.1Aanleiding81.2.2Probleemstelling8 1.3Normen81.4Organisatie van
beleidsevaluatie9 1.5Van beleidsbegroting tot beleidsverantwoording9 1.6Opbouw van het rapport10    2Afdekking van beleid met beleidsevaluatieonderzoek112.1Normen112.2Toepassing van de normen11 2.3Resultaten122.4Aanbevelingen12    3Inzicht in de kwaliteit van beleidsevaluatieonderzoek133.1Norm13 3.2Toepassing van de norm133.3Resultaten13 3.4Aanbeveling14   4Inzicht in het gebruik van beleidsevaluatieonderzoek154.1Normen154.2Toepassing van de normen15 4.3Resultaten164.4Aanbevelingen17   5Ex-ante-evaluatieonderzoek185.1Norm18 5.2Toepassing van de norm185.3Resultaten18 5.4Aanbeveling19   6Samenhangende inzet van de evaluatie-instrumenten206.1Norm206.2Toepassing van
de normen20 6.3Resultaten206.4Aanbeveling21    7Conclusies en aanbevelingen23   8Reacties bewindspersonen en nawoord Rekenkamer248.1Inleiding248.2Algemene reacties en nawoord24 8.3Reactie en nawoord over afdekking25 8.4Reactie en nawoord
over kwaliteitborging26 8.5Reactie en nawoord over gebruik268.6Reacties en nawoord over ex-ante-evaluaties278.7Reacties en nawoord
over optimale mix288.8Reactie Ministerie van BZK en nawoord29    Bijlage 1 Overzicht
van conclusies, aanbevelingen en toezeggingen31Bijlage 2 Totaaloverzicht
scores op alle normen32SAMENVATTINGDe Algemene Rekenkamer heeft in 1999 een rijksbreed vergelijkend onderzoek
gedaan naar de organisatie van het beleidsevaluatieonderzoek bij de afzonderlijke
ministeries, in het bijzonder de betrokkenheid daarbij van de centrale directies
Financieel-economische Zaken (FEZ).De Rekenkamer is van mening dat de organisatie van het beleidsevaluatieonderzoek
moet worden verbeterd. Zij signaleert het risico dat het beleid binnen de
voorgeschreven termijn van vijf jaar niet volledig wordt afgedekt met beleidsevaluaties.
Bovendien is de Rekenkamer bezorgd over het feit dat er onvoldoende monitoring
is als het gaat om de methodisch-technische kwaliteit van het beleidsevaluatieonderzoek,
en om de mate waarin de resultaten daarvan daadwerkelijk worden gebruikt in
de begrotings- en beleidscyclus.In de Comptabiliteitswet is vastgelegd dat de afzonderlijke ministeries
de doelmatigheid van hun beheer, organisatie en beleid periodiek dienen te
onderzoeken. In het Handboek Financiële Informatie en Administratie (Hafir)
is voorts vastgelegd dat de directies FEZ, vanwege hun centrale, onafhankelijke
positie in de organisatie, het evaluatieonderzoek dienen te stimuleren en
coördineren.De Rekenkamer heeft de Comptabiliteitswet en Hafir als uitgangspunt genomen
voor de normen in haar onderzoek. Bij ieder ministerie is beoordeeld in hoeverre
de directie FEZ invulling geeft aan haar coördinerende en stimulerende
taak.De Rekenkamer heeft vastgesteld dat de directies FEZ van de meeste ministeries
geen inzicht hadden in de mate waarin de ministeries voldeden aan het voorschrift
om periodiek (eens in de vijf jaar) alle beleid te evalueren. Afdekking van beleidsterreinen met evaluatieonderzoek werd niet
of op onvoldoende detailniveau gemonitord.De Rekenkamer beveelt aan op korte termijn een plan van aanpak te maken
voor de monitoring van de afdekking van beleidsterreinen met evaluatieonderzoek.De Rekenkamer heeft voorts vastgesteld dat de meeste directies FEZ geen
inzicht hadden in de vraag of de kwaliteit van evaluatieonderzoek voldoende was gewaarborgd. Daardoor bestaat het risico dat kwalitatief
ontoereikende evaluaties worden gebruikt. Met het oog op de toekomstige verantwoording
in het kader van «Van beleidsbegroting tot beleidsverantwoording»
(VBTB)1, waarbij evaluatieonderzoek belangrijke
gegevens verschaft, is dit ongewenst. De Rekenkamer vindt dat de directies
FEZ beter toezicht moeten houden op de opzet en werking van de kwaliteitswaarborgen
voor het beleidsevaluatieonderzoek.Wat het gebruik van onderzoeksresultaten bij de begrotingscyclus betreft concludeert de Rekenkamer dat het toezicht daarop door de
directies FEZ relatief goed wordt nageleefd. Niettemin is er bij een aantal
departementen ruimte voor verbetering. De Rekenkamer beveelt aan dat die directies
FEZ waar verbetering nodig is, het gebruik van resultaten van evaluaties beter
waarborgen. Zij denkt daarbij bijvoorbeeld aan een instrument om de werking
van de waarborgen voor gebruik (steekproefsgewijs) te monitoren.Geen van de ministeries voldeed strikt aan de Hafir-norm dat de directies
FEZ moeten beoordelen of resultaten van onderzoek gemeld
zouden moeten worden aan de politieke top. Wel waren er ministeries
waar een relatief onafhankelijke partij, zoals de Bestuursraad,
deze beoordeling uitvoerde.De Rekenkamer beveelt aan dat de ministeries die op dit punt in gebreke
blijven alsnog waarborgen dat dergelijke besluiten worden genomen door een
van de beleidsdirecties onafhankelijk organisatieonderdeel.De meeste directies FEZ bleken onvoldoende te kunnen aangeven of binnen
hun ministerie nieuw beleid ex ante geëvalueerd
werd, of dat op grond van een zorgvuldige afweging was besloten geen ex-ante-onderzoek
uit te voeren. De Rekenkamer beveelt daarom aan dat de departementen deze
afweging verplicht stellen bij nieuw of gewijzigd beleid. De directies FEZ
kunnen de controle op de toepassing van ex-ante-evaluaties uitoefenen op basis
van de melding van nieuw of gewijzigd beleid (waarbij onderbouwd afzien van
ex ante onderzoek ook tot de mogelijkheden behoort). De directies FEZ dienen
ervoor te zorgen dat zij ook op de hoogte zijn van nieuw of gewijzigd beleid
zonder financiële consequenties.De meeste directies FEZ bleken niet structureel aandacht te hebben voor
een samenhangende inzet van beleidsevaluatie-instrumenten. De Rekenkamer beveelt aan dat de directies FEZ van de departementen
hieraan veel meer aandacht besteden. De relatie tussen kengetallen, organisatiedoorlichtingen
en evaluaties zou volgens de Rekenkamer extra aandacht moeten krijgen, omdat
deze instrumenten elkaar aanvullen.Het totaalbeeld van de invulling van de evaluatiefunctie door de directies
FEZ laat grote verschillen tussen de ministeries zien. Zo is de invulling
bij het Ministerie van Defensie en Buitenlandse Zaken (BuiZa) relatief goed
te noemen. Bij de Ministeries van Binnenlandse Zaken en Koninkrijksrelaties
(BZK), Volksgezondheid, Welzijn en Sport (VWS), Volkshuisvesting, Ruimtelijke
Ordening en Milieu (VROM) en Verkeer en Waterstaat (V&W) is relatief veel
werk te doen.De minister van Financiën heeft een gecoördineerde reactie op
de rijksbrede aspecten van het onderzoek gegeven. De overige ministers hebben
aanvullend elk een individuele reactie gegeven. Alleen de minister van BZK
heeft zich niet aangesloten bij de gecoördineerde reactie. Hij is van
mening dat het normenkader van het onderzoek een gemeenschappelijke basis
ontbeert, door de nadere invulling die de Rekenkamer heeft gegeven aan de
bestaande regelgeving. De regelgeving aangaande de taken van de directie FEZ
voor de evaluatiefunctie wenst de minister slechts beperkt in te vullen. De
Rekenkamer vindt de invulling die de minister van BZK geeft aan de evaluatiefuctie
onvoldoende en zij betreurt het dat de minister van BZK deze beperking als
enige toepast. De Rekenkamer ziet ook bij het ministerie van BZK voldoende
mogelijkheden voor invulling van de taken van de directie FEZ op dit punt.De minister van Financiën erkent in zijn reactie dat een deel van
de thans gestelde normatiek in bestaande regelgeving onvoldoende duidelijk
is. Hij doet hiervoor toezeggingen ter verbetering.Het Ministerie van Financiën stelt dat de voorstellen die gemaakt
zijn in het kader van het VBTB-traject een handvat lijken te bieden voor een
nadere concretisering van de norm over afdekking van beleid met evaluaties.
De Rekenkamer ziet hierin goede aanknopingspunten. Zij benadrukt het belang
van een voldoende detaillering van de beleidsterreinen om te komen tot een
zinvol beeld van de afdekking.De minister van Financiën is het in zijn gecoördineerde reactie
met de Rekenkamer eens dat de kwaliteitseisen voor ex-ante-evaluatieonderzoek
ook behoren te gelden voor ex-post-evaluatieonderzoek. Hij wil de kwaliteit
en het gebruik van evaluatieonderzoek bevorderen door te leren van elkaars
sterke punten en zegde toe dit te faciliteren in de Interdepartementale Begeleidingsgroep
Prestatiegegevens en beleidsevaluatieonderzoek. De Rekenkamer constateert
met instemming dat de meeste ministeries het belang van goede waarborgen voor
kwaliteit en gebruik van evaluatieonderzoek inzien en op dit gebied ook acties
gaan ondernemen.De Minister van Financiën vindt het Rekenkameronderzoek een extra
impuls voor ex-ante-evaluatieonderzoek, dat in veel gevallen een onmisbare
schakel vormt in het afwegen van alternatieve beleidsmaatregelen. Hij wil
het begrippenkader terzake verduidelijken. De ministers van Justitie, BuiZa,
Onderwijs, Cultuur en Wetenschappen (OCenW) en VWS zien geen toegevoegde waarde
in een verplichte afweging om ex-ante-onderzoek uit te voeren bij nieuw of
gewijzigd beleid. De ministers van Justitie en BuiZa geven aan dat behalve
ex-ante-evaluaties ook andere instrumenten een waardevolle bijdrage kunnen
leveren aan de kwaliteit van nieuw beleid.Ook de Rekenkamer is vanzelfsprekend van mening dat een verplichte afweging
geen ritueel of louter administratieve handeling moet zijn. Zij vindt ex-ante-onderzoek
echter een dermate belangrijk instrument ter waarborging van de kwaliteit
van beleidsvoorbereiding dat een verplichte afweging van de keuze voor dit
instrument noodzakelijk is.De Rekenkamer voelt zich gesteund in haar constatering dat de optimale
mix nadere operationalisering behoeft. Zij is verheugd dat dit in interdepartementaal
verband nader uitgewerkt gaat worden. Een werkbare definitie van het begrip
optimale mix vormt een belangrijke basis voor een doelmatiger inzet van evaluatie-instrumenten
voor het evalueren van overheidsbeleid.Verder signaleert de minister van Financiën dat de normen geïnterpreteerd
zouden kunnen worden als een verplicht voorgeschreven «zware inhoudelijke
regierol» van de directie FEZ. De Rekenkamer is het met de minister
van Financiën eens dat niet alle taken bij de directie FEZ gelocaliseerd
hoeven te zijn. Dit laat naar haar oordeel onverlet dat indien sprake is van
uitvoering door andere actoren er voldoende waarborgen moeten zijn dat de
directies FEZ de eindverantwoordelijkheid voor taken uit hoofde van de evaluatiefunctie
kunnen blijven dragen.In antwoord op een opmerking van diverse ministers wil de Rekenkamer benadrukken
dat haar onderzoek zich alleen gericht heeft op de invulling van de taken
die de directies FEZ hebben en dat hieruit derhalve geen conclusies te trekken
zijn over de kwaliteit van de evaluatieonderzoeken zelf.1. INLEIDING1.1 Achtergrond1.1.1 Aandacht voor beleidsevaluatieDe afgelopen jaren heeft beleidsevaluatie bij het Rijk steeds meer aandacht
gekregen. In 1991 formuleerde de regering het standpunt1 dat beleidsevaluatie een onderdeel is van beleidsprocessen. Dit betekent
dat elk beleid in principe periodiek onderwerp moet zijn van evaluatieonderzoek.
Daartoe werd artikel 17 van de Comptabiliteitswet uitgebreid2 met de verantwoordelijkheid van de afzonderlijke ministers voor evaluatieonderzoek.
In lid 1 van dit artikel staat hierover:«[...] Onze ministers dragen tevens zorg voor het periodiek onderzoeken
van de doelmatigheid van het beheer, van de organisatie en van het beleid
dat aan de begroting ten grondslag ligt.»1.1.2 Taken voor de centrale directies Financieel-Economische
ZakenIn 1991 is tevens een nadere invulling gegeven aan de organisatorische
inbedding van beleidsevaluatie, ook wel de «evaluatiefunctie»
genoemd. De regering vond het wenselijk om het coördineren en stimuleren
van evaluatieonderzoek bij een centrale organisatorische eenheid binnen het
ministerie onder te brengen, om zo een zekere mate van onafhankelijkheid ten
opzichte van de (ambtelijke) beleidsmakers en uitvoerders te waar- borgen.
Hiertoe heeft men specifiek gedacht aan een stimulerende en coördinerende
rol voor de centrale directies Financieel-Economische Zaken (hierna: de directies
FEZ) van de verschillende departementen.De taken voor de directies FEZ in de organisatie van beleidsevaluatie
zijn vastgelegd in het Besluit taak Centrale directie Financieel-Economische
Zaken bij ministeries (hierna: Besluit taak FEZ). Dit besluit is opgenomen
in het Handboek Financiële Informatie en Administratie Rijksoverheid
(Hafir). Volgens dit besluit ligt het op de weg van de directies FEZ om na
te gaan of en in hoeverre de uitkomsten van beleidsevaluatieonderzoeken worden
betrokken bij de begrotingsvoorbereiding. Ook dient de directeur FEZ tekortkomingen
in beleidsevaluatieonderzoek te signaleren en de minister te adviseren over
de wijze waarop de tekortkomingen kunnen worden opgeheven. Met de komst van
het Besluit taak FEZ is de positie van de directies FEZ op het terrein van
beleidsevaluatie versterkt.1.1.3 Nadere invulling: het referentiekader in HafirIn 1994 heeft de regering, in vervolg op de aanvulling van de Comptabiliteitswet,
een notitie opgenomen in Hafir.3 In deze notitie,
getiteld «Referentiekader voor evaluatie-instrumenten»,4 zijn nadere eisen vastgelegd over onder meer de kwaliteit
van evaluatieonderzoeken en de melding van deze onderzoeken aan de Rekenkamer.
Het Referentiekader is eveneens opgenomen in Hafir. Het betreft feitelijk
een aanvulling op en nadere uitwerking van de regelgeving die is opgenomen
in de Comptabiliteitswet en de jaarlijkse Geïntegreerde Rijksbegrotingsaanschrijving
en -voorschriften.1.1.4 Huidige situatieIn juni 1998 is het Referentiekader in Hafir herzien en op onderdelen
uitgebreid.5 Hierin wordt onder andere gesteld
dat de inzet van ex-post-evaluatieonderzoek per beleidsterrein
ten minste eens in de vijf jaar dient plaats te vinden. Een andere belangrijke
wijziging ten opzichte van de notitie uit 1994 is dat de kwaliteitscriteria
met betrekking tot de bruikbaarheid en de te hanteren evaluatiemethodiek eenduidiger
zijn verwoord en aangescherpt. Daarnaast wordt er aandacht besteed aan het
inzetten van de verschillende evaluatie-instrumenten in hun onderlinge samenhang.
De drie evaluatie-instrumenten die worden onderscheiden zijn: (1) ex-ante-
en ex-post-evaluatieonderzoek, (2) organisatiedoorlichtingen, en (3) systemen
van kengetallen en indicatoren. De ideale samenhangende inzet van deze drie
typen instrumenten wordt in het referentiekader de «optimale mix»
genoemd. In dit onderzoek ligt de nadruk op ex-ante- en ex-post-evaluatieonderzoek.
De andere twee instrumenten komen meer indirect aan de orde bij het onderwerp
«optimale mix».Rijksbreed levert beleidsevaluatie inmiddels een geschakeerd palet aan
producten op. Jaarlijks worden vele honderden kengetallen verzameld, waarvan
een groot deel is terug te vinden in de begroting en financiële verantwoording.
In toenemende mate zeggen deze kengetallen iets over resultaten van beleid.
Uit het overzicht van de verplichte1 melding aan
de Rekenkamer, blijkt dat er in 1998 rijksbreed veertig organisatiedoorlichtingen
en 372 projectmatige evaluatieonderzoeken zijn afgerond.1.2 Onderzoek1.2.1 AanleidingIn de periode tussen 1 oktober 1998 en 8 april 1999 heeft de Rekenkamer
in een voorstudie onderzocht in welke mate binnen de rijksoverheid invulling
is gegeven aan de uitvoering van de hierboven beschreven evaluatieverplichting.
De uitkomsten van deze voorstudie gaven aanleiding voor een onderzoek. De
voorliggende nota bevat de resultaten van dit rijksbreed vergelijkende onderzoek.1.2.2 ProbleemstellingDit onderzoek beoogt inzichtelijk te maken in welke mate de rijksoverheid
invulling heeft gegeven aan de uitvoering van haar evaluatieverplichting,
conform de normen die hieraan gesteld kunnen worden vanuit de Comptabiliteitswet
en Hafir.Aangezien deze doelstelling nogal veelomvattend is, is gekozen voor een
rijksbreed vergelijkend onderzoek naar de organisatorische infrastructuur
rond de invulling van beleidsevaluatie. Daarbinnen is als object van dit onderzoek
gekozen: de invulling (in opzet en voor zover mogelijk in de praktijk) die
de centrale directie FEZ heeft gegeven aan haar taken en verantwoordelijkheden
voor beleidsevaluatieonderzoek.De probleemstelling van het onderzoek is als volgt geformuleerd:– Op welke wijze geven de directies FEZ op dit moment, in opzet
en voor zover na te gaan in de praktijk, invulling aan hun verantwoordelijkheden
inzake het evalueren van beleid?1.3 NormenDe door de Rekenkamer gehanteerde normen voor haar beoordeling van de
wijze waarop de directies FEZ invulling hebben gegeven aan hun taak in de
organisatorische inbedding van beleidsevaluatie zijn vrijwel allemaal rechtstreeks overgenomen uit de Comptabiliteitswet, het Besluit taak
FEZ en het Referentiekader voor evaluatie-instrumenten. In enkele gevallen
heeft de Rekenkamer de normen uit Hafir gepreciseerd. Het belangrijkste voorbeeld
hiervan is dat in Hafir wordt vermeld dat de directies FEZ moeten nagaan of
ex-ante-evaluaties zijn uitgevoerd met gebruikmaking van de juiste methoden
en technieken van beleidsanalyse. De Rekenkamer is echter van mening dat deze
eis niet alleen dient te gelden voor ex-ante-, maar ook voor ex-post-evaluaties.
In haar onderzoek heeft zij daarom de norm gehanteerd dat de directies FEZ
beschikken over het genoemde inzicht voor alle soorten beleidsevaluaties. Door de departementen wordt deze nadere invulling
als logisch ervaren.1.4 Organisatie van beleidsevaluatieBij alle departementen wordt het concept van integraal management toegepast.
Integraal management houdt in dat de bevoegdheden voor beleid en beheer in
belangrijke mate decentraal in de organisatie, bij de directies, zijn gelegd.Zoals in paragraaf 1.1 is aangegeven is aan de directie FEZ de coördinerende
en stimulerende taak inzake evaluatieonderzoek toebedeeld. Door toepassing
van het concept van integraal management zijn de aan de directie FEZ toebedeelde
taken in de praktijk over verschillende actoren verdeeld. De belangrijkste
actoren naast de directie FEZ zijn in dit verband de beleidsdirecties en,
voor zover van toepassing, de financiële afdelingen bij de beleidsdirecties.
Dit laat naar het oordeel van de Rekenkamer onverlet dat indien sprake is
van uitvoering door andere actoren, er voldoende waarborgen moeten zijn dat
de directies FEZ de eindverantwoordelijkheid voor die taken kunnen blijven
dragen.De verantwoordelijkheid voor het uitvoeren en gebruiken van evaluatieonderzoek
ligt bij elk ministerie bij de beleidsdirecties. Bij twee departementen, de
Ministeries van Justitie en Sociale Zaken en Werkgelegenheid, is centraal
een grote onderzoeksafdeling aanwezig. Bij deze twee departementen is er hierdoor,
ondanks het concept van integraal management, sprake van een sterke centrale
sturing op het gebied van beleidsevaluatieonderzoek. De financiële afdelingen
bij de beleidsdirecties van meer decentraal georganiseerde departementen,
worden eerder gezien als gedecentraliseerde directies FEZ en kunnen taken
vervullen die aan FEZ zijn toebedeeld. Dit is bijvoorbeeld het geval bij het
Ministerie van Binnenlandse Zaken en Koninkrijksrelaties.Bevindingen over het Ministerie van Algemene Zaken zijn niet in dit rapport
opgenomen. Het ministerie is onvergelijkbaar met de andere ministeries, omdat
Algemene Zaken geen eigen beleidsterreinen dan wel verantwoordelijkheden voor
beleidsterreinen heeft. Hierdoor is de inzet van beleidsevaluatie-instrumenten
bij Algemene Zaken maar in enkele gevallen relevant.1.5 Van beleidsbegroting tot beleidsverantwoordingDe ontwikkeling die de organisatie van beleidsevaluatie heeft doorgemaakt,
kent belangrijke parallellen met de ontwikkelingen die voorzien zijn in het
traject «Van beleidsbegroting tot beleidsverantwoording» (VBTB,
mei 1999).Door VBTB zullen de begroting en de jaarlijkse verantwoording zich in
de komende jaren ontwikkelen van documenten waarin de financiële informatie
centraal staat tot documenten waarin op samenhangende wijze informatie
wordt verstrekt over beleid (activiteiten, prestaties en effecten), bedrijfsvoering
(managementverklaring) en financiën. Een belangrijk deel van deze informatie
zal resultaten betreffen van evaluatie-instrumenten. De kwaliteit van informatie
in de beleidsbegroting en vooral de beleidsverantwoording is daarmee voor
een belangrijk deel afhankelijk van een goede monitoring van de afdekking
van het beleid en van de kwaliteit van beleidsevaluaties, twee belangrijke
taken van de directies FEZ.1.6 Opbouw van het rapportHoofdstuk 2 van dit rapport gaat in op de het inzicht van de directies
FEZ in de mate van afdekking van beleid met beleidsevaluatieonderzoek. Hoofdstuk
3 en 4 behandelen het zicht dat de directies FEZ hebben op de kwaliteit respectievelijk
het gebruik van beleidsevaluatieonderzoek. Hoofdstuk 5 bespreekt het inzicht
bij de directies FEZ in de mate waarin ex-ante-evaluatieonderzoek plaatsvindt.
In hoofdstuk 6 wordt ingegaan op de samenhangende inzet van de evaluatie-instrumenten.Elk van deze hoofdstukken zal beginnen met een inleiding op de normen
die zijn gehanteerd. Hierna wordt een toelichting op de verschillende scores
gegeven en worden per departement tabelsgewijs de resultaten gepresenteerd.
Daarbij worden voor de departementsnamen de volgende afkortingen gebruikt:Ministerie van Binnenlandse
Zaken en KoninkrijksrelatiesBZK Ministerie van Buitenlandse ZakenBuiZa Ministerie van DefensieDEF Ministerie van Economische zakenEZ Ministerie van FinanciënFINMinisterie van
JustitieJUST Ministerie van Landbouw, Natuurbeheer en VisserijLNV Ministerie van Onderwijs, Cultuur
en WetenschappenOCenW Ministerie van Sociale Zaken en WerkgelegenheidSZW Ministerie van Verkeer
en WaterstaatV&WMinisterie van Volksgezondheid, Welzijn en SportVWSMinisterie van Volkshuisvesting,
Ruimtelijke Ordening en MilieuVROMDe weergave van de resultaten wordt in elk hoofdstuk gevolgd door de aanbevelingen
voor de departementen die op het betreffende aspect geen «voldoende»
hebben gescoord. Voor zover mogelijk is verder in elk hoofdstuk een casus
opgenomen als «best practice».Hoofdstuk 7 bevat de algemene conclusies en aanbevelingen.De Rekenkamer heeft eind januari 2000 haar bevindingen voor commentaar
naar de twaalf ministers van de onderzochte ministeries gezonden. Zij hebben
hierop eind februari 2000 gereageerd. In het afsluitende hoofdstuk 8 zijn
de reacties van de bewindspersonen op hoofdlijnen opgenomen, alsmede het nawoord
van de Rekenkamer.In bijlage 1 is een tabel opgenomen waarin de conclusies en aanbevelingen
van de Rekenkamer samen met de toezeggingen van de bewindspersonen schematisch
zijn weergegeven. Bijlage 2 bevat een totaaloverzicht van de scores op alle
normen door de verschillende ministeries.2 AFDEKKING VAN BELEID MET BELEIDSEVALUATIEONDERZOEK2.1 NormenPeriodieke evaluatieactiviteiten zijn nodig om te kunnen bepalen of het
beleid werkt. Ex-post-beleidsevaluatieonderzoek is een belangrijk instrument
voor ministeries om inzicht te kunnen verkrijgen in de wijze van uitvoering
van beleid en in de (neven)effecten ervan. In het «Referentiekader voor
evaluatie-instrumenten» (zie paragraaf 1.1.3) staat dat elk beleidsterrein
minstens eens in de vijf jaar met dergelijk onderzoek moet worden doorgelicht.1 Om te kunnen nagaan of alle beleidsterreinen daadwerkelijk
periodiek worden afgedekt door beleidsevaluaties zijn voorzieningen nodig.
De Rekenkamer deed al in 19902 de aanbeveling
dat de departementen dergelijke voorzieningen zouden treffen.De Rekenkamer heeft bij de beoordeling van de directies FEZ van de verschillende
departementen op het aspect afdekking de volgende normen toegepast:– De directie FEZ dient te weten of ex-post-evaluatieonderzoek naar
de uitvoering, de prestaties en/of de effecten van beleid per beleidsterrein
ten minste eens in de vijf jaar wordt uitgevoerd;– De directie FEZ dient een oordeel te hebben gevormd over de vraag
of een hogere frequentie van ex-post-evaluatieonderzoek wenselijk is vanwege
een groot financieel belang, een groot maatschappelijk belang en/of negatieve
signalen over het gevoerde beleid.2.2 Toepassing van de normenTijdens het onderzoek heeft de Rekenkamer gekeken of er bij de directies
FEZ een systeem was ontwikkeld om de afdekking van beleid met ex-post-evaluaties
te monitoren op basis van een indeling van het departement in beleidsterreinen.
Wanneer de directie FEZ het departement heeft ingedeeld in beleidsterreinen
(Hafir biedt hiervoor geen handvatten), wordt beoordeeld of deze indeling
voldoende fijnmazig en volledig3 is om op een
zinvolle manier de afdekking te monitoren. Voldoende
is de score als de uitwerking door de betreffende directie FEZ inderdaad hiertoe
leidt. Als de indeling niet adequaat blijkt of als aan het begrip «beleidsterrein»
geen invulling is gegeven, kan nog maximaal deels voldoende worden gescoord. Dit is het geval als de directie FEZ enig inzicht
in de afdekking heeft doordat inspanningen over meer jaren bijgehouden worden.
Het alleen monitoren van de daadwerkelijke uitvoering van vóórgenomen
onderzoek leidt tot de score onvoldoende.Wat het FEZ-oordeel betreft over de al dan niet te verhogen frequentie
waarmee ex-post-evaluaties plaatsvinden, heeft de Rekenkamer onderzocht of
de criteria hiervoor (groot maatschappelijk/financieel belang, negatieve signalen
over het beleid) door de directies FEZ zijn geoperationaliseerd (ook hier
biedt Hafir geen nadere uitwerking).Vervolgens is bezien of deze criteria ook zijn toegepast om vast te stellen waar een hogere frequentie van beleidsevaluatieonderzoek
wenselijk zou zijn.4De score voldoende is van toepassing als aan
beide elementen is voldaan. De score deels voldoende
is van toepassing als de directie FEZ soms wel een hogere frequentie nodig
acht, maar dit niet baseert op structurele toepassing van de criteria.2.3 ResultatenIn de volgende tabel zijn de bevindingen op deze normen samengevat:Tabel 1: Bevindingen op de normen over afdekking  Afdekking beleid
met een frequentie van 1x in de 5 jaarAfdekking van beleid met een hogere frequentie BZKOnvoldoendeOnvoldoende BuiZaDeels voldoendeDeels voldoende DEFVoldoendeVoldoendeEZDeels voldoendeOnvoldoende FINDeels
voldoendeDeels voldoende JUSTOnvoldoendeOnvoldoendeLNVOnvoldoendeOnvoldoende OCenWDeels voldoendeDeels voldoende SZWDeels voldoendeOnvoldoendeV&WOnvoldoendeOnvoldoendeVWSOnvoldoendeOnvoldoendeVROMOnvoldoendeOnvoldoendeDe tabel laat zien dat vrijwel geen enkele directie FEZ een sluitend systeem
heeft om de afdekking van beleid te monitoren. Alleen het Ministerie van Defensie
heeft hiervoor een systeem1 ontwikkeld. Wanneer
afdekking werd gemonitord, dan gebeurde dit meestal aan de hand van begrotingshoofdstukken
of hoofdbeleidsterreinen. Zicht op de afdekking van beleidsterreinen daarbinnen
ontbreekt bij de meeste ministeries. Een operationalisatie van het begrip
«beleidsterrein» was dan ook bijna nergens aanwezig.Vijf departementen scoorden deels voldoende.
Een belangrijk nadeel van de door hen toegepaste indeling was dat delen van
beleid (dit geldt met name voor beleid zonder financiële consequenties)
volledig aan de aandacht van de directies FEZ kunnen ontsnappen.De directies FEZ gingen op één na niet structureel na of
een hogere frequentie van evaluatieonderzoek noodzakelijk is. Bij drie departementen
besloten de directies FEZ af en toe op ad-hoc-basis om een terrein sneller
te evalueren.2.4 AanbevelingenDe Rekenkamer beveelt de departementen die niet (geheel) aan de norm voldoen
aan om op korte termijn een plan van aanpak te maken voor de monitoring van
de mate van afdekking van alle beleidsterreinen met beleidsevaluaties. In
dit plan moet in ieder geval duidelijk gemaakt worden op welk detailniveau
de afdekking van beleidsterreinen gemonitord zal gaan worden. De Rekenkamer
is van mening dat dit niveau niet te algemeen of abstract kan zijn. Wil de
monitoring van de mate van afdekking toegevoegde waarde hebben, dan dient
deze betrekking te hebben op concrete beleidsterreinen respectievelijk beleidsonderwerpen,
en dient ook beleid zonder financiële consequenties hierbij nadrukkelijk
te worden betrokken.Voorts beveelt de Rekenkamer aan eerst voldoende waarborgen te creëren
voor het minstens eens in de vijf jaar evalueren van alle beleidsterreinen,
alvorens aandacht te schenken aan een gestructureerd beoordelingskader voor
frequenter evalueren.3 INZICHT IN DE KWALITEIT VAN BELEIDSEVALUATIEONDERZOEK3.1 NormDe kwaliteit van evaluatieonderzoek is van groot belang. Op basis van
de resultaten daarvan worden beslissingen over wijziging of voortzetting van
het beleid genomen. In de toekomst geldt dit eens te meer, omdat als gevolg
van VBTB resultaten van evaluatieonderzoek in toenemende mate gebruikt zullen
worden als verantwoordingsinformatie over het gevoerde beleid. Zo krijgt evaluatieonderzoek
een centrale positie in de beleids- en begrotingscyclus.Wanneer de kwaliteit van onderzoek niet wordt gemonitord, loopt een departement
onnodige risico's. Zo is het risico niet denkbeeldig dat resultaten van kwalitatief
ontoereikende beleidsevaluaties als beleidsverantwoording worden gebruikt.
Ter illustratie: in haar onderzoek Evaluaties vooraf van
Rijksbeleid (1998) heeft de Rekenkamer veertien ex-ante-beleidsevaluaties
beoordeeld op methodisch-technische kwaliteit. Slechts de helft van de beleidsevaluaties
voldeed aan meer dan 80% van de methodisch-technische toetspunten. Met name
de interne consistentie, de tijdshorizon, de voorziening voor ex-post-evaluatie
en de keuze en weging van de beoordelingscriteria waren voor verbetering vatbaar.Voor het aspect «kwaliteit van beleidsevaluatieonderzoek»
heeft de Rekenkamer de volgende norm toegepast:– De directie FEZ dient te weten in hoeverre beleidsevaluaties zijn
uitgevoerd met gebruikmaking van daartoe geëigende methoden en technieken
van beleidsanalyse.In het Besluit taak FEZ wordt alleen de eis opgelegd dat de directie FEZ
dient te weten in hoeverre ex-ante-evaluaties
zijn uitgevoerd met gebruikmaking van de juiste methoden en technieken van
beleidsanalyse. De Rekenkamer is echter van mening dat deze eis niet alleen
dient te gelden voor ex-ante-, maar ook voor ex-post-evaluaties. In haar onderzoek
heeft zij daarom de norm gehanteerd dat de directies FEZ dienen te beschikken
over inzicht in de kwaliteit van beide vormen van beleidsevaluatieonderzoek.3.2 Toepassing van de normDe Rekenkamer beoordeelt de taakuitvoering van een directie FEZ als voldoende wanneer evaluatierapporten daadwerkelijk op
hun kwaliteit worden beoordeeld door deze directie of wanneer deze directie
kan aangeven dat de kwaliteit tijdens en na de uitvoering van het onderzoek
met zoveel waarborgen is omgeven dat een afzonderlijke beoordeling niet noodzakelijk
is. Departementen worden als deels voldoende beoordeeld
als handreikingen aanwezig zijn met specifieke eisen waaraan onderzoeksrapporten
moeten voldoen, maar niet verplicht worden voorgeschreven en/of er bij de
directie FEZ geen beeld bestaat van het gebruik van deze handreikingen.3.3 ResultatenTabel 2 geeft weer hoe de Rekenkamer oordeelt over de taakuitvoering door
de directies FEZ van de afzonderlijke departementen bij de kwaliteitsbewaking
van de beleidsevaluaties.Tabel 2: Bevindingen op de norm inzicht in kwaliteit Inzicht
in kwaliteit van beleidsevaluatieonderzoekBZKOnvoldoende BuiZaDeels voldoendeDEFVoldoende EZDeels voldoende FINVoldoendeJUSTVoldoende LNVDeels
voldoende OCenWDeels voldoende SZWVoldoende V&WOnvoldoendeVWSOnvoldoende VROMOnvoldoendeUit de tabel blijkt dat bij slechts vier departementen de waarborging
van de kwaliteit van beleidsevaluaties voldoende was. Bij slechts twee van
deze vier voerde de directie FEZ in 1999 zelf een controle uit op de kwaliteit.
Deze twee directies bespraken de tekortkomingen ook met de betreffende beleidsdirecties.
Bij één van deze directies bleek uit de beoordeling dat slechts
ongeveer de helft van de aan de directie FEZ gemelde beleidsevaluaties volledig
voldeed aan de daaraan door de directie FEZ gestelde eisen van kwaliteit en
bruikbaarheid. De aanpak van het Ministerie van Defensie is als casus voor
dit hoofdstuk opgenomen (zie hieronder).Inzicht in kwaliteit van beleidsevaluatieonderzoek
bij DefensieDe directie FEZ van het Ministerie van Defensie heeft besloten met ingang
van 1999 elk jaar een review uit te voeren op de organisatie van beleidsevaluatie
(in brede zin). Het doel van de review – die betrekking heeft op alle
evaluatie-instrumenten – is om op basis van de uitkomsten de kwaliteit
van de organisatie binnen het ministerie te verbeteren. Een onderdeel van
de review is het steekproefsgewijs beoordelen van de kwaliteit van beleidsevaluaties.De uitkomsten van de review worden vastgelegd in een rapport. Dit rapport
wordt aan alle betrokken leidinggevenden verzonden en met de betreffende directeuren
besproken. Een samenvattend rapport wordt besproken in het Audit Overleg,
waarin alle organisatieonderdelen zijn vertegenwoordigd die zich op een of
andere wijze met evaluatie bezighouden.Omdat de review jaarlijks zal worden gehouden is het mogelijk ontwikkelingen
te volgen en na te gaan in hoeverre voorgestelde verbeteringen effect hebben.3.4 AanbevelingMet het oog op de toekomstige verantwoording in het kader van VBTB is
de Rekenkamer van mening dat de ministeries die over onvoldoende of deels
voldoende waarborgen ter zake beschikten, op korte termijn actie moeten ondernemen.
Wanneer dit niet gebeurt, acht de Rekenkamer het risico groot dat in de toekomst
resultaten van kwalitatief slechte beleidsevaluaties in de verantwoording
worden opgenomen. Ook voor het monitoren van de afdekkingsgraad is de kwaliteit
van beleidsevaluaties van belang. Kwalitatief ontoereikende beleidsevaluaties
mogen naar de mening van de Rekenkamer niet meetellen bij het bepalen van
de mate van afdekking.4 INZICHT IN HET GEBRUIK VAN BELEIDSEVALUATIEONDERZOEK4.1 NormenHet ligt voor de hand dat de resultaten van evaluatieonderzoeken worden
gebruikt in de begrotings- en beleidscyclus. Evaluatieresultaten kunnen leiden
tot aanpassing of beëindiging van het beleid indien blijkt dat de uitvoering
niet volgens plan verloopt, dat de gewenste doelen niet worden bereikt, of
dat er ongewenste (neven)effecten optreden. Wanneer geen acties worden ondernomen
naar aanleiding van de bevindingen of aanbevelingen van evaluatieonderzoek,
kan er niettemin sprake zijn van «gebruik» van het onderzoek.
Dat is het geval als de redenen voor het niet ondernemen van actie expliciet
zijn verwoord. Ook dan is immers afgewogen of en hoe de resultaten uit beleidsevaluaties
een rol kunnen spelen in het beleid.Voor een adequaat gebruik van evaluatieonderzoek zijn procedures nodig
die voorkomen dat, incidenteel of systematisch, relevante resultaten uit onderzoek
over het hoofd worden gezien. Verder is het noodzakelijk dat er een organisatieonderdeel
is binnen het departement dat op het gebruik van deze procedures toeziet.
De verantwoordelijkheid hiervoor wordt, voor zover het de begrotingsvoorbereiding
betreft, door Hafir bij de directies FEZ neergelegd. Daarnaast ziet Hafir
voor de resultaten van álle beleidsevaluatieonderzoek een verantwoordelijkheid
voor de directies FEZ in het beantwoorden van de vraag of de onderzoeksresultaten
al dan niet aan de politieke top moeten worden voorgelegd. De directies FEZ
zorgen dan voor een waarborg voor openheid over eventueel onwelgevallige onderzoeksresultaten.Voor het aspect «inzicht in het gebruik van beleidsevaluatieonderzoek»
heeft de Rekenkamer de volgende normen toegepast:– De directie FEZ dient na te gaan in hoeverre uitkomsten van de
onderzoeken naar de doelmatigheid van beleid zijn of worden betrokken bij
de begrotingsvoorbereiding.– De directie FEZ dient voor elk beleidsevaluatieonderzoek een besluit
te nemen over de vraag of de onderzoeksresultaten al dan niet aan de politieke
top moeten worden voorgelegd.4.2 Toepassing van de normenDe Rekenkamer stuitte op het feit dat het monitoren van het gebruik van
resultaten via de begrotingsvoorbereiding slechts leidt tot een gedeeltelijk
inzicht in het gebruik in de beleidscyclus. Niet alle resultaten van beleids-
evaluatie hoeven immers een rol te spelen in de begrotingsvoorbereiding. Beleidswijzigingen
kunnen continu plaatsvinden en zijn niet gebonden aan de begrotingscyclus.
Beleidswijzigingen leiden ook niet altijd tot begrotingswijzigingen. Op deze
wijze kan het gebruik zich ontrekken aan het zicht van de directie FEZ.Voor de norm «gebruik in de begrotingscyclus» wordt de score voldoende toegekend wanneer bij de directie FEZ een systeem
is opgezet om het gebruik van evaluatieonderzoek structureel te monitoren
en/of wanneer er vanuit de directie FEZ initiatieven worden ontplooid richting
beleidsdirectie indien het gebruik van een evaluatieonderzoek niet binnen
een redelijke termijn bekend is. Wanneer het gebruik van evaluatieonderzoek
slechts incidenteel wordt gemonitord en wanneer tevens het initiatief voor het melden van het gebruik bij de beleidsdirectie ligt, is de score deels voldoende.Het naleven van de norm met betrekking tot de melding aan de politieke
top, beoordeelt de Rekenkamer als voldoende indien
de onderzoeksresultaten daadwerkelijk door de directie FEZ worden beoordeeld
op de vraag of zij al dan niet voldoende relevant waren om aan de politieke
top voor te leggen. Wanneer dit een andere van beleidsdirecties onafhankelijke
partij is (zoals bijvoorbeeld de Bestuursraad), wordt dit als deels voldoende
beschouwd.4.3 ResultatenOnderstaande tabel geeft de resultaten weer van de toetsing voor het aspect
«inzicht in het gebruik van beleidsevaluatieonderzoek».Tabel 3: Bevindingen op de normen voor inzicht in gebruik  Inzicht in gebruik
van resultaten in de begrotingscyclus Besluitvorming over melding aan de politieke top BZKOnvoldoendeOnvoldoendeBuiZaVoldoendeDeels
voldoende DEFVoldoendeDeels voldoende EZVoldoendeDeels voldoendeFINOnvoldoendeOnvoldoende JUSTDeels
voldoendeDeels voldoende LNVOnvoldoendeDeels voldoendeOCenWDeels voldoendeDeels voldoendeSZWVoldoendeOnvoldoende V&WDeels voldoendeOnvoldoende VWSDeels voldoendeOnvoldoendeVROMDeels voldoendeOnvoldoendeDe tabel laat zien dat vier departementen een systeem hebben opgezet om
het gebruik van evaluatieonderzoek in de begrotingscyclus structureel te monitoren.
Een voorbeeld hiervan is opgenomen in de casus «Gebruik van beleidsevaluaties
in de begrotingscyclus bij EZ» (zie hieronder). De departementen die
als deels voldoende werden beoordeeld hebben slechts
marginaal zicht op het gebruik, bijvoorbeeld wanneer een beleidsdirectie een
evaluatieonderzoek gebruikt als onderbouwing bij het wijzigen van beleid.
Bij de overige vindt geen monitoring plaats. Gebruik van beleidsevaluaties in de begrotingscyclus
bij EZAls onderdeel van de begrotingsvoorbereiding voert de directie FEZ van
het Ministerie van Economische Zaken jaarlijks bij de beoordeling van de begrotingsvoorstellen
een toets uit op de implementatie van aanbevelingen uit recent uitgevoerde
beleidsevaluaties. Voorts bekijkt de directie FEZ of de ingediende begrotingsvoorstellen
in overeenstemming zijn met de uitkomsten van evaluatieonderzoek. Dit gebeurt
door middel van de «Standaardtoets beleidsevaluaties bij begrotingsvoorbereiding».
Op dit formulier moeten de beleidsdirecties voor elk instrument aangeven of
er al een beleidsevaluatie geweest is en zo ja wanneer, of de aanbevelingen
al dan niet geïmplementeerd zijn, en zo nee waarom niet. De verantwoordelijke
controller (elke controller heeft ongeveer tien tot twintig instrumenten/subsidies/bijdragen
onder zijn/haar hoede) moet de toets paraferen. Indien uit deze toetsing actiepunten
voortvloeien, dan wordt dit gerapporteerd aan de directeur FEZ en aan de voorzitter
van de Monitor Commissie (commissie met vertegenwoordigers van verschillende
centrale directies, waaronder de directie FEZ, die onder andere een rol heeft
bij de beoordeling van evaluatieonderzoek). Zo is het gebruik van evaluatieonderzoek
bij de begrotingsvoorbereiding gewaarborgd.Het valt op dat het toezien op het gebruik van de uitkomsten van beleidsevaluaties
via de begrotingscyclus, in vergelijking met de meeste andere normen, relatief
goed wordt nageleefd.Bij geen enkel departement bleek de directie FEZ zelf te besluiten of
resultaten al dan niet aan de politieke top zouden moeten worden voorgelegd.
Bij departementen die als deels voldoende beoordeeld
werden, is het niet de directie FEZ die de beslissing neemt maar een onafhankelijke
derde partij binnen het departement. Een voorbeeld hiervan is opgenomen in
de casus «Melding aan de politieke top bij OCenW» (zie hieronder).
Bij twee departementen was dit de Bestuursraad. Andere departementen kennen
bijvoorbeeld een (onderzoeks)commissie die losstaat (onafhankelijk is) van
de beleidsdirectie die het onderzoek had laten uitvoeren en die besluit of
de resultaten aan de politieke top moeten worden gemeld. Bij departementen
met een onvoldoende score nam de beleidsdirectie
de beslissing zelf of wist de directie FEZ helemaal niets over het voorleggen
van de onderzoeksresultaten aan de politieke top. Melding aan de politieke top bij OCenWBij het Ministerie van Onderwijs, Cultuur en Wetenschappen besluit de
directie FEZ zelf welke onderzoeksresultaten naar haar opvatting in ieder
geval bij de politieke top bekend moeten zijn. De directie FEZ doet dat op
ad-hoc-basis, wanneer dossiers van beleidsdirecties bij de directie FEZ langskomen
ter accordering, voordat zij doorgaan naar de politieke top. Op dat moment
beoordeelt de directie FEZ, onafhankelijk van de betrokken beleidsdirecties,
of al het relevante onderzoek bij het dossier is ingesloten.Daarnaast wordt maandelijks door de onderzoekscoördinatoren van de
beleidsdirecties gerapporteerd aan de Bestuursraad over onderzoek dat op korte
termijn wordt afgerond. Dit verschaft de Bestuursraad een volledig beeld van
de voortgang van de uitvoering van het onderzoeksprogramma. Op basis van deze
rapportages beslist de Bestuursraad maandelijks of onderzoeksresultaten moeten
worden voorgelegd aan de minister en de staatssecretarissen.Zo is gewaarborgd dat bij al het afgeronde onderzoek, onafhankelijk van
de beleidsdirectie die het onderzoek initieerde, de vraag wordt gesteld: dient
de politieke top van de resultaten van het onderzoek op de hoogte te zijn?4.4 AanbevelingenDe Rekenkamer beveelt aan dat de directies FEZ van de departementen die
niet (geheel) aan de norm voldoen, zorgen voor het waarborgen van gebruik
van beleidsevaluaties. Zij denkt daarbij bijvoorbeeld aan een procedure om
de werking van de waarborgen (steekproefsgewijs) te monitoren.De Rekenkamer geeft in overweging de norm over het gebruik van de resultaten
van evaluatieonderzoek bij de begrotingsvoorbereiding (Hafir A1.4) uit te
breiden, zodat ook het gebruik in de beleidscyclus gewaarborgd wordt. Gebruik
van resultaten is hier namelijk primair van belang. Het monitoren van het
gebruik via de begrotingscyclus alleen, is geen waarborg voor het gebruik
van resultaten van evaluaties van beleid dat hierbij geen rol speelt.De Rekenkamer beveelt verder aan dat de ministeries die de norm inzake
het besluit resultaten van evaluatieonderzoek aan de politieke top voor te
leggen onvoldoende naleven, alsnog waarborgen dat dergelijke besluiten door
een van de beleidsdirecties onafhankelijk organisatieonderdeel worden genomen.5 EX-ANTE-EVALUATIEONDERZOEK5.1 NormEx-ante-evaluaties kunnen – naast andere instrumenten – een
belangrijke rol vervullen bij de beleidsvoorbereiding. Onder ex-ante-evaluatieonderzoek
verstaat de Rekenkamer: toekomstgericht onderzoek waarbij
de verwachte effecten en neveneffecten van mogelijk in uitvoering te nemen
beleid (beleidsvoornemens) in kaart worden gebracht. Dit beleidsvoornemen
wordt afgezet tegen alternatieven, waartoe in ieder geval het alternatief
van de voortzetting van de huidige situatie (nulalternatief) wordt gerekend.1Op deze wijze kan nieuw beleid worden onderbouwd en kan op systematische
en transparante wijze een keuze tussen beleidsalternatieven worden gemaakt.
In het onderzoek Evaluaties vooraf van Rijksbeleid
(1998) concludeerde de Rekenkamer dat er door de departementen nog te weinig
gebruik wordt gemaakt van ex-ante-evaluatieonderzoek.Voor het aspect «ex-ante-evaluatieonderzoek» heeft de Rekenkamer
de volgende norm toegepast:– De directie FEZ dient na te gaan of nieuw beleid ex ante wordt
geëvalueerd en, indien dit niet gebeurt, of op grond van een bestuurlijke
afweging is besloten geen ex-ante-onderzoek uit te voeren en of dit beargumenteerd
is vastgelegd.5.2 Toepassing van de normDe Rekenkamer hanteert de definitie van ex-ante-evaluatieonderzoek uit
Hafir.2 De Rekenkamer realiseert zich dat het
niet uitvoeren van ex-ante-evaluatieonderzoek zinvolle redenen kan hebben.
Het gaat er om dat bij nieuw of gewijzigd beleid expliciet de afweging wordt
gemaakt om al dan niet ex ante te evalueren. Een goed onderbouwde keuze3 om geen ex-ante-evaluatieonderzoek uit te voeren beschouwt
zij dan ook als voldoende.Wanneer besluitvorming over ex-ante-onderzoek een expliciet aandachtspunt
is in een verplicht voorschrift en wanneer de uitvoering van ex-ante- onderzoek
expliciet gemonitord wordt, beoordeelt de Rekenkamer dit als voldoende. De beoordeling deels voldoende
is van toepassing wanneer de directie FEZ bij de toetsing wel nagaat of er
een ex-ante-onderzoek is gedaan, maar onvoldoende inzicht heeft in de gemaakte
afweging over het al dan niet toepassen van ex-ante-onderzoek.5.3 ResultatenIn de volgende tabel zijn de bevindingen op de norm «inzicht in
ex-ante-evaluatieonderzoek» samengevat:Tabel 4: Bevindingen op de norm voor inzicht in ex-ante-evaluatieonderzoek BZKOnvoldoende BuiZaOnvoldoende DEFOnvoldoendeEZOnvoldoende FINOnvoldoende JUSTOnvoldoendeLNVDeels voldoende OCenWOnvoldoende SZWDeels voldoende V&WOnvoldoende VWSDeels voldoendeVROMOnvoldoendeZoals uit de tabel blijkt waren de directies FEZ bij de meeste departementen
niet op de hoogte of nieuw beleid ex ante werd geëvalueerd, of dat op
grond van een bestuurlijke afweging was besloten geen ex-ante-onderzoek uit
te voeren. Overigens gold voor alle departementen dat nieuwe beleidsvoorstellen
die geen financiële consequenties hebben niet door FEZ beoordeeld werden.De bij het Ministerie van Sociale Zaken aangetroffen situatie, weliswaar
als deels voldoende beoordeeld vanwege het ontbreken van expliciete monitoring,
is wel als voldoende beoordeeld voor het opnemen als casus (zie hieronder).Ex-ante-evaluatieonderzoek bij SZWHet Ministerie van Sociale Zaken en Werkgelegenheid (SZW) gebruikt een
toets bij de voorbereiding van alle beleidsimplementatie en regelgeving. Met
deze toets wordt het opzetten en gebruiken van beleidsevaluatieonderzoeken,
en met name ex-ante-evaluatieonderzoeken, gestimuleerd. De toets bestaat uit
een checklist waarin beleidsevaluatieonderzoek een expliciet aandachtspunt
is. Een beschrijving van deze toets is te vinden in de SZW-publicatie «De
Wetgevingstoets». In deze brochure zijn de tien stappen van deze toets
beschreven.Bij de stap «Probleemanalyse en beleidsontwerp» moet de directie
worden ingeschakeld voor de afweging van de kosten en baten van beleidsalternatieven.
In een volgende stap, «Beoordeling effecten en lasten van de beoogde
regeling», wordt geadviseerd om gebruik te maken van bestaande evaluatie-instrumenten
en model-effectrapportages om effecten «ex ante» in te schatten.De directie FEZ is verantwoordelijk voor de beleidsadvisering inzake financiële
sturing en uitvoering, prestatiedefiniëring en de operationalisering
van beleidsdoelen, het ontwikkelen van een financieel beheersconcept en het
uitwerken van de bekostigingswijze. De beleidsdirecties zijn zelf verantwoordelijk
voor het toepassen van de checklist, maar de uitvoering wordt in nauwe samenwerking
met andere SZW-directies gedaan.5.4 AanbevelingDe Rekenkamer beveelt de departementen die niet (geheel) aan de norm voldoen
aan om de afweging van toepassing van ex-ante-evaluaties bij nieuw of gewijzigd
beleid verplicht te stellen en dit te laten monitoren en vastleggen door de
directie FEZ . Het gaat hier immers om een op de beleidsvoorbereiding toegesneden
instrument, met behulp waarvan op een systematische en transparante wijze
een keuze tussen beleidsalternatieven gemaakt kan worden. De directie FEZ
kan de controle op de toepassing van ex-ante-evaluaties uitoefenen op basis
van de melding van nieuw of gewijzigd beleid (waarbij onderbouwd afzien van
ex-ante-onderzoek ook tot de mogelijkheden behoort). De directie FEZ dient
ervoor te zorgen dat zij ook op de hoogte is van nieuw of gewijzigd beleid
zonder financiële consequenties. Zij dient hiervoor een procedure op
te zetten.6 SAMENHANGENDE INZET VAN DE EVALUATIE-INSTRUMENTEN6.1 NormIn Hafir worden de volgende categorieën evaluatie-instrumenten onderscheiden:
systemen van kengetallen en indicatoren, evaluatieonderzoek (ex ante / ex
post) en organisatiedoorlichtingen. Elk van deze evaluatie-instrumenten heeft
eigen voor- en nadelen. Voor kengetallensystemen geldt dat deze veelal geen
inzicht bieden in causale relaties tussen het beleid en de (opgetreden/te
verwachten) effecten. Daarentegen zijn de kosten van dit evaluatie-instrument
relatief laag. Om de evaluatie-inspanningen te optimaliseren moet per beleidsterrein
een afweging worden gemaakt welke instrumenten kunnen worden ingezet teneinde
tegen zo laag mogelijke kosten de benodigde informatie over de uitvoering
en effecten van het beleid te verkrijgen. Dit omvat ook de inzet van een combinatie
van de verschillende evaluatie-instrumenten.De Rekenkamer heeft de inzet onderzocht van de verschillende beleidsevaluatie-instrumenten
in hun onderlinge samenhang, aan de hand van de volgende normen:– De directie FEZ dient te overleggen met de afdeling Personeel
en Organisatie (P&O), de departementale accountantsdienst (DAD) en de
centrale directie Juridische Zaken (CDJZ) over de inzet van beleidsevaluatie-instrumenten;– De directie FEZ dient aandacht te besteden aan de inzet van een
optimale mix van beleidsevaluatie-instrumenten.6.2 Toepassing van de normenDe Rekenkamer is ervan uitgegaan dat de betekenis van het begrip «optimale
mix»1 betekent dat wordt nagegaan in hoeverre
de verschillende beleidsevaluatieinstrumenten in hun onderlinge samenhang
worden bezien en gebruikt.De Rekenkamer beoordeelt het in de norm genoemde overleg tussen de directie
FEZ enerzijds en de afdeling P&O, de DAD alsmede de CDJZ anderzijds als voldoende als er sprake is van structureel overleg over
het thema evaluatie-instrumenten en als uit schriftelijke verslagen blijkt
dat dit regelmatig onderwerp van gesprek is. De beoordeling deels voldoende wordt gegeven als er wel sprake is van overleg, maar
dit overleg een meer ad-hoc-karakter heeft.Bij de samenhangende inzet heeft de Rekenkamer bezien of de verschillende
evaluatie-instrumenten daadwerkelijk in hun onderlinge samenhang werden ingezet.
Wanneer dit bleek uit schriftelijke verslagen, heeft de Rekenkamer dit als voldoende beoordeeld. Wanneer het inzetten van een optimale
mix van instrumenten slechts incidenteel plaatsvond, heeft de Rekenkamer dit
als deels voldoende beoordeeld.6.3 ResultatenTijdens het onderzoek bleek dat er bij de directies FEZ over het geheel
genomen inzicht bestaat in de binnen het departement gebruikte (systemen van)
kengetallen en indicatoren over prestaties en de mate waarin doelen worden
verwezenlijkt. Gezien de voorschriften om in de begrotingen en financiële
verantwoordingen kengetallen over doelmatigheid en doeltreffendheid
op te nemen, wekt dit geen verwondering. De Rekenkamer verwijst in dit verband
ook naar haar aanbevelingen ter zake in het Rechtmatigheidsonderzoek 1998.1In de volgende tabel worden de bevindingen voor beide normen gepresenteerd.Tabel 5: Bevindingen bij de samenhangende inzet  OverlegSamenhangende inzetBZKOnvoldoendeOnvoldoendeBuiZaVoldoendeVoldoende DEFVoldoendeVoldoendeEZOnvoldoendeOnvoldoende FINOnvoldoendeDeels voldoende JUSTDeels voldoendeOnvoldoende LNVDeels voldoendeDeels voldoende OCenWOnvoldoendeDeels voldoende SZWOnvoldoendeDeels voldoendeV&WOnvoldoendeOnvoldoendeVWSOnvoldoendeOnvoldoendeVROMOnvoldoendeOnvoldoendeDe Rekenkamer stelde tijdens haar onderzoek vast dat bij de meeste departementen
geen structureel overleg plaatsvindt tussen FEZ en de andere afdelingen die
volgens het «Referentiekader voor evaluatie-instrumenten» eveneens
een rol hebben in de organisatie van beleidsevaluatie (DAD, afdeling P&O,
CDJZ).2Bij de norm «inzet van een optimale mix» werden twee departementen
als voldoende beoordeeld. De overige departementen
besteedden hieraan slechts incidenteel aandacht (deels
voldoende) of hadden er helemaal geen aandacht voor (onvoldoende).6.4 AanbevelingDe Rekenkamer beveelt aan dat de directies FEZ van de departementen die
niet (geheel) voldoen aan de norm veel meer aandacht besteden aan een samenhangende
inzet van beleidsevaluatie-instrumenten.Gezien de onduidelijkheid over de inhoud en reikwijdte van het begrip
«optimale mix van evaluatie-instrumenten» stelt de Rekenkamer
voor dat het «Referentiekader voor evaluatie-instrumenten» (Hafir
A5.5) op dit punt wordt aangepast. Daarbij zou door enkele concrete voorbeelden
moeten worden toegelicht wat hieronder wordt verstaan en hoe het begrip geoperationaliseerd
kan worden.De Rekenkamer beveelt tevens aan dat, bij de samenstelling van de optimale
mix van beleidsevaluatie-instrumenten per beleidsterrein en organisatieonderdeel,
de relatie tussen systemen van kengetallen en indicatoren en beleidsevaluaties
extra aandacht krijgt. De meer procesgerichte systemen van kengetallen vormen
een belangrijk complement van de ex-post- en ex-ante-evaluatieonderzoeken
en organisatiedoorlichtingen. De systemen van kengetallen dienen zo te worden
opgezet dat de periodieke uitkomsten ook gebruikt kunnen worden bij een ex-post-evaluatie.
Ook de complementariteit tussen een ex-post-evaluatie en een organisatiedoorlichting
verdient meer aandacht. Negatieve uitkomsten uit een ex-post-evaluatie over
de effectiviteit van een beleidsterrein kunnen aanleiding zijn
voor het uitvoeren van een organisatiedoorlichting.De Rekenkamer is van mening dat een overleg tussen de directie FEZ, de
DAD, de afdeling P&O en de CDJZ niet geforceerd hoeft te worden. Het gaat
erom dat die actoren (directies) die de beleidsevaluatie-instrumenten daadwerkelijk
in kunnen zetten regelmatig onderling afstemmen en overleggen over de optimale
inzet per beleidsterrein. Dit kunnen, behalve de directie FEZ, ook andere
directies zijn dan de bovengenoemde.7 CONCLUSIES EN AANBEVELINGENIn dit hoofdstuk zijn alleen de algemene conclusies uit het onderzoek
van de Rekenkamer naar de organisatie van het beleidsevaluatieonderzoek opgenomen.
Ook de aanbevelingen zijn algemeen geformuleerd. Aanbevelingen en conclusies
die specifiek betrekking hebben op de verschillende aspecten van de organisatie
van de beleidsevaluatie, zijn opgenomen in de hoofdstukken die deze aspecten
behandelen.De Rekenkamer concludeert dat de organisatorische inbedding van de beleidsevaluatie
sinds het vooronderzoek is verbeterd. De invulling hiervan door de directies
FEZ is echter nog steeds onvoldoende. Geen enkele directie FEZ voldoet volledig
aan de in de Comptabiliteitswet en Hafir gestelde normen. Gemiddeld wordt
slechts aan vier van de acht normen in meer of mindere mate voldaan. De verschillen
tussen de departementen zijn groot. Zo is de invulling bij het Ministerie
van Defensie en Buitenlandse Zaken relatief goed te noemen. Bij de Ministeries
van BZK, VWS, VROM en V&W is relatief veel werk te doen.Beleid zonder financiële consequenties ontsnapt aan de aandacht.
Dit heeft te maken met de huidige positie van de directies FEZ. De kerntaak
van de directie FEZ is gericht op beleid(swijzigingen) met financiële
consequenties1. Met name beleid met weinig of
geen financieel belang en beleid dat geen wijzigingen ondergaat, heeft kans
door de directie FEZ niet te worden opgemerkt. Dit kan betekenen dat bij het
monitoren van de afdekking van beleid met beleidsevaluaties, dit type beleid
niet wordt meegenomen. Beleid en resultaten van evaluaties zonder (grote)
financiële consequenties dreigen daardoor tussen wal en schip te vallen.De Rekenkamer is van mening dat de invulling van de taken rond beleidsevaluatie
bij de directies FEZ van de departementen verbeterd moet worden. Kwalitatief
goede beleidsevaluaties vormen immers een belangrijk onderdeel van het beleidsproces.
Om die te waarborgen heeft de wetgever gekozen voor een organisatorische inbedding
van beleidsevaluatie bij de directies FEZ. De Rekenkamer signaleert, gelet
op de geconstateerde tekortkomingen, risico's voor de kwaliteit van de beleidsinformatie
van de departementen in een meer beleidsmatige verantwoording (VBTB). Met
name het monitoren van de afdekking van beleid met evaluatieonderzoek en het
monitoren van de kwaliteit van dit onderzoek vergen extra aandacht.8 REACTIES BEWINDSPERSONEN EN NAWOORD REKENKAMER8.1 InleidingDe minister van Financiën heeft een tweeledige reactie op het onderzoek
gegeven. In de eerste plaats is hij vanuit zijn coördinerende verantwoordelijkheid
voor het beleidsevaluatieonderzoek bij de rijksoverheid ingegaan op de rijksbrede
aspecten van het onderzoek. In de tweede plaats heeft hij zijn reactie gegeven
op de bevindingen van de Rekenkamer ten aanzien van de evaluatiefunctie binnen
het Ministerie van Financiën.De overige ministers hebben in aanvulling op de gecoördineerde reactie
van de minister van Financiën elk een individuele reactie op het rapport
gegeven. De minister van Binnenlandse Zaken en Koninkrijksrelaties (BZK) heeft
zich als enige niet aangesloten bij de gecoördineerde reactie.In dit hoofdstuk worden de reacties van de bewindspersonen weergegeven,
geordend naar de aanbeveling waarop zij betrekking hebben. Hieraan voorafgaand
is een paragraaf opgenomen met reacties van meer algemene aard.De reactie van de minister van BZK was naar aard en inhoud zodanig afwijkend
van de overige reacties, dat deze separaat wordt behandeld. Wanneer hierna
wordt gesproken over «de overige ministeries» is dit derhalve
met uitzondering van het Ministerie van BZK.Per paragraaf is steeds het nawoord van de Rekenkamer toegevoegd.8.2 Algemene reacties en nawoordIn de gecoördineerde reactie geeft de minister van Financiën
aan dat hij waardering heeft voor de nadrukkelijke koppeling die wordt gelegd
tussen de betekenis van de evaluatiefunctie en de ontwikkelingen die zijn
voorzien in het traject «Van beleidsbegroting tot beleidsverantwoording
(VBTB)». Naast reguliere prestatiegegevens gaan ook de uitkomsten van
evaluatieonderzoek integraal deel uitmaken van het door de regering nagestreefde
resultaatgerichte sturingsmodel.De minister van Financiën erkent in zijn reactie dat een deel van
de thans gestelde normatiek in bestaande regelgeving onvoldoende duidelijk
is.De door hem voorgestelde verbeteringsrichtingen zullen in de betreffende
paragrafen naar voren komen.Hij stelt tevens dat een weging van de normen zowel in de regelgeving
als in het onderzoek ontbreekt. Deze beide punten komen ook in de afzonderlijke
reacties verschillende malen terug.Daarnaast signaleert de minister dat de normen geïnterpreteerd zouden
kunnen worden als een verplicht voorgeschreven «zware inhoudelijke regierol»
van de directie FEZ. Tegen zo'n zware inhoudelijke rol hebben de meeste departementen
bezwaar. De minister van Financiën geeft ten slotte aan dat een directie
FEZ niet alles zelf hoeft te doen en dat er gemotiveerd voor kan worden gekozen
functies te decentraliseren. Er zou volgens hem een onderscheid kunnen worden
gemaakt in systeem- en resultaatverantwoordelijkheid.Verschillende ministers geven in hun reactie aan dat het onderzoek geen
uitspraken doet over de kwaliteit van het evaluatieonderzoek zelf.De Rekenkamer is verheugd te zien dat de departementen het belang van
de evaluatiefunctie onderschrijven en deze zien als een integraal onderdeel
van het door de regering nagestreefde resultaatgerichte sturingsmodel. Zij
onderschrijft de conclusie dat de normatiek in de bestaande regelgeving
verbetering behoeft. Wat de weging van de normen betreft merkt de Rekenkamer
op dat ze deze bewust achterwege heeft gelaten omdat deze weging ook in de
regelgeving ontbreekt.De Rekenkamer wil verder benadrukken dat de normatiek die zij in het onderzoek
heeft gehanteerd geenszins de bedoeling had de directies FEZ een zware inhoudelijke
regierol toe te delen. Zij is het met de minister van Financiën eens
dat niet alle taken bij de directie FEZ gesitueerd hoeven te zijn. Dit laat
naar haar oordeel onverlet dat indien sprake is van uitvoering door andere
actoren, er voldoende waarborgen moeten zijn dat de directies FEZ de eindverantwoordelijkheid
voor taken uit hoofde van de evaluatiefunctie kunnen blijven dragen.Wellicht ten overvloede wil de Rekenkamer erop wijzen dat het onderzoek
zich alleen gericht heeft op de invulling van de taken die de directies FEZ
hebben uit hoofde van de evaluatiefunctie. Hieruit zijn geen conclusies te
trekken over de kwaliteit van de onderzoeken zelf.8.3 Reactie en nawoord over afdekkingDe minister van Financiën, in zijn coördinerende rol, ziet als
oorzaak voor de slechte score op deze norm dat deze zich moeilijk eenduidig
laat operationaliseren. Hij stelt dat de voorstellen die gemaakt zijn in het
kader van het VBTB-traject een handvat lijken te bieden voor een nadere concretisering
van deze norm. Hij is voornemens de nadere operationalisering – in interdepartementaal
verband – concreet op te pakken.Over de vijfjaarstermijn geeft de minister aan dat het integraal vasthouden
hieraan niet voor elk beleidsonderdeel steeds efficiënt zou hoeven te
zijn. Indien van deze norm wordt afgeweken, acht hij een adequate toelichting
aan de orde.De ministers van Economische Zaken (EZ), Justitie, Buitenlandse Zaken/Ontwikkelingssamenwerking
(BuiZa) en Financiën hebben in hun reactie aangegeven dat zij het niet
(volledig) eens zijn met de Rekenkamer dat zij slechts deels voldoende of
onvoldoende op de hoogte zijn van de afdekking van beleid door evaluatieonderzoek.
De minister van Justitie vraagt zich af op basis van welke criteria de Rekenkamer
tot haar oordeel is gekomen. De minister van BuiZa is van mening dat er bij
de directie FEZ wel degelijk een sluitend zicht bestaat op de afdekking van
beleidsterreinen binnen een hoofdbeleidsterrein. Hij vindt overigens wel dat
er binnen zijn ministerie verbetering mogelijk is.De departementen die blijkens het onderzoek nog niet (volledig) voldeden
aan de norm, sluiten zich vrijwel allemaal expliciet aan bij het plan van
aanpak dat het Ministerie van Financiën (in zijn coördinerende hoedanigheid)
hiervoor gaat maken. Alleen de Ministeries van Financiën en Sociale Zaken
en Werkgelegenheid (SZW) zien hiervoor geen aanleiding.Het Ministerie van Landbouw, Natuurbeheer en Visserij (LNV) geeft aan
inmiddels ook criteria te hebben ontwikkeld voor het beoordelen of een hogere
frequentie (dan eens in de vijf jaar) van evaluatieonderzoek wenselijk is.De Rekenkamer ziet in de voorgestelde aanpak goede aanknopingspunten voor
verbetering van de huidige situatie. Zij wil hierbij het belang benadrukken
van een voldoende detaillering van de beleidsterreinen om te komen tot een
zinvol beeld van de afdekking hiervan. Ten slotte is de Rekenkamer van mening
dat het beargumenteerd afwijken van de vijfjaarstermijn voor
beleidsevaluatie past bij het doelmatig toepassen van dit instrument.8.4 Reactie en nawoord over kwaliteitsborgingDe minister van Financiën is het in zijn gecoördineerde reactie
met de Rekenkamer eens dat de kwaliteitseisen voor ex-ante-evaluatieonderzoek
ook behoren te gelden voor ex-post-evaluatieonderzoek.In reactie op de conclusie van de Rekenkamer dat de meeste directies FEZ
geen inzicht hebben in de vraag of de kwaliteit van evaluatieonderzoek voldoende
is gewaarborgd, ziet de minister als mogelijke oplossing dat departementen
op dit aspect van elkaars sterke punten zouden kunnen leren en zegde toe dit
te faciliteren in de Interdepartementale Begeleidingsgroep Prestatiegegevens
en beleidsevaluatieonderzoek.De ministers van Verkeer en Waterstaat (V&W) en EZ hebben aangegeven
dat zij zich hierbij graag aansluiten, hoewel de laatste van mening is dat
de kwaliteitsborging op haar ministerie wél voldoende is.De minister van Volkshuisvesting Ruimtelijke Ordening en Milieubeheer
(VROM) zegt in zijn reactie toe een onafhankelijke kwaliteitstoetsing op te
gaan zetten. Het Ministerie van LNV past dit inmiddels al toe.Van de overige departementen die nog niet (volledig) voldeden aan de norm
ziet de minister van Onderwijs, Cultuur en Wetenschappen (OCenW) de oplossing
van dit probleem in een extra opleiding van haar onderzoekscoördinatoren;
zij verwacht dat door de toepassing van deze kennis de kwaliteit van het onderzoek
in voldoende mate gewaarborgd zal zijn.De minister van Volksgezondheid, Welzijn en Sport (VWS) wijst op de professionaliteitsstandaarden
van de instanties en bureaus die bij de uitvoering worden ingeschakeld en
op de «checks and balances» in het ambtelijke en politieke besluitvormingsproces.
Bovendien constateert zij dat het de directie FEZ ontbreekt aan capaciteit
en deskundigheid voor een afzonderlijke toets op kwaliteit. Zij wil de kosten
van het wegwerken van dit tekort eerst afwegen tegen de winst die op het terrein
van kwaliteit te behalen valt en tegen de inzet voor andere activiteiten ter
verbetering van het financieel beleid en beheer.De minister van BuiZa wijst op een rapport van een departementale werkgroep
uit 1999, waarin diverse voorstellen zijn gedaan om de kwaliteit van evaluaties
verder te bevorderen. Hij zal bezien of in aanvulling op deze voorstellen
nog maatregelen voor kwaliteitsborging noodzakelijk zijn.De Rekenkamer is verheugd te constateren dat de meeste ministeries het
belang van een goede kwaliteitsborging inzien en op dit gebied ook acties
gaan ondernemen. Zij wil hier nogmaals het belang onderstrepen van een onafhankelijke
kwaliteitstoetsing en vraagt om die reden de ministers van EZ, OCenW en VWS
hun standpunt te heroverwegen. De Rekenkamer tekent hierbij aan dat deze onafhankelijke
toetsing niet bij de directie FEZ gesitueerd hoeft te zijn, maar dat deze
directie er wel voor moet zorgdragen dat een onafhankelijke toetsing vorm
krijgt en dat zij zich op de hoogte moet stellen van de resultaten van de
toetsing.8.5 Reactie en nawoord over gebruikIn reactie op de aanbeveling het gebruik van evaluatieonderzoek beter
te monitoren heeft de minister van Financiën toegezegd te zullen stimuleren
dat departementen ook op dit aspect van elkaars sterke punten leren. De meeste
departementen die nog niet (volledig) voldeden aan de norm sluiten
zich hierbij aan. Alleen de ministers van OCenW en VWS zien in de huidige
situatie reeds waarborgen voor het gebruik van evaluatieonderzoek.De minister van Financiën onderschrijft in zijn gecoördineerde
reactie, zeker in het kader van de VBTB-filosofie, de aanbeveling ter uitbreiding
van de norm naar het waarborgen van gebruik in de beleidscyclus. De ministers
van EZ en VROM zijn het hiermee eens. De minister van Financiën heeft
toegezegd op zijn ministerie bij de beoordeling van begrotingsvoorstellen
een toets te verrichten op de implementatie van aanbevelingen uit recent uitgevoerde
beleidsevaluaties.De minister van Financiën heeft op de aanbeveling over het melden
van resultaten van evaluatieonderzoek aan de politieke top geen gecoördineerde
reactie gegeven. Wel geeft hij aan deze norm onduidelijk te vinden. De ministers
van SZW, VROM en V&W hebben toegezegd de procedure hiervoor te verbeteren.
De minister van EZ zal bezien of in procedurele zin beter op de regelgeving
kan worden aangesloten. De ministers van Financiën en VWS zien hiervoor
voor hun ministerie geen aanleiding. Beide ministers geven aan al voldoende
waarborgen te zien in de huidige organisatie. Bij de overige departementen
worden de resultaten al beoordeeld door een binnen het departement onafhankelijke
derde partij.De Rekenkamer is ingenomen met de uitbereiding van de gebruiksnorm naar
de beleidscyclus. Verder hoopt zij dat de inspanningen van de al eerder genoemde
Interdepartementale Begeleidingsgroep Prestatiegegevens en beleidsevaluatieonderzoek
ook op dit gebied vruchten zullen afwerpen.Over de procedure voor het melden van resultaten van evaluatieonderzoek
aan de politieke top geeft de Rekenkamer de ministers van VWS en Financiën
in overweging zich aan te sluiten bij de overige departementen.8.6 Reacties en nawoord over ex-ante-evaluatieonderzoekDe aanbeveling van de Rekenkamer om voor de departementen een zorgvuldige
afweging inzake het al dan niet uitvoeren van ex-ante-onderzoek verplicht
te stellen bij nieuw of gewijzigd beleid, verdient volgens de minister van
Financiën (in zijn coördinerende hoedanigheid) nadere uitwerking.
Hij benadrukt het belang van een extra impuls voor ex-ante-evaluatieonderzoek,
dat in veel gevallen een onmisbare schakel vormt in het afwegen van alternatieve
beleidsmaatregelen. De minister verwijst naar het Rekenkameronderzoek Evaluatie vooraf van Rijksbeleid (1998), op basis waarvan
reeds een aantal acties is ondernomen. Ook uit hoofde van VBTB zou ex-ante-evaluatieonderzoek
volgens de minister een belangrijker rol moeten gaan spelen.De minister voorziet in de nabije toekomst een nadere uitwerking van de
begrippen «nieuw» dan wel «gewijzigd» beleid. Een
goede operationalisering van deze begrippen vindt hij een noodzakelijke voorwaarde
om naleving van het voorschrift mogelijk te maken en te kunnen vaststellen.
Bij beleid zonder financiële consequenties is het de vraag of een directie
FEZ in staat is een eventueel aangescherpt voorschrift ook na te leven, aldus
de minister van Financiën.De ministers van Defensie, LNV en VROM onderschrijven de conclusie van
de Rekenkamer dat het desbetreffende ministerie onvoldoende aandacht besteedt
aan ex-ante-evaluatieonderzoek. De minister van Defensie heeft toegezegd de
bestaande procedure te zullen aanpassen.De minister van LNV heeft aangegeven meer te zullen gaan toezien op het
toepassen van ex-ante-evaluaties.De minister van VROM zal in het eerdergenoemde plan van aanpak uitwerken
hoe kan worden gemonitord dat er een serieuze afweging plaatsvindt van de
toegevoegde waarde van ex-ante-onderzoek.De ministers van Justitie, BuiZa, OCenW en VWS zien geen toegevoegde waarde
in een verplichte afweging. De ministers van Justitie en BuiZa geven aan dat
behalve ex-ante-evaluatieonderzoek ook andere instrumenten1 een waardevolle bijdrage kunnen leveren aan de kwaliteit van nieuw
beleid. In dat licht bezien zouden zij het onjuist vinden als de aandacht
van nieuw beleid zich uitsluitend zou concentreren op ex-ante-evaluaties.
Het leidt volgens de minister van BuiZa bovendien tot onnodige additionele
beheersregelgeving en tot ritualisering.Volgens de minister van OCenW zou een verplichte ex-ante-evaluatie leiden
tot een geforceerde procedure die inhoudelijk niet noodzakelijkerwijs iets
toevoegt.De minister van VWS vindt dat de constatering dat bij geen enkele directie
FEZ ex-ante-evaluatie een verplicht onderdeel van de beleidsvoorbereiding
is, te weinig recht doet aan de afwegingsprocessen in de ambtelijke en politieke
besluitvorming. Mede daarom vindt zij een verplichte afweging een te zwaar
instrument.De minister van V&W heeft geen toezegging terzake gedaan, evenmin
als de minister van Financiën voor zijn eigen departement. De laatste
geeft aan dat de directie FEZ langs verschillende kanalen betrokken is bij
nieuw beleid.De Rekenkamer onderschrijft het voornemen van de coördinerend minister
om haar aanbeveling nader uit te werken. Een goede operationalisering van
nieuw en gewijzigd beleid en van de wijze waarop beleid zonder financiële
consequenties kan worden beoordeeld, is inderdaad een belangrijke voorwaarde
voor naleving.Ook de Rekenkamer is vanzelfsprekend van mening dat een verplichte afweging
geen ritueel of louter administratieve handeling moet zijn. Zij vindt ex-ante-onderzoek,
overigens samen met de minister van Financiën in zijn coördinerende
hoedanigheid, echter een dermate belangrijk instrument ter waarborging van
de kwaliteit van beleidsvoorbereiding dat een verplichte afweging van de keuze
voor dit instrument noodzakelijk is.8.7 Reacties en nawoord over optimale mixDe minister van Financiën heeft in zijn coördinerende hoedanigheid
aangegeven de constatering van de Rekenkamer te delen dat het idee van de
optimale mix van evaluatie-instrumenten in het referentiekader momenteel nog
weinig concreet is. Hij streeft met VBTB en de voorhoedeprojecten Prestatiegegevens
en beleidsevaluatie naar een integrale, nauw op elkaar afgestemde inzet van
regulier beschikbare prestatiegegevens en periodiek uit te voeren evaluatieonderzoek.
Daarvoor is inmiddels een betere definiëring van de «optimale mix»-gedachte
beschikbaar.De minister heeft toegezegd bij de volgende herziening van het Referentiekader
voor evaluatie-instrumenten een en ander te verbeteren.De minister van SZW vindt de scores onvoldoende en deels voldoende bij
«overleg» respectievelijk «mix» onvoldoende gemotiveerd.
Hij geeft aan enige moeite te hebben met de vraag naar de optimale mix en
was van mening dat het referentiekader op dat punt verduidelijkt moest worden.De minister van OCenW zegt toe mede in het kader van VBTB expliciet aandacht
te geven aan de verdere ontwikkeling van kengetallen/indicatoren en uitkomsten
van beleidsevaluaties. De minister van VWS ziet eveneens mogelijkheden tot
verbetering in samenhang met het VBTB-traject.De minister van LNV laat weten dat in het kader van het optimaliseren
van de bedrijfsvoering binnen zijn ministerie momenteel een heroriëntatie
plaatsvindt vanuit de «Government Governance»-gedachte. De minister
van VROM wil de samenhangende inzet van evaluatie-instrumenten koppelen aan
de VBTB-indeling in beleidsterreinen.Voor zover de optimale mix nu uitgewerkt is, vindt de minister van Financiën
dat zijn eigen departement al voldoende invulling hieraan geeft. De directie
FEZ maakt regelmatig een overzicht van het feitelijk gebruik van het planning-
en controlinstrumentarium. Er vindt ook een afweging plaats of het geheel
van evaluatie-instrumenten toereikend is.De Rekenkamer voelt zich gesteund in haar constatering dat de optimale
mix nadere operationalisering behoeft. Zij is verheugd dat dit in interdepartementaal
verband nader uitgewerkt gaat worden. Een werkbare definitie van het begrip
optimale mix vormt een belangrijke basis voor een doelmatiger inzet van instrumenten
voor het evalueren van overheidsbeleid.8.8 Reactie Ministerie van BZK en nawoordDe minister van BZK geeft in zijn reactie aan dat hij van mening is dat
het normenkader van het onderzoek een gemeenschappelijke basis ontbeert, door
de nadere invulling die de Rekenkamer heeft gegeven aan de bestaande regelgeving.
De regelgeving aangaande de taken van FEZ voor de evaluatiefunctie wenst de
minister slechts beperkt in te vullen. De directie FEZ heeft op dit moment
alleen een rol in de evaluatiefunctie indien een groot belang bestaat op een
van de volgende punten: het politiek/bestuurlijk belang van het beleidsonderwerp;
de verwachting dat het onderzoek zal leiden tot majeure beleidswijzigingen
met daaruit voortvloeiende budgettaire consequenties; de mate waarin intern
kan worden voorzien in budgettaire consequenties dan wel extern zal moeten
worden geclaimd; en majeure gevolgen voor het financieel beheer.Daarnaast vindt de minister van BZK dat de Rekenkamer ten onrechte is
voorbijgegaan aan het sturingsmodel van het Ministerie van BZK. Gelet op dit
sturingsmodel, alsmede de daaruit voortvloeiende taakverdeling ten aanzien
van de evaluatiefunctie, is het logisch dat blijkt dat de directie FEZ niet
aan de normstelling voldoet.Als laatste wijst de minister de Rekenkamer op het feit dat binnen het
ministerie al veel aandacht is voor de inzet van (een optimale mix van) evaluatie-instrumenten.De Rekenkamer constateert dat de minister van BZK op grond van Hafir een
veel geringere rol voor de directie FEZ ziet weggelegd in de evaluatiefunctie
dan de Rekenkamer.De Rekenkamer vindt de invulling die de minister van BZK geeft aan de
evaluatiefunctie dan ook te beperkt en zij betreurt het dat de minister van
BZK deze beperking als enige toepast. De Rekenkamer wijst de minister erop
dat de meeste binnen het onderzoek gehanteerde normen rechtstreeks
zijn overgenomen uit de regelgeving. Tevens wijst zij erop dat geen enkel
ander ministerie bezwaar heeft tegen het gehanteerde normenkader.De Rekenkamer is van mening dat het toegepaste sturingsmodel in de departementale
organisaties geen reden mag zijn om vigerende regelgeving niet van toepassing
te verklaren. Dat daartoe ook geen aanleiding bestaat blijkt uit het feit
dat de andere ministeries waar nagenoeg hetzelfde sturingsprincipe wordt toegepast
wel voldoende mogelijkheden zien om invulling te geven aan de regelgeving
en dat ook daadwerkelijk doen. De Rekenkamer ziet ook bij het Ministerie van
BZK voldoende mogelijkheden om aan haar taken in de evaluatiefunctie vorm
te geven.BIJLAGE 1 OVERZICHT VAN CONCLUSIES, AANBEVELINGEN
EN TOEZEGGINGENConclusiesAanbevelingenToezeggingen ministeries Afdekking  Bij vrijwel geen enkele directie FEZ is een sluitend
systeem aanwezig om afdekking van beleid met evaluatieonderzoek te monitoren. De departementen dienen op korte termijn een plan
van aanpak te maken voor de monitoring van de mate van afdekking van alle
beleidsterreinen met beleidsevaluaties. Deze monitoring dient betrekking te
hebben op concrete beleidsterreinen c.q. beleidsonderwerpen. Ook beleid zonder
(grote) financiële consequenties dient hier uitdrukkelijk bij betrokken
te zijn. De ministers van BuiZa, EZ, Justitie,
LNV, OCenW, VROM, VWS en V&W nemen de aanbeveling over. De ministers van
BZK, Financiën en SZW nemen de aanbeveling niet over. Vrijwel geen enkele directie FEZ gaat structureel
na of een hogere frequentie van evaluatieonderzoek noodzakelijk is. De departementen dienen eerst voldoende waarborgen te
creëren voor het minstens eens in de vijf jaar evalueren van alle beleidsterreinen,
alvorens aandacht te schenken aan een gestructureerd beoordelingskader voor
het frequenter evalueren.    Kwaliteit  Bij slechts vier departementen is het waarborgen
van de kwaliteit van beleidsevaluaties voldoende: Defensie, Financiën,
Justitie en SZW. De overige departementen dienen
actie te ondernemen om de kwaliteit van beleidsevaluaties beter te waarborgen. De ministers van BuiZa, LNV, V&W en VROM nemen
de aanbeveling over. De ministers van BZK, EZ, OCenW en VWS nemen de aanbeveling
niet over.    Gebruik  Het toezien
op gebruik van de uitkomsten van beleidsevaluaties wordt relatief goed nageleefd. De directies FEZ dienen te zorgen voor het waarborgen
van gebruik van beleidsevaluaties. De ministers
van Financiën, Justitie, LNV, VROM en V&W nemen de aanbeveling over.
De ministers van BZK, OCenW en VWS nemen de aanbeveling niet over.  De Rekenkamer geeft
in overweging de norm over het gebruik van resultaten van beleidsevaluaties
bij de begrotingsvoorbereiding uit te breiden zodat ook het gebruik in de
beleidscyclus gewaarborgd wordt. De ministers
van EZ, Financiën en VROM onderschrijven dit. Bij geen enkel departement besluit de directie FEZ zelf of resultaten
aan de politieke top worden voorgelegd. Er zijn wel departementen waar binnen
het departement een onafhankelijke derde partij deze beslissing neemt.De departementen dienen de beslissing over het melden
van resultaten van beleidsevaluaties aan de politieke top minimaal door een
binnen het departement onafhankelijke derde partij te laten nemen.De ministers van EZ, SZW, VROM en V&W nemen de aanbeveling
over. De ministers van BZK, Financiën en VWS nemen de aanbeveling niet
over.   Monitoring ex-ante-evaluaties  Bij geen enkele directie FEZ is ex-ante-evaluatie een verplicht onderdeel
van de beleidsvoorbereiding en wordt de toepassing hiervan bij de directie
FEZ expliciet gemonitord. Geen enkele directie FEZ beoordeelt nieuwe beleidsvoorstellen
zonder financiële consequenties. De departementen
dienen de afweging van toepassing van ex-ante-evaluaties verplicht te stellen
bij nieuw of gewijzigd beleid en dit laten monitoren en vastleggen door de
directie FEZ. De ministers van Defensie, EZ, LNV
en VROM nemen de aanbeveling over. De ministers van BZK, BuiZa, Financiën,
Justitie, OCenW, SZW, VWS en V&W nemen deze aanbeveling niet over.    Samenhangende inzet  Slechts twee
departementen hebben voldoende aandacht voor het inzetten van een optimale
mix van evaluatie-instrumenten: BuiZa en Defensie. De overige departementen dienen veel meer aandacht te besteden aan een samenhangende
inzet van beleidsevaluatie-instrumentenDe ministers
van EZ, LNV, OCenW, VROM en VWS nemen de aanbeveling over. De ministers van
BZK, Financiën, Justitie, SZW en V&W nemen de aanbeveling niet over.BIJLAGE 2 TOTAALOVERZICHT SCORES OP ALLE NORMEN Afdekking: 1 x in 5 jr.Afdekking: hogere frequentie Inzicht in kwaliteit Inzicht in gebruik Melding aan politieke
top Ex-ante-evaluatieOverleg Optimale
mix Totaal-score BZKOnvoldoende Onvoldoende Onvoldoende OnvoldoendeOnvoldoende Onvoldoende Onvoldoende Onvoldoende 0BuiZa Deels voldoende Deels voldoende Deels voldoendeVoldoende Deels voldoende Onvoldoende VoldoendeVoldoende 5 DEF Voldoende Voldoende VoldoendeVoldoende Deels voldoende Onvoldoende VoldoendeVoldoende 6,5 EZ Deels voldoende OnvoldoendeDeels voldoende Voldoende Deels voldoende OnvoldoendeOnvoldoende Onvoldoende 2,5 FIN Deels voldoendeDeels
voldoende Voldoende Onvoldoende OnvoldoendeOnvoldoende Onvoldoende Deels voldoende 2,5 JUSTOnvoldoende Onvoldoende Voldoende Deels voldoendeDeels voldoende Onvoldoende Deels voldoende Onvoldoende2,5 LNV Onvoldoende Onvoldoende Deels voldoendeOnvoldoende Deels
voldoende Deels voldoende Deels voldoende Deels voldoende 2,5 OCenW Deels voldoendeDeels voldoende Deels voldoende Deels voldoende Deels voldoende Onvoldoende Onvoldoende Deels
voldoende 3SZW Deels voldoende Onvoldoende VoldoendeVoldoende Onvoldoende Deels voldoende OnvoldoendeDeels voldoende 3,5 V&W Onvoldoende OnvoldoendeOnvoldoende Deels voldoende Onvoldoende OnvoldoendeOnvoldoende Onvoldoende 0,5 VWS OnvoldoendeOnvoldoende Onvoldoende Deels voldoende OnvoldoendeDeels voldoende Onvoldoende Onvoldoende 1 VROMOnvoldoende Onvoldoende Onvoldoende Deels voldoendeOnvoldoende Onvoldoende Onvoldoende Onvoldoende0,5De totaalscore in de laatste kolom is op de volgende manier berekend:
voor elke voldoende beoordeling is 1 punt gegeven, voor elke deels voldoende
beoordeling een 0,5 punt. Opgeteld geeft dit de totaalscore, die per departement
maximaal 8 kan bedragen.XNoot1 Door VBTB zullen de begroting en de jaarlijkse verantwoording zich in
de komende jaren ontwikkelen van documenten waarin de financiële informatie
centraal staat tot documenten waarin op samenhangende wijze informatie wordt
verstrekt over beleid (activiteiten, prestaties en effecten), bedrijfsvoering
(managementverklaring) en financiën.XNoot1Tweede Kamer 1991–1992, 22 032, nr. 27.XNoot2 Mede naar aanleiding van het (rijksbrede) Rekenkameronderzoek Beleidsevaluatieonderzoek bij de Rijksdienst, Tweede Kamer
1990–1991, 22 032, nrs. 1–2. XNoot3 Deze notitie is gebaseerd op de rapportage Evaluatieonderzoek
in de Rijksdienst, die een uitwerking bevat van het toenmalige regeringsstandpunt.XNoot4Tweede Kamer 1994–1995, 22 150, nr. 24.XNoot5 Brief van de minister van Financiën aan de voorzitter van de Tweede
Kamer, d.d. 22 juni 1998.XNoot1 Op grond van artikel 57, lid 2 van de Comptabiliteitswet.XNoot1 Bij nieuw beleid wordt in toenemende mate een evaluatieparagraaf opgenomen,
waarin staat aangegeven wanneer het beleid geëvalueerd zal worden. Hiermee
is op papier afdekking van dit beleid gegarandeerd, in de praktijk zal monitoring
van de uitvoering van deze aangekondigde onderzoeken noodzakelijk blijven. XNoot2Beleidsevaluatie-onderzoek bij de rijksdienst
(Tweede Kamer, 1990–1991, 22 032, nrs. 1–2).XNoot3 Zodat onder andere ook beleid met niet-financiële consequenties
afgedekt wordt.XNoot4 Bijvoorbeeld door risicoanalyse.XNoot1 In tegenstelling tot de hierna te behandelen aspecten is in dit hoofdstuk
geen «best practice»-voorbeeld opgenomen. Dit omdat het door het
ministerie van Defensie ontwikkelde systeem hiervoor niet bruikbaar is; dit
systeem is specifiek voor de bij dit ministerie aanwezige situatie. XNoot1 De Rekenkamer heeft in dit onderzoek deze definitie strikt gehanteerd.
Een aantal ministeries heeft gedurende het onderzoek aangegeven dat men het
met deze definitie niet eens was en dat een minder strikte definitie zou leiden
tot een positiever oordeel.XNoot2 Deze definitie laat andere voorbereidende (onderzoeks)activiteiten, zoals
bijvoorbeeld verkennende studies, buiten beschouwing. Het eigen nut hiervan
wordt daarmee echter niet ontkend.XNoot3Bijvoorbeeld wanneer in zeer kort tijdsbestek politieke besluitvorming
plaatsvindt over beleid.XNoot1 Het begrip «optimale mix» is afkomstig uit de regeringsnotitie
Referentiekader voor evaluatie-instrumenten (1994), die is opgenomen in Hafir
A5.5. Zie ook paragraaf 1.1.3.XNoot1 Tweede Kamer, vergaderjaar 1998–1999, 26 627, nrs. 1–2,
paragraaf 2.7.XNoot2 Bij sommige departementen is deze rol toebedeeld aan andere centrale
stafeenheden, bijvoorbeeld het Bureau SG.XNoot1 Beleid dat via de begroting loopt. Een voorbeeld van beleid dat niet
via de begroting loopt en voor de overheid weinig financiële consequenties
heeft, is het terugdringen van de administratieve lasten van overheidsoptreden
voor het bedrijfsleven.XNoot1 De minister van Justitie noemt experimenten en de ex-ante-uitvoeringstoets;
de minister van Buitenlandse Zaken noemt onder meer ex-post-evaluaties en
strategische verkenningen als voorbeeld. De minister van Justitie noemt experimenten
en de ex-ante-uitvoeringstoets, de minister van Buitenlandse Zaken noemt onder
meer ex-post evaluaties en strategische verkenningen als voorbeeld. 
 
 Naar boven

 

Directe linkKopieer de link naar uw clipboard 

https://zoek.officielebekendmakingen.nl/kst-27065-2.html

Sluit modaal

 

Disclaimer
De hier aangeboden pdf-bestanden van het Staatsblad, Staatscourant, Tractatenblad, provinciaal blad, gemeenteblad, waterschapsblad en blad gemeenschappelijke regeling vormen de formele bekendmakingen in de zin van de Bekendmakingswet en de Rijkswet goedkeuring en bekendmaking verdragen voor zover ze na 1 juli 2009 zijn uitgegeven. Voor pdf-publicaties van vóór deze datum geldt dat alleen de in papieren vorm uitgegeven bladen formele status hebben; de hier aangeboden elektronische versies daarvan worden bij wijze van service aangeboden.

 

Over deze website
Contact
English
Help
Zoeken

Informatie hergebruiken
Privacy en cookies
Toegankelijkheid
Sitemap
Kwetsbaarheid melden

Open data
Linked Data Overheid
PUC Open Data

MijnOverheid.nl
Rijksoverheid.nl
Ondernemersplein.nl
Werkenbijdeoverheid.nl