Staat van de beleidsinformatie 2004; Rapport
Staten-Generaal — Kamerstuk 
Datum: 2014-07-07 00:00:00.000000
Rechtsgebied: Wetgeving


(function (window, document, dataLayerName, id) {
 window[dataLayerName] = window[dataLayerName] || [], window[dataLayerName].push({ start: (new Date).getTime(), event: "stg.start" }); var scripts = document.getElementsByTagName('script')[0], tags = document.createElement('script');
 function stgCreateCookie(a, b, c) { var d = ""; if (c) { var e = new Date; e.setTime(e.getTime() + 24 * c * 60 * 60 * 1e3), d = "; expires=" + e.toUTCString() } document.cookie = a + "=" + b + d + "; path=/; Secure" }
 var isStgDebug = (window.location.href.match("stg_debug") || document.cookie.match("stg_debug")) && !window.location.href.match("stg_disable_debug"); stgCreateCookie("stg_debug", isStgDebug ? 1 : "", isStgDebug ? 14 : -1);
 var qP = []; dataLayerName !== "dataLayer" && qP.push("data_layer_name=" + dataLayerName), qP.push("use_secure_cookies"), isStgDebug && qP.push("stg_debug"); var qPString = qP.length > 0 ? ("?" + qP.join("&")) : "";
 tags.async = !0, tags.src = "https://koop.piwik.pro/containers/" + id + ".js" + qPString, scripts.parentNode.insertBefore(tags, scripts);
 !function (a, n, i) { a[n] = a[n] || {}; for (var c = 0; c < i.length; c++)!function (i) { a[n][i] = a[n][i] || {}, a[n][i].api = a[n][i].api || function () { var a = [].slice.call(arguments, 0); "string" == typeof a[0] && window[dataLayerName].push({ event: n + "." + i + ":" + a[0], parameters: [].slice.call(arguments, 1) }) } }(i[c]) }(window, "ppms", ["tm", "cm"]);
 })(window, document, 'dataLayer', 'f8b9eee5-8d9c-4ea1-abd5-83e174f29813');
 
 
 
Direct naar content
Navigatie
Contextinformatie
Publicatie
Acties
Inhoudsopgave
Gerelateerde informatie

Menu

U bent nu hier: 
Publicaties
Officiële publicaties

Inloggen

Primaire navigatie

Andere sites binnen Overheid.nl
Home
Uitgebreid zoeken
Mijn abonnementen
Help

Andere sites binnen Overheid.nl

Berichten over uw Buurt
Zoals vergunningen, bouwplannen en lokale regelgeving.

Rondom uw woonadres
Rondom een zelfgekozen adres

Dienstverlening
Zoals belastingen, uitkeringen en subsidies.

Naar dienstverlening

Beleid & regelgeving
Officiële publicaties van de overheid.

Naar beleid & regelgeving

Contactgegevens overheden
Adressen en contactpersonen van overheidsorganisaties.

Naar overheidsorganisaties

 
 
 
U bent hier:

Home

Kamerstuk 29550, nr. 2

 
 
 

Kamerstuk

Datum publicatie
Organisatie
Vergaderjaar
Dossier- en ondernummer

18-05-2004

Tweede Kamer der Staten-Generaal

2003-2004

29550 nr. 2

 

 

 
 
 Toon meer van: Inhoudsopgave
 
 

 
 AanhefLichaamInhoudSAMENVATTINGOp de goede wegOnderzoek door de Algemene RekenkamerDe melding van beleidsinformatie is vaak globaal geregeldHet is onduidelijk of ministeries zorgen voor volledige
informatie over de realisatie van de doelstellingenDe eisen van derdeninformatie zijn niet expliciet in de
RPE genoemdHet inschatten van de risico's voor de kwaliteit van derdeninformatie
is belangrijkPersoneel en procedures zijn de twee pijlers voor een
goede informatievoorzieningEr is rijksbreed nog geen goed overzicht van evaluatieonderzoeken
en systemen van reguliere prestatiegegevensReactie kabinet en nawoord Algemene Rekenkamer1 INLEIDING1.1 Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid1.2 Reeks onderzoeken over de evaluatiefunctie bij ministeries1.3 Het onderzoek 2004Tabel 1.1 Onderzochte beleidsdirecties, systemen en onderzoeken1.4 Leeswijzer2 ORGANISATIE VAN DE EVALUATIEFUNCTIE2.1 Inleiding2.2 Taakverdeling binnen de evaluatiefunctieTabel 2.1 Overzicht verantwoordelijkheidsverdeling per
ministerie2.3 Uitwerking van de RPE-bepalingen2.3.1 Het belang van een uitwerking van de RPE-bepalingen2.3.2 Aanwezigheid doorvertalingen en uitwerkingenTabel 2.2 Overzicht uitwerkingen van de onderzochte RPE-bepalingen
per ministerie2.3.3 Twee ministeries zonder departementbrede uitwerking2.4 De RPE in de praktijk2.5 Conclusies3 VOLLEDIGHEID BELEIDSINFORMATIE OVER REALISATIE DOELSTELLINGEN
(AFDEKKING)3.1 Inleiding3.2 Uitwerkingen RPE-bepalingen voor afdekking3.3 Aandacht voor afdekking in de praktijk3.4 Conclusies4 UITWERKING KWALITEITSEISEN BELEIDSINFORMATIE4.1 InleidingTabel 4.1 Aantal criteria per hoofdeis voor kwaliteit
uit de toelichting op de RPE4.2 Motie-Van Walsem4.3 Uitwerking hoofdeisen kwaliteit4.3.1 Aanwezigheid uitwerkingen4.3.2 Voorgeschreven uitwerkingen4.3.3 Vrijblijvende uitwerkingen4.4 Uitwerking vastlegging kwaliteit in dossiers4.5 Aandacht voor kwaliteit in dossiers in de praktijk4.6 Conclusies5 INFORMATIE VAN INSTELLINGEN BUITEN HET MINISTERIE5.1 Inleiding5.2 Inventarisatie leveranciers van derdeninformatie5.3 Richtlijnen en waarborgen voor derdeninformatie5.3.1 Rijksbrede richtlijnen5.3.2 Richtlijnen bij de ministeries5.3.3 Waarborgen kwaliteit derdeninformatie in de praktijkTabel 5. Waarborgen voor de kwaliteit van derdeninformatie
en de (controle op de) naleving ervan.5.4 Risicoprofielen leveranciers derdeninformatie5.4.1 Risicobenadering5.4.2 Een typologieWettelijke taak tot informatievoorzieningVerantwoordingsrelatieOverige leveranciers: belanghebbendOverige informatieleveranciers: niet belanghebbend5.4.3 Voorbeelden voldoende afdekking kwaliteitsrisicoMinisterie van VenW: aantal passagiers luchthavensMinisterie van LNV: visvangst en mineraalverbruik5.4.4 Voorbeelden onvoldoende afdekking kwaliteitsrisicoMinisterie van VROM: (huishoudelijk) afvalMinisterie van SZW: dienstverlening aan werkzoekenden5.5 Conclusies6 MELDING UITKOMSTEN EVALUATIEONDERZOEK6.1 Inleiding6.2 Aanwezigheid standaardprocedure6.3 Kenmerken standaardproceduresTabel 6.1 Kenmerken uit de procedures voor melding van
uitkomsten van evaluatieonderzoek aan de ambtelijke en politieke top6.4 Jaarlijkse melding aan de Algemene Rekenkamer6.5 Conclusies7 CONCLUSIES EN AANBEVELINGEN7.1 Ontwikkelingen in de Staat van de beleidsinformatie7.2 Uitwerking van de RPE7.3 Afdekking beleid met evaluatieonderzoek7.4 Uitwerking kwaliteitseisen beleidsinformatie7.5 Derdeninformatie7.6 Melding uitkomsten evaluatieonderzoek7.6.1 Melding aan de ambtelijke en politieke top7.6.2 Melding aan de Algemene Rekenkamer7.7 Mensen8 REACTIE KABINET EN NAWOORD ALGEMENE REKENKAMER8.1 InleidingNawoord Algemene Rekenkamer8.2 Uitwerking van de RPE en deskundigheidsbevorderingNawoord Algemene Rekenkamer:8.3 Volledigheid beleidsinformatieNawoord Algemene Rekenkamer:8.4 DerdeninformatieNawoord Algemene Rekenkamer:8.5 Melding uitkomsten evaluatieonderzoekNawoord Algemene Rekenkamer:8.6 Evaluatie Overzicht Rijksoverheid (EOR)Nawoord Algemene Rekenkamer:8.7 De weg naar goede beleidsinformatieBIJLAGE 1Overzicht van belangrijkste conclusies en aanbevelingen,
reactie van ministers en nawoord Algemene RekenkamerBIJLAGE 2Gehanteerd normenkaderWettelijk kader: RPEDerdeninformatieMeldingBIJLAGE 3BegrippenPeriodiek evaluatieonderzoek:BIJLAGE 4Overzicht onderzochte RPE-bepalingen3 Verplichte gedocumenteerde afweging bij inzet evaluatie-onderzoek
ex anteBepaling 3.1Bepaling 3.24 Periodieke afdekking van beleid met evaluatieonderzoek
ex postBepaling 4.1Bepaling 4.2Bepaling 4.3Bepaling 4.4Bepaling 4.5Bepaling 4.65 Kwaliteitseisen en verslagleggingBepaling 5.1Bepaling 5.26 Melding en benutting van de uitkomsten van periodiek
evaluatieonderzoekBepaling 6.1Bepaling 6.2BIJLAGE 5Overzicht aanwezigheid voorgeschreven uitwerkingen per
RPE-bepalingBIJLAGE 6Uitwerkingen van de hoofdeisen uit de RPE voor kwaliteit
 

 
 
 Toon meer van: Extra informatie
 
 

 
 

Informatie over publicatie

 

 

 
 Toon meer van: Gerelateerd
 
 

 
 Publicaties in kamerdossier

Kamerdossier 29550Toon alle publicaties in het hoofddossier

 

 
 
 Geconsolideerde regelgeving

 

 
 
 Geconsolideerde regelgeving

 

 
 
 Publicaties referendum

 

 

 

 

 

Authentieke versie (PDF)
bestandsgrootte: 203 Kb

Informatie

Gerelateerd

Printen

Delen

 
 
 
29 550Staat van de beleidsinformatie 2004nr. 2RAPPORTInhoud Samenvatting5   1Inleiding101.1Regeling Prestatiegegevens en Evaluatieonderzoek
Rijksoverheid10 1.2Reeks onderzoeken over de evaluatiefunctie
bij ministeries10 1.3Het onderzoek 200411 1.4Leeswijzer14    2Organisatie van de evaluatiefunctie152.1Inleiding152.2Taakverdeling binnen de evaluatiefunctie152.3Uitwerking van de RPE-bepalingen16 2.3.1Het belang van een uitwerking
van de RPE-bepalingen162.3.2Aanwezigheid doorvertalingen
en uitwerkingen172.3.3Twee ministeries zonder departementbrede
uitwerking182.4De RPE in de praktijk19 2.5Conclusies19   3Volledigheid beleidsinformatie over realisatie doelstellingen (afdekking)213.1Inleiding213.2Uitwerkingen RPE-bepalingen voor
afdekking213.3Aandacht voor afdekking in de praktijk223.4Conclusies24    4Uitwerking kwaliteitseisen beleidsinformatie254.1Inleiding254.2Motie-Van Walsem25 4.3Uitwerking hoofdeisen kwaliteit26 4.3.1Aanwezigheid uitwerkingen264.3.2Voorgeschreven uitwerkingen274.3.3Vrijblijvende uitwerkingen30 4.4Uitwerking vastlegging kwaliteit
in dossiers30 4.5Aandacht voor kwaliteit in dossiers
in de praktijk30 4.6Conclusies31   5Informatie van instellingen buiten het ministerie325.1Inleiding325.2Inventarisatie leveranciers van
derdeninformatie325.3Richtlijnen en waarborgen voor
derdeninformatie335.3.1Rijksbrede richtlijnen33 5.3.2Richtlijnen bij de ministeries33 5.3.3Waarborgen kwaliteit derdeninformatie
in de praktijk34 5.4Risicoprofielen leveranciers derdeninformatie35 5.4.1Risicobenadering355.4.2Een typologie35 5.4.3Voorbeelden voldoende afdekking
kwaliteitsrisico38 5.4.4Voorbeelden onvoldoende afdekking
kwaliteitsrisico39 5.5Conclusies40   6Melding uitkomsten evaluatieonderzoek416.1Inleiding41 6.2Aanwezigheid standaardprocedure41 6.3Kenmerken standaardprocedures416.4Jaarlijkse melding aan de Algemene
Rekenkamer426.5Conclusies43    7Conclusies en aanbevelingen447.1Ontwikkelingen in de Staat van
de beleidsinformatie44 7.2Uitwerking van de RPE447.3Afdekking beleid met evaluatieonderzoek457.4Uitwerking kwaliteitseisen beleidsinformatie457.5Derdeninformatie46 7.6Melding uitkomsten evaluatieonderzoek46 7.7Mensen47   8Reactie kabinet en nawoord Algemene Rekenkamer488.1Inleiding488.2Uitwerking van de RPE en deskundigheidsbevordering488.3Volledigheid beleidsinformatie508.4Derdeninformatie50 8.5Melding uitkomsten evaluatieonderzoek51 8.6Evaluatie Overzicht Rijksoverheid
(EOR)52 8.7De weg naar goede beleidsinformatie52Bijlage 1Overzicht van belangrijkste conclusies en aanbevelingen53Bijlage 2Gehanteerd normenkader55Bijlage 3Begrippen56Bijlage 4Overzicht onderzochte RPE-bepalingen58Bijlage 5Overzicht aanwezigheid voorgeschreven uitwerkingen per RPE-bepaling61Bijlage 6Uitwerkingen van de hoofdeisen uit de RPE voor kwaliteit62SAMENVATTINGGoede beleidsinformatie is onmisbaar voor inzicht in wat elk ministerie
met zijn beleid heeft bereikt, wat het daarvoor heeft gedaan en wat dat heeft
gekost. De ministeriële Regeling Prestatiegegevens en Evaluatieonderzoek
Rijksoverheid (RPE) geeft op hoofdlijnen onder meer aan, aan welke eisen het
verzamelen van beleidsinformatie door de rijksoverheid moet voldoen. Ministeries
verzamelen deze informatie via een combinatie van prestatiegegevens die de
ministeries op geregelde basis over de beleidsuitvoering verzamelen en uit
resultaten van beleidsevaluaties.Op de goede wegDe Algemene Rekenkamer concludeert dat het Rijk over het algemeen op de
goede weg is met de zorg voor goede beleidsinformatie. In vergelijking met
2002 hebben verschillende ministeries vorderingen gemaakt met de uitwerking
van de RPE. Desondanks constateert de Algemene Rekenkamer ook tekortkomingen
in de manier waarop de RPE door de ministeries is uitgewerkt en voorgeschreven.
Op basis hiervan ziet de Algemene Rekenkamer risico's voor juiste, volledige
en tijdige beleidsinformatie voor ministers en Tweede Kamer.Het genereren, melden en gebruiken van beleidsinformatie is maatwerk.
Dat is nooit alleen in regels en procedures te vangen. De Algemene Rekenkamer
vindt dat zowel goede regels en procedures als het inzetten van deskundige
en ervaren mensen noodzakelijk is.De Algemene Rekenkamer beschouwt regels nooit als een doel op zichzelf.
Zij onderschrijft daarom het streven van het kabinet om de komende jaren kritisch
te kijken naar de bestaande regels en waar nodig het aantal regels te verminderen.
De Algemene Rekenkamer hecht eraan dat de overheid zich aan haar eigen regels
houdt en kan houden.Met de RPE beschikt de rijksoverheid naar de mening van de Algemene Rekenkamer
in beginsel over een goede set van regels ter waarborging van de kwaliteit
en de totstandkoming van beleidsinformatie. Het betreft echter wel een set
regels op hoofdlijnen. Om er voor te zorgen dat ministeries zich aan die regels
kunnen houden en dus om er voor te zorgen dat er binnen ministeries een minimum-
en vergelijkbaar kwaliteitsniveau van beleidsinformatie is gewaarborgd, is
een zekere mate van praktische uitwerking van die regels onontbeerlijk. Daar
ligt voor de ministeries, op basis van de aanwezige creativiteit en professionaliteit,
een uitdaging om de juiste balans te vinden tussen het opstellen van werkbare
voorschriften en de mate van detaillering daarvan.Overigens is de Algemene Rekenkamer van mening dat niet alle informatie
van hetzelfde kwaliteitsniveau kan zijn. Eventuele onzekerheid over de kwaliteit
van de in de begroting en jaarverslag opgenomen beleidsinformatie moeten de
ministers daarom in deze verantwoordingsdocumenten aangeven.Onderzoek door de Algemene RekenkamerDe Algemene Rekenkamer spreekt sinds de RPE in 2002 van kracht werd periodiek
een oordeel uit over de manier waarop de ministeries hun beleidsinformatie
verzamelen en benutten. In het eerste onderzoek stond de rol van de directies FEZ centraal.1 Voor het tweede
onderzoek heeft de Algemene Rekenkamer in de periode augustus–december
2003 onderzocht in hoeverre de beleidsdirecties
zorgen voor goede beleidsinformatie. De Algemene Rekenkamer vindt het belangrijk
dat elk ministerie een duidelijke en voorgeschreven uitwerking
van de RPE heeft die de beleidsdirecties handvatten biedt voor het verzamelen
en benutten van beleidsinformatie.De Algemene Rekenkamer heeft per ministerie bij één of twee
beleidsdirecties onderzocht in hoeverre de RPE-eisen zijn uitgewerkt.1 Bij deze beleidsdirecties is voor een beperkt aantal
evaluatieonderzoeken en systemen van reguliere prestatiegegevens ook onderzocht
hoe in de praktijk de zorg voor de kwaliteit van de (totstandkoming van de)
beleidsinformatie is geregeld. De zorg voor de kwaliteit van (beleids)informatie
afkomstig van derden waar de ministeries gebruik van maken, had daarbij speciale
aandacht.Omdat van elk ministerie een beperkt aantal beleidsdirecties en een beperkt
aantal evaluatieonderzoeken en systemen van reguliere prestatiegegevens in
het onderzoek is betrokken, is het niet mogelijk om op basis van dit onderzoek
voor alle onderdelen een uitspraak te doen over gehele ministeries en/of een
rijksbreed beeld te geven.Het onderzoek levert wel een aantal leer- en aandachtspunten op voor verdere
ontwikkeling van de evaluatiefunctie bij de ministeries.De Algemene Rekenkamer constateert dat het bij bijna alle ministeries
voorkomt dat, ondanks haar aanbevelingen in het rapport Staat van de beleidsevaluatie 2002, ministeries op onderdelen geen
uitwerking van de RPE hebben. Daar waar de ministeries uitwerkingen hebben,
is het gebruik ervan niet altijd voorgeschreven. De Algemene Rekenkamer meent
dat het (op onderdelen) ontbreken van voorgeschreven uitwerkingen van verschillende
RPE-eisen risico's oplevert voor de uniformiteit en continuïteit van
de totstandkoming en van de kwaliteit van de beleidsinformatie. Zij beveelt
deze ministeries dan ook aan de betreffende RPE-eisen op korte termijn uit
te werken en de (reeds bestaande) uitwerkingen voor te schrijven.De melding van beleidsinformatie is vaak globaal geregeldAlle ministeries beschikken over een standaardprocedure voor melding van
de uitkomsten van evaluatieonderzoek aan de ambtelijke en politieke top. Het
ministerie van AZ is hier de enige uitzondering op. De aanwezige procedures
zijn echter vaak globaal.De RPE stelt het hebben van een procedure voor de melding van uitkomsten
van evaluatieonderzoek verplicht. De Algemene Rekenkamer beveelt aan dat de
ministeries op basis van de kenmerken van bestaande procedures bij verschillende
ministeries hun eigen procedures tegen het licht houden en zonodig aanscherpen.Het is onduidelijk of ministeries zorgen voor volledige
informatie over de realisatie van de doelstellingenDe Algemene Rekenkamer concludeert dat het op basis van de onderzochte
dossiers onduidelijk is in hoeverre de onderzochte beleidsdirecties werken
met een bewuste strategie om beleidsdoelstellingen af te dekken met een optimale
mix van beleidsinformatie. Naar de mening van de Algemene Rekenkamer bestaat
daarmee het risico van lacunes of dubbelingen in de afdekking van de beleidsdoelstellingen
met relevante beleidsinformatie en het risico dat beleidsdirecties hierop
geen zicht hebben. De uiteindelijke consequentie hiervan kan zijn dat de Tweede
Kamer onvoldoende inzicht krijgt in de mate waarin beleidsdoelstellingen
doelmatig en doeltreffend worden gerealiseerd.De evaluatieprogrammering van elk ministerie moet zó in elkaar
zitten dat de combinatie van de jaarlijkse prestatiegegevens en ex-post evaluatieonderzoek
tenminste eens in de vijf jaar zicht geeft op onder meer de mate waarin beleidsdoelstellingen
zijn gerealiseerd en op de doeltreffendheid en doelmatigheid van het beleid.De Algemene Rekenkamer zal in haar volgende onderzoek naar beleidsinformatie
speciale aandacht geven aan het thema afdekking.De eisen van derdeninformatie zijn niet expliciet in de
RPE genoemdDe Algemene Rekenkamer constateert dat een groot deel van de beleidsinformatie
(in begroting en jaarverslag) derdeninformatie betreft. Zo worden evaluatieonderzoeken
vaak door externen uitgevoerd en leveren instellingen van buiten het ministerie
gegevens aan die direct of na bewerking tot uitdrukking komen in de prestatiegegevens
van het Rijk. De RPE spreekt zich echter niet expliciet uit over derdeninformatie.
De Algemene Rekenkamer is van mening dat derdeninformatie die (direct of indirect)
wordt gebruikt voor het vaststellen van en/of het verantwoorden over beleid
moet voldoen aan de kwaliteitseisen van de RPE. De Algemene Rekenkamer beveelt
derhalve aan om in de RPE op te nemen dat beleidsinformatie derdeninformatie
omvat.Ook de minister van Financiën heeft zich op het standpunt gesteld
dat voor niet-financiële beleidsinformatie afkomstig van derden dezelfde
kwaliteitsnormen gelden als voor interne niet-financiële informatie.1 Hij heeft echter ook aangegeven dat om te kunnen voldoen
aan deze normen het volstaat om de bron van informatie in het jaarverslag
te vermelden. De Algemene Rekenkamer meent dat enkel bronvermelding niet volstaat
om aan deze kwaliteitseisen te voldoen.Het inschatten van de risico's voor de kwaliteit van derdeninformatie
is belangrijkDe Algemene Rekenkamer is van mening dat ministeries voor de verschillende
bronnen en soorten derdeninformatie een expliciete risicoanalyse moeten uitvoeren.
Deze analyse moet duidelijk maken welke risico's voor de kwaliteit van derdeninformatie
het departement identificeert en hoe zij deze risico's wil, kan en zal afdekken
met beheersingsmaatregelen. Dit proces moet transparant zijn. Dat impliceert
onder meer een goede vastlegging ervan.De Algemene Rekenkamer constateert dat voor een deel van de onderzochte
derdeninformatie geen waarborgen voor de kwaliteit van die informatie zijn
getroffen. Als onderdeel van het proces van waarborging van de kwaliteit van
derdeninformatie krijgt de controle op het nakomen van de afspraken met derden
op dit moment bij systemen voor prestatiegegevens minder aandacht. De Algemene
Rekenkamer beveelt de ministers aan hier voldoende aandacht aan te besteden.Personeel en procedures zijn de twee pijlers voor een
goede informatievoorzieningDe Algemene Rekenkamer realiseert zich dat voorschriften alleen niet leiden
tot goede beleidsinformatie. Naast een concrete uitwerking van de RPE-eisen
is het noodzakelijk om deskundige en ervaren onderzoekers en beleidsmedewerkers
te hebben en te houden. De Algemene Rekenkamer vindt het daarom belangrijk
dat de departementale leiding, de beleidsdirecties en de directies FEZ permanente
aandacht hebben voor een juiste mix van onderzoekers en beleidsmedewerkers,
voor intra- en interdepartementale uitwisseling en opbouw van kennis over
de RPE. Ontsluiting van (uitwerkingen van) de RPE op het intranet, trainingen
en workshops kunnen daarbij helpen. Een nieuwe mogelijkheid die zou kunnen
worden overwogen is de oprichting van een permanent rijksbreed loket als vraagbaak
voor evaluatoren en als plek waar goede voorbeelden
kunnen worden aangemeld.Er is rijksbreed nog geen goed overzicht van evaluatieonderzoeken
en systemen van reguliere prestatiegegevensJaarlijks vullen de verschillende ministeries het Evaluatie Overzicht
Rijksoverheid (EOR) om de Algemene Rekenkamer en andere instellingen te informeren
over de evaluatieonderzoeken in een bepaald jaar (gepland, in uitvoering of
afgerond) en de systemen van reguliere prestatiegegevens. Het EOR over 2002
was onvolledig en onjuist. De Algemene Rekenkamer concludeert dit op basis
van een beperkte aselecte steekproef.Het EOR is een nuttig instrument dat onder meer een rol kan spelen in
het beeld dat ministeries zich vormen van de afdekking van beleid met evaluatieonderzoek
en systemen van reguliere prestatiegegevens en als functie heeft om externe
partijen informatie te verstrekken over de gehanteerde evaluatie-instrumenten:
naast de Algemene Rekenkamer ook de overige departementen en de Tweede Kamer.Om te voorkomen dat deze partijen onjuist en/of onvolledig worden geïnformeerd,
beveelt de Algemene Rekenkamer de ministeries aan om zorg te dragen voor een
juist en volledig EOR.Reactie kabinet en nawoord Algemene Rekenkamer1In zijn reactie op het onderzoek heeft het kabinet aangegeven de aanbevelingen
van de Algemene Rekenkamer te zullen gebruiken bij de uitwerking van de resultaten
van de op dit moment lopende VBTB-evaluatie.Het kabinet is verheugd dat de praktijk een gunstig beeld laat zien. Het
acht het ongewenst om de RPE-bepalingen nader, gedetailleerd en rijksbreed
uit te werken en voor te schrijven. Het kabinet deelt de mening van de Algemene
Rekenkamer over het belang van kennisbevordering en -uitwisseling voor goede
beleidsinformatie. Het kabinet wenst de samenhang tussen de verschillende
instrumentevaluaties te verbeteren door evaluaties op het niveau van doelstellingen
uit te voeren en evaluaties te prioriteren naar politieke en budgettaire relevantie.De ministers van SZW en VROM zeggen toe de omissies in hun uitwerkingen
van de RPE weg te zullen werken. De minister van Defensie zegt toe de reeds
bestaande uitwerking te zullen voorschrijven. De minister van AZ ziet geen
directe aanleiding om thans tot een op alle aspecten uitgewerkte doorvertaling
van de RPE over te gaan.De Algemene Rekenkamer is met het kabinet van mening dat regels alléén
niet per definitie leiden tot goede beleidsinformatie, het gaat om een combinatie
van regels en het inzetten van deskundige en ervaren mensen om de beleidsinformatie
te genereren, te melden en te gebruiken. De Algemene Rekenkamer is dan ook
verheugd dat het kabinet aandacht heeft voor kennisbevordering en -uitwisseling.Ze is ook positief over de toezeggingen van diverse ministers om de hiaten
in de uitwerkingen van de RPE-bepalingen weg te werken en de (reeds bestaande)
uitwerkingen de ministeries voor te schrijven. Dit alles zal bijdragen aan
een verdere verbetering van de kwaliteit van de beleidsinformatie. In haar
onderzoek naar de Staat van de beleidsinformatie in 2005 en 2006 zal de Algemene
Rekenkamer rijksbreed de kwaliteit van deze informatie beoordelen.1 INLEIDING1.1 Regeling Prestatiegegevens en Evaluatieonderzoek RijksoverheidHet ontwikkelingstraject «Van beleidsbegroting tot beleidsverantwoording»
(VBTB) is erop gericht dat ministers antwoord kunnen geven op de drie W-vragen
in de begroting («Wat willen we bereiken?», «Wat gaan we
daarvoor doen?» en «Wat mag dat kosten?») en de drie H-vragen
in het jaarverslag («Hebben we bereikt wat we hebben beoogd?»,
«Hebben we gedaan wat we daarvoor zouden doen?» en «Heeft
het gekost wat we dachten dat het zou kosten?»).Daarvoor is goede beleidsinformatie onmisbaar. Die beleidsinformatie bestaat
voor een groot deel uit prestatiegegevens die de ministeries op geregelde
basis over de beleidsuitvoering verzamelen en uit resultaten van beleidsevaluaties.1Om te waarborgen dat de reguliere gegevensverzameling en de beleidsevaluaties
goed geregeld zijn én informatie van goede kwaliteit opleveren (de
evaluatiefunctie) heeft het ministerie van Financiën de Regeling Prestatiegegevens
en Evaluatieonderzoek Rijksoverheid2 (RPE) opgesteld.
De RPE bevat (op hoofdlijnen) regels voor onder meer de kwaliteit van de informatie,
het proces van informatievoorziening en voor de verantwoordelijkheidsverdeling
binnen een ministerie.De Algemene Rekenkamer onderzoekt sinds 1999 op gezette tijden hoe het
staat met de evaluatiefunctie bij de ministeries.1.2 Reeks onderzoeken over de evaluatiefunctie bij ministeriesStaat van de beleidsinformatie 2004 is, sinds
de RPE in 2002 van kracht werd, het tweede deel in een reeks rapporten over
de evaluatiefunctie bij ministeries. Voorafgaand aan deze reeks publiceerde
de Algemene Rekenkamer in maart 2000 het rapportOrganisatie
van de beleidsevaluatie.3 Uit dat onderzoek
bleek dat de organisatie van de evaluatiefunctie bij de ministeries op een
groot aantal punten onvoldoende was.In het rapport Staat van de beleidsevaluatie 2002
heeft de Algemene Rekenkamer onderzocht op welke wijze de RPE per ministerie
was vertaald naar een eigen regeling.4 Bijna alle
departementen hadden op dat moment een dergelijke regeling gemaakt. Wel miste
de Algemene Rekenkamer bij een aantal ministeries nog uitwerkingen die de
beleidsdirecties handvatten geven voor een juiste toepassing. In dit onderzoek
stonden de afdelingen FEZ van de ministeries centraal.Het onderhavige onderzoek, Staat van de beleidsinformatie
2004, bouwt verder op de bevindingen van deze twee eerdere onderzoeken
en van het onderzoek naar (de kwaliteit van) niet-financiële beleidsinformatie
in het jaarverslag van het Rijk (uitgebracht in 2003)5. Daarnaast is een door de Algemene Rekenkamer aangekondigd rijksbreed
onderzoek naar derdeninformatie (Kwaliteit van derdeninformatie) in dit onderzoek meegenomen.1.3 Het onderzoek 2004Staat van de beleidsinformatie 2004 richt
zich op de rol van de beleidsdirecties in de evaluatiefunctie van de ministeries:
in hoeverre zorgen zij voor een goed functionerende evaluatiefunctie?Aan de hand van een steekproef uit de beleidsdirecties is voor alle ministeries
nagegaan in hoeverre zij in opzet beschikken over voorgeschreven uitwerkingen
van de regels in de RPE. De RPE geeft regels op hoofdlijnen die de beleidsdirecties
geen concrete handvatten geven voor de uitvoering. Uitwerkingen van de hoofdlijnen
zijn daarom van belang. Voor deze beleidsdirecties is tevens bij een beperkt
aantal systemen van reguliere prestatiegegevens en evaluatieonderzoeken onderzocht
of ze in de praktijk conform de eigen uitwerkingen werken. De zorg voor de
kwaliteit van door ministeries gebruikte (beleids)informatie van derden heeft
in dit onderzoek speciale aandacht.Onderzocht zijn alleen periodieke evaluatieonderzoeken die na 1 januari
2002 (de datum waarop de RPE inging) zijn opgestart en vóór
december 2003 de eerste resultaten hadden. Voor systemen geldt dat ze in de
periode 2002–2003 in gebruik waren. In totaal zijn 53 systemen van reguliere
prestatiegegevens en 51 ex post en ex ante evaluatieonderzoeken, verspreid
over 24 beleidsdirecties van dertien ministeries onderzocht. In tabel 1.1
zijn deze weergegeven.Tabel 1.1 Onderzochte beleidsdirecties, systemen en onderzoekenMinisterie vanAantal en naam onderzochte beleidsdirectiesAantal onderzochteSystemen    OnderzoekenEx anteEx post AZ1Publiek
en Communicatie van DG Rijksvoorlichtingsdienst2 1 BZ1Culturele
samenwerking, Onderwijs en onderzoek (DCO)3 5Justitie2Handhaving (DH), Opsporingsbeleid (DOb)4 5 BZK2Koninkrijksrelaties,
Grotestedenbeleid en Interbestuurlijke Betrekkingen (GSIB)423 OCW1Arbeidsmarkt
en Personeelsbeleid (AP)421 Financiën2Belastingdienst, Financiële Markten5 5& circ;Defensie1Defensiestaf; FEZ, Informatievoorziening en Organisatie en Beleidsevaluatie
van DG Financiën en Control; Materieel, Personeel van DG Personeel en
Materieel413*VROM4Klimaatverandering en Industrie (KvI), Strategie en Bestuur (SB), Internationale
Milieuzaken (IMZ), Stoffen Afvalstoffen Straling (SAS)4 4 VenW2Personenvervoer (DGP), Luchtvaart (DGL)52#3 EZ2Markt
en Innovatie; Strategie, Onderzoek en Internationaal4 3LNV2Visserij,
Landbouw5 2SZW2Uitvoeringsbeleid
(UB), Werk en bijstand (W&B)423 VWS2Innovatie, Beroepen en Ethiek (IBE), Sport5 4Totaal24 53 51 ∧ waarvan één organisatieonderzoek; * waarvan één
doorlichting; # waarvan één zowel ex ante als ex post.De Algemene Rekenkamer heeft geen onderzoek gedaan naar en geeft dus geen
oordeel over de kwaliteit van de evaluatieonderzoeken en de gegevens uit de
systemen van reguliere prestatiegegevens.De beleidsinformatie die ministeries opleveren is voor een groot deel
terug te vinden in de jaarverslagen van de ministeries. Daarmee is er een
directe link tussen het jaarlijkse onderzoek naar de Staat van de beleidsinformatie
en het jaarlijkse rechtmatigheidsonderzoek (RJV) van de Algemene
Rekenkamer. In het kader van haar jaarlijkse rechtmatigheidsonderzoek beoordeelt
de Algemene Rekenkamer de jaarverslagen van de ministeries, en dus ook de
beleidsinformatie die daarin wordt gegeven. Op dit moment wordt ook daar overigens
nog geen oordeel gegeven over de kwaliteit van de beleidsinformatie omdat
het normenkader daarvoor nog niet is uitgekristalliseerd (zie verder paragraaf 2.3.1).
In figuur 1.1 is de relatie tussen de Staat van de beleidsinformatie en het
RJV in beeld gebracht.Omdat van elk ministerie een beperkt aantal beleidsdirecties en een beperkt
aantal evaluatieonderzoeken en systemen van reguliere prestatiegegevens in
het onderzoek is betrokken, is het niet mogelijk om op basis van dit onderzoek
voor alle onderdelen een uitspraak te doen over het gehele ministerie en/of
een rijksbreed beeld te geven.Het onderzoek levert wel een aantal leer- en aandachtspunten op voor verdere
ontwikkeling van de evaluatiefunctie bij de ministeries.1.4 LeeswijzerIn hoofdstuk 2 «Organisatie van de evaluatiefunctie» komt
de taakverdeling binnen de evaluatiefunctie bij de 13 onderzochte ministeries
aan de orde. Daarnaast wordt beschreven of de onderzochte beleidsdirecties
voorgeschreven uitwerkingen hebben van de in de bepalingen van de RPE opgenomen
eisen. Gekeken is alleen of er uitwerkingen waren,
de kwaliteit van de uitwerkingen was geen onderwerp
van onderzoek.Hoofdstuk 3 «Volledigheid beleidsinformatie over realisatie doelstellingen»
beschrijft of de onderzochte beleidsdirecties beschikken over voorgeschreven
uitwerkingen om ervoor te zorgen dat er voor iedere doelstelling ten minste
eens in de vijf jaar voldoende beleidsinformatie is over de realisatie. Daarnaast
komt aan de orde of in de onderzochte dossiers hierover iets terug te vinden
is.In hoofdstuk 4 «Uitwerking kwaliteitseisen beleidsinformatie»
komen de uitwerkingen van de drie hoofdeisen voor kwaliteit uit de RPE waarover
de onderzochte beleidsdirecties beschikken aan de orde. Daarnaast wordt aandacht
besteed aan de zorg voor de kwaliteit van de (totstandkoming van de) beleidsinformatie
in de praktijk.In hoofdstuk 5 «Informatie van instellingen buiten het ministerie»
staat de zorg voor de kwaliteit van de zogenoemde «derdeninformatie»
centraal. Dat is informatie die afkomstig is van instellingen buiten de ministeries,
die de ministeries gebruiken als (onderdeel van hun) beleidsinformatie.Hoofdstuk 6 «Melding uitkomsten evaluatieonderzoek» gaat over
de wijze waarop bij de onderzochte beleidsdirecties de ambtelijke en politieke
top op de hoogte worden gebracht van resultaten van beleidsevaluatieonderzoeken.
Ook komt hier de meldingsverplichting voor evaluaties en systemen van reguliere
prestatiegegevens aan de Algemene Rekenkamer aan de orde.Ten slotte geeft hoofdstuk 7 de conclusies en aanbevelingen en hoofdstuk
8 de reactie van het kabinet en het nawoord van de Algemene Rekenkamer.2 ORGANISATIE VAN DE EVALUATIEFUNCTIE2.1 InleidingDe RPE schrijft ieder departement «een adequaat ingericht, duidelijk
beschreven systeem van verantwoordelijkheden en waarborgen»1 om de RPE goed te kunnen uitvoeren voor. In beginsel
heeft directie FEZ daarbij een coördinerende, toezichthoudende rol, maar
het mag ook een ander onderdeel van het departement zijn, op voorwaarde dat
het onafhankelijk is van de beleidsdirecties. De RPE laat de ministeries de
ruimte om zelf een verantwoordelijkheidsverdeling te maken voor de programmering,
inhoud en opzet van de evaluatiefunctie.Verder bevat de RPE een aantal bepalingen voor onder meer de geïntegreerde
inzet en de kwaliteit en frequentie van de evaluatieonderzoeken en systemen
van reguliere prestatiegegevens.2 Deze bepalingen
zijn op hoofdlijnen geformuleerd. In toelichtingen bij de RPE wordt op punten
een uitwerking gegeven. Deze toelichtingen zijn niet bedoeld als extra regelgeving.In dit hoofdstuk wordt eerst beschreven welke taakverdelingen binnen de
evaluatiefunctie de Algemene Rekenkamer heeft aangetroffen bij de verschillende
ministeries.Vervolgens bekijken we voor ieder ministerie:• of er een op dat ministerie toegespitste doorvertaling van de hoofdlijnen
uit de RPE is gemaakt;• of alle bepalingen uit de RPE zijn uitgewerkt;• of deze uitwerkingen zijn voorgeschreven.2.2 Taakverdeling binnen de evaluatiefunctieCentraal aanspreekpunt voor het ministerie van Financiën en de Algemene
Rekenkamer voor het naleven van de RPE is de centrale directie FEZ. FEZ is
ook verantwoordelijk voor:• het toezicht op de inzet van de systemen van reguliere prestatiegegevens
en evaluatieonderzoeken conform de RPE-bepalingen;• een steekproefsgewijze toetsing van de kwaliteit van de systemen
van reguliere prestatiegegevens en evaluatieonderzoek;• de melding van de uitkomsten van periodiek evaluatieonderzoek aan
de ambtelijke en politieke top volgens een standaardprocedure;• het signaleren van eventuele tekortkomingen in de uitvoering van
de RPE.De verantwoordelijkheid voor de kwaliteit van de evaluatieonderzoeken
en de systemen van reguliere prestatiegegevens kan in theorie liggen bij FEZ,
bij één of meer beleidsdirecties of bij een aparte directie
beleidsevaluatie.In de praktijk komen alle vormen en mengvormen voor:• De verantwoordelijkheid ligt volledig bij FEZ: onderzoek wordt
in opdracht van en onder controle van FEZ uitgevoerd. Dit is het geval bij
het ministerie van Algemene Zaken (AZ).• De verantwoordelijkheid ligt volledig bij een aparte afdeling of
directie: onderzoek wordt in opdracht en onder controle van dat organisatieonderdeel
uitgevoerd. Dit is het geval bij het ministerie van Defensie (de directie
Beleidsevaluatie).• De verantwoordelijkheid ligt volledig bij de directoraten-generaal
en de beleidsdirecties. Dit is het geval bij het ministerie van Volkshuisvesting,
Ruimtelijke Ordening en Milieu (VROM). • De verantwoordelijkheid ligt bij zowel FEZ als de beleidsdirecties.
Dit is het geval bij de ministeries van Binnenlandse Zaken en Koninkrijksrelaties
(BZK), Economische Zaken (EZ), Onderwijs, Cultuur en Wetenschap (OCW), Sociale
Zaken en Werkgelegenheid (SZW), Volksgezondheid, Welzijn en Sport (VWS), Financiën
en Verkeer en Waterstaat (VenW). FEZ heeft in deze situaties een toezichthoudende
rol, maar de beleidsdirecties zijn zelf verantwoordelijk voor programmering
en de kwaliteit van de evaluatieonderzoeken en de systemen van reguliere prestatiegegevens.1 Bij het ministerie van Financiën heeft FEZ zowel
een faciliterende rol (deelname aan project- en begeleidingsgroepen) als een
rol in het beoordelen van onderzoeksvoorstellen. Bij het ministerie van EZ
heeft elk directoraat-generaal zijn eigen evaluatiecoördinator.• De verantwoordelijkheid ligt bij FEZ, de beleidsdirecties én
een ander organisatieonderdeel. In deze situatie zoeken de beleidsdirecties
de samenwerking met anderen voor de inhoudelijke beoordeling van de evaluatieonderzoeken
en systemen van reguliere prestatiegegevens. Bij het ministerie van Landbouw,
Natuur en Voedselkwaliteit (LNV) wordt hiervoor gebruik gemaakt van het Expertisecentrum.
Bij het ministerie van Justitie bewaakt het Wetenschappelijk Onderzoeks- en
DocumentatieCentrum (WODC) de kwaliteit en voert de administratie van alle
onderzoeken. Bij het ministerie van Buitenlandse Zaken (BZ) spelen naast FEZ
ook het Audit Committee en de Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie
(IOB) een belangrijke rol.Tabel 2.1 Overzicht verantwoordelijkheidsverdeling per
ministerieMinisterieFEZBeleidsdirectieApart organisatie-onderdeelAZ•  BZ•••Justitie•••BZK•• OCW•• Financiën•• Defensie  •VROM • VenW•• EZ•• LNV•••SZW•• VWS••  •= (deels) verantwoordelijk voor de evaluatiefunctie2.3 Uitwerking van de RPE-bepalingen2.3.1 Het belang van een uitwerking van de RPE-bepalingenDe Algemene Rekenkamer is van mening dat elk ministerie een duidelijke
uitwerking van de RPE moet hebben die de beleidsdirecties handvatten geeft
voor een juiste toepassing. Recent heeft de Algemene Rekenkamer dan ook in
haar reactie op de brief van de minister van Financiën over de motie-Van
Walsem2 opgemerkt dat de in de RPE opgenomen
drie normen voor kwaliteit: validiteit, betrouwbaarheid/nauwkeurigheid en
bruikbaarheid volgens haar hoofdeisen zijn, die een uitwerking verdienen.3Voorgeschreven, schriftelijke uitwerkingen van de bepalingen in de RPE
zijn een noodzakelijke waarborg voor de uniformiteit en continuïteit
van de totstandkoming en de kwaliteit van beleidsinformatie binnen
een ministerie of beleidsdirectie. Het maakt het mogelijk dat medewerkers
of het ministerie kunnen worden aangesproken op de manier waarop ze beleidsinformatie
genereren. Daarnaast wordt voorkomen dat kennis die alleen bij een beperkt
aantal ter zake deskundigen beschikbaar is, verloren gaat als deze personen
het departement verlaten.2.3.2 Aanwezigheid doorvertalingen en uitwerkingenOp de ministeries van AZ en VROM na hebben alle ministeries een voor het
gehele departement geldende doorvertaling van de RPE gemaakt.1 Deze doorvertalingen geven echter niet altijd een uitwerking van alle
bepalingen uit de RPE.2Verschillende ministeries hebben, naast de departementale doorvertaling
van de RPE, documenten waarin vrijblijvende handreikingen voor en/of voorgeschreven
eisen aan evaluatieonderzoek en systemen van reguliere prestatiegegevens zijn
opgenomen.Tabel 2.2 geeft een overzicht.Tabel 2.2 Overzicht uitwerkingen van de onderzochte RPE-bepalingen
per ministerieMinisterie Uitwerking Volledig Uitwerking voorgeschrevenDocumentAZ○○–BZ°•Verschillende
documenten: °•Doorvertaling RPE (goedgekeurd door SG/DG
beraad)  °•HBBZ (Handboek Bedrijfsvoering Buitenlandse
Zaken)Justitie°•Verschillende documenten: °•Regeling prestatiegegevens en evaluatieonderzoek
Ministerie van Justitie  °○Ex ante uitvoeringstoets  °○Handleiding Betrouwbaarheid prestatiegegevens
DFEZ  °•Wegwijzer WODCBZK°•Verschillende
documenten: °•Notitie implementatie van de Regeling prestatiegegevens
en evaluatieonderzoek °○AO-beschrijvingen voor evaluatieonderzoek °○Self-audit voor evaluatieonderzoek, systemen
van reguliere prestatiegegevens en derdeninformatieOCW°•Regeling Prestatiegegevens
en evaluatieonderzoekFinanciën°•Procedurebeschrijving
voor het gebruik van systemen van reguliere prestatiegegevens en evaluatieonderzoekDefensie°•Verschillende documenten: °•Evaluatiefunctie Defensie, aanwijzing SG
AV880  °○Handboek Auditing DefensieVROM1N.v.t. N.v.t. –• DGM°•Protocol uitvoering
RPEVenW°•Departementale richtlijn behorende
bij de Regeling Prestatiegegevens en Evaluatieonderzoek RijksoverheidEZ••Verschillende
documenten: ••Handboek beleidsevaluatie &
prestatiegegevens  °•AO-kader evaluatieonderzoek °•AO-kader prestatie-indicatoren °•Hoofdlijn Evaluatiebeleid EZLNV°•Verschillende
documenten: °•Regeling prestatiegegevens en evaluatieonderzoek
LNV  °○Blauwdruk AO °•Normen beleidsinformatiesysteemSZW°•Verschillende
documenten: °•Nadere regeling prestatiegegevens en evaluatieonderzoek °•Procesbeschrijving Beleidsinformatie FEZ °•AO onderzoeksproces (beleidsdirectiespecifiek) •°SZW-toets2VWS•°Handboek Regeling Prestatiegegevens
en evaluatieonderzoek VWS○ = niet; ° = deels; • = geheel1 Het ministerie van VROM kent geen (voorgeschreven) uitwerking
voor het gehele departement. Het onderzochte directoraat-generaal Milieubeheer
(DGM) heeft wel een gedeeltelijke uitwerking van de RPE, die in zijn geheel
voor de beleidsdirecties van DGM is voorgeschreven.2 De SZW-toets is alleen verplicht in een aantal specifieke
gevallen: wetsvoorstellen, concept AmvB's, beleidsnota's voor de ministerraad
en concept ministeriële regelingen ter afdoening door bewindslieden.2.3.3 Twee ministeries zonder departementbrede uitwerkingDe ministeries van AZ en VROM hebben geen doorvertaling van de RPE en
geen uitwerking van de RPE-bepalingen voor hun departement gemaakt.De minister van Algemene Zaken stelde in zijn reactie op het rapport Staat van de beleidsevaluatie 2002 dat zijn ministerie
bezig was een doorvertaling van de RPE op te zetten en dat daarover in het
najaar van 2002 «finale besluitvorming» zou plaatsvinden. Inmiddels
stelt het ministerie zich op het standpunt dat het geen doorvertaling nodig
heeft, omdat het, in tegenstelling tot andere ministeries, geen extern gerichte
doelstellingen kent, die voldoende concreet en meetbaar conform de VBTB-gedachte
kunnen worden uitgewerkt. De Algemene Rekenkamer is echter van mening dat,
gegeven het feit dat het ministerie van AZ wel degelijk evaluaties
en prestatiemetingen uitvoert, een borging van de kwaliteit van deze activiteiten
noodzakelijk is.Het ministerie van VROM is van mening dat een centrale, departementale
doorvertaling van de RPE niet bij de decentraal georganiseerde werkwijze past.
Elk van de drie op beleid gerichte directoraten-generaal heeft een eigen verantwoordelijkheid
voor de uitvoering van de RPE. In dit onderzoek heeft de Algemene Rekenkamer
gekeken naar het directoraat-generaal Milieubeheer (DGM). Deze heeft in 2003
als doorvertaling het Protocol uitvoering RPE vastgesteld. Deze is verplicht
en geeft voor verschillende RPE-bepalingen een uitwerking. De beleidsdirecties
van DGM moeten deze verder invullen.In bijlage 5 is een overzichtstabel opgenomen van de bepalingen die, per
ministerie, zijn uitgewerkt en voorgeschreven.2.4 De RPE in de praktijkIn de praktijk blijkt de RPE bij medewerkers van verschillende van de
onderzochte beleidsdirecties niet of nauwelijks bekend te zijn. De Algemene
Rekenkamer signaleert hier een risico voor de mate waarin beleidsinformatie
conform de RPE-bepalingen wordt opgesteld en gebruikt. Dit risico is des te
groter als er per ministerie of beleidsdirectie geen voorgeschreven uitwerkingen
van de RPE-bepalingen beschikbaar zijn.De Algemene Rekenkamer realiseert zich dat voorschriften alléén
niet leiden tot goede beleidsinformatie. Zij wijst er op dat het noodzakelijk
is om, naast een concrete uitwerking van de RPE-bepalingen, te voorzien in
het hebben en houden van deskundige, ervaren onderzoekers en beleidsmedewerkers.Op een aantal ministeries is het belang van het investeren in de kennis
over evalueren bij het personeel zichtbaar onderkend. Zo wordt medewerkers
van het ministerie van Defensie die zich bezig houden met evaluaties geleerd
tijdens een -verplichte- interne leergang hoe een checklist voor het doen
van onderzoek kan worden toegepast.Medewerkers van het ministerie van EZ die voor hun werk te maken krijgen
met het opzetten en begeleiden van evaluatieonderzoek krijgen een cursus evalueren
aangeboden.Het ministerie van VWS kent een RPE-werkgroep, het ministerie van EZ heeft
een Digitaal Kenniscentrum op het intranet waarin voor de medewerkers de interne
regelgeving rondom de RPE is opgenomen.2.5 ConclusiesDe taakverdeling binnen de evaluatiefunctie is bij de 13 onderzochte ministeries
op verschillende manieren ingevuld.Op het ministerie van EZ na hebben alle ministeries onvoldoende invulling
gegeven aan de RPE. Alleen dit ministerie heeft voor alle RPE-bepalingen uitwerkingen
die bovendien zijn voorgeschreven. Bij de overige ministeries is sprake van
verschillende uitwerkingsdocumenten, die soms wel en soms niet zijn voorgeschreven,
en soms wel en soms niet voor alle RPE-bepalingen uitwerkingen geven. Het
ministerie van AZ heeft zelfs helemaal geen doorvertaling.De Algemene Rekenkamer wijst op het belang van de combinatie van regels
en het inzetten van deskundige en ervaren mensen voor de evaluatiefunctie
en op het belang van goede communicatie over (de uitwerkingen van) de RPE(-bepalingen).3 VOLLEDIGHEID BELEIDSINFORMATIE OVER REALISATIE DOELSTELLINGEN
(AFDEKKING)3.1 InleidingDe RPE schrijft voor dat het beleid dat moet leiden tot de realisatie
van de in de begroting en jaarverslag opgenomen algemene en/of nader geoperationaliseerde
doelstellingen in de regel ten minste eens in de vijf jaar (nader) moet worden
geëvalueerd. Het is de bedoeling dat periodiek evaluatieonderzoek wordt
ingezet als aanvulling op de informatie uit systemen van reguliere prestatiegegevens.
Indien deze reguliere systemen niet voldoende inzicht opleveren in onder meer
de doelbereiking, de doeltreffendheid en de doelmatigheid van een doelstelling,
moet periodiek evaluatieonderzoek ten minste eens in de vijf jaar het gewenste
inzicht geven. De RPE noemt dit «periodieke afdekking van beleid met
evaluatieonderzoek ex post».1Volgens de Algemene Rekenkamer betekent dit dat de beleidsdirecties voor
iedere beleidsdoelstelling expliciet moeten nagaan welke informatie reeds
regulier beschikbaar is en of er aanvullende informatie nodig is via evaluatieonderzoek.
Dit moet leiden tot een «dekkende» programmering van evaluatie-activiteiten.In dit hoofdstuk komt aan de orde:• of de onderzochte beleidsdirecties een voorgeschreven schriftelijke
uitwerking van de betreffende RPE-bepalingen hebben voor de wijze waarop de
optimale combinatie van reguliere prestatiegegevens en/of ex post evaluatieonderzoek
tot stand komt;• of op basis van de onderzochte dossiers van de systemen en evaluatieonderzoeken
is vast te stellen dat bij de keuze daarvan is uitgegaan van de vraag hoe
dit bijdraagt aan de afdekking van de betreffende doelstelling.3.2 Uitwerkingen RPE-bepalingen voor afdekkingIn de RPE is het thema «afdekking» in vergelijking met de
overige bepalingen uit de RPE gedetailleerd beschreven. De RPE kent voor afdekking
namelijk zes afzonderlijke bepalingen (4.1 tot en met 4.6). De afdekkingsbepalingen
uit de RPE zijn een nuttige aanzet, maar zonder een uitwerking zijn ze niet
goed bruikbaar.De Algemene Rekenkamer constateert dat minder dan de helft van de ministeries
beschikt over een voorgeschreven uitwerking van alle zes de bepalingen. Bij
zeven ministeries ontbreekt een uitwerking van één of meer van
deze bepalingen2.3.3 Aandacht voor afdekking in de praktijkDe Algemene Rekenkamer verwacht dat in de praktijk uit de dossiers van
concrete onderzoeken en systemen op te maken is welke rol de verschillende
soorten informatie in het afdekkingsvraagstuk spelen.In figuur 3.2 is aangegeven voor hoeveel van de onderzochte systemen van
reguliere prestatiegegevens en evaluatieonderzoeken kon worden vastgesteld,
dat bij de keuze voor het systeem of onderzoek is uitgegaan van de vraag hoe
dit bijdraagt aan de afdekking van de betreffende algemene of operationele
doelstelling.Dit beeld is niet onverdeeld positief. De Algemene Rekenkamer heeft voor
50 procent van de onderzochte systemen van reguliere prestatiegegevens niet
teruggevonden of bij de afweging over de keuze voor het systeem van reguliere
prestatiegegevens en de exacte reikwijdte daarvan rekening is gehouden met
de afdekking. De onderzochte beleidsdirecties van de ministeries van AZ, Justitie,
Financiën, Defensie, VenW en VWS zijn hier negatieve uitschieters. In
al die gevallen is op basis van de systeembeschrijvingen onduidelijk
in hoeverre de onderzochte beleidsdirecties werken met een bewuste afdekkingsstrategie.Voor de onderzochte evaluatieonderzoeken bedraagt dit percentage 60. De
onderzochte beleidsdirecties van de ministeries van BZ, OCW en, wederom, Justitie,
Financiën, Defensie, VenW en VWS vallen hier in ongunstige zin op.3.4 ConclusiesDe zes bepalingen uit de RPE over «periodieke afdekking van beleid
met evaluatieonderzoek ex post» zijn bij zes van de 13 ministeries alle
uitgewerkt én voorgeschreven. Bij zeven ministeries ontbreekt een voorgeschreven
uitwerking van één of meer van deze bepalingen.In de praktijk bleek uit de onderzochte dossiers van evaluatieonderzoeken
en systemen van reguliere prestatiegegevens in veel gevallen (bij de evaluatieonderzoeken
60% en bij de reguliere gegevensverzameling 50%) geen bewuste afdekkingsstrategie.
De Algemene Rekenkamer is zich ervan bewust dat hierover binnen ministeries
en beleidsdirecties buiten de onderzoeken en systemen aan gewerkt kan zijn.
De door haar geselecteerde onderzoeken en systemen kunnen daar bijvoorbeeld
de uitkomst van zijn, zonder dat dat uit de betreffende dossiers blijkt.4 UITWERKING KWALITEITSEISEN BELEIDSINFORMATIE4.1 InleidingDe RPE schrijft voor dat systemen van reguliere prestatiegegevens en evaluatieonderzoeken
moeten voldoen aan de kwaliteitseisen: validiteit, betrouwbaarheid/nauwkeurigheid
en bruikbaarheid.1 Daarnaast schrijft de RPE
voor dat het mogelijk moet zijn om de kwaliteit2
van de systemen en onderzoeken vast te stellen aan de hand van respectievelijk
beschrijvingen van het betreffende systeem en de bijbehorende administratieve
organisatie (AO) en onderzoeksdossier.3In de toelichtende tekst in de RPE zijn criteria opgenomen die een uitwerking
geven van de drie hoofdeisen voor kwaliteit in de RPE. Deze criteria hebben
echter geen verplicht karakter, zij zijn een handreiking voor de uitwerking
van de drie hoofdeisen door de ministeries.4
Tabel 4.1 geeft een overzicht van het aantal criteria dat in de toelichting
van de RPE wordt gegeven voor de drie hoofdeisen voor respectievelijk systemen
en onderzoeken. Zie bijlage 6 (in de tabellen) voor een uitgebreid overzicht
van de criteria uit de toelichting op de RPE.Tabel 4.1 Aantal criteria per hoofdeis voor kwaliteit
uit de toelichting op de RPE Aantal criteria
toelichting RPE Systemen van reguliere prestatiegegevens – Validiteit7– Betrouwbaarheid5 – Bruikbaarheid1Evaluatieonderzoeken – Validiteit6– Betrouwbaarheid5 – Bruikbaarheid7– Aanvullend voor ex ante4Dit hoofdstuk geeft, mede op basis van deze criteria, een overzicht van
hoe de ministeries en/of de onderzochte beleidsdirecties de drie genoemde
hoofdeisen uit de RPE hebben uitgewerkt, zowel in opzet als in de praktijk.
Met nadruk wordt hierbij opgemerkt dat de Algemene Rekenkamer de criteria
uit de toelichting op de RPE in dit onderzoek gebruikt als «mogelijke
uitwerkingen» en dus niet als normen. De praktijk is onderzocht via
dossieronderzoek. In het onderzoek is zowel «dossier» als «systeembeschrijving»
en «AO» breed geïnterpreteerd. Al het schriftelijke materiaal
dat binnen het ministerie werd aangedragen is meegenomen.4.2 Motie-Van WalsemNaar aanleiding van de motie-Van Walsem werken de ministeries onder meer
een normenkader voor de kwaliteit van niet-financiële beleidsinformatie
uit. De Algemene Rekenkamer heeft, zoals reeds aangegeven, in dit kader opgemerkt
dat de in de RPE opgenomen drie normen validiteit, betrouwbaarheid en bruikbaarheid
volgens haar hoofdeisen zijn, die nadere uitwerking verdienen.5 Zij gaf in die reactie ook aan dat het een begrijpelijke keuze is
dat ministeries de komende jaren werkendeweg aan de uitwerking van dit normenkader
werken. Zij merkte verder op dat het wel wenselijk is dat in de toekomst op
basis van opgedane ervaringen de mogelijkheid van een meer uniforme uitwerking
van het normenkader zou worden bezien. Een consequentie van een niet-uniform
(minimum) normenkader is immers dat onder andere de Tweede Kamer informatie van de ministeries ontvangt die van verschillende kwaliteit kan zijn
en dus niet vergelijkbaar hoeft te zijn.4.3 Uitwerking hoofdeisen kwaliteit4.3.1 Aanwezigheid uitwerkingenOngeveer 75% van de onderzochte beleidsdirecties heeft uitwerkingen voor
alledrie de hoofdeisen uit de RPE voor kwaliteit. De drie hoofdeisen zijn
daarbij uitgewerkt in één of meer kwaliteitscriteria. De onderzochte
beleidsdirecties van de ministeries van AZ en OCW hebben geen uitwerking voor
de drie hoofdeisen uit de RPE voor kwaliteit.1De aangetroffen uitwerkingen zijn voor betrouwbaarheid en validiteit bij
ruim 60% van de onderzochte beleidsdirectiesvoorgeschreven. Voor bruikbaarheid is dit voor evaluatieonderzoeken bij 46% het
geval, voor systemen bij 54%. Bij de onderzochte beleidsdirectie van het ministerie
van Defensie zijn alle aangetroffen uitwerkingen vrijblijvend; er is dus geen
enkele uitwerking voorgeschreven.In figuur 4.1 wordt een rijksbreed overzicht gegeven van het aandeel van
de onderzochte beleidsdirecties dat uitwerkingen heeft van de drie hoofdeisen
of niet. In bijlage 6 is een gedetailleerd overzicht per ministerie opgenomen.4.3.2 Voorgeschreven uitwerkingenEr blijkt vooral tussen ministeries een verscheidenheid aan voorgeschreven uitwerkingen te bestaan. Van rijksbrede uniformiteit
is derhalve geen sprake.Er zijn ten eerste verschillen in welke hoofdeisen zijn uitgewerkt. De
onderzochte beleidsdirecties van de ministeries van BZ, Financiën, VenW,
EZ en SZW beschikken over voorgeschreven uitwerkingen voor alledrie de hoofdeisen.
Bij de onderzochte beleidsdirecties van de ministeries van BZK, VROM, LNV,
VWS en Justitie ontbreken deze voor één of meer van de hoofdeisen.Zoals reeds eerder gemeld ontbreken bij de onderzochte beleidsdirecties
van de ministeries van AZ, OCW en Defensie voorgeschreven uitwerkingen voor
alle hoofdeisen.Ten tweede zijn er verschillen in het aantal criteria dat wordt gehanteerd
als voorgeschreven uitwerking van de hoofdeisen. Ter illustratie zijn in figuur
4.2 per ministerie de criteria voor de drie hoofdeisen uit de voorgeschreven
uitwerkingen van de onderzochte beleidsdirecties afgezet tegen de criteria
die als handreiking in de toelichting op de RPE worden gegeven.1 In bijlage 6 is een uitgebreider overzicht opgenomen.De aangetroffen voorgeschreven uitwerkingen zijn overigens voor alle beleidsdirecties
binnen de ministeries van toepassing. Het bovenstaande beeld geldt dus rijksbreed.
Indien alle beleidsdirecties van alle ministeries zouden zijn onderzocht zou
het beeld positiever kunnen zijn, aangezien het mogelijk is dat niet onderzochte
beleidsdirecties in aanvulling op de aangetroffen departementaalbreed geldende
regelgeving directiespecifieke voorschriften hebben ontwikkeld.4.3.3 Vrijblijvende uitwerkingenDe onderzochte beleidsdirectie van Defensie heeft geen voorgeschreven uitwerkingen van de drie hoofdeisen. Nagenoeg alle
kwaliteitscriteria die bij de onderzochte beleidsdirecties van de andere ministeries
zijn voorgeschreven zijn echter bij Defensie wel opgenomen in vrijblijvende uitwerkingen.Bij Justitie, BZK, LNV en VWS blijken er, naast de voorgeschreven kwaliteitscriteria,
in vrijblijvende uitwerkingen nog een aantal andere criteria te zijn opgenomen
voor kwaliteit. Hiermee worden voor deze ministeries de hoofdeisen die niet
in voorschriften zijn uitgewerkt, wel uitgewerkt, zij het vrijblijvend.De directie DGP van VenW heeft in aanvulling op de departementale richtlijn
de (vrijblijvende) handreiking prestatiegegevens DGP ontwikkeld waarin als
uitwerking voor validiteit en betrouwbaarheid voor systemen een aantal extra
criteria is opgenomen. De handreiking bevat een toetslijst waarmee de kwaliteit
van prestatiegegevens kan worden beoordeeld. Op grond van de uitkomst van
de toetslijst kan worden bepaald op welke aspecten aanvullende waarborgen/maatregelen
nodig zijn om de kwaliteit van het prestatiegegeven te vergroten.4.4 Uitwerking vastlegging kwaliteit in dossiers1De Algemene Rekenkamer gaat ervan uit dat wanneer kwaliteitscriteria voorgeschreven
zijn, het ook verplicht is dat in de dossiers van systemen en onderzoeken
hieraan ook aandacht wordt besteed. Dit in het verlengde van de RPE-bepaling
dat de kwaliteit van systemen en onderzoeken vast te stellen moet zijn op
basis van de dossiers.De meeste onderzochte beleidsdirecties hebben voorschriften voor het verwerken
van informatie in de dossiers over (het voldoen aan) de voorgeschreven kwaliteitscriteria.
BZ, EZ, BZK, SZW en VROM vormen hierop een uitzondering: zij hebben voor één
of meer van de daar geldende kwaliteitscriteria niets over de vastlegging
voorgeschreven.4.5 Aandacht voor kwaliteit in dossiers in de praktijkIn de praktijk blijkt uit de onderzochte dossiers van de systemen en evaluatieonderzoeken
in het algemeen meer aandacht voor kwaliteitscriteria dan op basis van de
voorgeschreven uitwerkingen verwacht zou mogen worden. Dit is geen representatief
beeld, omdat in dit onderzoek slechts een beperkt aantal systemen en onderzoeken
bij een beperkt aantal beleidsdirecties zijn onderzocht, maar het is een gunstig
beeld.In figuur 4.3 wordt per hoofdeis van de RPE een overzicht gegeven van
het aandeel van de onderzochte systeembeschrijvingen en evaluatieonderzoeken
waarin aandacht is voor deze eisen.Voor zowel de onderzochte systemen als evaluatieonderzoeken geldt dat
in nagenoeg alle dossiers in meer of mindere mate aandacht is voor de drie
hoofdeisen van de RPE. Er wordt namelijk aan tenminste één criterium
voor elk van de drie hoofdeisen aandacht besteed. Vrijwel alle beleidsdirecties
blijken voor een groot aantal kwaliteitscriteria aandacht te hebben. Dit geldt
ook voor de ministeries die niet beschikken over een uitwerking van de drie
hoofdeisen voor kwaliteit.De Algemene Rekenkamer gaat ervan uit dat ministeries zich aan hun eigen
voorschriften houden. Dat blijkt niet altijd voor alle onderzochte dossiers
het geval te zijn bij de ministeries van VWS, VenW, SZW, LNV, Financiën
en BZ.4.6 ConclusiesOngeveer 75% van de onderzochte beleidsdirecties heeft uitwerkingen voor
alledrie de hoofdeisen voor kwaliteit uit de RPE. Deze zijn bij circa 20%
daarvan vrijblijvend. Ongeveer 60% van de onderzochte beleidsdirecties heeft
voorgeschreven uitwerkingen voor de kwaliteit en vastlegging daarvan.De praktijk laat een gunstig beeld zien. Uit de onderzochte dossiers blijkt
dat er voor veel kwaliteitscriteria aandacht is, of deze nu zijn voorgeschreven
of niet.5 INFORMATIE VAN INSTELLINGEN BUITEN HET MINISTERIE5.1 InleidingEen groot deel van de beleidsinformatie is afkomstig van instellingen
van buiten het eigen ministerie. Zo worden evaluatieonderzoeken vaak door
externen uitgevoerd en leveren instellingen van buiten het ministerie gegevens
aan die direct of na bewerking tot uitdrukking komen in de beleidsinformatie
van het Rijk. Deze informatie die buiten het ministerie wordt opgesteld en
vervolgens door het ministerie wordt gebruikt voor begrotings-, verantwoordings-
en sturingsdoeleinden wordt «derdeninformatie» genoemd.Het aandeel van derdeninformatie in het geheel aan beleidsinformatie is
groot. In het onderhavige onderzoek zijn 53 systemen van reguliere prestatiegegevens
en 51 evaluatieonderzoeken betrokken. Het aandeel derdeninformatie in deze
vormen van beleidsinformatie is respectievelijk 83% en 66%. De borging van
de kwaliteit van derdeninformatie is dus een belangrijke schakel in de gehele
keten van kwaliteitsborging van beleidsinformatie.In dit hoofdstuk wordt ingegaan op de momenteel nog niet eenduidige rijksbrede
normatiek voor de kwaliteit van derdeninformatie. Verder wordt beschreven
in hoeverre ministeries interne voorschriften hebben om de kwaliteit van derdeninformatie
te waarborgen. Tevens komt aan de orde of de onderzochte beleidsdirecties
in de praktijk waarborgen hebben voor de kwaliteit van de derdengegevens en
of er controle is op de naleving van die waarborgen.Als bijdrage aan de gedachtevorming rond de waarborging van de kwaliteit
van derdeninformatie heeft de Algemene Rekenkamer voor de onderzochte systemen
en onderzoeken geïnventariseerd welke instellingen daarbij derdeninformatie
leveren en in welke mate de informatie van deze instellingen meer of minder
betrouwbaar kan zijn. Deze inventarisatie en typologie van instellingen kunnen
mogelijkerwijs als basis dienen voor de risicoanalyse over de kwaliteit van
derdeninformatie.5.2 Inventarisatie leveranciers van derdeninformatieDe Algemene Rekenkamer definieert derdeninformatie als informatie die
afkomstig is van leveranciers waar het ministerie geen bevoegdheden heeft
over het proces van totstandkoming van de informatie en daarmee geen directe
invloed heeft op de kwaliteit van de gegevens. Ook informatie afkomstig van
de departementale diensten Centraal Bureau voor de Statistiek (CBS), het Rijksinstituut
voor Volksgezondheid en Milieu (RIVM), het Centraal Planbureau (CPB), het
Sociaal en Cultureel Planbureau (SCP) en het Ruimtelijk Planbureau (RPB) beschouwt
de Algemene Rekenkamer als derdeninformatie vanwege de inhoudelijke onafhankelijkheid
van deze instellingen.1Uit een inventarisatie van de Algemene Rekenkamer blijkt dat in de onderzochte
systemen en evaluatieonderzoeken gebruik wordt gemaakt van informatie afkomstig
van onder andere zelfstandige bestuursorganen, publieke onderzoeksinstellingen,
andere departementen, overheidsnv's en commerciële onderzoekbureaus.
Figuur 5.1 toont deze variatie in derdeninformatie.5.3 Richtlijnen en waarborgen voor derdeninformatie5.3.1 Rijksbrede richtlijnenDe RPE spreekt zich niet expliciet uit over derdeninformatie.Derdeninformatie krijgt wel enige aandacht in de uitwerking van de motie-Van
Walsem door de minister van Financiën. De minister doet echter geen eenduidige
uitspraak over de eisen die aan derdeninformatie moeten worden gesteld. Enerzijds
geeft de minister van Financiën aan dat voor niet-financiële beleidsinformatie
afkomstig van derden dezelfde kwaliteitsnormen gelden als voor interne niet-financiële
informatie. Anderzijds geeft hij aan dat om te kunnen voldoen aan deze normen
het volstaat om de bron van deze informatie in het jaarverslag te vermelden.5.3.2 Richtlijnen bij de ministeriesOmdat de RPE zich niet expliciet uitspreekt over derdeninformatie, is
het niet verwonderlijk dat in de departementale uitwerkingen
van de RPE slechts in zeer beperkte mate aandacht wordt besteed aan richtlijnen
om de kwaliteit van derdeninformatie te waarborgen.De Algemene Rekenkamer constateert echter dat het ontbreken van specifieke
kwaliteitseisen voor derdeninformatie in de RPE niet betekent dat de ministeries
helemaal niet over dergelijke richtlijnen beschikken. Buiten de departementale
uitwerkingen van de RPE zijn er andere richtlijnen en procedures waarin wel
aandacht is voor kwaliteitsaspecten van derdeninformatie. Onder meer de procedures
in het kader van aan- en uitbesteding, contracten/of subsidiebeheer bevatten
waarborgen voor de kwaliteit van de derdeninformatie.Enkele voorbeelden:• Het ministerie van BZK heeft een checklist voor self-audit waarmee de directies bewust worden gemaakt van de mogelijkheid om
afspraken met de informatieleverancier te maken over onder andere validiteit,
actualiteit en betrouwbaarheid. Verder bevatten de uitbestedingsvoorwaarden van het ministerie van BZK voorwaarden die de professionaliteit
van de opdrachtnemer moeten waarborgen. In aanvulling hierop heeft de directie
GSIB van het ministerie van BZK nog een specifieke procedure voor
uitbesteding van onderzoek. Deze procedure bevat suggesties, richtlijnen
en beoordelingscriteria voor de verschillende stappen in het proces van uitbesteding
van onderzoek. De procedure bevat onder andere de suggestie om een «begeleidingscommissie»
in te stellen.• Het ministerie van SZW heeft AO-beschrijvingen voor de
aanbesteding van onderzoek. Een belangrijk onderdeel van de procedure
is het opstellen van een startnotitie als basis voor het offerteverzoek en
opdrachtverlening aan derden. In de startnotitie kunnen kwaliteitseisen voor
de totstandkoming van de informatie worden geformuleerd. In de AO is verder
ook opgenomen dat de beleidsdirectie voor een evaluatieonderzoek een begeleidingscommissie
in kan stellen. Het ministerie van SZW heeft ook «Algemene voorwaarden
onderzoek voor derdeninformatie» opgesteld. Deze Algemene Voorwaarden
regelen met name de juridische aspecten voor een contract met een derde partij.• Het ministerie van OCW waarborgt de professionaliteit en onafhankelijkheid
van externe informatieleveranciers door een systeem van raamcontracten
en daarbij horende algemene voorwaarden. Relevante elementen betreffen
de begeleiding van het onderzoek, kwalificaties van onderzoekers, rapportage-eisen,
publicatie door onderzoekers indien OCW de bevindingen niet binnen drie maanden
publiceert, ontbinding van de overeenkomst en de aansprakelijkheid van de
onderzoeker bij tekortkomingen in de uitvoering. Voorafgaand aan het afsluiten
van een raamcontract vindt screening van het onderzoeksbureau plaats.5.3.3 Waarborgen kwaliteit derdeninformatie in de praktijkUit tabel 5.1 blijkt dat voor een ruime meerderheid van de onderzochte
systemen en de evaluatieonderzoeken kwaliteitswaarborgen zijn getroffen. De
percentages zijn gebaseerd op 44 systemen van reguliere prestatiegegevens
waarbij derdeninformatie een rol spelen en 34 evaluatieonderzoeken die zijn
uitgevoerd door derden. Uit de tabel blijkt ook dat de departementen minder
aandacht geven aan de controle op de naleving van de waarborgen.Tabel 5. Waarborgen voor de kwaliteit van derdeninformatie
en de (controle op de) naleving ervan. % systemen% evaluatieonderzoeken Aanwezigheid van waarborgen6573 Controle op naleving van de waarborgen3553De Algemene Rekenkamer heeft in de praktijk de volgende waarborgen waargenomen:• Professionaliteitseisen aan de uitvoerder van het onderzoek;• Instelling begeleidingscommissie / klankbordgroep;• Eigen onderzoek: trendanalyse, waarschijnlijkheidstoets en/of vergelijking
met ander onderzoek, gegevensverificatie;• Afspraken met de uitvoerder van onderzoek over te hanteren definities,
de betrouwbaarheid, validiteit en actualiteit;• Gebruik maken van gerenommeerde instanties;• Accountantsverklaringen;• Aanwezigheid administratieve organisatie / kwaliteitshandboeken
bij de informatieleverancier;• Geautomatiseerde controles in informatiesystemen;• Toets op de onderzoeksmethode van de opdrachtnemer;• Externe audits op de informatieleveranciers.5.4 Risicoprofielen leveranciers derdeninformatie5.4.1 RisicobenaderingDe Algemene Rekenkamer gaat ervan uit dat derdeninformatie moet voldoen
aan de eisen van de RPE, wanneer het als beleidsinformatie wordt gebruikt
voor het vaststellen en/of bijsturen van en/of verantwoorden over beleid.
Zij realiseert zich dat de primaire verantwoordelijkheid voor de kwaliteit
van de informatie in de regel bij de leverancier van de derdeninformatie ligt
en dat het departement meestal geen verantwoordelijkheid heeft voor de bedrijfsvoering
van deze organisaties. Het departement is echter volgens de Algemene Rekenkamer
wél verantwoordelijk voor de afweging om wel of geen gebruik te maken
van de betreffende derdeninformatie. Aan dit afwegingsproces kunnen naar de
mening van de Algemene Rekenkamer wel voorwaarden worden gesteld.Zo is de Algemene Rekenkamer van mening dat het departement, indien zij
besluit om gebruik te maken van bepaalde derdeninformatie, inzicht moet hebben
in de kwaliteit van deze gegevens. Dit beeld kan op verschillende manieren
worden verkregen. Het uitvoeren van een risicoanalyse geeft het departement
inzicht in de kwaliteitsrisico's van de derdeninformatie. Op grond van een
dergelijke risicoanalyse, eventueel aangevuld met een beoordeling van de kwaliteit
van het gegeven zelf, kan het departement kiezen om wel of geen gebruik te
maken van de derdeninformatie. Het departement kan ook, op grond van de risicoanalyse,
aanvullende waarborgen organiseren voor de totstandkoming van de derdeninformatie
om de kwaliteitsrisico's te reduceren tot een aanvaardbaar niveau.5.4.2 Een typologieOm verder invulling te geven aan de hiervoor beschreven risicobenadering heeft de Algemene Rekenkamer een categorisering van derdeninformatie
ontwikkeld. Uitgangspunt hierbij is het risicoprofiel van de informatieleverancier
voor informatie. Immers, het risico dat derdeninformatie niet voldoet aan
de te stellen kwaliteitseisen varieert in de meeste gevallen per leverancier
van de informatie.Wettelijke taak tot informatievoorzieningEen eerste categorie betreft «informatie van leveranciers die als
wettelijke taak informatievoorziening hebben». Deze informatieleveranciers
hebben een in de wet vastgelegde taak om informatie te verzamelen, te verwerken
en te presenteren. Voorbeelden van dergelijke instellingen zijn het CBS, het
RIVM, het CPB en het SCP. Het risico voor de kwaliteit van derdeninformatie
die afkomstig is van deze categorie informatieleveranciers én direct
onderdeel uitmaakt van die wettelijke taak, kan als laag worden ingeschat,
uitgaande van de wettelijke bepalingen dat deze instellingen de kwaliteit
van die gegevens moeten waarborgen. Op grond van de risicobenadering ziet
de Algemene Rekenkamer geen noodzaak dat departementen nog substantiële
maatregelen nemen om de kwaliteit van de gegevens die afkomstig zijn van deze
informatieleveranciers te waarborgen.Overigens voeren de betreffende instellingen ook activiteiten uit buiten
hun wettelijke informatieleveringstaak. Dergelijke activiteiten worden in
opdracht uitgevoerd. De Algemene Rekenkamer meent dat in dergelijke gevallen
sprake is van activiteiten met een gelijk risicoprofiel als de categorie «belanghebbende
instellingen» (zie hierna).VerantwoordingsrelatieEen tweede categorie betreft informatieleveranciers die zich met de geleverde
informatie verantwoorden over de door hen bestede rijksgelden. Voorbeelden
van dergelijke informatieleveranciers zijn uitvoeringsinstellingen, lagere
overheden (specifieke uitkeringen) en subsidieontvangers. De Algemene Rekenkamer
schat het risico van gegevens die afkomstig zijn van deze categorie van informatieleveranciers
op «hoog», omdat deze instellingen belang hebben bij de verstrekte
informatie. Van departementen mag worden verwacht dat zij substantiële
maatregelen nemen om de kwaliteit van deze informatie te waarborgen.Overige leveranciers: belanghebbendDe overige informatieleveranciers kunnen worden onderscheiden in informatieleveranciers
met en zonder belang bij de inhoud van informatie. Het belang van belanghebbende informatieleveranciers kan zijn gebaseerd
op inhoudelijke en/of financiële gronden. Een inhoudelijk belang kan
bestaan indien de informatie van invloed is op de maatschappelijke perceptie
van de instelling (bijvoorbeeld passagiersaantallen Schiphol). Bij een financieel
belang kan bijvoorbeeld worden gedacht aan een commercieel onderzoeksbureau
waarbij mogelijk verband bestaat tussen de geleverde informatie en eventuele
vervolgopdrachten. De Algemene Rekenkamer schat het risico van gegevens die
afkomstig zijn van deze categorie van informatieleveranciers op «middelhoog».
Van departementen mag worden verwacht dat zij enige aanvullende maatregelen
nemen om de kwaliteit van de informatie te waarborgen.Overige informatieleveranciers: niet belanghebbendTot de vierde categorie behoren informatieleveranciers die de informatie
op eigen initiatief hebben verzameld en geen belang hebben bij het gebruik
van de informatie door de rijksoverheid. Voorbeelden van derdeninformatie
die afkomstig is uit deze categorie betreft sommige wetenschappelijke publicaties
van universiteiten en monitorinformatie van supranationale overheden. Er kan
geen eensluidende inschatting worden gegeven van de risico's die verbonden
zijn aan gegevens afkomstig van deze categorie informatieleveranciers, omdat
de kwaliteit van de informatie van leverancier tot leverancier en van product
tot product kan verschillen. Het inzicht in de risico's zal per informatiestroom
afzonderlijk moeten worden bepaald. De Algemene Rekenkamer schat het risico
van gegevens die afkomstig zijn van deze categorie van informatieleveranciers
in veel gevallen op«middellaag». Omdat er bij deze soort informatie
geen relatie bestaat tussen het ministerie en de informatieleverancier, kan
het ministerie vanzelfsprekend vooraf geen waarborgen treffen die de kwaliteit
van die informatie garanderen. Het ministerie zal zich dus op het moment dat
het deze informatie wil gebruiken moeten vergewissen van de kwaliteit.De bovenstaande typologie is schematisch weergegeven in figuur 5.2.5.4.3 Voorbeelden voldoende afdekking kwaliteitsrisicoMinisterie van VenW: aantal passagiers luchthavensHet ministerie van VenW neemt onder meer het aantal passagiers op van
Schiphol in vergelijking tot die van vier andere luchthavens in Europa: Frankfurt,
Londen-Heathrow, Parijs-Charles de Gaulle en Brussel. Het ministerie neemt
deze gegevens letterlijk over uit statistieken die Schiphol jaarlijks publiceert.
Het betreft hier een gegeven afkomstig van een belanghebbende
informatieleverancier. Hieraan is een middelhoog risico voor de kwaliteit
gekoppeld. Op grond van de inschatting van het risico heeft het ministerie
echter geen aanvullende waarborgen getroffen. Zij meent namelijk dat er reeds
voldoende waarborgen in het proces van totstandkoming van het gegeven aanwezig
zijn. Immers, passagiersaantallen worden door de luchthavens gebruikt als
grondslag voor het in rekening brengen van tarieven aan luchtvaartmaatschappijen
en zijn als zodanig ook aan accountantscontrole onderhevig. Dat geldt voor
de gegevens van Schiphol, maar ook voor de gegevens van de andere luchthavens.Ministerie van LNV: visvangst en mineraalverbruikHet ministerie van LNV ontvangt gegevens over visvangst van visserijbedrijven
en over de hoeveelheid mineralen die een landbouwbedrijf netto verbruikt van
landbouwbedrijven. Het betreft hier gegevens afkomstig van informatieleveranciers
die in een verantwoordingsrelatie staan tot het departement. Hieraan is een
hoog risico voor de kwaliteit gekoppeld. Het ministerie van LNV heeft zich
dit risico gerealiseerd en poogt de kwaliteit te waarborgen door zélf
ook metingen uit te voeren (bij «schelpdiervlees in kustwateren»
en «stabiele mosselbanken»). Verder maakt zij jaarlijks met de
Algemene Inspectiedienst werkafspraken over te verrichte controles op de door
vissers opgegeven visvangsten in de havens. De opgave van de hoeveelheid mineralen
door landbouwbedrijven wordt door het Bureau Heffingen op basis van administratieve
gegevens gecontroleerd.5.4.4 Voorbeelden onvoldoende afdekking kwaliteitsrisicoMinisterie van VROM: (huishoudelijk) afvalIn het kader van de monitoring van de prestaties van het afvalstoffenbeleid
ontvangt het ministerie van VROM van het Afval Overleg Orgaan (AOO) cijfers
over onder meer de gescheiden inzameling van huishoudelijke afvalstoffen.
De basisgegevens over (huishoudelijk) afval worden in sommige gevallen rechtstreeks
geleverd door afvalverwerkende bedrijven of brancheverenigingen zonder validatie
van deze cijfers door (onafhankelijke) externen. Deze gegevens zijn hier derhalve
afkomstig van belanghebbende informatieleveranciers. Hieraan is een middelhoog
risico gekoppeld. Aanvullende maatregelen lijken nodig om de kwaliteit van
deze gegevens te waarborgen. De Algemene Rekenkamer constateerde dat de betreffende
beleidsdirectie van het ministerie van VROM geen extra waarborgen had getroffen
om deze risico's af te dekken, zoals bijvoorbeeld validatie door onafhankelijke
externen of «interested parties».Ministerie van SZW: dienstverlening aan werkzoekendenHet ministerie van SZW krijgt van de Centra voor Werk en Inkomen (CWI)
gegevens over de dienstverlening aan werkzoekenden, zoals het plaatsingspercentage –
na actieve bemiddeling – naar werk, het aandeel etnische minderheden
in het totaal aantal ingeschreven niet-werkende cliënten en het aandeel
van etnische minderheden in het aantal plaatsingen binnen zes maanden. Het
betreft indicatoren waarover tussen het ministerie en het CWI prestatieafspraken
zijn gemaakt. Het betreft derhalve informatie op grond van een verantwoordingsrelatie
met het ministerie. Aan deze informatie is een hoog risicoprofiel gekoppeld,
vanwege het belang van de betrouwbaarheid ervan. Aanvullende maatregelen lijken
nodig om de kwaliteit van de geleverde/te ontvangen gegevens te waarborgen.
De Algemene Rekenkamer constateerde dat de betrokken beleidsdirectie
de van het CWI ontvangen informatie niet op kwaliteit beoordeelde. De directie
gaf als reden dat zij afgaat op de signalen die ze ontvangt van de externe
accountant van het CWI en van de toezichthouder Inspectie Werk en Inkomen
(IWI). De Algemene Rekenkamer constateerde echter dat de externe accountant
alleen de ordelijke en controleerbare totstandkoming van de informatie onderzoekt,
niet de getrouwheid ervan. Bovendien is door zowel de accountant van het CWI
als het IWI opgemerkt dat de betreffende informatie afkomstig is uit een onbetrouwbaar
systeem. Volgens de Algemene Rekenkamer had het meerwaarde gehad als de minister
van SZW in het jaarverslag bij de gegevens gemeld zou hebben dat er onzekerheid
bestaat over de kwaliteit ervan.5.5 ConclusiesDe Algemene Rekenkamer is verheugd te constateren dat de onderzochte beleidsdirecties,
ondanks het ontbreken van expliciete rijksbrede wettelijke richtlijnen, aandacht
hebben voor het waarborgen van de kwaliteit van derdeninformatie. Ze steunen
hierbij onder andere op richtlijnen in het kader van subsidie- en/of contractbeheer
en het aanbestedingsbeleid.Tevens constateert de Algemene Rekenkamer een grote variëteit in
aard en afkomst van derdeninformatie. Op grond van deze constatering beschouwt
de Algemene Rekenkamer de opstelling van rijksbrede specifieke waarborgen
als onwenselijk.De bevindingen geven echter geen aanleiding tot algehele tevredenheid.
Uit de bevindingen blijkt dat voor meer dan een kwart van de derdeninformatie
geen waarborgen zijn getroffen. Bovendien is gebleken dat de onderzochte beleidsdirecties
veelal geen controle uitvoeren op de naleving van de waarborgen. Ook het dossieronderzoek
van de systemen van reguliere prestatiegegevens toont dat enkele beleidsdirecties
bestaande risico's ten aanzien van de kwaliteit niet altijd afdoende hebben
afgedekt met waarborgen.De Algemene Rekenkamer is van mening dat ministeries voor de verschillende
bronnen en soorten van derdeninformatie een expliciete risicoanalyse moeten
uitvoeren. Deze analyse moet duidelijk maken welke risico's voor de kwaliteit
van derdeninformatie het departement identificeert en hoe zij deze risico's
wil, kan en zal afdekken met beheersingsmaatregelen. Dit proces moet transparant
zijn. Dat impliceert onder meer een goede vastlegging ervan.6 MELDING UITKOMSTEN EVALUATIEONDERZOEK6.1 InleidingDe resultaten van beleidsevaluatieonderzoeken en systemen van reguliere
prestatiegegevens kunnen in principe via de normale processen binnen een ministerie,
zoals de begrotingscyclus, de beleidscyclus of de planning- en controlcyclus,
«automatisch» bij de ambtelijke en politieke top komen. Deze processen
hebben echter vaak hun specifieke doorlooptijden, waardoor het kan gebeuren
dat relevante informatie niet tijdig bij de top van de organisatie belandt.
De normale processen waarborgen bovendien niet per definitie dat alle relevante
informatie die uit systemen van reguliere prestatiegegevens en met name evaluatieonderzoeken
beschikbaar komt aan de ambtelijke en politieke top wordt gemeld.Om deze risico's te vermijden is in de RPE een bepaling1 opgenomen voor de melding van de uitkomsten van evaluatieonderzoek.
Er is voorgeschreven dat ministeries moeten beschikken over een standaardprocedure
waarin is geregeld hoe de ambtelijke en politieke top op de hoogte moet worden
gebracht van de uitkomsten van evaluatieonderzoek. Hoe die standaardprocedure
er uit ziet wordt door de departementen zelf bepaald en vastgelegd. De RPE
stelt overigens geen eisen aan de (procedures voor) benutting van de uitkomsten van evaluatieonderzoeken en systemen van reguliere
prestatiegegevens.In dit hoofdstuk wordt beschreven of de ministeries over een standaardprocedure
beschikken voor melding van de uitkomsten van evaluatieonderzoek en welke
kenmerken die procedure heeft. Verder komt aan de orde of er ook dergelijke
richtlijnen bestaan voor uitkomsten van systemen van reguliere prestatiegegevens.
Als laatste wordt ingegaan op de melding over evaluatieonderzoeken en systemen
van reguliere prestatiegegevens aan de Algemene Rekenkamer.6.2 Aanwezigheid standaardprocedureDe Algemene Rekenkamer constateert dat alleen het ministerie van AZ niet
beschikt over een beschreven standaardprocedure voor de melding van uitkomsten van evaluatieonderzoek aan de ambtelijke en
politieke top.2Systemen van reguliere prestatiegegevens leveren op gezette tijden informatie
over in het bijzonder de mate waarin de door het ministerie voorgenomen prestaties
worden gerealiseerd. Ze zijn daarmee onder meer een belangrijk instrument
binnen de dagelijkse bedrijfsvoering van een ministerie. In dat licht beschouwd
is het positief dat negen van de dertien ministeries beschikken over een procedure
voor de melding van uitkomsten van systemen van reguliere prestatiegegevens,
hoewel het beschikken over een dergelijke procedure niet is voorgeschreven.6.3 Kenmerken standaardproceduresDe Algemene Rekenkamer constateert dat de meeste procedures globaal zijn.
Opmerkelijk is dat de meeste ministeries niet hebben voorgeschreven binnen
welke termijn de uitkomsten aan de top gemeld moeten worden. Verschillende
ministeries hebben in de meldingsprocedure opgenomen dat alleen de belangrijkste
informatie aan de ambtelijke en/of politieke top moet worden gemeld. Een operationalisering
van het begrip «belangrijkste» ontbreekt echter.
Het directoraat-generaal Milieubeheer van het ministerie van VROM heeft een
procedure die alleen voorziet in melding aan de ambtelijke top indien sprake
is van een afwijking van de planning of het beleid.
Alleen bijzwaarwegende afwijkingen wordt de minister
of staatssecretaris op de hoogte gesteld.In tabel 6.1 is een overzicht van kenmerken van de departementale standaardprocedures
voor melding van uitkomsten van evaluatieonderzoek opgenomen.Tabel 6.1 Kenmerken uit de procedures voor melding van
uitkomsten van evaluatieonderzoek aan de ambtelijke en politieke topUitkomsten moeten onverkort worden doorgegeven (Defensie,
OCW). De aanbevelingen van de onderzoeksrapporten, inclusief
een advies over hoe om te gaan met de onderzoeksresultaten moeten worden aangeboden
aan het SG/DG beraad en, indien relevant, aan de bewindslieden (BZ). Er is een standaardmeldingsformulier voor afgerond
evaluatieonderzoek. Hierin moeten aan bod komen: onderwerp, aanleiding, samenvatting,
conclusies, evaluatie van het onderzoek, voorlichtingsaspecten, bezetting
begeleidingscommissie en gevraagde beslissing (Justitie). Alle resultaten van evaluatieonderzoek worden aan de
ambtelijke en politiek top gemeld. Bij majeure beleidsmatige en politieke
consequenties: melding direct. Bij nieuw beleid of aanpassingen van beleid:
melding indirect via directeuren en DG, die vervolgens besluiten wat wordt
doorgegeven (EZ). De beleidsdirectie stelt naar aanleiding van de eindrapportage
een nota op met daarin de beleidsmatige consequenties van de gerapporteerde
bevindingen. Deze nota is gericht aan de minister en wordt opgesteld volgens
een standaarddocument (SZW). De uitkomsten worden vergezeld van een advies van de
directie over de uitvoering van de aanbevelingen die uit het evaluatieonderzoek
voortvloeien (LNV). De portefeuillehouder besluit op basis van het onderzoeksrapport,
een advies van de directie FEZ en een advies van de beleidsdirectie hoe hij
omgaat met de onderzoeksresultaten (VWS). FEZ krijgt een afschrift van de notitie van de beleidsdirectie
aan de top en het onderzoeksrapport, signaleert zelf eventuele hiaten in het
onderzoek en meldt de top hierover (LNV). De belangrijkste conclusies worden in een memo samengevat en voor
een medeparaaf aan FEZ voorgelegd. Daarna informeert het beleidsonderdeel
de SG, die beslist of er aanleiding is de rapportage aan de bewindslieden
voor te leggen (BZK). De onderzochte beleidsdirecties blijken zich in de meeste gevallen aan
de departementale standaardprocedure voor de melding van uitkomsten van systemen
van reguliere prestatiegegevens en evaluatieonderzoeken te houden.De Algemene Rekenkamer kon voor enkele onderzoeken en systemen uit de
onderzochte dossiers niets afleiden over de vraag of en zo ja, hoe de uitkomsten
zijn gemeld en gebruikt. Zij wijst in dit verband op het risico van het niet
benutten van relevante uitkomsten.6.4 Jaarlijkse melding aan de Algemene RekenkamerDe ministeries zijn op grond van de RPE verplicht jaarlijks aan de Algemene
Rekenkamer een overzicht te verstrekken van geplande, in uitvoering zijnde
en afgeronde evaluatieonderzoeken en van systemen van reguliere
prestatiegegevens.1 Dit gebeurt door de Algemene
Rekenkamer jaarlijks het (elektronische) Evaluatie Overzicht Rijksoverheid
(EOR) te sturen.Het EOR is met ingang van de melding over het jaar 2002 in de plaats gekomen
van de jaarlijkse bijlage evaluatieonderzoek in de departementale begrotingen.
Het EOR heeft mede als functie externe partijen informatie te verstrekken
over de gehanteerde evaluatie-instrumenten: naast de Algemene Rekenkamer ook
de overige departementen. Het ministerie van Financiën denkt na over
de wijze waarop de Tweede Kamer de beschikking kan krijgen over de resultaten
uit het EOR.Het eerste EOR, de melding over 2002, kon vanwege technische problemen
met de software niet rijksbreed worden gevuld. De ministeries hebben toen
aan hun meldingsplicht aan de Algemene Rekenkamer voldaan door per ministerie
de informatie ter beschikking te stellen. De Algemene Rekenkamer constateert
dat deze departementale meldingen niet altijd volledig waren. Zo ontbrak bij
zes ministeries een overzicht van de systemen van reguliere prestatiegegevens2, en waren wel opgenomen overzichten niet compleet. Ook
de melding over evaluatieonderzoeken bleek niet correct. Uit een verificatie
op basis van het geringe aantal voor dit onderzoek uit het EOR geselecteerde
evaluatieonderzoeken (maximaal vijf per ministerie), bleek dat de melding
bij diverse ministeries gebreken vertoonde zoals:• als afgerond gemelde onderzoeken bestaan niet;• gemelde onderzoeken zijn geen periodiek evaluatieonderzoek;• vermelde begin- en einddata kloppen niet;• niet alle ex post evaluatieonderzoeken en organisatiedoorlichtingen
zijn opgenomen.De Algemene Rekenkamer merkt op dat een onjuist en onvolledig EOR consequenties
kan hebben voor onder meer het beeld dat ministeries zelf hebben van de afdekking
van beleid met uitkomsten van evaluatieonderzoek en systemen van reguliere
prestatiegegevens.6.5 ConclusiesAlle ministeries, behalve het ministerie van AZ, beschikken over een voorgeschreven
standaardprocedure voor de melding van uitkomsten van evaluatieonderzoek aan
de ambtelijke en politieke top. Negen van de dertien ministeries beschikken
over een procedure voor de melding van uitkomsten van systemen van reguliere
prestatiegegevens, hoewel dat niet is voorgeschreven in de RPE.De meeste standaardprocedures zijn globaal. De meeste ministeries hebben
bijvoorbeeld niet voorgeschreven binnen welke termijn de uitkomsten aan de
top gemeld moeten worden.Het Evaluatie Overzicht Rijksoverheid over 2002 was onvolledig en onjuist.7 CONCLUSIES EN AANBEVELINGEN7.1 Ontwikkelingen in de Staat van de beleidsinformatieDe Algemene Rekenkamer concludeert dat het Rijk over het algemeen op de
goede weg is met de zorg voor goede beleidsinformatie. In vergelijking met
2002 hebben verschillende ministeries vorderingen gemaakt met de uitwerking
van de RPE. Desondanks constateert de Algemene Rekenkamer ook tekortkomingen
in de manier waarop de RPE door de ministeries is uitgewerkt en voorgeschreven.
Op basis hiervan ziet de Algemene Rekenkamer risico's voor juiste, volledige
en tijdige beleidsinformatie voor ministers en Tweede Kamer.7.2 Uitwerking van de RPEDe RPE bevat een aantal bepalingen waarin op hoofdlijnen de invulling
van de evaluatiefunctie bij ministeries is voorgeschreven. De Algemene Rekenkamer
heeft bij een aantal beleidsdirecties van elk departement onderzocht of deze
beschikken over voorgeschreven uitwerkingen van de bepalingen uit de RPE.Omdat van elk ministerie een beperkt aantal beleidsdirecties en een beperkt
aantal evaluatieonderzoeken en systemen van reguliere prestatiegegevens in
het onderzoek is betrokken, is het niet mogelijk om op basis van dit onderzoek
voor alle onderdelen een uitspraak te doen over gehele ministeries en/of een
rijksbreed beeld te geven.Het onderzoek levert wel een aantal leer- en aandachtspunten op voor verdere
ontwikkeling van de evaluatiefunctie bij de ministeries.Uit het onderzoek bleek dat alleen het ministerie van EZ een volledige
én voorgeschreven uitwerking heeft. Alleen het ministerie van AZ heeft
geen enkele uitwerking. De overige elf ministeries hebben een deel van de
bepalingen uitgewerkt en/of hebben niet alle uitwerkingen voorgeschreven.De Algemene Rekenkamer onderschrijft het streven van het kabinet om de
komende jaren kritisch te kijken naar de bestaande regels en waar nodig het
aantal regels te verminderen en «Meer eenvoud, meer focus» tot
stand te brengen. Maar zij is tevens van mening dat dit streven om te komen
tot minder regels geen doel op zich kan zijn. De bewindspersonen hebben goede
beleidsinformatie nodig om hun ministeriële verantwoordelijkheid tegenover
de Tweede Kamer waar te maken. De Tweede Kamer mag een bepaalde ondergrens
aan kwaliteit verwachten. Dat wil niet zeggen dat alle beleidsinformatie van
dezelfde hoge kwaliteit moet zijn. Het moet de Tweede Kamer wel duidelijk
zijn wat de kwaliteit van de gepresenteerde beleidsinformatie is.Ook voor het welslagen van VBTB is goede beleidsinformatie van groot belang.De Algemene Rekenkamer vreest dat de zorg voor goede beleidsinformatie
in de knel komt door de nu bestaande onvolledigheid en vrijblijvendheid van
de RPE-uitwerkingen voor de kwaliteit van beleidsinformatie en voor de zorg
voor volledige informatie over doelrealisatie. De consequenties van dergelijk
grote vrijblijvendheid zijn: risico's dat een beleidsdirectie of ministerie
niet in staat is beleidsinformatie te produceren waarvan de kwaliteit in de
tijd en tussen beleidsdirecties en/of ministeries vergelijkbaar is.De Algemene Rekenkamer is van mening dat het voorschrijven van de uitwerkingen
van de RPE een noodzakelijke waarborg is voor goede beleidsinformatie. Alleen
dan hebben de beleidsdirecties voldoende houvast bij het toepassen
van de RPE en kan de kwaliteit van de opgeleverde beleidsinformatie voldoende
worden gewaarborgd. Overigens denkt de Algemene Rekenkamer aan bruikbare voorschriften
van beperkte omvang.De Algemene Rekenkamer beveelt de ministeries daarom aan om voor alle
RPE-bepalingen op korte termijn een uitwerking te maken en deze uitwerkingen
voor te schrijven.7.3 Afdekking beleid met evaluatieonderzoekMinder dan de helft van de 13 ministeries heeft de bepalingen uit de RPE
over «afdekking van beleid met evaluatieonderzoek» zowel uitgewerkt
als voorgeschreven.Uit de onderzochte dossiers bleek in veel gevallen geen bewuste afdekkingsstrategie
bij de keuze voor periodiek evaluatieonderzoek en voor systemen van reguliere
prestatiegegevens.Naar de mening van de Algemene Rekenkamer bestaat daarmee het risico van
lacunes of dubbelingen in de afdekking van de beleidsdoelstellingen met relevante
beleidsinformatie en het risico dat beleidsdirecties hierop geen zicht hebben.De uiteindelijke consequentie hiervan kan zijn dat de Tweede Kamer onvoldoende
inzicht krijgt in de mate waarin beleidsdoelstellingen doelmatig en doeltreffend
worden gerealiseerd.7.4 Uitwerking kwaliteitseisen beleidsinformatieVan de onderzochte beleidsdirecties heeft 75% uitwerkingen voor alledrie
de hoofdeisen voor kwaliteit uit de RPE. Deze zijn bij 20% daarvan vrijblijvend.
Ongeveer 60% van de onderzochte beleidsdirecties heeft voorgeschreven uitwerkingen
voor de kwaliteit en vastlegging daarvan.De praktijk laat een gunstig beeld zien. Uit de onderzochte dossiers blijkt
dat er voor veel kwaliteitscriteria aandacht is, of deze nu zijn voorgeschreven
of niet.De Algemene Rekenkamer is van mening dat de toelichting op de RPE tezamen
met de Handreiking ex post onderzoek van het ministerie van Financiën
een goede basis biedt voor de door de Tweede Kamer en door haar gewenste uitwerking
van de hoofdeisen uit de RPE voor de kwaliteit van beleidsinformatie, zowel
voor het dagelijkse gebruik van de beleidsdirecties als voor toetsing door
FEZ en departementale auditdiensten (DAD). De Algemene Rekenkamer beveelt
de ministeries aan bij de verdere uitwerking van de RPE aandacht te hebben
voor deze beide documenten.Wanneer de Algemene Rekenkamer de komende jaren onderzoek doet naar de
kwaliteit van niet-financiële beleidsinformatie zal zij als basis relevante
wet- en regelgeving en de door de ministeries vastgelegde/gehanteerde kwaliteitscriteria
hanteren. Indien dat noodzakelijk is, bijvoorbeeld vanwege het willen verkrijgen
van een evenwichtig beeld bij rijksbreed onderzoek, zal zij aanvullende criteria
gebruiken die mede gebaseerd zullen zijn op de bovengenoemde documenten. Mocht
de Algemene Rekenkamer uitgaan van afwijkende criteria dan zal dit vooraf
kenbaar worden gemaakt en in het betreffende onderzoeksvoorstel en de betreffende
rapportage van de Algemene Rekenkamer worden toegelicht.7.5 DerdeninformatieEen groot deel van de beleidsinformatie is informatie van instellingen
buiten het ministerie, zogenoemde «derden».De RPE spreekt zich niet expliciet uit over derdeninformatie.De Algemene Rekenkamer is van mening dat derdeninformatie die (direct
of indirect) wordt gebruikt voor het vaststellen en/of bijsturen van en/of
het verantwoorden over beleid moet voldoen aan de kwaliteitseisen van de RPE.
De Algemene Rekenkamer beveelt derhalve aan om in de RPE op te nemen dat beleidsinformatie
derdeninformatie omvat.De Algemene Rekenkamer meent dat enkel bronvermelding niet volstaat om
aan de RPE-kwaliteitseisen te voldoen, zoals de minister van Financiën
van mening is. De rijksoverheid moet in elk geval de kwaliteit hebben gewaarborgd
wanneer zij de aan haar geleverde gegevens gebruikt om haar beleid op te baseren
of bij te sturen en/of op basis van deze gegevens publieke verantwoording
aflegt. Met alleen het vermelden van de bron van de beleidsinformatie wordt
de kwaliteit niet per definitie gewaarborgd. Bovendien zegt bronvermelding
de lezer van de departementale begrotingen of jaarverslagen niets over de
(verschillen in) kwaliteit van de informatie.Uit het onderzoek bleek dat departementen, ondanks het ontbreken van wettelijke
richtlijnen, aandacht hebben voor het waarborgen van de kwaliteit van derdeninformatie.
Ze steunen hierbij onder andere op richtlijnen in het kader van subsidie-
en/of contractbeheer en het aanbestedingsbeleid. Tevens constateert de Algemene
Rekenkamer een grote variëteit in aard en afkomst van derdeninformatie.
Op grond van deze constatering beschouwt de Algemene Rekenkamer de opstelling
van rijksbrede specifieke waarborgen ook als onwenselijk.De bevindingen geven echter geen aanleiding tot algehele tevredenheid.
Uit de bevindingen blijkt dat voor meer dan een kwart van de derdeninformatie
geen waarborgen zijn getroffen. Bovendien is gebleken dat er door de onderzochte
beleidsdirecties veelal geen controle wordt uitgevoerd op de naleving van
de waarborgen. De Algemene Rekenkamer beveelt de ministers aan hier voldoende
aandacht aan te besteden.Ook het dossieronderzoek van de systemen van reguliere prestatiegegevens
toont dat enkele beleidsdirecties bestaande risico's ten aanzien van de kwaliteit
niet altijd afdoende hebben afgedekt met waarborgen. De Algemene Rekenkamer
is van mening dat ministeries voor de verschillende bronnen en soorten van
derdeninformatie een expliciete risicoanalyse moeten uitvoeren. Deze analyse
moet duidelijk maken welke risico's voor de kwaliteit van derdeninformatie
het departement identificeert en hoe zij deze risico's wil, kan en zal afdekken
met beheersingsmaatregelen. Dit proces moet transparant zijn. Dat impliceert
onder meer een goede vastlegging ervan.7.6 Melding uitkomsten evaluatieonderzoek7.6.1 Melding aan de ambtelijke en politieke topAlle ministeries, behalve het ministerie van AZ, beschikken over een voorgeschreven
standaardprocedure voor de melding van uitkomsten van evaluatieonderzoek aan
de ambtelijke en politieke top. De meeste standaardprocedures zijn globaal.
De meeste ministeries hebben bijvoorbeeld niet voorgeschreven
binnen welke termijn de uitkomsten aan de top gemeld moeten worden.De Algemene Rekenkamer beveelt de ministeries aan op basis van de kenmerken
van bestaande procedures bij verschillende ministeries hun eigen procedures
tegen het licht te houden en zonodig aan te scherpen. In ieder geval zou een
maximale tijd voorgeschreven moeten zijn vanaf het moment van het beschikbaar
komen van informatie tot het moment van melding.7.6.2 Melding aan de Algemene RekenkamerJaarlijks wordt door de verschillende ministeries het Evaluatie Overzicht
Rijksoverheid gevuld om de Algemene Rekenkamer en andere instellingen te informeren
over de evaluatieonderzoeken in een bepaald jaar (gepland, in uitvoering of
afgerond) en de systemen van reguliere prestatiegegevens. Het EOR over 2002
was onvolledig en onjuist. De Algemene Rekenkamer concludeert dit op basis
van een beperkte aselecte steekproef.Het EOR is een nuttig instrument en kan een rol spelen in het beeld dat
ministeries zich vormen van de afdekking van beleid met evaluatieonderzoek
en systemen van reguliere prestatiegegevens en heeft als functie om externe
partijen informatie te verstrekken over de gehanteerde evaluatie-instrumenten:
naast de Algemene Rekenkamer ook de overige departementen en de Tweede Kamer.Om te voorkomen dat deze partijen onjuist en/of onvolledig worden geïnformeerd,
beveelt de Algemene Rekenkamer de ministers aan om zorg te dragen voor een
juist en volledig EOR.7.7 MensenDe Algemene Rekenkamer wijst op het belang van de combinatie van regels
en het inzetten van deskundige en ervaren mensen voor de evaluatiefunctie
en op het belang van goede communicatie over (de uitwerkingen van) de RPE(-bepalingen).Zij vindt het daarom van belang dat beleidsdirecties, FEZ en de departementale
leiding permanente aandacht hebben en houden voor een juiste mix van onderzoekers
en beleidsmedewerkers, voor intra- en interdepartementale kennisuitwisselingen
over de RPE en uitwerkingen daarvan via bijvoorbeeld ontsluiting op intranet,
trainingen en workshops. Een nieuwe mogelijkheid die zou kunnen worden overwogen
is de oprichting van een permanent rijksbreed loket als vraagbaak voor evaluatoren
en waar goede voorbeelden kunnen worden aangemeld.De Algemene Rekenkamer heeft in aanvulling op de hierboven weergegeven
algemene conclusies en aanbevelingen de bij de afzonderlijke ministeries gesignaleerde
gebreken de betreffende bewindspersonen per brief aangegeven. Deze aanbevelingen
zijn terug te vinden op de website van de Algemene Rekenkamer.18 REACTIE KABINET EN NAWOORD ALGEMENE REKENKAMER8.1 InleidingDe minister van Financiën heeft namens het kabinet op het onderzoek
gereageerd, bij brief van 15 april 2004. De minister schrijft dat op
dit moment de RPE wordt geëvalueerd als onderdeel van de VBTB-evaluatie.
Op basis van deze evaluatie zal het kabinet aangeven hoe de aanbevelingen
die de Algemene Rekenkamer doet in de Staat van de beleidsinformatie
2004 al dan niet worden uitgewerkt.Een aantal ministers heeft daarnaast een aanvullende reactie gegeven,
in reactie op de aanbevelingen van de Algemene Rekenkamer. Deze reacties (en
het nawoord van de Algemene Rekenkamer) zijn te vinden op de website van de
Algemene Rekenkamer.1Het kabinet vindt het jammer dat in sommige tabellen of grafieken, de
samenvatting en conclusies en aanbevelingen niet wordt vermeld dat van elk
ministerie een beperkt aantal (veelal 1 of 2) beleidsdirecties in het onderzoek
is betrokken. Op basis van dit onderzoek is het niet mogelijk om departementaal-
of rijksbrede conclusies te trekken, terwijl het nu wel als zodanig wordt
gepresenteerd.Nawoord Algemene RekenkamerInderdaad kan op basis van dit onderzoek niet overal een uitspraak worden
gedaan over hele ministeries, noch kunnen overal rijksbrede conclusies worden
getrokken. Dit staat vermeld in de samenvatting en in de inleiding van het
rapport. In de oordelen en deeloordelen in dit rapport wordt deze restrictie
steeds duidelijk gemaakt. Voor alle duidelijkheid is in de samenvatting en
in hoofdstuk 7 met de conclusies en aanbevelingen een passage toegevoegd met
deze strekking.8.2 Uitwerking van de RPE en deskundigheidsbevorderingHet kabinet is verheugd dat de praktijk een gunstig beeld laat zien: er
is voldoende aandacht voor de kwaliteitsaspecten van beleidsinformatie en
er worden afspraken gemaakt over de levering van derdeninformatie. Echter,
de wens van de Algemene Rekenkamer om dit beeld verder te verbeteren door
meer en gedetailleerdere regelgeving leidt volgens het kabinet niet tot het
gewenste resultaat: betere beleidsinformatie en uitvoering van beleid. Het
kabinet acht het ongewenst om de RPE-bepalingen, de toelichting op de RPE
en handgidsen nader, gedetailleerd en rijksbreed uit te werken en voor te
schrijven. Bepaalde risico's laten zich moeilijk vangen in (nadere) regelgeving
gezien de grote variëteit in aard en afkomst van beleidsinformatie. De
Algemene Rekenkamer heeft naar de mening van het kabinet vooral oog voor perfectie
(van beleid) en minder voor de uitvoeringsgevolgen. Hierdoor wordt de «slechte
aansluiting – zo niet kloof – tussen beleidsambities en uitvoeringspraktijk
als één van de grote risico's voor de geloofwaardigheid van
de rijksoverheid en het vertrouwen van de burgers in de overheid»2 niet kleiner. Volgens het kabinet moet niet de weg van
nadere gedetailleerde procedures en controles op procedures maar die van deskundigheidsbevordering
worden begaan.De RPE is al een uitwerking (van de Comptabiliteitswet), aldus het kabinet.
De RPE schetst de uniforme hoofdlijnen (kader) om de kwaliteit van beleidsinformatie
te waarborgen. Daarbinnen kunnen de departementen de normen nader concretiseren
in interne richtlijnen en onderzoeksprotocollen en/of inhoudelijke
afspraken maken met de Kamer. Om inzicht te krijgen in de kwaliteit van beleidsinformatie
(en dito risico's) in het jaarverslag heeft het kabinet de Rijksbegrotingsvoorschriften
2004 al aangepast zoals is toegezegd in de uitwerking van de motie-Van Walsem1. Het kabinet deelt de mening van de Algemene Rekenkamer
over het belang van kennisbevordering en -uitwisseling voor goede beleidsinformatie.
Hiervoor wordt al veel gedaan, zoals het verzorgen van goede opleidingen voor
beleidsmedewerkers. Er bestaan gremia (zoals IBP en VIDE2 ) en er lopen verschillende initiatieven (seminar over kosten-batenanalyses3 ). Bovendien investeren de departementen vanuit hun
eigen verantwoordelijkheid in kennis en kunde over het verzamelen van beleidsinformatie
en uitvoeren van evaluatieonderzoek (voorbeelden hiervan zijn het Expertisecentrum
LNV, het WODC en de directie Beleidsevaluatie van het ministerie van Defensie).De ministers van SZW en VROM geven in hun reactie aan dat ze de door de
Algemene Rekenkamer geconstateerde ommissies in hun uitwerkingen van de RPE
zullen wegwerken. De minister van Defensie geeft in zijn reactie aan de reeds
bestaande uitwerking te zullen voorschrijven.De minister van Algemene Zaken geeft daarentegen in zijn reactie aan dat
voor zijn ministerie regelingen die samenhangen met VBTB (zoals de RPE) slechts
in beperkte mate en incidenteel van toepassing zijn. Derhalve is afgezien
van een (procedurele) doorvertaling van de RPE. De minister ziet geen directe
aanleiding om thans tot een op alle aspecten uitgewerkte doorvertaling van
de RPE over te gaan.Nawoord Algemene Rekenkamer:De Algemene Rekenkamer merkt voor alle duidelijkheid op dat op basis van
dit onderzoek niet, zoals het kabinet schrijft, is vast te stellen dat er voldoende aandacht is voor de kwaliteitsaspecten van beleidsinformatie.
De Algemene Rekenkamer heeft alleen onderzocht of de ministeries beschikken
over voorgeschreven uitwerkingen van de desbetreffende RPE-bepalingen en of
daar in de praktijk informatie over is terug te vinden in de onderzoeksdossiers
en systeembeschrijvingen.De Algemene Rekenkamer beschouwt regels nooit als een doel op zichzelf.
Zij onderschrijft daarom het streven van het kabinet om de komende jaren kritisch
te kijken naar de bestaande regels en waar nodig het aantal regels te verminderen.
De Algemene Rekenkamer hecht eraan dat de overheid zich aan haar eigen regels
houdt en kan houden. De Algemene Rekenkamer wijst er op dat zij wel degelijk
oog heeft voor de uitvoeringsgevolgen van wet- en regelgeving.Met de RPE beschikt de rijksoverheid naar haar mening over in beginsel
een goede set van regels ter waarborging van de kwaliteit en de totstandkoming
van beleidsinformatie. Het betreft echter wel een set regels op hoofdlijnen.
Om er voor te zorgen dat ministeries zich aan die regels kunnen houden en
dus om er voor te zorgen dat er binnen ministeries een minimum- en vergelijkbaar
kwaliteitsniveau van beleidsinformatie is gewaarborgd, is een zekere mate
van uitwerking van die regels onontbeerlijk. Daar ligt voor de ministeries,
op basis van de aanwezige creativiteit en professionaliteit, een uitdaging
om de juiste balans te vinden tussen het opstellen van werkbare voorschriften
en de mate van detaillering daarvan.Zij memoreert in dit verband aan de instemmende reactie van de minister
van Financiën op haar rapport Staat van de beleidsevaluatie
2002, waarin hij opmerkt dat hij met de Algemene Rekenkamer van mening
is dat de departementale doorvertalingen nog verrijkt kunnen worden met duidelijke voorbeelden en uitwerkingen.1 Het
resultaat – goede beleidsinformatie – kan inzicht geven in de
beleidsresultaten en de mogelijke kloof tussen beleid en uitvoering en zelfs
bijdragen aan een versmalling van die kloof en dus aan een betere uitvoering
en/of beter beleid. Immers, inzicht in de verklaringen voor eventuele afwijkingen
ten opzichte van de beleidsvoornemens bieden aangrijpingspunten voor de verbetering
van de uitvoering en/of het beleid.De Algemene Rekenkamer is positief over het feit dat de meeste ministeries
(delen van) de RPE al hebben uitgewerkt. Zij spreekt haar waardering uit over
de afzonderlijke toezeggingen van de ministers van Defensie, VROM en SZW,
om door de Algemene Rekenkamer geconstateerde hiaten in de uitwerkingen van
de RPE-bepalingen weg te werken en de (reeds bestaande) uitwerkingen voor
te schrijven.De Algemene Rekenkamer constateert met genoegen dat het kabinet haar mening
deelt over het belang van kennisbevordering en -uitwisseling.De Algemene Rekenkamer betreurt het dat de minister van AZ is teruggekomen
op een naar aanleiding van de Staat van de beleidsevaluatie
2002 gedane toezegging om een (op dat moment al ontwikkelde) departementale
doorvertaling te formaliseren.28.3 Volledigheid beleidsinformatieHet kabinet stelt dat een mix van prestatiegegevens en periodiek evaluatieonderzoek
(ex ante en ex post), zoals geëxpliciteerd in de begroting en jaarverslag,
het uitgangspunt voor een afdekkingsstrategie vormen. Uitgangspunt is dus
de begroting en het jaarverslag en niet het systeem van prestatiegegevens
of het evaluatieonderzoek: top-down en niet bottom-up. Uit het Evaluatie Overzicht
Rijksoverheid (EOR) blijkt dat bij de departementen vooral (honderden per
jaar) instrumentevaluaties worden uitgevoerd. Het kabinet wenst de samenhang
tussen de verschillende instrumentevaluaties te verbeteren door evaluaties
op het niveau van doelstellingen uit te voeren en evaluaties te prioriteren
naar politieke en budgettaire relevantie.Nawoord Algemene Rekenkamer:De Algemene Rekenkamer neemt met instemming kennis van de toezegging van
het kabinet om evaluaties op het niveau van doelstellingen uit te voeren en
evaluaties te prioriteren naar politieke en budgettaire relevantie. Zij denkt
dat dit niet alleen kan leiden tot een beter inzicht in de uitvoering en de
resultaten van de beleidsdoelstellingen binnen de ministeries, maar ook tot
een effectievere benutting van de financiële middelen die beschikbaar
zijn voor het evalueren.8.4 DerdeninformatieHet kabinet vindt evenals de Algemene Rekenkamer dat dezelfde kwaliteitsnormen
die gelden voor interne beleidsinformatie die wordt gebruikt voor het afleggen
van verantwoording, ook gelden voor beleidsinformatie afkomstig van «derden»
(zoals provincie, gemeente, statistisch bureau).3
Het kabinet deelt de mening van de Algemene Rekenkamer dat rijksbrede specifieke
waarborgen onwenselijk zijn vanwege de grote variëteit van derdeninformatie.
Derden beschikken vaak over interne kwaliteitssystemen en departementen steunen –
zoals ook uit het onderzoek van de Algemene Rekenkamer blijkt – hierbij
op bestaande richtlijnen (voorbeelden hiervan zijn aanbestedingsbeleid
en contractbeheer). Dubbele richtlijnen en/of controles acht het kabinet ongewenst.Departementen kunnen volstaan met de vaststelling of derden kwaliteitssystemen
hebben door het vermelden van de bron (bijvoorbeeld: CPB of CBS), zonder zelf
de totstandkoming («de risico's voor de kwaliteit van de opgeleverde
informatie») van derdeninformatie te controleren.Nawoord Algemene Rekenkamer:De Algemene Rekenkamer gaat ervan uit dat de opvatting van het kabinet,
dat voor beleidsinformatie afkomstig van derden dezelfde kwaliteitsnormen
gelden als voor interne beleidsinformatie die wordt gebruikt voor het afleggen
van verantwoording, óók betrekking heeft op informatie afkomstig
van onder meer RWT's en gesubsidieerde instellingen. De Algemene Rekenkamer
is met het kabinet van mening dat dubbele richtlijnen en/of controles ongewenst
zijn.Uit de reactie van het kabinet maakt de Algemene Rekenkamer op dat het
de door haar aanbevolen «beheersingsmaatregelen» interpreteert
als controle van de totstandkoming van derdeninformatie. Deze interpretatie
is onjuist. Zij benadrukt dat zij hierbij doelt op maatregelen om de risico's
voor de kwaliteit van de opgeleverde informatie af te dekken.Daarvoor is het nodig dat het ministerie een expliciete risico-analyse
van de beoogde informatie maakt. Een dergelijke analyse kan bijvoorbeeld inhouden
dat wordt nagegaan of de leverancier van de derdeninformatie over een kwaliteitssysteem
beschikt en of dat aan de eisen van het ministerie voldoet. Als het ministerie
op basis daarvan concludeert dat de risico's voor de kwaliteit van deze informatie
voldoende worden afgedekt, dan hoeven uiteraard geen aanvullende beheersingsmaatregelen
te worden genomen.Het vermelden van de bron van derdeninformatie in het departementale jaarverslag
geeft wel duidelijkheid over de herkomst van deze informatie. Het zegt echter
niets over het inzicht dat het ministerie heeft in de kwaliteit van die informatie,
noch over de kwaliteit van die informatie zelf, tenzij er als regel uitsluitend
bronnen zouden worden gebruikt, waarvan het ministerie heeft vastgesteld dat
de kwaliteit van de informatie gewaarborgd wordt.8.5 Melding uitkomsten evaluatieonderzoekHet kabinet stelt dat de procedures in de RPE voor de melding van de uitkomsten
van evaluatieonderzoek klip en klaar zijn. Het voorschrijven van een maximale
tijd acht zij ongewenst omdat dit leidt tot informatieoverdaad en procedureel
gedrag. Essentieel is de feitelijke benutting van de uitkomsten van evaluatieonderzoek.
Dit is voornamelijk afhankelijk van de beoordeling van de context (zoals de
actualiteit) door beleidsmedewerkers en -beslissers. Een goede beoordeling
van hen over de onderzoeksopzet (goed opdrachtgeverschap) en de relevantie
van onderzoeksresultaten biedt meer waarborg voor het benutten van de uitkomsten
dan een rigide looptijd tot melding.Nawoord Algemene Rekenkamer:Vanzelfsprekend is ook de Algemene Rekenkamer van mening dat alleen de relevante informatie aan de top gemeld moet worden. Van
belang is dat de juiste personen op het juiste moment geïnformeerd worden
en dat de beleidsinformatie gebruikt wordt. Een hulpmiddel om dat doel te
bereiken zou kunnen zijn het vastleggen van een maximale tijd. Uiteraard kan
er ook voor worden gekozen dit doel op andere manieren te bereiken.8.6 Evaluatie Overzicht Rijksoverheid (EOR)Het kabinet deelt de mening van de Algemene Rekenkamer dat het EOR (een
informatiesysteem op het rijksbrede intranet RYX) een rol kan spelen in het
beeld dat ministeries zich vormen van de afdekking van beleid met evaluatieonderzoek
en systemen van reguliere prestatiegegevens. Echter, het EOR dient primair
als systeem voor managementinformatie (hebben de geplande evaluatieonderzoeken
daadwerkelijk plaatsgevonden) en het op de hoogte stellen van de Algemene
Rekenkamer, overige departementen en de Tweede Kamer van alle afgeronde, lopende
en geplande evaluatieonderzoeken en systemen van reguliere prestatiegegevens.
De conclusie van de Algemene Rekenkamer dat het EOR over 2002 onvolledig en
onjuist was, wordt ook door het kabinet gedeeld. In 2003 is door aanloopproblemen
de kwaliteit van het EOR op RYX onvoldoende geweest. Vanaf begin 2004 is het
EOR op RYX volledig operationeel. Vanaf 16 april 2004 kan EOR op
RYX volledig geactualiseerd worden geraadpleegd. De departementen hebben zelf
de verantwoordelijkheid om het EOR jaarlijks te actualiseren.Nawoord Algemene Rekenkamer:De Algemene Rekenkamer neemt met instemming kennis van het feit dat het
EOR op RYX inmiddels volledig operationeel is. Zij gaat ervan uit dat de bewindspersonen
vanaf heden zorgdragen voor een volledig, juist en actueel EOR.8.7 De weg naar goede beleidsinformatieDe Algemene Rekenkamer is met het kabinet van mening dat regels alléén
niet per definitie leiden tot goede beleidsinformatie; het gaat om een combinatie
van regels en het inzetten van deskundige en ervaren mensen om de beleidsinformatie
te genereren, te melden en te gebruiken. De Algemene Rekenkamer is dan ook
verheugd dat het kabinet ook aandacht heeft voor kennisbevordering en -uitwisseling.
Ze is in dit verband ook positief over de toezeggingen van diverse ministers
om de hiaten in de uitwerkingen van de RPE-bepalingen weg te werken en de
(reeds bestaande) uitwerkingen de ministeries voor te schrijven. Dit alles
zal bijdragen aan een verdere verbetering van de kwaliteit van de beleidsinformatie.
In haar onderzoek naar de Staat van de beleidsinformatie in 2005 en 2006 zal
de Algemene Rekenkamer rijksbreed de kwaliteit van deze informatie beoordelen.BIJLAGE 1Overzicht van belangrijkste conclusies en aanbevelingen,
reactie van ministers en nawoord Algemene RekenkamerConclusiesAanbevelingenToezeggingenNawoord Algemene RekenkamerEen groot aantal ministeries heeft onvoldoende
invulling gegeven aan de RPE. Daardoor zijn er risico's voor de kwaliteit
van de beleidsinformatie. Doordat onder andere bij meer dan de helft van de
ministeries de bepalingen voor afdekking van de beleidsdoelstel- lingen niet
zijn uitgewerkt én voorgeschreven, ontstaat het risico van lacunes,
dan wel dub- belingen in de beleidsinformatie, die mogelijk zelfs onopgemerkt
blijven. De consequentie hiervan kan zijn dat de Tweede Kamer onvoldoende
inzicht krijgt in de mate waarin beleidsdoelstellin- gen doelmatig en doeltreffend
worden gerealiseerd. Regels alleen zijn niet voldoende. De Algemene Rekenkamer
wijst op het belang van het investeren in deskundigheidsbevordering en kennisuitwisseling
op het terrein van de evaluatiefunctie en van goede communicatie over de uitwerkingen
van de RPE-bepalin- gen.De minister
van AZ zou op korte termijn een uitwerking van de RPE-bepalingen moeten opstel-
len en voorschrijven. De overige ministers, behalve die van EZ, zouden op
korte termijn de ontbrekende RPE- bepalingen in hun uitwerkingen aan moeten
vullen en de uitwer- kingen die nu nog vrijblijvend zijn, moeten voorschrijven.
 Bij de verdere ontwikkeling van het normenkader voor niet-financiële
beleidsinformatie zouden de ministers aandacht moeten hebben voor de toelich-
ting op de RPE en de Handreiking ex post onderzoek van het ministerie van
Financiën. Mogelijkheden zijn: – intra- en interdepartementale
kennisuitwisselingen over de RPE via het intranet, trainingen en workshops;
 – de oprichting van een perma- nent rijksbreed loket als vraag- baak
voor evaluatoren en als plek waar goede voorbeelden kunnen worden aangemeld. De minister van AZ ziet geen directe
aanleiding om thans tot een op alle aspecten uitgewerkte doorvertaling van
de RPE over te gaan. De ministers van SZW en VROM zeggen toe de omissies
in hun uitwerkingen van de RPE weg te zullen werken. De minister van Defensie
zegt toe de reeds bestaande uitwerking te zullen voorschrijven. Het kabinet
acht het ongewenst om de RPE-bepalingen, de toe- lichting op de RPE en handgidsen
nader, gedetailleerd en rijksbreed uit te werken en voor te schrijven. 
 Het kabinet wenst de samenhang tussen de verschillende instrumentevaluaties
te verbe- teren door evaluaties op het niveau van doelstellingen uit te voeren
en evaluaties te priori- teren naar politieke en budgettaire relevantie. 
 Het kabinet deelt de mening van de Algemene Rekenkamer over het belang
van kennisbevorde- ring en -uitwisseling voor goede beleidsinformatie. Hiervoor
wordt binnen en tussen de ministeries ook al veel gedaan. De Algemene Rekenkamer vindt de RPE een belangrijk instrument
voor de ministers om hun verant- woordelijkheid voor goede beleidsinformatie
waar te kunnen maken tegenover de Tweede Kamer. De Algemene Rekenkamer onderschrijft
daarbij het belang van een rijksbrede regeling op hoofdlijnen, die door de
ministeries worden uitgewerkt en voor- geschreven. De Algemene Rekenkamer
neemt met instemming kennis van de toezegging van het kabinet om evaluaties
op het niveau van doelstellingen uit te voeren en evaluaties te prioriteren
naar politieke en budgettaire relevantie. Zij denkt dat dit niet alleen kan
leiden tot een beter inzicht in de uitvoering en de resultaten van de beleidsdoelstellingen
binnen de ministeries, maar ook tot een effectievere benutting van de financiële
middelen die beschikbaar zijn voor het evalueren. De Algemene Rekenkamer
con- stateert met genoegen dat het kabinet haar mening deelt over het belang
van kennisbevordering en -uitwisseling.     De Algemene Rekenkamer is van mening
dat derdeninformatie die (direct of indirect) wordt gebruikt voor het vaststellen
en/of bijstu- ren van en/of het verantwoorden over beleid moet voldoen aan
de kwaliteitseisen van de RPE. Het ministerie
van Financiën zou in de RPE moeten opnemen dat beleidsinformatie derdeninformatie
omvat. Het kabinet vindt evenals de Algemene Rekenkamer
dat dezelfde kwaliteitsnormen die gelden voor interne beleidsinformatie die
wordt gebruikt voor het afleggen van verantwoording, ook gelden voor beleidsinformatie
afkomstig van «derden» (e.g. provincie, gemeente, statistisch
bureau). De Algemene Rekenkamer gaat ervan uit
dat het standpunt van het kabinet over de geldigheid van kwaliteitsnormen
voor derdeninformatie zich ook uitstrekt tot informatie van onder meer RWT's
en gesubsidieerde instellingen.Voor een aanzienlijk deel van de derdeninformatie
zijn geen, dan wel in enkele gevallen onvoldoende kwaliteitswaarborgen getroffen. Voor de verschillende bronnen en
soorten van derdeninformatie zouden de ministeries door middel van een risicoanalyse
duidelijkheid moeten krijgen over de risico's voor de kwaliteit van de opgeleverde
informatie. Vervolgens zouden zij moeten bepalen op welke wijze zij deze risico's
afdekken met beheer- singsmaatregelen. Dit proces moet transparant zijn. Dat
impliceert onder meer een goede vastlegging ervan. Het kabinet geeft aan van mening te zijn dat departementen niet zelf de totstandkoming
van derdeninformatie hoeven te controleren.De Algemene Rekenkamer wijst erop dat het niet haar bedoeling is dat departementen
de totstandkoming van derdeninformatie (gaan) controleren. Het gaat er de
Algemene Reken- kamer om dat departementen expliciete maatregelen nemen om
de risico's voor de kwaliteit van door derden opgeleverde infor- matie in
te schatten en af te dekken.     De onderzochte beleidsdirecties voeren veelal geen
controle uit op de naleving van de kwaliteitswaarborgen voor de kwaliteit
van derdeninformatie. Alle ministers zouden voldoende
aandacht moeten besteden aan de controle op de naleving van waarborgen voor
de kwaliteit van derdeninformatie.       Alle ministeries, behalve dat van AZ,
beschikken over een stan- daardprocedure voor melding van de uitkomsten van
evaluatieonderzoek aan de ambtelijke en politieke top. De aanwezige pro- cedures
zijn echter vaak globaal. Zo ontbreken meestal termijnen waarbinnen resultaten
gemeld moeten worden.Alle ministers
zouden op basis van de kenmerken van bestaan- de procedures bij verschillende
ministeries hun eigen procedures tegen het licht moeten houden en zonodig
aanscherpen. In ieder geval zou een maximale tijd voorgeschreven moeten zijn
vanaf het moment van het beschikbaar komen van informatie tot het moment van
melding. Het voorschrijven van een maximale termijn
waarbinnen onderzoeksresultaten moeten worden gemeld, acht het kabinet onwenselijk. Vanzelfsprekend is ook de Alge- mene
Rekenkamer van mening dat alleen de relevante
informatie aan de top gemeld moet worden. Uiteraard kan er ook voor worden
gekozen om dit doel op andere manieren dan het voorschrijven van een maximale
meldtermijn te bereiken.    Het overzicht van evaluatieonderzoeken en systemen
van reguliere prestatiegegevens (EOR) dat de ministeries verplicht zijn jaarlijks
aan de Algemene Rekenkamer ter beschikking te stellen, was voor het jaar 2002
van onvoldoende kwaliteit. Alle ministers dienen
zorg te dragen voor een juist en volledig EOR.Het kabinet geeft aan dat vanaf 16 april 2004 het EOR volledig geactualiseerd
op RYX kan worden geraadpleegd. De departementen hebben zelf de verantwoordelijkheid
om het EOR jaarlijks te actualiseren.De Algemene
Rekenkamer neemt met instemming kennis van het feit dat het EOR op RYX inmiddels
volledig operationeel is. Zij gaat ervan uit dat de bewindspersonen vanaf
heden zorgdragen voor een volledig, juist en actueel EOR.BIJLAGE 2Gehanteerd normenkaderWettelijk kader: RPEDe Regeling Prestatiegegevens en Evaluatieonderzoek Rijksoverheid (RPE)
is een uitwerking van de Comptabiliteitswet 2001 en bevat voorschriften voor
onder andere de methodologisch-technische kwaliteit van evaluatie-instrumenten
en de manier waarop beleidsinformatie tot stand komt. De bepalingen van de
RPE zijn op hoofdlijnen en de in de RPE opgenomen toelichting op de hoofdlijnen
heeft niet de status van voorschrift.• Alle RPE-bepalingen moeten per ministerie of per beleidsdirectie
zijn uitgewerkt;• Elke RPE-bepaling moet zo concreet mogelijk zijn uitgewerkt en
handvatten bieden voor de praktische toepassing van de betreffende bepaling;• De uitwerkingen van de RPE moeten zijn voorgeschreven;• Ministeries dienen zich te houden aan hun eigen voorgeschreven
uitwerkingen.DerdeninformatieIn begroting en jaarverslag maken ministeries veel gebruik van derdeninformatie.• De ministeries dienen de naleving van de waarborgen die ze hebben
voor de kwaliteit van derdeninformatie te controleren.Melding• De melding van evaluatieonderzoeken en systemen van reguliere prestatiegegevens
door de ministeries aan de Algemene Rekenkamer op basis van artikel 20 lid
3 en artikel 21 lid 4 van de Comptabiliteitswet 2001 moet juist en volledig
zijn.BIJLAGE 3BegrippenBeleidsinformatie: gestructureerde en nader
toegelichte gegevens over (1) de doelstelling(en) van beleid, (2) de beoogde
en/of gerealiseerde effecten van beleid, (3) de daartoe te leveren en/of geleverde
prestaties en (4) de daarmee gemoeide kosten.Doelbereiking: de mate waarin een –
algemene en/of nader geoperationaliseerde – doelstelling van beleid,
al dan niet dankzij de inzet van beleidsinstrumenten, wordt gerealiseerd (uitgedrukt
in beoogde effecten).Doelmatigheid van beleid gaat om de vraag• of de effecten niet met de inzet van minder middelen gerealiseerd
hadden kunnen worden; dan wel• of niet méér effecten verwezenlijkt hadden kunnen
worden met dezelfde inzet van middelen.Doelmatigheid van bedrijfsvoering gaat om
de vraag• of de prestaties niet met de inzet van minder middelen gerealiseerd
hadden kunnen worden; dan wel• of niet méér prestaties verwezenlijkt hadden kunnen
worden met dezelfde inzet van middelen.Doeltreffendheid van beleid: de mate waarin
een – algemene en/of nader geoperationaliseerde – doelstelling
van beleid dankzij de ingezette beleidsinstrumenten wordt gerealiseerd.(Beleids)effecten: de gevolgen van het beleid
die merkbaar zijn in de maatschappij.Evaluatiefunctie: de reguliere zorg voor en
het periodiek onderzoeken van (1) de doeltreffendheid en doelmatigheid van
beleid en (2) de doelmatigheid van de bedrijfsvoering met behulp van evaluatieonderzoek
en systemen van reguliere prestatiegegevens. De bepalingen in de RPE hebben
als eerste doel: ervoor te zorgen dat deze evaluatiefunctie binnen de gehele
rijksoverheid voldoende is gewaarborgd.Middelen: het ingezette personeel, het verbruikte
materiaal, de ingehuurde diensten en de uitgaven aan (niet-) financiële
beleidsinstrumenten (zoals subsidies, leningen en voorlichtingsprogramma's).(Beleids)prestaties: de resultaten van werkprocessen
die binnen een organisatie worden doorlopen om een beleidsdoelstelling te
realiseren.Prestatiegegevens: kernachtige en gestructureerde
informatie over (1) de beoogde en/of gerealiseerde effecten van beleid, (2)
de daartoe te leveren en/of geleverde prestaties en (3) de daarmee gemoeide
kosten. Deze informatie is te verkrijgen uit zowel systemen van reguliere
prestatiegegevens als periodiek uit te voeren evaluatieonderzoek: de evaluatie-instrumenten.Systemen van reguliere prestatiegegevens:
administratieve stelsels en/of bestuurlijke (management) informatiesystemen
waarmee op gezette tijden informatie wordt verkregen over (1) de mate waarin
doelstellingen van beleid worden bereikt, (2) de – voortgang van de –
uitvoering van beleid en/of (3) de aantallen, kosten en kwaliteit van geleverde
prestaties.Periodiek evaluatieonderzoek:• evaluatieonderzoek ex ante: systematisch onderzoek naar de verwachte
kosten en baten van mogelijke beleidsalternatieven (in termen van inzet van
middelen en effecten);• evaluatieonderzoek ex post: systematisch onderzoek naar de effecten
van bestaand beleid, de wijze waarop beleid wordt uitgevoerd en/of de kosten
en kwaliteit van geleverde producten en diensten, en;• organisatieonderzoek: onderzoek waarbij afzonderlijke organisatieonderdelen
geheel of ten dele worden getoetst op hun functioneren.Uitwerking van de RPE: een document, niet
zijnde de RPE zelf, waarin de RPE-bepalingen concreet zijn uitgewerkt in de
vorm van richtlijnen voor de dagelijkse praktijk van de gebruikers van dat
document.BIJLAGE 4Overzicht onderzochte RPE-bepalingen3 Verplichte gedocumenteerde afweging bij inzet evaluatie-onderzoek
ex anteBepaling 3.1Voorafgaand aan de besluitvorming in de ministerraad over nieuwe of te
wijzigen doelstellingen en/of instrumenten van beleid geldt de verplichting
om af te wegen, of het uitvoeren van evaluatieonderzoek ex ante zinvol is
en dient plaats te vinden.Bepaling 3.2De afweging om bij nieuwe of te wijzigen doelstellingen en/of instrumenten
van beleid al dan geen evaluatieonderzoek ex ante uit te (laten) voeren, wordt
gedocumenteerd en toegelicht in:• de – in de besluitvorming in de Ministerraad betrokken –
beleidsdocumenten (waaronder: schriftelijke voorstellen, voornemens en toezeggingen
met financiële gevolgen voor het Rijk), en de eventueel daarmee verbonden
wetgeving, alsmede;• de toelichting op een beleidsartikel in de eerste begroting waar
sprake is van nieuw en/of te wijzigen beleid.4 Periodieke afdekking van beleid met evaluatieonderzoek
ex postBepaling 4.1Het beleid dat moet leiden tot de realisatie van de in de begroting en
jaarverslag opgenomen algemene en/of nader geoperationaliseerde doelstellingen
van beleid worden in de regel ten minste eens in de vijf jaar (nader) geëvalueerd
aan de hand van evaluatieonderzoek ex post.Bepaling 4.2De termijnen waarbinnen de in de begroting en jaarverslag opgenomen doelstellingen
van beleid aan de hand van periodiek evaluatieonderzoek worden geëvalueerd,
worden aangegeven in:• de desbetreffende beleidsdocumenten en de daarmee verbonden wetgeving,
en;• de toelichting op een beleidsartikel in de eerste begroting waar
een nieuwe of gewijzigde doelstelling van beleid is opgenomen.Bepaling 4.3In de volgende gevallen kan beargumenteerd worden afgeweken van de norm
«ten minste eens in de vijf jaar»:• indien het niet mogelijk is om zinvolle (tussengelegen) doelstellingen
van beleid te formuleren waarvan de mate van realisatie eens in de vijf jaar
onderzocht en beoordeeld kunnen worden;• als de kosten van evaluatieonderzoek in een negatieve verhouding
staan tot de baten ervan (baten in termen van: extra inzicht in doelmatigheid
of doeltreffendheid). Bepaling 4.4Afwijkende evaluatietermijnen, alsmede de inhoudelijke overwegingen op
basis waarvan voor de afwijkende termijn wordt gekozen, dienen te worden vermeld
in:• de desbetreffende beleidsdocumenten en de daarmee verbonden wetgeving;• de artikelgewijze toelichting in de eerste begroting waar een nieuwe
of gewijzigde doelstelling van beleid is opgenomen.Bepaling 4.5Voor het bepalen van de inzet van systemen van reguliere prestatiegegevens
en periodiek evaluatieonderzoek vormen de departementale begroting en verantwoording
het uitgangspunt. De uit systemen van reguliere prestatiegegevens en periodiek
evaluatieonderzoek verkregen informatie moet een beoordeling van de volgende
aspecten mogelijk maken:• de – merites van de – beleidsdoelstellingen als zodanig;• de mate waarin de doelstellingen van beleid worden gerealiseerd
(doelbereiking);• de mate waarin de doelstellingen van beleid worden gerealiseerd
dankzij het gevoerde beleid (doeltreffendheid);• de vraag of de doelstellingen van beleid gerealiseerd hadden kunnen
worden met de inzet van minder middelen dan wel de vraag of er niet meer beoogde
effecten verwezenlijkt hadden kunnen worden met dezelfde inzet van middelen
(doelmatigheid van beleid);• de algemene geschiktheid en/of merites van de gekozen wijze van
instrumentatie;• de – kosten en kwaliteit van de – in het kader van
beleidsontwikkeling, -aansturing en -uitvoering geleverde producten en diensten
(doelmatigheid van de bedrijfsvoering);• (als voorwaarde voor het beantwoorden van de vraag in aspect 4:)
de inzet van programmamiddelen (zuinigheid inzet programmamiddelen), en;• (bij gebrek aan inzicht in 6 en als voorwaarde voor het beantwoorden
van de vraag in aspect 4:) de inzet van apparaatmiddelen (zuinigheid inzet
apparaatmiddelen).Bepaling 4.6Voor een goede inzet van evaluatieonderzoek dient ieder jaar ten aanzien
van de in de begroting opgenomen algemene en/of nader geoperationaliseerde
beleidsdoelstellingen te worden nagegaan of:• er een verplichting – in het verschiet – ligt om bepaalde
informatie over de doeltreffendheid en doelmatigheid van beleid en/of de doelmatigheid
van de bedrijfsvoering aan de Kamer te verschaffen (i.e. op basis van wetgeving,
toezeggingen aan de Kamer of de Comptabiliteitswet en deze regeling);• welke reguliere prestatiegegevens of uitkomsten uit ander onderzoek
eventueel al beschikbaar zijn om in deze informatiebehoefte(n) te voorzien;• wanneer welk aanvullend evaluatieonderzoek opportuun is.5 Kwaliteitseisen en verslagleggingBepaling 5.1Elk binnen de rijksoverheid ten behoeve van de begroting en verantwoording
gehanteerd evaluatie-instrument dient te voldoen aan de kwaliteitseisen die
gelden voor de voor beleidsevaluatie geëigende methoden en technieken
van sociaal-wetenschappelijk onderzoek:• validiteit (van opzet van informatiesysteem of onderzoek; van gevolgtrekkingen);• betrouwbaarheid en nauwkeurigheid (van de in informatiesysteem
of onderzoek gebruikte meetmethoden);• bruikbaarheid (van de uitkomsten van systeem of onderzoek).Bepaling 5.2De in de begroting en het departementale jaarverslag op te nemen beleidsinformatie
dient op een ordelijke en controleerbare wijze tot stand te komen. Daarbij
geldt dat het mogelijk moet zijn om:• de kwaliteit van de systemen van reguliere prestatiegegevens aan
de hand van een beschrijving van het betreffende informatiesysteem en de aan
dat systeem ten grondslag liggende administratieve organisatie te kunnen vaststellen;• de kwaliteit van evaluatieonderzoek, alsmede de mate van onafhankelijkheid
waarmee het onderzoek is opgezet en/of uitgevoerd, aan de hand van een onderzoeksdossier
te kunnen vaststellen.6 Melding en benutting van de uitkomsten van periodiek
evaluatieonderzoekBepaling 6.1De ambtelijke en politieke top wordt volgens een standaardprocedure op
de hoogte gebracht van de uitkomsten van periodiek evaluatieonderzoek. De
standaardprocedure wordt door de departementen zelf bepaald en vastgelegd.Bepaling 6.2De melding aan de Algemene Rekenkamer, als bedoeld in artikel 20.3 en
artikel 21.4 van de Comptabiliteitswet, geschiedt volgens bijlage a van de
regeling.BIJLAGE 5Overzicht aanwezigheid voorgeschreven uitwerkingen per
RPE-bepalingRPE-bepalingenAZBZJustitieBZKOCWFinanciënDefensieVROMVenWEZLNVSZWVWS Afweging ex ante             3.1 expliciete afweging of ex ante onderzoek zinvol
is○••••••••••••3.2 afweging moet gedocumenteerd worden○••••••••••••              Afdekking             4.1 tenminste eens per vijf jaar ex post evaluatie○•••••••○••••4.2 termijnen van evaluatie worden aangegeven in
beleidsdocumenten en begroting○○••••••○••••4.3 beargumenteerde afwijking van «eens per
5 jaar» is mogelijk○○••○••••••••4.4 afwijkende termijnen melden in beleidsdocumenten
en begroting○○••○••○•••••4.5 informatie uit systemen en evaluaties moet zicht
geven op acht aspecten○○••○○•○○••○•4.6 om na te gaan of evaluatieonderzoek nodig is
moet elk jaar nagegaan worden of er een verplichting daartoe is, of er andere
relevante informatie beschikbaar is en wanneer onderzoek opportuun is.○○•••○•○○••••              Kwaliteit en vastlegging             5.1 elk evaluatie-instrument moet voldoen aan de
kwaliteitseisen a. validiteit b. betrouwbaarheid en nauwkeurigheid c. bruikbaarheid○•°°○•○°••°•°5.2 beleidsinformatie in begroting en jaarverslag
dient op een ordelijke en controleerbare wijze tot stand te komen○°°°°•°○••°•°              Melding en benutting             6.1 ambtelijke en politieke top worden volgens een
standaardprocedure op de hoogte gebracht van uitkomsten van periodiek evaluatieonderzoek○••••••••••••○ geen voorgeschreven uitwerkingen • voorgeschreven uitwerkingen
° slechts één of twee van de drie hoofdeisen zijn uitgewerkt
voor systemen en/of evaluatieonderzoekenBIJLAGE 6Uitwerkingen van de hoofdeisen uit de RPE voor kwaliteitIn onderstaande tabel wordt per ministerie voor de onderzochte beleidsdirecties
een overzicht gegeven of er een uitwerking (Uitw) is voor de drie hoofdeisen
uit de RPE voor kwaliteit – validiteit, betrouwbaarheid en bruikbaarheid –
en of deze uitwerkingen voorgeschreven (Vg) zijn. Er is sprake van een uitwerking
als de betreffende hoofdeis in één of meer kwaliteitscriteria
is uitgewerkt.Ministerie vanAantal beleids- directiesSystemen van reguliere prestatiegegevensEvaluatieonderzoeken  ValiditeitBetrouwbaarheidBruikbaarheidValiditeitBetrouwbaarheidBruikbaarheidUitwVgUitwVgUitwVgUitwVgUitwVgUitwVgAZ1○○○○○○○○○○○○BZ1••••••••••••Justitie2•••••○••••••BZK2•○•○•••○•○•○OCW1○○○○○○○○○○○○Financiën2••••••••••••Defensie1•○•○•○•○•○•○VROM4○○○○○○••○○○○VenW2••••••••••••EZ2••••••••••••LNV2•••••••○•••○SZW2••••••••••••VWS2•••••○•••••○Totaal24181518151813221718151811○ geen/niet • wel. Totaal: aantal beleidsdirecties waarbij de
betreffende eis is uitgewerkt (en voorgeschreven)Onderstaande tabel geeft aan de hand van de kwaliteitscriteria uit de
toelichting op de RPE voor de drie hoofdeisen een overzicht van de kwaliteitscriteria
die in de voorgeschreven uitwerkingen van de onderzochte
beleidsdirecties voorkomen.Systemen van reguliere prestatiegegevensAZBZJusBZKOCWFinDefVROMVenWEzLNVSZWVWSVALIDITEIT             Een valide afbakening van het systeemobject○•○○○•○○○••••Juiste bepaling van informatiebehoefte en aansluiting op gebruiksdoel○••○○•○○••••○Goed ontwerp van het systeem○••○○•○○○••••Heldere definities van gehanteerde begrippen○•○○○•○○○••••Meerjarige vergelijkbaarheid (stabiliteit)○•○○○•○○•••••Adequate selectie van eenheden; betrouwbare en valide meting van
eenheden en hun kenmerken○•○○○•○○○••°•Valide analyse en opstellen van conclusies en/of aanbevelingen○••○○•○○○••°○              BETROUWBAARHEID             Valide en controleerbare vaststelling van de kenmerken van de
onderzochte eenheden○•○○○•○○○••••Zo veel mogelijk gebruikmaking van onafhankelijke gegevensbronnen○•○○○○○○○••○•Waarborging van de onafhankelijkheid en/of professionaliteit van
de uitvoerende partij○•○○○•○○•••••De informatie die evaluatie-instrumenten opleveren is in overeenstemming
met de werkelijkheid○•○○○○○○○••○•Er is sprake van een ongestoorde werking van de systemen van reguliere
prestatiegegevens○••○○○○○•••°•              BRUIKBAARHEID             Tijdige beschikbaarheid van de uitkomsten○•○•○•○○••••○              VALIDITEIT             Er is een onderzoeksprobleemstelling en/of -doelstelling, uitgewerkt
in onderzoeksvragen○••○○•○•••○••De opdrachtformulering sluit aan op de probleemstelling, doelstelling
en onderzoeksvragen○••○○•○○••○•• De te onderzoeken begrippen worden op de juiste manier geoperationaliseerd;
de te onderzoeken eenheden zijn consistent gedefinieerd en representatief
voor de probleemstelling, doelstelling en vragen○○•○○•○○○•○○•De keuze voor het onderzoeksontwerp en de gehanteerde onderzoeksmethoden
wordt beargumenteerd○••○○•○○••○••De verkregen gegevens worden op de juiste wijze geanalyseerd○••○○○○○••○○•De vragen, bevindingen, conclusies en aanbevelingen sluiten op
consistente wijze op elkaar aan○••○○○○○••○••              BETROUWBAARHEID             Adequate selectie en verzameling van te onderzoeken eenheden○••○○•○○•••○•Valide en controleerbare vaststelling van de kenmerken van de
onderzochte eenheden○••○○•○○•••○•Zo veel mogelijk gebruikmaking van onafhankelijke gegevensbronnen○••○○○○○○••••Waarborging van de onafhankelijkheid en/of professionaliteit van
de uitvoerende partij○••○○○○○○••••De informatie die evaluatie-instrumenten opleveren is in overeenstemming
met de werkelijkheid○••○○○○○••○○○              BRUIKBAARHEID             Omschrijving van het gebruiksdoel en aansluiting op behoefte van
ambtelijke en politieke besluitvormers○○•○○•○○••○•○ Uit het gebruiksdoel vloeien opdrachtformulering en onderzoeksvragen
logisch voort○○•○○○○○○•○•○Praktische toepasbaarheid van de uitkomsten; aansluiting conclusies
en aanbevelingen op het gebruiksdoel○○•○○○○○••○•○Heldere en toegankelijke presentatie van de uitkomsten○•○○○○○○••○•○Samenvatting○•○○○○○○••○○○Relevantie van de uitkomsten: aansluiting op gebruiksdoel (en
dus behoefte)○•○○○○○○••○•○Tijdige beschikbaarheid van de uitkomsten○○•○○•○○••○•○              EXTRA EX ANTE             De verwachtingen waarop het onderzoek gebaseerd is moeten plausibel
zijn○○○○○•○○○○•○○Aangeven op welke termijn de verwachte effecten zich voor zullen
doen. De gekozen tijdshorizon moet logischerwijs aansluiten op het gebruiksdoel.○○•○○•○○○••○○De keuze voor de in het onderzoek betrokken alternatieven moet
zijn onderbouwd. Hetzelfde geldt voor de gekozen beoordelingscriteria en de
gehanteerde discontovoet.○○○○○•○○••••○Het verslag van het evaluatieonderzoek ex ante dient in te gaan
op de plausibiliteit van de verwachte effecten van de beleidsalternatieven.○○○○○•○○○••○○○ niet opgenomen in voorgeschreven uitwerkingen • opgenomen in
voorgeschreven uitwerkingenOverzicht van de mate van aandacht voor de kwaliteitscriteria in de onderzochte
dossiers.Systemen van reguliere prestatiegegevensAZBZJusBZKOCWFinDefVROMVenWEzLNVSZWVWSVALIDITEIT             Een valide afbakening van het systeemobject••••••¾2/44/5•••4/5 Juiste bepaling van informatiebehoefte en aansluiting op gebruiksdoel••••••••4/5•••4/5 Goed ontwerp van het systeem••••••¾2/44/5•••3/5 Heldere definities van gehanteerde begrippen½•••••2/4•3/5•3/5 •1/5 Meerjarige vergelijkbaarheid (stabiliteit)••••••2/4•4/5••¼4/5 Adequate selectie van eenheden; betrouwbare en valide meting van
eenheden en hun kenmerken•• ••••¾¾4/5•••*4/5 Valide analyse en opstellen van conclusies en/of aanbevelingen•••••4/5¾¼1/5•2/5•*4/5              BETROUWBAARHEID             Valide en controleerbare vaststelling van de kenmerken van de
onderzochte eenheden••••¾•¾& circ;2/44/5•••• Zo veel mogelijk gebruikmaking van onafhankelijke gegevensbronnen•1/3••••¼2/43/5••2/41/5 Waarborging van de onafhankelijkheid en/of professionaliteit van
de uitvoerende partij•1/3••••¾¼3/5 •4/5¾4/5 De informatie die evaluatie-instrumenten opleveren is in overeenstemming
met de werkelijkheid•1/3••••¼2/41/5••2/44/5 Er is sprake van een ongestoorde werking van de systemen van reguliere
prestatiegegevens••••••¾•3/5••2/4* •              BRUIKBAARHEID             Tijdige beschikbaarheid van de uitkomsten••••¼•••3/5 •2/5¾ 3/5Gearceerd: kwaliteitscriterium dat verplicht is voor de onderzochte beleidsdirecties.
*: verplicht voor slechts één van de twee onderzochte beleidsdirecties ∧ Bij OCW was 1 systeem niet te beoordelen.• aandacht voor kwaliteitscriterium in alle dossiers waarin het relevant
is; «¼»: in 1 van de 4 dossiers waarin het relevant is,
is aandacht voor het kwaliteitscriterium etc.; ○ in geen enkel dossier
aandachtEvaluatieonderzoekenAZBZJusBZKOCWFinDefVROMVenWEZLNVSZWVWSVALIDITEIT             Er is een onderzoeksprobleemstelling en/of -doelstelling, uitgewerkt
in onderzoeksvragen•••••4/5•• 3/5•••• De opdrachtformulering sluit aan op de probleemstelling, doelstelling
en onderzoeksvragen•••••4/5¾•2/5•••¾ De te onderzoeken begrippen worden op de juiste manier geoperationaliseerd;
de te onderzoeken eenheden zijn consistent gedefinieerd en representatief
voor de probleemstelling, doelstelling en vragen•••••4/5¾•2/5•••¾ De keuze voor het onderzoeksontwerp en de gehanteerde onderzoeksmethoden
wordt beargumenteerd•••••4/52/4•4/5•• •¾ De verkregen gegevens worden op de juiste wijze geanalyseerd••••••¾•2/5•• •¾ De vragen, bevindingen, conclusies en aanbevelingen sluiten op
consistente wijze op elkaar aan••••••2/4•2/5•• •¾              BETROUWBAARHEID             Adequate selectie en verzameling van te onderzoeken eenheden•••••3/5¾•3/5•••• Valide en controleerbare vaststelling van de kenmerken van de
onderzochte eenheden•••••¾¼•3/5••4/52/4 Zo veel mogelijk gebruikmaking van onafhankelijke gegevensbronnen••••••¼¾3/5•½ •2/4 Waarborging van de onafhankelijkheid en/of professionaliteit van
de uitvoerende partij•••••4/5○•2/5••4/52/4 De informatie die evaluatie-instrumenten opleveren is in overeenstemming
met de werkelijkheid••••••2/4•2/5••3/5○              BRUIKBAARHEID             Omschrijving van het gebruiksdoel en aansluiting op behoefte van
ambtelijke en politieke besluitvormers•• •••4/5••3/5•••• Uit het gebruiksdoel vloeien opdrachtformulering en onderzoeksvragen
logisch voort•••••¾•¾4/5•••¾ Praktische toepasbaarheid van de uitkomsten; aansluiting conclusies
en aanbevelingen op het gebruiksdoel•••••¾¾¾4/5•••• Heldere en toegankelijke presentatie van de uitkomsten•••••4/52/4¾4/5•••¾Samenvatting•3/5•2/5••¼•3/5••4/5•Relevantie van de uitkomsten: aansluiting op gebruiksdoel (en
dus behoefte)••••••¾¾ 4/5•••• Tijdige beschikbaarheid van de uitkomsten•••••4/5¼•••••¼               EXTRA EX ANTE             De verwachtingen waarop het onderzoek gebaseerd is moeten plausibel
zijnnvtnvtnvt••nvt•nvt½nvtnvt•nvt Aangeven op welke termijn de verwachte effecten zich voor zullen
doen. De gekozen tijdshorizon moet logischerwijs aansluiten op het gebruiksdoel.nvtnvtnvt••nvt•nvt½nvtnvt½nvt De keuze voor de in het onderzoek betrokken alternatieven moet
zijn onderbouwd. Hetzelfde geldt voor de gekozen beoordelingscriteria en de
gehanteerde discontovoet.nvtnvtnvt••nvt•nvt½nvtnvt½nvt Het verslag van het evaluatieonderzoek ex ante dient in te gaan
op de plausibiliteit van de verwachte effecten van de beleidsalternatieven.nvtnvtnvt••nvt○nvt½nvtnvt•nvtGearceerd: kwaliteitscriterium dat verplicht is voor de onderzochte beleidsdirecties.• aandacht voor kwaliteitscriterium in alle dossiers waarin het relevant
is; «¼»: in 1 van de 4 dossiers waarin het relevant is,
is aandacht voor het kwaliteitscriterium etc.; ○ in geen enkel dossier
aandacht; «nvt»: geen (dossiers van) ex ante onderzoeken in onderzoek
betrokken.XNoot1Staat van de beleidsevaluatie 2002, Tweede Kamer, vergaderjaar 2002–2003,
28 656, nrs. 1–2.XNoot1De RPE kent eisen voor de periodieke afdekking van beleid met evaluatieonderzoek
ex post, kwaliteit en verslaglegging, melding en benutting van evaluatieonderzoek,
de organisatie van de evaluatiefunctie en de verplichte gedocumenteerde afweging
bij inzet van evaluatieonderzoek ex ante. Deze laatste eis is niet in het
onderzoek meegenomen.XNoot1Tweede Kamer, vergaderjaar 2001–2002, 27 849 en 28 035,
nr. 24.XNoot1De Algemene Rekenkamer heeft in aanvulling op de algemene conclusies en
aanbevelingen een aantal ministers afzonderlijk per brief aangesproken. Deze
aanbevelingen zijn, tezamen met de ministeriële reacties en het nawoord
van de Algemene Rekenkamer daarop terug te vinden op de website van de Algemene
Rekenkamer (www.rekenkamer.nl).XNoot1De systemen waarmee de reguliere gegevensverzameling plaats vindt worden
«systemen van reguliere prestatiegegevens» genoemd. De beleidsevaluaties
worden ook wel aangeduid met «periodiek evaluatieonderzoek».XNoot2Ministerie van Financiën, tweede druk, maart 2002.XNoot3Tweede Kamer, vergaderjaar 1999–2000, 27 065, nrs. 1–2.XNoot4Tweede Kamer, vergaderjaar 2002–2003, 28 656, nrs. 1–2.XNoot5Rijk verantwoord 2002, Tweede Kamer, vergaderjaar, 2002–2003, 28 881,
nr. 1. Rechtmatigheidsonderzoek 2002.XNoot1Bepaling 7.2.XNoot2Bepalingen 3.1 tot en met 6.2.XNoot1Bij het ministerie van SZW is FEZ verantwoordelijk voor de systemen van
reguliere prestatiegegevens.XNoot2De motie-Van Walsem betreft de vraag van de Tweede Kamer om een uitwerking
van het controle- en normenkader voor de kwaliteit van niet-financiële
beleidsinformatie. Zie ook paragraaf 4.2 hierover.XNoot3Tweede Kamer, vergaderjaar 2002–2003, 28 880, nr. 88.XNoot1VROM is van mening dat een centrale departementale doorvertaling niet
past bij de decentraal georganiseerde werkwijze.XNoot2Bijlage 4 bevat een overzicht van de RPE-bepalingen die in dit onderzoek
zijn betrokken.XNoot1Bepalingen 4.1 tot en met 4.6.XNoot2Wanneer in figuur 3.1 staat aangegeven dat een ministerie voor een bepaling
geen uitwerking heeft, zijn er op onderdelen soms wel uitwerkingen aanwezig.XNoot1Bepaling 5.1. In de RPE is «betrouwbaarheid en nauwkeurigheid»
één norm. In het vervolg van dit rapport zal voor de leesbaarheid
worden gesproken van «betrouwbaarheid» in plaats van «betrouwbaarheid
en nauwkeurigheid».XNoot2Bij onderzoeken ook de mate van onafhankelijkheid van opzet en/of uitvoering
van de onderzoeken.XNoot3Bepaling 5.2.XNoot4In de RPE wordt overigens voor deze criteria opgemerkt: «Wel zijn
er enkele basiscriteria, waaraan in alle gevallen dient te worden voldaan».XNoot5Tweede Kamer, vergaderjaar 2002–2003, 28 880, nr. 88.XNoot1Bij het ministerie van OCW wordt een belangrijk deel van het evaluatieonderzoek
door derden uitgevoerd. Het ministerie beschikt wel over interne regelgeving
die de professionaliteit en onafhankelijkheid van dat onderzoek moeten waarborgen.XNoot1De RPE geeft in de toelichting nog enkele aanvullende criteria voor evaluatieonderzoek
ex ante. In de voorgeschreven uitwerkingen komen deze criteria veel minder
vaak voor dan de criteria die de RPE geeft voor de drie hoofdeisen.XNoot1Voor de leesbaarheid zal als het over «systemen» of «onderzoeken»
gaat vaker worden gesproken van «dossiers». Dit betekent dan voor
systemen de systeembeschrijvingen en/of AO, en voor onderzoeken het onderzoeksdossier.XNoot1Deze onafhankelijke positie is geregeld in het Protocol voor de planbureaufunctie.XNoot1Bepaling 6.1.XNoot2Zie hoofdstuk 2 voor een beschrijving van de argumenten van het ministerie
van AZ.XNoot1Bepaling 6.2.XNoot2Het betreft de ministeries van AZ, BZ, Defensie, EZ, Justitie en OCW.XNoot1Zie www.rekenkamer.nl.XNoot1Zie hiervoor: www.rekenkamer.nl.XNoot2«Tussen beleid en uitvoering». Algemene Rekenkamer, 27 maart
2003, blz. 11.XNoot1Tweede Kamer, vergaderjaar 2002–2003, 27 849 en 28 035,
nr. 25.XNoot2Interdepartementale Begeleidingsgroep Prestatiegegevens en Beleidsevaluatie;
Beroepsvereniging voor toezichthouders, inspecteurs, handhavers en evaluatoren.XNoot3Rijksacademie voor Financiën en Economie, 10 maart 2004.XNoot1Tweede Kamer, vergaderjaar 2002–2003, 28 656, nrs 1–2,
p. 24.XNoot2Tweede Kamer, vergaderjaar 2002–2003, 28 656, nrs. 1–2.XNoot3Zoals blijkt uit de uitwerking van de motie-Van Walsem. 
 
 Naar boven

 

Directe linkKopieer de link naar uw clipboard 

https://zoek.officielebekendmakingen.nl/kst-29550-2.html

Sluit modaal

 

Disclaimer
De hier aangeboden pdf-bestanden van het Staatsblad, Staatscourant, Tractatenblad, provinciaal blad, gemeenteblad, waterschapsblad en blad gemeenschappelijke regeling vormen de formele bekendmakingen in de zin van de Bekendmakingswet en de Rijkswet goedkeuring en bekendmaking verdragen voor zover ze na 1 juli 2009 zijn uitgegeven. Voor pdf-publicaties van vóór deze datum geldt dat alleen de in papieren vorm uitgegeven bladen formele status hebben; de hier aangeboden elektronische versies daarvan worden bij wijze van service aangeboden.

 

Over deze website
Contact
English
Help
Zoeken

Informatie hergebruiken
Privacy en cookies
Toegankelijkheid
Sitemap
Kwetsbaarheid melden

Open data
Linked Data Overheid
PUC Open Data

MijnOverheid.nl
Rijksoverheid.nl
Ondernemersplein.nl
Werkenbijdeoverheid.nl