P EER REVIEW 2 0 2 0

Peer review
van de Algemene Rekenkamer

Copyright foto omslag: Algemene Rekenkamer.
Rapport van de nationale rekenkamers van Zweden, het Verenigd Koninkrijk
en Canada, november 2020.

PEER REVIEW RAPPORT

Inhoudsopgave
Managementsamenvatting

3

Conclusie uit de peer review
Belangrijkste bevindingen
Aanbevelingen

3
4
11

Inleiding

14

Wettelijke context en missie van de Algemene Rekenkamer
Huidige status en recente ontwikkelingen
Omgeving waarbinnen de Algemene Rekenkamer opereert
Zwaartepunt van de peer review

14
15
16
16

Observaties over onderwerpselectie en -programmering

18

Controlemandaat van de Algemene Rekenkamer
Aanpak van strategische planning
Vertaalslag van strategisch plan naar programmering
Beheer van middelen om impact te hebben en te meten

18
19
21
24

Observaties over kwaliteit van de financial audit

26

Nederlands controlebestel
Audits die de Algemene Rekenkamer jaarlijks verplicht moet doen
Selectie en toepassing van standaarden
Onafhankelijkheid en kwaliteit van de uitgevoerde financial audits
Presentatie van rapporten

26
27
29
31
35

Observaties over kwaliteit van het doelmatigheids- en doeltreffendheidsonderzoek

37

Onderzoeksaanpak Algemene Rekenkamer in het doelmatigheids- en doeltreffendheidsonderzoek
Presentatie van rapporten

37
43

Observaties over kwaliteitsbeheersing

46

Kwaliteitsbeoordelingen in de financial audit
Kwaliteitsbeoordelingen in het doelmatigheids- en doeltreffendheidsonderzoek

47
49

Reactie van de Algemene Rekenkamer op het peer review rapport

52

Nawoord van het peer review team

58

Bijlage Aanpak van de peer review

59

1(60)

PEER REVIEW RAPPORT

Toelichting bij de vertaling van enkele termen
Niet alle Engelse woorden hebben een (duidelijk) equivalent in het Nederlands. Daarom
hebben wij bij de vertaling een aantal keuzes gemaakt, die hieronder kort worden toegelicht.
‘Peer review’ en ‘peers’
Een peer review is een vorm van een collegiale toetsing. Omdat het begrip ‘peer review’ ook in
het Nederlands gangbaar is, laten we dit onvertaald. ‘Peers’ zijn in dit verband de collegarekenkamers die een peer review uitvoeren.
‘Audit’ en ‘auditor’
Het peer review-team gebruikt veelvuldig de internationaal gangbare termen ‘audit’ en
‘auditor’. Een auditor is een controleur die op basis van normen controleert en oordeelt. Een
audit is het onderzoek dat hiertoe wordt verricht. Beide begrippen laten we onvertaald, op de
onderstaande uitzondering na.
Behalve audits kan een rekenkamer ook beschrijvende onderzoeken verrichten, die geen
oordelen bevatten. Ook de Algemene Rekenkamer verricht zowel audits als beschrijvende
onderzoeken. Als het woord audit doelt op beschrijvend onderzoek of op een combinatie van
audits en beschrijvende onderzoeken of op alle onderzoeken van de Algemene Rekenkamer
samen, dan is het vertaald als onderzoek. In die gevallen spreken we ook van onderzoeker in
plaats van auditor.
‘Financial audit’, ‘compliance audit’ en ‘performance audit’
Rekenkamers voeren drie soorten audits uit. De Engelse namen hiervoor zijn: financial audit,
compliance audit en performance audit. Voor financial audit en compliance audit bestaan geen
goede Nederlandse equivalenten. Daarom laten we deze begrippen onvertaald. Performance
audits noemen we in het Nederlands doelmatigheids- en doeltreffendheidsonderzoeken.
‘Quality control’ en ‘quality assurance’
Het peer review-team gebruikt veelvuldig de internationaal bij rekenkamers gangbare termen
‘quality control’ en ‘quality assurance’. De term ‘quality control’ kan in algemene zin gebruikt
worden als aanduiding voor maatregelen om de kwaliteit van onderzoek en producten te
waarborgen. De term kan ook een aanduiding zijn voor het toetsen van de kwaliteit van
werkzaamheden en/of producten. In het eerste geval hebben wij de term vertaald als
kwaliteitsbeheersing, in het tweede geval als kwaliteitsbeoordelingen. De term ‘quality
assurance’ - de internationale term voor de monitoring en evaluatie van de opzet en werking
van het systeem van kwaliteitsbeheersing - hebben wij vertaald als ‘kwaliteitsbewaking’.

2(60)

PEER REVIEW RAPPORT

Managementsamenvatting
De Algemene Rekenkamer is de nationale rekenkamer van Nederland. Ze heeft twee
hoofdtaken: het verrichten van doelmatigheids- en doeltreffendheidsonderzoek en het
verrichten van verantwoordingsonderzoek, inclusief financial audits.
In het voorjaar van 2019 heeft de Algemene Rekenkamer aan de nationale rekenkamers
van Zweden, het Verenigd Koninkrijk en Canada gevraagd om de kwaliteit van haar
onderzoekswerkzaamheden te toetsen in een peer review. Deze peer review is voltooid,
conform de door de Algemene Rekenkamer en haar ‘peers’ in oktober 2019 ondertekende
samenwerkingsovereenkomst. Onder leiding van de Zweedse nationale rekenkamer
hebben de reviewers zich gericht op drie kwesties die de Algemene Rekenkamer in een
zelfonderzoek had gesignaleerd:
•
•
•

de kwaliteit van de onderwerpselectie en -programmering;
de kwaliteit van uitgevoerde financial audits; en
de kwaliteit van uitgevoerde doelmatigheids- en
doeltreffendheidsonderzoeken.

Om de benodigde informatie te verzamelen heeft het reviewteam gesprekken gevoerd
met medewerkers van de Algemene Rekenkamer en belangrijke externe
belanghebbenden, documenten geanalyseerd, panelgesprekken gevoerd en een aantal
doelmatigheids- en doeltreffendheidsonderzoeksrapporten en financial auditrapporten
beoordeeld. Het team had toegang tot alle gevraagde documentatie en kon spreken met
alle medewerkers en relevante externe belanghebbenden. De reviewers zijn het
management van de Algemene Rekenkamer erkentelijk voor de vrijheid waarin zij hun
werkzaamheden konden verrichten; ook willen zij alle medewerkers bedanken voor de
waardevolle gesprekken en hun hulp en tijd tijdens de peer review.

Conclusie uit de peer review
De Algemene Rekenkamer geniet een breed mandaat, werkt met hoogopgeleide
onderzoekers plus een goed functionerend operationeel kader en kent een cultuur waarin
innovatieve onderzoeksmethoden worden beproefd. Daarmee beschikt zij over de
basiselementen voor een kwalitatief hoogstaande publieke controle. Om de kwaliteit van
haar werkzaamheden nog verder te verbeteren en de impact ervan te vergroten, zal de
Algemene Rekenkamer zich moeten richten op uitdagingen die verband houden met de
omgeving waarbinnen zij functioneert: het unieke Nederlandse controlebestel en het
bredere veld van Nederlandse onderzoeksinstituten. Onze aanbevelingen zijn erop

3(60)

PEER REVIEW RAPPORT

gericht de Algemene Rekenkamer te helpen haar bijzondere positie als nationale
rekenkamer in deze operationele omgeving optimaal te benutten, met name door:
•

•
•

zowel binnen als buiten de organisatie te verduidelijken hoe de Algemene
Rekenkamer haar unieke rol en mandaat als de hoogste controle-instantie van
Nederland vervult;
haar onafhankelijkheid te tonen in externe financial audits; en
te zorgen voor duidelijke oordelen in haar doelmatigheids- en
doeltreffendheidsonderzoeken.

Belangrijkste bevindingen
Onderwerpselectie en -programmering
Wij hebben de kwaliteit van de onderwerpselectie van de Algemene Rekenkamer
getoetst. Dit hebben we gedaan door te kijken naar de manier waarop de organisatie haar
strategische planning aanpakt en door na te gaan hoe deze strategische planning tot
uitdrukking komt in de selectie en programmering van de onderzoeksonderwerpen
waarmee de Algemene Rekenkamer invulling wil geven aan haar mandaat en impact wil
genereren.
Wij hebben verscheidene ‘good practices’ aangetroffen en geconstateerd dat de Algemene
Rekenkamer in de recente strategische periode 2016-2020 maatregelen heeft getroffen om
de kwaliteit van haar onderwerpselectie te verbeteren. Meer in het bijzonder hebben wij
gezien dat de Algemene Rekenkamer:
•

•

•

•

een gedegen drieledige strategische prioritering hanteert om te komen tot een
evenwichtige programmering van haar werkzaamheden, en haar
onderzoeksproces zodanig heeft ingericht dat deze prioriteiten direct bruikbaar
zijn voor het nemen van besluiten over onderzoeksonderwerpen;
vijf thematische programma’s heeft uitgewerkt waarin generieke rijksbrede
risico’s tot uitdrukking lijken te komen, terwijl ook flexibel inzetbare
onderzoekscapaciteit wordt gereserveerd om onderzoeken naar belangrijke
actuele kwesties mogelijk te maken;
een strategische fase in het onderzoeksproces heeft ingevoerd, met dialoogsessies
waarin nieuwe projectvoorstellen worden gepresenteerd die door een intern
panel tegen het licht worden gehouden om op grond daarvan besluiten te kunnen
nemen over onderzoeksonderwerpen;
de resultaten van haar financial audits en doelmatigheids- en
doeltreffendheidsonderzoeken op een unieke manier integreert in de jaarlijkse

4(60)

PEER REVIEW RAPPORT

publicatie van de resultaten van haar verantwoordingsonderzoek op
Verantwoordingsdag.
De door ons gesignaleerde verbeterpunten betreffen hoofdzakelijk de grondslag voor de
strategische planning van de Algemene Rekenkamer en de manier waarop zij de realisatie
van haar mandaat monitort. Meer in het bijzonder merken wij het volgende op:
•

•

•

De Algemene Rekenkamer geeft met haar huidige strategie geen heldere en
consistente boodschap af over haar missie, doel en prioriteiten tegen de
achtergrond van haar mandaat. De externe belanghebbenden die wij tijdens de
peer review spraken, hadden geen eensluidend beeld van de rol van de Algemene
Rekenkamer.
De Algemene Rekenkamer baseert haar strategische programmering niet op een
integrale rijksbrede risicobeoordeling, maar neemt besluiten over
onderzoeksonderwerpen op basis van risicoanalyses op een lager niveau. Het is
essentieel dat de Algemene Rekenkamer haar strategie een risicogerichte
grondslag geeft. Zo kan zij zowel binnen de organisatie als daarbuiten
inzichtelijk maken hoe zij haar missie en mandaat wil vervullen.
De Algemene Rekenkamer zou meer kunnen doen om te meten hoe groot haar
positieve impact is en daarover te rapporteren. Hoewel de Algemene
Rekenkamer diverse goede methoden heeft om de impact van specifieke
onderzoeken te monitoren, volgt zij feitelijke veranderingen en verbeteringen
binnen de rijksoverheid niet systematisch.

Concluderend: de Algemene Rekenkamer beschikt over een breed mandaat om de
besteding van publieke middelen te controleren. Verscheidene elementen van haar
werkwijze laten zien hoe een weldoordacht strategisch en operationeel kader een
hoogwaardige onderwerpselectie bevordert. De manier waarop Algemene Rekenkamer in
de praktijk invulling geeft aan haar strategische planning en openbare verslaglegging is
echter niet dusdanig stringent dat aan de hand daarvan vast te stellen is hoe zij haar
mandaat vervult. Bij gebrek aan een rijksbrede risicoanalyse hebben de peer reviewers
niet kunnen bepalen of er sprake is van een hiaat in de onderzoeksterreinen die onder de
controleopdracht van de Algemene Rekenkamer vallen. Wij denken dat met een heldere
omschrijving van wat externe publieke controle inhoudt en met een transparante
risicogerichte grondslag voor de eigen strategie eventuele hiaten in het werkterrein van
de Algemene Rekenkamer beter te signaleren zouden zijn, zowel voor de Algemene
Rekenkamer zelf als voor haar belanghebbenden.

5(60)

PEER REVIEW RAPPORT

Kwaliteit van de financial audit
De Algemene Rekenkamer heeft de wettelijke verantwoordelijkheid om dezelfde
financiële informatie in de jaarverslagen van de ministeries en het financieel jaarverslag
van het Rijk te onderzoeken als de Auditdienst Rijk (ADR), de interne auditor van de
rijksoverheid. Internationaal gezien is dit een unieke situatie, omdat de controle op en de
verslaggeving over de jaarrekening van nationale overheden doorgaans uitsluitend door
externe accountants wordt verricht. De situatie met twee certificerende instanties wordt
niet specifiek behandeld in de International Standards of Supreme Audit Institutions
(ISSAI’s), de internationaal aanvaarde controlestandaarden die gelden voor nationale
rekenkamers. Voor het gebruik van de bevindingen van de interne auditor heeft de
Algemene Rekenkamer besloten de ISSAI’s op een manier toe te passen die volgens haar
recht doet aan het feit dat de ADR certificeert (accountantsverklaringen afgeeft)
overeenkomstig de Nederlandse controlemaatstaven voor accountants. Bij het beoordelen
van de kwaliteit van de door de Algemene Rekenkamer uitgevoerde financial audits
hebben wij zorgvuldig rekening gehouden met de opzet van het Nederlandse
controlebestel, maar hebben wij de door de ADR verrichte werkzaamheden niet
beoordeeld.
Wij hebben geconstateerd dat de financial auditpraktijk van de Algemene Rekenkamer
diverse hoogwaardige kenmerken heeft, waaronder:
•

•
•
•

een risicogerichte aanpak bij de controle van bedrijfsvoeringsaspecten die
rechtstreeks is gerelateerd aan de financiële informatie in de jaarverslagen en aan
onderwerpen die voor de taakuitvoering van de gecontroleerden van groot belang
zijn;
gekwalificeerde accountants met kennis van zaken, die gedreven zijn om
controles op niveau verrichten;
jaarlijkse kwaliteitsbeoordelingen van alle controleopdrachten, ongeacht de
bestaande beperkingen in de beschikbare capaciteit;
een gedegen jaarlijkse beoordeling van de onafhankelijkheid en deskundigheid
van de ADR, standaard gevolgd door overleg met de ADR over de operationele en
vaktechnische aspecten van de door de ADR verrichte controlewerkzaamheden
en de uitkomsten daarvan.

Wij zien ook verbeterpunten, vooral waar het gaat om de onafhankelijkheid van de
Algemene Rekenkamer ten opzichte van de werkzaamheden van de ADR. Wij merken in
dat verband het volgende op:
•

De Algemene Rekenkamer is wettelijk bevoegd om gebruik te maken van de
werkzaamheden van anderen en zij wendt dit recht aan om de door haar

6(60)

PEER REVIEW RAPPORT

•

•

benodigde informatie van de ADR te verkrijgen. Uit de onderzoeken die wij in
onze steekproef hebben beoordeeld, blijkt echter dat er zwaar wordt gesteund
op de controlewerkzaamheden van de ADR, ook op controlewerkzaamheden
rond significante risico’s, waar aanvullende eigen controlewerkzaamheden voor
de hand zou liggen. Wij denken dat het Nederlandse controlebestel, waarin de
interne auditdienst mede tot taak heeft de financiële informatie conform de
Nederlandse controlestandaarden voor accountants te certificeren, de Algemene
Rekenkamer niet van haar verantwoordelijkheden ontheft. In dit opzicht
interpreteren wij de ISSAI’s anders dan de Algemene Rekenkamer.
De Algemene Rekenkamer maakt in de uitvoering van haar
verantwoordingsonderzoek geen gebruik van adequate, helder en uitputtend
gedefinieerde controlenormen. De Algemene Rekenkamer past wel bepaalde
ISSAI-controlestandaarden toe, maar zij heeft deze standaarden niet volledig
overgenomen. De toegepaste standaarden dekken bovendien niet alle onderdelen
c.q. gebieden af waarop de Algemene Rekenkamer bevoegd is onderzoek te doen,
zoals bepaalde onderdelen van financial audit en bedrijfsvoeringsonderzoek.
De rapportage over de financial audits zou kunnen worden verbeterd, onder
andere door de oordelen beter te presenteren en de bevindingen uit de financial
audits meer op de voorgrond te plaatsen in de rapporten.

Concluderend: wij vinden dat, hoewel de werkzaamheden van de accountants van de
Algemene Rekenkamer van hoge kwaliteit zijn en overeenstemmen met de werkwijze
van de Algemene Rekenkamer binnen het Nederlandse controlebestel, de Algemene
Rekenkamer de kwaliteit en relevantie van haar financial audits kan vergroten door de
onafhankelijkheid van de controlewerkzaamheden die zij als externe accountant verricht
te verstevigen. Wij denken voorts dat het de Algemene Rekenkamer moeite zal kosten
om de controle op financiële informatie, rechtmatigheid en bedrijfsvoering op een
evenwichtige en uniforme wijze te verrichten zolang er geen adequate normen zijn
geformuleerd, vastgesteld en gecommuniceerd.

Kwaliteit van het doelmatigheids- en doeltreffendheidsonderzoek
Het doelmatigheids- en doeltreffendheidsonderzoek van de Algemene Rekenkamer is
erop gericht inzichtelijk te maken of de rijksoverheid en de daarmee verbonden organen
zuinig, doelmatig en doeltreffend met publiek geld omgaan. De Algemene Rekenkamer
verricht omvangrijke doelmatigheids- en doeltreffendheidsonderzoeken op
uiteenlopende beleidsterreinen. Daarnaast verricht zij kleinere doelmatigheids- en
doeltreffendheidsonderzoeken. Een voorbeeld hiervan zijn de beleidscasussen die deel

7(60)

PEER REVIEW RAPPORT

uitmaken van het jaarlijkse verantwoordingsonderzoek, waarvan de resultaten worden
gepubliceerd in een rapport met oordelen. De Algemene Rekenkamer publiceert verder
ook nog andersoortige rapporten, waarin geen conclusies worden getrokken of
aanbevelingen worden gedaan.
Het reviewteam is onder de indruk van de capaciteit en het operationeel kader voor
hoogwaardig doelmatigheids- en doeltreffendheidsonderzoek dat de Algemene
Rekenkamer in de afgelopen jaren heeft opgebouwd. Wij signaleerden onder meer de
volgende goede elementen in de uitvoering van het onderzoek:
•

•

De Algemene Rekenkamer is innovatief in haar onderzoeksaanpak voor
doelmatigheids- en doeltreffendheidsonderzoeken, zet capaciteit in voor
kwantitatieve data-analyse en is creatief in haar methodieken om de
doeltreffendheid van overheidsbeleid te toetsen.
Alle doelmatigheids- en doeltreffendheidsonderzoeken verlopen volgens de vaste
stappen uit de onderzoekscirkel van de Algemene Rekenkamer. Deze bestaat uit
een strategische fase, gevolgd door een aantal stadia die betrekking hebben op
respectievelijk het projectvoorstel, de uitvoering, de rapportage, de publicatie en
de projectevaluatie. In de procesgang zijn verschillende maatregelen voor
kwaliteitsbeheersing opgenomen om de kwaliteit van de onderzoeken te
waarborgen.

Wij hebben daarnaast nog het volgende waargenomen:
•
•

•

De doelmatigheids- en doeltreffendheidsonderzoekers zijn hoogopgeleid, hebben
kennis van zaken en zijn gedreven om controles op niveau te verrichten.
In de onderzoeken die wij in onze steekproef hebben beoordeeld leken over het
algemeen relevante onderwerpen onder de loep te worden genomen en er werd
gebruikgemaakt van adequate methoden. De onderzoeken waren nauwkeurig
afgestemd op de strategie van de Algemene Rekenkamer: nagaan hoe publiek
geld binnen overheidsprogramma’s of rijksbreed wordt besteed.
De toon van de rapporten van de Algemene Rekenkamer is neutraal. In de
rapporten uit onze steekproef werd bovendien goed gebruikgemaakt van grafisch
materiaal om belangrijke of ingewikkelde boodschappen toe te lichten en over te
brengen.

8(60)

PEER REVIEW RAPPORT

Wij zien ook verbeterpunten, met name op het punt van de kwaliteit van de
onderzoeksvragen en de mate van zekerheid 1 die in de door ons beoordeelde rapporten
werd verstrekt. Wij merken in dat verband het volgende op:
•

•

•

•

De rapporten uit onze steekproef waren grotendeels beschrijvend van aard.
Aangezien de Algemene Rekenkamer ook rapporten zonder conclusies of
aanbevelingen publiceert, was dit soms een bewuste keuze. Maar zelfs in de
rapporten die wél conclusies en/of aanbevelingen bevatten, werd meestal een met
‘hoe’ of ‘wat’ geformuleerde onderzoeksvraag gesteld. Daardoor hadden ook deze
onderzoeken veeleer een beschrijvend dan een normatief vertrekpunt.
In de door ons beoordeelde rapporten werd niet vermeld of het project een
rapportage betrof gericht op het afgeven van een betrouwbaarheidsverklaring
(oftewel een doelmatigheids- en doeltreffendheidsonderzoek volgens INTOSAIstandaarden) of een ander product van de Algemene Rekenkamer (bijvoorbeeld
een rapport waarin een beleidsprogramma wordt beschreven). Daarom was het
in bepaalde gevallen voor ons lastig om uit te maken wat met elk van de
rapporten werd beoogd en of aan die opzet was voldaan.
De Algemene Rekenkamer heeft er bewust voor gekozen haar impact te
optimaliseren door haar publicaties toe te spitsen op kernboodschappen. Wij
constateerden echter dat in enkele van de rapporten uit onze steekproef de
kernboodschappen niet uit het doel van het onderzoek voortvloeiden en niet
altijd antwoord gaven op specifieke onderzoeksvragen.
Door bepaalde aspecten van de rapportpresentatie was het lastig om te zien hoe
de Algemene Rekenkamer haar rapporten wil inzetten om waarde toe te voegen,
inzicht te bieden en zo haar invloed te vergroten. Het was niet in alle gevallen
duidelijk welke tekstonderdelen van de rapporten dienden als
achtergrondinformatie over de gecontroleerde instantie en welke
tekstonderdelen observaties van de Algemene Rekenkamer betroffen die
voortvloeiden uit haar onderzoekswerkzaamheden.

Concluderend: wij denken dat de Algemene Rekenkamer beschikt over een goed
functionerend operationeel kader voor hoogwaardige doelmatigheids- en
doeltreffendheidsonderzoeken. Hoogopgeleide medewerkers met een achtergrond in
1

“Bij bepaalde directe beoordelingsopdrachten...” (bijvoorbeeld een doelmatigheids- en doeltreffendheidsonderzoek
in tegenstelling tot een accountantsverklaring bij een jaarrekening) “...legt de controleur geen expliciete
betrouwbaarheidsverklaring af over het object van het onderzoek. In dergelijke gevallen zorgt de controleur voor het
nodige vertrouwen bij de doelgroep door expliciet uit te leggen hoe de bevindingen, normen en conclusies
evenwichtig en onderbouwd tot stand zijn gekomen, en waarom de combinatie van bevindingen en normen hebben
geleid tot een bepaalde algemene conclusie of aanbeveling” (vgl. ISSAI 100, 32).

9(60)

PEER REVIEW RAPPORT

data-analyse, onderzoek en kennis van onderzoeksterreinen stellen de Algemene
Rekenkamer in staat om nuttig gebruik te maken van de gegevens waar zij toegang toe
heeft, en om data samen te voegen met behulp van kwantitatieve technieken waarmee
recent vooruitgang is geboekt en combinaties van technieken, de zogeheten mixed
methods,. In de onderzoeken van de Algemene Rekenkamer die we in onze steekproef
hebben beoordeeld leken over het algemeen relevante onderwerpen onder de loep te
worden genomen. Ook werd gebruikgemaakt van adequate methoden. Maar de
rapportages gaven niet allemaal even duidelijk aan waarover het onderzoek een oordeel
moest geven en wat de focus van het onderzoek was. Wij denken dat de Algemene
Rekenkamer, door meer aandacht te besteden aan strikt geformuleerde toetsende
onderzoeksvragen, gemakkelijker scherpe normen voor haar onderzoek kan formuleren
en meer onderzoeken naar de zuinigheid, doelmatigheid en doeltreffendheid van de
overheid kan uitvoeren.

Algemene observaties over kwaliteit
De Algemene Rekenkamer beschikt over een integraal kwaliteitsbeheersingssysteem dat
bestaat uit verscheidene lagen, die elk afzonderlijk cruciaal zijn voor de kwaliteit van het
onderzoek. Hoewel dit kwaliteitsbeheersingssysteem buiten de reikwijdte van onze peer
review viel, hebben wij toch enkele zaken waargenomen die de operationele
doeltreffendheid van de kwaliteitsbeheersing betreffen, mede in relatie tot de
kwaliteitsbewaking:
•

•

De Algemene Rekenkamer hanteert procedures om de kwaliteit van haar
werkzaamheden en publicaties te borgen. Voorbeelden hiervan zijn het werken
met een onderzoekscirkel waarin de processtappen voor alle onderzoeken zijn
vastgelegd, het beschikbaar stellen van handreikingen voor medewerkers om ze
te helpen bij het volgen van deze processtappen, het aanbieden van
opleidingstrajecten voor nieuwe en bestaande medewerkers, de onafhankelijke
beoordeling van de kwaliteit van alle rapporten en de inwinning van commentaar
van externe deskundigen.
De medewerkers van de Algemene Rekenkamer die wij hebben gesproken gaven
aan dat de interne richtlijnen vaak over diverse vindplaatsen zijn verspreid, zodat
het voor hen lastig is om goed op de hoogte te blijven van wat zij moeten weten.
Wij hebben ook geconstateerd dat waardevolle inzichten uit het overkoepelende
commentaar van de interne kwaliteitsbeoordelaars niet op systematische wijze
werden gebundeld om te kunnen dienen als impuls voor verbetering van het
werk van de Algemene Rekenkamer.

10(60)

PEER REVIEW RAPPORT

Aanbevelingen
De Algemene Rekenkamer heeft de afgelopen jaren diverse maatregelen getroffen om haar
prestaties op alle door ons getoetste gebieden te verbeteren. Wij hebben waardering voor
deze inspanningen en de betrokkenheid van de medewerkers van de Algemene
Rekenkamer bij deze prestatieverbetering, en moedigen de Algemene Rekenkamer aan de
door haar reeds ingezette verbeterslag voort te zetten. Wij denken dat met een aantal
relatief kleine wijzigingen aanzienlijke verbeteringen in de bestaande praktijk zijn te
realiseren. De bedoeling van onze aanbevelingen is dan ook om daaraan bij te dragen. De
reactie van de Algemene Rekenkamer en het nawoord van het peer review team zijn
opgenomen in een aparte paragraaf van dit rapport (pagina 52).

Ten aanzien van de onderwerpselectie en -programmering bevelen wij de
Algemene Rekenkamer het volgende aan:
•

•

•

Verwoord duidelijk, zowel binnen als buiten de organisatie, hoe de Algemene
Rekenkamer haar unieke functie van externe publieke controleur vervult en
hoe zij invulling geeft aan haar mandaat. Het oppakken van dit punt in de
lopende voorbereidingen voor de nieuwe strategie en de implementatie
daarvan kan de Algemene Rekenkamer helpen te profiteren van haar
bijzondere positie in het Nederlandse controlebestel.
Werk aan de ontwikkeling van een rijksbrede risicoanalyse op hoog niveau, die
als grondslag kan dienen voor de programmering en kan zorgen voor een
evenwichtige spreiding van werkzaamheden over de diverse overheidssectoren
en thema’s. Hoewel het volmaakte model niet bestaat, is besluitvorming die is
gebaseerd op een algemene risicobeoordeling van groot belang om met
overtuiging te bepalen en te communiceren waarom de Algemene Rekenkamer
ervoor kiest bepaalde zaken wel te onderzoeken en andere niet.
Monitor op een systematische manier de verandering en verbetering binnen de
rijksoverheid die het gevolg is van het werk van de Algemene Rekenkamer en
breng de resultaten hiervan naar buiten. Hiermee kan de Algemene
Rekenkamer laten zien hoe zij invulling heeft gegeven aan haar mandaat en
strategie en de basis leggen voor haar besluitvorming over toekomstige
onderzoeken.

Ten aanzien van de financial audits bevelen wij de Algemene Rekenkamer
het volgende aan:
•

Zorg voor een onafhankelijke planning en uitvoering van financial audits en
heroverweeg het zware steunen op de werkzaamheden van de interne auditor

11(60)

PEER REVIEW RAPPORT

•

•

•

bij het verkrijgen van het vereiste zekerheidsniveau voor elk onderdeel van de
oordelen. Dit is met name van belang waar het gaat om significante risico’s.
Stel controlestandaarden op voor elk van de wettelijke toetsingsnormen
aangaande betrouwbaarheid, ordelijkheid, rechtmatigheid, presentatie en nietstrijdigheid van financiële en niet-financiële informatie, en voer deze
standaarden in. De toepassing van helder gedefinieerde controlestandaarden
biedt zowel de auditor als gebruikers van de financial audit-rapportages meer
transparantie over wat de auditor heeft gedaan om zijn conclusies te trekken.
Heroverweeg de vorm en inhoud van de oordelen in financial audits, opdat ze
in de toekomst helder, kort en bondig zijn en voldoen aan de toepasselijke
controlestandaarden. Denk ook na over de manier waarop de verschillende
toegepaste controlestandaarden in de verantwoordingsonderzoeken kunnen
worden toegelicht. De verantwoordingsrapporten kunnen zowel inhoudelijk
als qua opbouw verder worden gestroomlijnd door uitsluitend te rapporteren
over de uitkomsten van het verrichte onderzoek. De verschillende
verantwoordelijkheden van controleur en gecontroleerde worden daarmee
beter tot uitdrukking gebracht.
Grijp de kans die Verantwoordingsdag biedt aan om het belang van een
degelijke financiële verantwoording door de rijksoverheid en van de financial
audit van de Algemene Rekenkamer onder de aandacht te brengen en uit te
dragen. Hiertoe zouden de resultaten van de door de Algemene Rekenkamer
verrichte financial audits meer op de voorgrond kunnen worden geplaatst in de
op die dag gepubliceerde verantwoordingsonderzoeken.

Ten aanzien van het doelmatigheids- en doeltreffendheidsonderzoek
bevelen wij de Algemene Rekenkamer het volgende aan:
•

•

Maak onderscheid tussen oordelende rapporten (dat wil zeggen
doelmatigheids- en doeltreffendheidsonderzoeksrapporten met oordelen) en
andere publicaties van de Algemene Rekenkamer, zowel bij de start van de
werkzaamheden als bij de presentatie van de resultaten. Aangezien niet elk
product hetzelfde doel dient, maakt dit het voor onderzoekers én gebruikers
van de rapporten duidelijker wat zij kunnen verwachten wanneer de Algemene
Rekenkamer een onderzoeksproject opstart en hoe de uitkomsten moeten
worden geïnterpreteerd. Publicaties moeten zelfstandig leesbare documenten
zijn die de lezer genoeg informatie geven om te kunnen begrijpen hoe en aan de
hand van welke maatstaven het onderzoek is uitgevoerd.
Kies in alle gevallen waarin de Algemene Rekenkamer werkt aan een rapport
met oordelen voor het opnemen van toetsende onderzoeksvragen. Toetsende in

12(60)

PEER REVIEW RAPPORT

•

plaats van beschrijvende onderzoeksvragen kunnen de Algemene Rekenkamer
helpen bij het ontwikkelen van scherpere onderzoeksnormen en bij het geven
van een oordeel gebaseerd op de beginselen van zuinigheid, doelmatigheid en
doeltreffendheid.
Zorg dat er een robuuste aanpak komt voor het ontwikkelen van normen voor
onderzoeken waarin het de bedoeling is om oordelen te geven.
Onderzoeksnormen zijn doorgaans gebaseerd op wet- en regelgeving, best
practices en op andere indicatoren die gerechtvaardigde verwachtingen van
burgers over de gecontroleerde weerspiegelen. Voor onderzoeksnormen
kunnen nationale rekenkamers daarnaast gebruikmaken van de inzichten die
zij ontlenen aan hun eigen controle van de rijksoverheid in het verleden. Wij
denken dat de Algemene Rekenkamer haar jarenlange ervaring nog beter zou
kunnen benutten dan zij nu doet, door een bibliotheek van bruikbare normen
op te zetten. Hiermee kan de Algemene Rekenkamer haar onderscheidende en
gezaghebbende stem op den duur verder versterken.

Ten aanzien van kwaliteitsbeheersing en kwaliteitsbewaking bevelen wij de
Algemene Rekenkamer het volgende aan:
•

•

•

Actualiseer en onderhoud de handleidingen voor de financial audits en het
doelmatigheids- en doeltreffendheidsonderzoek. Een actuele handleiding voor
de financial audits moet een update bevatten van de onderliggende
werkinstructies en duidelijk maken welke werkinstructies verplicht zijn.
Dit zorgt voor bijgewerkte ondersteuning conform de laatste ontwikkelingen
op het gebied van de standaarden. Het zal ook bijdragen aan een consistente
toepassing ervan.
Verlaag het controlerisico door te waarborgen dat de bevindingen uit de
kwaliteitsbeoordelingen in de financial audits worden afgehandeld vóórdat de
verantwoordingsonderzoeken op Verantwoordingsdag worden gepubliceerd.
Dit is te realiseren met een risicogerichte aanpak van de
kwaliteitsbeoordelingen.
Zorg voor een systematische vastlegging en verspreiding van de bevindingen
van de kwaliteitsbeoordelaars van het doelmatigheids- en
doeltreffendheidsonderzoek onder alle medewerkers die bij dat onderzoek
betrokken zijn, zodat collega’s lering kunnen trekken uit de best practices en
samen aan verdere verbetering kunnen werken.

13(60)

PEER REVIEW RAPPORT

Inleiding
Wettelijke context en missie van de Algemene Rekenkamer
1.

De Algemene Rekenkamer is de nationale rekenkamer – de internationale aanduiding
is supreme audit institution, SAI – van Nederland. De wettelijke taak van de Algemene
Rekenkamer om de inkomsten en uitgaven van het Rijk te controleren is vastgelegd
in de Grondwet voor het Koninkrijk der Nederlanden. De bevoegdheden en
specifieke controletaken van de Algemene Rekenkamer liggen vast in de
Comptabiliteitswet 2016. Een van deze taken is de jaarlijkse controle van de
financiële en niet-financiële informatie in de departementale jaarverslagen en in het
financieel jaarverslag van het Rijk, waarbij wordt gekeken naar rechtmatigheid,
betrouwbaarheid, ordelijkheid en conformiteit met de inrichtingsvoorschriften voor
de jaarverslagen (het verantwoordingsonderzoek). Een andere taak is het doen van
doelmatigheids- en doeltreffendheidsonderzoek, waarbij wordt gekeken of de
overheid bij het gevoerde beleid zuinig, doelmatig en doeltreffend met publiek geld is
omgegaan. Daarnaast is de Algemene Rekenkamer bevoegd om onderzoek te doen
naar publiek geld bij instellingen op afstand van het Rijk, alsook naar geld dat
Nederland van de Europese Unie heeft ontvangen.

2. De Algemene Rekenkamer omschrijft haar missie als het toetsen en verbeteren van
het rechtmatig, doelmatig, doeltreffend en integer functioneren van de rijksoverheid
en de daarmee verbonden organen. Zij doet dit door jaarlijks
verantwoordingsonderzoek te verrichten en door in haar meerjarige
onderzoeksprogramma’s beleidsterreinen en thema’s onder de loep te nemen met
naar verwachting een groot financieel of maatschappelijk belang. De president van de
Algemene Rekenkamer presenteert de resultaten van het verantwoordingsonderzoek
van de Algemene Rekenkamer één keer per jaar aan de Tweede Kamer. Dit gebeurt
op Verantwoordingsdag, in een plenaire vergadering van de Tweede Kamer over de
jaarverslagen van de ministeries en het financieel jaarverslag van het Rijk.
De Algemene Rekenkamer publiceert behalve haar jaarlijkse
verantwoordingsonderzoek door het jaar heen ook nog 15 tot 20 doelmatigheids- en
doeltreffendheidsonderzoeken. Verder worden er brieven aan de Tweede Kamer en
andere producten uitgebracht.

14(60)

PEER REVIEW RAPPORT

Huidige status en recente ontwikkelingen
3. De Algemene Rekenkamer behoort tot de oudste nationale rekenkamers en staat bij
haar collega-rekenkamers hoog aangeschreven. Onderzoekers van de Algemene
Rekenkamer zijn erg in trek in de internationale onderzoekswereld en nemen
geregeld deel aan projecten in het buitenland. De Algemene Rekenkamer streeft in
haar werk de hoogste kwaliteit na.
4. Er hebben zich in de getoetste periode ingrijpende wijzigingen binnen de Algemene
Rekenkamer voorgedaan. In 2016 zijn als onderdeel van de nieuwe strategie
meerjarige onderzoeksprogramma’s gepresenteerd. Deze programma’s richtten zich
niet alleen op beleidsterreinen, maar ook op de eigen onderzoeksaanpak. Een van
deze programma’s had betrekking op de doorontwikkeling van het
verantwoordingsonderzoek van de Algemene Rekenkamer. In een ander programma
werd gekeken naar innovatieve onderzoeksmethoden en -technieken om beter
inzicht te kunnen geven in zuinigheid, doelmatigheid en doeltreffendheid.
5. Ingegeven door de nieuwe strategie, maar ook door kortingen op haar begroting,
heeft de Algemene Rekenkamer in 2017 een drastische reorganisatie doorgevoerd
waarbij zij inzette op verbetering van de kwaliteit, wendbaarheid en zakelijkheid
van haar werkwijze. De reorganisatie had het vertrek van een groot aantal
medewerkers tot gevolg. In 2018 is aan de Algemene Rekenkamer een aanvulling op
de begroting toegekend die tot 2022 stapsgewijs wordt verhoogd. Deze aanvullende
middelen zijn benut om flink te investeren in de werving, opleiding en ontwikkeling
van medewerkers. Het personeelsverloop is niet onaanzienlijk geweest, maar is zich
in de laatste fase van de huidige, dit jaar eindigende strategische periode aan het
stabiliseren.
6. De medewerkers van de Algemene Rekenkamer zijn hoogopgeleid en hebben zowel
kennis van als ervaring met audit, onderzoeksterreinen en -methoden. In de loop van
de huidige strategische periode heeft de Algemene Rekenkamer nieuwe en
vooruitstrevende manieren verkend om haar onderzoeken te verrichten. Ook heeft zij
een innovatieve aanpak uitgeprobeerd voor haar onderzoeken en de publicatie van de
resultaten daarvan, zowel in het doelmatigheids- en doeltreffendheidsonderzoek als
in het verantwoordingsonderzoek. Er is een zogeheten data hub opgezet van
deskundige data-analisten, die waar nodig assistentie kunnen verlenen bij
onderzoeken. De Algemene Rekenkamer heeft ook deskundigen op het gebied van

15(60)

PEER REVIEW RAPPORT

vormgeving en gegevensvisualisatie in huis. De rapporten zijn dan ook voorzien van
nuttig grafisch materiaal dat ze leesbaarder en begrijpelijker maakt.

Omgeving waarbinnen de Algemene Rekenkamer opereert
7. Nederland kent een breed veld van instellingen op het gebied van onderzoek,
inspectie en evaluatie – een veld waarbinnen ook de Algemene Rekenkamer zich
beweegt en actief is. De belangrijkste speler in deze omgeving is de Auditdienst Rijk
(ADR), onderdeel van het Ministerie van Financiën, die de auditfunctie binnen de
rijksoverheid vervult. Andere organen in dit veld zijn bijvoorbeeld diverse
onderzoeksinstellingen die het overheidsbeleid evalueren.
8. De voor de ADR geldende regels zijn bij koninklijk besluit vastgesteld. Een daarvan is
de vereiste dat de ADR dezelfde informatie in de departementale jaarverslagen en in
het financieel jaarverslag van het Rijk controleert als de informatie die de Algemene
Rekenkamer uit hoofde van de Comptabiliteitswet 2016 moet controleren. De ADR
rapporteert op bestuurlijk niveau aan de minister van Financiën, maar werkt
rechtstreeks voor de betrokken ministers aan wie de rapporten worden verstrekt.
De minister van Financiën stuurt de door de ADR uitgebrachte rapporten bij de
departementale jaarverslagen door naar de Algemene Rekenkamer, die conform de
Comptabiliteitswet 2016 gebruik mag maken van de bevindingen van de ADR.
Het hoofdstuk over de kwaliteit van de financial audits hieronder gaat nader in op
het Nederlandse controlebestel en de implicaties daarvan voor de Algemene
Rekenkamer.

Zwaartepunt van de peer review
9. Deze peer review is uitgevoerd door een team van ervaren onderzoekers, afkomstig
van de nationale rekenkamers van Canada, Zweden en het Verenigd Koninkrijk.
10. De hoofddoelstelling van de review was de kwaliteit van het werk van de Algemene
Rekenkamer te toetsen. Na de gezamenlijke ondertekening op 1 oktober 2019 van een
samenwerkingsovereenkomst hebben de reviewers zich met name gericht op de
onderwerpselectie en -programmering van de Algemene Rekenkamer, de kwaliteit
van haar financial audits en de kwaliteit van haar doelmatigheids- en
doeltreffendheidsonderzoek. De review had betrekking op de huidige strategische
periode, die in 2016 is begonnen en doorloopt tot eind 2020.

16(60)

PEER REVIEW RAPPORT

11. Om informatie te verzamelen heeft het reviewteam gesprekken gevoerd met
medewerkers van de Algemene Rekenkamer en externe belanghebbenden,
documenten geanalyseerd (waaronder het zelfonderzoek dat de Algemene
Rekenkamer in 2018 heeft verricht conform het Supreme Audit Institution
Performance Measurement Framework (SAI PMF)), panelgesprekken gevoerd en een
aantal geselecteerde rapporten beoordeeld van uitgevoerde doelmatigheids- en
doeltreffendheidsonderzoeken en financial audits (zie de bijlage voor nadere
bijzonderheden). De review is voorts uitgevoerd met gebruikmaking van het
Framework of Professional Pronouncements van INTOSAI (de internationale
organisatie van rekenkamers) en de eigen ervaringen van de reviewteamleden.
Op basis van deze informatie hebben de reviewers good practices en verbeterpunten
gesignaleerd en doen zij aanbevelingen die de Algemene Rekenkamer in overweging
kan nemen. De aanbevelingen zijn bedoeld om de Algemene Rekenkamer te helpen
haar onderzoekspraktijk verder te versterken.

17(60)

PEER REVIEW RAPPORT

Observaties over onderwerpselectie en
-programmering
12. In dit deel van het rapport presenteren wij onze observaties over de kwaliteit van de
onderwerpselectie en -programmering van de Algemene Rekenkamer. Daartoe
hebben wij de vraag gesteld of het controlemandaat van de Algemene Rekenkamer
geschikt is voor onderzoek naar de besteding van publieke middelen. Wij hebben
ook gekeken naar de manier waarop de Algemene Rekenkamer haar strategische
planning aanpakt en hoe dit tot uitdrukking komt in de selectie en programmering
van onderzoeksonderwerpen waarmee zij haar mandaat wil vervullen en impact wil
genereren.

Controlemandaat van de Algemene Rekenkamer
13. Nationale rekenkamers hanteren doorgaans acht kernprincipes als essentiële
vereisten voor een goede controle op de overheidssector. Deze principes zijn
neergelegd in de Mexico Declaration on SAI Independence (INTOSAI-P 10). De vereisten
hebben onder meer betrekking op een voldoende breed mandaat, volledige
beleidsvrijheid en onbeperkte toegang tot informatie om de taken van nationale
rekenkamer goed te kunnen vervullen.
14. De onderzoeksactiviteiten van de Algemene Rekenkamer strekken zich uit over de
rijksoverheid en de daarmee verbonden organen. Dit betekent dat zij niet alleen
ministeries controleert, maar ook zelfstandige bestuursorganen op afstand van de
rijksoverheid, zoals bedrijven die geheel of gedeeltelijk eigendom zijn van de staat.
De Algemene Rekenkamer heeft, voor zover zij dit voor haar taakvervulling nodig
acht, het recht op inzage in alle goederen, administraties, documenten en andere
informatiedragers in alle sectoren van de rijksoverheid, op een door haar te bepalen
wijze. Bepaalde aspecten van het werkterrein en de onderzoeksbevoegdheden van de
Algemene Rekenkamer zijn formeel verruimd in de herziene Comptabiliteitswet die
in 2018 in werking is getreden. Ook procedures die al in praktijk werden gebracht
zijn bij die gelegenheid geformaliseerd.
15. Het reviewteam heeft geen diepgaand onderzoek gedaan naar de toereikendheid van
het mandaat van de Algemene Rekenkamer. Niettemin is ons één tegenstrijdigheid
opgevallen toen wij het mandaat van de Algemene Rekenkamer vergeleken met de

18(60)

PEER REVIEW RAPPORT

Mexico Declaration on SAI Independence. Dit punt, dat de Algemene Rekenkamer zelf ook
al heeft gesignaleerd in het zelfonderzoek dat zij in 2018 verrichtte conform het SAI
PMF, heeft te maken met haar financiële onafhankelijkheid. We merken op dat de
Algemene Rekenkamer in het algemeen een breed mandaat heeft om de besteding
van publieke middelen te controleren, zowel wat bevoegdheden als wat toegewezen
taken betreft.

Aanpak van strategische planning
Missie, doel en prioriteiten van de Algemene Rekenkamer
16. In haar strategie voor de periode 2016-2020 die de Algemene Rekenkamer heeft
gepubliceerd, geeft zij aan het als haar missie te beschouwen het rechtmatig,
doelmatig, doeltreffend en integer functioneren van de rijksoverheid en de daarmee
verbonden organen te toetsen en te verbeteren. Hoewel dit een duidelijke
missieverklaring is, vinden wij dat de Algemene Rekenkamer de boodschap over haar
missie, doel, prioriteiten en positie op het terrein van publieke controle niet overal
consequent overbrengt. Ons is met name ten aanzien van het strategisch plan van de
Algemene Rekenkamer voor de periode 2016-2020 het volgende opgevallen:
•

•

•

De Algemene Rekenkamer formuleert haar doel in diverse bewoordingen, die
niet allemaal even helder en nauwkeurig zijn. In de strategie wordt slechts
enkele malen verwezen naar kernbegrippen en vaktermen van externe
publieke controle zoals ‘controlerisico’, ‘mate van zekerheid’,
‘controleverklaring’, ‘ter verantwoording roepen’ en ‘overheidsfunctioneren
helpen verbeteren’.
De uitspraken die de Algemene Rekenkamer over haar taken doet, markeren
geen duidelijk verschil met de taken die de overheid behoort te vervullen.
Zo hecht het document veel waarde aan het ter beschikking stellen van
transparante rapporten, wat een taak van de overheid is, en minder waarde aan
het beoordelen van controle-informatie om te kunnen bepalen of informatie
dan wel feitelijke omstandigheden voldoen aan de vastgestelde normen, wat de
taak is van de nationale rekenkamer.
De Algemene Rekenkamer maakt geen gebruik van de gelegenheid om
onderscheid te maken tussen enerzijds de taken van de externe publieke
controleur en anderzijds de taken van een aantal onderzoeksinstellingen
binnen en buiten de Nederlandse overheid.

19(60)

PEER REVIEW RAPPORT

17. De Algemene Rekenkamer kan haar taken en mandaat op diverse manieren bij de
wetgevende en uitvoerende instanties onder de aandacht brengen. Voorbeelden van
good practices op hoog niveau zijn de besprekingen en het bestuurlijk overleg tussen
collegeleden en vertegenwoordigers van de Tweede Kamer, en het periodieke overleg
tussen de president van de Algemene Rekenkamer en de minister van Financiën.
18. Naar aanleiding van de onderzoeken uit onze steekproef hebben wij gesprekken
gevoerd met diverse externe belanghebbenden binnen de Ministeries van
Binnenlandse Zaken en Koninkrijksrelaties (BZK), Sociale Zaken en
Werkgelegenheid (SZW), Economische Zaken en Klimaat (EZK), Onderwijs,
Cultuur en Wetenschap (OCW), Buitenlandse Zaken (BZ) en de Dienst Analyse en
Onderzoek (DAO) van de Tweede Kamer. Daaruit kwam naar voren dat elk van de
gecontroleerden van tevoren was ingelicht over de onderzoeksprocedure. Er bleek bij
hen echter nauwelijks sprake te zijn van een gedeeld inzicht in de taken van de
Algemene Rekenkamer. Een aantal van de door ons geïnterviewde belanghebbenden
binnen de ministeries en het parlement had geen duidelijk beeld van de taken,
doelstelling en toegevoegde waarde van de Algemene Rekenkamer, noch van de
opzichten waarin de Algemene Rekenkamer verschilt van diverse Nederlandse
onderzoeksinstellingen.
Voorbeeld van een van de reviewende collega-rekenkamers: hoe de Britse National Audit Office
communities of practice als strategisch hulpmiddel in het leven riep
De Britse National Audit Office (NAO) heeft een aantal jaar geleden zogeheten communities of practice
ingesteld, dat wil zeggen directieoverstijgende praktijkgroepen binnen haar organisatiestructuur. Elk van
de groepen richt zich op een terrein waarop de NAO haar bestaande deskundigheid en diepgaande kennis
verder wil uitbouwen en – op de haar kenmerkende toon – strategische boodschappen wil uitdragen.
Voorbeelden van onderwerpen die aan bod komen zijn bedrijfsfinanciering, de oplevering van
grootschalige projecten en overheidscontracten. De praktijkgroepen leveren een bijdrage aan strategie en
onderwerpselectie en vormen een ‘thuisbasis’ voor medewerkers die hun deskundigheid willen delen of
vergroten. Deze groepen groeien op dit moment verder uit tot kenniscentra. De NAO verwacht dat alle
medewerkers die zich bezighouden met onderzoek naar de vraag of burgers waar voor hun geld krijgen
(doelmatigheids- en doeltreffendheidsonderzoek) en veel van de medewerkers die betrokken zijn bij
financial audits of werkzaam zijn in functionele teams, naast hun kerndeskundigheid een bredere kennis
en ervaring zullen opbouwen door met een kenniscentrum te werken. Iedereen kan aan een of meer
kenniscentra meedoen en daartoe worden organisatiebreed diverse mogelijkheden gecreëerd.

19. Uit onze panelgesprekken met medewerkers van de Algemene Rekenkamer van
diverse vaktechnische achtergronden kwam naar voren dat er onder hen discussie
bestaat over de vraag welk soort werkzaamheden als audit moeten worden
aangemerkt en in hoeverre ‘niet-auditwerkzaamheden’ onder het mandaat van de
Algemene Rekenkamer vallen. De diversiteit van het personeelsbestand van de

20(60)

PEER REVIEW RAPPORT

Algemene Rekenkamer is over het algemeen een groot pluspunt, maar het feit dat
veel medewerkers pas recent in dienst zijn getreden, deels ten gevolge van de
reorganisatie, maakt het des te belangrijker dat de organisatie als geheel een duidelijk
en gemeenschappelijk beeld van haar functie heeft.
Aanbeveling
Verwoord duidelijk, zowel binnen als buiten de organisatie, hoe de Algemene Rekenkamer haar unieke
functie van externe publieke controleur vervult en hoe zij invulling geeft aan haar mandaat. Het oppakken
van dit punt in de lopende voorbereidingen voor de nieuwe strategie en de implementatie daarvan, kan de
Algemene Rekenkamer helpen te profiteren van haar bijzondere positie in het Nederlandse staatsbestel.

Vertaalslag van strategisch plan naar programmering
Good practices van het strategisch en operationeel kader voor
onderwerpselectie en -programmering
20. De Algemene Rekenkamer heeft de afgelopen jaren diverse maatregelen getroffen om
de kwaliteit van haar onderwerpselectie en -programmering te verbeteren. In het
algemeen beschouwen wij deze maatregelen als good practices voor het opstellen van
strategische en operationele kaders. Wij hebben in dit verband de volgende punten
gesignaleerd:
• De Algemene Rekenkamer vindt dat al haar controlewerkzaamheden moeten
passen binnen de drie strategische prioriteiten of ijkpunten. In de
onderzoeken moeten publieke middelen met een kritische blik worden
gevolgd, moeten thema’s met een groot financieel of maatschappelijk belang
worden onderzocht en moet duidelijk zijn dat gebruik wordt gemaakt van de
unieke toegevoegde waarde van de Algemene Rekenkamer als controleur.
• De Algemene Rekenkamer heeft een strategische fase met strategische
dialoogsessies ingevoerd in het onderzoeksproces. Het doel hiervan is om de
interne dialoog over strategische planning en onderwerpselectie te
versterken, de kwaliteit van projectvoorstellen te verbeteren en de
besluitvorming van het college te faciliteren. Deze strategische
dialoogsessies, waarin nieuwe projectvoorstellen worden gepresenteerd en
door een intern panel tegen het licht worden gehouden, vormen een directe
basis voor besluiten over onderzoeksonderwerpen.
• De Algemene Rekenkamer heeft niet alleen capaciteit vrijgemaakt voor haar
meerjarenplan en de financial audits, maar ook voor een wisselend
onderzoeksprogramma, om onderzoeken naar belangrijke actuele kwesties
mogelijk te maken.

21(60)

PEER REVIEW RAPPORT

•

De Algemene Rekenkamer heeft ook gezocht naar creatieve manieren om
haar mandaat ten volle te benutten, vooral door nieuwe bruikbare
onderzoeksmethoden en presentatiemiddelen aan haar controleinstrumentarium toe te voegen (zie ook het hoofdstuk over de kwaliteit van
het doelmatigheids- en doeltreffendheidsonderzoek).

Programma van de Algemene Rekenkamer is evenwichtig, maar niet
gebaseerd op een integrale risicobeoordeling
21. De Algemene Rekenkamer heeft naar ons oordeel op een goed doordachte wijze
geprobeerd haar totale onderzoeksprogramma in evenwicht te brengen, om zo haar
drie strategische prioriteiten waar te kunnen maken. Ze heeft vijf thematische
programma’s uitgewerkt waarin generieke rijksbrede risico’s tot uitdrukking lijken
te komen. Zoals de Algemene Rekenkamer erkent in het zelfonderzoek dat zij in 2018
verrichtte conform het SAI PMF, is er op dit ogenblik geen sprake van een integrale
rijksbrede risicobeoordeling. Het is gebruikelijk dat nationale rekenkamers hun
onderzoeksprogramma’s baseren op een rijksbrede risicoanalyse, om op een gerichte
manier het juiste evenwicht te vinden tussen diverse soorten controlewerk. Doordat
een integrale risicobeoordeling ontbreekt, is het onduidelijk in hoeverre de
prioritering die de Algemene Rekenkamer aanbrengt in haar werkzaamheden
toereikend is om belangrijkste controlerisico’s binnen haar onderzoeksterrein af te
dekken. Het is echter wel zo dat iedere onderzoeksdirectie de risico’s binnen de
eigen taakvelden analyseert. Een beoordeling van deze risicoanalyses viel buiten de
reikwijdte van deze peer review.
22. Door het ontbreken van een rijksbrede risicoanalyse hebben de peer reviewers niet
kunnen bepalen of er sprake is van een hiaat in de onderzoeksterreinen die onder de
controleopdracht van de Algemene Rekenkamer vallen, dat wil zeggen of er binnen
de Algemene Rekenkamer ‘blinde vlekken’ zijn voor bepaalde onderwerpen. Wij
denken dat wanneer de Algemene Rekenkamer helder zou vastleggen wat in haar
visie externe publieke controle moet inhouden, en tegelijkertijd haar strategie zou
voorzien van een transparante, risicogerichte grondslag, zowel de Algemene
Rekenkamer zelf als haar belanghebbenden beter in staat zouden zijn om eventuele
hiaten in het werkterrein te signaleren. Zie in dit verband ook het hoofdstuk over de
kwaliteit van de financial audit voor nadere observaties over hoe de Algemene
Rekenkamer haar mandaat uitoefent.

22(60)

PEER REVIEW RAPPORT

Voorbeeld van een van de reviewende collega-rekenkamers: hoe de Zweedse Riksrevisionen omgaat met
integrale risicoanalyses
De Zweedse nationale rekenkamer, Riksrevisionen, hanteert een top-downprocedure voor de integrale
risicoanalyse. Deze procedure begint met het signaleren van belangrijke maatschappelijke trends die naar
verwachting de eerstkomende jaren van invloed zullen zijn op overheidsactiviteiten. Deze trends worden
vervolgens uitgesplitst naar vier rijksbrede risico’s en verder onderverdeeld in subcategorieën van
risico’s op tekortkomingen in de zuinigheid, doelmatigheid of doeltreffendheid van de rijksoverheid.
Deze vrij eenvoudige risicoanalyseprocedure is voortgekomen uit bevindingen van zowel doelmatigheidsen doeltreffendheidsonderzoeken als financial audits. De procedure wordt aangevuld met een bottom-upperspectief, om de rijksbrede risico’s naast de specifieke risico’s te kunnen leggen die de
onderzoekseenheden binnen hun controleterreinen hebben gesignaleerd. Voor het doelmatigheids- en
doeltreffendheidsonderzoek en de financial audit worden afzonderlijk risicoanalyses op een lager niveau
verricht. De gezichtspunten worden samengevoegd in een langetermijnplanning en in het jaarlijkse
controleplan. De integrale risicoanalyse wordt elk jaar geactualiseerd.

23. Hoewel we ons ervan bewust zijn dat er geen volmaakt model bestaat, menen we dat
het voor de Algemene Rekenkamer van belang is om de bestaande elementen van
haar risicoaanpak verder uit te bouwen tot een breed, risicogericht
besluitvormingsmodel dat voor iedere medewerker inzichtelijk is en waaraan iedere
medewerker kan bijdragen. Het is op zichzelf al waardevol om een heldere denkwijze
te hebben als basis voor een risicogerichte onderwerpselectie en -programmering.
Binnen de organisatie helpt het medewerkers om het grotere verband te zien
waarbinnen hun werk past en te begrijpen op welke gronden het hogere
management besluiten heeft genomen, ook als zij zelf liever andere besluiten zouden
hebben gezien. Voor de buitenwereld laat een risicogericht besluitvormingsmodel
zien hoe de Algemene Rekenkamer met haar onderzoeken in het belang van de
belastingbetaler inzichten wil bieden en wil waarschuwen voor risico’s. De kennis
die een externe controleur van risico’s heeft verschilt van de kennis die de overheid
daarvan heeft, omdat externe controleurs een andere manier van denken hebben en
andere patronen waarnemen dan de overheid. Dit kan inhouden dat terugkerende
fouten in een bepaalde overheidsaanpak worden gesignaleerd, waarbij veel geld
wordt gespendeerd en waarbij departementen niet geneigd zijn van elkaar te leren.
Aanbeveling
Werk aan de ontwikkeling van een rijksbrede risicoanalyse op hoog niveau, die als grondslag kan dienen
voor de programmering en kan zorgen voor een evenwichtige spreiding van werkzaamheden over de
diverse overheidssectoren en thema’s. Hoewel het volmaakte model niet bestaat, is besluitvorming die is
gebaseerd op een algemene risicobeoordeling van groot belang om weloverwogen te bepalen en te
communiceren waarom de Algemene Rekenkamer ervoor kiest bepaalde zaken wel te onderzoeken en
andere niet.

23(60)

PEER REVIEW RAPPORT

Beheer van middelen om impact te hebben en te meten
Verantwoordingsdag biedt een unieke gelegenheid
24. In het verantwoordingsonderzoek van de Algemene Rekenkamer komen
verschillende soorten onderzoek samen: de financial audits, de onderzoeken naar
onderdelen van de bedrijfsvoering en de casusgerichte onderzoeken naar de
doelmatigheid en doeltreffendheid van het beleid bij alle departementen.
Al dit onderzoek wordt jaarlijks in mei op Verantwoordingsdag gepubliceerd.
De president van de Algemene Rekenkamer houdt bij het aanbieden van de
rapporten elk jaar een toespraak in de Tweede Kamer. Afgezien van de jaarlijkse
publicaties in mei brengt de Algemene Rekenkamer elk jaar ook 15 tot 20
doelmatigheids- en doeltreffendheidsonderzoeken uit, plus nog enkele andersoortige
publicaties. De resultaten van deze overige onderzoeken worden door het jaar heen
gepubliceerd.
25. De jaarlijkse publicatie van de resultaten van het verantwoordingsonderzoek op één
dag biedt de Algemene Rekenkamer de gelegenheid om met de bevindingen uit haar
rijksbrede financial audit en doelmatigheids- en doeltreffendheidsonderzoek impact
te hebben. Wij zijn onder de indruk van deze unieke manier waarop het werk van
onderzoekers in beide disciplines wordt geïntegreerd.

De Algemene Rekenkamer zou meer kunnen doen om te meten hoe
groot haar positieve impact is
26. De Algemene Rekenkamer maakt gebruik van diverse goede methoden om de impact
van specifieke onderzoeken te meten en daarover te rapporteren. Voorbeelden zijn
de gesprekken die achteraf, in de projectevaluatiefase, met gecontroleerden worden
gehouden, en de vervolgcontroles om gecontroleerden aan te sporen de eerder door
de Algemene Rekenkamer gedane aanbevelingen serieus te nemen. Verder wordt
als onderdeel van het jaarlijkse verantwoordingsonderzoek de opvolging van
aanbevelingen gemonitord, waarbij geconstateerde tekortkomingen pas als
opgeheven worden aangemerkt als de Algemene Rekenkamer afdoende verbetering
binnen het betrokken departement heeft gezien. De Algemene Rekenkamer
rapporteert ook in haar jaarverslag over de impact van een aantal geselecteerde
onderzoeken.

24(60)

PEER REVIEW RAPPORT

27. Zoals de Algemene Rekenkamer echter in het door haar in 2018 conform het SAI
PMF verrichte zelfonderzoek erkende, volgt zij de impact van haar onderzoeken niet
op een systematische en structurele manier. De instrumenten die de Algemene
Rekenkamer hiervoor gebruikt richten zich vooral op het inventariseren van
berichtgeving in de media en het aantal door de overheid opgevolgde aanbevelingen
en veel minder op het meten van de feitelijke verandering en verbetering binnen de
overheid. Zonder deze informatie bestaat het risico dat de Algemene Rekenkamer
niet optimaal in staat is te laten zien dat zij haar strategie en mandaat zo veel als
mogelijk heeft vervuld.
Voorbeelden van de reviewende collega-rekenkamers: impact volgen
Het aantonen van oorzakelijke verbanden is doorgaans niet eenvoudig en nationale rekenkamers gaan er
dan ook op verschillende manieren mee om. De National Audit Office (NAO), de Britse nationale
rekenkamer, meet bijvoorbeeld zowel kwantitatieve als kwalitatieve positieve veranderingen waarvan
samen met de gecontroleerden is vastgesteld dat ze het resultaat zijn van het werk van de NAO, en
publiceert daarover een aantal casussen. De NAO geeft daarnaast adviseurs jaarlijks de opdracht om door
middel van enquêtes en vraaggesprekken inhoudelijke feedback op te vragen bij ambtenaren van de
gecontroleerde instanties en bij parlementsleden. Deze informatie wordt geanalyseerd en gebruikt als
basis voor de wijze waarop de NAO zijn belanghebbenden benadert.
Riksrevisionen, de nationale rekenkamer van Zweden, rapporteert jaarlijks over de impact van de
aanbevelingen in haar doelmatigheids- en doeltreffendheidsonderzoeken. Na verloop van tijd krijgt een
willekeurige selectie van de verrichte onderzoeken een vervolg in twee fasen: eerst wordt een licht
vervolgonderzoek verricht en in een later stadium een diepgaand vervolgonderzoek. Deze jaarlijkse followups nemen ook de impact van aangepaste financial auditrapporten mee en worden in een openbare
vergadering aan het parlement aangeboden, tegelijk met een ander jaarverslag waarin de belangrijkste
controlebevindingen van het jaar daarvoor zijn samengebracht.

Aanbeveling
Monitor op een systematische manier de verandering en verbetering binnen de rijksoverheid die het
gevolg zijn van het werk van de Algemene Rekenkamer en breng de resultaten hiervan naar buiten.
Hiermee kan de Algemene Rekenkamer laten zien hoe zij invulling heeft gegeven aan haar mandaat en
strategie en de basis leggen voor haar besluitvorming over onderzoek in de toekomst.

25(60)

PEER REVIEW RAPPORT

Observaties over kwaliteit van de financial audit
28. In dit deel van het rapport presenteren wij onze observaties over de kwaliteit van de
financial audit. Deze observaties betreffen de jaarlijkse onderzoekswerkzaamheden
die onder het mandaat van de Algemene Rekenkamer vallen, de selectie en toepassing
van standaarden, de kwaliteit van de uitgevoerde audits en de manier waarop over de
resultaten daarvan is gerapporteerd.
29. De financial audit van de Algemene Rekenkamer is onderdeel van haar
verantwoordingsonderzoek. De oordelen die in de bijbehorende rapporten worden
gegeven betreffen onder meer:
• de betrouwbaarheid en ordelijkheid van financiële informatie;
• de rechtmatigheid van financiële informatie;
• de vraag of informatie over de bedrijfsvoering betrouwbaar tot stand is
gekomen en niet strijdig is met de financiële informatie; en
• de vraag of beleidsinformatie betrouwbaar tot stand is gekomen en niet
strijdig is met de financiële verantwoordingsinformatie.

Nederlands controlebestel
30. De jaarlijkse controle door de Algemene Rekenkamer van de financiële en nietfinanciële informatie in de jaarverslagen van de ministeries en in het financieel
jaarverslag van het Rijk is vastgelegd in de Comptabiliteitswet 2016 (zie de inleiding
van dit rapport).
31. De Algemene Rekenkamer mag op grond van de Comptabiliteitswet 2016, met
behoud van haar bevoegdheden om eigen onderzoek te verrichten, gebruikmaken van
de bevindingen van anderen. Internationale controlestandaarden zoals de ISSAI’s
stellen voorwaarden voor het gebruik van de werkzaamheden van de interne
auditfunctie door de externe controleur.
32. De Algemene Rekenkamer gebruikt de werkzaamheden van de interne auditor van
de rijksoverheid, de Auditdienst Rijk (ADR). De ADR verricht audits en geeft
controleverklaringen af met inachtneming van internationaal aanvaarde
controlestandaarden. De taak van de ADR ten aanzien van financiële informatie is
dezelfde als de wettelijk taak van de Algemene Rekenkamer. De Algemene
Rekenkamer beschouwt de interne auditfunctie van de rijksoverheid als een interne

26(60)

PEER REVIEW RAPPORT

beheersmaatregel die weliswaar onder invloed staat van het management van de
operationele afdelingen en de directies Financieel-Economische Zaken van de
rijksoverheid, maar toch relatief onafhankelijk daarvan wordt uitgevoerd. Op grond
van dat standpunt ontleent de Algemene Rekenkamer een aanzienlijke mate van
zekerheid aan de door de ADR verrichte werkzaamheden en richt zij zich
voornamelijk op het reviewen van die werkzaamheden.
33. Volgens de Algemene Rekenkamer heeft de ADR in 2018 circa 50.000
onderzoeksdagen besteed aan de financial audit. Bij de Algemene Rekenkamer ging
het om circa 3.200 dagen. Beide organisaties hebben dezelfde verantwoordelijkheid
om de financiële informatie van de rijksoverheid te certificeren.
34. Bij het beoordelen van de door de Algemene Rekenkamer uitgevoerde financial audits
hebben wij zorgvuldig rekening gehouden met de werking van het Nederlandse
controlebestel, waaronder de certificering van de financiële informatie door zowel de
interne auditfunctie van de rijksoverheid als door de Algemene Rekenkamer. Wij
hebben de door de ADR verrichte werkzaamheden niet beoordeeld.

Audits die de Algemene Rekenkamer jaarlijks verplicht moet doen
Wettelijke taak van de Algemene Rekenkamer om de jaarverslagen te
toetsen
35. Uit onze beoordeling van een aantal geselecteerde audit dossiers uit 2018 blijkt dat
de Algemene Rekenkamer heeft voldaan aan haar wettelijke controletaak en conform
de wet verslag heeft uitgebracht over de resultaten van haar audits in een rapport bij
het jaarverslag van het desbetreffende ministerie/begrotingsfonds en in het rapport
Staat van de rijksverantwoording.
36. Op grond van de Comptabiliteitswet 2016 is het doel van deze controle om vast te
stellen of is voldaan aan de normen van betrouwbaarheid, ordelijkheid,
rechtmatigheid, conformiteit met de inrichtingsvoorschriften voor de jaarverslagen
en conformiteit met het vereiste van niet-strijdigheid van de financiële informatie
met de niet-financiële informatie. Tijdens onze beoordeling van de rapporten uit de
steekproef bleek het soms lastig te bepalen of er sprake was van voldoende en
geschikte controle-informatie voor het geven van oordelen over elk van deze normen.
Dit kwam doordat documentatie ontbrak die de onderzoeksprocedure en -resultaten
koppelde aan de onderzoeksnormen.

27(60)

PEER REVIEW RAPPORT

37. De Algemene Rekenkamer voldoet aan de brede wettelijke taak om de
bedrijfsvoering jaarlijks te toetsen. Daartoe wordt onderzoek verricht naar specifieke
onderdelen van de bedrijfsvoering die rechtstreeks verband houden met de financiële
informatie in de jaarverslagen en naar onderwerpen die van groot belang zijn voor de
publieke taken en diensten van de gecontroleerden. Wij hebben geconstateerd dat de
Algemene Rekenkamer er terecht voor kiest zich op die onderdelen van de
bedrijfsvoering te richten waarvan zij vindt dat deze in het desbetreffende jaar
gevolgen hebben gehad voor de financiële verantwoording. Deze gerichte aandacht
op geselecteerde risicogebieden, in plaats van te proberen elk jaar te veel op hoog
niveau te controleren, zorgt ervoor dat invloedrijke aanbevelingen kunnen worden
gedaan.

Belang van financial audit bij de Algemene Rekenkamer
38. De financial audit vormt de kern van het mandaat van de Algemene Rekenkamer.
De zekerheid die een nationale rekenkamer in haar externe oordeel verstrekt over de
door de overheid opgestelde financiële informatie is essentieel voor de
verantwoordingsrelatie tussen parlement en kabinet, ongeacht de opzet van het
interne controlesysteem.
39. De Algemene Rekenkamer moet net als haar internationale collega’s het juiste
evenwicht zien te vinden bij het bepalen van het deel van haar beperkte middelen dat
zij inzet voor de financial audit, om aan haar wettelijke verplichtingen te voldoen.
Een aantal van de medewerkers van de Algemene Rekenkamer die wij spraken over
de in 2018 uitgevoerde onderzoeken, hadden zich dat jaar enige zorgen gemaakt over
de voor de financial audit beschikbare capaciteit. Wij prijzen de Algemene
Rekenkamer voor het feit dat zij dit punt van zorg heeft aangepakt met een
uitbreiding van de beschikbare capaciteit en onderzoeksuren voor de financial audit
in 2019.
40. Nationale rekenkamers zien vaak dat de resultaten van hun financial audits,
ongeacht de inspanningen die zijn geleverd om te komen tot de gegeven oordelen,
niet dezelfde aandacht van parlementsleden en het publiek krijgen als de resultaten
van hun doelmatigheids- en doeltreffendheidsonderzoeken. Wij benijden de
Algemene Rekenkamer om het bestaan van Verantwoordingsdag. Die dag biedt haar
de mogelijkheid om bij de presentatie van de resultaten van haar
verantwoordingsonderzoek rechtstreeks en in het openbaar het belang van
deugdelijke financiële verslaggeving door de overheid en van haar eigen financial

28(60)

PEER REVIEW RAPPORT

audit te onderstrepen. Wij denken dat de Algemene Rekenkamer dit podium nog
beter zou kunnen benutten om het belang van haar financial audit onder de aandacht
te brengen.
Voorbeeld van een van de reviewende collega-rekenkamers: presentatie van de resultaten van de financial
audit in Canada
De Office of the Auditor General of Canada (OAG), de nationale rekenkamer van Canada, rapporteert
jaarlijks aan de ministeries over de resultaten van de door haar uitgevoerde financial audits. Daarnaast
probeert zij meer bekendheid te geven aan haar financial audit door elk jaar een toelichting voor het
parlement te schrijven. In deze toelichting wordt dieper ingegaan op de resultaten van alle financial audits
die de OAG het afgelopen jaar bij de instellingen van de rijksoverheid heeft uitgevoerd. Er zit ook een
educatief element in; parlementsleden worden zo geholpen om de financiële informatie die ze voor hun
parlementaire controle van de overheid krijgen, beter te begrijpen.

Aanbeveling
Grijp de kans die Verantwoordingsdag biedt aan om het belang van een degelijke financiële
verantwoording door de rijksoverheid en van de financial audit van de Algemene Rekenkamer onder de
aandacht te brengen en uit te dragen. Hiertoe zouden de resultaten van de door de Algemene
Rekenkamer verrichte financial audits meer op de voorgrond kunnen worden geplaatst in de op die dag
gepubliceerde verantwoordingsonderzoeken. De Algemene Rekenkamer zou bijvoorbeeld ernstige fouten
en onzekerheden in de rechtmatigheid die zijn aangetroffen in de financiële informatie, in iedere
verantwoordingsrapportage op de desbetreffende pagina kunnen opnemen onder de belangrijkste
conclusies.

Selectie en toepassing van standaarden
41. INTOSAI, de internationale organisatie van rekenkamers, hanteert een raamwerk
voor onafhankelijk controlewerk van nationale rekenkamers waarin onderscheid
wordt gemaakt tussen standaarden voor financial audit, compliance audit en performance
audit. Het verantwoordingsonderzoek dat de Algemene Rekenkamer op grond van
haar mandaat uitvoert bevat elementen van ál deze controlewerkzaamheden. In dat
opzicht kan het verantwoordingsonderzoek worden beschouwd als een hybride
audit.

Uit de rapporten bij het verantwoordingsonderzoek blijkt niet duidelijk
welke controlestandaarden zijn toegepast
42. De Algemene Rekenkamer vermeldt in haar verantwoordingsonderzoek dat “gebruik
wordt gemaakt van de ISSAI’s.” Hiermee bedoelt zij dat de controlestandaarden van
INTOSAI deels zijn toegepast. Het viel ons echter op dat in het
verantwoordingsonderzoek niet concreet wordt gemaakt welke standaarden in

29(60)

PEER REVIEW RAPPORT

welke mate zijn toegepast. Uit de formulering ‘gebruikmaken van’ blijkt niet of
wordt verwezen naar de fundamental principles dan wel naar de ISSAI-standaarden zelf.
Voor externe belanghebbenden is bovendien niet duidelijk of en in welke mate
andere standaarden of basisbeginselen zijn toegepast dan die voor de financial audit
gelden.
43. De Algemene Rekenkamer vermeldt in haar interne vaktechnische documenten een
aantal ISSAI-standaarden voor de financial audit die zij in de Nederlandse context
niet relevant vindt. Zo heeft de Algemene Rekenkamer de ISSAI-standaard voor
oordeelsvorming en rapportage over jaarrekeningen als niet relevant aangemerkt,
omdat de in Nederland geldende rapportagevoorschriften anders zijn dan de
vereisten uit de ISSAI’s. De ISSAI-standaarden zijn op dit punt helder: als de
rapportage over jaarrekeningen op grond van wet- of regelgeving anders moet
worden geformuleerd, dan doet een alternatieve bewoording geen afbreuk aan de
juiste toepassing van de verslaggevingsstandaarden. Over aanvullende taken, zoals
het oordeel dat de Algemene Rekenkamer behoort te geven over de bedrijfsvoering,
kan in een afzonderlijke sectie in het rapport verslag worden gedaan. In die delen van
het rapport moeten de aanvullende taken, de toegepaste normen en de bijbehorende
oordelen dan duidelijk worden beschreven.
44. Andere ISSAI-standaarden die mogelijk relevant zijn – zoals de standaarden voor het
identificeren en inschatten van risico’s door inzicht te verwerven in de organisatie en
haar omgeving en het inspelen op de ingeschatte risico’s – krijgen in de praktijk
wellicht enige aandacht tijdens het onderzoek, maar worden in de interne richtlijnen
van de Algemene Rekenkamer niet diepgaand behandeld, omdat uitgebreid wordt
gesteund op de werkzaamheden van de ADR. Dat in de Nederlandse situatie op deze
manier gebruik wordt gemaakt van de werkzaamheden van de interne auditor van de
rijksoverheid doet onzes inziens niets af aan de noodzaak om de ISSAI-standaarden
integraal over te nemen en toe te passen. Het ISSAI-raamwerk stelt ondubbelzinnig
dat verwijzing naar de standaarden alleen is toegestaan wanneer álle relevante
voorschriften daaruit zijn toegepast.
45. Het takenpakket van de Algemene Rekenkamer is breed en omvat behalve
rechtmatigheidskwesties ook de bedrijfsvoering van de rijksoverheid en andere
aspecten waarover in het verantwoordingsonderzoek verslag wordt gedaan. Gelet op
de aard van de verschillende taken en oordelen die onder haar mandaat vallen, is de
Algemene Rekenkamer gedwongen om, naast de integrale toepassing van de ISSAI’s
in haar financial audit, voor bepaalde onderwerpen andere standaarden te gebruiken

30(60)

PEER REVIEW RAPPORT

of aanvullende standaarden uit te werken. Wij constateren dat de Algemene
Rekenkamer niet voldoende heeft onderzocht welke controlestandaarden nodig zijn
om haar wettelijke taak vanuit het verantwoordingsonderzoek goed te kunnen
verrichten.
Voorbeelden van de reviewende collega-rekenkamers:
Hoe collega-rekenkamers eigen standaarden voor financial audit hebben ontwikkeld
Het komt vaker voor dat het controlemandaat van een nationale rekenkamer specifieke vereisten kent die
buiten het INTOSAI-raamwerk vallen. Zo is Riksrevisionen, de nationale rekenkamer van Zweden, wettelijk
verplicht om oordelen te geven over de vraag of op managementniveau de juiste wetgeving is nageleefd
en om verslag uit te brengen over prestatieverklaringen die deel uitmaken van de afzonderlijke door de
overheden in Zweden gepubliceerde jaarverslagen. Om een oplossing te vinden voor vereisten die buiten
het INTOSAI-raamwerk vallen, heeft de Zweedse nationale rekenkamer haar eigen controlestandaard.
Deze standaard stelt haar in staat om transparant te zijn over het uitgevoerde onderzoekswerk.
Vergelijkbare situaties kunnen soms aan de orde zijn bij andere nationale rekenkamers, die bijvoorbeeld
als specifieke vereiste hebben om verslag uit te brengen over kwesties rond fraude en corruptie.
Gebruik van controlestandaarden ‘gebaseerd op’ internationaal aanvaarde standaarden
Een mogelijkheid waarvan de Algemene Rekenkamer gebruik zou kunnen maken is om in plaats van te
proberen de ISSAI’s als een ondeelbaar pakket van standaarden over te nemen, de ISSAI’s te gebruiken als
basis voor haar eigen controlestandaarden. De nationale rekenkamer van Canada gebruikt voor haar
financial audit Canadian Auditing Standards (CAS), die door de Canadese Auditing and Assurance
Standards Board zijn opgesteld. Hoewel deze CAS grotendeels op internationale controlestandaarden zijn
gebaseerd, zijn er enkele verschillen, die in de CAS worden gemarkeerd met een ‘C’ vóór de
desbetreffende paragraaf.

Aanbeveling
Stel controlestandaarden op voor elk van de wettelijke toetsingsnormen aangaande betrouwbaarheid,
ordelijkheid, rechtmatigheid, presentatie en niet-strijdigheid van de financiële en niet-financiële
informatie, en voer deze standaarden in. De toepassing van helder gedefinieerde controlestandaarden
biedt zowel de auditor als gebruikers van de financial audit-rapportages meer transparantie over wat de
auditor heeft gedaan om zijn conclusies te trekken.

Onafhankelijkheid en kwaliteit van de uitgevoerde financial audits
Auditdienst Rijk en wettelijke vereisten voor het gebruik van zijn
werkzaamheden
46. De Auditdienst Rijk (ADR) heeft tot taak dezelfde informatie in de departementale
jaarverslagen en in het financieel jaarverslag van het Rijk te controleren als die de
Algemene Rekenkamer uit hoofde van de Comptabiliteitswet 2016 moet controleren.
Hoewel beide controles dezelfde reikwijdte hebben, verschilt het doel dat ze dienen
aanzienlijk. Met het werk dat de interne auditfunctie binnen elk departement

31(60)

PEER REVIEW RAPPORT

verricht, wordt zekerheid aan de desbetreffende ministers verschaft dat de door hen
opgestelde jaarverslagen aan alle wettelijke voorschriften voldoen. Met het werk dat
de Algemene Rekenkamer verricht, wordt echter een extern en onafhankelijk oordeel
aan het parlement verstrekt, op grond waarvan aan de ministers decharge kan
worden verleend. Er bestaat in Nederland dus een duidelijk onderscheid tussen de
functies van de interne en de externe auditor.
47. De Algemene Rekenkamer mag op grond van de Comptabiliteitswet 2016, met
behoud van haar bevoegdheden om eigen onderzoek te verrichten, gebruikmaken van
de controlebevindingen van anderen. Het steunen op de interne auditfunctie van de
rijksoverheid is voor de Algemene Rekenkamer dus als zodanig geen verplichting,
maar veeleer een mogelijkheid. Wij hebben geconstateerd dat de Algemene
Rekenkamer, om redenen die wij eerder in het rapport hebben toegelicht (zie
paragraaf 32), het nuttig vindt om zoveel mogelijk gebruik te maken van de
werkzaamheden van de interne auditfunctie. Ze erkent dat ze met het oog op
naleving van de ISSAI’s zorgvuldig moet afwegen hoe ver ze daarin gaat.
48. De situatie met twee certificerende instanties wordt niet specifiek behandeld in de
ISSAI’s. Om de in paragraaf 32 vermelde redenen en omwille van efficiency heeft de
Algemene Rekenkamer bij haar toepassing van de ISSAI’s inzake het gebruik van de
werkzaamheden van de interne auditor van de rijksoverheid gekozen voor een aanpak
waarin volgens haar rekening wordt gehouden met het feit dat de ADR certificeert
(accountantsverklaringen afgeeft) overeenkomstig de Nederlandse
controlemaatstaven voor accountants. Het peer review-team beaamt dat de
Nederlandse situatie niet in de ISSAI’s wordt behandeld, maar interpreteert de ISSAIstandaarden anders dan de Algemene Rekenkamer. Iedere interne functie die
controlewerkzaamheden en -taken uitvoert, moet worden beschouwd als interne
auditfunctie. In onze interpretatie van de ISSAI’s voor het gebruik van de
werkzaamheden van de interne auditor zijn de ISSAI-vereisten hoe dan ook van
toepassing, ongeacht de vraag of certificering van de financiële informatie één van die
werkzaamheden is. De externe controletaak van de Algemene Rekenkamer omvat in
onze visie een onafhankelijke risicoanalyse en een planning van de benodigde
werkzaamheden om de gesignaleerde risico’s aan te pakken. Wanneer deze risico’s
onafhankelijk zijn beoordeeld, kan de Algemene Rekenkamer gebruikmaken van het
werk van anderen indien dat werk relevant is voor de aanpak van die risico’s.

32(60)

PEER REVIEW RAPPORT

Bovenmatige steun op werkzaamheden van de ADR voor significante
risico’s
49. De Algemene Rekenkamer maakt uitgebreid gebruik van de werkzaamheden van de
ADR. Elk jaar beoordeelt ze eerst zorgvuldig de onafhankelijkheid en deskundigheid
van de ADR. Vervolgens bestaat een groot deel van haar werkzaamheden in de
financial audit uit het reviewen van de risicoanalyse en planning van de ADR en het
opnieuw uitvoeren van door de ADR uitgevoerde controlewerkzaamheden
(‘reperformances’). Als de Algemene Rekenkamer vaststelt dat het interne
kwaliteitsbeheersingssysteem van de ADR naar behoren functioneert en de kans op
fouten in het desbetreffende deel van de interne audit minimaal is, concludeert zij dat
ze de review, dat wil zeggen het opnieuw uitvoeren van de controlewerkzaamheden
van de ADR, aanzienlijk kan beperken. De Algemene Rekenkamer overlegt
structureel met de ADR over de operationele en vaktechnische aspecten van het
controlewerk en de resultaten daarvan.
50. Op grond van de ISSAI’s is een controleur die gebruik wil maken van een interne
auditfunctie gehouden de verantwoordelijkheden, taken, deskundigheid en
controleprocedures van de interne auditfunctie te beoordelen. Wij hebben
geconstateerd dat de Algemene Rekenkamer de ADR inderdaad op deze aspecten
beoordeelt. Wij hebben echter daarnaast bevindingen waaruit naar voren komt dat
de manier waarop Algemene Rekenkamer gebruikmaakt van de werkzaamheden van
een interne auditor niet volledig voldoet aan de voorschriften van de ISSAI’s. Deze
bevindingen (hieronder in paragraaf 51 tot en met 54 uiteengezet) zijn volgens de
Algemene Rekenkamer het logische gevolg van haar interpretatie van de ISSAI’s
binnen het Nederlandse controlebestel. Zoals in dit rapport is aangegeven (paragraaf
48), delen de reviewers deze interpretatie niet.
51. Nationale rekenkamers zijn op grond van de ISSAI’s verplicht een risicoanalyse uit te
voeren om het risico op afwijkingen van materieel belang op zowel totaalniveau als op
artikelniveau te inventariseren en te beoordelen. Zo richt de risicoanalyse zich onder
meer op het verkrijgen van inzicht in de omgeving, de activiteiten, het financieel
beheer en het interne kwaliteitsbeheersingssysteem van de te controleren organisatie.
Uit de door ons beoordeelde steekproef van rapporten bleek dat de Algemene
Rekenkamer bij het plannen van de desbetreffende onderzoeken niet in alle gevallen
onafhankelijk inzicht had verkregen in de risico’s op het niveau van individuele
begrotingsartikelen en in de maatregelen die het ministerie had genomen

33(60)

PEER REVIEW RAPPORT

om de gesignaleerde risico’s te beperken. Dit werk was grotendeels gebaseerd op de
werkzaamheden en dossiers van de ADR.
52. Iets vergelijkbaars geldt voor het verzamelen van controle-informatie. Een review van
het controledossier van de ADR, het opnieuw uitvoeren van bepaalde toetsen en het
beoordelen van de volledigheid daarvan is wellicht niet te beschouwen als voldoende
om de onafhankelijkheid van de conclusies aan te tonen. Voor significante risico’s zijn
meer eigen werkzaamheden op zijn plaats – en op grond van de ISSAI’s ook vereist.
Het controlewerk van de Algemene Rekenkamer bestaat grotendeels uit het opnieuw
uitvoeren van controleprocedures die primair zijn gericht op significante risico’s, maar
wij hebben gezien dat ook op andere risiconiveaus werkzaamheden opnieuw worden
uitgevoerd.
53. Wij hebben daarnaast geconstateerd dat er afspraken bestaan over de manier waarop
kwesties kunnen worden opgeschaald, bijvoorbeeld wanneer de Algemene
Rekenkamer van mening is dat de ADR onvoldoende controlewerk heeft verricht. De
aanpak is in dergelijke gevallen om de ADR te vragen uitgebreidere werkzaamheden
uit te voeren. Wij zouden verwachten dat de Algemene Rekenkamer eigen
controlewerkzaamheden zou ontwikkelen en uitvoeren om de voor haar
onafhankelijk oordeel benodigde informatie te verkrijgen.
54. Er bestaat binnen de Algemene Rekenkamer discussie over het aantal uit te voeren
reperformances van controlewerkzaamheden. Belangrijker dan de vraag hoeveel
reperformances er moeten worden uitgevoerd, is ervoor te zorgen dat ze deugdelijk
worden uitgevoerd en dat ze de gesignaleerde risico’s aanpakken. Dit is met name van
belang bij significante risico’s. Wij hebben voorbeelden gezien van reperformances die
volledig op basis van de door de interne auditor genomen steekproef waren
uitgevoerd. De Algemene Rekenkamer had, voordat zij overwoog de werkzaamheden
opnieuw uit te voeren en in welke mate, de oorspronkelijke bron niet geanalyseerd
om te bepalen of de selectie van de interne auditor passend was. Bovendien had zij de
oorspronkelijke bronbestanden niet opgevraagd om de geselecteerde toetsen opnieuw
te kunnen uitvoeren. De gevolgde procedures waren overigens wel conform het
interne beleid en standpunt van de Algemene Rekenkamer ten aanzien van het
gebruik van de interne auditfunctie.

34(60)

PEER REVIEW RAPPORT

Aanbeveling
Zorg voor een onafhankelijke planning en uitvoering van financial audits en heroverweeg het zwaar
steunen op de werkzaamheden van de interne auditor bij het verkrijgen van het vereiste zekerheidsniveau
voor elk onderdeel van de oordelen. Dit is met name van belang waar het gaat om significante risico’s.

Presentatie van rapporten
55. De rapportages over het jaarlijkse verantwoordingsonderzoek vormen voor de
Algemene Rekenkamer het medium voor de presentatie van de resultaten van haar
financial audits aan het parlement, samen met haar bevindingen over
rechtmatigheidskwesties en andere zaken.

Vermelding van controlestandaarden
56. De Comptabiliteitswet 2016 bevat voorschriften voor de opbouw en inhoud van de
financiële informatie in de jaarverslagen. Daarnaast stelt de minister van Financiën
regels op voor het melden van fouten en onzekerheden in de financiële informatie in
de jaarverslagen, dat wil zeggen de standaard voor ‘rechtmatigheid’. De Algemene
Rekenkamer specificeert in haar rapporten echter niet welke controlestandaarden zij
bij de verschillende onderzoeksonderwerpen heeft toegepast. Onder de kop ‘Over dit
onderzoek’ wordt in een bijlage bij elk van de verantwoordingsonderzoeken beperkt
informatie over de controlestandaarden gegeven, maar deze informatie is niet
volledig. Het zou een best practice zijn om in elk rapport een sectie op te nemen waarin
duidelijk wordt vermeld op welk van toepassing zijnd stelsel inzake financiële
verslaggeving de conclusie van de controleur is gebaseerd.
57. Ook wordt in de rapporten niet uitvoerig ingegaan op de controlestandaarden die in
het onderzoekswerk zijn toegepast. Dit betekent dat gebruikers geen duidelijk en
transparant beeld wordt gegeven van de taken en werkzaamheden van de controleur,
om hen volledig te kunnen laten begrijpen waarop de oordelen zijn gebaseerd en hoe
de audit is uitgevoerd. Het is gebruikelijk om als controleur rekenschap af te leggen
door duidelijk te vermelden welke standaarden aan de verschillende conclusies ten
grondslag liggen, en om de verantwoordelijkheden op grond van die standaarden
kort te beschrijven.

Kansen om rapporten te stroomlijnen
58. De Algemene Rekenkamer heeft ervoor gekozen om oordelen over elk van de
onderzoeksnormen in afzonderlijke secties in haar verantwoordingsonderzoek op te
nemen. Bovendien geeft ze zowel oordelen op totaalniveau als op artikelniveau.

35(60)

PEER REVIEW RAPPORT

Wij merken op dat de manier waarop de Algemene Rekenkamer haar vele oordelen
presenteert, het effect heeft dat de tekst zich voortdurend lijkt te herhalen. Deze
presentatie verschilt van wat internationaal gangbaar is, te weten: een zelfstandig
leesbaar, onafhankelijk controleverslag met alle oordelen en de grondslagen daarvoor
in één beknopt document.
59. Tot slot hebben we geconstateerd dat in de verantwoordingsonderzoeken
achtergrondinformatie over de departementen en hun behaalde resultaten wordt
verstrekt die niet relevant is voor de audit en de bevindingen die daaruit
voortvloeien. Wij zijn van mening dat deze informatie daarom achterwege zou
kunnen blijven.
Aanbeveling
Heroverweeg de vorm en inhoud van de oordelen in financial audits, opdat ze in de toekomst helder, kort
en bondig zijn en voldoen aan de geldende controlestandaarden. Denk ook na over de manier waarop de
verschillende toegepaste controlestandaarden in de verantwoordingsonderzoeken kunnen worden
vermeld. De verantwoordingsrapporten kunnen zowel inhoudelijk als qua opbouw beter worden
gestroomlijnd door uitsluitend te rapporteren over de uitkomsten van het verrichte onderzoek,
De verschillende verantwoordelijkheden van de controleur en de gecontroleerde worden daarmee beter
tot uitdrukking gebracht.

36(60)

PEER REVIEW RAPPORT

Observaties over kwaliteit van het
doelmatigheids- en doeltreffendheidsonderzoek
60. In dit deel van het rapport presenteren wij onze bevindingen over de kwaliteit van
het doelmatigheids- en doeltreffendheidsonderzoek van de Algemene Rekenkamer.
De observaties betreffen haar algemene onderzoeksaanpak in het doelmatigheids- en
doeltreffendheidsonderzoek en de presentatie van rapporten.

Onderzoeksaanpak Algemene Rekenkamer in het doelmatigheidsen doeltreffendheidsonderzoek
De Algemene Rekenkamer heeft capaciteit en een operationeel kader
voor hoogwaardig doelmatigheids- en doeltreffendheidsonderzoek
61. Het doelmatigheids- en doeltreffendheidsonderzoek van de Algemene Rekenkamer
is erop gericht inzichtelijk te maken of de rijksoverheid en de daarmee verbonden
organen zuinig, doelmatig en doeltreffend met publiek geld omgaan. De Algemene
Rekenkamer verricht op uiteenlopende beleidsterreinen zowel omvangrijke als
kleinere doelmatigheids- en doeltreffendheidsonderzoeken. Bij de kleinere
onderzoeken gaat het onder meer om beleidscasussen als onderdeel van het
verantwoordingsonderzoek, waarvan de resultaten worden gepubliceerd in een
rapport met oordelen. De Algemene Rekenkamer publiceert daarnaast rapporten
over beleidsonderwerpen waarin geen conclusies worden getrokken of
aanbevelingen worden gedaan. Ook bij die onderzoeken kan het zowel gaan om
veelomvattende werkzaamheden die zich uitstrekken over verscheidene
beleidsterreinen als om kleinschalige, kortdurende focusonderzoeken gericht op
relevante actuele onderwerpen. De resultaten van deze gevarieerde portefeuille
worden gepresenteerd in rapporten, brieven aan de Tweede Kamer, factsheets en/of
incidenteel op themawebsites.
62. De Algemene Rekenkamer heeft binnen haar strategisch programma voor innovatief
onderzoek, dat de naam DOEN draagt (Doorontwikkelen, Ontcijferen,
Experimenteren en Netwerken), data-analysecapaciteit opgebouwd die kan worden
ingezet voor zowel haar doelmatigheids- en doeltreffendheidsonderzoeken als voor
haar verantwoordingsonderzoeken. Ze heeft daartoe personeel geworven met een
achtergrond in data-analyse. Dit stelt de Algemene Rekenkamer in staat de gegevens

37(60)

PEER REVIEW RAPPORT

waar zij toegang toe heeft te benutten, en gegevens aan elkaar te koppelen met
behulp van de vooruitgang die recent is geboekt op het gebied van kwantitatieve
technieken. De Algemene Rekenkamer past in haar doelmatigheids- en
doeltreffendheidsonderzoek ook combinaties van technieken toe, zogeheten mixed
methods. Daarnaast beschikt ze over een design audit studio: een bundeling van
deskundigheid in het visualiseren van onderzoeksresultaten om deze voor het
publiek toegankelijker te maken.
63. Alle doelmatigheids- en doeltreffendheidsonderzoeken verlopen volgens de vaste
stappen in de onderzoekscirkel van de Algemene Rekenkamer, die bestaat uit een
strategische fase, gevolgd door een aantal stadia die betrekking hebben op
respectievelijk het projectvoorstel, de uitvoering, de rapportage, de publicatie en de
projectevaluatie. In de procesgang zijn verschillende maatregelen voor
kwaliteitsbeheersing opgenomen, waarmee de kwaliteit van de onderzoeken wordt
gewaarborgd. Zie ook het hoofdstuk over kwaliteitsbeheersing in dit rapport.
64. Het reviewteam is onder de indruk van de capaciteit en het operationeel kader voor
hoogwaardig doelmatigheids- en doeltreffendheidsonderzoek dat de Algemene
Rekenkamer in de afgelopen jaren heeft opgebouwd. Zij is hierin geslaagd ondanks
het niet onaanzienlijke personeelsverloop en andere uitdagingen waarvoor zij zich
gedurende die periode zag geplaatst. De Algemene Rekenkamer streeft ernaar haar
doelmatigheids- en doeltreffendheidsonderzoek de komende jaren verder uit te
bouwen. Ze wil met name meer onderzoeken verrichten naar de zuinigheid,
doelmatigheid en doeltreffendheid van de overheid. Het reviewteam is gevraagd om
mee te denken over de mogelijkheden die de Algemene Rekenkamer heeft voor de
doorontwikkeling van dergelijk onderzoek en om advies te geven over de daarbij toe
te passen controlestandaarden en onderzoeksnormen.

Onderzoeken in de steekproef waren grotendeels beschrijvend
65. De in onze steekproef beoordeelde onderzoeken waren nauwkeurig afgestemd op
de strategie van de Algemene Rekenkamer: nagaan hoe publiek geld binnen
overheidsprogramma’s c.q. rijksbreed wordt besteed. De Algemene Rekenkamer
heeft in een aantal onderzoeken in de steekproef laten zien hoe grafisch materiaal op
informatieve wijze kan worden toegepast. Onze steekproef bevatte ook voorbeelden
van kwantitatieve data-analyse en minder gangbare methoden om
overheidsmaatregelen op doeltreffendheid te toetsen.

38(60)

PEER REVIEW RAPPORT

66. Twee van de zes onderzoeken uit onze steekproef betroffen voorbeelden van
rapporten zonder oordelen. De Algemene Rekenkamer had er in deze gevallen
bewust voor gekozen om geen conclusies te trekken en/of aanbevelingen te doen.
De rapporten waren, met andere woorden, beschrijvend in plaats van toetsend van
aard, gaven geen oordeel over de doeltreffendheid of doelmatigheid van het door de
overheid uitgevoerde beleid en deden geen aanbevelingen voor verbetering.
67. De Algemene Rekenkamer vindt dat beschrijvende rapporten toegevoegde waarde
hebben en de invloed van haar totale portfolio vergroten. Het reviewteam deelt die
mening. Dit soort producten kan nuttig zijn om parlement en publiek voor te
bereiden op de meer traditionele onderzoeken van een nationale rekenkamer.
Wij constateerden in onze steekproef echter dat het verschil tussen rapporten met
en rapporten zonder oordelen of conclusies niet goed zichtbaar was. In de door ons
beoordeelde rapporten werd niet vermeld wat het doel van het onderzoek was: of het
project een rapportage betrof gericht op het afgeven van een
betrouwbaarheidsverklaring (dat wil zeggen een doelmatigheids- en
doeltreffendheidsonderzoek volgens INTOSAI-standaarden), dan wel een ander
product van de Algemene Rekenkamer met een ander doel. Het gevolg hiervan is dat
het voor lezers onnodig ingewikkeld is om te zien waar het rapport over gaat en welk
oordeel de Algemene Rekenkamer daarover heeft, en om te bepalen of en in hoeverre
zij hun eigen conclusies moeten trekken uit de schets die de Algemene Rekenkamer
van het onderwerp geeft.
68. Vier van de zes onderzoeksrapporten uit onze steekproef waren weliswaar voorzien
van conclusies en aanbevelingen, maar waren toch grotendeels beschrijvend van aard.
Wij denken dat dit komt doordat de onderzoeksvragen die de Algemene
Rekenkamer wilde beantwoorden op een enkele uitzondering na met ‘hoe’ of ‘wat’
waren geformuleerd, zodat de onderzoeken een beschrijvend in plaats van een
toetsend uitgangspunt hadden. De manier waarop de Algemene Rekenkamer op dit
moment haar onderzoeksvragen formuleert, maakt het bovendien lastiger om te
komen tot de scherpere onderzoeksnormen die nodig zijn om oordelen te kunnen
geven.
69. Soms is het nuttig om in een onderzoek ook beschrijvende vragen te stellen. Onze
ervaring is echter dat wanneer een onderzoek zich richt op zuinigheid,
doelmatigheid en doeltreffendheid, het doorgaans de voorkeur verdient om de
onderzoeksvragen zo te formuleren dat ze alleen met ‘ja’ of ‘nee’ kunnen worden
beantwoord. Dergelijke gesloten vragen sturen het werk van de auditor naar een

39(60)

PEER REVIEW RAPPORT

evaluatief antwoord en een oordeel. Dit dwingt de auditor om deugdelijke
onderzoeksnormen te ontwikkelen en analyses te maken aan de hand waarvan kan
worden bepaald waarom al dan niet aan de normen is voldaan.
70. De belangrijkste doelstelling in het merendeel van de door ons beoordeelde
onderzoeken was: inzicht bieden in en transparantie creëren over de besteding van
publieke middelen. Uit onze gesprekken met externe belanghebbenden is naar voren
gekomen dat het risico bestaat dat onderzoeken gericht op het verschaffen van
inzicht weinig toegevoegde waarde hebben voor het parlement of de gecontroleerden
als het gaat om verbetering van hun functioneren.
Voorbeeld van een van de reviewende collega-rekenkamers: hoe de Britse National Audit Office (NAO)
omgaat met beschrijvende rapporten waarin feiten worden vastgesteld
Ervaringen van de NAO, de nationale rekenkamer van het Verenigd Koninkrijk, wijzen erop dat
beschrijvende rapporten die duidelijk verschillen van reguliere toetsende onderzoeksrapporten, de
belangstelling van het parlement wekken en veel impact kunnen hebben. De NAO heeft een specifiek
concept voor zogenoemde investigations: actuele, feitelijke en gerichte rapporten, zonder conclusies of
aanbevelingen. De focusonderzoeken van de Algemene Rekenkamer lijken op deze investigations van de
NAO en kunnen een waardevol middel zijn wanneer de Algemene Rekenkamer ernaar streeft binnen korte
tijd feiten vast te stellen en daarvan verslag te doen (bijvoorbeeld met het oog op transparantie en
verantwoording).

Aanbeveling
Kies in alle gevallen waarin de Algemene Rekenkamer werkt aan een rapport met oordelen voor het
opnemen van toetsende onderzoeksvragen. Toetsende in plaats van beschrijvende onderzoeksvragen
kunnen de Algemene Rekenkamer helpen bij het ontwikkelen van scherpere onderzoeksnormen en bij het
geven van een oordeel gebaseerd op de beginselen van zuinigheid, doelmatigheid en doeltreffendheid.

Ontwikkelen van scherpe onderzoeksnormen is een uitdaging
71. In de onderzoeken die wij in onze steekproef hebben beoordeeld werden over het
algemeen relevante onderwerpen onder de loep genomen. Ook werd gebruikgemaakt
gebruik van adequate methoden. Er waren doelmatigheids- en
doeltreffendheidsonderzoeken bij met duidelijke onderzoeksnormen op basis
waarvan oordelen over de doeltreffendheid werden gegeven, maar in andere
onderzoeken waren de normen vager. In een van de rapporten met conclusies en
aanbevelingen werden in het geheel geen onderzoeksnormen vermeld, terwijl dat in
een van de rapporten zonder conclusies weer wél gebeurde. Dit gebrek aan
duidelijkheid en consistentie geeft de lezer niet het vertrouwen dat de Algemene
Rekenkamer in deze onderzoeken een strakke en gerichte aanpak heeft gevolgd.

40(60)

PEER REVIEW RAPPORT

72. De Algemene Rekenkamer heeft aangegeven dat zij het lastig vindt om
onderzoeksnormen te ontwikkelen voor onderzoeken waarin het de bedoeling is
oordelen te geven over de vraag of met een activiteit het beoogde doel is bereikt
(doeltreffendheid) respectievelijk over de vraag naar wat de verhouding is tussen de
ingezette middelen en de geleverde prestaties (doelmatigheid). In scherpe
onderzoeksnormen kan van alles tot uitdrukking komen, variërend van wat zou moeten
op grond van wet- en regelgeving of doelstellingen, wat wordt verwacht op grond van
deugdelijke principes en beproefde werkwijzen, tot wat zou kunnen onder gunstigere
omstandigheden. Goede normen weerspiegelen de gerechtvaardigde verwachtingen
van burgers over de gecontroleerde en worden bij voorkeur door alle
belanghebbenden gedragen. Voor dergelijke onderzoeksnormen kan een nationale
rekenkamer ook gebruikmaken van haar eigen onderzoekservaring in het verleden
met vergelijkbare kwesties, waar dan ook bij de overheid.
73. De normatiek die in een onderzoek wordt toegepast vormt één van de aspecten
waarin een audit van een rekenkamer zich onderscheidt van evaluaties zoals die door
andere onderzoeksinstellingen worden uitgevoerd. Wij erkennen dat het niet
gemakkelijk is om duidelijke normen te ontwikkelen. Dat vereist training en ervaring
en het is iets dat ook tijdens het onderzoeksproces voortdurend aandacht nodig
heeft. De voorbeelden hieronder laten zien hoe bij de reviewende collegarekenkamers de ontwikkeling van normen voor het doelmatigheids- en
doeltreffendheidsonderzoek wordt aangepakt en hoe er wordt gewerkt aan
aanscherping van de onderzoeksdiscipline.
Voorbeelden van de reviewende collega-rekenkamers:
Hoe de Britse National Audit Office (NAO) normen voor doelmatigheids- en doeltreffendheidsonderzoek
ontleent aan generieke risicogebieden waar publiek geld op het spel staat
Elke nationale rekenkamer kan putten uit de verzameling onderzoeken die zij in het verleden heeft
uitgevoerd om daaruit lessen te leren en good practices te destilleren. Daarmee kan zij de overheid inzicht
bieden in en normen ontwikkelen voor nader onderzoek op generieke risicogebieden, een natuurlijk
domein voor nationale rekenkamers. Zo heeft de NAO, de nationale rekenkamer van het Verenigd
Koninkrijk, raamwerken, inzichten en best practices gepubliceerd op het gebied van contractbeheer en het
beheer van grootschalige projecten. Hoewel het hier niet per se om audits gaat, maken ze duidelijk wat de
nationale rekenkamer en het parlement van de overheid verwachten, helpen ze de overheid te leren van
ervaringen uit het verleden en ‘etaleren’ ze het werk van de nationale rekenkamer, bijvoorbeeld tijdens
congressen en workshops.
Ontwikkeling van normen voor doelmatigheids- en doeltreffendheidsonderzoek bij de Canadese Office of
the Auditor General of Canada (OAG)
In Canada zijn onderzoeksteams van de OAG, de nationale rekenkamer van Canada, op grond van
standaarden verplicht onderzoeksnormen te ontwikkelen die relevant, volledig, betrouwbaar, neutraal en

41(60)

PEER REVIEW RAPPORT

begrijpelijk zijn. De onderzoeksnormen kunnen op diverse manieren worden geselecteerd of ontwikkeld.
Vaak zijn ze gebaseerd op wet- en regelgeving omdat ze betrekking hebben op de onderzochte
overheidsinstantie of de overheid als geheel. Ze worden dikwijls ontleend aan de centrale beleidsregels,
richtlijnen en programma’s van agentschappen of overheidsorganisaties. Normen kunnen ook worden
gebaseerd op internationale initiatieven waaraan Canada zich heeft verbonden, zoals de duurzame
ontwikkelingsdoelstellingen van de Verenigde Naties. Tijdens de selectie dan wel ontwikkeling van
geschikte normen voor een onderzoek documenteren de onderzoeksteams belangrijke vaktechnische
beoordelingen van de geschiktheid van onderzoeksnormen, waaronder het advies van de aangewezen
interne deskundige. Ook wordt een beknopte onderbouwing opgesteld van de reden waarom de normen
geschikt worden geacht voor het onderzoek.
Door de Zweedse Riksrevisionen toegepaste methoden om de onderzoeksdiscipline te verbeteren
In 2016 stond de Zweedse nationale rekenkamer, net als de Algemene Rekenkamer in 2017, voor een
reorganisatie die een uitdaging vormde. Er werden medewerkers geworven met vaardigheden op het
gebied van geavanceerde onderzoeksmethoden en met expertise op diverse beleidsterreinen.
Kerndoelstellingen waren het vermogen om meer te kunnen zeggen over de werkelijke effecten van het
overheidsbeleid en het verhogen van de productiviteit. Er werd echter te weinig aandacht geschonken aan
traditionele auditvereisten. Dit had tot gevolg dat een aantal van de publicaties uiteindelijk eerder het
karakter hadden van een beschrijvende enquête of een hoogwaardige evaluatie met beperkte reikwijdte,
dan van een traditionele audit naar doeltreffendheid en doelmatigheid. In maart 2017 traden nieuwe
Auditors General aan, met een andere benadering. De Zweedse nationale rekenkamer heeft sindsdien veel
werk verzet om de onderzoeksdiscipline te verbeteren en daarbij optimaal gebruikgemaakt van nieuwe
vaardigheden en talenten onder haar medewerkers. Enkele voorbeelden daarvan zijn:

•

Herziening en doorontwikkeling van het onderzoeksproces voor doelmatigheids- en
doeltreffendheidsonderzoeken en een toenemend gebruik van duidelijke en overtuigende taal
worden ingezet als twee belangrijke middelen om het doelmatigheids- en
doeltreffendheidsonderzoek te verbeteren. Aangezien onderzoeksdirecteuren verantwoordelijk
zijn voor de kwaliteit van audits en de onderzoeksteams begeleiden bij hun werkzaamheden,
draagt dit organisatiebreed bij aan een consistentere kijk op het doelmatigheids- en
doeltreffendheidsonderzoek.

•

Elk onderzoeksteam moet bestaan uit medewerkers met uitstekende vaardigheden op het gebied
van doelmatigheids- en doeltreffendheidsonderzoek en met kennis van onderzoeksterreinen
en -methoden. Daarnaast kan tijdelijk een beroep worden gedaan op collega’s en externe
deskundigen op de betreffende onderzoeksterreinen en met de betreffende
onderzoeksmethoden. Het versterken van het doelmatigheids- en doeltreffendheidsonderzoek is
voor de Zweedse nationale rekenkamer een langetermijnmissie.

•

Alle auditwerkzaamheden worden op twee momenten tijdens een audit nauwkeurig bekeken door
kwaliteitsbeoordelaars en daarnaast besproken tijdens interne bijeenkomsten waarbij alle collega’s
kunnen aanschuiven. Bij deze gelegenheden wordt het onderzoeksontwerp, met de bijbehorende
vragen, normen en methoden, tegen het licht gehouden. Alle onderzoekers die zich met het
doelmatigheids- en doeltreffendheidsonderzoek bezighouden, maken deel uit van de pool van
beschikbare kwaliteitsbeoordelaars; dit bevordert dat wordt geleerd wat nodig is om tot een
hoogwaardig onderzoeksontwerp te komen.

•

Elk onderzoeksteam wordt ook begeleid door een aangewezen interne jurist, die het team helpt bij
het interpreteren van juridische kwesties en het doel van de wetgever met overheidsbeleid; dit
komt de ontwikkeling van onderzoeksnormen ten goede.

42(60)

PEER REVIEW RAPPORT

Aanbeveling
Zorg dat er een robuuste aanpak komt voor het ontwikkelen van normen voor onderzoeken waarin het de
bedoeling is om oordelen te geven. Onderzoeksnormen zijn doorgaans gebaseerd op wet- en regelgeving,
best practices en op andere indicatoren die gerechtvaardigde verwachtingen van burgers over de
gecontroleerde weerspiegelen. Voor onderzoeksnormen kunnen nationale rekenkamers daarnaast
gebruikmaken van de inzichten die zij ontlenen aan hun eigen controle van de rijksoverheid in het
verleden. Wij denken dat de Algemene Rekenkamer haar jarenlange ervaring nog beter zou kunnen
benutten dan zij nu doet, door een bibliotheek van bruikbare normen op te zetten. Hiermee kan de
Algemene Rekenkamer haar onderscheidende en gezaghebbende stem op den duur verder versterken.

Presentatie van rapporten
In rapporten van de Algemene Rekenkamer staan kernboodschappen
centraal, met effectief gebruik van grafisch materiaal
74. De Algemene Rekenkamer heeft er bewust voor gekozen haar impact te
optimaliseren door zich in publicaties te richten op kernboodschappen.
De kernboodschap van een rapport wordt in onderling overleg bepaald door het
onderzoeksteam en het lid-rapporteur, dat wil zeggen het collegelid dat
verantwoordelijk is voor het rapport. Deze weloverwogen aanpak betekent dat
mogelijk niet alle onderzoeksvragen en -bevindingen per definitie in het eindrapport
worden opgenomen.
75. Internationale standaarden schrijven onder meer voor dat een onderzoeksrapport
veelomvattend (comprehensive) moet zijn. Daarmee wordt bedoeld dat een rapport alle
informatie en argumentatie moet bevatten die nodig is om aan de
onderzoeksdoelstelling te kunnen voldoen en de onderzoeksvragen te kunnen
beantwoorden. In dit opzicht vinden wij het belangrijk dat kernboodschappen
voortvloeien uit het vermelde doel van het rapport en antwoord geven op specifieke
onderzoeksvragen. Dit was niet in alle in onze steekproef beoordeelde rapporten het
geval.
76. In de rapporten uit onze steekproef was goed gebruikgemaakt van grafisch materiaal
om de kernboodschappen toe te lichten en over te brengen. Ze bevatten grafieken,
schema’s en tabellen ter ondersteuning van informatie en bevindingen. Daarmee
werden soms ook ingewikkelde kwesties op een behulpzame manier vereenvoudigd.
In een van de rapporten strekte de waarde van het grafisch materiaal verder dan een
toelichting op een onderzoeksrapport van de Algemene Rekenkamer.
De belanghebbenden zelf gebruikten het grafisch materiaal vervolgens om complexe

43(60)

PEER REVIEW RAPPORT

financiële processen aan elkaar uit te leggen. De toon van de kernboodschappen was
neutraal.
77. Door de beschrijvende aard van de rapporten uit onze steekproef was het voor ons
niet in alle gevallen duidelijk welke tekstonderdelen uit de rapporten dienden als
achtergrondinformatie over de gecontroleerde en welke tekstonderdelen observaties
uit het onderzoek weergaven. Het was dus niet goed mogelijk om aan de hand van
een duidelijke uiteenzetting over de verrichte werkzaamheden, de gedane
observaties, de verworven inzichten en de daaruit resulterende conclusies, te bepalen
op welke manier de Algemene Rekenkamer de rapporten wilde inzetten om waarde
toe te voegen en invloed te hebben.

Beperkte informatie over productrandvoorwaarden
78. Omdat onderzoeksrapporten zelfstandig leesbare producten behoren te zijn, moeten
ze lezers voorzien van voldoende informatie om te begrijpen binnen welke
randvoorwaarden het onderzoek is uitgevoerd. Dit draagt bij aan de
overtuigingskracht van het rapport, want lezers worden daarmee gestuurd in hun
verwachtingen over hoe zij de resultaten moeten duiden. Op die manier begrijpen alle
lezers de bevindingen in het rapport op dezelfde wijze.
79. De door ons beoordeelde rapporten bevatten geen volledige beschrijving van hoe het
onderzoek was uitgevoerd. Hoewel de rapporten bijlagen hadden met enige
informatie over de onderzoeksaanpak en – voor zover aanwezig – onderzoeksvragen
en onderzoeksnormen, waren de normen niet in alle gevallen voorzien van een
bronvermelding waaruit lezers konden opmaken hoe die tot stand waren gekomen.
Bovendien vermeldden niet alle rapporten op welke periode het onderzoekswerk
betrekking had.
Voorbeeld van een van de reviewende collega-rekenkamers: hoe de Office of the Auditor General of
Canada (OAG) rapporten opstelt
•
Elk onderzoeksrapport van de OAG, de nationale rekenkamer van Canada, wordt zorgvuldig
volgens een vastgesteld sjabloon opgesteld. Onderdeel van dit sjabloon is een kop ‘Over dit
onderzoek’ met alle inhoudelijke informatie op één plek, onder andere onderzoeksaanpak,
toegepaste standaarden, normen, tijdpad van het onderzoek en namen van de
onderzoeksteamleden.
•
Voor elk onderzoeksrapport wordt een interne of externe redacteur aangewezen.
•
Voor elk onderzoeksrapport wordt een document van één pagina met de belangrijkste
bevindingen gemaakt, waarbij een communicatiedeskundige helpt de kernboodschappen in
kaart te brengen en een vloeiende tekst te schrijven.

44(60)

PEER REVIEW RAPPORT

•

Elk rapport is zelfstandig leesbaar. Er wordt niet verwezen naar documenten buiten het
onderzoeksrapport, ongeacht of het daarbij gaat om de reactie van de onderzochte instantie, de
aanpak van het onderzoek waarover het rapport verslag doet of iets anders.

Aanbeveling
Maak onderscheid tussen oordelende rapporten (dat wil zeggen doelmatigheids- en
doeltreffendheidsonderzoeksrapporten met oordelen) en andere onderzoekspublicaties van de Algemene
Rekenkamer, zowel bij de start van de werkzaamheden als bij de presentatie van de resultaten. Aangezien
niet elk product hetzelfde doel dient, maakt dit het voor onderzoekers én gebruikers van de rapporten
duidelijker wat zij kunnen verwachten wanneer de Algemene Rekenkamer een onderzoeksproject opstart
en hoe de uitkomsten moeten worden geïnterpreteerd. Publicaties moeten zelfstandig leesbare
documenten zijn die de lezer genoeg informatie geven om te kunnen begrijpen binnen welke
randvoorwaarden en hoe het onderzoek is uitgevoerd.

45(60)

PEER REVIEW RAPPORT

Observaties over kwaliteitsbeheersing
80. Het integrale kwaliteitsbeheersingssysteem van de Algemene Rekenkamer bestaat
uit vier niveaus: de kwaliteit van medewerkers, de kwaliteitsbeheersing in
onderzoeksprojecten, kwaliteitsbeoordelingen van de onderzoeksprojecten en
kwaliteitsbewaking. Hoewel dit kwaliteitsbeheersingssysteem buiten de reikwijdte
van onze peer review lag, hebben wij enkele opmerkingen over de operationele
doeltreffendheid ervan. In dit deel van het rapport presenteren wij deze observaties
en gaan we kort in op enkele aspecten rond de kwaliteitsbewaking.

De Algemene Rekenkamer heeft een groot aantal processen om de
kwaliteit van haar werkzaamheden te borgen
81. De Algemene Rekenkamer hanteert een groot aantal procedures om de kwaliteit van
de werkzaamheden en gepubliceerde producten te borgen en ervoor te zorgen dat de
inhoud van deze producten juist en betrouwbaar is. Voorbeelden zijn: een
uitgebreide onderzoekscirkel waarin de processtappen voor de totstandkoming van
alle onderzoeken zijn vastgelegd, het beschikbaar stellen van handreikingen voor
medewerkers om ze te helpen bij het volgen van deze processtappen, het aanbieden
van opleidingstrajecten voor nieuwe en bestaande medewerkers, de onafhankelijke
beoordeling van de kwaliteit van alle externe producten en de inwinning van
commentaar van externe deskundigen.

Beoordelingen door externe deskundigen (onderdeel van de
kwaliteitsbewaking)
82. Nationale rekenkamers worden door de ISSAI’s aangemoedigd om als onderdeel van
hun activiteiten op het gebied van kwaliteitsbewaking de kwaliteit van hun
publicaties door externe deskundigen te laten beoordelen. De Algemene Rekenkamer
heeft dit verscheidene keren gedaan. In 2007 is het doelmatigheids- en
doeltreffendheidsonderzoek aan een internationale peer review onderworpen. En de
afgelopen vijf jaar heeft zij tweemaal een selectie van publicaties door externe
deskundigen laten beoordelen. Dergelijke beoordelingen vormen een waardevol
instrument. Ze bieden de Algemene Rekenkamer een ander perspectief en leveren
suggesties op voor alternatieve manieren om de opzet, uitvoering en relevantie van
haar werkzaamheden aan te pakken. Het kwaliteitsbewakingsteam van de Algemene
Rekenkamer heeft intern gerapporteerd over de rode draden in de externe

46(60)

PEER REVIEW RAPPORT

beoordelingen en deze met het managementteam en het college besproken. Alle
medewerkers kunnen deze rapporten desgewenst inzien.

Interne richtlijnen zijn vaak over diverse vindplaatsen verspreid
83. De onderzoekscirkel van de Algemene Rekenkamer omvat procedurele vereisten en
vakinhoudelijke ondersteuning voor elk van de fasen van het onderzoeksproces.
De onderzoekscirkel wordt op dit moment verder uitgebouwd.
84. Hoewel de onderzoekscirkel procedures en het merendeel van de vakinhoudelijke
ondersteuning omvat, gaven enkele van de kwaliteitsbeoordelaars die wij hebben
gesproken aan dat richtlijnen over diverse vindplaatsen waren verspreid en dat
handreikingen met essentiële vaktechnische basisrichtlijnen voor medewerkers niet
gemakkelijk te vinden waren. Zowel de handleiding voor de financial audit als die
voor het doelmatigheids- en doeltreffendheidsonderzoek zijn verouderd; beide
documenten worden op dit moment wel geactualiseerd. Het is juist nu, gelet op het
niet onaanzienlijke personeelsverloop als gevolg van de recente reorganisatie, van
groot belang dat medewerkers bekend zijn met de beschikbare richtlijnen en weten
waar alles wat ze nodig hebben te vinden is.
85. De werkinstructies voor de financial audit zijn lang en onpraktisch. Er bestaat
bovendien verwarring over welke richtlijnen of werkinstructies verplicht zijn en
welke niet. Belangrijke werkinstructies ontbreken, bijvoorbeeld ISSAI 1315 – Identifying
and Assessing the Risks of Material Misstatement.
Aanbeveling
Actualiseer en onderhoud de handleidingen voor de financial audits en het doelmatigheids- en
doeltreffendheidsonderzoek. Een actuele handleiding voor de financial audits moet een update bevatten
van de onderliggende werkinstructies en duidelijk maken welke werkinstructies verplicht zijn. Dit zorgt
voor actuele ondersteuning conform de laatste ontwikkelingen in de standaarden. Het zal ook bijdragen
aan een consistente toepassing van de handleidingen.

Kwaliteitsbeoordelingen in de financial audit
Aantal beoordelingen door het kwaliteitsbeoordelingsteam is
indrukwekkend
86. Wij hebben geconstateerd dat ieder jaar alle financial auditprojecten worden
beoordeeld, ook al is de beschikbare capaciteit aan kwaliteitsbeoordelaars beperkt.
De beoordelingen worden uitgevoerd door collega-onderzoekers die daarnaast ook

47(60)

PEER REVIEW RAPPORT

hun eigen onderzoekswerkzaamheden uitvoeren. De bevindingen worden
gecombineerd en in notities vastgelegd, die met het managementteam worden
gedeeld. De kwaliteitsbeoordelaars hebben kennis van zaken, zijn gemotiveerd om
kwaliteitscontroles op niveau te verrichten en zijn gekwalificeerd om ook zelf
financial audits te verrichten.

Verwachtingen van kwaliteitsbeoordelaars wijken soms af van de
praktijk
87. De kwaliteitsbeoordelaars doen hun werk op basis van hun interpretatie van de
ISSAI’s. De onderzoeksteams zijn voor de planning en uitvoering van hun audit
echter afhankelijk van interne richtlijnen, die soms gedateerd of lastig vindbaar zijn.
Doordat kwaliteitsbeoordelaars en projectleiders zodoende soms geen
gemeenschappelijk beeld hebben van de onderzoeksaanpak die had moeten worden
toegepast, komen de verwachtingen van de kwaliteitsbeoordelaars niet altijd overeen
met die van de praktijk.

Kwesties uit de kwaliteitsbeoordelingen krijgen geen doeltreffend
vervolg
88. Op controledossiers van financial audits wordt, met uitzondering van de
planningsfase, pas ná Verantwoordingsdag een kwaliteitsbeoordeling uitgevoerd of
afgerond. Wij hebben wel enkele gevallen gezien waarin de kwaliteitsbeoordeling
vóór Verantwoordingsdag in gang was gezet. Maar de gehele kwaliteitsbeoordeling
werd ook daar pas na Verantwoordingsdag volledig afgerond en conclusies over de
uitvoering en rapportage van de audit werden pas na die dag getrokken. Bovendien
werd geen tijd uitgetrokken voor een gesprek tussen beoordelaar en onderzoeksteam
over de resultaten. Dit had tot gevolg dat de onderzoeksteams die wij hebben
gesproken niet inhoudelijk op de bevindingen van de kwaliteitsbeoordeling hadden
gereageerd. Er werd na Verantwoordingsdag een samenvattend rapport voor het
managementteam opgesteld. De daarin gedane aanbevelingen waren ten tijde van
deze peer review nog niet geïmplementeerd.
89. Door vóór Verantwoordingsdag kwaliteitsbeoordelingen uit te voeren en met de
teams die de financial audit uitvoeren overeenstemming te bereiken over de
bevindingen, kan de Algemene Rekenkamer ervoor zorgen dat alle significante
risico’s en belangrijke kwesties op de juiste manier en conform de ISSAI’s en de eigen
onderzoeksaanpak worden behandeld en gedocumenteerd. Wij hebben begrepen dat
de Algemene Rekenkamer op dit ogenblik werkt aan een plan om een aantal van deze

48(60)

PEER REVIEW RAPPORT

bevindingen aan te pakken. Wij denken dat de Algemene Rekenkamer een stap in de
goede richting kan zetten door kwaliteitsbeoordelingen op basis van een
risicoanalyse uit te voeren in plaats van te proberen alle projecten mee te nemen.
Met een dergelijke aanpak, in combinatie met periodieke uitgebreidere
kwaliteitsbeoordelingen na publicatie van de rapporten, kan wellicht een systeem
worden opgezet dat minder knelt in de tijd. Hoewel de Algemene Rekenkamer met
het zojuist genoemde plan een aantal van onze verbeterpunten zal aanpakken, menen
wij dat zij met een risicogerichte aanpak en aandacht voor tijdigheid het
kwaliteitsbeoordelingsproces op projectniveau aanzienlijk kan verbeteren.
Aanbeveling
Verlaag het controlerisico door te waarborgen dat de bevindingen uit de kwaliteitsbeoordelingen in de
financial audits worden afgehandeld vóórdat de verantwoordingsonderzoeken op Verantwoordingsdag
worden gepubliceerd. Dit is te realiseren met een risicogerichte aanpak van de kwaliteitsbeoordelingen.

Factoren die de kwaliteitsbeoordeling onder druk zetten
90. De kwaliteitsbeoordelaars in de financial audit van de Algemene Rekenkamer zijn
ervaren, toegewijd en hebben een goed begrip van hun functie en het effect van hun
werkzaamheden. Wij hebben echter geconstateerd dat de kwaliteitsbeoordeling
onder druk staat, onder andere als gevolg van de volgende factoren:
•
•

•

De voor kwaliteitsbeoordelingen beschikbare middelen zijn beperkt. Het is
daardoor moeilijk om te blijven voldoen aan de vraag naar deze diensten.
De kwaliteitsbeoordelaars hebben ook andere verantwoordelijkheden binnen het
onderzoek. Daardoor ontstaan soms tegenstrijdige prioriteiten of situaties waarin
de onafhankelijkheid in het geding is.
Het gegeven dat financial audits binnen een beperkte periode moeten worden
uitgevoerd, plaatst zowel de onderzoeksteams als de kwaliteitsbeoordelaars voor
een extra uitdaging.

Kwaliteitsbeoordelingen in het doelmatigheids- en
doeltreffendheidsonderzoek
Kwaliteitsbeoordelingsproces functioneert goed, maar er wordt niet
systematisch gebruikgemaakt van inzichten
91. De Algemene Rekenkamer heeft voor haar publicaties een
kwaliteitsbeoordelingsproces ontwikkeld en ingevoerd, dat goed functionerende
elementen ter ondersteuning van de kwaliteit van het werk bevat. Elk

49(60)

PEER REVIEW RAPPORT

conceptproduct moet op verscheidene momenten tijdens het onderzoeksproces
worden voorgelegd aan de pool van kwaliteitsbeoordelaars. Deze beoordelingen
worden uitgevoerd door collega-onderzoekers die daarnaast ook hun eigen
onderzoeken uitvoeren. Elk beoordelingsteam bestaat uit twee onderzoekers die –
waar mogelijk – voor de gehele duur van het project verbonden blijven aan een
onderzoek. Rapporten waarvoor data-analyse als bron van informatie wordt
gebruikt, moeten bovendien voor een beoordeling aan een data-analist worden
voorgelegd. De kwaliteitsbeoordelaars van de Algemene Rekenkamer zijn
medewerkers die bij uitstek in de positie verkeren om verbeterpunten binnen het
doelmatigheids- en doeltreffendheidsonderzoek te signaleren.
92. De pool van kwaliteitsbeoordelaars verzamelt gemiddeld één keer per jaar de rode
draden uit de beoordelingen. De uitkomsten daarvan worden wel gedeeld met de
onderzoeksdirecteuren, maar niet met de medewerkers of het college. Algemene
boodschappen uit de kwaliteitsbeoordelingen worden echter niet systematisch op
een centrale plek verzameld en geëvalueerd. Inzichten uit het verzamelde
commentaar van de beoordelaars werden ook niet op systematische wijze gebruikt
om de kwaliteit van het werk van de Algemene Rekenkamer te verbeteren.

Factoren die de kwaliteitsbeoordeling onder druk zetten
93. Hoewel de kwaliteitsbeoordelaars in het doelmatigheids- en doeltreffendheidsonderzoek net zo gekwalificeerd en toegewijd zijn als die in de financial audit,
hebben we ook hier geconstateerd dat de kwaliteitsbeoordeling onder druk staat. Dit
is onder andere als gevolg van de volgende factoren:
•

•
•

De pool van kwaliteitsbeoordelaars heeft sinds de reorganisatie van de Algemene
Rekenkamer veel ervaren beoordelaars verloren. Het is daarom moeilijk om aan
de vraag te blijven voldoen en ervaren beoordelaars aan te wijzen om de inherente
risico’s in producten te beperken.
Rapporten die voor een kwaliteitsbeoordeling worden voorgelegd, zijn niet altijd
voldoende gereed om te kunnen worden beoordeeld.
Onderzoeksteams reserveren vaak te weinig tijd om de feedback van kwaliteitsbeoordelaars te verwerken. Afhankelijk van de omvang en aard van de door de
kwaliteitsbeoordelaars gemaakte opmerkingen bestaat het risico dat ze niet
volledig worden afgewogen en/of verwerkt.

50(60)

PEER REVIEW RAPPORT

Voorbeeld van een van de reviewende collega-rekenkamers: kwaliteitsbeoordeling bij de Office of the
Auditor General of Canada (OAG)
•
De nationale rekenkamer van Canada heeft een vaktechnisch team bestaande uit collegaonderzoekers die voor verscheidene jaren aan dit team worden toegewezen en die onder
andere tot taak hebben:
o de vaktechniek (beleidsregels, richtlijnen, procedures, sjablonen en checklists) bij te
houden;
o de controlehandleiding, die voor alle medewerkers beschikbaar is, te actualiseren; dit
document wordt minimaal één keer per jaar bijgewerkt aan de hand van wijzigingen in
controlestandaarden.
•
Projectleiders doen een onderbouwd voorstel om al dan niet een kwaliteitsbeoordelaar aan hun
project te laten toewijzen. Er is een team dat die onderbouwingen beoordeelt en beslist over
het wel of niet toewijzen van een kwaliteitsbeoordelaar. Kwaliteitsbeoordelaars worden
doorgaans gekozen uit een pool van projectleiders:
o kwaliteitsbeoordelaars worden toegewezen op grond van een reeks vastgestelde
criteria, waarbij onder andere wordt gekeken naar de aard van de activiteiten van de
te controleren organisatie, de aanwezigheid van zeer ingewikkelde en specifieke
transacties of kwesties waarvan de evaluatie een hoge mate van professionele
oordeelsvorming vereist, de samenstelling van het onderzoeksteam (bijvoorbeeld een
onlangs aangestelde projectleider), aanzienlijk verloop in het onderzoeksteam of het
feit dat het team weinig ervaring heeft met de doelstellingen of het onderwerp van
het onderzoek.
•
Kwaliteitsbeoordelaars hebben onder meer tot taak de belangrijkste oordelen en conclusies van
het onderzoeksteam objectief te evalueren. Dit omvat:
o een bespreking van de belangrijkste oordelen met de projectleider en de belangrijkste
leden van het onderzoeksteam;
o een beoordeling van de uitgevoerde controlewerkzaamheden om te waarborgen dat
deze de conclusies onderbouwen en van de aanvaardbaarheid van de aan die
conclusies ten grondslag liggende belangrijkste oordelen.
•
De kwaliteitsbeoordeling moet zijn afgerond voordat het onderzoeksrapport wordt vastgesteld.
•
Voor alle projectleiders worden op regelmatige basis (om de zoveel jaar) praktijkbeoordelingen
uitgevoerd om vast te stellen in hoeverre zij voldoen aan de Canadese controlemaatstaven,
interne richtlijnen en methoden en de toepasselijke wet- en regelgeving.

Aanbeveling
Zorg voor een systematische vastlegging en verspreiding van de bevindingen van de
kwaliteitsbeoordelaars van het doelmatigheids- en doeltreffendheidsonderzoek onder alle medewerkers
die bij dat onderzoek zijn betrokken, zodat collega’s lering kunnen trekken uit de best practices en samen
aan verdere verbetering kunnen werken.

51(60)

PEER REVIEW RAPPORT

De Algemene Rekenkamer heeft op 5 november 2020 gereageerd op het peer review rapport door middel
van een brief aan de leider van het peer review team. De reactie is hieronder weergegeven.

Reactie van de Algemene Rekenkamer op het
peer review rapport
Alvorens in te gaan op het peer review rapport willen wij onze dank uitspreken aan de
rekenkamers van Zweden, Canada en het Verenigd Koninkrijk. We zijn onze collegarekenkamers zeer erkentelijk voor het beschikbaar stellen van een aantal ervaren
medewerkers voor een onafhankelijke externe review op ons werk. We willen u en de
andere leden van het peer review team ook persoonlijk bedanken. We kijken met veel
plezier terug op de inspirerende en prikkelende gesprekken tijdens de werkbezoeken.
We hebben tijdens het proces op verschillende vlakken kunnen leren en de relaties
tussen onze organisaties kunnen versterken. Hiervan zullen we ook de komende jaren de
vruchten plukken. De leden van het peer review team hebben het laatste deel van hun
werk moeten doen in een periode dat de wereld op slot ging vanwege het nieuwe
coronavirus. Hierdoor moest de rapportagefase van de peer review op een andere wijze
dan gepland worden ingevuld. Desalniettemin is het gelukt om binnen de afgesproken
planning een inspirerend rapport op te leveren. Dat is een apart compliment waard.
De kwaliteit van ons werk is cruciaal voor onze reputatie van onafhankelijk,
onpartijdig en deskundig instituut. Wij zijn daarom voortdurend en op diverse
manieren bezig met het waarborgen en verbeteren van deze kwaliteit. De door u
uitgevoerde peer review helpt ons om te bepalen waar we nog verder kunnen en moeten
verbeteren om aan de hoogste kwaliteitsstandaarden te voldoen.
We zijn blij met de hoofdconclusie in het peer review rapport dat bij de Algemene
Rekenkamer – mede dankzij een breed mandaat, zeer bekwame medewerkers, een goed
functionerende organisatie en een cultuur van innovatie - de basiselementen aanwezig
zijn voor audits van hoge kwaliteit. We zijn ook blij dat het peer review team diverse
good practices bij de Algemene Rekenkamer heeft gesignaleerd. Dit bevestigt voor ons dat
de veranderingen en organisatorische ontwikkelingen die we de afgelopen strategische
periode hebben doorgemaakt of in gang gezet zinvol zijn geweest.
Maar het peer review rapport laat ons ook zien dat er geen reden is om achterover te
leunen. Het rapport biedt ons waardevolle observaties en bevindingen, die ons helpen
ons werk te verbeteren. We onderschrijven de meeste aanbevelingen van het peer review
team. Het merendeel van de aanbevelingen kunnen en zullen we op korte termijn in de
praktijk brengen. Maar een aantal (elementen van) aanbevelingen nemen we bewust niet
over. Dit verdient toelichting.

52(60)

PEER REVIEW RAPPORT

We lichten onze reactie op de aanbevelingen hieronder kort toe. We doen dat aan de
hand van de volgende vier hoofdthema’s uit het rapport:
1.

onderwerpselectie en programmering;

2. kwaliteitsbeheersing;
3. doelmatigheids- en doeltreffendheidsonderzoek;
4. financial audit.

Ad 1. Onderwerpselectie en programmering
Wij zullen invulling geven aan de drie aanbevelingen inzake onderwerpselectie en
programmering. Het peer review team beveelt ons aan om zowel binnen als buiten onze
organisatie te verduidelijken hoe wij onze unieke rol en mandaat als de hoogste controleinstantie van Nederland vervullen, een rijksbrede risicoanalyse op hoog niveau te
ontwikkelen als grondslag voor de programmering en voor een evenwichtige spreiding
van werkzaamheden over de diverse overheidssectoren en thema’s en, tot slot, op een
systematische manier de verandering en verbetering binnen de rijksoverheid als gevolg
van ons werk te volgen en de resultaten daarvan naar buiten te brengen.
Parallel aan uw peer review heeft de Algemene Rekenkamer haar nieuwe strategie voor
2021-2025 ‘Vertrouwen in verantwoording’ bepaald. Gezien de nauwe relatie van uw
aanbevelingen met onze nieuwe strategie willen we deze ook meenemen bij de
implementatie van die strategie. De opvolging van deze aanbevelingen kan ons helpen
onze bijzondere positie in het Nederlandse staatsbestel te verhelderen, voor onszelf en
voor onze stakeholders. Ook kan het ons helpen aan de samenleving duidelijk te maken
in hoeverre wij onze missie waarmaken om bij te dragen aan het verbeteren van het
functioneren en presteren van de rijksoverheid en de daarmee verbonden organen.

Ad 2. Kwaliteitsbeheersing
Ons kwaliteitsmanagementsysteem was formeel geen onderdeel van deze peer review,
maar wij zijn uiteraard verheugd over de positieve opmerkingen van het peer review team
over de opzet en werking van ons systeem. Wij nemen de drie aanbevelingen van het peer
review team ter verbetering van ons systeem over. De meeste verbeterpunten kunnen we
op korte termijn in de praktijk brengen.

53(60)

PEER REVIEW RAPPORT

Ad 3. Doelmatigheids- en doeltreffendheidsonderzoek
Wij zullen het merendeel van de aanbevelingen van het peer review team ter verbetering
van de kwaliteit van ons doelmatigheids- en doeltreffendheidsonderzoek op korte
termijn in de praktijk brengen.
De Algemene Rekenkamer voert verschillende typen onderzoek uit en de resultaten
daarvan worden in verschillende uitingsvormen gepubliceerd. We streven al enkele jaren
bewust naar - wat wij noemen - een breed productportfolio. We erkennen dat wij beter
en scherper onderscheid kunnen maken in onderzoek zonder en met oordelen. We zullen
vanaf 2021 voortaan in al onze rapporten over ons doelmatigheids- en
doeltreffendheidsonderzoek aangeven wat de aard van het rapport is: een rapport met
oordelen of een andersoortig rapport. Ook zullen we in een standaardpassage in de
methodologische verantwoording bij elk rapport opnemen welke standaarden we
hebben toegepast en waar deze te raadplegen zijn.
We nemen de aanbeveling van het peer review team ter harte om de rijke ervaring uit ons
onderzoek te blijven benutten en zullen daarom ons normenkader periodiek actualiseren
op basis van recent uitgevoerd onderzoek. Deze acties zien we als een noodzakelijke
voorwaarde om het voornemen in onze nieuwe strategie te realiseren om meer dan
voorheen toe te werken naar het geven van een oordeel in onze rapporten.
Wij vinden net als het peer review team dat we transparant moeten zijn over elk
onderdeel van het rapport, dus inclusief de gehanteerde normen, de herkomst van die
normen en de gehanteerde methoden en technieken. We kiezen er echter al enige tijd
bewust voor om in onze rapporten een korte samenvatting daarover op te nemen en een
volledige toelichting op te nemen op onze website. Op deze manier is alle informatie
beschikbaar en eenvoudig te vinden voor de daarin geïnteresseerde lezer, maar kunnen
we het rapport (of andersoortige publicatie) compact houden. Dit draagt onzes inziens
bij aan de leesbaarheid en daarmee de toegankelijkheid van ons werk. Een goede
toegankelijkheid voor een breed publiek kan ook bijdragen aan de versterking van onze
positie als onafhankelijke externe controleur.

Ad 4. Financial audit
Uit het peer review rapport blijkt dat wij onze financial audit op onderdelen kunnen
verbeteren. Het peer review team doet hiervoor een aantal nuttige suggesties. Wij nemen
die ter harte en gaan op korte termijn onderzoeken hoe wij op deze onderdelen
verbetering kunnen realiseren.
Wij willen op drie aanbevelingen van het peer review team apart ingaan.

54(60)

PEER REVIEW RAPPORT

Belang van goede financiële verantwoording en controle daarop
Het peer review team benadrukt het belang van een degelijke financiële verantwoording
door de ministers en het jaarlijkse controlerend onderzoek van de Algemene Rekenkamer
daarnaar. Dit proces is vastgelegd in wet- en regelgeving. Het proces van begroten tot
verantwoorden en controleren heeft de afgelopen decennia een belangrijke ontwikkeling
doorgemaakt. De instelling van Verantwoordingsdag is een zichtbare uiting van het
belang dat het parlement hecht aan verantwoording en dechargeverlening. Wij besteden
in onze verantwoordingsonderzoeken naast de verplichte rechtmatigheid, ook aandacht
aan de verplichte compliance en de doelmatigheid en doeltreffendheid van beleid. Wij
doen dit omdat wij van mening zijn dat geld, uitvoering en beleidsresultaten in
samenhang bekeken dienen te worden. Juist die samenhang draagt in onze visie bij aan
een voor het parlement betekenisvolle verantwoording. Maar we nemen de aanbeveling
van het peer review team ter harte om in ons verantwoordingsonderzoek - zonder de
balans tussen de drie bovengenoemde elementen te verliezen - het belang van een
deugdelijke financiële verantwoording meer dan tot op heden te benadrukken. We gaan
na hoe we hier invulling aan kunnen geven.

Vorm en inhoud oordelen
Het peer review team beveelt ons ook aan om de vorm en inhoud van onze oordelen te
heroverwegen. Omdat voor ons de nationale wetgeving – i.c. de Comptabiliteitswet –
leidend is en wij ook de leesbaarheid en toegankelijkheid van onze rapporten belangrijk
vinden, omarmen wij deze aanbeveling niet. Wij zullen wel, beter dan tot nu toe, in de
bijlage bij ons verantwoordingsonderzoek en op onze website uitleggen hoe wij tot ons
oordeel gekomen zijn en waarom wij het formuleren zoals wij doen. Ook zullen wij
uitleggen waarom we sommige internationale standaarden toepassen zonder ze letterlijk
te volgen. We blijven er naar streven onze rapportages voor een breed publiek
toegankelijk te maken en niet alleen voor goed ingevoerde lezers begrijpelijk en
navolgbaar.

Plannen en uitvoeren financial audit
Het peer review team beveelt ons aan ervoor te zorgen dat het werk in het kader van de
financial audit onafhankelijk gepland en uitgevoerd wordt en, met name voor significante
risico’s, de zware steun op het werk van de ADR te heroverwegen.
Het peer review team heeft zich grondig verdiept in onze financial audit en de context
waarbinnen wij deze uitvoeren. Het Nederlandse controlebestel is in internationaal
opzicht bijzonder vanwege de aanwezigheid van zowel een certificerende interne
auditdienst (de Auditdienst Rijk, ADR) als een externe, eveneens certificerende,

55(60)

PEER REVIEW RAPPORT

controleur (de Algemene Rekenkamer). Vanaf het moment dat we ervoor kozen de
internationale standaarden voor rekenkamers (de ISSAI’s) te willen volgen, moesten wij
rekening houden met deze situatie. Ook moeten wij bij de toepassing van deze
standaarden, net als collega-rekenkamers, rekening houden met onze nationale
wetgeving waarin onze opdracht en ons mandaat expliciet zijn verwoord. Wij hebben er
bewust voor gekozen – op een paar uitzonderingen na – alle ISSAI’s toe te passen in ons
verantwoordingsonderzoek, waar onze financial audit een belangrijk onderdeel van
uitmaakt. Daarnaast hebben we enkele standaarden zo ingevuld dat ze naar ons idee
toegepast kunnen worden in de Nederlandse situatie. Deze keuzes hebben we bewust
gemaakt vanwege de specifieke opzet van het Nederlandse controlebestel en onze wens
doelmatig en doeltreffend te opereren binnen dit bestel. Echter, blijkens uw rapport deelt
u op onderdelen de door ons gekozen invulling van de ISSAI’s niet.
Uiteraard vinden wij onafhankelijke oordeelsvorming over de financiële
verantwoordingen van de ministers ook cruciaal. Maar opvolging van uw aanbeveling zal
naar onze mening leiden tot een aanzienlijk groter capaciteitsbeslag bij de Algemene
Rekenkamer en tevens tot een grote overlap met de controlewerkzaamheden van de
ADR.
De aanbeveling van het peer review team maakt hiermee een voor ons al langer bestaand
dilemma in verscherpte mate zichtbaar. Het naast elkaar bestaan van een certificerende
interne auditdienst en een certificerende externe controleur leidt tot een zekere mate van
duplicatie van werkzaamheden ook al willen we ondoelmatigheden in het controlebestel
zoveel mogelijk voorkomen. Deels is dit echter onvermijdelijk omdat sommige met de
ADR vergelijkbare werkzaamheden voor de Algemene Rekenkamer noodzakelijk zijn om
als externe controleur tot een onafhankelijk oordeel te kunnen komen. Maar ook om in
de Nederlandse situatie zoveel mogelijk te voldoen aan de internationale standaarden
voor rekenkamers die kwaliteit, zorgvuldigheid en transparantie moeten borgen. Over dit
dilemma, dat niet alleen ons maar ook andere betrokkenen in het Nederlandse
controlebestel aangaat, zullen wij in gesprek gaan met het parlement en de minister van
Financiën.

Tot slot
Het college heeft de secretaris gevraagd de opvolging van de door ons overgenomen
aanbevelingen zo snel mogelijk uit te werken. In ons jaarverslag zullen wij rapporteren
over de voortgang van de opvolging.
Reeds bij de start van deze peer review hebben wij de intentie uitgesproken om het peer
review rapport openbaar te maken en deze ook in het Nederlands te laten vertalen. We

56(60)

PEER REVIEW RAPPORT

kiezen hiervoor omdat wij transparant willen zijn over hoe wij functioneren en presteren
en welke verbeteringen daarin mogelijk zijn, ook vanuit het adagium ‘practice what you
preach’. Wij hopen dat dit bijdraagt aan het vertrouwen in de Algemene Rekenkamer.
Tot slot willen wij u en de andere leden van het peer review team nogmaals bedanken
voor uw werk. Wij hadden u graag weer persoonlijk gesproken bij de publicatie van het
peer review rapport. Helaas zal dat door de pandemie waarschijnlijk niet mogelijk zijn.
We hopen u op een later moment alsnog te treffen en de inspirerende contacten tussen
onze organisaties een vervolg te geven.

Algemene Rekenkamer
Arno Visser
president
Cornelis van der Werf
secretaris

57(60)

PEER REVIEW RAPPORT

Nawoord van het peer review team
Het peer review team stelt de opbouwende reactie van de Algemene Rekenkamer op ons
rapport op prijs. Wij zijn er zeer verheugd over dat het college van de Algemene
Rekenkamer het merendeel van onze aanbevelingen onderschrijft en bereid is de meeste
daarvan op korte termijn in de praktijk te brengen. Ook erkennen we de bewuste keuzes
die de Algemene Rekenkamer in de opzet van haar financial auditpraktijk heeft gemaakt,
aangezien zij de ISSAI’s in bepaalde opzichten anders interpreteert dan wij. Herhaald zij
dat de Algemene Rekenkamer beschikt over de basiselementen voor een kwalitatief
hoogstaande publieke controle en dat onze aanbevelingen hoofdzakelijk moeten worden
gezien als een aantal relatief kleine wijzigingen waarmee verbeteringen zijn te realiseren
in reeds bestaande good practices.
Het peer review team is er met name verheugd over dat het college en de secretaris van de
Algemene Rekenkamer ons rapport inspirerend vinden en dat het reviewproces de
Algemene Rekenkamer in staat heeft gesteld op verschillende vlakken te leren en de
relaties tussen onze organisaties te versterken. De vele gesprekken met betrokken en
deskundige collega’s bij de Algemene Rekenkamer zijn voor ons een even grote
inspiratiebron gebleken, waaruit wij veel goede ideeën terug naar onze eigen nationale
rekenkamers hebben kunnen meenemen. Alles wat de Algemene Rekenkamer ten
behoeve van onze werkzaamheden heeft geregeld en de bereidheid van de medewerkers
tijdens het proces om ruimhartig hun ervaringen met ons te delen heeft indruk op ons
gemaakt en wij spreken daarom opnieuw onze dank uit aan iedereen, zowel binnen als
buiten de Algemene Rekenkamer, die tijd voor ons heeft uitgetrokken.

Bengt Lewin (lead
reviewer)
Jonas Hällström
Tomas Janhed
Sofia Sandgren-Massih
Anders Verf
The Swedish National
Audit Office

Antonia Gracie

Susan Gomez

Chris Groom

Caroline Jean

The UK National
Audit Office

Steven Mariani
Caroline Viens
The Office of the
Auditor General of
Canada

58(60)

PEER REVIEW RAPPORT

Bijlage Aanpak van de peer review
Doelstelling van de peer review
•

De hoofddoelstelling van de review was de kwaliteit van het werk van de
Algemene Rekenkamer te toetsen. Na de gezamenlijke ondertekening op
1 oktober 2019 van een samenwerkingsovereenkomst hebben de reviewers zich
geconcentreerd op de onderwerpselectie en -programmering van de Algemene
Rekenkamer, haar financial audits en haar doelmatigheids- en
doeltreffendheidsonderzoek.

Tijdpad van de peer review
•
•

De werkzaamheden voor de peer review gingen in oktober 2019 van start en
werden in september 2020 afgerond.
De review had betrekking op de huidige strategische periode, die in 2016 is
begonnen en doorloopt tot eind 2020. De beoordeling van de kwaliteit van de
financial audit heeft uitsluitend betrekking op controlewerkzaamheden over
2018.

Informatiebronnen
•

•
•

•

Een beoordeling van documenten over de strategie van de Algemene
Rekenkamer, het door haar in 2018 verrichte zelfonderzoek conform het SAI
PMF, de vorige peer review (2007), werkinstructies, handleidingen en
handreikingen, resultaten van kwaliteitsbeoordelingen en andere interne
documenten.
Een beoordeling van drie geselecteerde financial audits over 2018 die in mei 2019
werden afgerond.
Een beoordeling van zes geselecteerde doelmatigheids- en doeltreffendheidsonderzoeken, zowel het projectvoorstel als het tussen 2016 en 2019
gepubliceerde rapport.
De steekproef van financial auditrapporten en doelmatigheids- en
doeltreffendheidsonderzoeksrapporten. Het aantal rapporten was beperkt, deels
omdat deze ten behoeve van het reviewteam naar het Engels moesten worden
vertaald. De steekproef is niet zonder meer representatief voor de gehele
onderzoeksportfolio van de Algemene Rekenkamer.

59(60)

PEER REVIEW RAPPORT

•

•

•

Gesprekken met collegeleden, onderzoeksteams, kwaliteitsbeoordelaars en
onderzoeksdirecteuren van de Algemene Rekenkamer en met gecontroleerden,
voor ieder onderzoek uit de steekproef.
Aanvullende gesprekken met interne sleutelfuncties en externe
belanghebbenden, te weten de Auditdienst Rijk (ADR) en de Dienst Analyse en
Onderzoek (DAO) van de Tweede Kamer.
Panelgesprekken met collegeleden, onderzoeksdirecteuren,
kwaliteitsbeoordelaars en medewerkers van de Algemene Rekenkamer om
nadere inzichten te verkrijgen en om de bevindingen uit de beoordeling van de
steekproefonderzoeken te toetsen.

Gehanteerde standaarden en andere bronnen
De peer review is uitgevoerd met gebruikmaking van het Framework of Professional
Pronouncements (IFPP) van INTOSAI, de internationale organisatie van rekenkamers,
de Nederlandse wetgeving en de eigen ervaringen en praktijken van de reviewende
collega-rekenkamers. Daarbij zijn de volgende standaarden, handreikingen en andere
documenten gehanteerd:
•
•
•
•
•
•
•
•
•
•
•

INTOSAI-P 10, Mexico Declaration on SAI Independence
ISSAI 100, Fundamental Principles of Public-Sector Auditing
ISSAI 140, Quality Control for SAIs
ISSAI 300, Performance Audit Principles
GUID 1900, Peer Review Guidelines
ISSAI 2000-2899, Financial Auditing Standards
GUID 3910, Central Concepts for Performance Auditing
GUID 3920, The Performance Auditing Process
Grondwet voor het Koninkrijk der Nederlanden
Comptabiliteitswet 2016
Besluit Auditdienst Rijk (nr. 2017001795)

60(60)