Særberetning EuropeAids systemer 
til evaluering og 
resultatorienteret 
overvågningDA 2014  nr. 18
DEN
EUROPÆISKE
REVISIONSRET

DEN EUROPÆISKE REVISIONSRET  
12, rue Alcide De Gasperi  
1615 Luxembourg  
LUXEMBOURG
Tlf. +352 4398-1
E-post: eca-info@eca.europa.eu  
Internet: http://eca.europa.eu
Twitter: @EUAuditorsECA  
YouTube: EUAuditorsECA
Yderligere oplysninger om EU fås på internet via Europaserveren ( http://europa.eu )
Luxembourg: Den Europæiske Unions Publikationskontor, 2014
ISBN 978-92-872-1913-8
doi: 10.2865/44083
© Den Europæiske Union, 2014
Eftertryk tilladt med kildeangivelse
Printed in Luxembourg
EuropeAids systemer 
til evaluering og 
resultatorienteret 
overvågning
(artikel 287, stk. 4, andet afsnit, TEUF)SærberetningDA 2014  nr. 18
02
 Indhold
Punkt
 Glossar og forkortelser
I–VII Resumé
1–10 Indledning
2–5 Kommissionens evalueringsramme
6–10 EuropeAids evaluerings-og ROM-systemer
11–13 Revisionens omfang og revisionsmetoden
14–64 Bemærkninger
14–22 Samlet set er evaluerings- og ROM-funktionerne velorganiserede, men EuropeAid kunne med 
fordel være mere opmærksom på, at ressourcerne anvendes produktivt
15–17 Ansvarsfordelingen er fornuftig, men overvågningen af programevalueringerne er utilstrækkelig
18–22 EuropeAid lægger ikke tilstrækkelig vægt på en produktiv anvendelse af ressourcerne
23–52 EuropeAids evaluerings- og ROM-systemer giver ikke i tilstrækkelig grad relevante og solide 
resultater
24–31 Der er svagheder med hensyn til udvælgelsen af programevalueringer og den rettidige gennemførelse af 
evalueringerne
32–38 De procedurer, der skal sikre programevalueringernes og ROM-undersøgelsernes kvalitet, bliver ikke fulgt 
konsekvent
39–52 Evaluerings- og ROM-systemerne giver ikke tilstrækkelige oplysninger om de opnåede resultater
53–64 EuropeAids evaluerings- og ROM-systemer sikrer ikke, at resultaterne udnyttes maksimalt
54–58 Der er ingen hensigtsmæssige opfølgningsmekanismer
59–64 Når der ses bort fra programevalueringerne, videreformidles evaluerings-og ROM-resultaterne 
tilfredsstillende
65–70 Konklusioner og anbefalinger
03 Indhold
 Bilag I  — ROM-karaktersystemet
 Bilag II  — Liste over gennemgåede programmeringsdokumenter
 Bilag III  — Liste over gennemgåede finansieringsaftaler
 Bilag IV  — Liste over gennemgåede evalueringer
 Bilag V  — Liste over gennemgåede ROM-undersøgelser
 Bilag VI  — Liste over de delegationer, der besvarede spørgeskemaet
 Kommissionens svar
04
 Glossar  
og forkortelser
Budgetstøtte : Denne form for bistand indebærer, at der overføres midler fra et eksternt finansieringsorgan til 
partnerlandets statskasse. De overførte midler forvaltes i overensstemmelse med modtagerens budgetprocedurer. 
Budgetstøtteprogrammer omfatter normalt kapacitetsopbygningsforanstaltninger, der skal hjælpe landene med 
at styrke deres politikudformning og forvaltning samt fremme en dialog om udformningen, gennemførelsen og 
resultaterne af nationale politikker og sektorpolitikker.
De europæiske udviklingsfonde (EUF) : EUF er hovedinstrumentet for EU’s bistand til udviklingssamarbejde 
med staterne i Afrika, Vestindien og Stillehavet (AVS‑staterne) og de oversøiske lande og territorier (OLT). 
Partnerskabsaftalen, der blev undertegnet i Cotonou den 23. juni 2000 for en periode på 20 år, er den nuværende 
ramme for EU’s forbindelser med AVS‑staterne og OLT. Den er navnlig koncentreret om at mindske og med tiden 
udrydde fattigdom. Udviklingsfondene finansieres af EU’s medlemsstater, har deres egne finansforordninger og 
forvaltes af Kommissionen uden for EU’s almindelige budget.
Den Europæiske Investeringsbank (EIB) : EIB er EU’s bank. Den ejes af EU’s medlemsstater og repræsenterer deres 
interesser. Den arbejder tæt sammen med EU‑institutionerne om at gennemføre EU’s politik. Den er verdens største 
multilaterale långiver og låntager målt i volumen. Over 90 % af dens aktivitet har fokus på Europa, men den støtter 
også EU’s udenrigs ‑ og udviklingspolitik.
Den interne revisionsfunktion : En enhed i et generaldirektorat, der rapporterer direkte til generaldirektøren. Dens 
opgave er at give uafhængig sikkerhed med hensyn til det interne kontrolsystems effektivitet med henblik på at 
forbedre generaldirektoratets virksomhed.
Den årlige aktivitetsrapport : Hvert af Kommissionens generaldirektorater redegør i en årlig aktivitetsrapport 
for de resultater, det har opnået, og de ressourcer, det har anvendt. Rapporten afspejler det årlige arbejdsprogram 
og er samtidig en forvaltningsrapport fra generaldirektøren til Kommissionen om, hvordan den pågældende 
har varetaget sit hverv som ved delegation bemyndiget anvisningsberettiget i forbindelse med forvaltningen 
af EU‑budgettet. De årlige aktivitetsrapporter sendes også til Europa‑Parlamentet og Rådet. De kan findes her: 
http://ec.europa.eu/atwork/key‑documents/index_en.htm .
EuropeAid : Inden for Europa‑Kommissionen har Generaldirektoratet for Udvikling og Samarbejde — EuropeAid — 
ansvaret for:
— at formulere EU’s udviklingspolitik og definere sektorpolitikker for ekstern bistand
— at udarbejde den flerårige planlægning af instrumenterne for ekstern bistand sammen med Tjenesten for EU’s 
Optræden Udadtil (EU‑Udenrigstjenesten)
— at fremme koordinering mellem EU og medlemsstaterne i forbindelse med udviklingssamarbejde og 
repræsentere EU udadtil på dette område.
EU-delegationer : EU repræsenteres verden over af 139 EU‑delegationer og ‑ kontorer, som præsenterer, forklarer og 
gennemfører EU’s politikker (f.eks. politikken om udviklingssamarbejde), analyserer og rapporterer om politikker og 
udviklinger i de lande, som de er akkrediteret til, og fører forhandlinger i overensstemmelse med et givet mandat.
05 Glossar og forkortelser 
Evalueringsrapporten ifølge artikel 318 : Artikel 318 i traktaten om den Europæiske Unions funktionsmåde 
fastsætter, at Kommissionen skal »[forelægge] Europa‑Parlamentet og Rådet en evalueringsrapport om 
Unionens finanser på grundlag af de resultater, der er opnået«. Rapporten kan findes her: http://ec.europa.eu/
smart‑regulation/evaluation/documents_en.htm .
Evalueringsresultater : Ved evalueringsresultater forstås i denne beretning de konklusioner, anbefalinger og 
erfaringer, der hidrører fra en evaluering.
Finansielle overslag : En flerårig ramme for finansiel planlægning, der fastsætter grænser for EU’s udgifter. Den 
omsætter Unionens politikker i beløbsstørrelser og er samtidig et instrument til budgetdisciplin og ‑ planlægning. 
De aktuelle finansielle overslag dækker perioden fra 2014 til 2020. De foregående dækkede perioden fra 
2007 til 2013.
Finansieringsinstrumenter : Forordninger, der normalt er udstedt af Europa‑Parlamentet og Rådet. De leverer den 
nødvendige finansiering til at støtte en EU‑politik. EU’s udviklingspolitik støttes af flere finansieringsinstrumenter.
OECD -DAC : Komitéen for Udviklingsbistand. En komité i OECD (Organisationen for Økonomisk Samarbejde og 
Udvikling), som specifikt beskæftiger sig med udviklingsbistand.
Rapporten om forvaltningen af bistanden til tredjelande : Det vigtigste rapporteringsdokument fra 
EU‑delegationerne til EuropeAid. Rapporterne skal stilles til rådighed for Europa‑Parlamentet og Rådet.
Resultat : Dette begreb omfatter:
— output: det, der produceres eller opnås med de ressourcer, der tildeles en intervention (f.eks. udbetaling af 
tilskud til landmænd, afholdelse af uddannelseskurser for arbejdsløse, anlæggelse af en vej)
— udfald: de øjeblikkelige ændringer, der skyldes en intervention (f.eks. bedre adgang til et område på grund af 
anlæggelse af en vej, kursister, der har fundet beskæftigelse)
— virkninger: de socioøkonomiske konsekvenser på længere sigt, der kan konstateres et stykke tid efter en 
interventions afslutning, og som kan være direkte eller indirekte, positive eller negative.
Tjenesten for EU’s Optræden Udadtil (EU -Udenrigstjenesten) : EU‑Udenrigstjenesten blev oprettet 
i december 2010 i medfør af Lissabontraktaten. En af dens aktiviteter består i sammen med de relevante 
tjenestegrene i Kommissionen at forberede lande ‑ og regionstildelinger samt udarbejde EU‑samarbejdsstrategier 
som led i programmeringscyklussen for de fleste udenrigspolitiske instrumenter.
Årsrapporten om gennemførelsen af Den Europæiske Unions politikker for udvikling og ekstern bistand : 
Det er fastsat i forordningerne om oprettelse af finansieringsinstrumenterne for EU’s eksterne bistand, at denne 
rapport skal udarbejdes og forelægges for Europa‑Parlamentet, Rådet, Det Europæiske Økonomiske og Sociale 
Udvalg og Regionsudvalget. Det er en rapport om opfyldelsen af målsætningerne for hvert finansieringsinstrument, 
og den bygger på indikatorer og målinger af de opnåede resultater og de relevante instrumenters effektivitet. 
Rapporten kan findes her: http://ec.europa.eu/europeaid/annual‑report ‑2014 ‑european‑unions‑development‑and‑e
xternal‑assistance‑policies‑and‑their_en .
06
 Resumé
I
Inden for Kommissionens decentrale organisatoriske 
rammer har Generaldirektoratet for Udvikling og 
Samarbejde — EuropeAid (EuropeAid) oprettet sin 
egen resultatorienterede ansvarlighedsramme med 
henblik på at overvåge, evaluere og rapportere om 
sine aktiviteter. I denne beretning undersøges to af de 
centrale elementer i denne ramme, nemlig evaluerin ‑
gerne og den resultatorienterede overvågning (ROM). 
En evaluering er en systematisk og objektiv vurdering 
af udformningen, gennemførelsen og resultaterne 
af et program eller en politik, som er i gang eller er 
afsluttet. En ROM‑undersøgelse er en standardiseret 
ekstern gennemgang, der er udformet specifikt med 
henblik på at vurdere programresultater i forbindelse 
med bistand til tredjelande. De vigtigste formål med 
disse elementer i ansvarlighedsrammen er at forbedre 
gennemførelsen af igangværende programmer og 
udformningen af fremtidige programmer og politikker 
ved hjælp af feedback og indhøstede erfaringer samt 
at skabe et grundlag for ansvarlighed.
II
Retten konstaterede, at EuropeAids evaluerings ‑ og 
ROM‑systemer ikke er tilstrækkelig pålidelige.
III
Samlet set er evaluerings ‑ og ROM‑funktionerne 
velorganiserede, men der mangler et overordnet tilsyn 
med programevalueringen. Endvidere lægges der 
ikke tilstrækkelig vægt på en produktiv anvendelse af 
evaluerings ‑ og ROM‑ressourcerne.
IV
Evaluerings ‑ og ROM‑systemerne giver ikke i tilstræk ‑
kelig grad relevante og solide resultater. Programeva ‑
lueringsplanerne bygger på kriterier, der ikke er til ‑
strækkelig klare. Der er intet overvågningssystem til at 
identificere og afhjælpe årsagerne til de hyppige afvi ‑
gelser fra evalueringsplanerne. Kvalitetskontrolproce ‑
durerne bliver ikke fulgt konsekvent i forbindelse med 
ROM‑undersøgelser og programevalueringer.V
Evaluerings ‑ og ROM‑systemerne sikrer ikke, at resulta ‑
terne udnyttes maksimalt, fordi der ikke er passende 
mekanismer til at overvåge opfølgningen og videre ‑
formidlingen af resultaterne.
VI
Evaluerings ‑ og ROM‑systemerne giver ikke tilstræk ‑
kelige oplysninger om de opnåede resultater, hvilket 
skyldes, at målsætningerne og indikatorerne ikke er 
tilstrækkelig klart defineret, at der er for få efterføl ‑
gende programevalueringer og ROM‑undersøgelser, 
og at metoden til evaluering af budgetstøtte har 
iboende begrænsninger. Disse faktorer begrænser 
i væsentlig grad EuropeAids mulighed for at redegøre 
for de faktisk opnåede resultater.
VII
Retten fremsætter anbefalinger til, hvordan res ‑
sourcerne til evaluering og ROM‑undersøgelser kan 
anvendes produktivt, om prioritering og overvågning 
af evalueringer, anvendelse af procedurer for kva ‑
litetskontrol, dokumentering af opnåede resultater 
samt opfølgning og videreformidling af resultaterne af 
evalueringer og ROM‑undersøgelser.
07
 Indledning
01 
I den aktuelle økonomiske og politiske 
kontekst er der et øget behov for, at 
Kommissionen sikrer og dokumente ‑
rer, at EU’s midler anvendes på en spar ‑
sommelig, produktiv og effektiv måde. 
Europa‑Parlamentet og Rådet har 
anført, at der bør gives et klarere over ‑
blik over de opnåede resultater1 med 
hensyn til EU’s hovedmål. Oplysninger 
om resultatopnåelse kan kun indhen ‑
tes ved hjælp af en resultatorienteret 
ansvarlighedsramme, der omfatter tre 
elementer: overvågning, evaluering og 
rapportering.
Kommissionens 
evalueringsramme
02 
En evaluering er en systematisk og 
objektiv vurdering af udformningen, 
gennemførelsen og resultaterne af et 
program eller en politik, som er i gang 
eller er afsluttet. De vigtigste formål 
hermed er at undersøge, om målene 
er blevet opfyldt, og at give anbefa ‑
linger til, hvordan fremtidige inter ‑
ventioner kan forbedres for at støtte 
beslutningstagningen i Kommissionen, 
Europa‑Parlamentet og Rådet.03 
Evaluering har afgørende betydning 
for planlægningen, udformningen og 
gennemførelsen af EU‑politikker og 
‑interventioner og styrker gennem ‑
sigtighed og demokratisk ansvarlig ‑
hed. Dette fremhæves i artikel 318 
i traktaten om den Europæiske Unions 
funktionsmåde, som fastsætter, at 
Kommissionen hvert år skal forelægge 
Europa‑Parlamentet og Rådet en eva ‑
lueringsrapport om Unionens finanser 
på grundlag af de resultater, der er op ‑
nået (evalueringsrapporten ifølge ar ‑
tikel 318). Med hensyn til de første tre 
rapporter fra Kommissionen påpegede 
Europa‑Parlamentet i februar 20142, 
at de ikke giver et klart overblik over, 
i hvilket omfang Unionens hovedmål 
er nået.
04 
Kommissionens evalueringsramme er 
fastlagt i en række politikdokumenter 
og retsakter:
a) finansforordningen vedrørende 
EU‑budgettet3
b) meddelelsen om øget anvendelse 
af evaluering4
c) meddelelsen om strategisk 
evaluering5
d) meddelelsen om styrkelse af 
grundlaget for intelligent regule ‑
ring — bedre evaluering6.1 F.eks. i Rådets anbefalinger til 
Kommissionen om »opnåelse 
af resultater« i forbindelse 
med dechargen for 2011 
(dokument 5752/13 ADD1, 
s. 31) og i Europa‑Parlamentets 
anbefalinger i forbindelse 
med dechargen for 2011, 
jf. anbefaling 248 til 
EU‑Udenrigstjenesten og 
EuropeAid samt 
anbefaling 308 og 309 til 
Kommissionen som helhed 
(dokument P7_
TA‑PROV(2013)0122).
2 Beslutning af 26. februar 2014 
om evalueringen af Unionens 
finanser på grundlag af de 
resultater, der er opnået:  
et nyt redskab for 
Europa‑Kommissionens 
forbedrede 
dechargeprocedure. 
Dokument P7_TA(2014)0134.
3 Artikel 30, stk. 4, 
i Europa‑Parlamentets og 
Rådets forordning (EU, 
Euratom) nr. 966/2012 af 
25. oktober 2012 om de 
finansielle regler vedrørende 
Unionens almindelige budget 
(EUT L 298 af 26.10.2012, s. 1).
4 SEC(2007) 213 af 21. februar 
2007: Meddelelse fra Dalia 
Grybauskaite efter aftale med 
Kommissionens formand: 
»Responding to Strategic 
Needs: Reinforcing the use of 
evaluation«.
5 C(2001) 3661 af 
12. november 2001: 
Meddelelse fra formanden: 
»Putting evaluation into 
practice within the 
Commission«.
6 COM(2013) 686 final af 
2. oktober 2013: 
»Strengthening the 
foundation of Smart 
Regulation – improving 
evaluation«.
08 Indledning
05 
De enkelte generaldirektorater er 
ansvarlige for at evaluere deres egne 
aktiviteter og kan tilpasse deres eva ‑
lueringssystemer til deres egne behov 
og krav i overensstemmelse med de 
standarder, som Kommissionen har 
fastlagt for tilrettelæggelse, udvælgel ‑
se og udformning af evalueringer samt 
anvendelse af evalueringsresultater.
EuropeAids 
evaluerings -og 
ROM -systemer
06 
EuropeAids systemer til evaluering 
og resultatorienteret overvågning 
(ROM) indgår i dets resultatorienterede 
ansvarlighedsramme, som bygger på 
de politikdokumenter og retsakter, 
der er anført i punkt 4, samt på en 
række politikdokumenter og retsak ‑
ter, der mere specifikt vedrører EU’s 
udviklingsbistand:
a) finansforordningerne vedrørende 
EUF7 og de andre finansierings ‑
instrumenter, der støtter EU’s 
udviklingspolitik
b) Pariserklæringen, Ac ‑
crahandlingsplanen8 og 
Busanpartnerskabsaftalen9
c) den europæiske konsensus om 
udvikling10
d) meddelelsen om »en dagsorden 
for forandring«11.07 
EuropeAid forvalter to typer eva ‑
lueringer, der udføres af eksterne 
kontrahenter:
a) strategiske evalueringer, der 
omfatter geografiske evalueringer 
(som dækker et land eller en regi ‑
on) og tematiske evalueringer, som 
dækker en sektor (f.eks. uddannel ‑
se eller fødevaresikkerhed) eller 
en bistandsmetode (f.eks. bud ‑
getstøtte eller samarbejde med 
udviklingsbanker)
b) programevalueringer12, der kan 
foretages under gennemførelsen 
af en intervention (midtvejseva ‑
luering), i forbindelse med dens 
afslutning (endelig evaluering) 
eller efter dens afslutning (efterføl ‑
gende evaluering).
08 
I disse evalueringer skal resultaterne 
vurderes ud fra fem kriterier, der er 
udviklet af Komitéen for Udviklingsbi ‑
stand i Organisationen for Økonomisk 
Samarbejde og Udvikling (OECD‑DAC) 
i samarbejde med det internationale 
donorsamfund13: relevans, effektivitet, 
produktivitet, bæredygtighed og virk ‑
ning. Evalueringerne skal endvidere 
indeholde en vurdering af EU’s kompa ‑
rative fordel og aktiviteternes sam ‑
menhæng med andre EU‑politikker og 
‑programmer, andre donorers aktioner 
og partnerlandenes politikker.7 10. EUF: Artikel 12 og 27 
i Rådets forordning (EF) 
nr. 215/2008 af 18. februar 
2008 om finansforordningen 
for den 10. Europæiske 
Udviklingsfond (EUT L 78 af 
19.3.2008, s. 1).
 11. EUF: AVS‑EU‑Ministerrådets 
afgørelse nr. 1/2013 af 7. juni 
2013 om vedtagelse af en 
protokol om den flerårige 
finansielle ramme for 
perioden 2014 ‑2020 under 
partnerskabsaftalen mellem 
medlemmerne af gruppen af 
stater i Afrika, Vestindien og 
Stillehavet på den ene side og 
Det Europæiske Fællesskab og 
dets medlemsstater på den 
anden side (EUT L 173 af 
26.6.2013, s. 67).
8 Pariserklæringen om 
bistandseffektivitet fra 2005 
og Accrahandlingsplanen fra 
2008: http://www.oecd.org/
dac/effectiveness/parisdecla ‑
rationandaccraagendaforacti ‑
on.htm .
9 Busanpartnerskabsaftalen om 
effektivt udviklingssamarbej ‑
de fra 2011: http://www.oecd.
org/dac/effectiveness/
fourthhighlevelforumonaidef ‑
fectiveness.htm .
10 Fælleserklæring fra Rådet og 
repræsentanterne for 
medlemsstaternes regeringer, 
forsamlet i Rådet, 
Europa‑Parlamentet og 
Kommissionen om »den 
europæiske konsensus om 
udvikling« (EUT C 46 af 
24.2.2006, s. 1).
11 KOM(2011) 637 endelig af 
13. oktober 2011: »Forbedring 
af virkningen af EU’s 
udviklingspolitik: En 
dagsorden for forandring«.
12 Ordet program  anvendes 
i denne beretning om både 
projekter , som er små 
interventioner, og 
programmer , som er store 
interventioner.
13 http://www.oecd.org/dac/
evaluation/daccriteriaforeva ‑
luatingdevelopmentassistan ‑
ce.htm .
09 Indledning
09 
ROM‑systemet anvendes af Europe ‑
Aid til at kontrollere programmernes 
kvalitet på stedet. Det er baseret på, 
at eksterne eksperter aflægger korte 
besøg på stedet og giver karakterer 
for programmernes resultater (jf. 
bilag I ) ud fra de fem OECD‑DAC‑eva ‑
lueringskriterier (jf. punkt 8). Formålet 
med karaktergivningen er at sam ‑
menligne forskellige programmer og 
beregne samlede resultatdata for hele 
ROM‑porteføljen. Sammenlignet med 
evalueringer er ROM‑undersøgelser 
et lettere redskab, der giver en hurtig 
oversigt over programmernes resul ‑
tater. Ligesom programevalueringer 
kan ROM‑undersøgelser foretages 
under eller efter gennemførelsen af 
programmerne.10 
EuropeAid udarbejder følgende vigti ‑
ge rapporter:
a) den halvårlige rapport om for ‑
valtningen af bistanden til tred ‑
jelande (EAMR‑rapporten), som 
er EU‑delegationernes vigtigste 
rapporteringsdokument14
b) rapporterne fra EuropeAids di ‑
rektører om forvaltningen af de 
midler, de har fået tildelt
c) den årlige aktivitetsrapport fra 
EuropeAids generaldirektør til 
kommissæren samt til Europa‑Par ‑
lamentet og Rådet
d) årsrapporten om gennemførelsen 
af Den Europæiske Unions po ‑
litikker for udvikling og ekstern 
bistand, som Kommissionen fore ‑
lægger for Europa‑Parlamentet og 
Rådet
e) et bidrag til den evalueringsrap ‑
port ifølge artikel 318, som Kom ‑
missionen forelægger for Euro ‑
pa‑Parlamentet og Rådet.14 Fra og med 2014 er 
EAMR‑rapporten en årlig 
rapport.
10
 Revisionens omfang og 
revisionsmetoden
11 
Retten undersøgte, om EuropeAid har 
pålidelige evaluerings ‑ og ROM‑syste ‑
mer. Revisionen var koncentreret om 
tre hovedspørgsmål:
a) Er EuropeAids evaluerings ‑ og 
ROM‑funktioner hensigtsmæssigt 
organiseret, og er der afsat til ‑
strækkelige ressourcer til dem?
b) Giver EuropeAids evaluerings ‑ og 
ROM‑systemer relevante og solide 
resultater?
c) Sikrer EuropeAids evaluerings ‑ og 
ROM‑systemer, at resultaterne 
udnyttes maksimalt?
12 
Revisionen dækkede de evaluerings ‑ 
og ROM‑systemer, der blev anvendt 
i perioden fra 2007 til 2013. I de 
tilfælde, hvor der forelå tilstrækkelige 
oplysninger, som Retten kunne kon ‑
trollere, tog den hensyn til ændringer, 
som EuropeAid havde vedtaget eller 
planlagt med henblik på perioden fra 
2014 til 2020.13 
Revisionen blev foretaget mellem 
november 2013 og marts 2014 og 
omfattede:
a) en gennemgang af EuropeAids ret ‑
ningslinjer for evaluering og ROM 
samt af de vigtigste dokumenter 
og processer vedrørende forvalt ‑
ningen af evalueringer
b) samtaler med tjenestemænd fra 
otte enheder i EuropeAid15
c) besøg hos EU‑delegationerne 
i Benin og Indien, hvor der blev 
ført samtaler med delegationernes 
ansatte og gennemgået relevant 
dokumentation
d) en gennemgang af programme ‑
ringsdokumenter (jf. bilag II ), 
programfinansieringsaftaler (jf. bi-
lag III ), strategiske evalueringer og 
programevalueringer (jf. bilag IV ) 
samt ROM‑rapporter (jf. bilag V )
e) et spørgeskema, der blev sendt 
til 50 EU‑delegationer, hvoraf 41 
svarede (jf. bilag VI ).15 Evaluering; Kvalitet og 
resultater; AVS‑planlægning 
og horisontal koordinering; 
Geografisk koordinering Asien 
og Stillehavsområdet; 
Uddannelse, sundhed, 
forskning, kultur; 
Landdistriktsudvikling, 
fødevaresikkerhed, ernæring; 
Afrika‑EU‑partnerskab, 
fredsfacilitet; Regionale 
programmer Naboskab Syd.
11
 Bemærkninger
16 Der er i alt fem 
ROM‑koordinatorer: én for de 
geografiske programmer 
i hver af de fire regioner 
(Afrika, Vestindien og 
Stillehavet — Asien — 
Latinamerika — Nabolande) 
og én for tematiske 
programmer.Samlet set er evaluerings- 
og ROM -funktionerne 
velorganiserede, men 
EuropeAid kunne med 
fordel være mere 
opmærksom på, at 
ressourcerne anvendes 
produktivt
14 
Retten undersøgte, om evaluerings ‑ 
og ROM‑systemerne sikrer en hen ‑
sigtsmæssig ansvarsfordeling og en 
produktiv anvendelse af de finansielle 
og menneskelige ressourcer.
Ansvarsfordelingen 
er fornuftig, men 
overvågningen af 
programevalueringerne er 
utilstrækkelig
15 
EuropeAids organisation er en vel ‑
lykket kombination af centrale og 
decentrale ansvarsområder. EuropeAid 
forvalter følgende ansvarsområder 
centralt:
a) Evalueringsenheden forvalter de 
strategiske evalueringer og er 
derfor nødt til at have et samlet 
overblik over EuropeAids aktivi ‑
teter. Enheden er ansvarlig for at 
udvikle evalueringsmetoder og 
for at koordinere og overvåge 
EuropeAids evalueringsaktiviteter. 
Den spiller også en central rolle 
i forbindelse med rapporteringen 
af evalueringsresultater i den årlige 
aktivitetsrapport og årsrapporten 
og i forbindelse med EuropeAids 
bidrag til Kommissionens evalue ‑
ringsrapport ifølge artikel 318b) Enheden for kvalitet og resultater 
fører tilsyn med ROM‑systemet 
— bl.a. har den ansvaret for den 
overordnede kvalitetssikring, der 
er fælles for hele organisationen, 
og for at sikre sammenhæng 
mellem den resultatorienterede 
overvågning og programevaluerin ‑
gerne — og bidrager til analysen 
af ROM‑data og programevalu ‑
eringsdata. Enheden leverer de 
samlede ROM‑resultatvurderinger, 
der anvendes i den årlige aktivi ‑
tetsrapport og årsrapporten
c) ROM‑koordinatorerne i Europe ‑
Aid16 fører tilsyn med ROM‑sy ‑
stemet på deres respektive 
interventionsområder. I Europe ‑
Aids operationelle enheder og 
EU‑delegationerne yder ROM‑kon ‑
taktpunkter støtte til eksperter 
i forbindelse med tilrettelæggelse 
af besøg på stedet.
16 
Evalueringsenheden og enheden for 
kvalitet og resultater rapporterer di ‑
rekte til en vicegeneraldirektør. Denne 
er tilstrækkelig højt placeret i orga ‑
nisationen til at sikre, at de får støtte 
fra den øverste ledelse i udøvelsen af 
deres funktioner.
12 Bemærkninger
17 
Forvaltningen af programevaluerin ‑
gerne er uddelegeret til EuropeAids 
operationelle enheder og EU‑delega ‑
tionerne. Dette indebærer potentielle 
fordele med hensyn til at sikre, at 
evalueringsresultaterne bliver anvendt. 
Programforvalterne har imidlertid 
en betydelig grad af selvstændighed 
i forvaltningen af programevalue ‑
ringerne, da de er ansvarlige for alle 
trin i processen fra iværksættelse til 
opfølgning af resultater. Eftersom der 
ikke foretages nogen samlet koordine ‑
ring og overvågning af denne aktivitet, 
har EuropeAid ikke overblik over den, 
og den øverste ledelses tilsyn er meget 
begrænset.
EuropeAid lægger ikke 
tilstrækkelig vægt på en 
produktiv anvendelse af 
ressourcerne
18 
Ifølge Kommissionens evaluerings ‑
standarder skal der afsættes passende 
ressourcer til evalueringsaktiviteter, så 
de kan opfylde deres formål. Nærmere 
bestemt skal hvert generaldirekto ‑
rat sørge for en klar kortlægning og 
en forholdsmæssig fordeling af de 
menneskelige og finansielle ressourcer 
med henblik på de evalueringsaktivite ‑
ter, der skal udføres.19 
EuropeAid har ikke tilstrækkelige 
oplysninger om de ressourcer, der an ‑
vendes i dets evaluerings ‑ og ROM‑sy ‑
stemer. Der foreligger oplysninger om 
de årlige omkostninger til strategiske 
evalueringer, som ligger på mellem 5 
og 6 millioner euro, og til ROM, som lå 
på 17 millioner euro i perioden 2007 ‑
201317. Ifølge skøn foretaget af Euro ‑
peAid i 2010 og 2013 ligger de årlige 
omkostninger til programevalueringer 
på mellem 12 og 15 millioner euro. De 
samlede årlige omkostninger til evalu ‑
eringer og ROM skulle således beløbe 
sig til 34 ‑38 millioner euro. Eftersom 
EuropeAid ikke har pålidelige oplys ‑
ninger om antallet af programevalue ‑
ringer, og det ikke er let at identificere 
deres omkostninger i IT‑ledelsesinfor ‑
mationssystemet18, kan Retten imid ‑
lertid ikke bekræfte nøjagtigheden af 
disse skøn.
20 
Der er 16 medarbejdere i evaluerings ‑
enheden, og ca. én fuldtidsækvivalent 
i enheden for kvalitet og resultater 
er beskæftiget med ROM. Men der 
er ingen ledelsesinformation om de 
personaleressourcer, som program ‑
forvaltere, ROM‑kontaktpunkter og 
ROM‑koordinatorer anvender på 
programevalueringer og ROM‑under ‑
søgelser. På grundlag af sin spørgeske ‑
maundersøgelse anslår Retten, at ca. 
60 fuldtidsækvivalente medarbejdere 
er beskæftiget med ROM‑undersøgel ‑
ser og programevalueringer i EU‑dele ‑
gationerne. Det er således sandsynligt, 
at det samlede antal fuldtidsækviva ‑
lente medarbejdere, der er beskæfti ‑
get med evalueringer og ROM, ligger 
et godt stykke over 80.17 EuropeAid anslår, at disse 
årlige omkostninger vil stige til 
ca. 25,5 millioner euro, navnlig 
fordi besøgene på stedet vil 
blive længere (gennemsnitlig 
otte dage i stedet for to dage), 
og der vil skulle anvendes flere 
senioreksperter.
18 Det fælles 
Relex‑informationssystem.
13 Bemærkninger
21 
Fordi der mangler pålidelige oplys ‑
ninger, kan EuropeAid ikke sikre, at de 
menneskelige og finansielle ressourcer 
er passende, og at de er forholdsmæs ‑
sigt fordelt på de forskellige evalue ‑
rings ‑ og ROM‑aktiviteter.
22 
Retten konstaterede, at programevalu ‑
eringer og ROM‑undersøgelser var util ‑
strækkeligt koordineret med hinanden, 
hvilket meget vel kan føre til manglen ‑
de produktivitet. Der anvendes f.eks. 
helt forskellige planlægningsmetoder 
og kriterier19 (jf. punkt 26 og 30). En 
uhensigtsmæssig kombination af 
ROM‑undersøgelser og evalueringer 
kan medføre, at programmer vurderes 
for lidt eller for meget, eller at de som ‑
me tider slet ikke vurderes — hvilket 
ofte er tilfældet på stadiet efter gen ‑
nemførelsen (jf. punkt 43 ‑46). Dette 
bekræftes af Rettens spørgeskemaun ‑
dersøgelse: Kun halvdelen af respon ‑
denterne mente, at programevaluerin ‑
ger og ROM‑undersøgelser supplerer 
hinanden godt.EuropeAids evaluerings- 
og ROM -systemer giver 
ikke i tilstrækkelig grad 
relevante og solide 
resultater
23 
Retten undersøgte, om evalueringerne 
og ROM‑undersøgelserne blev udvalgt 
på grundlag af hensigtsmæssige krite ‑
rier, og om de gennemføres rettidigt. 
Den undersøgte endvidere, om de 
blev foretaget af tilstrækkelig kvalifi ‑
cerede eksperter, om procedurerne for 
kvalitetskontrol blev anvendt effektivt, 
og om evalueringerne og ROM‑under ‑
søgelserne gav tilstrækkeligt bevis for 
de resultater, der var opnået ved hjælp 
af EuropeAids interventioner.
Der er svagheder med 
hensyn til udvælgelsen af 
programevalueringer og den 
rettidige gennemførelse af 
evalueringerne
De flerårige planer for 
strategiske evalueringer bygger 
på hensigtsmæssige kriterier
24 
Hensigten med den vejledende fler ‑
årige evalueringsplan for perioden 
2007 ‑2013 var at sikre fuld geografisk 
dækning for at høste erfaringer med 
henblik på den efterfølgende pro ‑
grammeringsproces. De tematiske 
evalueringer blev udvalgt på grundlag 
af omfanget af de tildelte midler og 
sektorernes betydning i EU‑samar ‑
bejdsstrategierne på landeniveau 
og regionalt niveau. Hensigten var 
også at foretage flere evalueringer af 
bistandsmetoder (f.eks. budgetstøtte, 
samarbejde med EIB, udviklingsbanker, 
samarbejde med FN‑organisationer).19 Den eneste regel er, at der ikke 
bør foretages en 
ROM‑undersøgelse samme år 
som en programevaluering.
14 Bemærkninger
25 
Med henblik på det rullende arbejds ‑
program for perioden 2014 ‑2018 
blev udvælgelseskriterierne forfinet 
yderligere. Målet var at skaffe tilstræk ‑
keligt materiale, så man i 2017 kunne 
rapportere til Europa‑Parlamentet og 
Rådet om de finansielle instrumenters 
resultater og virkninger, som fastsat 
i de fælles regler og procedurer for 
gennemførelse af instrumenterne til 
finansiering af Unionens optræden 
udadtil20. De tematiske evalueringer 
blev udvalgt på grundlag af de pri ‑
oriterede temaer i dagsordenen for 
forandring21, og målet var at sikre en 
forholdsmæssig balance mellem regi ‑
oner (Afrika, Latinamerika og Asien) 
og landetyper (mellemindkomstlande, 
skrøbelige stater og lande med store 
budgetstøtteprogrammer).
Kriterierne for udvælgelse af 
programevalueringer er uklare
26 
Den væsentligste grund til at foreta ‑
ge en programevaluering er, at det 
er fastsat som et krav eller en mulig ‑
hed i den finansieringsaftale, der er 
indgået med støttemodtageren eller 
gennemførelsespartneren. Evalue ‑
ringsbestemmelserne i disse aftaler 
fastlægges individuelt i programmets 
udformningsfase, men der er ingen 
vejledning i, hvordan dette skal gøres. 
Rettens gennemgang af 20 nyere 
programmer (jf. bilag III ) viste, at der 
uden forklaring var anvendt væsentligt 
forskellige tilgange:a) Der var fastsat bestemmelser 
om midtvejsevalueringer i alle 
programmerne, men de var kun 
obligatoriske i halvdelen af dem
b) Der var kun bestemmelser om 
efterfølgende evalueringer i to 
tredjedele af programmerne, og de 
var kun obligatoriske i ét af dem.
Evalueringerne bliver ofte ikke 
leveret som planlagt
27 
EuropeAid har ikke oprettet et hen ‑
sigtsmæssigt system til at overvåge 
gennemførelsen af planerne for strate ‑
giske evalueringer og programevalue ‑
ringer, analysere årsagerne til afvigel ‑
ser og afhjælpe de systemiske årsager 
til forsinkelser.
28 
De strategiske evalueringer tog ofte 
meget længere tid end planlagt22. Det ‑
te var en medvirkende årsag til, at det 
vejledende flerårige evalueringspro ‑
gram for perioden 2007 ‑2013 ikke blev 
gennemført: Kun 70 % af de udvalgte 
evalueringer var blevet afsluttet. Ifølge 
EuropeAid skyldtes dette navnlig 
personalemæssige begrænsninger 
i evalueringsenheden.20 Artikel 17 
i Europa‑Parlamentets og 
Rådets forordning (EU, 
Euratom) nr. 236/2014 af 
11. marts 2014 om fælles regler 
og procedurer for 
gennemførelse af 
instrumenterne til finansiering 
af Unionens optræden udadtil 
(EUT L 77 af 15.3.2014, s. 95).
21 De centrale politiske 
prioriteter er:
•  menneskerettigheder, 
demokrati og 
regeringsførelse (herunder 
retsstatsprincippet, 
ligestilling mellem kønnene 
og selvstændiggørelse af 
kvinder, offentlig 
forvaltning, skattepolitik og 
administration, korruption, 
civilsamfundet og lokale 
myndigheder, 
naturressourcer og 
sammenhængen mellem 
udvikling og sikkerhed)
•  inklusiv og bæredygtig 
vækst (social beskyttelse, 
sundhed, uddannelse og 
beskæftigelse, 
erhvervsklima, regional 
integration og 
verdensmarkederne samt 
bæredygtigt landbrug og 
bæredygtig energi).
22 Landeevalueringerne tog 
i gennemsnit 18 måneder 
i stedet for de planlagte 
12 måneder.
15 Bemærkninger
29 
Selv om programevalueringerne nor ‑
malt blev gennemført i overensstem ‑
melse med tidsplanen, viste Rettens 
spørgeskemaundersøgelse, at der 
i perioden 2010 ‑2013 var stor forskel 
med hensyn til planlagte evalueringer 
og udførte evalueringer23. Bestemmel ‑
serne i finansieringsaftalerne blev ikke 
fulgt systematisk under programgen ‑
nemførelsen, idet evalueringer somme 
tider blev udsat eller aflyst. Rettens 
spørgeskemaundersøgelse viste, at 
EU‑delegationerne træffer sådanne 
beslutninger under hensyntagen til 
faktorer såsom begrænsede persona ‑
leressourcer24, behovene hos bruger ‑
ne af evalueringerne og problemer 
i forbindelse med programgennemfø ‑
relsen. Årsagerne til ikke at gennem ‑
føre de planlagte evalueringer var ikke 
dokumenteret. Dette øger risikoen for, 
at beslutninger om ikke at gennemføre 
evalueringer ikke er velbegrundede, 
eller at de ikke træffes på det rigtige 
niveau.
ROM -udvælgelsesmetoden 
begrænser ROM -systemets 
anvendelighed
30 
Udvælgelsen af ROM‑undersøgelser 
bygger på klart definerede standard ‑
kriterier25 og foretages af ROM‑kon ‑
trahenterne og programforvalterne 
i fællesskab. ROM‑undersøgelserne 
gennemføres normalt som planlagt, 
og rapporterne leveres normalt uden 
væsentlige forsinkelser.31 
I sin særberetning nr. 1/201126 påpege ‑
de Retten imidlertid en række væsent ‑
ligste begrænsninger for ROM’s brug ‑
barhed som indikator for den samlede 
bistandsportefølje, navnlig at stikprø ‑
ven af projekter ikke udtages på et sta ‑
tistisk grundlag, men på grundlag af et 
skøn. I 2011 konstaterede EuropeAids 
interne revisionsfunktion desuden, at 
eftersom udvælgelsen ikke er risikoba ‑
seret, giver ROM‑undersøgelserne ikke 
feedback til forvalterne af de program ‑
mer, hvor der er størst behov for at 
forbedre programgennemførelsen.
De procedurer, der skal sikre 
programevalueringernes 
og ROM -undersøgelsernes 
kvalitet, bliver ikke fulgt 
konsekvent
Kontraktindgåelsesprocedu -
rerne sikrer, at der ansættes 
eksperter med tilstrækkelige 
kvalifikationer
32 
Evalueringerne udføres af eksterne 
konsulenter, som EuropeAid indgår 
kontrakt med efter afholdelse af 
offentlige udbud. Konsulentfirmaer ‑
nes tilbud bedømmes på grundlag af 
specifikke krav27, især krav vedrørende 
eksperternes faglige kvalifikationer. 
Holdledere og senioreksperter har 
normalt 10 til 15 års faglig erfaring på 
interventionsområdet, og holdleder ‑
ne har desuden fem års erfaring med 
evaluering.23 EU‑delegationerne havde 
i gennemsnit planlagt 
3,5 årlige evalueringer og 
udført 2,9.
24 Dette blev angivet som 
hovedårsagen til ikke at 
gennemføre en planlagt 
evaluering.
25 De vigtigste årsager til at 
vælge ikke at anvende 
standardkriterierne er: i) at 
man vil undgå unødvendig 
overvågning af godt 
forvaltede programmer eller 
programmer, der er blevet 
evalueret for nylig, ii) at man 
vil dække problematiske 
programmer under den 
finansielle tærskel, og iii) at 
man vil styrke 
overvågningsindsatsen 
vedrørende programmer, hvor 
den interne overvågning er 
utilstrækkelig.
26 Særberetning nr. 1/2011 »Har 
dekoncentreringen af 
Kommissionens forvaltning af 
bistand til tredjelande fra 
hovedsædet til 
delegationerne ført til bedre 
bistandslevering?«, punkt 25 
(http://eca.europa.eu ).
27 Udbudsbetingelser eller 
tekniske specifikationer.
16 Bemærkninger
33 
ROM‑undersøgelserne udføres også af 
eksterne konsulentfirmaer (ROM‑kon ‑
trahenter), der vælges ved offentlige 
udbud28. Den krævede erfaring med 
udviklingssamarbejde i den relevante 
region er 10 år for senioreksperter, 5 
til 10 år for eksperter på mellemniveau 
og op til fem år for junioreksperter. 
I forbindelse med de kontrakter, der 
skulle indgås i 2014, stillede EuropeAid 
krav til ROM‑kontrahenterne om at 
langtidsansætte specialiserede eksper ‑
ter for at styrke ekspertisen yderligere.
Procedurerne for 
kvalitetskontrol af 
programevalueringer og 
ROM -undersøgelser bliver ikke 
fulgt systematisk
34 
Kommissionens evalueringsstandarder 
fastsætter, at der for hver evaluering, 
undtagen i behørigt begrundede 
tilfælde, skal nedsættes en reference ‑
gruppe29, der kan rådgive om udbuds ‑
betingelserne, støtte evalueringsar ‑
bejdet og med passende mellemrum 
deltage i vurderingen af evaluerings ‑
kvaliteten. Det fremhæves i Europe ‑
Aids retningslinjer for evaluering, at 
det er en central opgave for evalue ‑
ringslederen sammen med reference ‑
gruppen at sørge for kvalitetssikring 
på alle trin i processen, og at referen ‑
cegruppen bør omfatte repræsentan ‑
ter for de vigtigste interessenter30.
35 
Der nedsættes systematisk en referen ‑
cegruppe i forbindelse med strategi ‑
ske evalueringer. Grupperne afholder 
regelmæssige møder, og deres arbej ‑
de — herunder kvalitetskontrol på alle 
trin — dokumenteres i mødereferater.36 
Det var ikke tilfældet i forbindelse med 
programevalueringer. Ifølge Rettens 
spørgeskemaundersøgelse er det kun 
39 % af EU‑delegationerne, der altid el ‑
ler for det meste nedsætter reference ‑
grupper31, og de operationelle enheder 
i EuropeAid og de EU‑delegationer, 
som Retten besøgte, nedsatte kun 
sjældent formelle referencegrupper. 
Det kan ske, at programforvalteren 
rådfører sig med andre interessenter 
på forskellige trin i evalueringsproces ‑
sen (f.eks. i forbindelse med udarbej ‑
delsen af udbudsbetingelserne eller 
gennemgangen af den foreløbige 
evalueringsrapport). Da der ikke forelå 
passende dokumentation, kunne Ret ‑
ten imidlertid ikke vurdere, om dette 
var en hyppig praksis.
37 
EuropeAids retningslinjer for evalu ‑
ering fastsætter, at kvaliteten af den 
foreløbige og endelige evaluerings ‑
rapport skal vurderes ud fra ni klart 
definerede kriterier32. Til dette formål 
skal to personer drøfte de ni kriterier 
og udfylde et kvalitetsskema. I forbin ‑
delse med strategiske evalueringer 
blev kvalitetsskemaet systematisk 
udfyldt og offentliggjort sammen med 
evalueringsrapporten på EuropeAids 
websted33. I forbindelse med pro ‑
gramevalueringer er det ifølge Rettens 
spørgeskemaundersøgelse kun 71 % af 
EU‑delegationerne, der vurderer evalu ‑
eringsrapportens kvalitet, og kun 37 %, 
der udfylder kvalitetsskemaet34.28 Der er i alt fem 
ROM‑kontrahenter: én for de 
geografiske programmer 
i hver af de fire regioner 
(Afrika, Vestindien og 
Stillehavet — Asien — 
Latinamerika — Nabolande) 
og én for de tematiske 
programmer.
29 Kaldes også »styringsgruppe« 
i Kommissionen.
30 Afhængigt af evalueringstype 
og ‑sted kan 
referencegruppen omfatte 
repræsentanter for EuropeAid, 
EU‑Udenrigstjenesten, andre 
afdelinger i Kommissionen, 
partnerlandets myndigheder, 
civilsamfundsorganisationer, 
andre donorkontorer eller 
andre eksperter.
31 Der var ikke blevet nedsat 
formelle referencegrupper i de 
delegationer og operationelle 
enheder, som Retten besøgte 
under revisionen, undtagen 
i forbindelse med de 
programevalueringer, der var 
af samme type som 
strategiske evalueringer.
32 De ni kriterier er: 1) dækning af 
behov, 2) relevant omfang, 3) 
forsvarlig udformning, 4) 
pålidelige data, 5) grundig 
analyse, 6) troværdige 
resultater, 7) gyldige 
konklusioner, 8) nyttige 
anbefalinger, 9) klar rapport. 
I forbindelse med 
programevalueringer slås 
kriterium 2 og 3 sammen til ét: 
hensigtsmæssig udformning. 
For hvert kriterium gives der 
en vurdering: udmærket, 
meget godt, godt, dårligt eller 
uacceptabelt. ( http://
ec.europa.eu/europeaid/
evaluation/methodology/
guidelines/
gui_qal_flr_en.htm#03 ).
33 http://ec.europa.eu/
europeaid/
evaluation‑reports_en .
34 Dette skema var kun udfyldt 
for én af de ti 
programevalueringer, som 
Retten gennemgik, nemlig 
evalueringen af 
fredsfaciliteten for Afrika.
17 Bemærkninger
38 
Programforvalterne skal vurdere 
ROM‑rapporternes kvalitet ved at 
udfylde et obligatorisk responsark. 
Dette var gjort for under 60 % af de 
ROM‑rapporter, der blev leveret i peri ‑
oden fra 2011 til 2013.
Evaluerings- og 
ROM -systemerne giver ikke 
tilstrækkelige oplysninger 
om de opnåede resultater
Programmernes målsætninger 
og indikatorer er ikke klart 
defineret
39 
Det er kun muligt at foretage en vel ‑
dokumenteret vurdering af program ‑
mernes resultater, hvis der er opstillet 
specifikke, målelige og tidsbestemte 
målsætninger samt objektivt kontrol ‑
lerbare indikatorer. De målsætninger, 
der omtales i politikdokumenter på 
højt plan og i retsakterne om opret ‑
telse af finansieringsinstrumenterne, 
udarbejdes i en politisk sammenhæng 
og er derfor ofte ikke detaljerede nok 
til at være anvendelige i forbindelse 
med gennemførelsen, selv om de skal 
danne grundlag for den. De skal om ‑
sættes i mere specifikke operationelle 
målsætninger, når bistanden til et land, 
en region eller en sektor programme ‑
res, og når de enkelte interventioner 
udformes.40 
Fem35 af de 15 programmeringsdoku ‑
menter vedrørende temaer, regioner 
og lande, som Retten gennemgik (jf. 
bilag II ), indeholdt klart definerede 
målsætninger og indikatorer, men de 
havde ingen basislinjer eller mål, som 
kunne danne grundlag for en vurde ‑
ring af resultaterne. De resterende 
10 programmeringsdokumenter havde 
uklare målsætninger, og der manglede 
ofte indikatorer (jf. tekstboks 1 ).
41 
Med hensyn til de enkelte programmer 
har Retten i flere af sine beretninger36 
fremhævet, at målsætningerne ikke 
er tilstrækkelig klare, og at der ikke 
er opstillet målelige indikatorer. I fire 
af de ti programevalueringsrappor ‑
ter, som Retten gennemgik, var det 
angivet som væsentlige svagheder, at 
målsætningerne og indikatorerne var 
uklare, samt at der manglede basislin ‑
jer og ikke forelå overvågningsdata37 
(jf. tekstboks 2 ). Kun to evalueringer 
indeholdt positive kommentarer ved ‑
rørende dette aspekt38.
42 
Når der ikke er opstillet klare målsæt ‑
ninger og indikatorer, kan en evalu ‑
ering ikke føre til evidensbaserede 
resultatvurderinger. Dette forhold om ‑
tales også i en undersøgelse fra 2011, 
som EuropeAid havde bestilt39.35 Fødevaresikkerhed, Benin, 
Tchad, Uruguay og Zambia.
36 F.eks. særberetning nr. 1/2012 
»Effektiviteten af Den 
Europæiske Unions 
udviklingsbistand til 
fødevaresikkerhed i Afrika syd 
for Sahara«, punkt 51, og 
særberetning nr. 13/2013 »EU’s 
udviklingsbistand til 
Centralasien«, punkt 52. 
(http://eca.europa.eu ).
37 Tilsvarende kommentarer blev 
fremsat i årsrapporterne for 
2011, 2012 og 2013 fra to 
ROM‑kontrahenter, hvoraf den 
ene havde ansvaret for den 
resultatorienterede 
overvågning af det 
europæiske naboskabs ‑ og 
partnerskabsinstrument og 
den anden for overvågningen 
af de centralt forvaltede 
tematiske programmer.
38 Benin: PACTE ‑ »programme 
d’appui aux collectivités 
territoriales« og 
fødevarefacilitetsprogrammer 
gennemført i samarbejde med 
Den Afrikanske Union – 
Interafrican Bureau for Animal 
Resources (AU‑IBAR): 
»Livestock Emergency 
Intervention to mitigate Food 
Crisis in Somalia« (LEISOM) og 
»Vaccines for the Control of 
Neglected Animal Diseases in 
Africa« (VACNADA).
39 »Study on Legal Instruments 
and Lessons Learned from the 
Evaluations Managed by the 
Joint Evaluation Unit«, 
juli 2011, punkt 26, s. ix 
(undersøgelsen omfatter ikke 
EUF). http://ec.europa.eu/
europeaid/
evaluation‑reports_en  under 
afsnittet »per instrument/
channel«.
18 Bemærkninger
Eksempler på vage målsætninger i flerårige programmeringsdokumenter
Investering i mennesker: midtvejsevalueringen af strategidokumentet for det tematiske program 
(2007-2013) og det flerårige vejledende program for 2011-2013
Med hensyn til at styrke sundhedssystemerne og sikre universel adgang til grundlæggende sundhedspleje:
Når det gælder levering af tjenester, bør den tematiske foranstaltning fokusere på at støtte aktiviteter, der:
 οstimulerer en effektiv mobilisering af ressourcer til styrkelse af omfattende sundhedssystemer og levering 
af universelt dækkende sundhedsydelser
 οfremmer og støtter anvendelsen af innovative fremgangsmåder og gode praksis med henblik på at afhjæl ‑
pe svagheder i leveringen af sundhedsydelser og forbedre plejens kvalitet
 οstøtter den rolle, som civilsamfundet, faglige sammenslutninger og andre interessenter spiller i forbindelse 
med oplysning, politikovervågning og rådgivning på sundhedsområdet
 οstøtter platforme for politisk dialog og udveksling af gode praksis vedrørende forskellige sundhedsaspek ‑
ter på regionalt og globalt niveau
 οstøtter partnerlandene i deres opfyldelse af de internationale retlige forpligtelser på sundhedsområdet.
Landestrategidokument/nationalt vejledende program for Bolivia for 2007-2013
Styrkelse af produktionssektoren, herunder mikrovirksomheder og SMV’er, og forbedring af de institutionelle 
rammer med henblik på at øge virksomhedernes produktivitet og konkurrenceevne, hvilket vil føre til bedre 
markedsadgang og -integrering med det formål at skabe anstændigt og bæredygtigt arbejde .
Eksempler på vage målsætninger i programmer
EuroMed Migration  II, 2008-2011
Styrke samarbejdet om migrationsforvaltning med henblik på at opbygge MEDA- partnernes kapacitet til at 
tilvejebringe en effektiv, målrettet og omfattende løsning med hensyn til de forskellige former for migration.
Fredsfaciliteten for Afrika, 2003-2013
Støtte gennemførelsen af den afrikanske freds- og sikkerhedsarkitektur (APSA) og øge Den Afrikanske Unions 
og de regionale afrikanske organisationers effektivitet med hensyn til at udføre fredsstøttende operationer 
i Afrika.Tekstboks 1 Tekstboks 2
19 Bemærkninger
Evalueringerne og 
ROM -undersøgelserne 
fokuserer mere på 
programgennemførelsen end 
på de opnåede resultater
43 
Det fremgår af EuropeAids retningslin ‑
jer for evaluering:
a) at formålet med midtvejsevalue ‑
ringer og endelige evalueringer er 
at høste erfaringer fra de første års 
gennemførelse af en intervention, 
justere den igangværende inter ‑
vention, hvis det er påkrævet, og 
foretage en analyse af de første 
resultater og virkninger
b) at formålet med efterfølgende 
evalueringer primært er at kon ‑
trollere de opnåede virkninger og 
vurdere, om interventionens gavn ‑
lige virkninger er bæredygtige, at 
rapportere til de institutioner, der 
har tildelt ressourcerne, og bidrage 
til at overføre de indhøstede erfa ‑
ringer til andre lande eller sektorer.
44 
Der foretages sjældent efterfølgende 
programevalueringer. I de to EU‑dele ‑
gationer, som Retten besøgte, var kun 
tre af de 17 evalueringer, der blev fore ‑
taget i perioden 2010 ‑2013, efterføl ‑
gende evalueringer. Finansieringsafta ‑
lerne stiller sjældent krav om sådanne 
evalueringer (jf. punkt 26 b)). En anden 
årsag til, at der ikke foretages efterføl ‑
gende evalueringer er, at programeva ‑
lueringer finansieres over program ‑
mets eget budget og derfor skal være 
færdige, når projektet afsluttes.45 
EuropeAid angiver som yderligere 
faktorer, at der ikke foreligger over ‑
vågningsdata vedrørende situationen 
efter programmets afslutning, og at en 
eventuel udvikling i partnerlandet kan 
indvirke på programmets effektivitet. 
Retten anser ikke disse argumenter for 
at være gyldige: Overvågningssyste ‑
met kan udformes, så det fortsætter 
med at indsamle de ønskede data i en 
bestemt periode efter programaf ‑
slutningen (jf. punkt 47), og formålet 
med at evaluere er også at identifi ‑
cere og vurdere uventede faktorers 
indvirkning.
46 
Det fremgår af ROM‑retningslinjerne40, 
at en efterfølgende ROM‑undersøgelse 
af et projekt gør det muligt at indsam ‑
le solide oplysninger om udformning, 
reel virkning og bæredygtighed, som 
først rigtig kan vurderes efter projek ‑
tafslutningen. Men i gennemsnit var 
kun 11 % af de ROM‑undersøgelser, 
der blev udført i perioden 2008 ‑2012, 
efterfølgende undersøgelser. Europe ‑
Aid besluttede ikke at foretage flere 
fra og med 2014. EuropeAid mente, 
at den metode, der blev anvendt ved 
efterfølgende ROM‑undersøgelser, var 
uegnet til at vurdere virkninger, og at 
det ændrede ROM‑system kun har til 
formål at støtte programforvaltningen 
og ‑ gennemførelsen.40 Jf. »ROM Handbook 2012«, 
s. 57.
20 Bemærkninger
47 
I modsætning til EuropeAid, der kun 
udfører få efterfølgende programeva ‑
lueringer og ROM‑undersøgelser, har 
Den Europæiske Investeringsbank 
(EIB) siden 2012 anvendt det såkaldte 
»Results Measurement Framework« 
(ReM), som omfatter efterfølgende 
overvågning indtil tre år efter projek ‑
tafslutningen, og EIB agter at bruge 
de indsamlede data til efterfølgende 
evalueringer.
Metoden til evaluering af 
budgetstøtte har iboende 
begrænsninger
48 
Under ledelse af EuropeAids evalue ‑
ringsenhed har OECD‑DAC’s netværk 
vedrørende udviklingsevaluering 
udarbejdet dokumentet »Evaluating 
Budget Support — Methodological 
Approach«, der blev offentliggjort 
i 201241. Der er tale om en fælles ram ‑
me for evaluering af budgetstøtteope ‑
rationer, som udstikker retningslinjer 
for, hvordan sådanne evalueringer skal 
tilrettelægges og udføres. Det erken ‑
des i dokumentet, at det i de fleste 
tilfælde vil være vanskeligt at kvantifi ‑
cere budgetstøttens bidrag, så det er 
nødvendigt at foretage en kvalitativ 
vurdering.
49 
Kvalitative vurderinger indgår natur ‑
ligvis i alle evalueringer, men det er 
svært at påvise entydige og logiske 
årsagssammenhænge mellem de 
observerede resultater og budgetstøt ‑
teprogrammerne, og dette svækker 
evalueringsdokumentationens pålide ‑
lighed. Denne iboende begrænsning 
omtales hverken i evalueringsrappor ‑
terne om budgetstøtte42 eller i Europe ‑
Aids rapporter43.Rapporterne giver ikke meget 
dokumentation for de opnåede 
resultater
50 
EuropeAids mulighed for at vurdere og 
rapportere om de opnåede resultater 
reduceres væsentligt af, at de operati ‑
onelle programmers målsætninger og 
indikatorer ikke er tilstrækkelig klare, 
og at evalueringerne og ROM‑under ‑
søgelserne primært foretages under 
gennemførelsen af programmerne.
51 
Som Retten har nævnt i flere af sine 
beretninger44, er der kun få oplysnin ‑
ger om de faktiske resultater af bistan ‑
den i EU‑delegationernes rapporter 
om forvaltningen af bistanden til 
tredjelande og EuropeAids to centrale 
årsrapporter, der typisk har mere fokus 
på de gennemførte aktiviteter end på 
opfyldelsen af politikmål.
52 
Dette gælder også EuropeAids bidrag 
til Kommissionens evalueringsrappor ‑
ter ifølge artikel 318. Retten bemær ‑
kede i sin årsberetning for 201245, at 
disse evalueringsrapporter trods en 
række positive udviklinger ikke gav 
tilstrækkeligt, relevant og troværdigt 
bevis for, hvad der var opnået ved 
hjælp af EU‑politikkerne, og at de 
derfor ikke, som det var hensigten, var 
velegnede til brug i forbindelse med 
dechargeproceduren.41 http://www.oecd.org/dac/
evaluation/dcdndep/
Methodological%20approach 
%20BS%20evaluations%20
Sept%202012%20_with%20
cover%20Thi.pdf .
42 EuropeAid har forvaltet fire 
budgetstøtteevalueringer: 
Mali og Tunesien (2011), 
Tanzania og Sydafrika (2013).
43 De årlige aktivitetsrapporter 
for 2011, 2013 og 2012.
44 Revisionsrettens årsberetning 
om budgetgennemførelsen 
i regnskabsåret 2011, 
punkt 10.12 (EUT C 344 af 
12.11.2012), særberetning 
nr. 1/2011, punkt 59, og 
særberetning nr. 13/2013, 
punkt 78 ‑80 (http://eca.
europa.eu ).
45 Revisionsrettens årsberetning 
om budgetgennemførelsen 
i regnskabsåret 2012, 
punkt 10.21 og 10.22 
(EUT C 331 af 14.11.2013).
21 Bemærkninger
EuropeAids evaluerings- 
og ROM -systemer sikrer 
ikke, at resultaterne 
udnyttes maksimalt
53 
Retten undersøgte, om EuropeAids 
evaluerings ‑ og ROM‑systemer sikrede, 
at deres resultater blev fulgt hensigts ‑
mæssigt op og videreformidlet til alle 
relevante brugere.
Der er ingen 
hensigtsmæssige 
opfølgningsmekanismer
Der er svagheder 
i opfølgningen af resultaterne 
af de strategiske evalueringer
54 
De foranstaltninger, der skal træffes 
som reaktion på en strategisk evalu ‑
ering, beskrives i et dokument46, der 
offentliggøres på EuropeAids websted 
sammen med evalueringsrapporten. 
Dette er en fornuftig praksis, men de 
fleste af de dokumenter, Retten gen ‑
nemgik, gav ikke tilstrækkelig detalje ‑
rede oplysninger om foranstaltninger ‑
ne, tidsplanen og ansvarsfordelingen.55 
Evalueringsenhedens opfølgning af 
handlingsplanen varer kun ét år efter 
offentliggørelsen af evalueringsrap ‑
porten. Ofte er dette ikke længe nok 
til at gennemføre handlingsplaner, der 
omfatter ændringer af sektorpolitikker 
og EU‑samarbejdsstrategier på lan ‑
deniveau og regionalt niveau47.
56 
I 2012 blev det endvidere konstateret 
i et OECD‑DAC‑peer review48, at Euro ‑
peAids evalueringsenhed ikke havde 
et klart overblik over, i hvilket omfang 
de anbefalinger, der byggede på de 
strategiske evalueringer, blev accepte ‑
ret og lagt til grund for nye politikker 
og programmer. I 2014 viste en under ‑
søgelse bestilt af EuropeAid, at resul ‑
taterne fra de strategiske evalueringer 
ikke anvendes effektivt.46 Kaldet »fiche contradictoire«.
47 F.eks. blev den tematiske 
evaluering af 
Europa‑Kommissionens støtte 
til respekten for 
menneskerettighederne og de 
grundlæggende 
frihedsrettigheder 
offentliggjort i 2011. Mange af 
foranstaltningerne skulle 
afsluttes efter 2012. Det gjaldt 
de fleste af de evalueringer, 
der blev afsluttet i 2012 og 
2013, hvis anbefalinger 
hovedsagelig skulle 
implementeres i løbet af 
programmeringsperioden 
2014 ‑2020.
48 »European Union (2012), DAC 
Peer Review: Main Findings 
and Recommendations« 
http://www.oecd.org/dac/
peer_reviews/europeanuni ‑
on2012dacpeerreviewmainfin ‑
dingsandrecommendations.
htm .
22 Bemærkninger
Der mangler dokumenteret 
opfølgning af 
programevalueringer og 
ROM -resultater
57 
Programevalueringernes og ROM‑un ‑
dersøgelsernes resultater drøftes 
normalt i de operationelle enheder 
eller i EU‑delegationerne, og pro ‑
gramforvalterne er ansvarlige for at 
sikre, at der træffes hensigtsmæssige 
foranstaltninger. I modsætning til de 
strategiske evalueringer udarbejdes 
der ikke systematisk dokumenterede 
handlingsplaner, som overvåges, hvil ‑
ket Retten konstaterede i de to EU‑de ‑
legationer, som den besøgte. Ifølge 
Rettens spørgeskemaundersøgelse er 
det kun 44 % af EU‑delegationerne, 
som normalt udarbejder handlingspla ‑
ner. De responsark, Retten gennemgik 
vedrørende ROM‑undersøgelserne, 
beskrev de foranstaltninger, der skulle 
træffes. Der var imidlertid kun udfyldt 
responsark for 60 % af de ROM‑under ‑
søgelser, der var blevet udført i perio ‑
den fra 2011 til 2013.
58 
I over halvdelen af de gennemgåede 
sager49 fandt Retten dokumentation 
for, at en del af programevaluerin ‑
gernes og ROM‑undersøgelsernes 
resultater var blevet anvendt. Da der 
ikke findes et hensigtsmæssigt opfølg ‑
ningssystem, kan EuropeAid imidlertid 
ikke sikre, at resultater og anbefalinger 
fra programevalueringer og ROM‑un ‑
dersøgelser anvendes effektivt.Når der ses bort fra 
programevalueringerne, 
videreformidles 
evaluerings -og 
ROM -resultaterne 
tilfredsstillende
Resultaterne af de 
strategiske evalueringer 
og ROM -resultaterne 
videreformidles korrekt
59 
Rapporterne om de strategiske evalu ‑
eringer og ROM‑undersøgelserne er 
let tilgængelige for alle EuropeAids 
enheder og EU‑delegationerne. Rap ‑
porterne om de strategiske evaluerin ‑
ger er også tilgængelige for eksterne 
interessenter. De offentliggøres på 
EuropeAids og OECD’s websteder og 
sendes til Europa‑Parlamentet, Rådet 
og EU’s medlemsstater. Rapporterne 
og de indhøstede erfaringer videre ‑
formidles endvidere på forskellige 
måder (f.eks. møder, workshops og 
seminarer), der er tilpasset de forskel ‑
lige målgrupper (f.eks. Kommissionen, 
EU‑Udenrigstjenesten, EU‑delegatio ‑
ner, EU‑institutioner, eksterne partnere 
og ekspertnetværk).
60 
I den årlige aktivitetsrapport50 og 
årsrapporten51 præsenterer EuropeAid 
en sammenfatning af de strategiske 
evalueringers resultater, de vigtigste 
erfaringer og de samlede ROM‑resul ‑
tatdata. EuropeAid bidrager også til 
udarbejdelsen af Kommissionens eva ‑
lueringsrapport ifølge artikel 318, som 
indeholder resuméer af de strategiske 
evalueringers resultater52.49 I seks af de ti gennemgåede 
programevalueringer og seks 
af de otte gennemgåede 
ROM‑undersøgelser.
50 Den årlige aktivitetsrapport 
for 2013, s. 117 ‑119 og 150 ‑162 
samt bilag 9.
51 »Annual report on the 
European Union’s 
development and external 
assistance policies and their 
implementation in 2012«, 
s. 166 ‑173.
52 COM(2013) 461 final af 26. juni 
2013 — Rapport fra 
Kommissionen til 
Europa‑Parlamentet og Rådet 
om evalueringen af Unionens 
finanser på grundlag af de 
resultater, der er opnået, s. 22 
og 23.
23 Bemærkninger
Videreformidlingen af 
programevalueringernes 
resultater er utilstrækkelig
61 
Programforvalterne sender normalt 
evalueringsrapporterne til og drøf ‑
ter dem med de interessenter, der er 
direkte berørt, dvs. primært Europe ‑
Aids geografiske og tematiske enhe ‑
der samt gennemførelsespartneren. 
Støttemodtagere og andre donorer får 
dem sjældent at se.
62 
Delegationerne skal i deres halvårlige 
rapporter til EuropeAid om forvaltnin ‑
gen af bistanden til tredjelande rede ‑
gøre for de erfaringer, de har høstet 
fra programevalueringer. De rapporter 
om forvaltningen af bistanden til 
tredjelande, som Retten gennemgik, 
indeholdt ingen eller kun meget få 
oplysninger om dette aspekt. Indtil 
2012 var der ikke fastsat et tilsvaren ‑
de rapporteringskrav vedrørende de 
programevalueringer, der forvaltes 
af EuropeAids operationelle enheder. 
EuropeAids årlige aktivitetsrapport for 
201353 giver et resumé af 15 af disse 
programevalueringer, men det er ikke 
angivet, hvor stor en andel de udgør 
af de samlede evalueringer, der blev 
afsluttet i 2013.
63 
Som Retten tidligere har påpeget54, 
kan programevalueringsrapporterne 
ikke bruges systematisk, fordi der 
ikke findes en central database til 
registrering af sådanne evalueringer. 
Dette reducerer væsentligt EuropeAids 
mulighed for at analysere disse oplys ‑
ninger, videreformidle dem internt og 
til eksterne interessenter og anvende 
dem som grundlag for ansvarlighed.64 
EuropeAid har erklæret, at det vil 
udvikle et nyt IT‑værktøj til at forvalte, 
registrere og analysere ROM‑undersø ‑
gelser og programevalueringer, og at 
det vil kunne fungere som et centralt 
registreringssted for alle rapporter, 
så brugerne kan foretage avancerede 
søgninger og analyser. Da Rettens 
revision fandt sted, var der endnu 
ikke truffet beslutning om at udvikle 
den del af værktøjet, der vedrører 
programevalueringer, selv om spørgs ‑
målet om adgangen til rapporter var 
endnu vigtigere med hensyn til netop 
disse evalueringer.53 Den årlige aktivitetsrapport 
for 2013, bilag 9: Der indgår 
resultatoplysninger 
i evalueringerne.
54 Særberetning nr. 1/2011, 
punkt 60.
24
 Konklusioner og 
anbefalinger
65 
Retten konkluderer, at EuropeAids 
evaluerings ‑ og ROM‑systemer ikke er 
tilstrækkelig pålidelige.
66 
Samlet set er evaluerings ‑ og 
ROM‑funktionerne velorganiserede 
med en hensigtsmæssig kombination 
af centrale og decentrale ansvarsom ‑
råder, hvis formål er at fremme en eva ‑
lueringskultur og gøre evaluering til et 
centralt element i bistandsforvaltnin ‑
gen. Den øverste ledelses overordnede 
tilsyn med programevalueringerne er 
imidlertid utilstrækkeligt. Fordi der 
ikke foreligger nøjagtig ledelsesin ‑
formation om de menneskelige og 
finansielle ressourcer, der er anvendt 
i forbindelse med programevaluerin ‑
gerne, kan EuropeAid ikke sikre, at de 
er passende, og at fordelingen af dem 
på de forskellige evalueringsaktiviteter 
er produktiv.
67 
Evaluerings ‑ og ROM‑systemerne giver 
ikke i tilstrækkelig grad relevante og 
solide evalueringer og ROM‑resultater. 
Evalueringsplanerne er udarbejdet 
på grundlag af kriterier, der ikke er 
tilstrækkelig klare, og garanterer ikke, 
at der gives højeste prioritet til de 
evalueringer, der er mest nyttige i for ‑
bindelse med beslutningstagningen. 
Endvidere betyder den manglende 
overvågning, at EuropeAid ikke kan 
identificere og afhjælpe årsagerne til 
de hyppige afvigelser fra disse planer. 
Udbudsprocedurerne gør det muligt 
at vælge eksterne eksperter med de 
nødvendige kundskaber og kvalifikati ‑
oner. Procedurerne for kvalitetskontrol 
vedrørende ROM‑undersøgelser og 
programevalueringer bliver ikke fulgt 
konsekvent i EuropeAid.68 
Evalueringerne og ROM‑resultaterne 
udnyttes ikke maksimalt. Der er ingen 
passende opfølgningsmekanismer, der 
kan sikre, at evaluerings ‑ og ROM‑re ‑
sultaterne bliver anvendt hensigts ‑
mæssigt. De strategiske evalueringer 
og ROM‑resultaterne videreformidles 
til en bred vifte af interne og eksterne 
interessenter ved hjælp af en række 
forskellige kommunikationsværktø ‑
jer. Den manglende adgang til pro ‑
gramevalueringerne og fraværet af 
søgeværktøjer hindrer imidlertid en 
hensigtsmæssig vidensdeling.
69 
Evaluerings ‑ og ROM‑systemerne giver 
ikke tilstrækkelige oplysninger om de 
opnåede resultater, hvilket skyldes, 
at målsætningerne og indikatorerne 
ikke er tilstrækkelig klart defineret, 
at der kun foretages få efterfølgende 
programevalueringer og ROM‑under ‑
søgelser, og at metoden til evaluering 
af budgetstøtte har iboende begræns ‑
ninger. Det betyder, at EuropeAids mu ‑
lighed for at redegøre for sine aktivite ‑
ter er begrænset, og at dets rapporter 
kun giver få oplysninger om de faktisk 
opnåede resultater.
70 
For nylig iværksatte Kommissionen og 
EuropeAid initiativer, der skal forbed ‑
re deres mulighed for at vurdere og 
rapportere om opfyldelsen af politik ‑
mål. Disse initiativer var på et så tidligt 
stadium, at Retten ikke kunne vurdere, 
om de effektivt afhjælper de forhold, 
der fremhæves i denne beretning.
25 Konklusioner og anbefalinger
Anbefaling 1  
Produktiv anvendelse af 
ressourcerne til evaluerings- 
og ROM -systemerne
EuropeAid bør sørge for tilstrække ‑
lig ledelsesinformation og foretage 
regelmæssige behovsvurderinger for 
at sikre, at fordelingen af finansielle 
og menneskelige ressourcer på pro ‑
gramevalueringer og resultatoriente ‑
ret overvågning (ROM) foretages på et 
oplyst grundlag.
Anbefaling 2  
Hensigtsmæssig prioritering 
af programevalueringer 
og overvågning af 
evalueringsaktiviteterne
For at sikre, at de udførte evalueringer 
afspejler organisationens prioriterin ‑
ger, bør EuropeAid:
— opstille klare udvælgelseskrite ‑
rier med henblik på at prioritere 
mellem programevalueringerne og 
dokumentere, hvordan de anven ‑
des ved udarbejdelsen af evalue ‑
ringsplanerne under hensyntagen 
til komplementariteten med 
ROM‑undersøgelserne
— væsentligt styrke sit system til 
overvågning af og rapportering 
om gennemførelsen af evalue ‑
ringsplanerne, så det bl.a. analy ‑
serer årsagerne til forsinkelser og 
beskriver de foranstaltninger, der 
er truffet for at afhjælpe dem
— styrke det overord ‑
nede tilsyn med sine 
programevalueringsaktiviteter.Anbefaling 3  
Kvalitetskontrol
For at sikre programevalueringernes 
og ROM‑undersøgelsernes kvalitet bør 
EuropeAid:
— insistere på, at de operationelle en ‑
heder og delegationerne opfylder 
kvalitetskontrolkravene, bl.a. om 
anvendelse af en referencegruppe 
og dokumentation af de gennem ‑
førte kvalitetskontroller i forbin ‑
delse med programevalueringer
— regelmæssigt undersøge, om disse 
kontroller bliver gennemført.
Anbefaling 4  
Dokumentering af de 
opnåede resultater
For at forbedre evalueringssystemets 
evne til at give tilstrækkelige oplys ‑
ninger om de opnåede resultater bør 
EuropeAid:
— mere stringent følge de forord ‑
ningsbestemmelser, der foreskri ‑
ver anvendelse af SMART‑mål og 
kontrollerbare indikatorer
— ændre overvågningssystemet, så 
det fortsætter med at levere data 
om programmerne indtil mindst 
tre år efter deres afslutning
— øge andelen af efterfølgende pro ‑
gramevalueringer væsentligt.
26 Konklusioner og anbefalinger
Anbefaling 5  
Opfølgning og 
videreformidling 
af evaluerings- og 
ROM -resultater
For at sikre maksimal udnyttelse af 
evaluerings ‑ og ROM‑resultaterne bør 
EuropeAid:
— forlænge opfølgningsperioden for 
strategiske evalueringer
— udvikle en central database til re ‑
gistrering af evalueringsrapporter, 
handlingsplaner og opfølgninger 
vedrørende programevalueringer, 
og udstyre den med søgefunktio ‑
ner, der gør det muligt at foretage 
analyser.
Vedtaget af Afdeling III, der ledes af Karel PINXTEN, medlem af Revisionsretten, 
i Luxembourg på mødet den 21. oktober 2014.
 På Revisionsrettens vegne
 Vítor Manuel da SILVA CALDEIRA  
 Formand

27
 Bilag
ROM-karaktersystemet
I forbindelse med ROM‑undersøgelser vurderes programmernes resultater ud fra fem evalueringskriterier (rele ‑
vans, produktivitet, effektivitet, forventet virkning og potentiel bæredygtighed) efter følgende karaktersystem:
Karakter Numerisk Kvalitativ Forklaring
A 4 Meget godtSituationen anses for at være meget tilfredsstillende, langt over gennemsnittet og 
potentielt et eksempel på god praksis. Anbefalingerne har fokus på behovet for at 
anvende disse gode praksis i andre aktioner.
B 3 GodtSituationen anses for at være tilfredsstillende, men der er plads til forbedringer. 
Anbefalingerne er nyttige, men ikke altafgørende for aktionen.
C 2 ProblemerDer er forhold, som det er nødvendigt at afhjælpe, hvis aktionens samlede resultater 
ikke skal blive påvirket i negativ retning. Det kræver dog ikke større ændringer 
i aktionens strategi at foretage de nødvendige forbedringer.
D 1 Alvorlige manglerDer er mangler, som er så alvorlige, at aktionen kan slå fejl, hvis de ikke bliver 
afhjulpet. Der er behov for større justeringer og ændringer af strategien.
Herefter kategoriseres programmerne efter antallet af tildelte A’er, B’er, C’er og D’er. Der er fire programkatego ‑
rier: »I« angiver meget gode resultater, »II« angiver gode resultater, »III« angiver, at programmet fungerer, men 
at der er problemer, og »IV« angiver, at programmet ikke fungerer, eller at det er i større vanskeligheder.
Herefter beregner EuropeAid, hvor stor en procentdel af programmerne i ROM‑porteføljen der falder ind under 
de forskellige kategorier. Dette gøres for hele porteføljen, for hver region og for hver sektor i hver region. Dette 
er grundlaget for EuropeAids rapportering om porteføljens resultater.Bilag I
28 Bilag Bilag  IIListe over gennemgåede programmeringsdokumenter
Tematiske programmer
 ο Det tematiske program for miljø og naturressourcer (ENRTP): strategidokumentet og det flerårige vejledende 
program (MIP) for 2011‑2013
 ο Det tematiske program for fødevaresikkerhed: strategidokumentet og MIP for 2011‑2013
 ο Investering i mennesker: midtvejsevalueringen af strategidokumentet for det tematiske program for 2007‑2013 
og MIP for 2011‑2013
Regionale programmer
 ο Det regionale strategidokument for Centralasien, 2007‑2013
 ο Det regionale vejledende program for Latinamerika, 2007‑2013
 ο MIP for Asien, 2007‑2010
 ο MIP for det AVS‑interne samarbejde under 10. EUF, 2008‑2013
Landeprogrammer
 ο Landestrategidokumentet (CSP) for Laos, 2007‑2013
 ο CSP for Bangladesh, 2007‑2013
 ο CSP for Indien, 2007‑2013
 ο CSP/det nationale vejledende program (NIP) for Benin, 2008‑2013
 ο CSP/NIP for Tchad, 2008‑2013
 ο CSP/NIP for Zambia, 2008‑2013
 ο CSP/NIP for Uruguay, 2007‑2013
 ο CSP/NIP for Bolivia, 2007‑2013
29 Bilag Bilag  IIIListe over gennemgåede finansieringsaftaler
(euro)
Land Afgørelse Titel EU-bidrag
Afrika
Madagaskar FED/2012/023-503 (EC)Amélioration de la Sécurité Alimentaire et Augmentation des Revenus Agricoles (ASARA) 
(Forbedring af fødevaresikkerheden og forhøjelse af landbrugsindkomsterne)40 000  000
Uganda FED/2013/023-513 (EG)Small and Medium Agribusiness Development Fund — A Public Private Partnership (Udvik -
lingsfond for små og mellemstore landbrugsvirksomheder — et offentlig-privat partnerskab)15 000  000
Etiopien FED/2011/023-531 (CA)Capacity development and governance support for scaling up renewable energy services in rural and 
peri-urban areas of Ethiopia — CfP 129364 Prop 353 (Kapacitetsudvikling og støtte til regeringsfø -
relse med henblik på udvidelse af energitjenester i landdistrikter og bynære områder i Etiopien)1 176 000
Somalia FED/2012/023-536 (EC) Support to Democratisation (Støtte til demokratisering) 14 000  000
Papua Ny 
GuineaFED/2012/023-538 (EG)Non State Actors (NSAs) Support Programme in Papua New Guinea (Støtteprogram for 
ikke-statslige aktører i Papua Ny Guinea)4 538 000
Nigeria FED/2013/023-551 (EG)Energising Access to Sustainable Energy in Nigeria (EASE) (Udvikling af adgang til bæredygtig 
energi i Nigeria)27 000  000
Kenya FED/2012/023-566 (EC) Standards for Market Access Programme (SMAP) (Program vedrørende standarder for markedsadgang) 12 100  000
Liberia FED/2012/023-568 (EC) Support to trade facilitation in the customs sector (Støtte til handelslettelser i toldsektoren) 3 000  000
8 finansieringsaftaler  I ALT 116 814 000
Latinamerika
Honduras DCI-ALA/2013/023-720 (EC)Promoting fair and accessible justice in Honduras (EuroJusticia) (Fremme af et fair og tilgæn -
geligt retsvæsen i Honduras)27 500  000
Costa Rica DCI-ALA/2010/021-501 (EC)Comprehensive Strategy to reduce school drop-out rates in public secondary education (Sam -
let strategi for reduktion af skolefrafaldet i offentlig uddannelse på sekundærtrinnet)8 500  000
Den Dominikan -
ske RepublikBAN/2012/024-100 (EC)Banana accompanying measure (BAM) Dominican Republic (Ledsageforanstaltninger for 
bananer i Den Dominikanske Republik)16 340 000
Uruguay DCI-ALA/2011/022-498 (EC)Support for the reform of the Uruguayan penal justice and penitentiary systems for the impro -
vement of the quality of life and social and labour reintegration of prison inmates (Støtte til 
reform af Uruguays strafferetspleje og fængselssystem med henblik på at forbedre fangernes 
livskvalitet og deres sociale og arbejdsmæssige reintegration)5 000  000
4 finansieringsaftaler  I ALT 57 340 000
Nabolande
Egypten ENPI/2012/024-080 (EC)Emergency Employment Investment Project (Investeringsprojekt vedrørende en hasteplan for 
beskæftigelsen)70 000  000
Marokko ENPI/2012/024-196 (EC)Programme d'appui à l'Initiative Nationale de Développement Humain (INDH) — phase II 
(Program for støtte til det nationale initiativ for menneskelig udvikling — fase II)25 000  000
Tunesien ENPI/2011/022-772 (EC) Programme de Modernisation des services (Program for modernisering af tjenester) 20 000  000
Vestbredden og 
GazastribenENPI/2010/022-476 (EC) PEGASE: Private Sector Development (Udvikling af den private sektor) 11 000  000
4 finansieringsaftaler  I ALT 126 000  000
Asien og Stillehavsområdet 
Afghanistan DCI-ASIE/2013/024-844 (EG) Support to credible and transparent elections (Støtte til troværdige og gennemsigtige valg) 15 000  000
Tonga FED/2013/024-766 (EG)Technical Cooperation Facility, Good Governance and NSA programme II (Facilitet for teknisk 
samarbejde, program for god regeringsførelse og NSA-program II)472 000
Vietnam DCI-ASIE/2013/024-370 (EG)EU-HSPSP 2 — EU Health Sector Policy Support Programme phase 2: Towards Equity and Qu -
ality of Health Services in Vietnam (Støtteprogram for sundhedssektorpolitik, fase 2: Lighed 
og kvalitet i sundhedstjenesterne i Vietnam)114 000  000
Bangladesh DCI-ASIE/2012/022-446 (EC)Poverty Reduction Through Inclusive and Sustainable Markets (PRISM) (Nedbringelse af 
fattigdom ved hjælp af inklusive og bæredygtige markeder) 30 000  000
4 finansieringsaftaler  I ALT 159 472 000
20 finansieringsaftaler  I ALT 459 626 000
30 Bilag
Liste over gennemgåede evalueringer
(euro)
År1Programevalue -
ring eller strate -
gisk evalueringEvaluerings -
typeEvalueret program/tema/landFinansieringsin -
strumentEU-bidragEvalue -
ringsom -
kostninger
2012Strategisk 
evalueringlandeevalu -
eringEuropean Union's co-operation with Nepal 
—  Country Level Evaluation (Den Europæiske 
Unions samarbejde med Nepal — evaluering på 
landeniveau) (dækket periode: 2002-2010)hovedsagelig 
DCI-geografisk, 
DCI-tematisk og 
EIDHR58 000  000 201 711
2011Strategisk 
evalueringtematisk 
evalueringEuropean Commission support in the education 
sector (Europa-Kommissionens støtte i uddan -
nelsessektoren) (dækket periode: 2000-2007)DCI-geografisk, 
DCI-tematisk, EUF 
og ENPI1 900  000  000 457 265
2012 Programevalueringendelig 
evalueringFood Facility — AU-IBAR projects (Fødevare -
faciliteten — AU-IBAR-projekter) (LEISOM og 
VACNADA)Fødevarefaciliteten 2 507 860 131 870
2013Programevaluering, 
men af samme type 
som en strategisk 
evalueringendelig 
evalueringFinal evaluation of the whole Food Facility 
(Endelig evaluering af hele fødevarefaciliteten) 
(2009-2012)Fødevarefaciliteten 1 000  000  000 399 720
2013Programevaluering, 
men af samme type 
som en strategisk 
evalueringendelig 
evalueringThree Year Action Programme for the African 
Peace Facility for the period 2011-2013 (Treårigt 
handlingsprogram for fredsfaciliteten for Afrika 
i perioden 2011-2013)hovedsagelig EUF 549 345 726 478 022
2012 Programevalueringmidtvejseva -
luering»Invest in MED« (Investér i MED) ENPI Syd 9 000  000 119 778
2013 Programevalueringefterfølgende 
evaluering»Euromed Migration II« ENPI Syd 4 994 000 148 580
2011 Programevalueringendelig 
evalueringAppui à l'Entretien Périodique du Réseau Routier 
Classé (Støtte til periodisk vedligeholdelse af 
vejnettet)EUF 36 709 425 72 848
2012 Programevalueringendelig 
evalueringProgramme d'appui à la décentralisation au 
Bénin (Program for støtte til decentralisering 
i Benin)EUF 13 785  026 47 120
2010 Programevalueringendelig 
evalueringErasmus Mundus, External Cooperation Window 
for India (Erasmus Mundus, eksternt samarbejde 
med Indien)DCI-geografisk 28 600  000 147 745
2014 Programevaluering endelig 
evalueringEC assisted State Partnership Programme to the 
states of Chhattisgarh and Rajasthan (Statspart -
nerskabsprogram for staterne Chhattisgarh og 
Rajasthan med bistand fra Europa-Kommissio -
nen) (budgetstøtte)2DCI-geografisk 158 590 819 1 934 700
2011 Programevalueringendelig 
evaluering20 projekter udvalgt blandt 100 EU-finansierede 
miljøprojekter i Indien DCI-geografisk 340 000  000 118 008
1 Året for evalueringens udsendelse.
2 Kontrakten omfatter mere end blot en evaluering.Bilag  IV
31 Bilag
Liste over gennemgåede ROM-undersøgelser
(euro)
Programtitel Land/region/sektor EU-bidrag Rapporttype Rapportdato
Food Facility — AU-IBAR projects (Fødevarefaciliteten 
— AU-IBAR-projekter) (LEISOM og VACNADA)Bekæmpelse af sult 2 507 860 Igangværende projekt Juni 2011
Food Facility (Fødevarefaciliteten) Bekæmpelse af sult 1 000 000 000 Igangværende projekt Maj 2011
Public Administration Capacity Building Facility Libya 
(Facilitet for kapacitetsopbygning i Libyens forvaltning)Libyen 4 500 000 Igangværende projekt Oktober 2013
Projektet »Euromed Migration II« Naboskab Syd 4 994 000 Igangværende projekt Oktober 2010
Appui à l'Entretien Périodique du Réseau Routier Classé 
(Støtte til periodisk vedligeholdelse af vejnettet)Benin 36 709 425 Igangværende projekt November 2008
Programme d'appui à la décentralisation au Bénin 
(Program for støtte til decentralisering i Benin)Benin 13 785 026 Igangværende projekt Februar 2012
Programme Société Civile et Culture (Program for 
civilsamfund og kultur)Benin 14 400 000 Igangværende projekt Maj 2013
Sustainable Textiles for Sustainable Development  
(Bæredygtige tekstiler til bæredygtig udvikling)Indien 1 672 945 Igangværende projekt Juli 2012
European Business and Technology Centre in India (EBTC) 
(Det europæiske erhvervs- og teknologicenter i Indien)Indien 6 586 578 Igangværende projekt Juli 2012Bilag  V
32 Bilag Bilag  VIListe over de delegationer, der besvarede spørgeskemaet
Land/delegation
Afrika, Vestindien og Stillehavet Latinamerika
Angola Bolivia
Botswana Chile
Burkina Faso El Salvador 
Burundi Honduras 
Kap Verde Nicaragua 
Congo (Brazzaville) Paraguay 
Djibouti Uruguay
Etiopien Nabolande
Madagaskar Algeriet 
Nigeria Armenien 
Rwanda Aserbajdsjan 
Togo Hviderusland
Den Dominikanske Republik Georgien 
Guyana Israel 
Salomonøerne (del. Papua Ny Guinea) Jordan 
Asien Libanon
Bangladesh Marokko 
Cambodja Tunesien 
Indien Ukraine 
Laos, Thailand
Nepal 
Pakistan 
Filippinerne 
Vietnam 
33
I rapporterne om External Assistance Management 
(EAMR) er der allerede et system for overvågning af 
gennemførelsen af programevalueringsplanerne, 
og der foretages indberetninger til kommissærerne 
om, hvordan de strategiske evalueringer forløber.
Overvågningen af programevalueringerne vil 
blive forbedret, og der vil blive lagt større vægt 
på kvalitetskontrol i programevalueringerne. Der 
vil også blive ydet bedre vejledning og bistand til 
projektlederne gennem det informationssystem for 
programevaluering, der er under udvikling.
Hvad angår ROM har Kommissionen igangsat refor ‑
mer med henblik på væsentligt at forbedre kvali ‑
teten af systemet, herunder især af den eksterne 
kvalitetssikring.
V
Der er allerede etableret mekanismer for opfølg ‑
ning og formidling. For så vidt angår ROM er den 
eksisterende mekanisme ved at blive forbedret. 
Opfølgningen på de strategiske evalueringer er 
formaliseret og offentliggøres.
For så vidt angår programevalueringerne erkender 
Kommissionen, at forbedringer er mulige i forhold 
til opfølgning, tilsyn og overvågning; områder, som 
vil blive omfattet af det informationsstyringssystem, 
der er ved at blive etableret, og som også vil give 
passende adgang til programevalueringer og sikre 
bedre informationsformidling.
VI
SMART‑målsætningerne og verificerbare indika ‑
torer defineres i de flerårige programmerings ‑ og 
projektdokumenter.
Beslutningen om, hvorvidt der skal gennemføres 
en efterfølgende evaluering, knytter sig til kriterier 
om effektivitet og relevans. Antallet af enkeltstå ‑
ende efterfølgende evalueringer er ikke som sådan 
relevant.Resumé
II
Kommissionen mener, at systemerne for strategisk 
evaluering generelt er pålidelige, men at der dog 
er plads til forbedringer. Der findes systemer for 
programevaluering og resultatorienteret overvåg ‑
ning (ROM), men på nogle områder fungerer de ikke 
hensigtsmæssigt.
III
Der findes systemer for kontrol af programevalue ‑
ringerne, og man er i gang med at iværksætte tiltag 
for at gøre dem mere effektive.
Kommissionen er af den opfattelse, at rammebe ‑
villingerne til de strategiske evalueringer og ROM 
bliver godt forvaltet, og at forbedringer er mulige 
i forhold til programevalueringerne.
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand til 
tredjelande, der forvaltes af EuropeAid.
IV
Kommissionens evalueringsresultater bygger på en 
internationalt anerkendt metode, som er vedtaget 
i OECD. EuropeAids evalueringsplaner udarbejdes 
med henblik på målene om at indhøste erfaringer 
og ansvarliggøre, gennemføres i overensstemmelse 
med fælles evalueringsprincipper og overvåges ved 
hjælp af regelmæssige interne rapporter.
Personalet vil modtage vejledning i udarbejdelse af 
planer for programevalueringer og overvågningsak ‑
tiviteter, som sikrer, at de er komplementære. Fra og 
med januar 2015 vil udvælgelsen af projekter, der 
underlægges ROM, tage bedre hensyn til, om der er 
planer om en evaluering.Kommissionens  
svar
Kommissionens svar 34
Der er ved at blive udarbejdet vejledninger og 
retningslinjer til personalet om udarbejdelsen og 
gennemførelsen af de fremtidige overvågnings ‑ og 
evalueringsplaner og vedrørende opfølgningen på 
konklusionerne og anbefalingerne i evalueringerne. 
Der er endvidere ved at blive udarbejdet et informa ‑
tionsstyringssystem, som vil gøre forvaltningen og 
overvågningen af programevalueringerne nemmere. 
Netværket af evalueringsmedarbejdere i delegati ‑
oner og operationelle enheder, som blev etableret 
i 2013, vil kunne levere yderligere feedback.
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i  sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand 
til tredjelande, der forvaltes af EuropeAid.
19
Det informationsstyringssystem, der er ved at blive 
etableret, vil give mere nøjagtige oplysninger om 
antallet af programevalueringer og omkostningerne 
herved.
20
Overvågning, rapportering, midtvejsevaluering og 
mere generelt projektforvaltningen hænger så tæt 
sammen, at enhver fordeling af ressourcer mellem 
dem kun kan blive skønsmæssig. Dette er i endnu 
højere grad tilfældet i forhold til det nye ROM, som 
skal være et støtteværktøj for den overordnede 
programovervågning
21
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand til 
tredjelande, der forvaltes af EuropeAid.
22
Allerede inden den igangværende reform af over ‑
vågnings ‑ og evalueringssystemerne var det et prin ‑
cip, at man burde undgå ROM, når der var planer 
om en evaluering (som også nævnt af Revisionsret ‑
ten). Denne reform indebærer tillige indførelse af 
kriterier for udvælgelse og planlægning af pro ‑
gramevalueringer. Derudover vil der blive indført et Kommissionen gennemfører ikke længere efterføl ‑
gende ROM under det reviderede ROM‑system, da 
det ikke er et overvågningsværktøj og heller ikke 
anses for et hensigtsmæssigt redskab til at måle 
indvirkningen.
Kommissionen er af den opfattelse, at der ikke er 
nogen iboende begrænsninger for budgetstøtte 
i evalueringsmetoden.
Indledning
03
Den seneste (fjerde) artikel 318 ‑rapport blev vedta ‑
get den 26. juni 2014. Den bygger på erfaringerne 
fra tidligere udgaver af rapporten og tager behørigt 
hensyn til Revisionsrettens og Europa‑Parlamentets 
anbefalinger, herunder anbefalingerne i EP’s beslut ‑
ning af 26. februar 2014.
09
Til at overvåge gennemførelsen af programmer 
på lokalt plan benytter EuropeAid sig primært af 
intern kontrol ved Kommissionens egne tjenester 
og EU‑delegationerne i overensstemmelse med 
retningslinjerne for intern kontrol fra 2007 og 
retningslinjerne for budgetstøtte fra 2012. ROM har 
således været en supplerende metode til overvåg ‑
ning af effektiviteten af programmer, der gen ‑
nemføres gennem projekter, forestået af eksterne 
konsulenter.
Bemærkninger
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i  sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand 
til tredjelande, der forvaltes af EuropeAid.
17
Delegationerne og de operationelle enheder fore ‑
tager allerede indberetninger til EuropeAid Mana ‑
gement via de årlige evalueringsplaner i den årlige 
forvaltningsplan og aflægger systematisk rapport til 
hovedsædet om gennemførelsen af deres evalue ‑
ringsplaner i deres EAMR. 
Kommissionens svar 35
29
Kommissionen gør opmærksom på, at gennemførel ‑
sesgraden ligger på over 80 %, som er EuropeAid’s 
benchmark (KPI 19 EAMR).
EAMR må indeholde bedre dokumentation for 
manglende overholdelse af de planlagte pro ‑
gramevalueringer, som delegationerne og de 
operationelle centrale tjenester skal fastlægge i de 
kommende overvågnings ‑ og evalueringsplaner.
31
Det nye reviderede ROM‑system, der blev vedtaget 
i maj 2014 som led i en større reform af overvåg ‑
ningen og rapporteringen, har primært til formål 
at forbedre delegationernes og de operationelle 
enheders interne overvågning og rapportering 
om effektiviteten og resultater og mindske den alt 
for store afhængighed af ekstern ROM som anført 
i Revisionsrettens særberetning nr. 1/2011 om 
dekoncentrering. Det vigtigste mål med det nye 
ROM‑system er at støtte den interne overvågning 
og rapportering. Udvælgelsesmetoden afspejler 
disse prioriteter:
— Med henblik på den interne overvågning foku ‑
serer metoden for udvælgelse til ROM‑revision 
hovedsageligt på projekter og programmer, 
som delegationer og operationelle enheder har 
peget på, fordi (1) de er stødt på problemer, (2) 
der mangler ekspertise inden for sektoren, og 
(3) det ikke har været muligt at besøge dem.
— Med henblik på rapportering om resultater er 
hensigten med systemet at støtte resultatrap ‑
porteringen ved projektets afslutning, hvilket 
omfatter alle projekter og programmer over 
750 000 EUR, som slutter i et givent år, og bistå 
delegationerne og de operationelle enheder 
med resultatrapporteringen, herunder af de 
aggregerede resultater på grundlag af Kommis ‑
sionens fremtidige EU‑ramme for udviklings ‑ og 
samarbejdsresultater.
Kommissionen mener derfor, at det nye system 
vil forøge værdien af ROM i overensstemmelse 
med den primære målsætning, idet udvælgelsen 
af igangværende programmer bliver risikobase ‑
ret, og ROM ikke længere vil blive anvendt som 
en indikator for måling af porteføljens samlede 
effektivitet. ROM ikke er tænkt som et instrument til 
måling af de samlede resultater af Kommissionens nyt krav til delegationer og operationelle enheder 
om udarbejdelse af årlige overvågnings ‑ og evalu ‑
eringsplaner, som skal sikre komplementariteten 
mellem ROM‑revisioner og midtvejsevalueringerne 
af programmerne.
Kommissionen mener, at EuropeAid’s systemer for 
evaluering og ROM leverer relevante og solide resul -
tater, selvom der er behov for forbedringer.
26
Vejledninger og retningslinjer til personalet om kri ‑
terierne for udvælgelse af programevalueringer og 
planlægning af evalueringerne som led i udarbej ‑
delsen af overvågnings ‑ og evalueringsplanerne vil 
blive en del af den generelle vejledning og de gene ‑
relle retningslinjer for reformen af overvågning, rap ‑
portering og evaluering. Retningslinjerne vil blive 
udsendt inden udgangen af 2014. Udvælgelseskrite ‑
rierne skal afspejles i finansieringsaftalerne.
26 a) 
Midtvejsevaluering bliver obligatorisk efter en 
konkret vurdering og individuel vurdering i udform ‑
ningsfasen, hvorunder der tages hensyn til det 
enkelte programs specificitet.
26 b) 
Efterfølgende evaluering bliver obligatorisk efter 
en konkret og individuel vurdering i udformnings ‑
fasen, hvorunder der tages hensyn til det enkelte 
programs specificitet.
I de fleste tilfælde gennemføres evalueringerne som 
planlagt.
27
Der er etableret systemer, men Kommissioner 
erkender, at der er behov for at forbedre dem.
28
Ud over at der var personalemangel, blev der gen ‑
nemført færre strategiske evalueringer end planlagt 
på grund af den politiske situation i adskillige lande, 
de stadig mere komplekse evalueringer (især evalu ‑
eringer, som foretages i fællesskab med partnere og 
andre donorer), og som en følge af ændringer i de 
kontraktmæssige rammer for disse evalueringer.
Kommissionens svar 36
38
Flere af de foranstaltninger, der skal iværksæt ‑
tes som led i det reviderede ROM‑system, burde 
afhjælpe de mangler, der kendetegner den aktuelle 
situation: forbedring af kvaliteten af ROM‑revisio ‑
nerne, bedre betingelser for, at ROM‑kontrahen ‑
terne kan foretage en hensigtsmæssig intern kva ‑
litetskontrol, etablering af ekstern kvalitetssikring, 
den betydning, som fastlæggelse af opfølgning får, 
og forbedret overordnet overvågning af gennem ‑
førelsen af det reviderede ROM‑system. Indkodning 
af den planlagte opfølgning i det nye informations ‑
styringsmodul for ROM er en anden foranstaltning, 
som også bør bidrage hertil.
Kommissionen mener, at systemerne for evalu -
ering og ROM leverer passende information om 
de opnåede resultater, selvom der er behov for 
forbedringer.
For den nye 2014-2020-programmeringsperiode 
har Kommissionen øget sine bestræbelser for at 
fastlægge SMART -målsætninger og verificerbare 
indikatorer. De nye programmeringsdokumenter 
er blevet gennemgået med det for øje, og arbejdet 
med at få dette arbejde omsat til de enkelte projek -
ter er gået i gang.
40
Målsætninger og indikatorer for regionale og ver ‑
densomspændende tematiske programmer er nødt 
til at være generelle for at dække mange forskellige 
situationer (se svaret til boks 1).
Boks 1
Investering i mennesker er et verdensomspæn ‑
dende tematisk program for alle udviklingslande. 
Det betyder, at målsætningerne i mange tilfælde er 
temmelig luftige netop for at dække mange forskel ‑
lige situationer.
Den angivne målsætning for programmeringsdoku ‑
mentet for Bolivia for perioden 2007 ‑2013 er snarere 
en overordnet (eller generel) målsætning end en 
række specifikke målsætninger.bistandsportefølje, men styrkelsen af den interne 
overvågning og rapportering om effektivitet og 
resultater og den planlagte rapportering om aggre ‑
gerede resultater på grundlag af Kommissionens 
fremtidige EU‑ramme for udviklings ‑ og samar ‑
bejdsresultater vil være nogle af de værktøjer, som 
bør sætte Kommissionen i stand til bedre at måle 
porteføljens samlede effektivitet.
33
I henhold til de nye ROM‑kontrakter, der skal under ‑
skrives i 2014, skal alle revisioner og øvrige støt ‑
teaktioner forestås af senioreksperter, som også bør 
være sektoreksperter. Desuden skal et betydeligt 
antal revisioner udføres af ledende eksperter, der er 
antaget på fuld tid, mens der til de øvrige revisioner 
vil blive hyret eksperter efter behov.
36
EuropeAid understregede i sin seneste evaluerings ‑
politik betydningen af at overholde de eksisterende 
retningslinjer for nedsættelse af referencegrup ‑
per. (Se de eksisterende retningslinjer på:  
http://ec.europa.eu/europeaid/evaluation/met ‑
hodology/guidelines/gba_det_en.htm#01_03  og 
http://ec.europa.eu/europeaid/evaluation/met ‑
hodology/examples/131011 ‑tor‑project‑evaluati ‑
ons‑guidance_en.pdf ).
37
Sigtet med at indføre netværket af evaluerings ‑
medarbejdere i 2013 er en væsentlig styrkelse af 
evalueringsfunktionen i hele systemet, herunder 
i delegationerne.
Der vil blive lagt større vægt på kvalitetskontrol ‑
spørgsmål i programevalueringerne.
Kommissionens svar 37
47
Den EIB‑fremgangsmåde, som Revisionsretten næv ‑
ner, er speciel og skal ses i sammenhæng med arten 
af de lånebaserede transaktioner, som EIB forvalter. 
Den kan ikke sammenlignes med den støttebase ‑
rede finansiering af programmer fra en bistandsdo ‑
nor som EU.
Den igangværende etablering af EU‑rammen for 
udviklings ‑ og samarbejdsresultater, hvorigennem 
Kommissionen har planer om en første rapportering 
i 2015, følger ikke en sådan fremgangsmåde.
Metoden til at evaluere budgetstøtte har givet gode 
resultater og er blevet anerkendt på internationalt 
plan.
48
Den metodologiske fremgangsmåde for evaluering 
af budgetstøtte, der er beskrevet i det dokument, 
som er udarbejdet i regi af OECD‑DAC, repræsente ‑
rer en solid tilgang til den komplekse opgave, det er 
at evaluere budgetstøtte.
49
At der er tale om en solid tilgang er anerkendt 
i internationale evalueringskredse, og tilgangen er 
offentliggjort på OECD’s websted.
Kommissionen ser derfor ingen grund til at omtale 
eventuelle mangler ved metoden. Indtil videre er 
syv evalueringer af budgetstøtte blevet færdiggjort, 
hvor det har været muligt at vurdere resultaterne 
af budgetstøtten og formulere anbefalinger til 
forbedringer.
Evalueringer er værktøjer til vurdering af hele 
kæden af resultater, men med hensyn til output og 
direkte resultater giver intern overvågning de vig -
tigste oplysninger og anvendes til at sikre resultat -
rapportering om hele porteføljen.
50
Kommissionen anser ikke ROM for et egnet værktøj 
til at levere information om bæredygtighed og ind ‑
virkning, og mener, at der udelukkende bør træffes 
beslutning om efterfølgende evaluering efter en 
konkret vurdering.41
I programmer for flere lande og regioner viser 
programmålsætningerne, hvad der er de vigtigste 
prioriteter, mens de specifikke målsætninger for 
de enkelte delprogrammer er mere nøjagtige, og 
indikatorerne burde være målbare.
Boks 2
Kommissionen ønsker at fremhæve, at der her er 
tale om eksempler på generelle målsætninger.
Med hensyn til Euro‑Med Migration‑programmet 
citerer Revisionsretten kun nogle af målsætnin ‑
gerne. Målsætningerne kan ses i deres helhed på 
følgende adresse: http://www.enpi‑info.eu/main ‑
med.php?id_type=10&id=9 .
42
Formålet med den undersøgelse, som Revisionsret ‑
ten henviser til, var at gennemgå de evalueringer, 
der er knyttet til de juridiske instrumenter for den 
sidste programmeringsperiode (2007 ‑2013). Konklu ‑
sionerne af undersøgelsen er taget i betragtning 
ved udformningen af instrumenterne for den fler ‑
årige finansielle ramme for 2014 ‑2020.
Strategiske evalueringer har fokus på kæden af 
opnåede resultater og ikke på gennemførelsen af 
programmer.
Kommissionens fælles svar på punkt 
43 til 45
Beslutningen om at foretage en efterfølgende 
evaluering af et program er et spørgsmål om effek ‑
tivitet og relevans. Det bør ikke være en beslut ‑
ning, der træffes isoleret, men bør baseres på den 
finansielle vægt og strategiske betydning af det 
program, der skal evalueres.
46
Under det reviderede ROM‑system gennemfører 
Kommissionen ikke længere efterfølgende resulta ‑
torienteret overvågning, da det ikke er et overvåg ‑
ningsværktøj og heller ikke anses for et hensigts ‑
mæssigt redskab til at måle indvirkningen.
Kommissionens svar 38
Kommissionen vil træffe yderligere foranstaltninger 
for at forbedre dokumentationen af opfølgningen 
på programevalueringer og ROM.
57
Opfølgning på programevalueringerne indgår 
i afsnittet om indhøstede erfaringer i nye projekt ‑
forslag (fastlæggelses ‑ og formuleringsfaserne for 
nye projekter), når det anses for relevant.
I vejledningsnotatet til den opdaterede standard ‑
model for programevalueringer, som blev udsendt 
i 2013, understregedes behovet for at dokumentere 
ledelsessvarene. For så vidt angår ROM skal der 
under det reviderede system inkluderes passende 
foranstaltninger, som sikrer, at der fastlægges 
en hensigtsmæssig plan for opfølgning på en 
ROM‑revision og dertil knyttet overvågning af 
opfølgningen.
For så vidt angår programevalueringer vil der blive 
taget hensyn til dette punkt i de kommende vej ‑
ledningsinstrukser og i det informationsstyringssy ‑
stem, der er ved at blive etableret.
58
For så vidt angår ROM skal der som anført i svaret 
til punkt 59 under det reviderede system inklude ‑
res passende foranstaltninger, som sikrer, at der 
fastlægges en hensigtsmæssig plan for opfølgning 
på en ROM‑revision og dertil knyttet overvågning af 
opfølgningen.
Kommissionen er ved at udvikle det informations -
styringssystem, der er nødvendigt for at forbedre 
formidlingen af programevalueringer.
60
Data fra den resultatorienterede overvågning vil 
ikke længere blive aggregeret som hidtil i den årlige 
aktivitetsrapport og årsberetningen.52
Ved udarbejdelsen af den seneste (fjerde) artikel 
318‑evalueringsrapport, der blev vedtaget den 26. 
juni 2014, har Kommissionen taget behørigt hensyn 
til Revisionsrettens bemærkninger i årsberetningen 
for 2012.
Kommissionen henviser også til sine svar til Revi ‑
sionsrettens bemærkninger under kapitel 10 
i Revisionsrettens årsberetning for 2012, hvor den 
redegør for sit syn på oplysningerne vedrørende 
effektivitet i den tredje og de fremtidige artikel 
318‑evalueringsrapporter.
Opfølgningsmekanismer findes, men de kunne 
forbedres.
54
På grund af kompleksiteten af de strategiske eva ‑
lueringer er det vanskeligt at knytte klare tilsagn 
til anbefalinger på højt niveau. I 2013 gennemførte 
evalueringsenheden en undersøgelse af, hvor ‑
dan resultaterne af de strategiske evalueringer 
anvendes. På basis deraf er systemet for ledelses ‑
svar (management response system) ved at blive 
revideret. I alle tilfælde ligger ansvaret klart hos de 
geografiske eller tematiske tjenester, der er ansvar ‑
lige for gennemførelsen af programmerne eller 
politikkerne.
55
Revisionen af systemet for ledelsessvar vil ikke blot 
tage spørgsmålet om varigheden af opfølgnings ‑
perioden i betragtning, men også andre spørgsmål 
som formidling af evalueringsresultaterne og ind ‑
dragelse af ledelsen.
56
Evalueringsenheden ved ikke, hvilken anbefaling 
der er blevet accepteret. De udfyldte kontrolblade 
angiver klart, om en anbefaling er blevet accep ‑
teret, delvist accepteret eller ikke accepteret. På 
grundlag af den undersøgelse, der omtales af Revi ‑
sionsretten, har Kommissionen vedtaget en hand ‑
lingsplan for at blive bedre til at anvende resulta ‑
terne af de strategiske evalueringer.
Kommissionens svar 39
Konklusioner og anbefalinger
65
Kommissionen mener, at systemerne for strategisk 
evaluering generelt er pålidelige, men at der dog 
er plads til forbedringer. Der findes systemer for 
programevaluering og ROM, men på nogle områder 
fungerer de ikke hensigtsmæssigt.
66
Der findes systemer for kontrol og anvendelse af 
programevalueringerne, og man er i gang med at 
iværksætte tiltag for at gøre dem mere effektive.
Kommissionen er af den opfattelse, at rammebe ‑
villingerne til de strategiske evalueringer og ROM 
bliver godt forvaltet, og at forbedringer er mulige 
i forhold til programevalueringerne.
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand til 
tredjelande, der forvaltes af EuropeAid.
67
Kommissionens evalueringsresultater bygger på 
en internationalt anerkendt metode, som er ved ‑
taget i OECD. Personalet vil modtage vejledning 
i udarbejdelse af planer for programevalueringer 
og overvågningsaktiviteter, som sikrer, at de er 
komplementære.
I rapporterne om External Assistance Management 
(EAMR) er der allerede et system for overvågning af 
gennemførelsen af programevalueringsplanerne, 
og der foretages indberetninger til kommissærerne 
om, hvordan de strategiske evalueringer forløber.
Hvad angår ROM har Kommissionen igangsat refor ‑
mer med henblik på væsentligt at forbedre kvali ‑
teten af systemet, herunder især af den eksterne 
kvalitetssikring.Kommissionen er ved at udvikle det informations -
styringssystem, der er nødvendigt for at forbedre 
formidlingen.
61
Formidlingen af programevalueringer vil blive 
forbedret:
— for det første gennem bedre adgang 
til evalueringerne med oprettelse af et 
informationsstyringssystem;
— for det andet ved at de tematiske enheder på 
det grundlag bliver bedre til at analysere evalu ‑
eringerne; og
— endelig i kraft af bedre kontakter mellem de ‑
legationerne og interessegrupper i de enkelte 
lande.
Netværket af evalueringsmedarbejdere kan spille 
en vigtig rolle i denne henseende.
62
Informationsstyringssystemet, som skal indeholde 
databasen for programevalueringer, skal også inde ‑
holde de indhøstede erfaringer.
63
Kommissionen er ved at udvikle et sådant infor ‑
mationsstyringssystem, som er nødvendigt for at 
forbedre formidlingen.
64
IT‑værktøjet, som skal anvendes til såvel ROM som 
programevalueringer, var allerede ved at blive 
udviklet på tidspunktet for revisionen.
Udviklingen er i 2014 blevet forsinket som følge af 
den generelle revidering af, hvordan EuropeAids 
kommende nye operationelle informationsstyrings ‑
system skal tilrettelægges. Dette stiller dog ikke 
spørgsmål ved behovet for at udvikle et sådant 
system.
Kommissionens svar 40
Anbefaling 1
Kommissionen accepterer denne anbefaling.
Forvaltningen af de menneskelige ressourcer til 
evaluering og ROM bør ses i sammenhæng med 
den overordnede forvaltning af de menneskelige 
ressourcer, der beskæftiger sig med den bistand til 
tredjelande, der forvaltes af EuropeAid.
Anbefaling 2
— Kommissionen accepterer denne anbefaling. 
Personalet vil modtage vejledning i udar ‑
bejdelse af planer for programevaluering og 
overvågningsaktiviteter, som sikrer, at de er 
komplementære. Fra og med januar 2015 vil ud ‑
vælgelsen af projekter, der underlægges ROM, 
tage bedre hensyn til, om der er planer om en 
evaluering.
— Kommissionen accepterer denne anbefaling. 
For programevalueringsplaner vil dette ske med 
udgangspunkt i EAMR.
— Kommissionen accepterer denne anbefaling.
Anbefaling 3
— Kommissionen accepterer denne anbefaling. 
Der vil blive lagt større vægt på kvalitetskon ‑
trolspørgsmål i programevalueringerne. Der 
vil også blive ydet bedre vejledning og bistand 
til projektlederne gennem det informations ‑
system for programevalueringer, der er under 
udvikling.
— Kommissionen accepterer denne anbefaling. 
Systemet for overvågning af programevaluerin ‑
ger vil blive forbedret.68
Der er allerede etableret mekanismer for opfølg ‑
ning og formidling. For så vidt angår ROM er den 
eksisterende mekanisme ved at blive forbedret. 
Opfølgningen på de strategiske evalueringer er 
formaliseret og offentliggøres.
For så vidt angår programevalueringerne erkender 
Kommissionen, at forbedringer er mulige i forhold 
til opfølgning, tilsyn og overvågning; områder, som 
vil blive omfattet af det informationsstyringssystem, 
der er ved at blive etableret, og som også vil give 
passende adgang til programevalueringer og sikre 
bedre informationsformidling.
69
SMART‑målsætningerne og verificerbare indika ‑
torer defineres i de flerårige programmerings ‑ og 
projektdokumenter.
Beslutningen om, hvorvidt der skal gennemføres 
en efterfølgende evaluering, knytter sig til kriterier 
om effektivitet og relevans. Antallet af enkeltstå ‑
ende efterfølgende evalueringer er ikke som sådan 
relevant.
Kommissionen gennemfører ikke længere efterføl ‑
gende ROM under det reviderede ROM‑system, da 
det ikke er et overvågningsværktøj og heller ikke 
anses for et hensigtsmæssigt redskab til at måle 
indvirkningen.
Kommissionen er af den opfattelse, at der ikke er 
nogen iboende begrænsninger for budgetstøtte 
i evalueringsmetoden.
70
Den reviderede ROM‑reform, som EuropeAid 
vedtog i maj 2014, har ikke blot til sigte at afklare 
forskellene mellem ROM og evalueringer, men også 
at gøre systemet mere effektivt. Dette vil blive kon ‑
kretiseret i de detaljerede instrukser, som vil blive 
udsendt til personalet ved udgangen af 2014. Efter 
offentliggørelsen af dokumentet om evaluerings ‑
politikken »Evaluation matters«, som afspejler en 
større hørings ‑ og diskussionsproces i perioden fra 
oktober 2013 til marts 2014, vil vejledningen til per ‑
sonalet om principperne, ansvaret og procedurerne 
for evalueringer blive opdateret og strammet op.
Kommissionens svar 41
Anbefaling 4
— Kommissionen accepterer denne anbefaling 
og støtter brugen af SMART‑målsætninger og 
verificerbare indikatorer.
— Kommissionen accepterer ikke denne anbefa ‑
ling, da rentabiliteten ikke er blevet godtgjort.
— Kommissionen accepterer denne anbefaling, 
hvis en yderligere analyse viser, at en stigning 
i antallet af efterfølgende evalueringer er effek ‑
tiv og nyttig.
Anbefaling 5
— Kommissionen accepterer delvist denne anbefa ‑
ling. En forlængelse af opfølgningsperioden er 
en af de muligheder, der overvejes i forbindelse 
med en revision af opfølgningssystemet.
— Kommissionen accepterer denne anbefaling. 
En sådan database er allerede ved at blive 
etableret.

SÅDAN FÅR MAN FAT I PUBLIKATIONER FRA EU
Gratis publikationer:
•  et eksemplar: 
via EU Bookshop (http://bookshop.europa.eu)
•  flere eksemplarer eller plakater/kort: 
hos Den Europæiske Unions repræsentationer (http://ec.europa.eu/represent_da.htm)  
hos delegationerne i ikke-EU-lande (http://eeas.europa.eu/delegations/index_da.htm)  
ved at kontakte Europe Direct (http://europa.eu/europedirect/index_da.htm)  
eller ringe på 00 800 6 7 8 9 10 11 (frikaldsnummer fra overalt i EU) (*).
(*)  Oplysningerne er gratis ligesom de fleste opkald (nogle operatører, telefonbokse eller hoteller kan dog kræve  
penge for opkaldet).
Betalingspublikationer:
• via EU Bookshop (http://bookshop.europa.eu).
Betalingsabonnementer:•  via Den Europæiske Unions Publikationskontors salgskontorer  
(http://publications.europa.eu/others/agents/index_da.htm).
QJ‑AB‑14‑018‑DA‑N ISSN 1977 ‑5636
Evaluering og resultatorienteret overvågning 
(ROM) er en del af EuropeAids 
resultatorienterede ansvarlighedsramme. Retten 
konstaterede, at EuropeAids evaluerings- og 
ROM -systemer ikke er tilstrækkelig pålidelige. 
Samlet set er evaluerings- og ROM -funktionerne 
velorganiserede. Svagheder i udformningen og 
implementeringen af systemerne begrænser 
imidlertid EuropeAids mulighed for at vurdere 
og rapportere om EU’s opfyldelse af politikmål.
DEN
EUROPÆISKE
REVISIONSRET