DA Den Europæiske Unions Tidende C 26/1

SÆRBERETNING Nr. 9/2007

»Evaluering af EU's rammeprogrammer for forskning og teknologisk udvikling — kan Kommissionens tilgang forbedres?« med Kommissionens svar

(artikel 248, stk. 4, andet afsnit, EF)

(2008/C 26/01)

INDHOLD

I-V RESUMÉ

1-14 INDLEDNING

1-7 Den Europæiske Unions rolle i forbindelse med støtte til FTU-aktioner

8-14 Evaluering af og tilsyn med rammeprogrammerne

15-18 REVISIONENS OMFANG OG REVISIONSMETODEN

19-109 REVISIONSBEMÆRKNINGER

19-37 Interventionslogik, mål og resultatindikatorer

38-49 Evalueringsstrategi

50-68 Organisering af rammeprogramevalueringen

69-97 Evalueringsmetodologier og -teknikker

98-109 Formidling og anvendelse af evalueringsresultater

110-118 SAMLET KONKLUSION

Bilag I: Måling af effekten og resultaterne af offentlig intervention i FTU

Bilag II: Bestemmelser om tilsyn og evaluering i de lovgivningsmæssige afgørelser for 4. RP til 7. RP

Bilag III: De vigtigste forskelle mellem efterfølgende evaluering af forskningsprogrammer i EU (4.-6. RP), USA og Canada

Bilag IV: Mulig panelstruktur for 7. RP

Kommissionens svar

RESUMÉ

I. Fællesskabets FTU-rammeprogrammer (RP'er) er den største offentlige kilde til forskningsfinansiering i Den Europæiske Union. Det er Kommissionen, der har ansvaret for at forvalte rammeprogrammerne og vurdere deres resultater.

II. Retten reviderede de tilsyns- og evalueringsordninger, der siden 1995 har været gældende for de seneste tre programmeringsperioder (4. RP, 5. RP og 6. RP), og så også på bestemmelserne vedrørende 7. RP (2007-2013). Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter.

III. Retten forsøgte at finde ud af, om Kommissionens tilgang til vurdering af rammeprogrammernes resultater er hensigtsmæssig. I den sammenhæng undersøgte Retten, om Kommissionen overholdt lovgivningens krav til evaluering, og om dens evaluerings- og tilsynssystem levede op til interessenternes forventninger. Retten så især på: i) om der var en underliggende interventionslogik for rammeprogrammerne og de tilhørende programmer, som kunne danne grundlag for evaluering og tilsyn ii) om Kommissionen havde defineret en evalueringsstrategi for rammeprogrammerne iii) om organisationsstrukturen i Kommissionens system for evaluering af rammeprogrammerne sikrede, at evalueringsarbejdet blev koordineret hensigtsmæssigt, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt iv) om de anvendte evalueringsmetodologier var tilfredsstillende v) om evaluerings- og tilsynsaktiviteterne gav oplysninger og analyser, som kunne bruges til at forbedre igangværende programmer og danne grundlag for udformningen af fremtidige rammeprogrammer.

IV. På baggrund af revisionsresultaterne konkluderede Retten følgende: i) Fraværet af en eksplicit interventionslogik, de uklart definerede programmål og de utilstrækkelige resultatmålinger undergravede muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. ii) Fraværet af en samlet evalueringsstrategi, som var aftalt mellem de »forskningsgeneraldirektorater«, der gennemførte rammeprogrammerne, betød, at Kommissionens tjenestegrene anvendte forskellige tilgange. Det medførte blandt andet, at store dele af rammeprogrammerne ikke blev evalueret tilstrækkeligt. iii) Evalueringen af rammeprogrammerne var decentral, de eksisterende mekanismer for koordinering mellem de generaldirektorater, der gennemførte rammeprogrammerne, var ikke effektive, og Kommissionens centrale tjenestegrene havde ingen håndhævende rolle. »Forskningsgeneraldirektoraterne« har dog generelt opfyldt Kommissionens formelle krav til evaluering. Anvendelsen af paneler bestående af eksterne eksperter, som Kommissionen udpegede i forbindelse med store evalueringer, passede godt ind i fællesskabssammenhængen. Disse midlertidige paneler blev imidlertid ikke involveret i processen så tidligt, at de kunne få indflydelse på indsamlingen af data, og de havde kun begrænsede muligheder for at følge op på relevante spørgsmål over tid. Eftersom der kun blev nedsat ét overordnet panel for hvert rammeprogram (foruden et panel for et enkelt særprogram), blev specifikke spørgsmål vedrørende de forskellige videnskabelige områder inden for rammeprogrammerne ikke undersøgt indgående nok. iv) Der blev ikke givet tilstrækkelig metodologisk vejledning, evaluatorerne havde svært ved at indsamle relevante data, og der var ingen evalueringsundersøgelser, der omhandlede rammeprogrammernes udfald og effekt på længere sigt i forhold til programgennemførelsen på kort sigt. v) Som følge af ovennævnte forhold, og fordi evalueringerne ofte blev foretaget for tidligt til, at de mest relevante spørgsmål kunne undersøges, var Kommissionens system for evaluering af rammeprogrammerne af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og Kommissionen selv. I sidste ende ved Kommissionen meget lidt om opfyldelsen af programmålene og rammeprogrammernes resultater.

V. Retten anbefaler: i) at der lægges en eksplicit interventionslogik til grund for den fremtidige lovgivning. De underliggende antagelser bør forklares, forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål bør præciseres, og der bør udvikles hensigtsmæssige resultatindikatorer ii) at de generaldirektorater, der gennemfører rammeprogrammerne, udvikler (og enes om) en samlet evalueringsstrategi. Der bør især være en ensartet tilgang til fastlæggelse af minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, så der tages højde for de særlige forhold på de forskellige videnskabsfelter iii) at det overvejes at oprette et fælles evalueringskontor, som kan koordinere »forskningsgeneraldirektoraternes« evalueringsaktiviteter vedrørende rammeprogrammet som helhed, og at indføre et system med paneler (og underpaneler) bestående af eksterne eksperter. Disse paneler bør nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden iv) at det grundigt analyseres, hvilke data der er behov for i forbindelse med evaluering og tilsyn, og at der i større udstrækning anvendes andre eksisterende datakilder. Kommissionen bør også rationalisere deltagernes rapporteringsforpligtelser. Endelig bør den udarbejde en detaljeret manual for evaluering af rammeprogrammerne og udvikle en bredere vifte af metodologier og teknikker, der kan anvendes ved evaluering på dette område v) at Kommissionen fastlægger, hvilken type evaluering og hvilket omfang af evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen om 7. RP, og forklarer, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), samt hvordan de kan danne grundlag for politikbeslutninger.

INDLEDNING

Den Europæiske Unions rolle i forbindelse med støtte til FTU-aktioner

1. Forskning og teknologisk udvikling (FTU) (1) er den vigtigste drivkraft for fremskridt og innovation på det videnskabelige og teknologiske område, og som sådan bidrager FTU i høj grad til forbedringer af levestandarden. Offentlig intervention i FTU begrundes som regel med, at det er nødvendigt at kompensere for såkaldte »markedssvigt« og reducere den økonomiske usikkerhed ved hjælp af offentlig støtte, der investeres i forskning, som er et offentligt gode, eller som har væsentlige eksterne virkninger.

2. Fællesskabets rolle i forbindelse med støtte til FTU er fastsat i EF-traktatens artikel 163: »Fællesskabet har som mål at styrke det videnskabelige og teknologiske grundlag for Fællesskabets industri og at fremme udviklingen af dens internationale konkurrenceevne samt at fremme alle de forskningsaktioner, der skønnes nødvendige …«. I artikel 164-173 beskrives de aktioner, der skal gennemføres, og der gøres rede for omfanget og iværksættelsen af de flerårige FTU-rammeprogrammer (RP'er). Det er Kommissionen, der stiller forslag til rammeprogrammerne, mens det er Europa-Parlamentet og Rådet, der i fællesskab vedtager dem og fastsætter regler for deltagelse og formidling. Rådet vedtager særprogrammerne alene. Rammeprogrammerne gennemføres af seks generaldirektorater (GD’er) i fællesskab, de såkaldte »forskningsgeneraldirektorater« (2).

3. I den brede vifte af politikker, der gennemføres i Den Europæiske Union for at fremme innovation og konkurrenceevne, er rammeprogrammerne det vigtigste af de finansielle instrumenter, der på fællesskabsniveau bidrager til at gennemføre Lissabon-strategien (3) og nå Barcelona-målet (4).

4. Gennem rammeprogrammerne yder Fællesskabet støtte til forskere i Den Europæiske Union, associerede lande og internationale organisationer. Rammeprogrammernes budgetter er i årenes løb steget betydeligt: fra 2 761 millioner euro pr. år under 4. RP til 7 217 millioner euro pr. år under 7. RP (jf. figur 1). For så vidt angår budgetbevillinger udgør rammeprogrammerne det største område i Kommissionen med direkte central forvaltning (5).

5. Rammeprogrammerne adskiller sig fra mange nationale programmer derved, at de støtter både grundforskning og anvendt forskning med deltagelse af industrivirksomheder og offentlige forskningsorganisationer (6). De består af særprogrammer (og delprogrammer), der dækker brede videnskabsfelter. Disse programmer er typisk opdelt i et antal domæner, der dækker en række mere specifikke videnskabelige områder. Aktionerne inden for de forskellige domæner iværksættes gennem projekter (kaldet »indirekte aktioner«) efter indkaldelse af forslag. På den måde finansieres hundredvis af enkeltprojekter pr. domæne.

6. I alt står rammeprogrammerne for mellem 4 % og 5 % af den samlede offentlige FTU-finansiering i Den Europæiske Union og medlemsstaterne. Men rammeprogrammernes indflydelse på, hvilken slags forskning der udføres i Europa, er væsentligt større, end denne procentdel lader ane. Det skyldes, at Fællesskabets tilskud generelt kun udgør en del af et projekts samlede finansiering. Det er desuden et krav, at forskerne i forbindelse med deres finansieringsansøgninger kan påvise, at deres projekter er relevante for opfyldelsen af de mål, der er fastsat i indkaldelsen af forslag. Rammeprogrammerne giver således incitamenter, der retter FTU-aktionerne mod specifikke EU-mål.

7. I de seneste år er der sket væsentlige ændringer i rammeprogrammerne på grund af følgende forhold: — Der er kommet nye politiske udfordringer (Lissabon-strategien og Barcelona-målet, oprettelsen af det europæiske forskningsrum (ERA) og den stigende anvendelse af den åbne koordineringsmetode (7) i forbindelse med forsknings- og innovationspolitik). — Rammeprogrammernes orientering er ændret: I 4. RP handlede det om at finde løsninger på tekniske problemer, og i 5. RP handlede det om at afhjælpe specifikke sociale problemer, mens det i 6. og 7. RP handler om at støtte samarbejde mellem forskningsorganisationer inden for det europæiske forskningsrum og bidrage til at skabe en videnbaseret økonomi og et videnbaseret samfund. — Programmeringsperioderne er blevet længere (tidligere fire år, men syv år for 7. RP, så det passer med de finansielle overslag for 2007-2013). — Der er kommet flere medlemsstater og deltagende lande. — Der er kommet flere midler, især under de nuværende finansielle overslag. — Det Europæiske Forskningsråd (ERC) er blevet oprettet, og under 7. RP er man begyndt at uddelegere programforvaltningsopgaver til forvaltningsorganer. — Der anvendes i stigende grad store finansieringsinstrumenter (f.eks. ekspertisenet, integrerede projekter, artikel 169-projekter og fælles teknologiinitiativer).

Evaluering af og tilsyn med rammeprogrammerne

8. Kommissionen har ansvaret for at gennemføre programmerne og vurdere resultaterne (8). Evalueringen er decentraliseret til generaldirektoraterne, mens de centrale tjenester (især GD for Budget og Generalsekretariatet) yder støtte og koordinerer arbejdet.

9. I denne beretning anvendes Kommissionens egen definition af »evaluering« som bedømmelse af interventionerne ud fra de opnåede resultater og den opnåede effekt og ud fra de behov, de skal opfylde (9), og af »tilsyn« som forelæggelse af forvaltningsrelevante oplysninger om gennemførelsen af igangværende programmer og projekter (10). De to aktiviteter er også defineret på denne måde i den gældende lovgivning om 7. RP.

10. Herefter benyttes følgende terminologi om FTU-aktionernes resultater: — »Output« er den viden, de varer og de tjenesteydelser, der direkte frembringes som følge af den offentlige intervention (publikationer, konferenceindlæg, patenter, licenser, prototyper, standarder, uddannede videnskabsmænd osv.). — »Udfaldet« er de senere resultater af, at brugerne tager disse output i anvendelse. — »Effekten« er de socioøkonomiske ændringer, som den offentlige intervention skaber på længere sigt. Tekstboks 1Eksempel — Global System for Mobile communications (GSM)»Output« af Fællesskabets finansiering var i dette eksempel de umiddelbare projektresultater såsom udviklingen af GSM-standarden. »Udfaldet« var, at GSM blev taget i brug som standard for digital mobiltelefoni i og uden for Europa, hvilket i høj grad bidrog til udviklingen af telekommunikationsindustrien. Og endelig var »effekten« de økonomiske, sociale og politiske konsekvenser af, at denne teknologi vandt international udbredelse. Blandt disse kan nævnes, at der blev skabt arbejdspladser i telekommunikationsindustrien og beslægtede industrier, samt at denne industrisektor fik større betydning for den europæiske økonomi. Endvidere har GSM-teknologien givet mennesker en ny måde at kommunikere med hinanden på.

11. Der er imidlertid en række metodologiske vanskeligheder forbundet med at vurdere disse resultater (jf. bilag I). Socioøkonomiske ændringer er komplekse, og det er ofte svært at spore sammenhængen mellem en forskningsaktion, dens udfald og dens effekt. Disse metodologiske vanskeligheder er en stor udfordring, men de gør det ikke nødvendigvis umuligt at foretage en effektiv evaluering.

12. Kommissionen har siden 1980'erne haft et system for tilsyn med og evaluering af rammeprogrammerne (11). Siden 4. RP fra midten af 1990'erne har tilsyns- og evalueringssystemet bestået af en række delvis sammenkoblede aktiviteter, herunder — årlige tilsyn (med hovedvægt på programgennemførelsen) samt — femårsevalueringer af rammeprogrammets aktioner (og fra 6. RP yderligere evalueringer af specifikke spørgsmål). Begge aktiviteter skulle udføres med bistand fra eksterne eksperter (jf. figur 2 og bilag II). Figur 2 4. RP til 7. RP — nøglekrav til tilsyn og evaluering 4. RP (1995-1998) 5. RP (1999-2002) 6. RP (2003-2006) 7. RP (2007-2013) To evalueringer (midtvejsevaluering og endelig evaluering) af de 20 delprogrammer og rammeprogrammet. Den endelige evaluering overlappede med midtvejsevalueringen af 5. RP. To samtidige evalueringer (midtvejsevalueringer) af de 7 særprogrammer og rammeprogrammet. Én evaluering af rammepro-grammet og de 3 særprogrammer (midtvejs), men ikke specifikt af alle 20 delprogrammer, suppleret med specifik evaluering og regelmæssige statusrapporter (dvs. tilsynsrapporter). Mindst fem evalueringer (forhåndsevaluering, midtvejsevaluering og endelig evaluering) herunder en statusrapport før den foreløbige evaluering. 1. Forhåndsevaluering: Nej. 1. Forhåndsevaluering: Nej. 1. Forhåndsevaluering: Nej. 1. Forhåndsevaluering: Indgår i »Impact Assessment of the Commission’s proposal for FP7« (2005). 2. Midtvejsevaluering: — »Femårsevaluering«: Midtvejs i rammeprogrammet, forud for det efterfølgende rammeprogram (1997). 2. Midtvejsevaluering: — Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2000) — Vurdering af udviklingen midtvejs i rammeprogrammet (2001). 2. Midtvejsevaluering: — Evaluering af instrumenternes effektivitet (2004) — Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2004) — Regelmæssige statusrapporter (dvs. tilsynsrapporter). 2. Midtvejsevaluering: — Efterfølgende evaluering to år efter afslutningen af det foregående rammeprogram (2008) — Statusrapport forud for den foreløbige evaluering (før 2010) — Foreløbig evaluering (2010). 3. Endelig evaluering: — Ved afslutningen af rammeprogrammet (1999). 3. Endelig evaluering: Nej. 3. Endelig evaluering: Nej [ændret ved afgørelsen om 7. RP]. 3. Endelig evaluering: To år efter rammeprogrammets gennemførelse (2015), støttet af specifikke undersøgelser, den foreløbige evaluering og andre evalueringer foretaget i rammeprogrammets løbetid. Kilde: Jf. bilag II.

13. Indtil nu er der foretaget tre femårsevalueringer (12), som er beskrevet i Davignon-rapporten, Majó-rapporten og Ormala-rapporten (fra henholdsvis 1997, 2000 og 2004). Derudover har GD for Informationssamfundet og Medier foretaget målrettede evalueringer af sit særprogram. Det skal bemærkes, at ordningen med femårsevalueringer blev afskaffet i forbindelse med lovgivningen om 7. RP, så det ikke længere er fastsat, at store evalueringer skal dække de foregående fem år og derfor nødvendigvis omfatte dele af to successive programmeringsperioder. I 2004 offentliggjordes også Marimón-rapporten (13), en specifik evaluering af effektiviteten af de nye instrumenter, der blev indført under 6. RP.

14. Rammerne for Kommissionens evalueringsaktiviteter blev gennemgået i 2000 og 2002, og resultaterne blev beskrevet i to meddelelser (14). Disse meddelelser blev ajourført i 2007 under hensyntagen til konsekvenserne af den administrative reform af Kommissionen og den nye finansforordning (15). I disse dokumenter beskrives evalueringens rolle i Kommissionens overordnede cyklus for planlægning, programmering og rapportering, og der defineres et sæt bestående af 21 evalueringsstandarder og 18 modeller for god praksis. Desuden omhandler dokumenterne anvendelsen af evaluering i forbindelse med udarbejdelse og forenkling af EU-lovgivningen.

REVISIONENS OMFANG OG REVISIONSMETODEN

15. Hovedformålet med revisionen var at finde ud af, om Kommissionens tilgang til vurdering af FTU-rammeprogrammernes resultater er hensigtsmæssig.

16. Med henblik herpå undersøgte Retten: — om der i rammeprogrammerne og de tilhørende programmer er en eksplicit interventionslogik, som output, udfald og effekt kan måles og vurderes efter, og som derfor kan danne grundlag for evaluering og tilsyn — om der for rammeprogrammerne er defineret en evalueringsstrategi, som fremmer effektiv og ensartet evaluering — om evalueringssystemets organisationsstruktur sikrer, at dets arbejde koordineres hensigtsmæssigt i hele rammeprogrammet, at det får de nødvendige ressourcer, og at interessenterne opfatter det som tilstrækkelig uafhængigt — om de anvendte evalueringsmetodologier sikrer, at relevante spørgsmål behandles på en hensigtsmæssig måde, så evalueringen opfattes som rimelig — om evalueringerne og tilsynsaktiviterne giver oplysninger og analyser, som kan bruges til at forbedre igangværende programmer (»learning programmes«) og danne grundlag for udformningen af fremtidige rammeprogrammer.

17. Denne beretning omfatter de ordninger, der har været gældende for 4. RP (1995-1998), 5. RP (1999-2002) og 6. RP (2003-2006), og bestemmelserne vedrørende det aktuelle rammeprogram, 7. RP (2007-2013), men den indeholder ingen vurdering af Kommissionens konsekvensanalyse og forudgående evaluering af 7. RP (16). Beretningen fokuserer på tilsyn med og efterfølgende evaluering af programmerne, ikke på forudgående evaluering af projektforslagene eller efterfølgende evaluering af projekterne.

18. Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter. Revisionsbeviset blev indsamlet i forbindelse med: — revisionsarbejde udført under besøg i Kommissionen (gennemgang af dokumentation og interviews med ansatte), herunder identifikation af lovgivningsmæssige krav, gennemgang af mål og resultatkriterier, analyse af over 80 tilsyns- og evalueringsrapporter og af, hvordan evalueringsaktiviteterne er organiseret i Kommissionen — interviews med mere end 90 eksperter, som er interessenter i medlemsstaterne og de associerede lande (Den Tjekkiske Republik, Tyskland, Estland, Spanien, Frankrig, Italien, Luxembourg, Nederlandene, Østrig, Finland, Sverige, Det Forenede Kongerige og Norge) — spørgeskemabesvarelser fra de institutionelle interessenter i Europa-Parlamentets ITRE-udvalg (17) og Rådets CREST-udvalg (18) — høring af mere end 65 amerikanske og canadiske eksperter i forskningsevaluering som international sammenligningsgruppe — gennemgang af akademisk litteratur om aktuelle tendenser i forskningsevaluering — drøftelse af revisionsresultater, konklusioner og anbefalinger med eksperter i forskningsevaluering fra Europa og Nordamerika på en række styrede fokusgruppemøder i februar 2007.

REVISIONSBEMÆRKNINGER

Interventionslogik, mål og resultatindikatorer

19. Det er en forudsætning for effektiv evaluering og et effektivt tilsyn, at der i forskningspolitikken såvel som på program- og projektniveau er fastsat klare mål og relevante resultatindikatorer, som resultaterne af en offentlig intervention kan vurderes efter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at sådanne mål og indikatorer bør defineres inden for rammerne af en interventionslogik.

20. En interventionslogik kan beskrives som et sæt af hypotetiske årsagssammenhænge, der viser, hvordan man forventer at nå en interventions overordnede mål (19). I Kommissionens evalueringsretningslinjer står der, at en interventionslogik begrebsmæssigt forbinder en interventions input med frembringelsen af dens output og dens efterfølgende effekt på samfundet i form af resultater og udfald (20). Denne definition anvendes i hele denne beretning.

21. Retten undersøgte, om der for rammeprogrammerne og de tilhørende programmer var fastlagt en interventionslogik, som kunne danne et solidt grundlag for evaluering og tilsyn.

Interventionslogikken for rammeprogrammerne har ikke været eksplicit

22. Fastlæggelsen af en interventionslogik bør fra begyndelsen være et nøgleelement i udformningen af et program. Udgangspunktet for fastlæggelsen af en interventionslogik for rammeprogrammerne bør være traktatens artikel 163, som siger, at det videnskabelige og teknologiske grundlag for Fællesskabets industri skal styrkes, og at dens internationale konkurrenceevne skal fremmes (jf. punkt 2). Denne målsætning skal derefter formuleres som specifikke mål for de forskellige videnskabelige områder, der er omfattet af rammeprogrammerne, og de forskellige instrumenter, der anvendes.

23. Der mangler imidlertid på alle niveauer en eksplicit logisk model, som forklarer, hvordan rammeprogrammerne og de tilhørende programmer bidrager til at skabe videnskabelige og teknologiske fremskridt og innovation.

24. Fraværet af en interventionslogik for rammeprogrammerne blev også fremhævet af det panel, der foretog femårsevalueringen i 2004. Panelet bemærkede i sin rapport, at det selv og lignende paneler bliver bedt om at udfylde tomrummet mellem dataene, der hovedsagelig er indsamlet på projektniveau, og de socioøkonomiske forskningsmål, der er fastsat på et højere politisk niveau. På grund af den måde, rammeprogrammerne var planlagt på, fandt panelet det imidlertid svært at forbinde disse ting med hinanden. Der manglede en eksplicit logik, som forbandt de overordnede målsætninger med de specifikke mål for forskning og skabelse af viden (21).

25. En anden tilgang finder man i nogle medlemsstater (f.eks. Nederlandene og Finland) og i USA (jf. figur 3), hvor det er meget mere almindeligt at fastlægge en interventionslogik, samt i Canada, hvor det er obligatorisk i forbindelse med alle programmer (jf. bilag III). Disse landes anvendelse af interventionslogik i forbindelse med programudformning giver programmer med mere fokus og bedre struktur. Kommissionen er også ved at indføre interventionslogik på andre af Fællesskabets politikområder (f.eks. bistand til tredjelande) (22). Figur 3 Hierarkisk opstilling af mål på grundlag af logiske modeller — eksempel fra landbrugsforskning i USA Politik Program Projekt Politisk mål : at bidrage til at forbedre landbrugsfamiliernes livsgrundlag. Målsætning : at øge landbrugsfamiliernes produktion, produktivitet og indtægter. Programmål : at bidrage til at øge landbrugsfamiliernes produktion, produktivitet og indtægter. Forventet resultat : øget anvendelse af forbedrede landbrugsteknologier blandt landbrugerne. Målsætning : at øge anvendelsen af forbedrede landbrugsteknologier blandt landbrugerne (f.eks. ris). Projektmål : at bidrage til øget anvendelse af anbefalede, forbedrede teknologier. Forventet resultat : udarbejdelse/formidling af anbefalinger til landbrugerne. Målsætning : at udarbejde/formidle anbefalinger til landbrugerne. Forventede resultater (f.eks.): 1. teknologier identificeret ud fra landbrugernes behov 2. teknologier genereret og tilpasset 3. teknologier afprøvet på landbrugernes marker. Kilde: US National Agricultural Research Council.

26. Hvis man ikke eksplicit formulerer det rationale, der ligger til grund for den offentlige intervention, og de hypotetiske årsagssammenhænge (som bestemmer, hvordan programmet derefter planlægges i detaljer, gennemføres og vurderes), undergraves muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. Det skyldes især den måde, hvorpå programmernes mål og resultatindikatorer defineres.

Uden en eksplicit logisk model er det sværere at fastsætte sammenhængende programmål

27. Når det underliggende rationale for den offentlige intervention ikke gøres eksplicit, er det sværere at fastsætte og strukturere sammenhængende programmål. Det giver sig blandt andet udslag i: — at der ikke er en klar sammenhæng mellem rammeprogrammernes mål og de forskningspolitiske mål, f.eks. det overordnede mål i traktatens artikel 163 og målene i Lissabon-strategien og Barcelona-erklæringen (jf. punkt 2 og 7) — at det ikke altid er muligt at se en forbindelse mellem de programmål, der er fastsat på de forskellige niveauer i lovgivningen (såsom rammeprogramafgørelser, beslutninger om særprogrammer og regler for deltagelse og formidling), og mellem de programmål, der er fastsat i henholdsvis basisretsakterne og Kommissionens arbejdsprogrammer.

28. Kommissionen har gjort forsøg på at fastsætte arbejdsprogrammernes operationelle mål med udgangspunkt i de programmål, der er defineret i lovgivningen om rammeprogrammerne. I forbindelse med næsten alle disse initiativer er det imidlertid ikke lykkedes at præcisere programmernes underliggende logik, og arbejdsprogrammernes mål var derfor ikke specifikke, målelige, realiserbare, relevante og tidsbestemte (SMART). I 2003 blev dette gjort til et krav i finansforordningen (23).

29. Det er uklart, i hvor høj grad de forskningspolitiske mål har en virkning, som kan spores hele vejen gennem særprogrammer, arbejdsprogrammer og indkaldelser af forslag ned til de enkelte projekter, der medfinansieres af Fællesskabet. Hvis ikke disse sammenhænge bliver klarlagt, er det ikke muligt at vurdere, hvordan rammeprogrammerne og de tilhørende programmer bidrager til opfyldelsen af de forskningspolitiske mål. I forbindelse med sin revision fandt Retten meget få eller slet ingen overbevisende beviser for opfyldelse af langsigtede mål på hverken projekt- eller programniveau i Kommissionens evalueringer (jf. punkt 82).

Uden en eksplicit interventionslogik og klare mål er det sværere at udvikle resultatindikatorer

30. Fraværet af en eksplicit logisk model og klart formulerede programmål har også hæmmet udviklingen af resultatindikatorer til brug ved tilsyn med opfyldelsen af programmernes mål i form af output, udfald og effekt. Faktisk er der indtil nu slet ikke blevet defineret sådanne »effektivitetsindikatorer« for rammeprogrammerne (jf. punkt 73).

31. Det gør det endnu vanskeligere at føre tilsyn med de igangværende projekter under disse programmer samt at foretage efterfølgende evaluering af de afsluttede projekter, og det bliver sværere at aggregere projektevalueringerne og lægge dem til grund for konklusioner på programniveau (jf. bilag I og punkt 84).

Den måde, ABB/ABM-systemet for øjeblikket anvendes på, gør det uegnet til at måle rammeprogrammernes resultater

32. I Kommissionens årlige tilsynsrapporter og i dens system for aktivitetsbaseret forvaltning (ABM) finder man en række indikatorer, der anvendes til at måle programgennemførelsens produktivitet (f.eks. tid til kontrakt og tid til betaling).

33. Indtil nu har »forskningsgeneraldirektoraterne« imidlertid ikke anvendt en standardiseret eller sammenlignelig nomenklatur for aktivitetsbaseret budgettering (ABB) og ensartede indikatorer, end ikke ved gennemførelsen af det samme særprogram (eller delprogram). Indikatorerne kan derfor ikke bruges til at sammenligne hverken resultater fra forskellige programmer eller resultater opnået i samme program. Tekstboks 2ABB/ABM, som det for øjeblikket anvendes i »forskningsgeneraldirektoraterne«I ABB/ABM-systemet er rammeprogrammerne omfattet af to forskellige politikområder, og inden for disse områder klassificerer hvert generaldirektorat aktionerne efter sin egen nomenklatur (24). Det gælder tilmed for de særprogrammer og delprogrammer, der gennemføres af mere end ét generaldirektorat. Retten konstaterede, at ABM-målene var defineret på grundlag af forskellige principper (25), og bemærkede ligesom Kommissionens interne revisionstjeneste (26), at der hovedsagelig var tale om generelle beskrivelser af hensigter eller aktiviteter. Indikatorerne var generelt inputorienterede (f.eks. antal møder). Nogle indikatorer vedrørte processens effektivitet (f.eks. tid til kontrakt og tid til betaling), men de kunne ikke sammenlignes fra program til program og fra generaldirektorat til generaldirektorat, fordi der var forskelle i den anvendte ABB-nomenklatur, udgangspunktet i de enkelte generaldirektorater (f.eks. tidspunktet for begyndelse og afslutning af specifikke administrative processer) og i den population (f.eks. tilskudsaftaler eller betalinger), der var lagt til grund for beregningen.

Anbefalinger

34. I fremtidige lovgivningsforslag til Rådet og Europa-Parlamentet bør Kommissionen udarbejde en eksplicit interventionslogik for rammeprogrammet som helhed og for de tiltag, det omfatter. 35. Med hensyn til 7. RP bør Kommissionen — klart beskrive målene for rammeprogrammet og de tilhørende særprogrammer (og delprogrammer) og angive, hvordan de skal opfyldes — præcisere forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål for hvert særprogram (og delprogram), og — fastsætte relevante operationelle mål. 36. I forbindelse med sit system for tilsyn med 7. RP bør Kommissionen for hvert særprogram (og delprogram) opstille et begrænset, men afbalanceret, sæt resultatindikatorer til måling af programgennemførelsens produktivitet og effektivitet. 37. »Forskningsgeneraldirektoraterne« bør harmonisere deres ABM/ABB-nomenklatur, så deres resultatindikatorer bliver sammenlignelige, både over tid og, hvis det er muligt, fra program (og delprogram) til program (og delprogram).

Evalueringsstrategi

38. En evalueringsstrategi skaber en begrebsmæssig ramme om udformningen, planlægningen, gennemførelsen og anvendelsen af evalueringsaktiviteter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at en sådan strategi bør tage højde for de vigtigste lovgivningsmæssige, organisatoriske og metodologiske spørgsmål med betydning for programevalueringen. Det er blandt andet spørgsmål om, hvilke evalueringer der skal udføres, hvem der skal udføre dem og hvornår, hvordan data skal indsamles, hvilke metodologiske tilgange der skal anvendes, hvordan evalueringsresultaterne skal meddeles, og hvordan der skal følges op på dem.

39. Hvis evaluering skal indgå som et naturligt element i Kommissionens organisationskultur og beslutningsproces, er det en forudsætning, at der findes en sådan strategi, og at den bliver gennemført. Eftersom rammeprogrammerne dækker meget forskellige videnskabelige områder, erkender Retten dog, at en sådan strategi bør give de ansvarlige generaldirektorater en passende grad af fleksibilitet og ikke udstikke alt for faste rammer.

40. Retten undersøgte, om Kommissionen havde en sådan evalueringsstrategi for rammeprogrammerne.

Der er ingen samlet strategi for evaluering af rammeprogrammerne

41. For så vidt angår rammeprogrammerne offentliggjorde Kommissionen for første gang sin evalueringstilgang i 1980'erne (27). Den blev ajourført i 1996, da Kommissionen efter vedtagelsen af 4. RP i en meddelelse til Europa-Parlamentet og Rådet gjorde rede for sit syn på, hvilke principper det er relevant at lægge til grund for tilsyn og evaluering, og beskrev sin tilgang (28). Dette udgjorde imidlertid ikke en samlet evalueringsstrategi som beskrevet ovenfor (jf. punkt 38 og 39). Fra 1996 til 2006 reviderede Kommissionen endvidere ikke grundlæggende sin tilgang til evaluering af rammeprogrammerne, selv om de ændredes med hensyn til såvel omfang som orientering (jf. punkt 7). Det skal især bemærkes, at »forskningsgeneraldirektoraterne« ikke er blevet enige om en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer ud over de lovgivningsmæssige krav, der blev vedtaget i 2002 (vedrørende 6. RP) og i 2006 (vedrørende 7. RP) (29).

42. Fraværet af en sådan strategisk tilgang til evaluering på dette område er især et problem i indeværende programmeringsperiode, fordi 7. RP gennemføres i fællesskab af flere generaldirektorater, Det Europæiske Forskningsråd og forvaltningsorganerne, og fordi finansforordningen kræver obligatorisk personalerotation på følsomme poster. Situationen udgør også en kontrast til nuværende praksis på området bistand til tredjelande (som er det næststørste område, der forvaltes direkte af Kommissionen). På dette område har de kompetente generaldirektorater siden 2002 haft fælles flerårige evalueringsstrategier, der har fulgt programmeringsperioderne (jf. punkt 52).

43. Fraværet af en klart formuleret evalueringsstrategi udgør også en klar kontrast til situationen i USA og Canada, hvor lovgivningen kræver, at der er en strategi (jf. bilag III).

44. Som beskrevet nedenfor er der betydelige forskelle på evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer. Der var også andre svagheder, som er beskrevet senere i denne beretning, f.eks. koordineringsproblemer, metodologiske forskelle, problemer med timing og svagheder i forbindelse med formidling af og opfølgning på evalueringsresultater. Det afspejler fraværet af en samlet strategi for evaluering af rammeprogrammerne.

Forskelle i evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer

45. Rammeprogrammerne består af en række særprogrammer (og delprogrammer), som kan være meget forskellige med hensyn til formål, underliggende dynamik og budgettildeling (jf. bilag IV vedrørende 7. RP). Set under ét indebærer de specifikke bestemmelser i de forskellige rammeprogramafgørelser og finansforordningen (30) (som fastsætter, at programmer og aktiviteter, der medfører store udgifter, skal evalueres), at der siden 4. RP har været et lovgivningsmæssigt krav om evaluering af både rammeprogrammet som helhed og de fleste af de tilhørende programmer.

46. Kommissionen har ikke givet en regel for, hvornår særprogrammer eller delprogrammer skal evalueres, og den har heller ikke fastsat en fælles tærskel og bestemt, at programmer over denne tærskel skal evalueres. Det har ført til uensartede fortolkninger af, hvad der skulle evalueres, og hvor detaljeret evalueringen skulle være: — GD for Informationssamfundet og Medier anså IST-programmet for i sig selv at være et stort udgiftsprogram og iværksatte derfor i 2004 en fuld femårsevaluering, der blev udført sideløbende med evalueringen af rammeprogrammet som helhed. — GD for Forskning iværksatte ikke systematisk en sådan vurdering på særprogramniveau, selv om flere af programmerne under dets ansvar havde budgetter af en tilsvarende størrelse.

47. Det medførte, at store dele af 4. RP og 5. RP slet ikke blev evalueret i forbindelse med femårsevalueringen i 2004 (30 % af den samlede budgettildeling til 4. RP og 50 % af den samlede budgettildeling til 5. RP). Kommissionen overholdt således ikke de evalueringskrav, der er fastsat i finansforordningens artikel 27.

48. Disse forskellige fortolkninger af lovgivningens minimumskrav til evaluering — og den deraf følgende utilstrækkelige evaluering af tidligere rammeprogrammer — vidner om manglende koordinering og illustrerer konsekvensen af, at Kommissionen ikke har en strategisk tilgang til evaluering af rammeprogrammerne.

Anbefalinger

49. »Forskningsgeneraldirektoraterne« bør hurtigst muligt udvikle og aftale en fælles evalueringsstrategi for rammeprogrammerne. Uden at udstikke alt for faste rammer bør denne strategi fastlægge en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer. Strategien bør også give vejledning i, hvordan minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, kan fastsættes, så der tages højde for de særlige forhold på de forskellige videnskabsfelter.

Organisering af rammeprogramevalueringen

50. Evalueringen af rammeprogrammerne skal støttes af hensigtsmæssige organisatoriske rammer, der bør være lagt med udgangspunkt i Kommissionens strategiske orientering af evalueringen. Retten undersøgte, om organisationsstrukturen sikrede, at evalueringssystemet var hensigtsmæssigt koordineret, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt.

Kommissionen

Rammeprogrammerne gennemføres af flere generaldirektorater i fællesskab, mens evalueringen er decentraliseret

51. I Kommissionen ligger ansvaret for at evaluere udgiftsprogrammerne hos de enkelte generaldirektorater (jf. punkt 8), og der er oprettet evalueringsenheder i alle generaldirektoraterne. Disse evalueringsenheder er ansvarlige for at planlægge, koordinere og gennemføre evalueringerne.

52. Fraværet af et specifikt koordinerende organ eller en enkelt enhed med ansvar for at evaluere rammeprogrammerne som helhed — såsom et fælles evalueringskontor for »forskningsgeneraldirektoraterne« — udgør en kontrast til situationen på andre politikområder. På området bistand til tredjelande er der blevet oprettet en fælles evalueringsenhed for tre generaldirektorater (GD for Udvikling, GD for Eksterne Forbindelser og EuropeAid) med ansvar for at evaluere Kommissionens udviklingsprogrammer i tredjelande (jf. punkt 42).

53. GD for Forskning sørger gennem Kommissionens interne »FTU-evalueringsnet« for udveksling af viden mellem de forskellige generaldirektoraters evalueringsenheder, men har ikke autoritet til at fastsætte minimumskrav for evalueringen. Denne mekanisme har imidlertid vist sig at være utilstrækkelig til at sikre en passende koordinering af Kommissionens evaluering af rammeprogrammerne.

54. Kommissionen reviderede sin generelle tilgang til evaluering i 2000 og 2002 og igen i 2007 (jf. punkt 14). Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

Kommissionens centrale tjenestegrene fastsætter standarder, men har ingen håndhævende rolle

55. Kommissionens centrale tjenestegrene (især GD for Budget og Generalsekretariatet) giver råd om metodologi, fastsætter fælles standarder for Kommissionen som helhed og fører tilsyn med, hvordan generaldirektoraterne og de øvrige tjenestegrene anvender standarderne (jf. punkt 14 og 70). De kan ikke bestemme, hvordan evalueringerne skal udføres i praksis.

56. I USA og Canada håndhæves standarderne af de organer, der fastsætter dem, og erfaringerne viser, at det er medvirkende til at sikre, at evalueringssystemet fungerer effektivt. I begge lande er det føderale afdelinger, der fastlægger og håndhæver de rammer, som et program i sidste ende vurderes ud fra (jf. bilag III). Systemerne har forskellig baggrund, men de bygger begge på princippet om, at evalueringssystemets udformning og dets effektivitet bør undersøges i detaljer af et andet organ end det, der står for gennemførelsen af programmet. Det samme princip finder man i nogle medlemsstater (f.eks. Frankrig (31), Spanien (32) og Tyskland (33)), hvor eksterne organer fører tilsyn med de evalueringer, der foretages af de bevilgende myndigheder, eller ligefrem selv udfører evalueringer.

Paneler

Paneler af eksterne eksperter: et krav i lovgivningen om rammeprogrammer siden 4. RP

57. Siden 4. RP har alle store evalueringer af rammeprogrammerne (og det årlige tilsyn) skullet udføres af (eller med bistand fra) paneler af eksterne eksperter (jf. bilag II). Det kan være vanskeligt at finde kvalificerede eksperter til disse paneler, men de giver mulighed for at skabe gennemsigtighed og uafhængighed, lette inddragelsen af interessenter og tilføre viden om rammeprogrammerne, om evaluering og om de underliggende videnskabelige spørgsmål.

58. Det blev bekræftet af Rettens spørgeskemaundersøgelse, som viste, at Kommissionens panelbaserede evalueringssystem efter de adspurgtes opfattelse garanterer uafhængighed (jf. figur 4).

Svagheder i Kommissionens anvendelse af panelsystemet

59. Trods den positive opfattelse påpegede både panelmedlemmer og interessenter under Rettens revision, at Kommissionens brug af paneler til evaluering af rammeprogrammerne har været kendetegnet ved følgende svagheder: — Evalueringspanelerne nedsættes normalt mindre end et år før, deres rapport skal foreligge, og de holder kun et begrænset antal møder. Det gør det svært for panelmedlemmerne at få indflydelse på fastlæggelsen af, hvilke data og analyser der er nødvendige for panelets arbejde. Fordi der er tale om midlertidige ad hoc-paneler, er det desuden ikke let at kumulere viden om programmerne, og der kan ikke følges op på relevante spørgsmål over tid. Det er især en svaghed, når der (som i 7. RP) er planlagt en række store evalueringer i løbet af programmeringsperioden (jf. bilag II). Det udgør desuden en kontrast til Kommissionens praksis med hensyn til de rådgivende ekspertgrupper vedrørende rammeprogrammerne, som er permanente (34). I Canada (35) nedsættes der permanente evalueringspaneler for at sikre en ensartet og sammenhængende tilgang (jf. bilag III). — Når Kommissionen fastlægger panelernes referencerammer og evalueringsspørgsmål, sker det uden høring af eksterne interessenter såsom industrivirksomheder og store forskningsorganisationer, der deltager i rammeprogrammerne. 2004-tilsynspanelet fremhævede også dette problem og anførte, at potentielle brugere burde involveres i processen på et tidligt stadie (36). — Paneler fungerer på en anden måde end peer reviews. Panelernes medlemmer har ikke tid til selv at foretage evalueringer og baserer typisk deres rådgivning på data og beviser, som er stillet til rådighed fra andre kilder. På grund af den stramme tidsplan har panelerne kun haft begrænsede muligheder for at bestille yderligere undersøgelser, som var nødvendige for besvarelsen af de spørgsmål, der var fastsat i referencerammerne. Med få undtagelser havde panelerne i praksis kun oplysninger fra Kommissionen til rådighed i forbindelse med femårsevalueringerne.

Ressourcer

Der er ingen øremærkede midler til evaluering af rammeprogrammerne

60. Midlerne til evaluering afsættes årligt ud fra behovene i de generaldirektorater, der gennemfører rammeprogrammerne. På nuværende tidspunkt er der tale om en kombination af midler fra en fælles pulje i GD for Budget og midler fra det administrative budget i de pågældende generaldirektorater. Derudover finansieres specifikke foranstaltninger som indirekte aktioner over rammeprogrammernes operationelle budget. Det vil sige, at der ikke er afsat et beløb specifikt til evaluering.

61. I 2006 blev det anslået, at det personale, der arbejdede med evaluering og aktivitetsbaseret forvaltning i Kommissionen som helhed, i gennemsnit udgjorde ca. 1 % af det samlede personale (37). De tilsvarende tal for tilsyns- og evalueringsaktiviteter vedrørende FTU-rammeprogrammerne i GD for Forskning og GD for Informationssamfundet og Medier var henholdsvis 1,2 % og 1,3 %. I GD for Forskning var over to tredjedele af disse personaleressourcer imidlertid tildelt de afdelinger, der havde ansvar for de operationelle programmer og ikke evalueringsenheden, og evaluering var blot én af disse ansattes mange arbejdsopgaver.

Udgifterne til evaluering af rammeprogrammerne er lavere end anbefalet af Kommissionen

62. De ressourcer, der er afsat til evaluering, kan også udtrykkes som en procentdel af den samlede budgettildeling til programmet. Ifølge de tal, som Retten indhentede under sin revision, er det praksis i forbindelse med forskningsprogrammer i EU-medlemsstaterne at afsætte mellem 0,1 % og 2 % til evaluering. Af Kommissionens retningslinjer fremgår det, at 0,5 % af et programs budget bør anvendes til evaluering (38). I forbindelse med større programmer kan stordriftsbesparelser dog betyde, at en mindre del af budgettet er nok.

63. En sammenligning af Kommissionens tal for udgifterne til evaluering i perioden 2003-2006 og de enkelte generaldirektoraters budgettildelinger viser, at det samlede gennemsnit var på ca. 0,15 %, hvilket er betragteligt lavere end Kommissionens anbefaling. En nærmere analyse af forholdene i 2006 afslører, at GD for Informationssamfundet og Medier brugte ca. fire gange så meget på evaluering som GD for Forskning set i forhold til de budgettildelinger, der vedrørte deres respektive ansvarsområder. Dertil kommer, at der i GD for Forskning kun afsættes 0,7 % årsværk for en tjenestemand på fuld tid pr. million euro på det årlige budget. Til sammenligning afsætter GD for Informationssamfundet og Medier det dobbelte.

64. Som beskrevet i denne beretning har den ekstra indsats i GD for Informationssamfundet og Medier ført til en mere omfattende evaluering (jf. punkt 13 og 46), og det fremgår af den stikprøve af evalueringer, som Retten har gennemgået, at dette generaldirektorat også har anvendt bedre evalueringsmetodologier (jf. punkt 84).

65. På grundlag af data fra Kommissionen udarbejdede Retten et omkostningsoverslag, der viser, at et evalueringssystem som det, der foreslås i denne beretning, i gennemsnit ville koste under 0,4 % af budgettildelingerne til 7. RP. Det ville dække omkostningerne til paneler, bestilte undersøgelser og personale til såvel det fælles evalueringskontor som de nuværende evalueringsenheder i generaldirektoraterne samt diverse andre omkostninger (39).

Anbefalinger

66. »Forskningsgeneraldirektoraterne« bør overveje at oprette et fælles evalueringskontor som supplement til de eksisterende evalueringsenheder i de enkelte generaldirektorater. Dette kontor kunne koordinere Kommissionens evalueringsaktiviteter vedrørende rammeprogrammet som helhed, ligesom det er praksis på andre politikområder. Retten har tidligere anbefalet sådanne fælles støttefunktioner til de generaldirektorater, der gennemfører rammeprogrammerne (40), og med oprettelsen af Det Europæiske Forskningsråd og uddelegeringen af programgennemførelsen til forvaltningsorganer kan de få endnu større betydning fremover. 67. Kommissionen bør fortsat indhente bistand fra evalueringspaneler i forbindelse med sine evalueringsaktiviteter. Den bør dog overveje, hvordan panelstrukturen kan bringes i overensstemmelse med rammeprogrammets struktur som sådan. Det kunne gøres ved at nedsætte et panel for hvert særprogram og eventuelt hvert delprogram (jf. bilag IV). Desuden bør panelerne nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden. 68. Kommissionen bør genoverveje, hvor mange ressourcer der skal anvendes til evalueringen af rammeprogrammerne og de tilhørende programmer.

Evalueringsmetodologier og -teknikker

69. Det er en forudsætning for effektiv evaluering, at der anvendes velegnede metodologier og teknikker. Retten undersøgte, i hvilken udstrækning der fandtes specifikke retningslinjer for evaluering af rammeprogrammerne, om behovet for oplysninger blev analyseret ordentligt og rettidigt, og om evaluatorerne havde adgang til de relevante data. Med hensyn til de evalueringsundersøgelser, der var foretaget af (eller på vegne af) Kommissionen, undersøgte Retten, om de anvendte teknikker udgjorde et tilstrækkeligt grundlag for en besvarelse af de evalueringsspørgsmål, der var fastsat for femårsevalueringerne. Retten undersøgte også, hvordan nationale evalueringer potentielt kunne inddrages i evalueringen af rammeprogrammerne.

Anvendelse af RP-specifikke standarder og retningslinjer

70. GD for Budget har i adskillige meddelelser defineret sin evalueringspolitik, fastsat regler for gennemførelsen af den og opstillet et sæt standarder, der skal anvendes i hele Kommissionen (jf. punkt 14 og 55) (41). Også på andre politikområder har de ansvarlige generaldirektorater udviklet specifikke evalueringsvejledninger (42).

71. Det er imidlertid ikke tilfældet med hensyn til rammeprogrammerne. Ganske vist har Kommissionen udgivet (eller finansieret) en række metodologiske vejledninger og »toolboxes« til brug i forbindelse med evalueringsaktiviteter på forskningsområdet (43), men de giver ingen specifik vejledning i, hvordan rammeprogrammerne skal evalueres, og de fastlægger ikke, hvordan Kommissionens ansatte eller eksterne eksperter skal anvende nøglebegreber eller vigtig terminologi. Det har bidraget til at skabe de problemer, der er beskrevet nedenfor.

Databehov og dataindsamling

Behovet for oplysninger analyseres ikke tilstrækkeligt

72. »Forskningsgeneraldirektoraterne« har ikke gjort nok for at klarlægge, hvilke data der er brug for i forbindelse med evaluering og tilsyn. I stedet for at foretage en systematisk og omfattende analyse af behovet for oplysninger har Kommissionen defineret datakravene sent i programmeringsperioderne og uden at tage tilstrækkeligt hensyn til databehovet i evalueringsfasen. Spørgeskemaet om socioøkonomiske emner under 6. RP var generaldirektoraternes eneste fælles forsøg på at definere sådanne data (jf. punkt 76). Spørgeskemaet blev imidlertid først færdiggjort i 2004 (tre år efter programmeringsperiodens begyndelse), og det omhandler ikke primært programmernes videnskabelige output (intellektuelle ejendomsrettigheder, publikationer osv.), udfald og effekt, men i stedet aspekter såsom deltagernes kønsfordeling og påvirkningen af miljøet.

73. Vurderingen af programmerne er i høj grad afhængig af, at der foreligger tre typer data: — data indsamlet på baggrund af effektivitetsindikatorer, som giver viden om, hvor langt man er kommet med opfyldelsen af programmernes mål. Det tidligere nævnte fravær af en interventionslogik betyder, at det har været svært at opstille sådanne indikatorer (jf. punkt 30). I praksis kunne de indsamlede data stort set ikke anvendes til at måle opfyldelsen af programmålene — data om programforvaltningen (indsamlet på baggrund af produktivitetsindikatorer) — data om deltagerne (såsom oplysninger om omfanget af store forskningsorganisationers deltagelse).

74. Især de sidste to typer data burde være disponible i Kommissionen. Men på grund af problemer med Kommissionens interne it-systemer, som er kilden til de fleste data om programforvaltning og programdeltagere (44), har der i praksis været store problemer på dette punkt (45).

75. Det gav store forsinkelser i forelæggelsen af artikel 173-rapporter og årlige tilsynsrapporter (op til 16 måneder for artikel 173-rapporter (46) og op til syv måneder for årlige tilsynsrapporter i perioden 2002-2005). Eftersom disse oplysninger konsekvent blev forelagt for sent, var deres anvendelighed begrænset.

Ineffektiv tilgang til at indhente evalueringsdata fra deltagerne

76. Siden 5. RP har Kommissionen systematisk stillet som kontraktkrav, at deltagerne skal forelægge de data, der er nødvendige for at måle opfyldelsen af programmernes mål i form af output, udfald og effekt: — Under 5. RP skulle deltagerne indsende et »teknologisk iværksættelsesprogram« sammen med en endelig rapport, når projektet var afsluttet. Disse dokumenter var ofte af dårlig kvalitet, hvis de overhovedet blev indsendt. — Under 6. RP skal deltagerne udarbejde en plan for formidling og anvendelse af viden og besvare et standardspørgeskema om socioøkonomiske emner, når de indsender deres årlige tekniske rapporter.

77. Disse kontraktkrav om forelæggelse af data har pålagt deltagerne unødvendige administrative byrder. For eksempel betyder det årlige spørgeskema i forbindelse med 6. RP, at der indsamles data meget oftere end nødvendigt og fra hele populationen af projekter, selv om en repræsentativ stikprøve ville have været tilstrækkelig. Det kan let føre til »evalueringstræthed«. Desuden indsamles disse data på det forkerte tidspunkt. Mange af de spørgsmål, man ønsker belyst, vedrører nemlig udviklingen på mellemlang eller lang sigt, og derfor er data, der indsamles i løbet af projektets kontraktperiode, pr. definition indsamlet for tidligt (47). Det er grunden til, at oplysningerne kun har fundet begrænset praktisk anvendelse i forbindelse med evalueringer under 5. RP og 6. RP.

78. Derimod er der ingen af de eksisterende systemer, der sørger for standardiseret indsamling af oplysninger ved (eller kort tid efter) afslutningen af et projekt. De interviewede interessenter foreslog, at der kunne indsamles oplysninger om opfyldelsen af projektmålene, de forventede (og uventede) resultater og deltagernes opfattelse af europæisk merværdi. Sådanne oplysninger kunne også danne grundlag for eksterne undersøgelser af afsluttede projekter (48).

79. Kombineret med en mere omfattende anvendelse af scientometriske metoder (såsom citationsanalyse) til at vurdere projektresultaterne (jf. punkt 83) kunne disse oplysninger gøre det muligt for Kommissionen at indføre et mere resultatbaseret system til finansiering af FTU-aktioner, der medfinansieres af Fællesskabet (49).

Andre datakilder anvendes ikke tilstrækkeligt

80. Der gøres ikke tilstrækkelig brug af andre eksisterende datakilder i Kommissionen og medlemsstaterne (f.eks. databaser over nationale FTU-programmer og bevilgende myndigheder samt »Fællesskabets Informationstjeneste for Forskning og Udvikling« (CORDIS), som drives af Publikationskontoret under Kommissionen (50)).

Evalueringer foretaget af Kommissionen

Rapporter undersøgt af Retten

81. Retten undersøgte 86 evalueringer foretaget af (eller på vegne af) Kommissionen siden 2000. Det drejede sig om alle de 36 evalueringer, der dannede grundlag for femårsevalueringen i 2004, og de 50 evalueringer, der er foretaget siden da. Kun 23 af disse dokumenter kan betegnes som egentlige evalueringer af rammeprogrammet og de tilhørende programmer (jf. figur 5). Figur 5 Oversigt over evalueringer foretaget af (eller på vegne af) Kommissionen i løbet af perioden 2000-2006. Dokumenttype Antal Beskrivelse Evalueringer af aktioner under rammeprogrammerne 23 Evalueringer — baseret på anerkendte metodologier (51) — med specifik omtale af programmålene og opfyldelsen af disse mål. Nationale konsekvensanalyser foretaget på medlemsstatsplan 12 Undersøgelser foretaget af medlemsstaterne med hovedvægt på den nationale deltagelse snarere end på opfyldelsen af programmålene. Metodologiske undersøgelser 5 Undersøgelser bestilt af Kommissionen som støtte til udviklingen af evalueringsmetodologier. Undersøgelser af det europæiske FTU-miljø 2 Undersøgelser, der indeholder kontekstanalyser af den europæiske forskningsverden, men ikke beskæftiger sig med rammeprogrammerne. Især er der ingen eksplicit omtale af, hvilken indvirkning rammeprogrammerne har på de nationale forsknings- og innovationssystemer. Ikke-analytiske beskrivende og statistiske dokumenter 33 Dokumenter, der typisk beskæftiger sig med FTU-aktioner på en meget indirekte måde og ofte indeholder beskrivelser i stedet for analyser. Andre dokumenter 11 Dokumenter, der behandler emner af generel politisk interesse uden at inddrage rammeprogrammerne.

Evalueringerne fokuserer på tilsyn, ikke på udfald og effekt

82. Rettens metaanalyse af disse specifikke evalueringer giver anledning til to væsentlige bemærkninger: — I mange af evalueringerne prøver man at drage konklusioner om opfyldelsen af programmålene, men konklusionerne er vagt formuleret, og læseren føler sig ikke overbevist om, at dette aspekt virkelig er blevet vurderet. Det skyldes ofte, at der slet ikke var defineret klare programmål, hvilket undergraver hele processen (jf. punkt 28). — I stedet for at evaluere udfald og effekt af rammeprogrammerne eller de tilhørende særprogrammer (og delprogrammer) giver mange af dokumenterne blot en beskrivelse af programmerne og — i bedste fald — en vurdering af de umiddelbare projektresultater og projektforvaltningen. Disse rapporter kan ikke levere overbevisende dokumentation for udfald eller effekt.

Der er ikke tilstrækkelig fokus på udvikling af innovative metodologier

83. Der anvendes i overvejende grad traditionelle metodologier og -teknikker (især spørgeskemaundersøgelser, dokumentgennemgange og interviews) i de evalueringer, der blev foretaget i perioden 2000-2006 (jf. figur 6). Desuden noterede Retten sig, at der ikke (eller kun meget sjældent) anvendtes en række sofistikerede, men ikke desto mindre anerkendte, evalueringsmetodologier og -teknikker, især: — scientometriske metoder (såsom citationsanalyse) (52) — kvantitative modeller (såsom omkostningsproduktivitet, omkostningseffektivitet og cost-benefit) (53) — adfærdsmodeller (som fokuserer på de involverede i en intervention og deres synsvinkel, f.eks. forskningsnetværk og ændringer i deres karakteristika over tid).

84. Kun et begrænset antal evalueringer kan siges at beskæftige sig med nogle af de metodologiske vanskeligheder, der er forbundet med at vurdere offentlig intervention i forskning (jf. bilag I): — For nylig blev der afsluttet to undersøgelser om interventionslogik (54). — Selv om et nøgleelement i konceptet om det europæiske forskningsrum er den antagelse, at det har en positiv netværkseffekt, vurderes det kun i tre evalueringer, hvordan fællesskabsfinansieringen har påvirket forskningsorganisationernes netværksadfærd på europæisk plan (55). — Kun i ét tilfælde gøres der et forsøg på at drage konklusioner om effekten på programniveau (eller delprogramniveau) ved at kombinere de aggregerede evalueringsanalyser på projektniveau med andre evalueringsteknikker (56). — Der er intet, der tyder på, at der er blevet anvendt andre metodologier såsom kontrafaktuelle tilgange (med anvendelse af kontrolgrupper). Ved at sammenligne med situationer uden intervention (eller intervention på nationalt eller regionalt plan) ville en kontrafaktuel tilgang især kunne vise, om programmerne på fællesskabsplan har merværdi.

85. Ifølge de interessenter, som Retten interviewede, kan anvendeligheden og relevansen af Kommissionens evalueringer forbedres. Det viser, at der er behov for yderligere metodologisk udvikling, så evalueringssystemet kan ændres i takt med rammeprogrammerne (jf. punkt 7) (57).

Vigtige spørgsmål i femårsevalueringerne kunne ikke behandles på grundlag af Kommissionens specifikke evalueringer

86. De nævnte problemer betød også, at det panel, der foretog femårsevalueringen i 2004 (58), havde store vanskeligheder i forbindelse med besvarelsen af de spørgsmål, der var foreslået i referencerammerne. Mange af disse vigtige spørgsmål kunne slet ikke behandles, fordi Kommissionen ikke allerede havde foretaget (eller ladet foretage) undersøgelser, og fordi panelets medlemmer ikke havde mulighed for at bestille sådanne undersøgelser i rette tid (jf. figur 7). Figur 7 Behandlingen af evalueringsspørgsmål i femårsevalueringen fra 2004 Evalueringsspørgsmål Behandlet i rapporten? GENNEMFØRELSE Blev aktionerne gennemført på en produktiv måde? delvis Var aktionerne omkostningseffektive? delvis Var de valgte aktioner de bedst egnede til at nå målene? nej Var de overordnede retlige rammer (herunder reglerne for deltagelse og kontrakter), de politiske instrumenter og gennemførelsesbestemmelserne klare, hensigtsmæssige og effektive? nej Var der tilstrækkelige finansielle midler og andre ressourcer til rådighed? nej Var de relevante industri- og forskningsmiljøer, herunder SMV’er, i stand til at reagere hensigtsmæssigt? ja RESULTATER Blev aktionernes mål nået, og i hvilket omfang var der uventede resultater? nej Hvad er de væsentligste resultater, især i form af videnskabelige, teknologiske, socioøkonomiske og miljømæssige output, i form af internationalt samarbejde, videnoverførsel og innovation, standardforberedende foranstaltninger, adgang til samt formidling og anvendelse af forskning, udvikling af menneskelige ressourcer, mobilitet og uddannelse, og i form af støtte til og fremme af forskningskoordinering? nej Var resultaterne og deres effekt generelt tilfredsstillende for de direkte eller indirekte modtagere og interessenter? nej Blev de relevante industri- og forskningsmiljøer, herunder SMV’er, involveret? nej Hvordan og i hvilket omfang har aktionerne bidraget til at forbedre EU’s forskningsmæssige konkurrenceevne på internationalt plan? Er EU’s forskning blevet førende på specifikke områder? delvis Hvordan og i hvilket omfang har aktionerne bidraget til EU’s politikker generelt og til EU’s strategi for bæredygtig udvikling? nej Er der tegn på en strukturel ændring som følge af Fællesskabets forskningsaktioner, især med hensyn til forskningsnetværk, -integrering og -koordinering på nationalt eller internationalt plan? nej Gav programmerne valuta for pengene? Har aktionerne haft varig effekt? nej UDVIKLING OG FREMTIDSPERSPEKTIVER Hvordan udviklede rammeprogrammerne sig for så vidt angår rationale, mål, udvalgte temaer, balance mellem bottom-up- og top-down-prioriteter og mellem grundforskning og anvendt forskning, instrumenter, europæisk merværdi og andre virkninger, idet der især tages hensyn til oprettelsen af det europæiske forskningsrum (ERA), Lissabon-strategien og internationale benchmarks for økonomi og forskning? ja Hvordan opnåede rammeprogrammet europæisk merværdi? ja Kan der opnås europæisk merværdi ved hjælp af andre internationale eller nationale mekanismer? nej Er programmernes politiske mål, prioriteter, instrumenter og livscyklus hensigtsmæssige i fremtiden? ja

87. Det skal desuden bemærkes, at panelets medlemmer kun var i stand til at besvare spørgsmålene i referencerammerne, når der i programmerne var defineret klare og kvantificerbare mål (f.eks. for omfanget af små og mellemstore virksomheders deltagelse).

Evalueringer af rammeprogrammerne foretaget på nationalt plan

88. Flere medlemsstater og associerede lande foretager deres egne nationale evalueringer af rammeprogrammerne og behandler relevante og interessante spørgsmål ud fra deres egen synsvinkel (59). I de sidste otte år er der blevet udarbejdet 14 sådanne evalueringer for ni medlemsstater og ét associeret land.

89. Kommissionen opfordrer til, at der anvendes standardtilgange, når det er muligt, men disse nationale konsekvensanalyser er meget forskelligartede (60). Eftersom de ikke er udarbejdet efter en harmoniseret metodologi, er der begrænsede muligheder for at aggregere, kombinere eller sammenligne resultaterne. Og fordi der er tale om nationale evalueringer, kan de kun delvis give et billede af det europæiske samarbejde.

90. I 2007-grønbogen om det europæiske forskningsrum omtaler Kommissionen vigtigheden af, at der på europæisk plan foreligger nøjagtige analyser af effekten og effektiviteten af forskellige forskningsaktioner og -politikker, herunder nationale analyser og EU-analyser. Kommissionen nævner også, at den nuværende ordning ikke er velegnet til sådanne analyser, fordi de enkelte interventionsniveauer foretager evalueringer uafhængigt af hinanden (61).

Anbefalinger

91. Kommissionen bør udarbejde en manual for evaluering af aktioner, der finansieres af rammeprogrammerne. Her bør Kommissionen definere nøglebegreber og vigtig terminologi og beskrive en række metodologier, som er velegnede til bestemte evalueringsaktiviteter. Manualen bør bygge på eksisterende vejledninger og »toolboxes« og ajourføres regelmæssigt. 92. Kommissionen bør fastlægge sit behov for oplysninger, idet den sørger for at begrænse den administrative byrde, der lægges på deltagerne. 93. Kommissionen bør forelægge tilsynsoplysninger om gennemførelsen af rammeprogrammerne i rette tid. Som fastsat i 7. RP's regler for deltagelse bør problemerne med Kommissionens it-systemer til forvaltning af data om programforvaltning og programdeltagere afhjælpes så hurtigt som muligt. 94. Deltagernes forpligtelse til at rapportere til Kommissionen bør begrænses væsentligt, og spørgeskemaundersøgelser bør kun foretages på stikprøvebasis. Kontraktkravet om, at der for hvert projekt skal indsendes indikatorbaserede data om dets effekt, bør erstattes af et krav om en kort selvevaluering efter projektets afslutning. 95. I forbindelse med sine evalueringer bør Kommissionen i større udstrækning anvende andre eksisterende kilder til relevante data (både i Kommissionen og i medlemsstaterne). 96. Kommissionen bør anvende hele den vifte af evalueringsteknikker, som er til rådighed. Desuden bør den støtte udviklingen af innovative tilgange til at afhjælpe de iboende metodologiske vanskeligheder i forbindelse med vurdering af offentlig intervention i forskning (jf. bilag I) og anvende disse tilgange i sine egne evalueringer. 97. Kommissionen bør høre medlemsstaterne om, hvordan den kan få størst muligt udbytte af de nationale evalueringer af rammeprogrammerne.

Formidling og anvendelse af evalueringsresultater

98. Evalueringer bør give relevante oplysninger og analyser, som kan bruges effektivt i forbindelse med programforvaltning og politikudformning. Især bør evalueringer danne udgangspunkt for den velbegrundede refleksion over styrkerne og svaghederne ved offentlig intervention, som er nødvendig, hvis der skal drages nytte af de høstede erfaringer. Retten undersøgte, om evalueringerne var timet rigtigt, om resultaterne blev meddelt og formidlet til interessenter uden for Kommissionen, og om Kommissionen tog hensyn til anbefalingerne og på den baggrund reviderede igangværende programmer (»learning programmes«).

Evalueringerne var ikke timet efter, hvilken type oplysninger der realistisk kunne forventes at foreligge

99. Retten erkender, at visse typer analyse kræver et langt perspektiv (f.eks. evaluering af udfald og socioøkonomisk effekt), og at nogle aspekter vedrører en specifik programmeringsperiode (f.eks. programmål, selv inden for et givet videnskabsfelt), mens andre ikke gør (jf. figur 8). I forbindelse med sine evalueringsaktiviteter har Kommissionen imidlertid ikke valgt en tilgang, som tager hensyn til disse tidshorisonter.

100. I lovgivningen har det været fastsat, at Kommissionens væsentligste evalueringsaktiviteter udelukkende skulle fokusere på de fem år op til en femårsevaluering, dvs. dele af to successive programmeringsperioder. Evalueringerne har derfor næsten ikke omhandlet udfald og effekt på mellemlang og lang sigt. Femårsevalueringerne har som hovedregel haft fokus på tilsynsaspekter, kortsigtede spørgsmål vedrørende programudformning og generelle bemærkninger om rammeprogrammernes orientering. Retten glæder sig over, at der i lovgivningen om 7. RP ikke stilles krav om femårsevalueringer eller andre evalueringer, der skal dække en forud fastsat periode. Figur 8 Spørgsmål vedrørende tilsyn og evaluering med forskellige tidshorisonter Tilsyn med program-gennemførelsen (løbende) — Spørgsmål vedrørende programforvaltning (f.eks. tid til kontrakt, tid til betaling, antal støtteberettigede forslag, antal udvalgte forslag, budgetgennemførelse, finansieringssatser) Evaluering Kort sigt (tidligst efter 1-2 år) — Spørgsmål vedrørende programforvaltning (f.eks. de administrative procedurers produktivitet) — Spørgsmål vedrørende programudformning (f.eks. adgang til instrumenterne, instrumenternes fleksibilitet, hindringer for deltagelse, konsekvenser af manglende succes ved indkaldelser af forslag) — Analyse af deltagelsesprofilen (overvejende kvantitativ på dette stadie) Evaluering Mellemlang sigt (f.eks. efter 7 år) — Spørgsmål vedrørende programudformning (f.eks. instrumenternes effektivitet) — Analyse af deltagelsen (kombination af kvalitative og kvantitative aspekter, f.eks. analyse af forskningsnetværk, effekt på forskeradfærd) — Analyse af projektoutput (62) (f.eks. publikationer, afhandlinger, patenter, licenser, prototyper, uddannede videnskabsmænd) Evaluering Lang sigt (f.eks. efter >10 år) — Vurdering af udfald og effekt Kilde: Revisionsretten.

101. Det er også blevet bemærket af Kommissionens eksperter, at femårsevalueringernes vurdering af rammeprogrammernes udfald og effekt er mangelfuld: — Det panel, der foretog femårsevalueringen i 2004, gav udtryk for, at evalueringer bør dække og tage hensyn til både langsigtede og kortsigtede spørgsmål, og at der kunne afsættes ressourcer til mere ambitiøse langsigtede evalueringer med en mere systematisk undersøgelse af de strukturelle og socioøkonomiske spørgsmål (63). — I en undersøgelse bestilt af GD for Forskning lød konklusionen, at den nuværende praksis for evaluering af EU-støttede FTU-aktioner (løbende tilsyn, femårsevalueringer og midtvejsevaluering) er kendetegnet ved at fokusere meget på tilsyn og mindre på konsekvensvurdering, og at det ville være nødvendigt at fastlægge en ny ramme for evaluering og tilsyn med mere vægt på vurdering af effekt end på tilsyn med output, hvis oplysninger om den socioøkonomiske effekt skulle gøres mere efterspurgt (64).

102. Spørgsmålet om timing har også betydning for de specifikke evalueringer, der stilles krav om i lovgivningen. Marimón-rapporten fra 2004, som analyserede de nye instrumenter, der var indført i 6. RP (2003-2006), skulle udarbejdes på et for tidligt tidspunkt, hvilket betød, at der ikke var ret mange (om nogen) praktiske erfaringer og empiriske beviser at bygge rapportens konklusioner på (65).

Meddelelse og formidling

103. Kommissionen kan på eget initiativ udvikle og tilpasse de operationelle arbejdsprogrammer i korte cyklusser, forudsat at de godkendes af de relevante programudvalg. Det kunne være en mulighed for at justere programforvaltningen og omfordele budgetmidler mellem forskellige delprogrammer. Der er intet, der tyder på, at Kommissionen benytter sig af denne mulighed (jf. punkt 107).

104. På grund af den måde, rammeprogrammerne udformes og vedtages på, er det i øvrigt næsten umuligt for Kommissionen at foretage væsentlige ændringer, f.eks. af programmålene eller af budgetmidlernes fordeling på delprogrammerne. Kun lovgiver kan foretage sådanne ændringer i forbindelse med en revision af lovgivningen om rammeprogrammerne (en sådan finder sted i 2010 vedrørende 7. RP) eller i forbindelse med vedtagelsen af det næste rammeprogram. Derfor har der typisk stået i lovgivningen, at de store evalueringer skulle times således, at der kunne tages behørigt hensyn til resultaterne i forbindelse med politikudformningen.

105. »Forskningsgeneraldirektoraterne« er altså selv hovedbrugere af Kommissionens evalueringer (66). Men det er også eksplicit fastsat i lovgivningen om rammeprogrammerne, at evalueringernes konklusioner skal meddeles til Europa-Parlamentet og Rådet.

106. Det fremgik imidlertid af Rettens spørgeskemaundersøgelse blandt medlemmerne af Europa-Parlamentets ITRE-udvalg og Rådets CREST-udvalg, at de fleste svarpersoner ikke følte sig tilstrækkeligt informeret om gennemførelsen og resultaterne af rammeprogrammerne (jf. figur 9) (67).

Opfølgning på evalueringsresultater

107. I sin årlige evalueringsoversigt giver Kommissionen et resumé af evalueringsresultaterne og de foranstaltninger, der er truffet på baggrund af dem (68) Som led i sin opfølgning har Kommissionen også givet formelle svar på resultaterne og anbefalingerne i de femårsevalueringer og specifikke evalueringer, der er obligatoriske i medfør af lovgivningen, og Kommissionen har så vidt muligt truffet passende foranstaltninger for at afhjælpe de konstaterede svagheder. Den har imidlertid ikke fulgt op på mange af de andre evalueringer, som Retten har undersøgt, og der er intet, der tyder på, at disse evalueringers resultater og anbefalinger har givet anledning til ændringer i arbejdsprogrammerne. Tilsvarende fremgår det ikke af generaldirektoraternes ABB-budgetoversigter og årlige aktivitetsrapporter, i hvilket omfang de har fulgt op på evalueringsresultater.

Anbefalinger

108. Kommissionen bør fastlægge, hvilken type evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen (2008, 2010 og 2015), og definere evalueringernes omfang. Kommissionen bør også forklare, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), og hvordan de kan danne grundlag for politikbeslutninger. Kommissionen bør især præcisere, hvordan den har til hensigt at evaluere de langsigtede resultater af tidligere og nuværende rammeprogrammer, når det tages i betragtning, at der kan gå syv til ti år, før sådanne resultater er opnået (jf. figur 8). 109. Kommissionen bør revidere sin praksis for meddelelse og formidling af evalueringsresultater for at sikre, at interessenterne får de nødvendige oplysninger. Især bør »forskningsgeneraldirektoraterne« svare formelt på alle evalueringer og så hurtigt som muligt offentliggøre evalueringerne sammen med deres svar. »Forskningsgeneraldirektoraterne« bør også beskrive deres opfølgning i ABB-budgetoversigterne og de årlige aktivitetsrapporter og gøre brug af evalueringernes anbefalinger, når de ajourfører arbejdsprogrammer og udformer fremtidige programmer.

SAMLET KONKLUSION

110. Retten erkender, at det i sagens natur er vanskeligt at evaluere FTU-programmer — især deres langsigtede resultater — og at det er svært at fastlægge den bedste praksis.

111. Retten mener, at evalueringer har stor betydning for programforvaltning, planlægning af fremtidige programmer og politikudformning. Evalueringer danner også grundlag for regnskabspligt og ansvarlighed. De giver værdifulde oplysninger om de forventede (eller uventede) resultater, der er opnået, om programmålenes opfyldelse, om programmernes relevans og nytte og om programgennemførelsens produktivitet og effektivitet. Eftersom det er Europa-Parlamentet og Rådet, der træffer afgørelse om rammeprogrammernes generelle orientering, deres budget og udformningen af de tilhørende programmer, er der brug for et gennemsigtigt, troværdigt og robust evalueringssystem, som kan give disse institutioner de nødvendige oplysninger.

112. Kommissionen fastlagde en overordnet evalueringsramme i 2000 og 2002 og reviderede den i 2007. Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer i den reviderede periode, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

113. I overensstemmelse med lovgivningen om rammeprogrammerne havde »forskningsgeneraldirektoraterne« et evalueringssystem på plads i den periode, som denne beretning dækker, og Kommissionen kan henvise til et stort antal evalueringer. Kendsgerningen er imidlertid, at Kommissionen har meget lidt eller slet ingen viden om opfyldelsen af programmålene og rammeprogrammernes resultater. Det skyldes, at evalueringerne generelt har fokuseret på kortsigtede spørgsmål vedrørende programgennemførelsen. Kommissionens evalueringer har derfor været af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og endda for Kommissionen selv.

114. Eftersom evalueringer har stor betydning for programforvaltning og politikudformning, er Kommissionen nødt til at genoverveje sin tilgang til evaluering af rammeprogrammerne og de tilhørende programmer i lyset af de nye politiske udfordringer, den øgede finansiering, den bredere orientering af Fællesskabets forskningspolitik og den nylige reform af Kommissionen. Det samme anbefalede EURAB i sin rapport fra 2007.

115. Retten mener, at anvendelse af en eksplicit interventionslogik i forbindelse med fremtidig programudformning under rammeprogrammerne ville give programmer med mere fokus og bedre struktur. Det ville også bidrage til at gennemføre Kommissionens politik om »bedre lovgivning«, der har til formål at skabe et lovkompleks, som er bedre udformet, enklere, mere effektivt og lettere at forstå (69).

116. Evalueringen af rammeprogrammerne og de tilhørende programmer ville være mere effektiv, hvis programmernes mål og indikatorer var klarere defineret fra starten, hvis »forskningsgeneraldirektoraterne« var enige om en robust, men ikke for rigid, evalueringsstrategi, og hvis der blev anvendt mere avancerede evalueringsmetodologier, herunder kvantitative tilgange.

117. Retten noterede sig også en række punkter, hvor Kommissionen kunne genoverveje de eksisterende organisatoriske rammer for evalueringen af rammeprogrammerne. Det kunne være en fordel: — at involvere evalueringspaneler tidligere i evalueringsprocessen, så de kunne yde bistand til Kommissionen under hele programmeringsperioden og bagefter, samt at øge specialiseringen ved at nedsætte paneler for særprogrammer og for delprogrammer, hvis det er relevant — at supplere de eksisterende GD-specifikke evalueringsenheder med et fælles evalueringskontor med ansvar for at koordinere evalueringerne af rammeprogrammerne.

118. Anbefalingerne i denne beretning bygger enten på eksisterende praksis i Kommissionen eller på international god praksis. Med hensyn til ressourcer er det klart, at indførelsen af den foreslåede tilgang til programevaluering vil kræve højere omkostninger. Retten mener imidlertid, at denne tilgang højst sandsynligt vil give en gevinst, der i hvert fald opvejer omkostningsstigningen.

Vedtaget af Revisionsretten i Luxembourg på mødet den 22. november 2007. På Revisionsrettens vegne Hubert WEBER Formand

(1) Ifølge OECD kan forskning og udvikling defineres som kreativt arbejde, der udføres systematisk med det formål at opnå mere viden, herunder viden om mennesket, kultur og samfund, og anvendelse af denne viden til at udforme nye arbejdsredskaber (jf. OECD’s »Frascati Manual — Proposed standard practice for surveys on research and experimental development«, Paris, 2002, s. 30). I fællesskabssammenhæng anvendes forkortelsen FTU, der omfatter teknologi såvel som forskning og udvikling.

(2) GD for Forskning har hovedansvaret for at forvalte og koordinere rammeprogrammerne. Yderligere fem GD’er forvalter (dele af) særprogrammer. Det vigtigste af disse er GD for Informationssamfundet og Medier (og de sidste fire er GD for Energi og Transport, GD for Erhvervs- og Virksomhedspolitik, GD for Fiskeri og Maritime Anliggender samt Det Fælles Forskningscenter).

(3) På Det Europæiske Råds møde i Lissabon i 2000 blev det sat som mål, at EU i 2010 skulle være den mest konkurrencedygtige og dynamiske videnbaserede økonomi i verden med fuld beskæftigelse og større økonomisk og social samhørighed.

(4) I 2002 vedtog Det Europæiske Råd, at de samlede udgifter til FTU og innovation i Den Europæiske Union skulle øges, så de i 2010 når op på 3 % af BNP. Det blev desuden fastsat, at to tredjedele af denne nye investering burde komme fra den private sektor (jf. »Investering i forskning: en handlingsplan for Europa«, meddelelse fra Kommissionen til Rådet, Europa-Parlamentet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget (KOM(2003) 226 endelig, s. 7).

(5) I forbindelse med direkte forvaltning udfører Kommissionen selv de handlinger, der er nødvendige for gennemførelsen af budgettet, uden involvering af de medlemsstater eller tredjelande, hvor støttemodtagerne bor.

(6) I 2006 havde over 22 000 offentlige og private juridiske enheder deltaget i 6. RP alene, normalt i konsortier bestående af flere partnere.

(7) Denne koordineringsmetode bygger på princippet om frivilligt mellemstatsligt samarbejde. Den har især fokus på, at medlemsstaterne skal lære af hinanden, fastsætte benchmarks og udveksle bedste praksis.

(8) Rådets forordning (EF, Euratom) nr. 1605/2002 af 25. juni 2002 (EFT L 248 af 16.9.2002, s. 1), artikel 27, 48, 59 og 60.

(9) Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007). Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Michaele Schreyer: »Focus on Results: Strengthening Evaluation of Commission Activities« (SEC(2000) 1051 af 26.7.2000).

(10) Europa-Parlamentets og Rådets afgørelse nr. 1982/2006/EF af 18. december 2006 om Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013) (EUT L 412 af 30.12.2006, s. 1), artikel 7, stk. 1. Det er fastsat i de specifikke programbeslutninger, hvilke tilsynsoplysninger Kommissionen skal forelægge for programudvalgene (jf. f.eks. Rådets beslutning 2006/971/EF af 19. december 2006 om særprogrammet »Samarbejde« til gennemførelse af Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013) (EUT L 400 af 30.12.2006, s. 86), artikel 8, stk. 4, og bilag V).

(11) Europa-Kommissionen: Meddelelse til Rådet om Fællesskabets handlingsplan for evaluering af EF’s forsknings- og udviklingsaktiviteter i årene 1987-1991 (KOM(86) 660 endelig af 20.11.1986). Denne meddelelse var en reaktion på Rådets resolution af 28. juni 1983.

(12) Europa-Kommissionen: »Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996«, rapport fra det uafhængige ekspertpanel under forsæde af Viscount Davignon (1997). Europa-Kommissionen: »Femårsevaluering af Den Europæiske Unions programmer for forskning og teknologisk udvikling, 1995-1999«, rapport fra det uafhængige ekspertpanel under forsæde af Joan Majó (juli 2000). Europa-Kommissionen: »Five-year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004).

(13) Europa-Kommissionen: »Evaluation of the effectiveness of the New Instruments of Framework Programme VI« af 21.6.2004. Rapport fra et ekspertpanel under ledelse af professor Ramon Marimón.

(14) Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Michaele Schreyer: »Focus on Results: Strengthening Evaluation of Commission Activities« (SEC(2000) 1051 af 26.7.2000). Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002).

(15) Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007).

(16) Europa-Kommissionens arbejdsdokument: »FP7 Impact assessment and ex-ante evaluation«, (SEC(2005) 430).

(17) Europa-Parlamentets udvalg for »Industri, Forskning og Energi« (ITRE-udvalget) beskæftiger sig (især) med industripolitik, forskningspolitik (herunder formidling og udnyttelse af forskningsresultater), rumfartspolitik, Det Fælles Forskningscenters aktiviteter, Euratom-traktaten samt informationssamfundet og informationsteknologi.

(18) CREST-udvalget (»Comité de la Recherche Scientifique et Technique« — Udvalget for Videnskabelig og Teknisk Forskning) blev oprettet ved en rådsresolution af 14.1.1974 og består af repræsentanter for de nationale myndigheder, der har ansvaret for medlemsstaternes videnskabs- og teknologipolitik. CREST-udvalget er et rådgivende organ for Kommissionen og Rådet, især i spørgsmål vedrørende koordinering af de nationale FTU-politikker samt tilsyn med og evaluering af rammeprogrammerne.

(19) Logiske modeller, der viser, hvordan input i de forskellige aktioner fører til de forventede resultater, er de mest velegnede til at illustrere interventionslogik. I disse modeller kan det tydeligt forklares, hvilke antagelser der ligger til grund for den måde, hvorpå et program er udformet, og den måde, hvorpå de overordnede mål opdeles i operationelle mål.

(20) Europa-Kommissionen, GD for Budget: »Evaluating EU activities: a practical guide for the Commission services«, juli 2004, s. 87 og 106.

(21) Europa-Kommissionen: »Five year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra panelet af uafhængige eksperter under forsæde af Erkki Ormala (15.12.2004), afsnit 6: »Evaluating the Framework Programme«, s. 19.

(22) Tredjelande, der modtager bistand, skal fremlægge logiske modeller for finansieringen fra Fællesskabet (Europa-Kommissionen: »Aid delivery methods, Volume 1, Project cycle management guidelines», marts 2004, afsnit 5:« The logical framework approach«).

(23) Forordning (EF, Euratom) nr. 1605/2002, artikel 27, stk. 3.

(24) I 2006 blev strukturen for politikområde 08, »Forskning«, opstillet på grundlag af særprogrammerne (og delprogrammerne) i programmeringsperioden for 6. RP (og derfor erstattet af en anden struktur i 2007), mens det aktuelle og det foregående særprogram blev samlet til én ABB-aktivitet på politikområde 09, »Informationssamfundet« (Europa-Kommissionen, GD for Forskning, Direktorat A — Koordinering af Fællesskabets aktiviteter, Planlægning, programmering, evaluering: Årlig forvaltningsplan for 2006 af 20.12.2005; Europa-Kommissionen, GD for Informationssamfundet og Medier: Årlig forvaltningsplan for 2006 af 23.12.2005).

(25) GD for Forskning ændrede ABM-målene (og de indikatorer, der blev brugt til at måle opfyldelsen af dem) fra år til år. GD for Informationssamfundet og Medier fastsatte flerårige mål, men de var til gengæld ikke identiske med programmålene (eller de mål, der var angivet i arbejdsprogrammet).

(26) Europa-Kommissionen, Den Interne Revisionstjeneste: »Review of effectiveness and efficiency of the SPP/ABM cycle — SG & DG Budget, 2005«, punkt 4.1, s. 31.

(27) Europa-Kommissionen: »Meddelelse fra Kommissionen til Rådet om en fælles handlingsplan for evaluering af Fællesskabets forsknings- og udviklingsprogrammer« (KOM(83) 1 endelig af 19.1.1983).

(28) Meddelelse fra Kommissionen til Rådet og Europa-Parlamentet: »Uafhængig ekstern overvågning og evaluering af Fællesskabets indsats inden for forskning og teknologisk udvikling« (KOM(1996) 220 endelig af 22.5.1996).

(29) De generaldirektorater, der gennemfører rammeprogrammerne, dokumenterer deres planlagte evalueringer i de årlige (og flerårige) evalueringsplaner. Disse planlægningsdokumenter kan imidlertid ikke siges at udgøre en egentlig evalueringsstrategi.

(30) Forordning (EF, Euratom) nr. 1605/2002, artikel 27, stk. 4.

(31) »Loi de programme pour la recherche no 2006-450« af 18.4.2006 og »Décret no 2006-1334 relatif à l’organisation et au fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES)« af 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva under Ministerio de Educación y Ciencia: Bekendtgørelse ECI/1252/2005 af 4.5.2005 om oprettelse af Comisión Asesora de Evaluación y Prospectiva (rådgivende evaluerings- og planlægningsudvalg).

(33) I 2004 oprettede Deutsche Forschungsgemeinschaft (DFG) et specialinstitut, Institut für Forschungsinformation und Qualitätssicherung (IFQ), som fik ansvar for at udvikle og standardisere evalueringsmetodologier, foretage sikkerhedskontrol og gennemføre vurderinger af de FTU-aktioner, der finansieres af DFG.

(34) Under 7. RP har Kommissionen nedsat 15 rådgivende ekspertgrupper, mens der blev nedsat 12 under 6. RP og 17 under 5. RP. Ekspertgrupperne rådgiver Kommissionen om politiske og programspecifikke spørgsmål med relation til rammeprogrammerne. Det skal dog bemærkes, at der ikke er fuld overensstemmelse mellem disse gruppers ansvarsområder og rammeprogrammernes struktur. Der er med andre ord ikke en rådgivende ekspertgruppe for hvert særprogram (eller delprogram).

(35) I Canada har næsten alle afdelinger i den føderale regering nedsat permanente evalueringsudvalg, der skal føre tilsyn med evalueringssystemet. I udvalgene sidder højtstående tjenestemænd og normalt også eksterne interessenter (Social Sciences and Humanities Research Council of Canada: »Evaluation Standing Committee — Mandate and Membership«).

(36) Europa-Kommissionen: »Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes«, august 2005, s. 5.

(37) Europa-Kommissionen: »Planning and optimising Commission human resources to serve EU priorities« (SEC(2007) 530 af 24.4.2007).

(38) Europa-Kommissionen: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002). Europa-Kommissionens arbejdsdokument: »Impact assessment and ex-ante evaluation« (SEC(2005) 430 af 6.4.2005), bilag 1, fodnote 209.

(39) I 2007 anbefalede også Det Europæiske Rådgivende Forskningsudvalg (EURAB), at der afsættes flere ressourcer til evaluering af rammeprogrammerne (EURAB: »Recommendations on Ex-Post Impact Assessment«, juli 2007).

(40) Særberetning nr. 1/2004 om forvaltningen af indirekte FTU-aktioner under det femte rammeprogram (5. RP) for forskning og teknologisk udvikling (1998-2002) (EUT C 99 af 23.4.2004), punkt 116 og 122.

(41) Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007). Europa-Kommissionen: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002).

(42) 14 generaldirektorater har evalueringsmanualer for de politikområder og programmer, som de er ansvarlige for (Europa-Kommissionen, GD for Budget, Evaluering: »Overview of Evaluation Guides in the Commission«, oktober 2004).

(43) Fahrenkrog, G. et al.: »RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies«, IPTS-JRC, 2002. PREST et al.: »Assessing the Socio-economic Impacts of the Framework Programme«, University of Manchester, 2002.

(44) Kommissionen har generelt sådanne deltageroplysninger, men ofte er det ikke let at foretage en detaljeret analyse af dem, fordi dataene om en given deltager hverken findes det samme sted eller foreligger i kompatible formater. Det gør det svært at følge deltagerens involvering over tid, for eksempel for at undersøge årsagerne til manglende deltagelse, og forholdet mellem forskellige deltagere, for eksempel for at undersøge netværkseffekter (jf. punkt 84).

(45) Årsberetningen for regnskabsåret 2006, tabel 2.3. Årsberetningen for regnskabsåret 2005, punkt 7.13. Årsberetningen for regnskabsåret 2004, punkt 6.8 og 6.10. Årsberetningen for regnskabsåret 2003, punkt 6.9 og 6.70. Særberetning nr. 1/2004, punkt 105-108. Udtalelse nr. 1/2006 om forslag til Europa-Parlamentets og Rådets forordning om regler for virksomheders, forskningscentres og universiteters deltagelse i foranstaltninger under syvende rammeprogram og for formidling af forskningsresultater (2007-2013) (EUT C 203 af 25.8.2006), punkt 57.

(46) Traktaten om oprettelse af Det Europæiske Fællesskab, artikel 173: »I begyndelsen af hvert år forelægger Kommissionen en rapport for Europa-Parlamentet og Rådet. Denne rapport omhandler navnlig de aktiviteter, der har fundet sted det foregående år inden for forskning og teknologisk udvikling og resultatformidling, samt arbejdsprogrammet for det igangværende år.«

(47) Der har ikke været noget systematisk forsøg på at indsamle data fra deltagerne efter afslutningen af projekterne, når man ser bort fra specifikke spørgeskemaundersøgelser i forbindelse med evalueringer. Anvendelsen af spørgeskemaundersøgelser vanskeliggøres af, at deltagerne ikke er juridisk forpligtet til at oplyse de analytiske data, der anmodes om. Det er de til gengæld i en række nationale FTU-programmer (f.eks. i Tyskland).

(48) Særberetning nr. 1/2004, punkt 94. Udtalelse nr. 1/2006, punkt 56.

(49) Årsberetningen for regnskabsåret 2006, punkt 7.33. Årsberetningen for regnskabsåret 2005, punkt 7.8 og 7.29. Udtalelse nr. 1/2006, punkt 58-61.

(50) CORDIS er den eneste database, der indeholder oplysninger om forslag, projekter og resultater vedrørende hele rammeprogrammet, dækker flere programmeringsperioder og er tilgængelig for brugere uden for Kommissionen. Ofte bliver dataene vedrørende de enkelte projekter imidlertid ikke ajourført i CORDIS, når forslagene er blevet valgt. Til og med 6. RP var offentlige og private deltagere i rammeprogrammerne ikke forpligtede til at offentliggøre deres resultater (European Research Advisory Board (EURAB): »Scientific publication: policy on open access«, december 2006).

(51) Hanne Foss Hansen: »Choosing evaluation models: A discussion on evaluation design« i Evaluation, vol. 11, nr. 4, 2005, s. 447-462.

(52) Til og med 6. RP var offentlige og private deltagere i rammeprogrammerne ikke forpligtet til at offentliggøre deres resultater. EURAB anbefalede i december 2006, at offentliggørelse skulle gøres obligatorisk for at sikre fri offentlig adgang til fællesskabsfinansieret forskning. Det blev også foreslået, at Kommissionen skulle oprette et webbaseret arkiv for offentliggjorte projektresultater (jf. EURAB: »Scientific publication: policy on open access«, december 2006).

(53) Retten bemærker dog, at der blev anvendt sådanne modeller ved udarbejdelsen af prognoser over de mikro- og makroøkonomiske virkninger af det planlagte 7. RP (jf. Europa-Kommissionen: »Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes«, august 2005, s. 23-25). Der er imidlertid intet, der tyder på, at der med udgangspunkt i denne vurdering af rammeprogrammernes potentielle økonomiske effekt er planlagt en efterfølgende evaluering.

(54) GD for Informationssamfundet og Medier: »IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)«, 2005; »Networks of innovation in information society development and deployment in Europe«, 2006.

(55) GD for Informationssamfundet og Medier: »ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area« (endelig rapport), 2005; »Evaluation of progress towards European Research Area for information society technologies«, 2005; »Networks of innovation in information society development and deployment in Europe«, 2006.

(56) GD for Informationssamfundet og Medier: »Framework contract for Impact Assessments for research in the field of Information Society Technologies«.

(57) EURAB: »Recommendations on Ex-Post Impact Assessment«, juli 2007.

(58) Europa-Kommissionen: »Five-year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004), bilag 1.

(59) Europa-Kommissionen: »The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report«, 1995.

(60) Europa-Kommissionen: »Design of an harmonized impact study methodology for the R&D EU Framework Programmes«, 1992.

(61) Europa-Kommissionens arbejdsdokument: »The European Research Area: new perspectives«, SEC(2007) 412/2 af 4.4.2007, afsnit 3.3.3: »ERA and the implications for evidence-based monitoring and evaluation«, s. 93.

(62) Det skal bemærkes, at der indgås aftaler om projekttilskud i hele programmeringsperioden, idet de første aftaler normalt træder i kraft ved udgangen af programmets første år. Disse aftaler har som oftest en varighed på tre til fem år, og de endelige output kan derfor tidligst ventes efter fire til seks år.

Kilde: Revisionsretten.

(63) Europa-Kommissionen: »Five year assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004), afsnit 6: »Evaluating the Framework Programme«, s. 19.

(64) Europa-Kommissionen: »Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies«, den såkaldte »EPUB Toolbox«, redigeret af Det Fælles Forskningscenter, Institute for Prospective Technological Studies og Joanneum Research (august 2002), resumé, s. 9 og 12.

(65) Europa-Kommissionen: »Evaluation of the effectiveness of the New Instruments of Framework Programme VI« af 21.6.2004. Rapport fra et ekspertpanel under ledelse af professor Ramon Marimón, s. 20.

(66) European Policy Evaluation Consortium (EPEC), Technopolis France: »Study on the use of evaluation results in the Commission: Final report«, dossier nr. 1, resumé og bilag, maj 2005.

(67) Den større tilfredshed hos svarpersonerne i CREST-udvalget kan skyldes, at de ofte også er medlemmer af programudvalg og derfor har en formel rolle som tilsynsførende med programgennemførelsen.

(68) Europa-Kommissionens arbejdsdokument: »Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities« (SEC(2005) 587 af 28.4.2005).

(69) Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007), s. 4.

BILAG I MÅLING AF EFFEKTEN OG RESULTATERNE AF OFFENTLIG INTERVENTION I FTU Herunder beskrives nogle af de største metodologiske vanskeligheder i forbindelse med måling af effekten og resultaterne af offentlig intervention i FTU: — »Tilregningsproblemer«: Tilregningsproblemer opstår i forbindelse med evalueringer og resultatmålinger. De er tæt forbundet med spørgsmålet om »additionalitet«, dvs. om de opnåede ændringer ville være sket alligevel. Tilregningen af resultater til en specifik offentlig intervention vanskeliggøres også af, at en lang række eksterne faktorer spiller ind (effekten af andre politikker eller programmer, ændringer i lovgivningen og i samfundet osv.). I forbindelse med forskning kan det desuden være en succes, at det forventede resultat ikke opnås. Sagen kompliceres yderligere af, at det af indlysende årsager er svært at give specifikke aspekter af FTU-processen eller ligefrem enkelte deltagere i en forskningsaktion æren for forskningens output — for ikke at tale om dens udfald og effekt. — »Måleproblemer«: — »Datadisponibilitet«: Generelt vedrører de fleste disponible data — især de data, der indsamles via tilsynssystemer — FTU-aktionernes input og output snarere end deres udfald eller effekt. — »Forståelse af dynamikken«: Da det af indlysende årsager er svært at påvise årsagssammenhænge mellem input og output, er forskningsprocessens mekanismer uklare, og da der ikke foreligger en eksplicit interventionslogik, betragtes hele processen for det meste som en »lukket kasse«. — »Sammenligning af resultater«: Resultater opnået på forskellige videnskabelige områder kan kun i begrænset omfang sammenlignes, så de skal generelt fortolkes i sammenhæng med de relevante særprogrammer og delprogrammer. Det er desuden sværere at evaluere grundforskningsresultater end resultater af anvendt forskning eller teknologisk udvikling. Hovedårsagen er, at grundforskning generelt består af unikke procedurer, der ikke kan gentages. Men også inden for anvendt forskning er resultaterne meget forskellige og vanskelige at sammenligne. — »Aggregering«: Der er problemer med at drage konklusioner på baggrund af evalueringsresultater vedrørende output, udfald og effekt på lavere niveauer (f.eks. når pro