# Den Europæiske Unions C 26/2008

| | ISSN 1725-2393 |
| --- | --- |
| Den Europæiske Unions
  Tidende | C 26 |
| | |
| Dansk udgave | Meddelelser og oplysninger | 51. årgang30. januar 2008 |

ISSN 1725-2393

Den Europæiske Unions

Tidende

C 26

Dansk udgave

Meddelelser og oplysninger

51. årgang30. januar 2008

---

| Informationsnummer | Indhold | Side |
| --- | --- | --- |
| | IV   Oplysninger |
| | OPLYSNINGER FRA DEN EUROPÆISKE UNIONS INSTITUTIONER OG ORGANER |
| | Revisionsretten |
| 2008/C 026/01 | Særberetning nr. 9/2007 Evaluering af EU's rammeprogrammer for forskning og teknologisk udvikling — kan Kommissionens tilgang forbedres? med Kommissionens svar | 1 |

Informationsnummer

Indhold

Side

IV   Oplysninger

OPLYSNINGER FRA DEN EUROPÆISKE UNIONS INSTITUTIONER OG ORGANER

Revisionsretten

2008/C 026/01

Særberetning nr. 9/2007 Evaluering af EU's rammeprogrammer for forskning og teknologisk udvikling — kan Kommissionens tilgang forbedres? med Kommissionens svar

1

| DA | |
| --- | --- |

DA

---

IV Oplysninger

OPLYSNINGER FRA DEN EUROPÆISKE UNIONS INSTITUTIONER OG ORGANER

Revisionsretten

| 30.1.2008 | DA | Den Europæiske Unions Tidende | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

DA

Den Europæiske Unions Tidende

C 26/1

---

SÆRBERETNING Nr. 9/2007

»Evaluering af EU's rammeprogrammer for forskning og teknologisk udvikling — kan Kommissionens tilgang forbedres?« med Kommissionens svar

(artikel 248, stk. 4, andet afsnit, EF)

(2008/C 26/01)

INDHOLD

| I-V | RESUMÉ |
| --- | --- |

I-V

| 1-14 | INDLEDNING |
| --- | --- |

1-14

| 1-7 | Den Europæiske Unions rolle i forbindelse med støtte til FTU-aktioner |
| --- | --- |

1-7

| 8-14 | Evaluering af og tilsyn med rammeprogrammerne |
| --- | --- |

8-14

| 15-18 | REVISIONENS OMFANG OG REVISIONSMETODEN |
| --- | --- |

15-18

| 19-109 | REVISIONSBEMÆRKNINGER |
| --- | --- |

19-109

| 19-37 | Interventionslogik, mål og resultatindikatorer |
| --- | --- |

19-37

| 38-49 | Evalueringsstrategi |
| --- | --- |

38-49

| 50-68 | Organisering af rammeprogramevalueringen |
| --- | --- |

50-68

| 69-97 | Evalueringsmetodologier og -teknikker |
| --- | --- |

69-97

| 98-109 | Formidling og anvendelse af evalueringsresultater |
| --- | --- |

98-109

| 110-118 | SAMLET KONKLUSION |
| --- | --- |

110-118

Bilag I: Måling af effekten og resultaterne af offentlig intervention i FTU

Bilag II: Bestemmelser om tilsyn og evaluering i de lovgivningsmæssige afgørelser for 4. RP til 7. RP

Bilag III: De vigtigste forskelle mellem efterfølgende evaluering af forskningsprogrammer i EU (4.-6. RP), USA og Canada

Bilag IV: Mulig panelstruktur for 7. RP

Kommissionens svar

RESUMÉ

| I. | Fællesskabets FTU-rammeprogrammer (RP'er) er den største offentlige kilde til forskningsfinansiering i Den Europæiske Union. Det er Kommissionen, der har ansvaret for at forvalte rammeprogrammerne og vurdere deres resultater. |
| --- | --- |

I.

Fællesskabets FTU-rammeprogrammer (RP'er) er den største offentlige kilde til forskningsfinansiering i Den Europæiske Union. Det er Kommissionen, der har ansvaret for at forvalte rammeprogrammerne og vurdere deres resultater.

| II. | Retten reviderede de tilsyns- og evalueringsordninger, der siden 1995 har været gældende for de seneste tre programmeringsperioder (4. RP, 5. RP og 6. RP), og så også på bestemmelserne vedrørende 7. RP (2007-2013). Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter. |
| --- | --- |

II.

Retten reviderede de tilsyns- og evalueringsordninger, der siden 1995 har været gældende for de seneste tre programmeringsperioder (4. RP, 5. RP og 6. RP), og så også på bestemmelserne vedrørende 7. RP (2007-2013). Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter.

| III. | Retten forsøgte at finde ud af, om Kommissionens tilgang til vurdering af rammeprogrammernes resultater er hensigtsmæssig. I den sammenhæng undersøgte Retten, om Kommissionen overholdt lovgivningens krav til evaluering, og om dens evaluerings- og tilsynssystem levede op til interessenternes forventninger. Retten så især på:






  i) | om der var en underliggende interventionslogik for rammeprogrammerne og de tilhørende programmer, som kunne danne grundlag for evaluering og tilsyn |
| --- | --- | --- |

III.

Retten forsøgte at finde ud af, om Kommissionens tilgang til vurdering af rammeprogrammernes resultater er hensigtsmæssig. I den sammenhæng undersøgte Retten, om Kommissionen overholdt lovgivningens krav til evaluering, og om dens evaluerings- og tilsynssystem levede op til interessenternes forventninger. Retten så især på:

i)

om der var en underliggende interventionslogik for rammeprogrammerne og de tilhørende programmer, som kunne danne grundlag for evaluering og tilsyn

| ii) | om Kommissionen havde defineret en evalueringsstrategi for rammeprogrammerne |
| --- | --- |

ii)

om Kommissionen havde defineret en evalueringsstrategi for rammeprogrammerne

| iii) | om organisationsstrukturen i Kommissionens system for evaluering af rammeprogrammerne sikrede, at evalueringsarbejdet blev koordineret hensigtsmæssigt, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt |
| --- | --- |

iii)

om organisationsstrukturen i Kommissionens system for evaluering af rammeprogrammerne sikrede, at evalueringsarbejdet blev koordineret hensigtsmæssigt, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt

| iv) | om de anvendte evalueringsmetodologier var tilfredsstillende |
| --- | --- |

iv)

om de anvendte evalueringsmetodologier var tilfredsstillende

| v) | om evaluerings- og tilsynsaktiviteterne gav oplysninger og analyser, som kunne bruges til at forbedre igangværende programmer og danne grundlag for udformningen af fremtidige rammeprogrammer. |
| --- | --- |

v)

om evaluerings- og tilsynsaktiviteterne gav oplysninger og analyser, som kunne bruges til at forbedre igangværende programmer og danne grundlag for udformningen af fremtidige rammeprogrammer.

| IV. | På baggrund af revisionsresultaterne konkluderede Retten følgende:






  i) | Fraværet af en eksplicit interventionslogik, de uklart definerede programmål og de utilstrækkelige resultatmålinger undergravede muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. |
| --- | --- | --- |

IV.

På baggrund af revisionsresultaterne konkluderede Retten følgende:

i)

Fraværet af en eksplicit interventionslogik, de uklart definerede programmål og de utilstrækkelige resultatmålinger undergravede muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne.

| ii) | Fraværet af en samlet evalueringsstrategi, som var aftalt mellem de »forskningsgeneraldirektorater«, der gennemførte rammeprogrammerne, betød, at Kommissionens tjenestegrene anvendte forskellige tilgange. Det medførte blandt andet, at store dele af rammeprogrammerne ikke blev evalueret tilstrækkeligt. |
| --- | --- |

ii)

Fraværet af en samlet evalueringsstrategi, som var aftalt mellem de »forskningsgeneraldirektorater«, der gennemførte rammeprogrammerne, betød, at Kommissionens tjenestegrene anvendte forskellige tilgange. Det medførte blandt andet, at store dele af rammeprogrammerne ikke blev evalueret tilstrækkeligt.

| iii) | Evalueringen af rammeprogrammerne var decentral, de eksisterende mekanismer for koordinering mellem de generaldirektorater, der gennemførte rammeprogrammerne, var ikke effektive, og Kommissionens centrale tjenestegrene havde ingen håndhævende rolle. »Forskningsgeneraldirektoraterne« har dog generelt opfyldt Kommissionens formelle krav til evaluering. Anvendelsen af paneler bestående af eksterne eksperter, som Kommissionen udpegede i forbindelse med store evalueringer, passede godt ind i fællesskabssammenhængen. Disse midlertidige paneler blev imidlertid ikke involveret i processen så tidligt, at de kunne få indflydelse på indsamlingen af data, og de havde kun begrænsede muligheder for at følge op på relevante spørgsmål over tid. Eftersom der kun blev nedsat ét overordnet panel for hvert rammeprogram (foruden et panel for et enkelt særprogram), blev specifikke spørgsmål vedrørende de forskellige videnskabelige områder inden for rammeprogrammerne ikke undersøgt indgående nok. |
| --- | --- |

iii)

Evalueringen af rammeprogrammerne var decentral, de eksisterende mekanismer for koordinering mellem de generaldirektorater, der gennemførte rammeprogrammerne, var ikke effektive, og Kommissionens centrale tjenestegrene havde ingen håndhævende rolle. »Forskningsgeneraldirektoraterne« har dog generelt opfyldt Kommissionens formelle krav til evaluering. Anvendelsen af paneler bestående af eksterne eksperter, som Kommissionen udpegede i forbindelse med store evalueringer, passede godt ind i fællesskabssammenhængen. Disse midlertidige paneler blev imidlertid ikke involveret i processen så tidligt, at de kunne få indflydelse på indsamlingen af data, og de havde kun begrænsede muligheder for at følge op på relevante spørgsmål over tid. Eftersom der kun blev nedsat ét overordnet panel for hvert rammeprogram (foruden et panel for et enkelt særprogram), blev specifikke spørgsmål vedrørende de forskellige videnskabelige områder inden for rammeprogrammerne ikke undersøgt indgående nok.

| iv) | Der blev ikke givet tilstrækkelig metodologisk vejledning, evaluatorerne havde svært ved at indsamle relevante data, og der var ingen evalueringsundersøgelser, der omhandlede rammeprogrammernes udfald og effekt på længere sigt i forhold til programgennemførelsen på kort sigt. |
| --- | --- |

iv)

Der blev ikke givet tilstrækkelig metodologisk vejledning, evaluatorerne havde svært ved at indsamle relevante data, og der var ingen evalueringsundersøgelser, der omhandlede rammeprogrammernes udfald og effekt på længere sigt i forhold til programgennemførelsen på kort sigt.

| v) | Som følge af ovennævnte forhold, og fordi evalueringerne ofte blev foretaget for tidligt til, at de mest relevante spørgsmål kunne undersøges, var Kommissionens system for evaluering af rammeprogrammerne af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og Kommissionen selv. I sidste ende ved Kommissionen meget lidt om opfyldelsen af programmålene og rammeprogrammernes resultater. |
| --- | --- |

v)

Som følge af ovennævnte forhold, og fordi evalueringerne ofte blev foretaget for tidligt til, at de mest relevante spørgsmål kunne undersøges, var Kommissionens system for evaluering af rammeprogrammerne af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og Kommissionen selv. I sidste ende ved Kommissionen meget lidt om opfyldelsen af programmålene og rammeprogrammernes resultater.

| V. | Retten anbefaler:






  i) | at der lægges en eksplicit interventionslogik til grund for den fremtidige lovgivning. De underliggende antagelser bør forklares, forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål bør præciseres, og der bør udvikles hensigtsmæssige resultatindikatorer |
| --- | --- | --- |

V.

Retten anbefaler:

i)

at der lægges en eksplicit interventionslogik til grund for den fremtidige lovgivning. De underliggende antagelser bør forklares, forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål bør præciseres, og der bør udvikles hensigtsmæssige resultatindikatorer

| ii) | at de generaldirektorater, der gennemfører rammeprogrammerne, udvikler (og enes om) en samlet evalueringsstrategi. Der bør især være en ensartet tilgang til fastlæggelse af minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, så der tages højde for de særlige forhold på de forskellige videnskabsfelter |
| --- | --- |

ii)

at de generaldirektorater, der gennemfører rammeprogrammerne, udvikler (og enes om) en samlet evalueringsstrategi. Der bør især være en ensartet tilgang til fastlæggelse af minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, så der tages højde for de særlige forhold på de forskellige videnskabsfelter

| iii) | at det overvejes at oprette et fælles evalueringskontor, som kan koordinere »forskningsgeneraldirektoraternes« evalueringsaktiviteter vedrørende rammeprogrammet som helhed, og at indføre et system med paneler (og underpaneler) bestående af eksterne eksperter. Disse paneler bør nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden |
| --- | --- |

iii)

at det overvejes at oprette et fælles evalueringskontor, som kan koordinere »forskningsgeneraldirektoraternes« evalueringsaktiviteter vedrørende rammeprogrammet som helhed, og at indføre et system med paneler (og underpaneler) bestående af eksterne eksperter. Disse paneler bør nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden

| iv) | at det grundigt analyseres, hvilke data der er behov for i forbindelse med evaluering og tilsyn, og at der i større udstrækning anvendes andre eksisterende datakilder. Kommissionen bør også rationalisere deltagernes rapporteringsforpligtelser. Endelig bør den udarbejde en detaljeret manual for evaluering af rammeprogrammerne og udvikle en bredere vifte af metodologier og teknikker, der kan anvendes ved evaluering på dette område |
| --- | --- |

iv)

at det grundigt analyseres, hvilke data der er behov for i forbindelse med evaluering og tilsyn, og at der i større udstrækning anvendes andre eksisterende datakilder. Kommissionen bør også rationalisere deltagernes rapporteringsforpligtelser. Endelig bør den udarbejde en detaljeret manual for evaluering af rammeprogrammerne og udvikle en bredere vifte af metodologier og teknikker, der kan anvendes ved evaluering på dette område

| v) | at Kommissionen fastlægger, hvilken type evaluering og hvilket omfang af evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen om 7. RP, og forklarer, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), samt hvordan de kan danne grundlag for politikbeslutninger. |
| --- | --- |

v)

at Kommissionen fastlægger, hvilken type evaluering og hvilket omfang af evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen om 7. RP, og forklarer, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), samt hvordan de kan danne grundlag for politikbeslutninger.

INDLEDNING

Den Europæiske Unions rolle i forbindelse med støtte til FTU-aktioner

| 1. | Forskning og teknologisk udvikling (FTU) (1) er den vigtigste drivkraft for fremskridt og innovation på det videnskabelige og teknologiske område, og som sådan bidrager FTU i høj grad til forbedringer af levestandarden. Offentlig intervention i FTU begrundes som regel med, at det er nødvendigt at kompensere for såkaldte »markedssvigt« og reducere den økonomiske usikkerhed ved hjælp af offentlig støtte, der investeres i forskning, som er et offentligt gode, eller som har væsentlige eksterne virkninger. |
| --- | --- |

1.

Forskning og teknologisk udvikling (FTU) (1) er den vigtigste drivkraft for fremskridt og innovation på det videnskabelige og teknologiske område, og som sådan bidrager FTU i høj grad til forbedringer af levestandarden. Offentlig intervention i FTU begrundes som regel med, at det er nødvendigt at kompensere for såkaldte »markedssvigt« og reducere den økonomiske usikkerhed ved hjælp af offentlig støtte, der investeres i forskning, som er et offentligt gode, eller som har væsentlige eksterne virkninger.

| 2. | Fællesskabets rolle i forbindelse med støtte til FTU er fastsat i EF-traktatens artikel 163: »Fællesskabet har som mål at styrke det videnskabelige og teknologiske grundlag for Fællesskabets industri og at fremme udviklingen af dens internationale konkurrenceevne samt at fremme alle de forskningsaktioner, der skønnes nødvendige ...«. I artikel 164-173 beskrives de aktioner, der skal gennemføres, og der gøres rede for omfanget og iværksættelsen af de flerårige FTU-rammeprogrammer (RP'er). Det er Kommissionen, der stiller forslag til rammeprogrammerne, mens det er Europa-Parlamentet og Rådet, der i fællesskab vedtager dem og fastsætter regler for deltagelse og formidling. Rådet vedtager særprogrammerne alene. Rammeprogrammerne gennemføres af seks generaldirektorater (GD’er) i fællesskab, de såkaldte »forskningsgeneraldirektorater« (2). |
| --- | --- |

2.

Fællesskabets rolle i forbindelse med støtte til FTU er fastsat i EF-traktatens artikel 163: »Fællesskabet har som mål at styrke det videnskabelige og teknologiske grundlag for Fællesskabets industri og at fremme udviklingen af dens internationale konkurrenceevne samt at fremme alle de forskningsaktioner, der skønnes nødvendige ...«. I artikel 164-173 beskrives de aktioner, der skal gennemføres, og der gøres rede for omfanget og iværksættelsen af de flerårige FTU-rammeprogrammer (RP'er). Det er Kommissionen, der stiller forslag til rammeprogrammerne, mens det er Europa-Parlamentet og Rådet, der i fællesskab vedtager dem og fastsætter regler for deltagelse og formidling. Rådet vedtager særprogrammerne alene. Rammeprogrammerne gennemføres af seks generaldirektorater (GD’er) i fællesskab, de såkaldte »forskningsgeneraldirektorater« (2).

| 3. | I den brede vifte af politikker, der gennemføres i Den Europæiske Union for at fremme innovation og konkurrenceevne, er rammeprogrammerne det vigtigste af de finansielle instrumenter, der på fællesskabsniveau bidrager til at gennemføre Lissabon-strategien (3) og nå Barcelona-målet (4). |
| --- | --- |

3.

I den brede vifte af politikker, der gennemføres i Den Europæiske Union for at fremme innovation og konkurrenceevne, er rammeprogrammerne det vigtigste af de finansielle instrumenter, der på fællesskabsniveau bidrager til at gennemføre Lissabon-strategien (3) og nå Barcelona-målet (4).

Image

| 4. | Gennem rammeprogrammerne yder Fællesskabet støtte til forskere i Den Europæiske Union, associerede lande og internationale organisationer. Rammeprogrammernes budgetter er i årenes løb steget betydeligt: fra 2 761 millioner euro pr. år under 4. RP til 7 217 millioner euro pr. år under 7. RP (jf. figur 1). For så vidt angår budgetbevillinger udgør rammeprogrammerne det største område i Kommissionen med direkte central forvaltning (5). |
| --- | --- |

4.

Gennem rammeprogrammerne yder Fællesskabet støtte til forskere i Den Europæiske Union, associerede lande og internationale organisationer. Rammeprogrammernes budgetter er i årenes løb steget betydeligt: fra 2 761 millioner euro pr. år under 4. RP til 7 217 millioner euro pr. år under 7. RP (jf. figur 1). For så vidt angår budgetbevillinger udgør rammeprogrammerne det største område i Kommissionen med direkte central forvaltning (5).

| 5. | Rammeprogrammerne adskiller sig fra mange nationale programmer derved, at de støtter både grundforskning og anvendt forskning med deltagelse af industrivirksomheder og offentlige forskningsorganisationer (6). De består af særprogrammer (og delprogrammer), der dækker brede videnskabsfelter. Disse programmer er typisk opdelt i et antal domæner, der dækker en række mere specifikke videnskabelige områder. Aktionerne inden for de forskellige domæner iværksættes gennem projekter (kaldet »indirekte aktioner«) efter indkaldelse af forslag. På den måde finansieres hundredvis af enkeltprojekter pr. domæne. |
| --- | --- |

5.

Rammeprogrammerne adskiller sig fra mange nationale programmer derved, at de støtter både grundforskning og anvendt forskning med deltagelse af industrivirksomheder og offentlige forskningsorganisationer (6). De består af særprogrammer (og delprogrammer), der dækker brede videnskabsfelter. Disse programmer er typisk opdelt i et antal domæner, der dækker en række mere specifikke videnskabelige områder. Aktionerne inden for de forskellige domæner iværksættes gennem projekter (kaldet »indirekte aktioner«) efter indkaldelse af forslag. På den måde finansieres hundredvis af enkeltprojekter pr. domæne.

| 6. | I alt står rammeprogrammerne for mellem 4 % og 5 % af den samlede offentlige FTU-finansiering i Den Europæiske Union og medlemsstaterne. Men rammeprogrammernes indflydelse på, hvilken slags forskning der udføres i Europa, er væsentligt større, end denne procentdel lader ane. Det skyldes, at Fællesskabets tilskud generelt kun udgør en del af et projekts samlede finansiering. Det er desuden et krav, at forskerne i forbindelse med deres finansieringsansøgninger kan påvise, at deres projekter er relevante for opfyldelsen af de mål, der er fastsat i indkaldelsen af forslag. Rammeprogrammerne giver således incitamenter, der retter FTU-aktionerne mod specifikke EU-mål. |
| --- | --- |

6.

I alt står rammeprogrammerne for mellem 4 % og 5 % af den samlede offentlige FTU-finansiering i Den Europæiske Union og medlemsstaterne. Men rammeprogrammernes indflydelse på, hvilken slags forskning der udføres i Europa, er væsentligt større, end denne procentdel lader ane. Det skyldes, at Fællesskabets tilskud generelt kun udgør en del af et projekts samlede finansiering. Det er desuden et krav, at forskerne i forbindelse med deres finansieringsansøgninger kan påvise, at deres projekter er relevante for opfyldelsen af de mål, der er fastsat i indkaldelsen af forslag. Rammeprogrammerne giver således incitamenter, der retter FTU-aktionerne mod specifikke EU-mål.

| 7. | I de seneste år er der sket væsentlige ændringer i rammeprogrammerne på grund af følgende forhold:






  — | Der er kommet nye politiske udfordringer (Lissabon-strategien og Barcelona-målet, oprettelsen af det europæiske forskningsrum (ERA) og den stigende anvendelse af den åbne koordineringsmetode (7) i forbindelse med forsknings- og innovationspolitik). |
| --- | --- | --- |

7.

I de seneste år er der sket væsentlige ændringer i rammeprogrammerne på grund af følgende forhold:

—

Der er kommet nye politiske udfordringer (Lissabon-strategien og Barcelona-målet, oprettelsen af det europæiske forskningsrum (ERA) og den stigende anvendelse af den åbne koordineringsmetode (7) i forbindelse med forsknings- og innovationspolitik).

| — | Rammeprogrammernes orientering er ændret: I 4. RP handlede det om at finde løsninger på tekniske problemer, og i 5. RP handlede det om at afhjælpe specifikke sociale problemer, mens det i 6. og 7. RP handler om at støtte samarbejde mellem forskningsorganisationer inden for det europæiske forskningsrum og bidrage til at skabe en videnbaseret økonomi og et videnbaseret samfund. |
| --- | --- |

—

Rammeprogrammernes orientering er ændret: I 4. RP handlede det om at finde løsninger på tekniske problemer, og i 5. RP handlede det om at afhjælpe specifikke sociale problemer, mens det i 6. og 7. RP handler om at støtte samarbejde mellem forskningsorganisationer inden for det europæiske forskningsrum og bidrage til at skabe en videnbaseret økonomi og et videnbaseret samfund.

| — | Programmeringsperioderne er blevet længere (tidligere fire år, men syv år for 7. RP, så det passer med de finansielle overslag for 2007-2013). |
| --- | --- |

—

Programmeringsperioderne er blevet længere (tidligere fire år, men syv år for 7. RP, så det passer med de finansielle overslag for 2007-2013).

| — | Der er kommet flere medlemsstater og deltagende lande. |
| --- | --- |

—

Der er kommet flere medlemsstater og deltagende lande.

| — | Der er kommet flere midler, især under de nuværende finansielle overslag. |
| --- | --- |

—

Der er kommet flere midler, især under de nuværende finansielle overslag.

| — | Det Europæiske Forskningsråd (ERC) er blevet oprettet, og under 7. RP er man begyndt at uddelegere programforvaltningsopgaver til forvaltningsorganer. |
| --- | --- |

—

Det Europæiske Forskningsråd (ERC) er blevet oprettet, og under 7. RP er man begyndt at uddelegere programforvaltningsopgaver til forvaltningsorganer.

| — | Der anvendes i stigende grad store finansieringsinstrumenter (f.eks. ekspertisenet, integrerede projekter, artikel 169-projekter og fælles teknologiinitiativer). |
| --- | --- |

—

Der anvendes i stigende grad store finansieringsinstrumenter (f.eks. ekspertisenet, integrerede projekter, artikel 169-projekter og fælles teknologiinitiativer).

Evaluering af og tilsyn med rammeprogrammerne

| 8. | Kommissionen har ansvaret for at gennemføre programmerne og vurdere resultaterne (8). Evalueringen er decentraliseret til generaldirektoraterne, mens de centrale tjenester (især GD for Budget og Generalsekretariatet) yder støtte og koordinerer arbejdet. |
| --- | --- |

8.

Kommissionen har ansvaret for at gennemføre programmerne og vurdere resultaterne (8). Evalueringen er decentraliseret til generaldirektoraterne, mens de centrale tjenester (især GD for Budget og Generalsekretariatet) yder støtte og koordinerer arbejdet.

| 9. | I denne beretning anvendes Kommissionens egen definition af »evaluering« som bedømmelse af interventionerne ud fra de opnåede resultater og den opnåede effekt og ud fra de behov, de skal opfylde (9), og af »tilsyn« som forelæggelse af forvaltningsrelevante oplysninger om gennemførelsen af igangværende programmer og projekter (10). De to aktiviteter er også defineret på denne måde i den gældende lovgivning om 7. RP. |
| --- | --- |

9.

I denne beretning anvendes Kommissionens egen definition af »evaluering« som bedømmelse af interventionerne ud fra de opnåede resultater og den opnåede effekt og ud fra de behov, de skal opfylde (9), og af »tilsyn« som forelæggelse af forvaltningsrelevante oplysninger om gennemførelsen af igangværende programmer og projekter (10). De to aktiviteter er også defineret på denne måde i den gældende lovgivning om 7. RP.

| 10. | Herefter benyttes følgende terminologi om FTU-aktionernes resultater:






  — | »Output« er den viden, de varer og de tjenesteydelser, der direkte frembringes som følge af den offentlige intervention (publikationer, konferenceindlæg, patenter, licenser, prototyper, standarder, uddannede videnskabsmænd osv.). |
| --- | --- | --- |

10.

Herefter benyttes følgende terminologi om FTU-aktionernes resultater:

—

»Output« er den viden, de varer og de tjenesteydelser, der direkte frembringes som følge af den offentlige intervention (publikationer, konferenceindlæg, patenter, licenser, prototyper, standarder, uddannede videnskabsmænd osv.).

| — | »Udfaldet« er de senere resultater af, at brugerne tager disse output i anvendelse. |
| --- | --- |

—

»Udfaldet« er de senere resultater af, at brugerne tager disse output i anvendelse.

| — | »Effekten« er de socioøkonomiske ændringer, som den offentlige intervention skaber på længere sigt. |
| --- | --- |

—

»Effekten« er de socioøkonomiske ændringer, som den offentlige intervention skaber på længere sigt.

Tekstboks 1Eksempel — Global System for Mobile communications (GSM)»Output« af Fællesskabets finansiering var i dette eksempel de umiddelbare projektresultater såsom udviklingen af GSM-standarden. »Udfaldet« var, at GSM blev taget i brug som standard for digital mobiltelefoni i og uden for Europa, hvilket i høj grad bidrog til udviklingen af telekommunikationsindustrien. Og endelig var »effekten« de økonomiske, sociale og politiske konsekvenser af, at denne teknologi vandt international udbredelse. Blandt disse kan nævnes, at der blev skabt arbejdspladser i telekommunikationsindustrien og beslægtede industrier, samt at denne industrisektor fik større betydning for den europæiske økonomi. Endvidere har GSM-teknologien givet mennesker en ny måde at kommunikere med hinanden på.

| 11. | Der er imidlertid en række metodologiske vanskeligheder forbundet med at vurdere disse resultater (jf. bilag I). Socioøkonomiske ændringer er komplekse, og det er ofte svært at spore sammenhængen mellem en forskningsaktion, dens udfald og dens effekt. Disse metodologiske vanskeligheder er en stor udfordring, men de gør det ikke nødvendigvis umuligt at foretage en effektiv evaluering. |
| --- | --- |

11.

Der er imidlertid en række metodologiske vanskeligheder forbundet med at vurdere disse resultater (jf. bilag I). Socioøkonomiske ændringer er komplekse, og det er ofte svært at spore sammenhængen mellem en forskningsaktion, dens udfald og dens effekt. Disse metodologiske vanskeligheder er en stor udfordring, men de gør det ikke nødvendigvis umuligt at foretage en effektiv evaluering.

| 12. | Kommissionen har siden 1980'erne haft et system for tilsyn med og evaluering af rammeprogrammerne (11). Siden 4. RP fra midten af 1990'erne har tilsyns- og evalueringssystemet bestået af en række delvis sammenkoblede aktiviteter, herunder






  — | årlige tilsyn (med hovedvægt på programgennemførelsen) samt |
| --- | --- | --- |

12.

Kommissionen har siden 1980'erne haft et system for tilsyn med og evaluering af rammeprogrammerne (11). Siden 4. RP fra midten af 1990'erne har tilsyns- og evalueringssystemet bestået af en række delvis sammenkoblede aktiviteter, herunder

—

årlige tilsyn (med hovedvægt på programgennemførelsen) samt

| — | femårsevalueringer af rammeprogrammets aktioner (og fra 6. RP yderligere evalueringer af specifikke spørgsmål). |
| --- | --- |

—

femårsevalueringer af rammeprogrammets aktioner (og fra 6. RP yderligere evalueringer af specifikke spørgsmål).

Begge aktiviteter skulle udføres med bistand fra eksterne eksperter (jf. figur 2 og bilag II).

Figur 2

4. RP til 7. RP — nøglekrav til tilsyn og evaluering

| 4. RP (1995-1998) | 5. RP (1999-2002) | 6. RP (2003-2006) | 7. RP (2007-2013) |
| --- | --- | --- | --- |
| To evalueringer (midtvejsevaluering og endelig evaluering) af de 20 delprogrammer og rammeprogrammet. Den endelige evaluering overlappede med midtvejsevalueringen af 5. RP. | To samtidige evalueringer (midtvejsevalueringer) af de 7 særprogrammer og rammeprogrammet. | Én evaluering af rammepro-grammet og de 3 særprogrammer (midtvejs), men ikke specifikt af alle 20 delprogrammer, suppleret med specifik evaluering og regelmæssige statusrapporter (dvs. tilsynsrapporter). | Mindst fem evalueringer (forhåndsevaluering, midtvejsevaluering og endelig evaluering) herunder en statusrapport før den foreløbige evaluering. |
| 1. | Forhåndsevaluering: Nej. |

4. RP (1995-1998)

5. RP (1999-2002)

6. RP (2003-2006)

7. RP (2007-2013)

To evalueringer (midtvejsevaluering og endelig evaluering) af de 20 delprogrammer og rammeprogrammet. Den endelige evaluering overlappede med midtvejsevalueringen af 5. RP.

To samtidige evalueringer (midtvejsevalueringer) af de 7 særprogrammer og rammeprogrammet.

Én evaluering af rammepro-grammet og de 3 særprogrammer (midtvejs), men ikke specifikt af alle 20 delprogrammer, suppleret med specifik evaluering og regelmæssige statusrapporter (dvs. tilsynsrapporter).

Mindst fem evalueringer (forhåndsevaluering, midtvejsevaluering og endelig evaluering) herunder en statusrapport før den foreløbige evaluering.

1.

Forhåndsevaluering: Nej.

| 1. | Forhåndsevaluering: Nej. |
| --- | --- |

1.

Forhåndsevaluering: Nej.

| 1. | Forhåndsevaluering: Nej. |
| --- | --- |

1.

Forhåndsevaluering: Nej.

| 1. | Forhåndsevaluering:
  Indgår i »Impact Assessment of the Commission’s proposal for FP7« (2005). |
| --- | --- |

1.

Indgår i »Impact Assessment of the Commission’s proposal for FP7« (2005).

| 2. | Midtvejsevaluering:






  — | »Femårsevaluering«: Midtvejs i rammeprogrammet, forud for det efterfølgende rammeprogram (1997). |
| --- | --- | --- |

2.

—

»Femårsevaluering«: Midtvejs i rammeprogrammet, forud for det efterfølgende rammeprogram (1997).

| 2. | Midtvejsevaluering:






  — | Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2000) |
| --- | --- | --- |

2.

—

Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2000)

| — | Vurdering af udviklingen midtvejs i rammeprogrammet (2001). |
| --- | --- |

—

Vurdering af udviklingen midtvejs i rammeprogrammet (2001).

| 2. | Midtvejsevaluering:






  — | Evaluering af instrumenternes effektivitet (2004) |
| --- | --- | --- |

2.

—

Evaluering af instrumenternes effektivitet (2004)

| — | Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2004) |
| --- | --- |

—

Femårsevaluering: Inden forelæggelsen af forslaget til det efterfølgende rammeprogram (2004)

| — | Regelmæssige statusrapporter (dvs. tilsynsrapporter). |
| --- | --- |

—

Regelmæssige statusrapporter (dvs. tilsynsrapporter).

| 2. | Midtvejsevaluering:






  — | Efterfølgende evaluering to år efter afslutningen af det foregående rammeprogram (2008) |
| --- | --- | --- |

2.

—

Efterfølgende evaluering to år efter afslutningen af det foregående rammeprogram (2008)

| — | Statusrapport forud for den foreløbige evaluering (før 2010) |
| --- | --- |

—

Statusrapport forud for den foreløbige evaluering (før 2010)

| — | Foreløbig evaluering (2010). |
| --- | --- |

—

Foreløbig evaluering (2010).

| 3. | Endelig evaluering:






  — | Ved afslutningen af rammeprogrammet (1999). |
| --- | --- | --- |

3.

—

Ved afslutningen af rammeprogrammet (1999).

| 3. | Endelig evaluering:
  Nej. |
| --- | --- |

3.

Nej.

| 3. | Endelig evaluering:
  Nej

  [ændret ved afgørelsen om 7. RP]. |
| --- | --- |

3.

Nej

[ændret ved afgørelsen om 7. RP].

| 3. | Endelig evaluering:
  To år efter rammeprogrammets gennemførelse (2015), støttet af specifikke undersøgelser, den foreløbige evaluering og andre evalueringer foretaget i rammeprogrammets løbetid. |
| --- | --- |

3.

To år efter rammeprogrammets gennemførelse (2015), støttet af specifikke undersøgelser, den foreløbige evaluering og andre evalueringer foretaget i rammeprogrammets løbetid.

Kilde: Jf. bilag II.

| 13. | Indtil nu er der foretaget tre femårsevalueringer (12), som er beskrevet i Davignon-rapporten, Majó-rapporten og Ormala-rapporten (fra henholdsvis 1997, 2000 og 2004). Derudover har GD for Informationssamfundet og Medier foretaget målrettede evalueringer af sit særprogram. Det skal bemærkes, at ordningen med femårsevalueringer blev afskaffet i forbindelse med lovgivningen om 7. RP, så det ikke længere er fastsat, at store evalueringer skal dække de foregående fem år og derfor nødvendigvis omfatte dele af to successive programmeringsperioder. I 2004 offentliggjordes også Marimón-rapporten (13), en specifik evaluering af effektiviteten af de nye instrumenter, der blev indført under 6. RP. |
| --- | --- |

13.

Indtil nu er der foretaget tre femårsevalueringer (12), som er beskrevet i Davignon-rapporten, Majó-rapporten og Ormala-rapporten (fra henholdsvis 1997, 2000 og 2004). Derudover har GD for Informationssamfundet og Medier foretaget målrettede evalueringer af sit særprogram. Det skal bemærkes, at ordningen med femårsevalueringer blev afskaffet i forbindelse med lovgivningen om 7. RP, så det ikke længere er fastsat, at store evalueringer skal dække de foregående fem år og derfor nødvendigvis omfatte dele af to successive programmeringsperioder. I 2004 offentliggjordes også Marimón-rapporten (13), en specifik evaluering af effektiviteten af de nye instrumenter, der blev indført under 6. RP.

| 14. | Rammerne for Kommissionens evalueringsaktiviteter blev gennemgået i 2000 og 2002, og resultaterne blev beskrevet i to meddelelser (14). Disse meddelelser blev ajourført i 2007 under hensyntagen til konsekvenserne af den administrative reform af Kommissionen og den nye finansforordning (15). I disse dokumenter beskrives evalueringens rolle i Kommissionens overordnede cyklus for planlægning, programmering og rapportering, og der defineres et sæt bestående af 21 evalueringsstandarder og 18 modeller for god praksis. Desuden omhandler dokumenterne anvendelsen af evaluering i forbindelse med udarbejdelse og forenkling af EU-lovgivningen. |
| --- | --- |

14.

Rammerne for Kommissionens evalueringsaktiviteter blev gennemgået i 2000 og 2002, og resultaterne blev beskrevet i to meddelelser (14). Disse meddelelser blev ajourført i 2007 under hensyntagen til konsekvenserne af den administrative reform af Kommissionen og den nye finansforordning (15). I disse dokumenter beskrives evalueringens rolle i Kommissionens overordnede cyklus for planlægning, programmering og rapportering, og der defineres et sæt bestående af 21 evalueringsstandarder og 18 modeller for god praksis. Desuden omhandler dokumenterne anvendelsen af evaluering i forbindelse med udarbejdelse og forenkling af EU-lovgivningen.

REVISIONENS OMFANG OG REVISIONSMETODEN

15.

| 15. | Hovedformålet med revisionen var at finde ud af, om Kommissionens tilgang til vurdering af FTU-rammeprogrammernes resultater er hensigtsmæssig. |
| --- | --- |

Hovedformålet med revisionen var at finde ud af, om Kommissionens tilgang til vurdering af FTU-rammeprogrammernes resultater er hensigtsmæssig.

| 16. | Med henblik herpå undersøgte Retten:






  — | om der i rammeprogrammerne og de tilhørende programmer er en eksplicit interventionslogik, som output, udfald og effekt kan måles og vurderes efter, og som derfor kan danne grundlag for evaluering og tilsyn |
| --- | --- | --- |

16.

Med henblik herpå undersøgte Retten:

—

om der i rammeprogrammerne og de tilhørende programmer er en eksplicit interventionslogik, som output, udfald og effekt kan måles og vurderes efter, og som derfor kan danne grundlag for evaluering og tilsyn

| — | om der for rammeprogrammerne er defineret en evalueringsstrategi, som fremmer effektiv og ensartet evaluering |
| --- | --- |

—

om der for rammeprogrammerne er defineret en evalueringsstrategi, som fremmer effektiv og ensartet evaluering

| — | om evalueringssystemets organisationsstruktur sikrer, at dets arbejde koordineres hensigtsmæssigt i hele rammeprogrammet, at det får de nødvendige ressourcer, og at interessenterne opfatter det som tilstrækkelig uafhængigt |
| --- | --- |

—

om evalueringssystemets organisationsstruktur sikrer, at dets arbejde koordineres hensigtsmæssigt i hele rammeprogrammet, at det får de nødvendige ressourcer, og at interessenterne opfatter det som tilstrækkelig uafhængigt

| — | om de anvendte evalueringsmetodologier sikrer, at relevante spørgsmål behandles på en hensigtsmæssig måde, så evalueringen opfattes som rimelig |
| --- | --- |

—

om de anvendte evalueringsmetodologier sikrer, at relevante spørgsmål behandles på en hensigtsmæssig måde, så evalueringen opfattes som rimelig

| — | om evalueringerne og tilsynsaktiviterne giver oplysninger og analyser, som kan bruges til at forbedre igangværende programmer (»learning programmes«) og danne grundlag for udformningen af fremtidige rammeprogrammer. |
| --- | --- |

—

om evalueringerne og tilsynsaktiviterne giver oplysninger og analyser, som kan bruges til at forbedre igangværende programmer (»learning programmes«) og danne grundlag for udformningen af fremtidige rammeprogrammer.

| 17. | Denne beretning omfatter de ordninger, der har været gældende for 4. RP (1995-1998), 5. RP (1999-2002) og 6. RP (2003-2006), og bestemmelserne vedrørende det aktuelle rammeprogram, 7. RP (2007-2013), men den indeholder ingen vurdering af Kommissionens konsekvensanalyse og forudgående evaluering af 7. RP (16). Beretningen fokuserer på tilsyn med og efterfølgende evaluering af programmerne, ikke på forudgående evaluering af projektforslagene eller efterfølgende evaluering af projekterne. |
| --- | --- |

17.

Denne beretning omfatter de ordninger, der har været gældende for 4. RP (1995-1998), 5. RP (1999-2002) og 6. RP (2003-2006), og bestemmelserne vedrørende det aktuelle rammeprogram, 7. RP (2007-2013), men den indeholder ingen vurdering af Kommissionens konsekvensanalyse og forudgående evaluering af 7. RP (16). Beretningen fokuserer på tilsyn med og efterfølgende evaluering af programmerne, ikke på forudgående evaluering af projektforslagene eller efterfølgende evaluering af projekterne.

| 18. | Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter. Revisionsbeviset blev indsamlet i forbindelse med:






  — | revisionsarbejde udført under besøg i Kommissionen (gennemgang af dokumentation og interviews med ansatte), herunder identifikation af lovgivningsmæssige krav, gennemgang af mål og resultatkriterier, analyse af over 80 tilsyns- og evalueringsrapporter og af, hvordan evalueringsaktiviteterne er organiseret i Kommissionen |
| --- | --- | --- |

18.

Revisionen blev udført med deltagelse af EFTA’s revisionsudvalg og med bistand fra eksterne eksperter. Revisionsbeviset blev indsamlet i forbindelse med:

—

revisionsarbejde udført under besøg i Kommissionen (gennemgang af dokumentation og interviews med ansatte), herunder identifikation af lovgivningsmæssige krav, gennemgang af mål og resultatkriterier, analyse af over 80 tilsyns- og evalueringsrapporter og af, hvordan evalueringsaktiviteterne er organiseret i Kommissionen

| — | interviews med mere end 90 eksperter, som er interessenter i medlemsstaterne og de associerede lande (Den Tjekkiske Republik, Tyskland, Estland, Spanien, Frankrig, Italien, Luxembourg, Nederlandene, Østrig, Finland, Sverige, Det Forenede Kongerige og Norge) |
| --- | --- |

—

interviews med mere end 90 eksperter, som er interessenter i medlemsstaterne og de associerede lande (Den Tjekkiske Republik, Tyskland, Estland, Spanien, Frankrig, Italien, Luxembourg, Nederlandene, Østrig, Finland, Sverige, Det Forenede Kongerige og Norge)

| — | spørgeskemabesvarelser fra de institutionelle interessenter i Europa-Parlamentets ITRE-udvalg (17) og Rådets CREST-udvalg (18) |
| --- | --- |

—

spørgeskemabesvarelser fra de institutionelle interessenter i Europa-Parlamentets ITRE-udvalg (17) og Rådets CREST-udvalg (18)

| — | høring af mere end 65 amerikanske og canadiske eksperter i forskningsevaluering som international sammenligningsgruppe |
| --- | --- |

—

høring af mere end 65 amerikanske og canadiske eksperter i forskningsevaluering som international sammenligningsgruppe

| — | gennemgang af akademisk litteratur om aktuelle tendenser i forskningsevaluering |
| --- | --- |

—

gennemgang af akademisk litteratur om aktuelle tendenser i forskningsevaluering

| — | drøftelse af revisionsresultater, konklusioner og anbefalinger med eksperter i forskningsevaluering fra Europa og Nordamerika på en række styrede fokusgruppemøder i februar 2007. |
| --- | --- |

—

drøftelse af revisionsresultater, konklusioner og anbefalinger med eksperter i forskningsevaluering fra Europa og Nordamerika på en række styrede fokusgruppemøder i februar 2007.

REVISIONSBEMÆRKNINGER

Interventionslogik, mål og resultatindikatorer

| 19. | Det er en forudsætning for effektiv evaluering og et effektivt tilsyn, at der i forskningspolitikken såvel som på program- og projektniveau er fastsat klare mål og relevante resultatindikatorer, som resultaterne af en offentlig intervention kan vurderes efter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at sådanne mål og indikatorer bør defineres inden for rammerne af en interventionslogik. |
| --- | --- |

19.

Det er en forudsætning for effektiv evaluering og et effektivt tilsyn, at der i forskningspolitikken såvel som på program- og projektniveau er fastsat klare mål og relevante resultatindikatorer, som resultaterne af en offentlig intervention kan vurderes efter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at sådanne mål og indikatorer bør defineres inden for rammerne af en interventionslogik.

| 20. | En interventionslogik kan beskrives som et sæt af hypotetiske årsagssammenhænge, der viser, hvordan man forventer at nå en interventions overordnede mål (19). I Kommissionens evalueringsretningslinjer står der, at en interventionslogik begrebsmæssigt forbinder en interventions input med frembringelsen af dens output og dens efterfølgende effekt på samfundet i form af resultater og udfald (20). Denne definition anvendes i hele denne beretning. |
| --- | --- |

20.

En interventionslogik kan beskrives som et sæt af hypotetiske årsagssammenhænge, der viser, hvordan man forventer at nå en interventions overordnede mål (19). I Kommissionens evalueringsretningslinjer står der, at en interventionslogik begrebsmæssigt forbinder en interventions input med frembringelsen af dens output og dens efterfølgende effekt på samfundet i form af resultater og udfald (20). Denne definition anvendes i hele denne beretning.

| 21. | Retten undersøgte, om der for rammeprogrammerne og de tilhørende programmer var fastlagt en interventionslogik, som kunne danne et solidt grundlag for evaluering og tilsyn. |
| --- | --- |

21.

Retten undersøgte, om der for rammeprogrammerne og de tilhørende programmer var fastlagt en interventionslogik, som kunne danne et solidt grundlag for evaluering og tilsyn.

Interventionslogikken for rammeprogrammerne har ikke været eksplicit

| 22. | Fastlæggelsen af en interventionslogik bør fra begyndelsen være et nøgleelement i udformningen af et program. Udgangspunktet for fastlæggelsen af en interventionslogik for rammeprogrammerne bør være traktatens artikel 163, som siger, at det videnskabelige og teknologiske grundlag for Fællesskabets industri skal styrkes, og at dens internationale konkurrenceevne skal fremmes (jf. punkt 2). Denne målsætning skal derefter formuleres som specifikke mål for de forskellige videnskabelige områder, der er omfattet af rammeprogrammerne, og de forskellige instrumenter, der anvendes. |
| --- | --- |

22.

Fastlæggelsen af en interventionslogik bør fra begyndelsen være et nøgleelement i udformningen af et program. Udgangspunktet for fastlæggelsen af en interventionslogik for rammeprogrammerne bør være traktatens artikel 163, som siger, at det videnskabelige og teknologiske grundlag for Fællesskabets industri skal styrkes, og at dens internationale konkurrenceevne skal fremmes (jf. punkt 2). Denne målsætning skal derefter formuleres som specifikke mål for de forskellige videnskabelige områder, der er omfattet af rammeprogrammerne, og de forskellige instrumenter, der anvendes.

| 23. | Der mangler imidlertid på alle niveauer en eksplicit logisk model, som forklarer, hvordan rammeprogrammerne og de tilhørende programmer bidrager til at skabe videnskabelige og teknologiske fremskridt og innovation. |
| --- | --- |

23.

Der mangler imidlertid på alle niveauer en eksplicit logisk model, som forklarer, hvordan rammeprogrammerne og de tilhørende programmer bidrager til at skabe videnskabelige og teknologiske fremskridt og innovation.

| 24. | Fraværet af en interventionslogik for rammeprogrammerne blev også fremhævet af det panel, der foretog femårsevalueringen i 2004. Panelet bemærkede i sin rapport, at det selv og lignende paneler bliver bedt om at udfylde tomrummet mellem dataene, der hovedsagelig er indsamlet på projektniveau, og de socioøkonomiske forskningsmål, der er fastsat på et højere politisk niveau. På grund af den måde, rammeprogrammerne var planlagt på, fandt panelet det imidlertid svært at forbinde disse ting med hinanden. Der manglede en eksplicit logik, som forbandt de overordnede målsætninger med de specifikke mål for forskning og skabelse af viden (21). |
| --- | --- |

24.

Fraværet af en interventionslogik for rammeprogrammerne blev også fremhævet af det panel, der foretog femårsevalueringen i 2004. Panelet bemærkede i sin rapport, at det selv og lignende paneler bliver bedt om at udfylde tomrummet mellem dataene, der hovedsagelig er indsamlet på projektniveau, og de socioøkonomiske forskningsmål, der er fastsat på et højere politisk niveau. På grund af den måde, rammeprogrammerne var planlagt på, fandt panelet det imidlertid svært at forbinde disse ting med hinanden. Der manglede en eksplicit logik, som forbandt de overordnede målsætninger med de specifikke mål for forskning og skabelse af viden (21).

| 25. | En anden tilgang finder man i nogle medlemsstater (f.eks. Nederlandene og Finland) og i USA (jf. figur 3), hvor det er meget mere almindeligt at fastlægge en interventionslogik, samt i Canada, hvor det er obligatorisk i forbindelse med alle programmer (jf. bilag III). Disse landes anvendelse af interventionslogik i forbindelse med programudformning giver programmer med mere fokus og bedre struktur. Kommissionen er også ved at indføre interventionslogik på andre af Fællesskabets politikområder (f.eks. bistand til tredjelande) (22).
  Figur 3
  Hierarkisk opstilling af mål på grundlag af logiske modeller — eksempel fra landbrugsforskning i USA








  Politik | Program | Projekt |
| --- | --- | --- | --- |
| Politisk mål
  : at bidrage til at forbedre landbrugsfamiliernes livsgrundlag. | | |
| Målsætning
  : at øge landbrugsfamiliernes produktion, produktivitet og indtægter. | Programmål
  : at bidrage til at øge landbrugsfamiliernes produktion, produktivitet og indtægter. | |
| Forventet resultat
  : øget anvendelse af forbedrede landbrugsteknologier blandt landbrugerne. | Målsætning
  : at øge anvendelsen af forbedrede landbrugsteknologier blandt landbrugerne (f.eks. ris). | Projektmål
  : at bidrage til øget anvendelse af anbefalede, forbedrede teknologier. |
| | Forventet resultat
  : udarbejdelse/formidling af anbefalinger til landbrugerne. | Målsætning
  : at udarbejde/formidle anbefalinger til landbrugerne. |
| | | Forventede resultater (f.eks.):








  1. | teknologier identificeret ud fra landbrugernes behov |

25.

En anden tilgang finder man i nogle medlemsstater (f.eks. Nederlandene og Finland) og i USA (jf. figur 3), hvor det er meget mere almindeligt at fastlægge en interventionslogik, samt i Canada, hvor det er obligatorisk i forbindelse med alle programmer (jf. bilag III). Disse landes anvendelse af interventionslogik i forbindelse med programudformning giver programmer med mere fokus og bedre struktur. Kommissionen er også ved at indføre interventionslogik på andre af Fællesskabets politikområder (f.eks. bistand til tredjelande) (22).

Figur 3

Hierarkisk opstilling af mål på grundlag af logiske modeller — eksempel fra landbrugsforskning i USA

Politik

Program

Projekt

Politisk mål
  : at bidrage til at forbedre landbrugsfamiliernes livsgrundlag.

Målsætning
  : at øge landbrugsfamiliernes produktion, produktivitet og indtægter.

Programmål
  : at bidrage til at øge landbrugsfamiliernes produktion, produktivitet og indtægter.

Forventet resultat
  : øget anvendelse af forbedrede landbrugsteknologier blandt landbrugerne.

Målsætning
  : at øge anvendelsen af forbedrede landbrugsteknologier blandt landbrugerne (f.eks. ris).

Projektmål
  : at bidrage til øget anvendelse af anbefalede, forbedrede teknologier.

Forventet resultat
  : udarbejdelse/formidling af anbefalinger til landbrugerne.

Målsætning
  : at udarbejde/formidle anbefalinger til landbrugerne.

Forventede resultater (f.eks.):

1.

teknologier identificeret ud fra landbrugernes behov

| 2. | teknologier genereret og tilpasset |
| --- | --- |

2.

teknologier genereret og tilpasset

| 3. | teknologier afprøvet på landbrugernes marker. |
| --- | --- |

3.

teknologier afprøvet på landbrugernes marker.

Kilde: US National Agricultural Research Council.

| 26. | Hvis man ikke eksplicit formulerer det rationale, der ligger til grund for den offentlige intervention, og de hypotetiske årsagssammenhænge (som bestemmer, hvordan programmet derefter planlægges i detaljer, gennemføres og vurderes), undergraves muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. Det skyldes især den måde, hvorpå programmernes mål og resultatindikatorer defineres. |
| --- | --- |

26.

Hvis man ikke eksplicit formulerer det rationale, der ligger til grund for den offentlige intervention, og de hypotetiske årsagssammenhænge (som bestemmer, hvordan programmet derefter planlægges i detaljer, gennemføres og vurderes), undergraves muligheden for effektiv evaluering af og tilsyn med rammeprogrammerne. Det skyldes især den måde, hvorpå programmernes mål og resultatindikatorer defineres.

Uden en eksplicit logisk model er det sværere at fastsætte sammenhængende programmål

| 27. | Når det underliggende rationale for den offentlige intervention ikke gøres eksplicit, er det sværere at fastsætte og strukturere sammenhængende programmål. Det giver sig blandt andet udslag i:






  — | at der ikke er en klar sammenhæng mellem rammeprogrammernes mål og de forskningspolitiske mål, f.eks. det overordnede mål i traktatens artikel 163 og målene i Lissabon-strategien og Barcelona-erklæringen (jf. punkt 2 og 7) |
| --- | --- | --- |

27.

Når det underliggende rationale for den offentlige intervention ikke gøres eksplicit, er det sværere at fastsætte og strukturere sammenhængende programmål. Det giver sig blandt andet udslag i:

—

at der ikke er en klar sammenhæng mellem rammeprogrammernes mål og de forskningspolitiske mål, f.eks. det overordnede mål i traktatens artikel 163 og målene i Lissabon-strategien og Barcelona-erklæringen (jf. punkt 2 og 7)

| — | at det ikke altid er muligt at se en forbindelse mellem de programmål, der er fastsat på de forskellige niveauer i lovgivningen (såsom rammeprogramafgørelser, beslutninger om særprogrammer og regler for deltagelse og formidling), og mellem de programmål, der er fastsat i henholdsvis basisretsakterne og Kommissionens arbejdsprogrammer. |
| --- | --- |

—

at det ikke altid er muligt at se en forbindelse mellem de programmål, der er fastsat på de forskellige niveauer i lovgivningen (såsom rammeprogramafgørelser, beslutninger om særprogrammer og regler for deltagelse og formidling), og mellem de programmål, der er fastsat i henholdsvis basisretsakterne og Kommissionens arbejdsprogrammer.

| 28. | Kommissionen har gjort forsøg på at fastsætte arbejdsprogrammernes operationelle mål med udgangspunkt i de programmål, der er defineret i lovgivningen om rammeprogrammerne. I forbindelse med næsten alle disse initiativer er det imidlertid ikke lykkedes at præcisere programmernes underliggende logik, og arbejdsprogrammernes mål var derfor ikke specifikke, målelige, realiserbare, relevante og tidsbestemte (SMART). I 2003 blev dette gjort til et krav i finansforordningen (23). |
| --- | --- |

28.

Kommissionen har gjort forsøg på at fastsætte arbejdsprogrammernes operationelle mål med udgangspunkt i de programmål, der er defineret i lovgivningen om rammeprogrammerne. I forbindelse med næsten alle disse initiativer er det imidlertid ikke lykkedes at præcisere programmernes underliggende logik, og arbejdsprogrammernes mål var derfor ikke specifikke, målelige, realiserbare, relevante og tidsbestemte (SMART). I 2003 blev dette gjort til et krav i finansforordningen (23).

| 29. | Det er uklart, i hvor høj grad de forskningspolitiske mål har en virkning, som kan spores hele vejen gennem særprogrammer, arbejdsprogrammer og indkaldelser af forslag ned til de enkelte projekter, der medfinansieres af Fællesskabet. Hvis ikke disse sammenhænge bliver klarlagt, er det ikke muligt at vurdere, hvordan rammeprogrammerne og de tilhørende programmer bidrager til opfyldelsen af de forskningspolitiske mål. I forbindelse med sin revision fandt Retten meget få eller slet ingen overbevisende beviser for opfyldelse af langsigtede mål på hverken projekt- eller programniveau i Kommissionens evalueringer (jf. punkt 82). |
| --- | --- |

29.

Det er uklart, i hvor høj grad de forskningspolitiske mål har en virkning, som kan spores hele vejen gennem særprogrammer, arbejdsprogrammer og indkaldelser af forslag ned til de enkelte projekter, der medfinansieres af Fællesskabet. Hvis ikke disse sammenhænge bliver klarlagt, er det ikke muligt at vurdere, hvordan rammeprogrammerne og de tilhørende programmer bidrager til opfyldelsen af de forskningspolitiske mål. I forbindelse med sin revision fandt Retten meget få eller slet ingen overbevisende beviser for opfyldelse af langsigtede mål på hverken projekt- eller programniveau i Kommissionens evalueringer (jf. punkt 82).

Uden en eksplicit interventionslogik og klare mål er det sværere at udvikle resultatindikatorer

| 30. | Fraværet af en eksplicit logisk model og klart formulerede programmål har også hæmmet udviklingen af resultatindikatorer til brug ved tilsyn med opfyldelsen af programmernes mål i form af output, udfald og effekt. Faktisk er der indtil nu slet ikke blevet defineret sådanne »effektivitetsindikatorer« for rammeprogrammerne (jf. punkt 73). |
| --- | --- |

30.

Fraværet af en eksplicit logisk model og klart formulerede programmål har også hæmmet udviklingen af resultatindikatorer til brug ved tilsyn med opfyldelsen af programmernes mål i form af output, udfald og effekt. Faktisk er der indtil nu slet ikke blevet defineret sådanne »effektivitetsindikatorer« for rammeprogrammerne (jf. punkt 73).

| 31. | Det gør det endnu vanskeligere at føre tilsyn med de igangværende projekter under disse programmer samt at foretage efterfølgende evaluering af de afsluttede projekter, og det bliver sværere at aggregere projektevalueringerne og lægge dem til grund for konklusioner på programniveau (jf. bilag I og punkt 84). |
| --- | --- |

31.

Det gør det endnu vanskeligere at føre tilsyn med de igangværende projekter under disse programmer samt at foretage efterfølgende evaluering af de afsluttede projekter, og det bliver sværere at aggregere projektevalueringerne og lægge dem til grund for konklusioner på programniveau (jf. bilag I og punkt 84).

Den måde, ABB/ABM-systemet for øjeblikket anvendes på, gør det uegnet til at måle rammeprogrammernes resultater

| 32. | I Kommissionens årlige tilsynsrapporter og i dens system for aktivitetsbaseret forvaltning (ABM) finder man en række indikatorer, der anvendes til at måle programgennemførelsens produktivitet (f.eks. tid til kontrakt og tid til betaling). |
| --- | --- |

32.

I Kommissionens årlige tilsynsrapporter og i dens system for aktivitetsbaseret forvaltning (ABM) finder man en række indikatorer, der anvendes til at måle programgennemførelsens produktivitet (f.eks. tid til kontrakt og tid til betaling).

| 33. | Indtil nu har »forskningsgeneraldirektoraterne« imidlertid ikke anvendt en standardiseret eller sammenlignelig nomenklatur for aktivitetsbaseret budgettering (ABB) og ensartede indikatorer, end ikke ved gennemførelsen af det samme særprogram (eller delprogram). Indikatorerne kan derfor ikke bruges til at sammenligne hverken resultater fra forskellige programmer eller resultater opnået i samme program.

  Tekstboks 2ABB/ABM, som det for øjeblikket anvendes i »forskningsgeneraldirektoraterne«I ABB/ABM-systemet er rammeprogrammerne omfattet af to forskellige politikområder, og inden for disse områder klassificerer hvert generaldirektorat aktionerne efter sin egen nomenklatur (24). Det gælder tilmed for de særprogrammer og delprogrammer, der gennemføres af mere end ét generaldirektorat. Retten konstaterede, at ABM-målene var defineret på grundlag af forskellige principper (25), og bemærkede ligesom Kommissionens interne revisionstjeneste (26), at der hovedsagelig var tale om generelle beskrivelser af hensigter eller aktiviteter. Indikatorerne var generelt inputorienterede (f.eks. antal møder). Nogle indikatorer vedrørte processens effektivitet (f.eks. tid til kontrakt og tid til betaling), men de kunne ikke sammenlignes fra program til program og fra generaldirektorat til generaldirektorat, fordi der var forskelle i den anvendte ABB-nomenklatur, udgangspunktet i de enkelte generaldirektorater (f.eks. tidspunktet for begyndelse og afslutning af specifikke administrative processer) og i den population (f.eks. tilskudsaftaler eller betalinger), der var lagt til grund for beregningen. |
| --- | --- |

33.

Indtil nu har »forskningsgeneraldirektoraterne« imidlertid ikke anvendt en standardiseret eller sammenlignelig nomenklatur for aktivitetsbaseret budgettering (ABB) og ensartede indikatorer, end ikke ved gennemførelsen af det samme særprogram (eller delprogram). Indikatorerne kan derfor ikke bruges til at sammenligne hverken resultater fra forskellige programmer eller resultater opnået i samme program.

Tekstboks 2ABB/ABM, som det for øjeblikket anvendes i »forskningsgeneraldirektoraterne«I ABB/ABM-systemet er rammeprogrammerne omfattet af to forskellige politikområder, og inden for disse områder klassificerer hvert generaldirektorat aktionerne efter sin egen nomenklatur (24). Det gælder tilmed for de særprogrammer og delprogrammer, der gennemføres af mere end ét generaldirektorat. Retten konstaterede, at ABM-målene var defineret på grundlag af forskellige principper (25), og bemærkede ligesom Kommissionens interne revisionstjeneste (26), at der hovedsagelig var tale om generelle beskrivelser af hensigter eller aktiviteter. Indikatorerne var generelt inputorienterede (f.eks. antal møder). Nogle indikatorer vedrørte processens effektivitet (f.eks. tid til kontrakt og tid til betaling), men de kunne ikke sammenlignes fra program til program og fra generaldirektorat til generaldirektorat, fordi der var forskelle i den anvendte ABB-nomenklatur, udgangspunktet i de enkelte generaldirektorater (f.eks. tidspunktet for begyndelse og afslutning af specifikke administrative processer) og i den population (f.eks. tilskudsaftaler eller betalinger), der var lagt til grund for beregningen.

Anbefalinger

34.

| 34. | I fremtidige lovgivningsforslag til Rådet og Europa-Parlamentet bør Kommissionen udarbejde en eksplicit interventionslogik for rammeprogrammet som helhed og for de tiltag, det omfatter. |
| --- | --- |

I fremtidige lovgivningsforslag til Rådet og Europa-Parlamentet bør Kommissionen udarbejde en eksplicit interventionslogik for rammeprogrammet som helhed og for de tiltag, det omfatter.

| 35. | Med hensyn til 7. RP bør Kommissionen






  — | klart beskrive målene for rammeprogrammet og de tilhørende særprogrammer (og delprogrammer) og angive, hvordan de skal opfyldes |
| --- | --- | --- |

35.

Med hensyn til 7. RP bør Kommissionen

—

klart beskrive målene for rammeprogrammet og de tilhørende særprogrammer (og delprogrammer) og angive, hvordan de skal opfyldes

| — | præcisere forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål for hvert særprogram (og delprogram), og |
| --- | --- |

—

præcisere forbindelsen mellem de videnskabelige mål og de socioøkonomiske mål for hvert særprogram (og delprogram), og

| — | fastsætte relevante operationelle mål. |
| --- | --- |

—

fastsætte relevante operationelle mål.

| 36. | I forbindelse med sit system for tilsyn med 7. RP bør Kommissionen for hvert særprogram (og delprogram) opstille et begrænset, men afbalanceret, sæt resultatindikatorer til måling af programgennemførelsens produktivitet og effektivitet. |
| --- | --- |

36.

I forbindelse med sit system for tilsyn med 7. RP bør Kommissionen for hvert særprogram (og delprogram) opstille et begrænset, men afbalanceret, sæt resultatindikatorer til måling af programgennemførelsens produktivitet og effektivitet.

| 37. | »Forskningsgeneraldirektoraterne« bør harmonisere deres ABM/ABB-nomenklatur, så deres resultatindikatorer bliver sammenlignelige, både over tid og, hvis det er muligt, fra program (og delprogram) til program (og delprogram). |
| --- | --- |

37.

»Forskningsgeneraldirektoraterne« bør harmonisere deres ABM/ABB-nomenklatur, så deres resultatindikatorer bliver sammenlignelige, både over tid og, hvis det er muligt, fra program (og delprogram) til program (og delprogram).

Evalueringsstrategi

| 38. | En evalueringsstrategi skaber en begrebsmæssig ramme om udformningen, planlægningen, gennemførelsen og anvendelsen af evalueringsaktiviteter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at en sådan strategi bør tage højde for de vigtigste lovgivningsmæssige, organisatoriske og metodologiske spørgsmål med betydning for programevalueringen. Det er blandt andet spørgsmål om, hvilke evalueringer der skal udføres, hvem der skal udføre dem og hvornår, hvordan data skal indsamles, hvilke metodologiske tilgange der skal anvendes, hvordan evalueringsresultaterne skal meddeles, og hvordan der skal følges op på dem. |
| --- | --- |

38.

En evalueringsstrategi skaber en begrebsmæssig ramme om udformningen, planlægningen, gennemførelsen og anvendelsen af evalueringsaktiviteter. Det fremgår af god praksis på andre EU-budgetområder og uden for EU-systemet, at en sådan strategi bør tage højde for de vigtigste lovgivningsmæssige, organisatoriske og metodologiske spørgsmål med betydning for programevalueringen. Det er blandt andet spørgsmål om, hvilke evalueringer der skal udføres, hvem der skal udføre dem og hvornår, hvordan data skal indsamles, hvilke metodologiske tilgange der skal anvendes, hvordan evalueringsresultaterne skal meddeles, og hvordan der skal følges op på dem.

| 39. | Hvis evaluering skal indgå som et naturligt element i Kommissionens organisationskultur og beslutningsproces, er det en forudsætning, at der findes en sådan strategi, og at den bliver gennemført. Eftersom rammeprogrammerne dækker meget forskellige videnskabelige områder, erkender Retten dog, at en sådan strategi bør give de ansvarlige generaldirektorater en passende grad af fleksibilitet og ikke udstikke alt for faste rammer. |
| --- | --- |

39.

Hvis evaluering skal indgå som et naturligt element i Kommissionens organisationskultur og beslutningsproces, er det en forudsætning, at der findes en sådan strategi, og at den bliver gennemført. Eftersom rammeprogrammerne dækker meget forskellige videnskabelige områder, erkender Retten dog, at en sådan strategi bør give de ansvarlige generaldirektorater en passende grad af fleksibilitet og ikke udstikke alt for faste rammer.

| 40. | Retten undersøgte, om Kommissionen havde en sådan evalueringsstrategi for rammeprogrammerne. |
| --- | --- |

40.

Retten undersøgte, om Kommissionen havde en sådan evalueringsstrategi for rammeprogrammerne.

Der er ingen samlet strategi for evaluering af rammeprogrammerne

| 41. | For så vidt angår rammeprogrammerne offentliggjorde Kommissionen for første gang sin evalueringstilgang i 1980'erne (27). Den blev ajourført i 1996, da Kommissionen efter vedtagelsen af 4. RP i en meddelelse til Europa-Parlamentet og Rådet gjorde rede for sit syn på, hvilke principper det er relevant at lægge til grund for tilsyn og evaluering, og beskrev sin tilgang (28). Dette udgjorde imidlertid ikke en samlet evalueringsstrategi som beskrevet ovenfor (jf. punkt 38 og 39). Fra 1996 til 2006 reviderede Kommissionen endvidere ikke grundlæggende sin tilgang til evaluering af rammeprogrammerne, selv om de ændredes med hensyn til såvel omfang som orientering (jf. punkt 7). Det skal især bemærkes, at »forskningsgeneraldirektoraterne« ikke er blevet enige om en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer ud over de lovgivningsmæssige krav, der blev vedtaget i 2002 (vedrørende 6. RP) og i 2006 (vedrørende 7. RP) (29). |
| --- | --- |

41.

For så vidt angår rammeprogrammerne offentliggjorde Kommissionen for første gang sin evalueringstilgang i 1980'erne (27). Den blev ajourført i 1996, da Kommissionen efter vedtagelsen af 4. RP i en meddelelse til Europa-Parlamentet og Rådet gjorde rede for sit syn på, hvilke principper det er relevant at lægge til grund for tilsyn og evaluering, og beskrev sin tilgang (28). Dette udgjorde imidlertid ikke en samlet evalueringsstrategi som beskrevet ovenfor (jf. punkt 38 og 39). Fra 1996 til 2006 reviderede Kommissionen endvidere ikke grundlæggende sin tilgang til evaluering af rammeprogrammerne, selv om de ændredes med hensyn til såvel omfang som orientering (jf. punkt 7). Det skal især bemærkes, at »forskningsgeneraldirektoraterne« ikke er blevet enige om en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer ud over de lovgivningsmæssige krav, der blev vedtaget i 2002 (vedrørende 6. RP) og i 2006 (vedrørende 7. RP) (29).

| 42. | Fraværet af en sådan strategisk tilgang til evaluering på dette område er især et problem i indeværende programmeringsperiode, fordi 7. RP gennemføres i fællesskab af flere generaldirektorater, Det Europæiske Forskningsråd og forvaltningsorganerne, og fordi finansforordningen kræver obligatorisk personalerotation på følsomme poster. Situationen udgør også en kontrast til nuværende praksis på området bistand til tredjelande (som er det næststørste område, der forvaltes direkte af Kommissionen). På dette område har de kompetente generaldirektorater siden 2002 haft fælles flerårige evalueringsstrategier, der har fulgt programmeringsperioderne (jf. punkt 52). |
| --- | --- |

42.

Fraværet af en sådan strategisk tilgang til evaluering på dette område er især et problem i indeværende programmeringsperiode, fordi 7. RP gennemføres i fællesskab af flere generaldirektorater, Det Europæiske Forskningsråd og forvaltningsorganerne, og fordi finansforordningen kræver obligatorisk personalerotation på følsomme poster. Situationen udgør også en kontrast til nuværende praksis på området bistand til tredjelande (som er det næststørste område, der forvaltes direkte af Kommissionen). På dette område har de kompetente generaldirektorater siden 2002 haft fælles flerårige evalueringsstrategier, der har fulgt programmeringsperioderne (jf. punkt 52).

| 43. | Fraværet af en klart formuleret evalueringsstrategi udgør også en klar kontrast til situationen i USA og Canada, hvor lovgivningen kræver, at der er en strategi (jf. bilag III). |
| --- | --- |

43.

Fraværet af en klart formuleret evalueringsstrategi udgør også en klar kontrast til situationen i USA og Canada, hvor lovgivningen kræver, at der er en strategi (jf. bilag III).

| 44. | Som beskrevet nedenfor er der betydelige forskelle på evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer. Der var også andre svagheder, som er beskrevet senere i denne beretning, f.eks. koordineringsproblemer, metodologiske forskelle, problemer med timing og svagheder i forbindelse med formidling af og opfølgning på evalueringsresultater. Det afspejler fraværet af en samlet strategi for evaluering af rammeprogrammerne. |
| --- | --- |

44.

Som beskrevet nedenfor er der betydelige forskelle på evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer. Der var også andre svagheder, som er beskrevet senere i denne beretning, f.eks. koordineringsproblemer, metodologiske forskelle, problemer med timing og svagheder i forbindelse med formidling af og opfølgning på evalueringsresultater. Det afspejler fraværet af en samlet strategi for evaluering af rammeprogrammerne.

Forskelle i evalueringsdækningen og -intensiteten af de forskellige rammeprogrammer

| 45. | Rammeprogrammerne består af en række særprogrammer (og delprogrammer), som kan være meget forskellige med hensyn til formål, underliggende dynamik og budgettildeling (jf. bilag IV vedrørende 7. RP). Set under ét indebærer de specifikke bestemmelser i de forskellige rammeprogramafgørelser og finansforordningen (30) (som fastsætter, at programmer og aktiviteter, der medfører store udgifter, skal evalueres), at der siden 4. RP har været et lovgivningsmæssigt krav om evaluering af både rammeprogrammet som helhed og de fleste af de tilhørende programmer. |
| --- | --- |

45.

Rammeprogrammerne består af en række særprogrammer (og delprogrammer), som kan være meget forskellige med hensyn til formål, underliggende dynamik og budgettildeling (jf. bilag IV vedrørende 7. RP). Set under ét indebærer de specifikke bestemmelser i de forskellige rammeprogramafgørelser og finansforordningen (30) (som fastsætter, at programmer og aktiviteter, der medfører store udgifter, skal evalueres), at der siden 4. RP har været et lovgivningsmæssigt krav om evaluering af både rammeprogrammet som helhed og de fleste af de tilhørende programmer.

| 46. | Kommissionen har ikke givet en regel for, hvornår særprogrammer eller delprogrammer skal evalueres, og den har heller ikke fastsat en fælles tærskel og bestemt, at programmer over denne tærskel skal evalueres. Det har ført til uensartede fortolkninger af, hvad der skulle evalueres, og hvor detaljeret evalueringen skulle være:






  — | GD for Informationssamfundet og Medier anså IST-programmet for i sig selv at være et stort udgiftsprogram og iværksatte derfor i 2004 en fuld femårsevaluering, der blev udført sideløbende med evalueringen af rammeprogrammet som helhed. |
| --- | --- | --- |

46.

Kommissionen har ikke givet en regel for, hvornår særprogrammer eller delprogrammer skal evalueres, og den har heller ikke fastsat en fælles tærskel og bestemt, at programmer over denne tærskel skal evalueres. Det har ført til uensartede fortolkninger af, hvad der skulle evalueres, og hvor detaljeret evalueringen skulle være:

—

GD for Informationssamfundet og Medier anså IST-programmet for i sig selv at være et stort udgiftsprogram og iværksatte derfor i 2004 en fuld femårsevaluering, der blev udført sideløbende med evalueringen af rammeprogrammet som helhed.

| — | GD for Forskning iværksatte ikke systematisk en sådan vurdering på særprogramniveau, selv om flere af programmerne under dets ansvar havde budgetter af en tilsvarende størrelse. |
| --- | --- |

—

GD for Forskning iværksatte ikke systematisk en sådan vurdering på særprogramniveau, selv om flere af programmerne under dets ansvar havde budgetter af en tilsvarende størrelse.

| 47. | Det medførte, at store dele af 4. RP og 5. RP slet ikke blev evalueret i forbindelse med femårsevalueringen i 2004 (30 % af den samlede budgettildeling til 4. RP og 50 % af den samlede budgettildeling til 5. RP). Kommissionen overholdt således ikke de evalueringskrav, der er fastsat i finansforordningens artikel 27. |
| --- | --- |

47.

Det medførte, at store dele af 4. RP og 5. RP slet ikke blev evalueret i forbindelse med femårsevalueringen i 2004 (30 % af den samlede budgettildeling til 4. RP og 50 % af den samlede budgettildeling til 5. RP). Kommissionen overholdt således ikke de evalueringskrav, der er fastsat i finansforordningens artikel 27.

| 48. | Disse forskellige fortolkninger af lovgivningens minimumskrav til evaluering — og den deraf følgende utilstrækkelige evaluering af tidligere rammeprogrammer — vidner om manglende koordinering og illustrerer konsekvensen af, at Kommissionen ikke har en strategisk tilgang til evaluering af rammeprogrammerne. |
| --- | --- |

48.

Disse forskellige fortolkninger af lovgivningens minimumskrav til evaluering — og den deraf følgende utilstrækkelige evaluering af tidligere rammeprogrammer — vidner om manglende koordinering og illustrerer konsekvensen af, at Kommissionen ikke har en strategisk tilgang til evaluering af rammeprogrammerne.

Anbefalinger

49.

| 49. | »Forskningsgeneraldirektoraterne« bør hurtigst muligt udvikle og aftale en fælles evalueringsstrategi for rammeprogrammerne. Uden at udstikke alt for faste rammer bør denne strategi fastlægge en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer. Strategien bør også give vejledning i, hvordan minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, kan fastsættes, så der tages højde for de særlige forhold på de forskellige videnskabsfelter. |
| --- | --- |

»Forskningsgeneraldirektoraterne« bør hurtigst muligt udvikle og aftale en fælles evalueringsstrategi for rammeprogrammerne. Uden at udstikke alt for faste rammer bør denne strategi fastlægge en ensartet tilgang til evaluering af rammeprogrammerne og de tilhørende programmer. Strategien bør også give vejledning i, hvordan minimumsniveauet for, hvornår der skal foretages en detaljeret evaluering, kan fastsættes, så der tages højde for de særlige forhold på de forskellige videnskabsfelter.

Organisering af rammeprogramevalueringen

| 50. | Evalueringen af rammeprogrammerne skal støttes af hensigtsmæssige organisatoriske rammer, der bør være lagt med udgangspunkt i Kommissionens strategiske orientering af evalueringen. Retten undersøgte, om organisationsstrukturen sikrede, at evalueringssystemet var hensigtsmæssigt koordineret, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt. |
| --- | --- |

50.

Evalueringen af rammeprogrammerne skal støttes af hensigtsmæssige organisatoriske rammer, der bør være lagt med udgangspunkt i Kommissionens strategiske orientering af evalueringen. Retten undersøgte, om organisationsstrukturen sikrede, at evalueringssystemet var hensigtsmæssigt koordineret, at det fik de nødvendige ressourcer, og at interessenterne opfattede det som tilstrækkelig uafhængigt.

Kommissionen

Rammeprogrammerne gennemføres af flere generaldirektorater i fællesskab, mens evalueringen er decentraliseret

| 51. | I Kommissionen ligger ansvaret for at evaluere udgiftsprogrammerne hos de enkelte generaldirektorater (jf. punkt 8), og der er oprettet evalueringsenheder i alle generaldirektoraterne. Disse evalueringsenheder er ansvarlige for at planlægge, koordinere og gennemføre evalueringerne. |
| --- | --- |

51.

I Kommissionen ligger ansvaret for at evaluere udgiftsprogrammerne hos de enkelte generaldirektorater (jf. punkt 8), og der er oprettet evalueringsenheder i alle generaldirektoraterne. Disse evalueringsenheder er ansvarlige for at planlægge, koordinere og gennemføre evalueringerne.

| 52. | Fraværet af et specifikt koordinerende organ eller en enkelt enhed med ansvar for at evaluere rammeprogrammerne som helhed — såsom et fælles evalueringskontor for »forskningsgeneraldirektoraterne« — udgør en kontrast til situationen på andre politikområder. På området bistand til tredjelande er der blevet oprettet en fælles evalueringsenhed for tre generaldirektorater (GD for Udvikling, GD for Eksterne Forbindelser og EuropeAid) med ansvar for at evaluere Kommissionens udviklingsprogrammer i tredjelande (jf. punkt 42). |
| --- | --- |

52.

Fraværet af et specifikt koordinerende organ eller en enkelt enhed med ansvar for at evaluere rammeprogrammerne som helhed — såsom et fælles evalueringskontor for »forskningsgeneraldirektoraterne« — udgør en kontrast til situationen på andre politikområder. På området bistand til tredjelande er der blevet oprettet en fælles evalueringsenhed for tre generaldirektorater (GD for Udvikling, GD for Eksterne Forbindelser og EuropeAid) med ansvar for at evaluere Kommissionens udviklingsprogrammer i tredjelande (jf. punkt 42).

| 53. | GD for Forskning sørger gennem Kommissionens interne »FTU-evalueringsnet« for udveksling af viden mellem de forskellige generaldirektoraters evalueringsenheder, men har ikke autoritet til at fastsætte minimumskrav for evalueringen. Denne mekanisme har imidlertid vist sig at være utilstrækkelig til at sikre en passende koordinering af Kommissionens evaluering af rammeprogrammerne. |
| --- | --- |

53.

GD for Forskning sørger gennem Kommissionens interne »FTU-evalueringsnet« for udveksling af viden mellem de forskellige generaldirektoraters evalueringsenheder, men har ikke autoritet til at fastsætte minimumskrav for evalueringen. Denne mekanisme har imidlertid vist sig at være utilstrækkelig til at sikre en passende koordinering af Kommissionens evaluering af rammeprogrammerne.

| 54. | Kommissionen reviderede sin generelle tilgang til evaluering i 2000 og 2002 og igen i 2007 (jf. punkt 14). Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet. |
| --- | --- |

54.

Kommissionen reviderede sin generelle tilgang til evaluering i 2000 og 2002 og igen i 2007 (jf. punkt 14). Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

Kommissionens centrale tjenestegrene fastsætter standarder, men har ingen håndhævende rolle

| 55. | Kommissionens centrale tjenestegrene (især GD for Budget og Generalsekretariatet) giver råd om metodologi, fastsætter fælles standarder for Kommissionen som helhed og fører tilsyn med, hvordan generaldirektoraterne og de øvrige tjenestegrene anvender standarderne (jf. punkt 14 og 70). De kan ikke bestemme, hvordan evalueringerne skal udføres i praksis. |
| --- | --- |

55.

Kommissionens centrale tjenestegrene (især GD for Budget og Generalsekretariatet) giver råd om metodologi, fastsætter fælles standarder for Kommissionen som helhed og fører tilsyn med, hvordan generaldirektoraterne og de øvrige tjenestegrene anvender standarderne (jf. punkt 14 og 70). De kan ikke bestemme, hvordan evalueringerne skal udføres i praksis.

| 56. | I USA og Canada håndhæves standarderne af de organer, der fastsætter dem, og erfaringerne viser, at det er medvirkende til at sikre, at evalueringssystemet fungerer effektivt. I begge lande er det føderale afdelinger, der fastlægger og håndhæver de rammer, som et program i sidste ende vurderes ud fra (jf. bilag III). Systemerne har forskellig baggrund, men de bygger begge på princippet om, at evalueringssystemets udformning og dets effektivitet bør undersøges i detaljer af et andet organ end det, der står for gennemførelsen af programmet. Det samme princip finder man i nogle medlemsstater (f.eks. Frankrig (31), Spanien (32) og Tyskland (33)), hvor eksterne organer fører tilsyn med de evalueringer, der foretages af de bevilgende myndigheder, eller ligefrem selv udfører evalueringer. |
| --- | --- |

56.

I USA og Canada håndhæves standarderne af de organer, der fastsætter dem, og erfaringerne viser, at det er medvirkende til at sikre, at evalueringssystemet fungerer effektivt. I begge lande er det føderale afdelinger, der fastlægger og håndhæver de rammer, som et program i sidste ende vurderes ud fra (jf. bilag III). Systemerne har forskellig baggrund, men de bygger begge på princippet om, at evalueringssystemets udformning og dets effektivitet bør undersøges i detaljer af et andet organ end det, der står for gennemførelsen af programmet. Det samme princip finder man i nogle medlemsstater (f.eks. Frankrig (31), Spanien (32) og Tyskland (33)), hvor eksterne organer fører tilsyn med de evalueringer, der foretages af de bevilgende myndigheder, eller ligefrem selv udfører evalueringer.

Paneler

Paneler af eksterne eksperter: et krav i lovgivningen om rammeprogrammer siden 4. RP

| 57. | Siden 4. RP har alle store evalueringer af rammeprogrammerne (og det årlige tilsyn) skullet udføres af (eller med bistand fra) paneler af eksterne eksperter (jf. bilag II). Det kan være vanskeligt at finde kvalificerede eksperter til disse paneler, men de giver mulighed for at skabe gennemsigtighed og uafhængighed, lette inddragelsen af interessenter og tilføre viden om rammeprogrammerne, om evaluering og om de underliggende videnskabelige spørgsmål. |
| --- | --- |

57.

Siden 4. RP har alle store evalueringer af rammeprogrammerne (og det årlige tilsyn) skullet udføres af (eller med bistand fra) paneler af eksterne eksperter (jf. bilag II). Det kan være vanskeligt at finde kvalificerede eksperter til disse paneler, men de giver mulighed for at skabe gennemsigtighed og uafhængighed, lette inddragelsen af interessenter og tilføre viden om rammeprogrammerne, om evaluering og om de underliggende videnskabelige spørgsmål.

| 58. | Det blev bekræftet af Rettens spørgeskemaundersøgelse, som viste, at Kommissionens panelbaserede evalueringssystem efter de adspurgtes opfattelse garanterer uafhængighed (jf. figur 4). |
| --- | --- |

58.

Det blev bekræftet af Rettens spørgeskemaundersøgelse, som viste, at Kommissionens panelbaserede evalueringssystem efter de adspurgtes opfattelse garanterer uafhængighed (jf. figur 4).

Image

Svagheder i Kommissionens anvendelse af panelsystemet

| 59. | Trods den positive opfattelse påpegede både panelmedlemmer og interessenter under Rettens revision, at Kommissionens brug af paneler til evaluering af rammeprogrammerne har været kendetegnet ved følgende svagheder:






  — | Evalueringspanelerne nedsættes normalt mindre end et år før, deres rapport skal foreligge, og de holder kun et begrænset antal møder. Det gør det svært for panelmedlemmerne at få indflydelse på fastlæggelsen af, hvilke data og analyser der er nødvendige for panelets arbejde. Fordi der er tale om midlertidige ad hoc-paneler, er det desuden ikke let at kumulere viden om programmerne, og der kan ikke følges op på relevante spørgsmål over tid. Det er især en svaghed, når der (som i 7. RP) er planlagt en række store evalueringer i løbet af programmeringsperioden (jf. bilag II). Det udgør desuden en kontrast til Kommissionens praksis med hensyn til de rådgivende ekspertgrupper vedrørende rammeprogrammerne, som er permanente (34). I Canada (35) nedsættes der permanente evalueringspaneler for at sikre en ensartet og sammenhængende tilgang (jf. bilag III). |
| --- | --- | --- |

59.

Trods den positive opfattelse påpegede både panelmedlemmer og interessenter under Rettens revision, at Kommissionens brug af paneler til evaluering af rammeprogrammerne har været kendetegnet ved følgende svagheder:

—

Evalueringspanelerne nedsættes normalt mindre end et år før, deres rapport skal foreligge, og de holder kun et begrænset antal møder. Det gør det svært for panelmedlemmerne at få indflydelse på fastlæggelsen af, hvilke data og analyser der er nødvendige for panelets arbejde. Fordi der er tale om midlertidige ad hoc-paneler, er det desuden ikke let at kumulere viden om programmerne, og der kan ikke følges op på relevante spørgsmål over tid. Det er især en svaghed, når der (som i 7. RP) er planlagt en række store evalueringer i løbet af programmeringsperioden (jf. bilag II). Det udgør desuden en kontrast til Kommissionens praksis med hensyn til de rådgivende ekspertgrupper vedrørende rammeprogrammerne, som er permanente (34). I Canada (35) nedsættes der permanente evalueringspaneler for at sikre en ensartet og sammenhængende tilgang (jf. bilag III).

| — | Når Kommissionen fastlægger panelernes referencerammer og evalueringsspørgsmål, sker det uden høring af eksterne interessenter såsom industrivirksomheder og store forskningsorganisationer, der deltager i rammeprogrammerne. 2004-tilsynspanelet fremhævede også dette problem og anførte, at potentielle brugere burde involveres i processen på et tidligt stadie (36). |
| --- | --- |

—

Når Kommissionen fastlægger panelernes referencerammer og evalueringsspørgsmål, sker det uden høring af eksterne interessenter såsom industrivirksomheder og store forskningsorganisationer, der deltager i rammeprogrammerne. 2004-tilsynspanelet fremhævede også dette problem og anførte, at potentielle brugere burde involveres i processen på et tidligt stadie (36).

| — | Paneler fungerer på en anden måde end peer reviews. Panelernes medlemmer har ikke tid til selv at foretage evalueringer og baserer typisk deres rådgivning på data og beviser, som er stillet til rådighed fra andre kilder. På grund af den stramme tidsplan har panelerne kun haft begrænsede muligheder for at bestille yderligere undersøgelser, som var nødvendige for besvarelsen af de spørgsmål, der var fastsat i referencerammerne. Med få undtagelser havde panelerne i praksis kun oplysninger fra Kommissionen til rådighed i forbindelse med femårsevalueringerne. |
| --- | --- |

—

Paneler fungerer på en anden måde end peer reviews. Panelernes medlemmer har ikke tid til selv at foretage evalueringer og baserer typisk deres rådgivning på data og beviser, som er stillet til rådighed fra andre kilder. På grund af den stramme tidsplan har panelerne kun haft begrænsede muligheder for at bestille yderligere undersøgelser, som var nødvendige for besvarelsen af de spørgsmål, der var fastsat i referencerammerne. Med få undtagelser havde panelerne i praksis kun oplysninger fra Kommissionen til rådighed i forbindelse med femårsevalueringerne.

Ressourcer

Der er ingen øremærkede midler til evaluering af rammeprogrammerne

| 60. | Midlerne til evaluering afsættes årligt ud fra behovene i de generaldirektorater, der gennemfører rammeprogrammerne. På nuværende tidspunkt er der tale om en kombination af midler fra en fælles pulje i GD for Budget og midler fra det administrative budget i de pågældende generaldirektorater. Derudover finansieres specifikke foranstaltninger som indirekte aktioner over rammeprogrammernes operationelle budget. Det vil sige, at der ikke er afsat et beløb specifikt til evaluering. |
| --- | --- |

60.

Midlerne til evaluering afsættes årligt ud fra behovene i de generaldirektorater, der gennemfører rammeprogrammerne. På nuværende tidspunkt er der tale om en kombination af midler fra en fælles pulje i GD for Budget og midler fra det administrative budget i de pågældende generaldirektorater. Derudover finansieres specifikke foranstaltninger som indirekte aktioner over rammeprogrammernes operationelle budget. Det vil sige, at der ikke er afsat et beløb specifikt til evaluering.

| 61. | I 2006 blev det anslået, at det personale, der arbejdede med evaluering og aktivitetsbaseret forvaltning i Kommissionen som helhed, i gennemsnit udgjorde ca. 1 % af det samlede personale (37). De tilsvarende tal for tilsyns- og evalueringsaktiviteter vedrørende FTU-rammeprogrammerne i GD for Forskning og GD for Informationssamfundet og Medier var henholdsvis 1,2 % og 1,3 %. I GD for Forskning var over to tredjedele af disse personaleressourcer imidlertid tildelt de afdelinger, der havde ansvar for de operationelle programmer og ikke evalueringsenheden, og evaluering var blot én af disse ansattes mange arbejdsopgaver. |
| --- | --- |

61.

I 2006 blev det anslået, at det personale, der arbejdede med evaluering og aktivitetsbaseret forvaltning i Kommissionen som helhed, i gennemsnit udgjorde ca. 1 % af det samlede personale (37). De tilsvarende tal for tilsyns- og evalueringsaktiviteter vedrørende FTU-rammeprogrammerne i GD for Forskning og GD for Informationssamfundet og Medier var henholdsvis 1,2 % og 1,3 %. I GD for Forskning var over to tredjedele af disse personaleressourcer imidlertid tildelt de afdelinger, der havde ansvar for de operationelle programmer og ikke evalueringsenheden, og evaluering var blot én af disse ansattes mange arbejdsopgaver.

Udgifterne til evaluering af rammeprogrammerne er lavere end anbefalet af Kommissionen

| 62. | De ressourcer, der er afsat til evaluering, kan også udtrykkes som en procentdel af den samlede budgettildeling til programmet. Ifølge de tal, som Retten indhentede under sin revision, er det praksis i forbindelse med forskningsprogrammer i EU-medlemsstaterne at afsætte mellem 0,1 % og 2 % til evaluering. Af Kommissionens retningslinjer fremgår det, at 0,5 % af et programs budget bør anvendes til evaluering (38). I forbindelse med større programmer kan stordriftsbesparelser dog betyde, at en mindre del af budgettet er nok. |
| --- | --- |

62.

De ressourcer, der er afsat til evaluering, kan også udtrykkes som en procentdel af den samlede budgettildeling til programmet. Ifølge de tal, som Retten indhentede under sin revision, er det praksis i forbindelse med forskningsprogrammer i EU-medlemsstaterne at afsætte mellem 0,1 % og 2 % til evaluering. Af Kommissionens retningslinjer fremgår det, at 0,5 % af et programs budget bør anvendes til evaluering (38). I forbindelse med større programmer kan stordriftsbesparelser dog betyde, at en mindre del af budgettet er nok.

| 63. | En sammenligning af Kommissionens tal for udgifterne til evaluering i perioden 2003-2006 og de enkelte generaldirektoraters budgettildelinger viser, at det samlede gennemsnit var på ca. 0,15 %, hvilket er betragteligt lavere end Kommissionens anbefaling. En nærmere analyse af forholdene i 2006 afslører, at GD for Informationssamfundet og Medier brugte ca. fire gange så meget på evaluering som GD for Forskning set i forhold til de budgettildelinger, der vedrørte deres respektive ansvarsområder. Dertil kommer, at der i GD for Forskning kun afsættes 0,7 % årsværk for en tjenestemand på fuld tid pr. million euro på det årlige budget. Til sammenligning afsætter GD for Informationssamfundet og Medier det dobbelte. |
| --- | --- |

63.

En sammenligning af Kommissionens tal for udgifterne til evaluering i perioden 2003-2006 og de enkelte generaldirektoraters budgettildelinger viser, at det samlede gennemsnit var på ca. 0,15 %, hvilket er betragteligt lavere end Kommissionens anbefaling. En nærmere analyse af forholdene i 2006 afslører, at GD for Informationssamfundet og Medier brugte ca. fire gange så meget på evaluering som GD for Forskning set i forhold til de budgettildelinger, der vedrørte deres respektive ansvarsområder. Dertil kommer, at der i GD for Forskning kun afsættes 0,7 % årsværk for en tjenestemand på fuld tid pr. million euro på det årlige budget. Til sammenligning afsætter GD for Informationssamfundet og Medier det dobbelte.

| 64. | Som beskrevet i denne beretning har den ekstra indsats i GD for Informationssamfundet og Medier ført til en mere omfattende evaluering (jf. punkt 13 og 46), og det fremgår af den stikprøve af evalueringer, som Retten har gennemgået, at dette generaldirektorat også har anvendt bedre evalueringsmetodologier (jf. punkt 84). |
| --- | --- |

64.

Som beskrevet i denne beretning har den ekstra indsats i GD for Informationssamfundet og Medier ført til en mere omfattende evaluering (jf. punkt 13 og 46), og det fremgår af den stikprøve af evalueringer, som Retten har gennemgået, at dette generaldirektorat også har anvendt bedre evalueringsmetodologier (jf. punkt 84).

| 65. | På grundlag af data fra Kommissionen udarbejdede Retten et omkostningsoverslag, der viser, at et evalueringssystem som det, der foreslås i denne beretning, i gennemsnit ville koste under 0,4 % af budgettildelingerne til 7. RP. Det ville dække omkostningerne til paneler, bestilte undersøgelser og personale til såvel det fælles evalueringskontor som de nuværende evalueringsenheder i generaldirektoraterne samt diverse andre omkostninger (39). |
| --- | --- |

65.

På grundlag af data fra Kommissionen udarbejdede Retten et omkostningsoverslag, der viser, at et evalueringssystem som det, der foreslås i denne beretning, i gennemsnit ville koste under 0,4 % af budgettildelingerne til 7. RP. Det ville dække omkostningerne til paneler, bestilte undersøgelser og personale til såvel det fælles evalueringskontor som de nuværende evalueringsenheder i generaldirektoraterne samt diverse andre omkostninger (39).

Anbefalinger

66.

| 66. | »Forskningsgeneraldirektoraterne« bør overveje at oprette et fælles evalueringskontor som supplement til de eksisterende evalueringsenheder i de enkelte generaldirektorater. Dette kontor kunne koordinere Kommissionens evalueringsaktiviteter vedrørende rammeprogrammet som helhed, ligesom det er praksis på andre politikområder. Retten har tidligere anbefalet sådanne fælles støttefunktioner til de generaldirektorater, der gennemfører rammeprogrammerne (40), og med oprettelsen af Det Europæiske Forskningsråd og uddelegeringen af programgennemførelsen til forvaltningsorganer kan de få endnu større betydning fremover. |
| --- | --- |

»Forskningsgeneraldirektoraterne« bør overveje at oprette et fælles evalueringskontor som supplement til de eksisterende evalueringsenheder i de enkelte generaldirektorater. Dette kontor kunne koordinere Kommissionens evalueringsaktiviteter vedrørende rammeprogrammet som helhed, ligesom det er praksis på andre politikområder. Retten har tidligere anbefalet sådanne fælles støttefunktioner til de generaldirektorater, der gennemfører rammeprogrammerne (40), og med oprettelsen af Det Europæiske Forskningsråd og uddelegeringen af programgennemførelsen til forvaltningsorganer kan de få endnu større betydning fremover.

| 67. | Kommissionen bør fortsat indhente bistand fra evalueringspaneler i forbindelse med sine evalueringsaktiviteter. Den bør dog overveje, hvordan panelstrukturen kan bringes i overensstemmelse med rammeprogrammets struktur som sådan. Det kunne gøres ved at nedsætte et panel for hvert særprogram og eventuelt hvert delprogram (jf. bilag IV). Desuden bør panelerne nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden. |
| --- | --- |

67.

Kommissionen bør fortsat indhente bistand fra evalueringspaneler i forbindelse med sine evalueringsaktiviteter. Den bør dog overveje, hvordan panelstrukturen kan bringes i overensstemmelse med rammeprogrammets struktur som sådan. Det kunne gøres ved at nedsætte et panel for hvert særprogram og eventuelt hvert delprogram (jf. bilag IV). Desuden bør panelerne nedsættes så tidligt, at de kan yde effektiv støtte til Kommissionen både under og efter programmeringsperioden.

| 68. | Kommissionen bør genoverveje, hvor mange ressourcer der skal anvendes til evalueringen af rammeprogrammerne og de tilhørende programmer. |
| --- | --- |

68.

Kommissionen bør genoverveje, hvor mange ressourcer der skal anvendes til evalueringen af rammeprogrammerne og de tilhørende programmer.

Evalueringsmetodologier og -teknikker

| 69. | Det er en forudsætning for effektiv evaluering, at der anvendes velegnede metodologier og teknikker. Retten undersøgte, i hvilken udstrækning der fandtes specifikke retningslinjer for evaluering af rammeprogrammerne, om behovet for oplysninger blev analyseret ordentligt og rettidigt, og om evaluatorerne havde adgang til de relevante data. Med hensyn til de evalueringsundersøgelser, der var foretaget af (eller på vegne af) Kommissionen, undersøgte Retten, om de anvendte teknikker udgjorde et tilstrækkeligt grundlag for en besvarelse af de evalueringsspørgsmål, der var fastsat for femårsevalueringerne. Retten undersøgte også, hvordan nationale evalueringer potentielt kunne inddrages i evalueringen af rammeprogrammerne. |
| --- | --- |

69.

Det er en forudsætning for effektiv evaluering, at der anvendes velegnede metodologier og teknikker. Retten undersøgte, i hvilken udstrækning der fandtes specifikke retningslinjer for evaluering af rammeprogrammerne, om behovet for oplysninger blev analyseret ordentligt og rettidigt, og om evaluatorerne havde adgang til de relevante data. Med hensyn til de evalueringsundersøgelser, der var foretaget af (eller på vegne af) Kommissionen, undersøgte Retten, om de anvendte teknikker udgjorde et tilstrækkeligt grundlag for en besvarelse af de evalueringsspørgsmål, der var fastsat for femårsevalueringerne. Retten undersøgte også, hvordan nationale evalueringer potentielt kunne inddrages i evalueringen af rammeprogrammerne.

Anvendelse af RP-specifikke standarder og retningslinjer

| 70. | GD for Budget har i adskillige meddelelser defineret sin evalueringspolitik, fastsat regler for gennemførelsen af den og opstillet et sæt standarder, der skal anvendes i hele Kommissionen (jf. punkt 14 og 55) (41). Også på andre politikområder har de ansvarlige generaldirektorater udviklet specifikke evalueringsvejledninger (42). |
| --- | --- |

70.

GD for Budget har i adskillige meddelelser defineret sin evalueringspolitik, fastsat regler for gennemførelsen af den og opstillet et sæt standarder, der skal anvendes i hele Kommissionen (jf. punkt 14 og 55) (41). Også på andre politikområder har de ansvarlige generaldirektorater udviklet specifikke evalueringsvejledninger (42).

| 71. | Det er imidlertid ikke tilfældet med hensyn til rammeprogrammerne. Ganske vist har Kommissionen udgivet (eller finansieret) en række metodologiske vejledninger og »toolboxes« til brug i forbindelse med evalueringsaktiviteter på forskningsområdet (43), men de giver ingen specifik vejledning i, hvordan rammeprogrammerne skal evalueres, og de fastlægger ikke, hvordan Kommissionens ansatte eller eksterne eksperter skal anvende nøglebegreber eller vigtig terminologi. Det har bidraget til at skabe de problemer, der er beskrevet nedenfor. |
| --- | --- |

71.

Det er imidlertid ikke tilfældet med hensyn til rammeprogrammerne. Ganske vist har Kommissionen udgivet (eller finansieret) en række metodologiske vejledninger og »toolboxes« til brug i forbindelse med evalueringsaktiviteter på forskningsområdet (43), men de giver ingen specifik vejledning i, hvordan rammeprogrammerne skal evalueres, og de fastlægger ikke, hvordan Kommissionens ansatte eller eksterne eksperter skal anvende nøglebegreber eller vigtig terminologi. Det har bidraget til at skabe de problemer, der er beskrevet nedenfor.

Databehov og dataindsamling

Behovet for oplysninger analyseres ikke tilstrækkeligt

| 72. | »Forskningsgeneraldirektoraterne« har ikke gjort nok for at klarlægge, hvilke data der er brug for i forbindelse med evaluering og tilsyn. I stedet for at foretage en systematisk og omfattende analyse af behovet for oplysninger har Kommissionen defineret datakravene sent i programmeringsperioderne og uden at tage tilstrækkeligt hensyn til databehovet i evalueringsfasen. Spørgeskemaet om socioøkonomiske emner under 6. RP var generaldirektoraternes eneste fælles forsøg på at definere sådanne data (jf. punkt 76). Spørgeskemaet blev imidlertid først færdiggjort i 2004 (tre år efter programmeringsperiodens begyndelse), og det omhandler ikke primært programmernes videnskabelige output (intellektuelle ejendomsrettigheder, publikationer osv.), udfald og effekt, men i stedet aspekter såsom deltagernes kønsfordeling og påvirkningen af miljøet. |
| --- | --- |

72.

»Forskningsgeneraldirektoraterne« har ikke gjort nok for at klarlægge, hvilke data der er brug for i forbindelse med evaluering og tilsyn. I stedet for at foretage en systematisk og omfattende analyse af behovet for oplysninger har Kommissionen defineret datakravene sent i programmeringsperioderne og uden at tage tilstrækkeligt hensyn til databehovet i evalueringsfasen. Spørgeskemaet om socioøkonomiske emner under 6. RP var generaldirektoraternes eneste fælles forsøg på at definere sådanne data (jf. punkt 76). Spørgeskemaet blev imidlertid først færdiggjort i 2004 (tre år efter programmeringsperiodens begyndelse), og det omhandler ikke primært programmernes videnskabelige output (intellektuelle ejendomsrettigheder, publikationer osv.), udfald og effekt, men i stedet aspekter såsom deltagernes kønsfordeling og påvirkningen af miljøet.

| 73. | Vurderingen af programmerne er i høj grad afhængig af, at der foreligger tre typer data:






  — | data indsamlet på baggrund af effektivitetsindikatorer, som giver viden om, hvor langt man er kommet med opfyldelsen af programmernes mål. Det tidligere nævnte fravær af en interventionslogik betyder, at det har været svært at opstille sådanne indikatorer (jf. punkt 30). I praksis kunne de indsamlede data stort set ikke anvendes til at måle opfyldelsen af programmålene |
| --- | --- | --- |

73.

Vurderingen af programmerne er i høj grad afhængig af, at der foreligger tre typer data:

—

data indsamlet på baggrund af effektivitetsindikatorer, som giver viden om, hvor langt man er kommet med opfyldelsen af programmernes mål. Det tidligere nævnte fravær af en interventionslogik betyder, at det har været svært at opstille sådanne indikatorer (jf. punkt 30). I praksis kunne de indsamlede data stort set ikke anvendes til at måle opfyldelsen af programmålene

| — | data om programforvaltningen (indsamlet på baggrund af produktivitetsindikatorer) |
| --- | --- |

—

data om programforvaltningen (indsamlet på baggrund af produktivitetsindikatorer)

| — | data om deltagerne (såsom oplysninger om omfanget af store forskningsorganisationers deltagelse). |
| --- | --- |

—

data om deltagerne (såsom oplysninger om omfanget af store forskningsorganisationers deltagelse).

| 74. | Især de sidste to typer data burde være disponible i Kommissionen. Men på grund af problemer med Kommissionens interne it-systemer, som er kilden til de fleste data om programforvaltning og programdeltagere (44), har der i praksis været store problemer på dette punkt (45). |
| --- | --- |

74.

Især de sidste to typer data burde være disponible i Kommissionen. Men på grund af problemer med Kommissionens interne it-systemer, som er kilden til de fleste data om programforvaltning og programdeltagere (44), har der i praksis været store problemer på dette punkt (45).

| 75. | Det gav store forsinkelser i forelæggelsen af artikel 173-rapporter og årlige tilsynsrapporter (op til 16 måneder for artikel 173-rapporter (46) og op til syv måneder for årlige tilsynsrapporter i perioden 2002-2005). Eftersom disse oplysninger konsekvent blev forelagt for sent, var deres anvendelighed begrænset. |
| --- | --- |

75.

Det gav store forsinkelser i forelæggelsen af artikel 173-rapporter og årlige tilsynsrapporter (op til 16 måneder for artikel 173-rapporter (46) og op til syv måneder for årlige tilsynsrapporter i perioden 2002-2005). Eftersom disse oplysninger konsekvent blev forelagt for sent, var deres anvendelighed begrænset.

Ineffektiv tilgang til at indhente evalueringsdata fra deltagerne

| 76. | Siden 5. RP har Kommissionen systematisk stillet som kontraktkrav, at deltagerne skal forelægge de data, der er nødvendige for at måle opfyldelsen af programmernes mål i form af output, udfald og effekt:






  — | Under 5. RP skulle deltagerne indsende et »teknologisk iværksættelsesprogram« sammen med en endelig rapport, når projektet var afsluttet. Disse dokumenter var ofte af dårlig kvalitet, hvis de overhovedet blev indsendt. |
| --- | --- | --- |

76.

Siden 5. RP har Kommissionen systematisk stillet som kontraktkrav, at deltagerne skal forelægge de data, der er nødvendige for at måle opfyldelsen af programmernes mål i form af output, udfald og effekt:

—

Under 5. RP skulle deltagerne indsende et »teknologisk iværksættelsesprogram« sammen med en endelig rapport, når projektet var afsluttet. Disse dokumenter var ofte af dårlig kvalitet, hvis de overhovedet blev indsendt.

| — | Under 6. RP skal deltagerne udarbejde en plan for formidling og anvendelse af viden og besvare et standardspørgeskema om socioøkonomiske emner, når de indsender deres årlige tekniske rapporter. |
| --- | --- |

—

Under 6. RP skal deltagerne udarbejde en plan for formidling og anvendelse af viden og besvare et standardspørgeskema om socioøkonomiske emner, når de indsender deres årlige tekniske rapporter.

| 77. | Disse kontraktkrav om forelæggelse af data har pålagt deltagerne unødvendige administrative byrder. For eksempel betyder det årlige spørgeskema i forbindelse med 6. RP, at der indsamles data meget oftere end nødvendigt og fra hele populationen af projekter, selv om en repræsentativ stikprøve ville have været tilstrækkelig. Det kan let føre til »evalueringstræthed«. Desuden indsamles disse data på det forkerte tidspunkt. Mange af de spørgsmål, man ønsker belyst, vedrører nemlig udviklingen på mellemlang eller lang sigt, og derfor er data, der indsamles i løbet af projektets kontraktperiode, pr. definition indsamlet for tidligt (47). Det er grunden til, at oplysningerne kun har fundet begrænset praktisk anvendelse i forbindelse med evalueringer under 5. RP og 6. RP. |
| --- | --- |

77.

Disse kontraktkrav om forelæggelse af data har pålagt deltagerne unødvendige administrative byrder. For eksempel betyder det årlige spørgeskema i forbindelse med 6. RP, at der indsamles data meget oftere end nødvendigt og fra hele populationen af projekter, selv om en repræsentativ stikprøve ville have været tilstrækkelig. Det kan let føre til »evalueringstræthed«. Desuden indsamles disse data på det forkerte tidspunkt. Mange af de spørgsmål, man ønsker belyst, vedrører nemlig udviklingen på mellemlang eller lang sigt, og derfor er data, der indsamles i løbet af projektets kontraktperiode, pr. definition indsamlet for tidligt (47). Det er grunden til, at oplysningerne kun har fundet begrænset praktisk anvendelse i forbindelse med evalueringer under 5. RP og 6. RP.

| 78. | Derimod er der ingen af de eksisterende systemer, der sørger for standardiseret indsamling af oplysninger ved (eller kort tid efter) afslutningen af et projekt. De interviewede interessenter foreslog, at der kunne indsamles oplysninger om opfyldelsen af projektmålene, de forventede (og uventede) resultater og deltagernes opfattelse af europæisk merværdi. Sådanne oplysninger kunne også danne grundlag for eksterne undersøgelser af afsluttede projekter (48). |
| --- | --- |

78.

Derimod er der ingen af de eksisterende systemer, der sørger for standardiseret indsamling af oplysninger ved (eller kort tid efter) afslutningen af et projekt. De interviewede interessenter foreslog, at der kunne indsamles oplysninger om opfyldelsen af projektmålene, de forventede (og uventede) resultater og deltagernes opfattelse af europæisk merværdi. Sådanne oplysninger kunne også danne grundlag for eksterne undersøgelser af afsluttede projekter (48).

| 79. | Kombineret med en mere omfattende anvendelse af scientometriske metoder (såsom citationsanalyse) til at vurdere projektresultaterne (jf. punkt 83) kunne disse oplysninger gøre det muligt for Kommissionen at indføre et mere resultatbaseret system til finansiering af FTU-aktioner, der medfinansieres af Fællesskabet (49). |
| --- | --- |

79.

Kombineret med en mere omfattende anvendelse af scientometriske metoder (såsom citationsanalyse) til at vurdere projektresultaterne (jf. punkt 83) kunne disse oplysninger gøre det muligt for Kommissionen at indføre et mere resultatbaseret system til finansiering af FTU-aktioner, der medfinansieres af Fællesskabet (49).

Andre datakilder anvendes ikke tilstrækkeligt

| 80. | Der gøres ikke tilstrækkelig brug af andre eksisterende datakilder i Kommissionen og medlemsstaterne (f.eks. databaser over nationale FTU-programmer og bevilgende myndigheder samt »Fællesskabets Informationstjeneste for Forskning og Udvikling« (CORDIS), som drives af Publikationskontoret under Kommissionen (50)). |
| --- | --- |

80.

Der gøres ikke tilstrækkelig brug af andre eksisterende datakilder i Kommissionen og medlemsstaterne (f.eks. databaser over nationale FTU-programmer og bevilgende myndigheder samt »Fællesskabets Informationstjeneste for Forskning og Udvikling« (CORDIS), som drives af Publikationskontoret under Kommissionen (50)).

Evalueringer foretaget af Kommissionen

Rapporter undersøgt af Retten

| 81. | Retten undersøgte 86 evalueringer foretaget af (eller på vegne af) Kommissionen siden 2000. Det drejede sig om alle de 36 evalueringer, der dannede grundlag for femårsevalueringen i 2004, og de 50 evalueringer, der er foretaget siden da. Kun 23 af disse dokumenter kan betegnes som egentlige evalueringer af rammeprogrammet og de tilhørende programmer (jf. figur 5).
  Figur 5
  Oversigt over evalueringer foretaget af (eller på vegne af) Kommissionen i løbet af perioden 2000-2006.








  Dokumenttype | Antal | Beskrivelse |
| --- | --- | --- | --- |
| Evalueringer af aktioner under rammeprogrammerne | 23 | Evalueringer






  — | baseret på anerkendte metodologier (51) |

81.

Retten undersøgte 86 evalueringer foretaget af (eller på vegne af) Kommissionen siden 2000. Det drejede sig om alle de 36 evalueringer, der dannede grundlag for femårsevalueringen i 2004, og de 50 evalueringer, der er foretaget siden da. Kun 23 af disse dokumenter kan betegnes som egentlige evalueringer af rammeprogrammet og de tilhørende programmer (jf. figur 5).

Figur 5

Oversigt over evalueringer foretaget af (eller på vegne af) Kommissionen i løbet af perioden 2000-2006.

Dokumenttype

Antal

Beskrivelse

Evalueringer af aktioner under rammeprogrammerne

23

Evalueringer

—

baseret på anerkendte metodologier (51)

| — | med specifik omtale af programmålene og opfyldelsen af disse mål. |
| --- | --- |

—

med specifik omtale af programmålene og opfyldelsen af disse mål.

Nationale konsekvensanalyser foretaget på medlemsstatsplan

12

Undersøgelser foretaget af medlemsstaterne med hovedvægt på den nationale deltagelse snarere end på opfyldelsen af programmålene.

Metodologiske undersøgelser

5

Undersøgelser bestilt af Kommissionen som støtte til udviklingen af evalueringsmetodologier.

Undersøgelser af det europæiske FTU-miljø

2

Undersøgelser, der indeholder kontekstanalyser af den europæiske forskningsverden, men ikke beskæftiger sig med rammeprogrammerne. Især er der ingen eksplicit omtale af, hvilken indvirkning rammeprogrammerne har på de nationale forsknings- og innovationssystemer.

Ikke-analytiske beskrivende og statistiske dokumenter

33

Dokumenter, der typisk beskæftiger sig med FTU-aktioner på en meget indirekte måde og ofte indeholder beskrivelser i stedet for analyser.

Andre dokumenter

11

Dokumenter, der behandler emner af generel politisk interesse uden at inddrage rammeprogrammerne.

Evalueringerne fokuserer på tilsyn, ikke på udfald og effekt

| 82. | Rettens metaanalyse af disse specifikke evalueringer giver anledning til to væsentlige bemærkninger:






  — | I mange af evalueringerne prøver man at drage konklusioner om opfyldelsen af programmålene, men konklusionerne er vagt formuleret, og læseren føler sig ikke overbevist om, at dette aspekt virkelig er blevet vurderet. Det skyldes ofte, at der slet ikke var defineret klare programmål, hvilket undergraver hele processen (jf. punkt 28). |
| --- | --- | --- |

82.

Rettens metaanalyse af disse specifikke evalueringer giver anledning til to væsentlige bemærkninger:

—

I mange af evalueringerne prøver man at drage konklusioner om opfyldelsen af programmålene, men konklusionerne er vagt formuleret, og læseren føler sig ikke overbevist om, at dette aspekt virkelig er blevet vurderet. Det skyldes ofte, at der slet ikke var defineret klare programmål, hvilket undergraver hele processen (jf. punkt 28).

| — | I stedet for at evaluere udfald og effekt af rammeprogrammerne eller de tilhørende særprogrammer (og delprogrammer) giver mange af dokumenterne blot en beskrivelse af programmerne og — i bedste fald — en vurdering af de umiddelbare projektresultater og projektforvaltningen. Disse rapporter kan ikke levere overbevisende dokumentation for udfald eller effekt. |
| --- | --- |

—

I stedet for at evaluere udfald og effekt af rammeprogrammerne eller de tilhørende særprogrammer (og delprogrammer) giver mange af dokumenterne blot en beskrivelse af programmerne og — i bedste fald — en vurdering af de umiddelbare projektresultater og projektforvaltningen. Disse rapporter kan ikke levere overbevisende dokumentation for udfald eller effekt.

Der er ikke tilstrækkelig fokus på udvikling af innovative metodologier

| 83. | Der anvendes i overvejende grad traditionelle metodologier og -teknikker (især spørgeskemaundersøgelser, dokumentgennemgange og interviews) i de evalueringer, der blev foretaget i perioden 2000-2006 (jf. figur 6). Desuden noterede Retten sig, at der ikke (eller kun meget sjældent) anvendtes en række sofistikerede, men ikke desto mindre anerkendte, evalueringsmetodologier og -teknikker, især:






  — | scientometriske metoder (såsom citationsanalyse) (52) |
| --- | --- | --- |

83.

Der anvendes i overvejende grad traditionelle metodologier og -teknikker (især spørgeskemaundersøgelser, dokumentgennemgange og interviews) i de evalueringer, der blev foretaget i perioden 2000-2006 (jf. figur 6). Desuden noterede Retten sig, at der ikke (eller kun meget sjældent) anvendtes en række sofistikerede, men ikke desto mindre anerkendte, evalueringsmetodologier og -teknikker, især:

—

scientometriske metoder (såsom citationsanalyse) (52)

| — | kvantitative modeller (såsom omkostningsproduktivitet, omkostningseffektivitet og cost-benefit) (53) |
| --- | --- |

—

kvantitative modeller (såsom omkostningsproduktivitet, omkostningseffektivitet og cost-benefit) (53)

| — | adfærdsmodeller (som fokuserer på de involverede i en intervention og deres synsvinkel, f.eks. forskningsnetværk og ændringer i deres karakteristika over tid). |
| --- | --- |

—

adfærdsmodeller (som fokuserer på de involverede i en intervention og deres synsvinkel, f.eks. forskningsnetværk og ændringer i deres karakteristika over tid).

Image

| 84. | Kun et begrænset antal evalueringer kan siges at beskæftige sig med nogle af de metodologiske vanskeligheder, der er forbundet med at vurdere offentlig intervention i forskning (jf. bilag I):






  — | For nylig blev der afsluttet to undersøgelser om interventionslogik (54). |
| --- | --- | --- |

84.

Kun et begrænset antal evalueringer kan siges at beskæftige sig med nogle af de metodologiske vanskeligheder, der er forbundet med at vurdere offentlig intervention i forskning (jf. bilag I):

—

For nylig blev der afsluttet to undersøgelser om interventionslogik (54).

| — | Selv om et nøgleelement i konceptet om det europæiske forskningsrum er den antagelse, at det har en positiv netværkseffekt, vurderes det kun i tre evalueringer, hvordan fællesskabsfinansieringen har påvirket forskningsorganisationernes netværksadfærd på europæisk plan (55). |
| --- | --- |

—

Selv om et nøgleelement i konceptet om det europæiske forskningsrum er den antagelse, at det har en positiv netværkseffekt, vurderes det kun i tre evalueringer, hvordan fællesskabsfinansieringen har påvirket forskningsorganisationernes netværksadfærd på europæisk plan (55).

| — | Kun i ét tilfælde gøres der et forsøg på at drage konklusioner om effekten på programniveau (eller delprogramniveau) ved at kombinere de aggregerede evalueringsanalyser på projektniveau med andre evalueringsteknikker (56). |
| --- | --- |

—

Kun i ét tilfælde gøres der et forsøg på at drage konklusioner om effekten på programniveau (eller delprogramniveau) ved at kombinere de aggregerede evalueringsanalyser på projektniveau med andre evalueringsteknikker (56).

| — | Der er intet, der tyder på, at der er blevet anvendt andre metodologier såsom kontrafaktuelle tilgange (med anvendelse af kontrolgrupper). Ved at sammenligne med situationer uden intervention (eller intervention på nationalt eller regionalt plan) ville en kontrafaktuel tilgang især kunne vise, om programmerne på fællesskabsplan har merværdi. |
| --- | --- |

—

Der er intet, der tyder på, at der er blevet anvendt andre metodologier såsom kontrafaktuelle tilgange (med anvendelse af kontrolgrupper). Ved at sammenligne med situationer uden intervention (eller intervention på nationalt eller regionalt plan) ville en kontrafaktuel tilgang især kunne vise, om programmerne på fællesskabsplan har merværdi.

| 85. | Ifølge de interessenter, som Retten interviewede, kan anvendeligheden og relevansen af Kommissionens evalueringer forbedres. Det viser, at der er behov for yderligere metodologisk udvikling, så evalueringssystemet kan ændres i takt med rammeprogrammerne (jf. punkt 7) (57). |
| --- | --- |

85.

Ifølge de interessenter, som Retten interviewede, kan anvendeligheden og relevansen af Kommissionens evalueringer forbedres. Det viser, at der er behov for yderligere metodologisk udvikling, så evalueringssystemet kan ændres i takt med rammeprogrammerne (jf. punkt 7) (57).

Vigtige spørgsmål i femårsevalueringerne kunne ikke behandles på grundlag af Kommissionens specifikke evalueringer

| 86. | De nævnte problemer betød også, at det panel, der foretog femårsevalueringen i 2004 (58), havde store vanskeligheder i forbindelse med besvarelsen af de spørgsmål, der var foreslået i referencerammerne. Mange af disse vigtige spørgsmål kunne slet ikke behandles, fordi Kommissionen ikke allerede havde foretaget (eller ladet foretage) undersøgelser, og fordi panelets medlemmer ikke havde mulighed for at bestille sådanne undersøgelser i rette tid (jf. figur 7).
  Figur 7
  Behandlingen af evalueringsspørgsmål i femårsevalueringen fra 2004 | Evalueringsspørgsmål | Behandlet i rapporten? |
| --- | --- | --- | --- |
| GENNEMFØRELSE | Blev aktionerne gennemført på en produktiv måde? | delvis |
| Var aktionerne omkostningseffektive? | delvis |
| Var de valgte aktioner de bedst egnede til at nå målene? | nej |
| Var de overordnede retlige rammer (herunder reglerne for deltagelse og kontrakter), de politiske instrumenter og gennemførelsesbestemmelserne klare, hensigtsmæssige og effektive? | nej |
| Var der tilstrækkelige finansielle midler og andre ressourcer til rådighed? | nej |
| Var de relevante industri- og forskningsmiljøer, herunder SMV’er, i stand til at reagere hensigtsmæssigt? | ja |
| RESULTATER | Blev aktionernes mål nået, og i hvilket omfang var der uventede resultater? | nej |
| Hvad er de væsentligste resultater, især i form af videnskabelige, teknologiske, socioøkonomiske og miljømæssige output, i form af internationalt samarbejde, videnoverførsel og innovation, standardforberedende foranstaltninger, adgang til samt formidling og anvendelse af forskning, udvikling af menneskelige ressourcer, mobilitet og uddannelse, og i form af støtte til og fremme af forskningskoordinering? | nej |
| Var resultaterne og deres effekt generelt tilfredsstillende for de direkte eller indirekte modtagere og interessenter? | nej |
| Blev de relevante industri- og forskningsmiljøer, herunder SMV’er, involveret? | nej |
| Hvordan og i hvilket omfang har aktionerne bidraget til at forbedre EU’s forskningsmæssige konkurrenceevne på internationalt plan? Er EU’s forskning blevet førende på specifikke områder? | delvis |
| Hvordan og i hvilket omfang har aktionerne bidraget til EU’s politikker generelt og til EU’s strategi for bæredygtig udvikling? | nej |
| Er der tegn på en strukturel ændring som følge af Fællesskabets forskningsaktioner, især med hensyn til forskningsnetværk, -integrering og -koordinering på nationalt eller internationalt plan? | nej |
| Gav programmerne valuta for pengene? Har aktionerne haft varig effekt? | nej |
| UDVIKLING OG FREMTIDSPERSPEKTIVER | Hvordan udviklede rammeprogrammerne sig for så vidt angår rationale, mål, udvalgte temaer, balance mellem bottom-up- og top-down-prioriteter og mellem grundforskning og anvendt forskning, instrumenter, europæisk merværdi og andre virkninger, idet der især tages hensyn til oprettelsen af det europæiske forskningsrum (ERA), Lissabon-strategien og internationale benchmarks for økonomi og forskning? | ja |
| Hvordan opnåede rammeprogrammet europæisk merværdi? | ja |
| Kan der opnås europæisk merværdi ved hjælp af andre internationale eller nationale mekanismer? | nej |
| Er programmernes politiske mål, prioriteter, instrumenter og livscyklus hensigtsmæssige i fremtiden? | ja |

86.

De nævnte problemer betød også, at det panel, der foretog femårsevalueringen i 2004 (58), havde store vanskeligheder i forbindelse med besvarelsen af de spørgsmål, der var foreslået i referencerammerne. Mange af disse vigtige spørgsmål kunne slet ikke behandles, fordi Kommissionen ikke allerede havde foretaget (eller ladet foretage) undersøgelser, og fordi panelets medlemmer ikke havde mulighed for at bestille sådanne undersøgelser i rette tid (jf. figur 7).

Figur 7

Behandlingen af evalueringsspørgsmål i femårsevalueringen fra 2004

Evalueringsspørgsmål

Behandlet i rapporten?

GENNEMFØRELSE

Blev aktionerne gennemført på en produktiv måde?

delvis

Var aktionerne omkostningseffektive?

delvis

Var de valgte aktioner de bedst egnede til at nå målene?

nej

Var de overordnede retlige rammer (herunder reglerne for deltagelse og kontrakter), de politiske instrumenter og gennemførelsesbestemmelserne klare, hensigtsmæssige og effektive?

nej

Var der tilstrækkelige finansielle midler og andre ressourcer til rådighed?

nej

Var de relevante industri- og forskningsmiljøer, herunder SMV’er, i stand til at reagere hensigtsmæssigt?

ja

RESULTATER

Blev aktionernes mål nået, og i hvilket omfang var der uventede resultater?

nej

Hvad er de væsentligste resultater, især i form af videnskabelige, teknologiske, socioøkonomiske og miljømæssige output, i form af internationalt samarbejde, videnoverførsel og innovation, standardforberedende foranstaltninger, adgang til samt formidling og anvendelse af forskning, udvikling af menneskelige ressourcer, mobilitet og uddannelse, og i form af støtte til og fremme af forskningskoordinering?

nej

Var resultaterne og deres effekt generelt tilfredsstillende for de direkte eller indirekte modtagere og interessenter?

nej

Blev de relevante industri- og forskningsmiljøer, herunder SMV’er, involveret?

nej

Hvordan og i hvilket omfang har aktionerne bidraget til at forbedre EU’s forskningsmæssige konkurrenceevne på internationalt plan? Er EU’s forskning blevet førende på specifikke områder?

delvis

Hvordan og i hvilket omfang har aktionerne bidraget til EU’s politikker generelt og til EU’s strategi for bæredygtig udvikling?

nej

Er der tegn på en strukturel ændring som følge af Fællesskabets forskningsaktioner, især med hensyn til forskningsnetværk, -integrering og -koordinering på nationalt eller internationalt plan?

nej

Gav programmerne valuta for pengene? Har aktionerne haft varig effekt?

nej

UDVIKLING OG FREMTIDSPERSPEKTIVER

Hvordan udviklede rammeprogrammerne sig for så vidt angår rationale, mål, udvalgte temaer, balance mellem bottom-up- og top-down-prioriteter og mellem grundforskning og anvendt forskning, instrumenter, europæisk merværdi og andre virkninger, idet der især tages hensyn til oprettelsen af det europæiske forskningsrum (ERA), Lissabon-strategien og internationale benchmarks for økonomi og forskning?

ja

Hvordan opnåede rammeprogrammet europæisk merværdi?

ja

Kan der opnås europæisk merværdi ved hjælp af andre internationale eller nationale mekanismer?

nej

Er programmernes politiske mål, prioriteter, instrumenter og livscyklus hensigtsmæssige i fremtiden?

ja

| 87. | Det skal desuden bemærkes, at panelets medlemmer kun var i stand til at besvare spørgsmålene i referencerammerne, når der i programmerne var defineret klare og kvantificerbare mål (f.eks. for omfanget af små og mellemstore virksomheders deltagelse). |
| --- | --- |

87.

Det skal desuden bemærkes, at panelets medlemmer kun var i stand til at besvare spørgsmålene i referencerammerne, når der i programmerne var defineret klare og kvantificerbare mål (f.eks. for omfanget af små og mellemstore virksomheders deltagelse).

Evalueringer af rammeprogrammerne foretaget på nationalt plan

| 88. | Flere medlemsstater og associerede lande foretager deres egne nationale evalueringer af rammeprogrammerne og behandler relevante og interessante spørgsmål ud fra deres egen synsvinkel (59). I de sidste otte år er der blevet udarbejdet 14 sådanne evalueringer for ni medlemsstater og ét associeret land. |
| --- | --- |

88.

Flere medlemsstater og associerede lande foretager deres egne nationale evalueringer af rammeprogrammerne og behandler relevante og interessante spørgsmål ud fra deres egen synsvinkel (59). I de sidste otte år er der blevet udarbejdet 14 sådanne evalueringer for ni medlemsstater og ét associeret land.

| 89. | Kommissionen opfordrer til, at der anvendes standardtilgange, når det er muligt, men disse nationale konsekvensanalyser er meget forskelligartede (60). Eftersom de ikke er udarbejdet efter en harmoniseret metodologi, er der begrænsede muligheder for at aggregere, kombinere eller sammenligne resultaterne. Og fordi der er tale om nationale evalueringer, kan de kun delvis give et billede af det europæiske samarbejde. |
| --- | --- |

89.

Kommissionen opfordrer til, at der anvendes standardtilgange, når det er muligt, men disse nationale konsekvensanalyser er meget forskelligartede (60). Eftersom de ikke er udarbejdet efter en harmoniseret metodologi, er der begrænsede muligheder for at aggregere, kombinere eller sammenligne resultaterne. Og fordi der er tale om nationale evalueringer, kan de kun delvis give et billede af det europæiske samarbejde.

| 90. | I 2007-grønbogen om det europæiske forskningsrum omtaler Kommissionen vigtigheden af, at der på europæisk plan foreligger nøjagtige analyser af effekten og effektiviteten af forskellige forskningsaktioner og -politikker, herunder nationale analyser og EU-analyser. Kommissionen nævner også, at den nuværende ordning ikke er velegnet til sådanne analyser, fordi de enkelte interventionsniveauer foretager evalueringer uafhængigt af hinanden (61). |
| --- | --- |

90.

I 2007-grønbogen om det europæiske forskningsrum omtaler Kommissionen vigtigheden af, at der på europæisk plan foreligger nøjagtige analyser af effekten og effektiviteten af forskellige forskningsaktioner og -politikker, herunder nationale analyser og EU-analyser. Kommissionen nævner også, at den nuværende ordning ikke er velegnet til sådanne analyser, fordi de enkelte interventionsniveauer foretager evalueringer uafhængigt af hinanden (61).

Anbefalinger

91.

| 91. | Kommissionen bør udarbejde en manual for evaluering af aktioner, der finansieres af rammeprogrammerne. Her bør Kommissionen definere nøglebegreber og vigtig terminologi og beskrive en række metodologier, som er velegnede til bestemte evalueringsaktiviteter. Manualen bør bygge på eksisterende vejledninger og »toolboxes« og ajourføres regelmæssigt. |
| --- | --- |

Kommissionen bør udarbejde en manual for evaluering af aktioner, der finansieres af rammeprogrammerne. Her bør Kommissionen definere nøglebegreber og vigtig terminologi og beskrive en række metodologier, som er velegnede til bestemte evalueringsaktiviteter. Manualen bør bygge på eksisterende vejledninger og »toolboxes« og ajourføres regelmæssigt.

| 92. | Kommissionen bør fastlægge sit behov for oplysninger, idet den sørger for at begrænse den administrative byrde, der lægges på deltagerne. |
| --- | --- |

92.

Kommissionen bør fastlægge sit behov for oplysninger, idet den sørger for at begrænse den administrative byrde, der lægges på deltagerne.

| 93. | Kommissionen bør forelægge tilsynsoplysninger om gennemførelsen af rammeprogrammerne i rette tid. Som fastsat i 7. RP's regler for deltagelse bør problemerne med Kommissionens it-systemer til forvaltning af data om programforvaltning og programdeltagere afhjælpes så hurtigt som muligt. |
| --- | --- |

93.

Kommissionen bør forelægge tilsynsoplysninger om gennemførelsen af rammeprogrammerne i rette tid. Som fastsat i 7. RP's regler for deltagelse bør problemerne med Kommissionens it-systemer til forvaltning af data om programforvaltning og programdeltagere afhjælpes så hurtigt som muligt.

| 94. | Deltagernes forpligtelse til at rapportere til Kommissionen bør begrænses væsentligt, og spørgeskemaundersøgelser bør kun foretages på stikprøvebasis. Kontraktkravet om, at der for hvert projekt skal indsendes indikatorbaserede data om dets effekt, bør erstattes af et krav om en kort selvevaluering efter projektets afslutning. |
| --- | --- |

94.

Deltagernes forpligtelse til at rapportere til Kommissionen bør begrænses væsentligt, og spørgeskemaundersøgelser bør kun foretages på stikprøvebasis. Kontraktkravet om, at der for hvert projekt skal indsendes indikatorbaserede data om dets effekt, bør erstattes af et krav om en kort selvevaluering efter projektets afslutning.

| 95. | I forbindelse med sine evalueringer bør Kommissionen i større udstrækning anvende andre eksisterende kilder til relevante data (både i Kommissionen og i medlemsstaterne). |
| --- | --- |

95.

I forbindelse med sine evalueringer bør Kommissionen i større udstrækning anvende andre eksisterende kilder til relevante data (både i Kommissionen og i medlemsstaterne).

| 96. | Kommissionen bør anvende hele den vifte af evalueringsteknikker, som er til rådighed. Desuden bør den støtte udviklingen af innovative tilgange til at afhjælpe de iboende metodologiske vanskeligheder i forbindelse med vurdering af offentlig intervention i forskning (jf. bilag I) og anvende disse tilgange i sine egne evalueringer. |
| --- | --- |

96.

Kommissionen bør anvende hele den vifte af evalueringsteknikker, som er til rådighed. Desuden bør den støtte udviklingen af innovative tilgange til at afhjælpe de iboende metodologiske vanskeligheder i forbindelse med vurdering af offentlig intervention i forskning (jf. bilag I) og anvende disse tilgange i sine egne evalueringer.

| 97. | Kommissionen bør høre medlemsstaterne om, hvordan den kan få størst muligt udbytte af de nationale evalueringer af rammeprogrammerne. |
| --- | --- |

97.

Kommissionen bør høre medlemsstaterne om, hvordan den kan få størst muligt udbytte af de nationale evalueringer af rammeprogrammerne.

Formidling og anvendelse af evalueringsresultater

| 98. | Evalueringer bør give relevante oplysninger og analyser, som kan bruges effektivt i forbindelse med programforvaltning og politikudformning. Især bør evalueringer danne udgangspunkt for den velbegrundede refleksion over styrkerne og svaghederne ved offentlig intervention, som er nødvendig, hvis der skal drages nytte af de høstede erfaringer. Retten undersøgte, om evalueringerne var timet rigtigt, om resultaterne blev meddelt og formidlet til interessenter uden for Kommissionen, og om Kommissionen tog hensyn til anbefalingerne og på den baggrund reviderede igangværende programmer (»learning programmes«). |
| --- | --- |

98.

Evalueringer bør give relevante oplysninger og analyser, som kan bruges effektivt i forbindelse med programforvaltning og politikudformning. Især bør evalueringer danne udgangspunkt for den velbegrundede refleksion over styrkerne og svaghederne ved offentlig intervention, som er nødvendig, hvis der skal drages nytte af de høstede erfaringer. Retten undersøgte, om evalueringerne var timet rigtigt, om resultaterne blev meddelt og formidlet til interessenter uden for Kommissionen, og om Kommissionen tog hensyn til anbefalingerne og på den baggrund reviderede igangværende programmer (»learning programmes«).

Evalueringerne var ikke timet efter, hvilken type oplysninger der realistisk kunne forventes at foreligge

| 99. | Retten erkender, at visse typer analyse kræver et langt perspektiv (f.eks. evaluering af udfald og socioøkonomisk effekt), og at nogle aspekter vedrører en specifik programmeringsperiode (f.eks. programmål, selv inden for et givet videnskabsfelt), mens andre ikke gør (jf. figur 8). I forbindelse med sine evalueringsaktiviteter har Kommissionen imidlertid ikke valgt en tilgang, som tager hensyn til disse tidshorisonter. |
| --- | --- |

99.

Retten erkender, at visse typer analyse kræver et langt perspektiv (f.eks. evaluering af udfald og socioøkonomisk effekt), og at nogle aspekter vedrører en specifik programmeringsperiode (f.eks. programmål, selv inden for et givet videnskabsfelt), mens andre ikke gør (jf. figur 8). I forbindelse med sine evalueringsaktiviteter har Kommissionen imidlertid ikke valgt en tilgang, som tager hensyn til disse tidshorisonter.

| 100. | I lovgivningen har det været fastsat, at Kommissionens væsentligste evalueringsaktiviteter udelukkende skulle fokusere på de fem år op til en femårsevaluering, dvs. dele af to successive programmeringsperioder. Evalueringerne har derfor næsten ikke omhandlet udfald og effekt på mellemlang og lang sigt. Femårsevalueringerne har som hovedregel haft fokus på tilsynsaspekter, kortsigtede spørgsmål vedrørende programudformning og generelle bemærkninger om rammeprogrammernes orientering. Retten glæder sig over, at der i lovgivningen om 7. RP ikke stilles krav om femårsevalueringer eller andre evalueringer, der skal dække en forud fastsat periode.
  Figur 8
  Spørgsmål vedrørende tilsyn og evaluering med forskellige tidshorisonter







  Tilsyn med program-gennemførelsen

  (løbende) | — | Spørgsmål vedrørende programforvaltning (f.eks. tid til kontrakt, tid til betaling, antal støtteberettigede forslag, antal udvalgte forslag, budgetgennemførelse, finansieringssatser) |
| --- | --- | --- | --- |

100.

I lovgivningen har det været fastsat, at Kommissionens væsentligste evalueringsaktiviteter udelukkende skulle fokusere på de fem år op til en femårsevaluering, dvs. dele af to successive programmeringsperioder. Evalueringerne har derfor næsten ikke omhandlet udfald og effekt på mellemlang og lang sigt. Femårsevalueringerne har som hovedregel haft fokus på tilsynsaspekter, kortsigtede spørgsmål vedrørende programudformning og generelle bemærkninger om rammeprogrammernes orientering. Retten glæder sig over, at der i lovgivningen om 7. RP ikke stilles krav om femårsevalueringer eller andre evalueringer, der skal dække en forud fastsat periode.

Figur 8

Spørgsmål vedrørende tilsyn og evaluering med forskellige tidshorisonter

Tilsyn med program-gennemførelsen

(løbende)

—

Spørgsmål vedrørende programforvaltning (f.eks. tid til kontrakt, tid til betaling, antal støtteberettigede forslag, antal udvalgte forslag, budgetgennemførelse, finansieringssatser)

Evaluering

Kort sigt

(tidligst efter 1-2 år)

| — | Spørgsmål vedrørende programforvaltning (f.eks. de administrative procedurers produktivitet) |
| --- | --- |

—

Spørgsmål vedrørende programforvaltning (f.eks. de administrative procedurers produktivitet)

| — | Spørgsmål vedrørende programudformning (f.eks. adgang til instrumenterne, instrumenternes fleksibilitet, hindringer for deltagelse, konsekvenser af manglende succes ved indkaldelser af forslag) |
| --- | --- |

—

Spørgsmål vedrørende programudformning (f.eks. adgang til instrumenterne, instrumenternes fleksibilitet, hindringer for deltagelse, konsekvenser af manglende succes ved indkaldelser af forslag)

| — | Analyse af deltagelsesprofilen (overvejende kvantitativ på dette stadie) |
| --- | --- |

—

Analyse af deltagelsesprofilen (overvejende kvantitativ på dette stadie)

Evaluering

Mellemlang sigt

(f.eks. efter 7 år)

| — | Spørgsmål vedrørende programudformning (f.eks. instrumenternes effektivitet) |
| --- | --- |

—

Spørgsmål vedrørende programudformning (f.eks. instrumenternes effektivitet)

| — | Analyse af deltagelsen (kombination af kvalitative og kvantitative aspekter, f.eks. analyse af forskningsnetværk, effekt på forskeradfærd) |
| --- | --- |

—

Analyse af deltagelsen (kombination af kvalitative og kvantitative aspekter, f.eks. analyse af forskningsnetværk, effekt på forskeradfærd)

| — | Analyse af projektoutput
   (62) (f.eks. publikationer, afhandlinger, patenter, licenser, prototyper, uddannede videnskabsmænd) |
| --- | --- |

—

Analyse af projektoutput
   (62) (f.eks. publikationer, afhandlinger, patenter, licenser, prototyper, uddannede videnskabsmænd)

Evaluering

Lang sigt

(f.eks. efter >10 år)

| — | Vurdering af udfald og effekt |
| --- | --- |

—

Vurdering af udfald og effekt

Kilde: Revisionsretten.

| 101. | Det er også blevet bemærket af Kommissionens eksperter, at femårsevalueringernes vurdering af rammeprogrammernes udfald og effekt er mangelfuld:






  — | Det panel, der foretog femårsevalueringen i 2004, gav udtryk for, at evalueringer bør dække og tage hensyn til både langsigtede og kortsigtede spørgsmål, og at der kunne afsættes ressourcer til mere ambitiøse langsigtede evalueringer med en mere systematisk undersøgelse af de strukturelle og socioøkonomiske spørgsmål (63). |
| --- | --- | --- |

101.

Det er også blevet bemærket af Kommissionens eksperter, at femårsevalueringernes vurdering af rammeprogrammernes udfald og effekt er mangelfuld:

—

Det panel, der foretog femårsevalueringen i 2004, gav udtryk for, at evalueringer bør dække og tage hensyn til både langsigtede og kortsigtede spørgsmål, og at der kunne afsættes ressourcer til mere ambitiøse langsigtede evalueringer med en mere systematisk undersøgelse af de strukturelle og socioøkonomiske spørgsmål (63).

| — | I en undersøgelse bestilt af GD for Forskning lød konklusionen, at den nuværende praksis for evaluering af EU-støttede FTU-aktioner (løbende tilsyn, femårsevalueringer og midtvejsevaluering) er kendetegnet ved at fokusere meget på tilsyn og mindre på konsekvensvurdering, og at det ville være nødvendigt at fastlægge en ny ramme for evaluering og tilsyn med mere vægt på vurdering af effekt end på tilsyn med output, hvis oplysninger om den socioøkonomiske effekt skulle gøres mere efterspurgt (64). |
| --- | --- |

—

I en undersøgelse bestilt af GD for Forskning lød konklusionen, at den nuværende praksis for evaluering af EU-støttede FTU-aktioner (løbende tilsyn, femårsevalueringer og midtvejsevaluering) er kendetegnet ved at fokusere meget på tilsyn og mindre på konsekvensvurdering, og at det ville være nødvendigt at fastlægge en ny ramme for evaluering og tilsyn med mere vægt på vurdering af effekt end på tilsyn med output, hvis oplysninger om den socioøkonomiske effekt skulle gøres mere efterspurgt (64).

| 102. | Spørgsmålet om timing har også betydning for de specifikke evalueringer, der stilles krav om i lovgivningen. Marimón-rapporten fra 2004, som analyserede de nye instrumenter, der var indført i 6. RP (2003-2006), skulle udarbejdes på et for tidligt tidspunkt, hvilket betød, at der ikke var ret mange (om nogen) praktiske erfaringer og empiriske beviser at bygge rapportens konklusioner på (65). |
| --- | --- |

102.

Spørgsmålet om timing har også betydning for de specifikke evalueringer, der stilles krav om i lovgivningen. Marimón-rapporten fra 2004, som analyserede de nye instrumenter, der var indført i 6. RP (2003-2006), skulle udarbejdes på et for tidligt tidspunkt, hvilket betød, at der ikke var ret mange (om nogen) praktiske erfaringer og empiriske beviser at bygge rapportens konklusioner på (65).

Meddelelse og formidling

| 103. | Kommissionen kan på eget initiativ udvikle og tilpasse de operationelle arbejdsprogrammer i korte cyklusser, forudsat at de godkendes af de relevante programudvalg. Det kunne være en mulighed for at justere programforvaltningen og omfordele budgetmidler mellem forskellige delprogrammer. Der er intet, der tyder på, at Kommissionen benytter sig af denne mulighed (jf. punkt 107). |
| --- | --- |

103.

Kommissionen kan på eget initiativ udvikle og tilpasse de operationelle arbejdsprogrammer i korte cyklusser, forudsat at de godkendes af de relevante programudvalg. Det kunne være en mulighed for at justere programforvaltningen og omfordele budgetmidler mellem forskellige delprogrammer. Der er intet, der tyder på, at Kommissionen benytter sig af denne mulighed (jf. punkt 107).

| 104. | På grund af den måde, rammeprogrammerne udformes og vedtages på, er det i øvrigt næsten umuligt for Kommissionen at foretage væsentlige ændringer, f.eks. af programmålene eller af budgetmidlernes fordeling på delprogrammerne. Kun lovgiver kan foretage sådanne ændringer i forbindelse med en revision af lovgivningen om rammeprogrammerne (en sådan finder sted i 2010 vedrørende 7. RP) eller i forbindelse med vedtagelsen af det næste rammeprogram. Derfor har der typisk stået i lovgivningen, at de store evalueringer skulle times således, at der kunne tages behørigt hensyn til resultaterne i forbindelse med politikudformningen. |
| --- | --- |

104.

På grund af den måde, rammeprogrammerne udformes og vedtages på, er det i øvrigt næsten umuligt for Kommissionen at foretage væsentlige ændringer, f.eks. af programmålene eller af budgetmidlernes fordeling på delprogrammerne. Kun lovgiver kan foretage sådanne ændringer i forbindelse med en revision af lovgivningen om rammeprogrammerne (en sådan finder sted i 2010 vedrørende 7. RP) eller i forbindelse med vedtagelsen af det næste rammeprogram. Derfor har der typisk stået i lovgivningen, at de store evalueringer skulle times således, at der kunne tages behørigt hensyn til resultaterne i forbindelse med politikudformningen.

| 105. | »Forskningsgeneraldirektoraterne« er altså selv hovedbrugere af Kommissionens evalueringer (66). Men det er også eksplicit fastsat i lovgivningen om rammeprogrammerne, at evalueringernes konklusioner skal meddeles til Europa-Parlamentet og Rådet. |
| --- | --- |

105.

»Forskningsgeneraldirektoraterne« er altså selv hovedbrugere af Kommissionens evalueringer (66). Men det er også eksplicit fastsat i lovgivningen om rammeprogrammerne, at evalueringernes konklusioner skal meddeles til Europa-Parlamentet og Rådet.

| 106. | Det fremgik imidlertid af Rettens spørgeskemaundersøgelse blandt medlemmerne af Europa-Parlamentets ITRE-udvalg og Rådets CREST-udvalg, at de fleste svarpersoner ikke følte sig tilstrækkeligt informeret om gennemførelsen og resultaterne af rammeprogrammerne (jf. figur 9) (67). |
| --- | --- |

106.

Det fremgik imidlertid af Rettens spørgeskemaundersøgelse blandt medlemmerne af Europa-Parlamentets ITRE-udvalg og Rådets CREST-udvalg, at de fleste svarpersoner ikke følte sig tilstrækkeligt informeret om gennemførelsen og resultaterne af rammeprogrammerne (jf. figur 9) (67).

Image

Opfølgning på evalueringsresultater

| 107. | I sin årlige evalueringsoversigt giver Kommissionen et resumé af evalueringsresultaterne og de foranstaltninger, der er truffet på baggrund af dem (68) Som led i sin opfølgning har Kommissionen også givet formelle svar på resultaterne og anbefalingerne i de femårsevalueringer og specifikke evalueringer, der er obligatoriske i medfør af lovgivningen, og Kommissionen har så vidt muligt truffet passende foranstaltninger for at afhjælpe de konstaterede svagheder. Den har imidlertid ikke fulgt op på mange af de andre evalueringer, som Retten har undersøgt, og der er intet, der tyder på, at disse evalueringers resultater og anbefalinger har givet anledning til ændringer i arbejdsprogrammerne. Tilsvarende fremgår det ikke af generaldirektoraternes ABB-budgetoversigter og årlige aktivitetsrapporter, i hvilket omfang de har fulgt op på evalueringsresultater. |
| --- | --- |

107.

I sin årlige evalueringsoversigt giver Kommissionen et resumé af evalueringsresultaterne og de foranstaltninger, der er truffet på baggrund af dem (68) Som led i sin opfølgning har Kommissionen også givet formelle svar på resultaterne og anbefalingerne i de femårsevalueringer og specifikke evalueringer, der er obligatoriske i medfør af lovgivningen, og Kommissionen har så vidt muligt truffet passende foranstaltninger for at afhjælpe de konstaterede svagheder. Den har imidlertid ikke fulgt op på mange af de andre evalueringer, som Retten har undersøgt, og der er intet, der tyder på, at disse evalueringers resultater og anbefalinger har givet anledning til ændringer i arbejdsprogrammerne. Tilsvarende fremgår det ikke af generaldirektoraternes ABB-budgetoversigter og årlige aktivitetsrapporter, i hvilket omfang de har fulgt op på evalueringsresultater.

Anbefalinger

108.

| 108. | Kommissionen bør fastlægge, hvilken type evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen (2008, 2010 og 2015), og definere evalueringernes omfang. Kommissionen bør også forklare, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), og hvordan de kan danne grundlag for politikbeslutninger. Kommissionen bør især præcisere, hvordan den har til hensigt at evaluere de langsigtede resultater af tidligere og nuværende rammeprogrammer, når det tages i betragtning, at der kan gå syv til ti år, før sådanne resultater er opnået (jf. figur 8). |
| --- | --- |

Kommissionen bør fastlægge, hvilken type evaluering der med rimelighed kan forventes på de tidspunkter, der er bestemt i lovgivningen (2008, 2010 og 2015), og definere evalueringernes omfang. Kommissionen bør også forklare, hvordan evalueringer kan anvendes til at tilpasse programmer (»learning programmes«), og hvordan de kan danne grundlag for politikbeslutninger. Kommissionen bør især præcisere, hvordan den har til hensigt at evaluere de langsigtede resultater af tidligere og nuværende rammeprogrammer, når det tages i betragtning, at der kan gå syv til ti år, før sådanne resultater er opnået (jf. figur 8).

| 109. | Kommissionen bør revidere sin praksis for meddelelse og formidling af evalueringsresultater for at sikre, at interessenterne får de nødvendige oplysninger. Især bør »forskningsgeneraldirektoraterne« svare formelt på alle evalueringer og så hurtigt som muligt offentliggøre evalueringerne sammen med deres svar. »Forskningsgeneraldirektoraterne« bør også beskrive deres opfølgning i ABB-budgetoversigterne og de årlige aktivitetsrapporter og gøre brug af evalueringernes anbefalinger, når de ajourfører arbejdsprogrammer og udformer fremtidige programmer. |
| --- | --- |

109.

Kommissionen bør revidere sin praksis for meddelelse og formidling af evalueringsresultater for at sikre, at interessenterne får de nødvendige oplysninger. Især bør »forskningsgeneraldirektoraterne« svare formelt på alle evalueringer og så hurtigt som muligt offentliggøre evalueringerne sammen med deres svar. »Forskningsgeneraldirektoraterne« bør også beskrive deres opfølgning i ABB-budgetoversigterne og de årlige aktivitetsrapporter og gøre brug af evalueringernes anbefalinger, når de ajourfører arbejdsprogrammer og udformer fremtidige programmer.

SAMLET KONKLUSION

| 110. | Retten erkender, at det i sagens natur er vanskeligt at evaluere FTU-programmer — især deres langsigtede resultater — og at det er svært at fastlægge den bedste praksis. |
| --- | --- |

110.

Retten erkender, at det i sagens natur er vanskeligt at evaluere FTU-programmer — især deres langsigtede resultater — og at det er svært at fastlægge den bedste praksis.

| 111. | Retten mener, at evalueringer har stor betydning for programforvaltning, planlægning af fremtidige programmer og politikudformning. Evalueringer danner også grundlag for regnskabspligt og ansvarlighed. De giver værdifulde oplysninger om de forventede (eller uventede) resultater, der er opnået, om programmålenes opfyldelse, om programmernes relevans og nytte og om programgennemførelsens produktivitet og effektivitet. Eftersom det er Europa-Parlamentet og Rådet, der træffer afgørelse om rammeprogrammernes generelle orientering, deres budget og udformningen af de tilhørende programmer, er der brug for et gennemsigtigt, troværdigt og robust evalueringssystem, som kan give disse institutioner de nødvendige oplysninger. |
| --- | --- |

111.

Retten mener, at evalueringer har stor betydning for programforvaltning, planlægning af fremtidige programmer og politikudformning. Evalueringer danner også grundlag for regnskabspligt og ansvarlighed. De giver værdifulde oplysninger om de forventede (eller uventede) resultater, der er opnået, om programmålenes opfyldelse, om programmernes relevans og nytte og om programgennemførelsens produktivitet og effektivitet. Eftersom det er Europa-Parlamentet og Rådet, der træffer afgørelse om rammeprogrammernes generelle orientering, deres budget og udformningen af de tilhørende programmer, er der brug for et gennemsigtigt, troværdigt og robust evalueringssystem, som kan give disse institutioner de nødvendige oplysninger.

| 112. | Kommissionen fastlagde en overordnet evalueringsramme i 2000 og 2002 og reviderede den i 2007. Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer i den reviderede periode, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet. |
| --- | --- |

112.

Kommissionen fastlagde en overordnet evalueringsramme i 2000 og 2002 og reviderede den i 2007. Selv om Retten ikke bemærkede en væsentlig forbedring af planlægningen, udformningen og gennemførelsen af rammeprogrammerne og de tilhørende programmer i den reviderede periode, har »forskningsgeneraldirektoraterne« generelt opfyldt de formelle krav, Kommissionen har stillet.

| 113. | I overensstemmelse med lovgivningen om rammeprogrammerne havde »forskningsgeneraldirektoraterne« et evalueringssystem på plads i den periode, som denne beretning dækker, og Kommissionen kan henvise til et stort antal evalueringer. Kendsgerningen er imidlertid, at Kommissionen har meget lidt eller slet ingen viden om opfyldelsen af programmålene og rammeprogrammernes resultater. Det skyldes, at evalueringerne generelt har fokuseret på kortsigtede spørgsmål vedrørende programgennemførelsen. Kommissionens evalueringer har derfor været af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og endda for Kommissionen selv. |
| --- | --- |

113.

I overensstemmelse med lovgivningen om rammeprogrammerne havde »forskningsgeneraldirektoraterne« et evalueringssystem på plads i den periode, som denne beretning dækker, og Kommissionen kan henvise til et stort antal evalueringer. Kendsgerningen er imidlertid, at Kommissionen har meget lidt eller slet ingen viden om opfyldelsen af programmålene og rammeprogrammernes resultater. Det skyldes, at evalueringerne generelt har fokuseret på kortsigtede spørgsmål vedrørende programgennemførelsen. Kommissionens evalueringer har derfor været af begrænset anvendelighed for de politiske beslutningstagere, interessenterne og endda for Kommissionen selv.

| 114. | Eftersom evalueringer har stor betydning for programforvaltning og politikudformning, er Kommissionen nødt til at genoverveje sin tilgang til evaluering af rammeprogrammerne og de tilhørende programmer i lyset af de nye politiske udfordringer, den øgede finansiering, den bredere orientering af Fællesskabets forskningspolitik og den nylige reform af Kommissionen. Det samme anbefalede EURAB i sin rapport fra 2007. |
| --- | --- |

114.

Eftersom evalueringer har stor betydning for programforvaltning og politikudformning, er Kommissionen nødt til at genoverveje sin tilgang til evaluering af rammeprogrammerne og de tilhørende programmer i lyset af de nye politiske udfordringer, den øgede finansiering, den bredere orientering af Fællesskabets forskningspolitik og den nylige reform af Kommissionen. Det samme anbefalede EURAB i sin rapport fra 2007.

| 115. | Retten mener, at anvendelse af en eksplicit interventionslogik i forbindelse med fremtidig programudformning under rammeprogrammerne ville give programmer med mere fokus og bedre struktur. Det ville også bidrage til at gennemføre Kommissionens politik om »bedre lovgivning«, der har til formål at skabe et lovkompleks, som er bedre udformet, enklere, mere effektivt og lettere at forstå (69). |
| --- | --- |

115.

Retten mener, at anvendelse af en eksplicit interventionslogik i forbindelse med fremtidig programudformning under rammeprogrammerne ville give programmer med mere fokus og bedre struktur. Det ville også bidrage til at gennemføre Kommissionens politik om »bedre lovgivning«, der har til formål at skabe et lovkompleks, som er bedre udformet, enklere, mere effektivt og lettere at forstå (69).

| 116. | Evalueringen af rammeprogrammerne og de tilhørende programmer ville være mere effektiv, hvis programmernes mål og indikatorer var klarere defineret fra starten, hvis »forskningsgeneraldirektoraterne« var enige om en robust, men ikke for rigid, evalueringsstrategi, og hvis der blev anvendt mere avancerede evalueringsmetodologier, herunder kvantitative tilgange. |
| --- | --- |

116.

Evalueringen af rammeprogrammerne og de tilhørende programmer ville være mere effektiv, hvis programmernes mål og indikatorer var klarere defineret fra starten, hvis »forskningsgeneraldirektoraterne« var enige om en robust, men ikke for rigid, evalueringsstrategi, og hvis der blev anvendt mere avancerede evalueringsmetodologier, herunder kvantitative tilgange.

| 117. | Retten noterede sig også en række punkter, hvor Kommissionen kunne genoverveje de eksisterende organisatoriske rammer for evalueringen af rammeprogrammerne. Det kunne være en fordel:






  — | at involvere evalueringspaneler tidligere i evalueringsprocessen, så de kunne yde bistand til Kommissionen under hele programmeringsperioden og bagefter, samt at øge specialiseringen ved at nedsætte paneler for særprogrammer og for delprogrammer, hvis det er relevant |
| --- | --- | --- |

117.

Retten noterede sig også en række punkter, hvor Kommissionen kunne genoverveje de eksisterende organisatoriske rammer for evalueringen af rammeprogrammerne. Det kunne være en fordel:

—

at involvere evalueringspaneler tidligere i evalueringsprocessen, så de kunne yde bistand til Kommissionen under hele programmeringsperioden og bagefter, samt at øge specialiseringen ved at nedsætte paneler for særprogrammer og for delprogrammer, hvis det er relevant

| — | at supplere de eksisterende GD-specifikke evalueringsenheder med et fælles evalueringskontor med ansvar for at koordinere evalueringerne af rammeprogrammerne. |
| --- | --- |

—

at supplere de eksisterende GD-specifikke evalueringsenheder med et fælles evalueringskontor med ansvar for at koordinere evalueringerne af rammeprogrammerne.

| 118. | Anbefalingerne i denne beretning bygger enten på eksisterende praksis i Kommissionen eller på international god praksis. Med hensyn til ressourcer er det klart, at indførelsen af den foreslåede tilgang til programevaluering vil kræve højere omkostninger. Retten mener imidlertid, at denne tilgang højst sandsynligt vil give en gevinst, der i hvert fald opvejer omkostningsstigningen. |
| --- | --- |

118.

Anbefalingerne i denne beretning bygger enten på eksisterende praksis i Kommissionen eller på international god praksis. Med hensyn til ressourcer er det klart, at indførelsen af den foreslåede tilgang til programevaluering vil kræve højere omkostninger. Retten mener imidlertid, at denne tilgang højst sandsynligt vil give en gevinst, der i hvert fald opvejer omkostningsstigningen.

Vedtaget af Revisionsretten i Luxembourg på mødet den 22. november 2007.

På Revisionsrettens vegne

Hubert WEBER

Formand

---

(1)  Ifølge OECD kan forskning og udvikling defineres som kreativt arbejde, der udføres systematisk med det formål at opnå mere viden, herunder viden om mennesket, kultur og samfund, og anvendelse af denne viden til at udforme nye arbejdsredskaber (jf. OECD’s »Frascati Manual — Proposed standard practice for surveys on research and experimental development«, Paris, 2002, s. 30). I fællesskabssammenhæng anvendes forkortelsen FTU, der omfatter teknologi såvel som forskning og udvikling.

1

(2)  GD for Forskning har hovedansvaret for at forvalte og koordinere rammeprogrammerne. Yderligere fem GD’er forvalter (dele af) særprogrammer. Det vigtigste af disse er GD for Informationssamfundet og Medier (og de sidste fire er GD for Energi og Transport, GD for Erhvervs- og Virksomhedspolitik, GD for Fiskeri og Maritime Anliggender samt Det Fælles Forskningscenter).

2

(3)  På Det Europæiske Råds møde i Lissabon i 2000 blev det sat som mål, at EU i 2010 skulle være den mest konkurrencedygtige og dynamiske videnbaserede økonomi i verden med fuld beskæftigelse og større økonomisk og social samhørighed.

3

(4)  I 2002 vedtog Det Europæiske Råd, at de samlede udgifter til FTU og innovation i Den Europæiske Union skulle øges, så de i 2010 når op på 3 % af BNP. Det blev desuden fastsat, at to tredjedele af denne nye investering burde komme fra den private sektor (jf. »Investering i forskning: en handlingsplan for Europa«, meddelelse fra Kommissionen til Rådet, Europa-Parlamentet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget (KOM(2003) 226 endelig, s. 7).

4

(5)  I forbindelse med direkte forvaltning udfører Kommissionen selv de handlinger, der er nødvendige for gennemførelsen af budgettet, uden involvering af de medlemsstater eller tredjelande, hvor støttemodtagerne bor.

5

(6)  I 2006 havde over 22 000 offentlige og private juridiske enheder deltaget i 6. RP alene, normalt i konsortier bestående af flere partnere.

6

(7)  Denne koordineringsmetode bygger på princippet om frivilligt mellemstatsligt samarbejde. Den har især fokus på, at medlemsstaterne skal lære af hinanden, fastsætte benchmarks og udveksle bedste praksis.

7

(8)  Rådets forordning (EF, Euratom) nr. 1605/2002 af 25. juni 2002 (EFT L 248 af 16.9.2002, s. 1), artikel 27, 48, 59 og 60.

8

(9)  Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007). Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Michaele Schreyer: »Focus on Results: Strengthening Evaluation of Commission Activities« (SEC(2000) 1051 af 26.7.2000).

9

(10)  Europa-Parlamentets og Rådets afgørelse nr. 1982/2006/EF af 18. december 2006 om Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013) (EUT L 412 af 30.12.2006, s. 1), artikel 7, stk. 1. Det er fastsat i de specifikke programbeslutninger, hvilke tilsynsoplysninger Kommissionen skal forelægge for programudvalgene (jf. f.eks. Rådets beslutning 2006/971/EF af 19. december 2006 om særprogrammet »Samarbejde« til gennemførelse af Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013) (EUT L 400 af 30.12.2006, s. 86), artikel 8, stk. 4, og bilag V).

10

(11)  Europa-Kommissionen: Meddelelse til Rådet om Fællesskabets handlingsplan for evaluering af EF’s forsknings- og udviklingsaktiviteter i årene 1987-1991 (KOM(86) 660 endelig af 20.11.1986). Denne meddelelse var en reaktion på Rådets resolution af 28. juni 1983.

11

(12)  Europa-Kommissionen: »Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996«, rapport fra det uafhængige ekspertpanel under forsæde af Viscount Davignon (1997). Europa-Kommissionen: »Femårsevaluering af Den Europæiske Unions programmer for forskning og teknologisk udvikling, 1995-1999«, rapport fra det uafhængige ekspertpanel under forsæde af Joan Majó (juli 2000). Europa-Kommissionen: »Five-year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004).

12

(13)  Europa-Kommissionen: »Evaluation of the effectiveness of the New Instruments of Framework Programme VI« af 21.6.2004. Rapport fra et ekspertpanel under ledelse af professor Ramon Marimón.

13

(14)  Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Michaele Schreyer: »Focus on Results: Strengthening Evaluation of Commission Activities« (SEC(2000) 1051 af 26.7.2000). Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002).

14

(15)  Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007).

15

(16)  Europa-Kommissionens arbejdsdokument: »FP7 Impact assessment and ex-ante evaluation«, (SEC(2005) 430).

16

(17)  Europa-Parlamentets udvalg for »Industri, Forskning og Energi« (ITRE-udvalget) beskæftiger sig (især) med industripolitik, forskningspolitik (herunder formidling og udnyttelse af forskningsresultater), rumfartspolitik, Det Fælles Forskningscenters aktiviteter, Euratom-traktaten samt informationssamfundet og informationsteknologi.

17

(18)  CREST-udvalget (»Comité de la Recherche Scientifique et Technique« — Udvalget for Videnskabelig og Teknisk Forskning) blev oprettet ved en rådsresolution af 14.1.1974 og består af repræsentanter for de nationale myndigheder, der har ansvaret for medlemsstaternes videnskabs- og teknologipolitik. CREST-udvalget er et rådgivende organ for Kommissionen og Rådet, især i spørgsmål vedrørende koordinering af de nationale FTU-politikker samt tilsyn med og evaluering af rammeprogrammerne.

18

(19)  Logiske modeller, der viser, hvordan input i de forskellige aktioner fører til de forventede resultater, er de mest velegnede til at illustrere interventionslogik. I disse modeller kan det tydeligt forklares, hvilke antagelser der ligger til grund for den måde, hvorpå et program er udformet, og den måde, hvorpå de overordnede mål opdeles i operationelle mål.

19

(20)  Europa-Kommissionen, GD for Budget: »Evaluating EU activities: a practical guide for the Commission services«, juli 2004, s. 87 og 106.

20

(21)  Europa-Kommissionen: »Five year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra panelet af uafhængige eksperter under forsæde af Erkki Ormala (15.12.2004), afsnit 6: »Evaluating the Framework Programme«, s. 19.

21

(22)  Tredjelande, der modtager bistand, skal fremlægge logiske modeller for finansieringen fra Fællesskabet (Europa-Kommissionen: »Aid delivery methods, Volume 1, Project cycle management guidelines», marts 2004, afsnit 5:« The logical framework approach«).

22

(23)  Forordning (EF, Euratom) nr. 1605/2002, artikel 27, stk. 3.

23

(24)  I 2006 blev strukturen for politikområde 08, »Forskning«, opstillet på grundlag af særprogrammerne (og delprogrammerne) i programmeringsperioden for 6. RP (og derfor erstattet af en anden struktur i 2007), mens det aktuelle og det foregående særprogram blev samlet til én ABB-aktivitet på politikområde 09, »Informationssamfundet« (Europa-Kommissionen, GD for Forskning, Direktorat A — Koordinering af Fællesskabets aktiviteter, Planlægning, programmering, evaluering: Årlig forvaltningsplan for 2006 af 20.12.2005; Europa-Kommissionen, GD for Informationssamfundet og Medier: Årlig forvaltningsplan for 2006 af 23.12.2005).

24

(25)  GD for Forskning ændrede ABM-målene (og de indikatorer, der blev brugt til at måle opfyldelsen af dem) fra år til år. GD for Informationssamfundet og Medier fastsatte flerårige mål, men de var til gengæld ikke identiske med programmålene (eller de mål, der var angivet i arbejdsprogrammet).

25

(26)  Europa-Kommissionen, Den Interne Revisionstjeneste: »Review of effectiveness and efficiency of the SPP/ABM cycle — SG & DG Budget, 2005«, punkt 4.1, s. 31.

26

(27)  Europa-Kommissionen: »Meddelelse fra Kommissionen til Rådet om en fælles handlingsplan for evaluering af Fællesskabets forsknings- og udviklingsprogrammer« (KOM(83) 1 endelig af 19.1.1983).

27

(28)  Meddelelse fra Kommissionen til Rådet og Europa-Parlamentet: »Uafhængig ekstern overvågning og evaluering af Fællesskabets indsats inden for forskning og teknologisk udvikling« (KOM(1996) 220 endelig af 22.5.1996).

28

(29)  De generaldirektorater, der gennemfører rammeprogrammerne, dokumenterer deres planlagte evalueringer i de årlige (og flerårige) evalueringsplaner. Disse planlægningsdokumenter kan imidlertid ikke siges at udgøre en egentlig evalueringsstrategi.

29

(30)  Forordning (EF, Euratom) nr. 1605/2002, artikel 27, stk. 4.

30

(31)  »Loi de programme pour la recherche no 2006-450« af 18.4.2006 og »Décret no 2006-1334 relatif à l’organisation et au fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES)« af 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva under Ministerio de Educación y Ciencia: Bekendtgørelse ECI/1252/2005 af 4.5.2005 om oprettelse af Comisión Asesora de Evaluación y Prospectiva (rådgivende evaluerings- og planlægningsudvalg).

32

(33)  I 2004 oprettede Deutsche Forschungsgemeinschaft (DFG) et specialinstitut, Institut für Forschungsinformation und Qualitätssicherung (IFQ), som fik ansvar for at udvikle og standardisere evalueringsmetodologier, foretage sikkerhedskontrol og gennemføre vurderinger af de FTU-aktioner, der finansieres af DFG.

33

(34)  Under 7. RP har Kommissionen nedsat 15 rådgivende ekspertgrupper, mens der blev nedsat 12 under 6. RP og 17 under 5. RP. Ekspertgrupperne rådgiver Kommissionen om politiske og programspecifikke spørgsmål med relation til rammeprogrammerne. Det skal dog bemærkes, at der ikke er fuld overensstemmelse mellem disse gruppers ansvarsområder og rammeprogrammernes struktur. Der er med andre ord ikke en rådgivende ekspertgruppe for hvert særprogram (eller delprogram).

34

(35)  I Canada har næsten alle afdelinger i den føderale regering nedsat permanente evalueringsudvalg, der skal føre tilsyn med evalueringssystemet. I udvalgene sidder højtstående tjenestemænd og normalt også eksterne interessenter (Social Sciences and Humanities Research Council of Canada: »Evaluation Standing Committee — Mandate and Membership«).

35

(36)  Europa-Kommissionen: »Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes«, august 2005, s. 5.

36

(37)  Europa-Kommissionen: »Planning and optimising Commission human resources to serve EU priorities« (SEC(2007) 530 af 24.4.2007).

37

(38)  Europa-Kommissionen: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002). Europa-Kommissionens arbejdsdokument: »Impact assessment and ex-ante evaluation« (SEC(2005) 430 af 6.4.2005), bilag 1, fodnote 209.

38

ex-ante

(39)  I 2007 anbefalede også Det Europæiske Rådgivende Forskningsudvalg (EURAB), at der afsættes flere ressourcer til evaluering af rammeprogrammerne (EURAB: »Recommendations on Ex-Post Impact Assessment«, juli 2007).

39

Ex-Post

(40)  Særberetning nr. 1/2004 om forvaltningen af indirekte FTU-aktioner under det femte rammeprogram (5. RP) for forskning og teknologisk udvikling (1998-2002) (EUT C 99 af 23.4.2004), punkt 116 og 122.

40

(41)  Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007). Europa-Kommissionen: Meddelelse til Kommissionen fra formanden og Michaele Schreyer: »Evaluation Standards and Good Practice« (C(2002) 5267 af 23.12.2002).

41

(42)  14 generaldirektorater har evalueringsmanualer for de politikområder og programmer, som de er ansvarlige for (Europa-Kommissionen, GD for Budget, Evaluering: »Overview of Evaluation Guides in the Commission«, oktober 2004).

42

(43)  Fahrenkrog, G. et al.: »RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies«, IPTS-JRC, 2002. PREST et al.: »Assessing the Socio-economic Impacts of the Framework Programme«, University of Manchester, 2002.

43

(44)  Kommissionen har generelt sådanne deltageroplysninger, men ofte er det ikke let at foretage en detaljeret analyse af dem, fordi dataene om en given deltager hverken findes det samme sted eller foreligger i kompatible formater. Det gør det svært at følge deltagerens involvering over tid, for eksempel for at undersøge årsagerne til manglende deltagelse, og forholdet mellem forskellige deltagere, for eksempel for at undersøge netværkseffekter (jf. punkt 84).

44

(45)  Årsberetningen for regnskabsåret 2006, tabel 2.3. Årsberetningen for regnskabsåret 2005, punkt 7.13. Årsberetningen for regnskabsåret 2004, punkt 6.8 og 6.10. Årsberetningen for regnskabsåret 2003, punkt 6.9 og 6.70. Særberetning nr. 1/2004, punkt 105-108. Udtalelse nr. 1/2006 om forslag til Europa-Parlamentets og Rådets forordning om regler for virksomheders, forskningscentres og universiteters deltagelse i foranstaltninger under syvende rammeprogram og for formidling af forskningsresultater (2007-2013) (EUT C 203 af 25.8.2006), punkt 57.

45

(46)  Traktaten om oprettelse af Det Europæiske Fællesskab, artikel 173: »I begyndelsen af hvert år forelægger Kommissionen en rapport for Europa-Parlamentet og Rådet. Denne rapport omhandler navnlig de aktiviteter, der har fundet sted det foregående år inden for forskning og teknologisk udvikling og resultatformidling, samt arbejdsprogrammet for det igangværende år.«

46

(47)  Der har ikke været noget systematisk forsøg på at indsamle data fra deltagerne efter afslutningen af projekterne, når man ser bort fra specifikke spørgeskemaundersøgelser i forbindelse med evalueringer. Anvendelsen af spørgeskemaundersøgelser vanskeliggøres af, at deltagerne ikke er juridisk forpligtet til at oplyse de analytiske data, der anmodes om. Det er de til gengæld i en række nationale FTU-programmer (f.eks. i Tyskland).

47

(48)  Særberetning nr. 1/2004, punkt 94. Udtalelse nr. 1/2006, punkt 56.

48

(49)  Årsberetningen for regnskabsåret 2006, punkt 7.33. Årsberetningen for regnskabsåret 2005, punkt 7.8 og 7.29. Udtalelse nr. 1/2006, punkt 58-61.

49

(50)  CORDIS er den eneste database, der indeholder oplysninger om forslag, projekter og resultater vedrørende hele rammeprogrammet, dækker flere programmeringsperioder og er tilgængelig for brugere uden for Kommissionen. Ofte bliver dataene vedrørende de enkelte projekter imidlertid ikke ajourført i CORDIS, når forslagene er blevet valgt. Til og med 6. RP var offentlige og private deltagere i rammeprogrammerne ikke forpligtede til at offentliggøre deres resultater (European Research Advisory Board (EURAB): »Scientific publication: policy on open access«, december 2006).

50

(51)  Hanne Foss Hansen: »Choosing evaluation models: A discussion on evaluation design« i Evaluation, vol. 11, nr. 4, 2005, s. 447-462.

51

Evaluation

(52)  Til og med 6. RP var offentlige og private deltagere i rammeprogrammerne ikke forpligtet til at offentliggøre deres resultater. EURAB anbefalede i december 2006, at offentliggørelse skulle gøres obligatorisk for at sikre fri offentlig adgang til fællesskabsfinansieret forskning. Det blev også foreslået, at Kommissionen skulle oprette et webbaseret arkiv for offentliggjorte projektresultater (jf. EURAB: »Scientific publication: policy on open access«, december 2006).

52

(53)  Retten bemærker dog, at der blev anvendt sådanne modeller ved udarbejdelsen af prognoser over de mikro- og makroøkonomiske virkninger af det planlagte 7. RP (jf. Europa-Kommissionen: »Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes«, august 2005, s. 23-25). Der er imidlertid intet, der tyder på, at der med udgangspunkt i denne vurdering af rammeprogrammernes potentielle økonomiske effekt er planlagt en efterfølgende evaluering.

53

(54)  GD for Informationssamfundet og Medier: »IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)«, 2005; »Networks of innovation in information society development and deployment in Europe«, 2006.

54

(55)  GD for Informationssamfundet og Medier: »ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area« (endelig rapport), 2005; »Evaluation of progress towards European Research Area for information society technologies«, 2005; »Networks of innovation in information society development and deployment in Europe«, 2006.

55

(56)  GD for Informationssamfundet og Medier: »Framework contract for Impact Assessments for research in the field of Information Society Technologies«.

56

(57)  EURAB: »Recommendations on Ex-Post Impact Assessment«, juli 2007.

57

Ex-Post

(58)  Europa-Kommissionen: »Five-year Assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004), bilag 1.

58

(59)  Europa-Kommissionen: »The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report«, 1995.

59

(60)  Europa-Kommissionen: »Design of an harmonized impact study methodology for the R&D EU Framework Programmes«, 1992.

60

(61)  Europa-Kommissionens arbejdsdokument: »The European Research Area: new perspectives«, SEC(2007) 412/2 af 4.4.2007, afsnit 3.3.3: »ERA and the implications for evidence-based monitoring and evaluation«, s. 93.

61

(62)  Det skal bemærkes, at der indgås aftaler om projekttilskud i hele programmeringsperioden, idet de første aftaler normalt træder i kraft ved udgangen af programmets første år. Disse aftaler har som oftest en varighed på tre til fem år, og de endelige output kan derfor tidligst ventes efter fire til seks år.

62

Kilde: Revisionsretten.

Kilde:

(63)  Europa-Kommissionen: »Five year assessment of the European Union Research Framework Programmes, 1999-2003«, rapport fra det uafhængige ekspertpanel under forsæde af Erkki Ormala (15.12.2004), afsnit 6: »Evaluating the Framework Programme«, s. 19.

63

(64)  Europa-Kommissionen: »Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies«, den såkaldte »EPUB Toolbox«, redigeret af Det Fælles Forskningscenter, Institute for Prospective Technological Studies og Joanneum Research (august 2002), resumé, s. 9 og 12.

64

(65)  Europa-Kommissionen: »Evaluation of the effectiveness of the New Instruments of Framework Programme VI« af 21.6.2004. Rapport fra et ekspertpanel under ledelse af professor Ramon Marimón, s. 20.

65

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France: »Study on the use of evaluation results in the Commission: Final report«, dossier nr. 1, resumé og bilag, maj 2005.

66

(67)  Den større tilfredshed hos svarpersonerne i CREST-udvalget kan skyldes, at de ofte også er medlemmer af programudvalg og derfor har en formel rolle som tilsynsførende med programgennemførelsen.

67

(68)  Europa-Kommissionens arbejdsdokument: »Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities« (SEC(2005) 587 af 28.4.2005).

68

(69)  Europa-Kommissionen, GD for Budget: Meddelelse til Kommissionen fra Dalia Grybauskaitė efter aftale med formanden: »Responding to strategic needs: reinforcing the use of evaluation« (SEC(2007) 213 af 21.2.2007), s. 4.

69

---

BILAG I

MÅLING AF EFFEKTEN OG RESULTATERNE AF OFFENTLIG INTERVENTION I FTU

Herunder beskrives nogle af de største metodologiske vanskeligheder i forbindelse med måling af effekten og resultaterne af offentlig intervention i FTU:

| — | »Tilregningsproblemer«: Tilregningsproblemer opstår i forbindelse med evalueringer og resultatmålinger. De er tæt forbundet med spørgsmålet om »additionalitet«, dvs. om de opnåede ændringer ville være sket alligevel. Tilregningen af resultater til en specifik offentlig intervention vanskeliggøres også af, at en lang række eksterne faktorer spiller ind (effekten af andre politikker eller programmer, ændringer i lovgivningen og i samfundet osv.). I forbindelse med forskning kan det desuden være en succes, at det forventede resultat ikke opnås. Sagen kompliceres yderligere af, at det af indlysende årsager er svært at give specifikke aspekter af FTU-processen eller ligefrem enkelte deltagere i en forskningsaktion æren for forskningens output — for ikke at tale om dens udfald og effekt. |
| --- | --- |

—

»Tilregningsproblemer«: Tilregningsproblemer opstår i forbindelse med evalueringer og resultatmålinger. De er tæt forbundet med spørgsmålet om »additionalitet«, dvs. om de opnåede ændringer ville være sket alligevel. Tilregningen af resultater til en specifik offentlig intervention vanskeliggøres også af, at en lang række eksterne faktorer spiller ind (effekten af andre politikker eller programmer, ændringer i lovgivningen og i samfundet osv.). I forbindelse med forskning kan det desuden være en succes, at det forventede resultat ikke opnås. Sagen kompliceres yderligere af, at det af indlysende årsager er svært at give specifikke aspekter af FTU-processen eller ligefrem enkelte deltagere i en forskningsaktion æren for forskningens output — for ikke at tale om dens udfald og effekt.

| — | »Måleproblemer«:







  — | »Datadisponibilitet«: Generelt vedrører de fleste disponible data — især de data, der indsamles via tilsynssystemer — FTU-aktionernes input og output snarere end deres udfald eller effekt. |
| --- | --- | --- |

—

»Måleproblemer«:

—

»Datadisponibilitet«: Generelt vedrører de fleste disponible data — især de data, der indsamles via tilsynssystemer — FTU-aktionernes input og output snarere end deres udfald eller effekt.

| — | »Forståelse af dynamikken«: Da det af indlysende årsager er svært at påvise årsagssammenhænge mellem input og output, er forskningsprocessens mekanismer uklare, og da der ikke foreligger en eksplicit interventionslogik, betragtes hele processen for det meste som en »lukket kasse«. |
| --- | --- |

—

»Forståelse af dynamikken«: Da det af indlysende årsager er svært at påvise årsagssammenhænge mellem input og output, er forskningsprocessens mekanismer uklare, og da der ikke foreligger en eksplicit interventionslogik, betragtes hele processen for det meste som en »lukket kasse«.

| — | »Sammenligning af resultater«: Resultater opnået på forskellige videnskabelige områder kan kun i begrænset omfang sammenlignes, så de skal generelt fortolkes i sammenhæng med de relevante særprogrammer og delprogrammer. Det er desuden sværere at evaluere grundforskningsresultater end resultater af anvendt forskning eller teknologisk udvikling. Hovedårsagen er, at grundforskning generelt består af unikke procedurer, der ikke kan gentages. Men også inden for anvendt forskning er resultaterne meget forskellige og vanskelige at sammenligne. |
| --- | --- |

—

»Sammenligning af resultater«: Resultater opnået på forskellige videnskabelige områder kan kun i begrænset omfang sammenlignes, så de skal generelt fortolkes i sammenhæng med de relevante særprogrammer og delprogrammer. Det er desuden sværere at evaluere grundforskningsresultater end resultater af anvendt forskning eller teknologisk udvikling. Hovedårsagen er, at grundforskning generelt består af unikke procedurer, der ikke kan gentages. Men også inden for anvendt forskning er resultaterne meget forskellige og vanskelige at sammenligne.

| — | »Aggregering«: Der er problemer med at drage konklusioner på baggrund af evalueringsresultater vedrørende output, udfald og effekt på lavere niveauer (f.eks. når projektresultater aggregeres, først for klynger af projekter, så for domæner inden for et program og endelig for programmet som helhed). |
| --- | --- |

—

»Aggregering«: Der er problemer med at drage konklusioner på baggrund af evalueringsresultater vedrørende output, udfald og effekt på lavere niveauer (f.eks. når projektresultater aggregeres, først for klynger af projekter, så for domæner inden for et program og endelig for programmet som helhed).

| — | »Hensigtsmæssige indikatorer«: Et andet spørgsmål er, om evaluatorerne måler det rigtige. Parametrene skal være lette at måle og svære at manipulere, og de skal tilskynde til den rigtige praksis. Det er dog ikke givet, at en »målelig« indikator for output gør det muligt at drage konklusioner om udfald eller effekt. |
| --- | --- |

—

»Hensigtsmæssige indikatorer«: Et andet spørgsmål er, om evaluatorerne måler det rigtige. Parametrene skal være lette at måle og svære at manipulere, og de skal tilskynde til den rigtige praksis. Det er dog ikke givet, at en »målelig« indikator for output gør det muligt at drage konklusioner om udfald eller effekt.

| — | »Problemer med timing«: En anden hindring består i, at der går lang tid, før forskningsaktionen genererer output og udfald, så dens effekt kan vurderes. For at kunne drage meningsfulde og robuste konklusioner er det nødvendigt at indsamle data over lang tid. Ofte tillader de politiske beslutningstageres forventninger og behov imidlertid ikke, at evalueringen strækker sig over tilstrækkelig lang tid, og det er derfor nødvendigt at finde et kompromis, hvor behovet for tidlig levering af hensyn til politikudformningen afvejes mod behovet for at vente, til effekten viser sig. |
| --- | --- |

—

»Problemer med timing«: En anden hindring består i, at der går lang tid, før forskningsaktionen genererer output og udfald, så dens effekt kan vurderes. For at kunne drage meningsfulde og robuste konklusioner er det nødvendigt at indsamle data over lang tid. Ofte tillader de politiske beslutningstageres forventninger og behov imidlertid ikke, at evalueringen strækker sig over tilstrækkelig lang tid, og det er derfor nødvendigt at finde et kompromis, hvor behovet for tidlig levering af hensyn til politikudformningen afvejes mod behovet for at vente, til effekten viser sig.

| — | »Projektillusionen«: I forbindelse med evaluering af udfaldet og effekten af de enkelte projekter i et program er det vigtigt at tage højde for det dilemma, at de teknologiske og videnskabelige resultater normalt er opnået under anvendelse af tidligere arbejde. Tilsvarende kan projektresultaterne eventuelt anvendes i forbindelse deltagernes øvrige arbejde, før de videnskabelige resultater offentliggøres og anvendes. Det er derfor ikke nødvendigvis hensigtsmæssigt blot at vurdere projekterne i sig selv, især ikke for så vidt angår udfald og effekt på længere sigt. |
| --- | --- |

—

»Projektillusionen«: I forbindelse med evaluering af udfaldet og effekten af de enkelte projekter i et program er det vigtigt at tage højde for det dilemma, at de teknologiske og videnskabelige resultater normalt er opnået under anvendelse af tidligere arbejde. Tilsvarende kan projektresultaterne eventuelt anvendes i forbindelse deltagernes øvrige arbejde, før de videnskabelige resultater offentliggøres og anvendes. Det er derfor ikke nødvendigvis hensigtsmæssigt blot at vurdere projekterne i sig selv, især ikke for så vidt angår udfald og effekt på længere sigt.

| — | »Troværdighed, integritet og uafhængighed«: En evaluerings kvalitet afhænger i høj grad af evaluatorernes kendskab til emnet, så forståelse og ekspertise skal afvejes mod uafhængighed og objektivitet. Kvaliteten afhænger også af de politiske beslutningstageres antagelser og interesser samt evalueringens rationale og formål. |
| --- | --- |

—

»Troværdighed, integritet og uafhængighed«: En evaluerings kvalitet afhænger i høj grad af evaluatorernes kendskab til emnet, så forståelse og ekspertise skal afvejes mod uafhængighed og objektivitet. Kvaliteten afhænger også af de politiske beslutningstageres antagelser og interesser samt evalueringens rationale og formål.

---

BILAG II

BESTEMMELSER OM TILSYN OG EVALUERING I DE LOVGIVNINGSMÆSSIGE AFGØRELSER FOR 4. RP TIL 7. RP

| 4. RP (1995-1998)
   (1) | 5. RP (1999-2002)
   (2) | 6. RP (2003-2006)
   (3) | 7. RP (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Rammeprogramafgørelse — Rådet og Europa-Parlamentet |
| Europa-Parlamentets og Rådets afgørelse nr. 1110/94/EF af 26. april 1994 om fjerde rammeprogram for Det Europæiske Fællesskabs indsats inden for forskning, teknologisk udvikling og demonstrationsaktioner (1994-1998): artikel 4 | Europa-Parlamentets og Rådets afgørelse nr. 182/1999/EF af 22. december 1998 om femte rammeprogram for Det Europæiske Fællesskabs indsats inden for forskning, teknologisk udvikling og demonstration (1998-2002): artikel 5 og 6 | Europa-Parlamentets og Rådets afgørelse nr. 1513/2002/EF af 27. juni 2002 om Det Europæiske Fællesskabs sjette rammeprogram for forskning, teknologisk udvikling og demonstration som bidrag til realiseringen af det europæiske forskningsrum og til innovation (2002-2006): betragtning 20, artikel 4 og 6 samt bilag III | Europa-Parlamentets og Rådets afgørelse nr. 1982/2006/EF af 18. december 2006 om Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013): artikel 7 |
| Tilsyn |
| — | Kommissionen undersøger konstant og systematisk med passende bistand fra uafhængige eksterne eksperter, hvor langt gennemførelsen er nået sammenholdt med de oprindelige mål. (Artikel 4, stk. 1) |

4. RP (1995-1998)
   (1)

5. RP (1999-2002)
   (2)

6. RP (2003-2006)
   (3)

7. RP (2007-2013)
   (4)

Rammeprogramafgørelse — Rådet og Europa-Parlamentet

Europa-Parlamentets og Rådets afgørelse nr. 1110/94/EF af 26. april 1994 om fjerde rammeprogram for Det Europæiske Fællesskabs indsats inden for forskning, teknologisk udvikling og demonstrationsaktioner (1994-1998): artikel 4

Europa-Parlamentets og Rådets afgørelse nr. 182/1999/EF af 22. december 1998 om femte rammeprogram for Det Europæiske Fællesskabs indsats inden for forskning, teknologisk udvikling og demonstration (1998-2002): artikel 5 og 6

Europa-Parlamentets og Rådets afgørelse nr. 1513/2002/EF af 27. juni 2002 om Det Europæiske Fællesskabs sjette rammeprogram for forskning, teknologisk udvikling og demonstration som bidrag til realiseringen af det europæiske forskningsrum og til innovation (2002-2006): betragtning 20, artikel 4 og 6 samt bilag III

Europa-Parlamentets og Rådets afgørelse nr. 1982/2006/EF af 18. december 2006 om Det Europæiske Fællesskabs syvende rammeprogram for forskning, teknologisk udvikling og demonstration (2007-2013): artikel 7

Tilsyn

—

Kommissionen undersøger konstant og systematisk med passende bistand fra uafhængige eksterne eksperter, hvor langt gennemførelsen er nået sammenholdt med de oprindelige mål. (Artikel 4, stk. 1)

| — | Kommissionen undersøger konstant og systematisk hvert år med bistand fra uafhængige sagkyndige eksperter, hvor langt gennemførelsen af femte rammeprogram og dets særprogrammer er nået sammenholdt med kriterierne i bilag I og de videnskabelige og teknologiske mål i bilag II. (Artikel 5, stk. 1) |
| --- | --- |

—

Kommissionen undersøger konstant og systematisk hvert år med bistand fra uafhængige sagkyndige eksperter, hvor langt gennemførelsen af femte rammeprogram og dets særprogrammer er nået sammenholdt med kriterierne i bilag I og de videnskabelige og teknologiske mål i bilag II. (Artikel 5, stk. 1)

| — | Kommissionen sørger med bistand fra uafhængige kvalificerede eksperter hvert år for en løbende og systematisk overvågning af gennemførelsen af sjette rammeprogram og de tilhørende særprogrammer. (Artikel 4 og artikel 6, stk. 1) |
| --- | --- |

—

Kommissionen sørger med bistand fra uafhængige kvalificerede eksperter hvert år for en løbende og systematisk overvågning af gennemførelsen af sjette rammeprogram og de tilhørende særprogrammer. (Artikel 4 og artikel 6, stk. 1)

| — | Kommissionen fører løbende og systematisk tilsyn med gennemførelsen af syvende rammeprogram og de tilhørende særprogrammer. (Artikel 7, stk. 1) |
| --- | --- |

—

Kommissionen fører løbende og systematisk tilsyn med gennemførelsen af syvende rammeprogram og de tilhørende særprogrammer. (Artikel 7, stk. 1)

| — | Den vurderer, om målene, prioriteringen og de finansielle midler stadig er i overensstemmelse med situationens udvikling. Hvis det ikke er tilfældet, forelægger den forslag med henblik på at tilpasse eller supplere rammeprogrammet og/eller særprogrammerne. (Artikel 5, stk. 1) |
| --- | --- |

—

Den vurderer, om målene, prioriteringen og de finansielle midler stadig er i overensstemmelse med situationens udvikling. Hvis det ikke er tilfældet, forelægger den forslag med henblik på at tilpasse eller supplere rammeprogrammet og/eller særprogrammerne. (Artikel 5, stk. 1)

| — | Alle forskningsaktiviteter vil regelmæssigt blive taget op til vurdering, og denne vil navnlig omfatte kontrol af, om forskningen er af høj kvalitet. (Bilag III, afsnit 1: Instrumenter) |
| --- | --- |

—

Alle forskningsaktiviteter vil regelmæssigt blive taget op til vurdering, og denne vil navnlig omfatte kontrol af, om forskningen er af høj kvalitet. (Bilag III, afsnit 1: Instrumenter)

| — | Den skal regelmæssigt aflægge rapport og formidle resultaterne af dette tilsyn. (Artikel 7, stk. 1) |
| --- | --- |

—

Den skal regelmæssigt aflægge rapport og formidle resultaterne af dette tilsyn. (Artikel 7, stk. 1)

Artikel 173 — Årlig rapport

| — | I forbindelse med den rapport, Kommissionen skal forelægge hvert år i henhold til traktatens artikel 173, redegør den detaljeret for fremskridt med hensyn til gennemførelsen af sjette rammeprogram, herunder navnlig fremskridt med hensyn til opfyldelse af programmets mål og prioriteringer som fastsat under de enkelte hovedlinjer i bilag I; rapporten skal også indeholde oplysninger om de finansielle aspekter og brugen af instrumenterne. (Artikel 4) |
| --- | --- |

—

I forbindelse med den rapport, Kommissionen skal forelægge hvert år i henhold til traktatens artikel 173, redegør den detaljeret for fremskridt med hensyn til gennemførelsen af sjette rammeprogram, herunder navnlig fremskridt med hensyn til opfyldelse af programmets mål og prioriteringer som fastsat under de enkelte hovedlinjer i bilag I; rapporten skal også indeholde oplysninger om de finansielle aspekter og brugen af instrumenterne. (Artikel 4)

Foreløbig vurdering

| — | Midt i det femte rammeprograms løbetid foretager Kommissionen en vurdering af udviklingen i programmet. (Artikel 6) |
| --- | --- |

—

Midt i det femte rammeprograms løbetid foretager Kommissionen en vurdering af udviklingen i programmet. (Artikel 6)

| — | Den forelægger på grundlag af evalueringerne af de forskellige særprogrammer Rådet og Europa-Parlamentet en meddelelse, eventuelt ledsaget af et forslag om tilpasning af denne afgørelse. (Artikel 6) |
| --- | --- |

—

Den forelægger på grundlag af evalueringerne af de forskellige særprogrammer Rådet og Europa-Parlamentet en meddelelse, eventuelt ledsaget af et forslag om tilpasning af denne afgørelse. (Artikel 6)

| — | Senest i 2010 gennemfører Kommissionen med bistand fra eksterne eksperter en dokumentationsbaseret foreløbig evaluering af rammeprogrammet og særprogrammerne på grundlag af ex post-evalueringen af sjette rammeprogram. Denne evaluering skal omfatte en bedømmelse af kvaliteten af den igangværende forskning og kvaliteten af gennemførelsen og forvaltningen samt de fremskridt, der er sket i forhold til de opstillede mål. (Artikel 7, stk. 2) |
| --- | --- |

—

Senest i 2010 gennemfører Kommissionen med bistand fra eksterne eksperter en dokumentationsbaseret foreløbig evaluering af rammeprogrammet og særprogrammerne på grundlag af ex post-evalueringen af sjette rammeprogram. Denne evaluering skal omfatte en bedømmelse af kvaliteten af den igangværende forskning og kvaliteten af gennemførelsen og forvaltningen samt de fremskridt, der er sket i forhold til de opstillede mål. (Artikel 7, stk. 2)

| — | Kommissionen fremsender evalueringens konklusioner med sine bemærkninger samt forslag til tilpasning af dette rammeprogram, hvis det er relevant, til Europa-Parlamentet, Rådet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget. (Artikel 7, stk. 2) |
| --- | --- |

—

Kommissionen fremsender evalueringens konklusioner med sine bemærkninger samt forslag til tilpasning af dette rammeprogram, hvis det er relevant, til Europa-Parlamentet, Rådet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget. (Artikel 7, stk. 2)

| — | Kommissionen orienterer regelmæssigt Europa-Parlamentet og Rådet om de generelle fremskridt i gennemførelsen af rammeprogrammet og særprogrammerne. (Artikel 5, stk. 4) |
| --- | --- |

—

Kommissionen orienterer regelmæssigt Europa-Parlamentet og Rådet om de generelle fremskridt i gennemførelsen af rammeprogrammet og særprogrammerne. (Artikel 5, stk. 4)

| — | Kommissionen bør regelmæssigt aflægge beretning over for Europa-Parlamentet og Rådet om status for gennemførelsen af sjette rammeprogram. (Betragtning 20) |
| --- | --- |

—

Kommissionen bør regelmæssigt aflægge beretning over for Europa-Parlamentet og Rådet om status for gennemførelsen af sjette rammeprogram. (Betragtning 20)

| — | Forud for den foreløbige evaluering udarbejdes der en statusrapport, så snart der foreligger tilstrækkelige oplysninger, med en første vurdering af effektiviteten af de nye aktioner, der er indledt under syvende rammeprogram, og de forenklingsbestræbelser, der er gjort. (Artikel 7, stk. 2) |
| --- | --- |

—

Forud for den foreløbige evaluering udarbejdes der en statusrapport, så snart der foreligger tilstrækkelige oplysninger, med en første vurdering af effektiviteten af de nye aktioner, der er indledt under syvende rammeprogram, og de forenklingsbestræbelser, der er gjort. (Artikel 7, stk. 2)

| — | Uafhængige eksperter vil i 2004 evaluere effektiviteten af disse tre instrumenttyper i forbindelse med gennemførelsen af dette rammeprogram. (Bilag III, afsnit 1: Instrumenter) |
| --- | --- |

—

Uafhængige eksperter vil i 2004 evaluere effektiviteten af disse tre instrumenttyper i forbindelse med gennemførelsen af dette rammeprogram. (Bilag III, afsnit 1: Instrumenter)

Femårsevaluering

| — | Kommissionen lader uafhængige sagkyndige eksperter foretage en ekstern evaluering af forvaltningen og gennemførelsen af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen. (Artikel 4, stk. 2) |
| --- | --- |

—

Kommissionen lader uafhængige sagkyndige eksperter foretage en ekstern evaluering af forvaltningen og gennemførelsen af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen. (Artikel 4, stk. 2)

| — | Kommissionen lader uafhængige højt kvalificerede eksperter foretage en ekstern evaluering af gennemførelsen og resultaterne af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen, på grundlag af kriterierne i bilag I og de videnskabelige og teknologiske mål i bilag II. (Artikel 5, stk. 2) |
| --- | --- |

—

Kommissionen lader uafhængige højt kvalificerede eksperter foretage en ekstern evaluering af gennemførelsen og resultaterne af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen, på grundlag af kriterierne i bilag I og de videnskabelige og teknologiske mål i bilag II. (Artikel 5, stk. 2)

| — | Kommissionen lader uafhængige højt kvalificerede eksperter foretage en ekstern evaluering af gennemførelsen og resultaterne af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen (artikel 6, stk. 2) (og af gennemførelsen af de igangsatte aktiviteter under hensyntagen til sjette rammeprograms bidrag til oprettelsen af det europæiske forskningsrum (betragtning 20)). |
| --- | --- |

—

Kommissionen lader uafhængige højt kvalificerede eksperter foretage en ekstern evaluering af gennemførelsen og resultaterne af Fællesskabets aktioner i løbet af de fem år, der går forud for evalueringen (artikel 6, stk. 2) (og af gennemførelsen af de igangsatte aktiviteter under hensyntagen til sjette rammeprograms bidrag til oprettelsen af det europæiske forskningsrum (betragtning 20)).

| — | Den meddeler resultatet af evalueringen og sine konklusioner forsynet med bemærkninger hertil til Europa-Parlamentet, Rådet og Det Økonomiske og Sociale Udvalg, inden den forelægger sit forslag til femte rammeprogram. (Artikel 4, stk. 2) |
| --- | --- |

—

Den meddeler resultatet af evalueringen og sine konklusioner forsynet med bemærkninger hertil til Europa-Parlamentet, Rådet og Det Økonomiske og Sociale Udvalg, inden den forelægger sit forslag til femte rammeprogram. (Artikel 4, stk. 2)

| — | Den meddeler konklusionerne fra evalueringen forsynet med sine bemærkninger hertil til Europa-Parlamentet, Rådet, Det Økonomiske og Sociale Udvalg og Regionsudvalget, inden den forelægger sit forslag til sjette rammeprogram. (Artikel 5, stk. 2) |
| --- | --- |

—

Den meddeler konklusionerne fra evalueringen forsynet med sine bemærkninger hertil til Europa-Parlamentet, Rådet, Det Økonomiske og Sociale Udvalg og Regionsudvalget, inden den forelægger sit forslag til sjette rammeprogram. (Artikel 5, stk. 2)

| — | Kommissionen meddeler Europa-Parlamentet, Rådet, Det Økonomiske og Sociale Udvalg og Regionsudvalget konklusionerne af evalueringen og sine bemærkninger hertil (artikel 6, stk. 2) i god tid, og inden den forelægger sit forslag til syvende rammeprogram. (Betragtning 20) |
| --- | --- |

—

Kommissionen meddeler Europa-Parlamentet, Rådet, Det Økonomiske og Sociale Udvalg og Regionsudvalget konklusionerne af evalueringen og sine bemærkninger hertil (artikel 6, stk. 2) i god tid, og inden den forelægger sit forslag til syvende rammeprogram. (Betragtning 20)

Endelig evaluering

(Se beslutninger om særprogrammer)

| — | To år efter rammeprogrammets gennemførelse (dvs. i 2015) lader Kommissionen uafhængige eksperter foretage en ekstern evaluering af programmets grundlag, gennemførelse og resultater. (Artikel 7, stk. 3) |
| --- | --- |

—

To år efter rammeprogrammets gennemførelse (dvs. i 2015) lader Kommissionen uafhængige eksperter foretage en ekstern evaluering af programmets grundlag, gennemførelse og resultater. (Artikel 7, stk. 3)

| — | Kommissionen fremsender evalueringens konklusioner med sine bemærkninger til Europa-Parlamentet, Rådet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget. (Artikel 7, stk. 3) |
| --- | --- |

—

Kommissionen fremsender evalueringens konklusioner med sine bemærkninger til Europa-Parlamentet, Rådet, Det Europæiske Økonomiske og Sociale Udvalg og Regionsudvalget. (Artikel 7, stk. 3)

Uafhængige eksperter

| — | Kommissionen tager ved udvælgelsen af uafhængige eksperter ligeligt hensyn til forskersamfundet, industrien og brugerne, og offentliggør en liste over eksperterne og deres individuelle kvalifikationer, efter at disse er udpeget. (Artikel 5, stk. 3)
  (Se flere bestemmelser om uafhængige eksperter i Rådets afgørelse 1999/65/EF, artikel 9). |
| --- | --- |

—

Kommissionen tager ved udvælgelsen af uafhængige eksperter ligeligt hensyn til forskersamfundet, industrien og brugerne, og offentliggør en liste over eksperterne og deres individuelle kvalifikationer, efter at disse er udpeget. (Artikel 5, stk. 3)

(Se flere bestemmelser om uafhængige eksperter i Rådets afgørelse 1999/65/EF, artikel 9).

| — | Kommissionen udnævner uafhængige eksperter til at bistå med de evalueringer, der skal foretages i henhold til sjette rammeprogram og særprogrammerne, samt den bistand, der er omhandlet i artikel 10, stk. 6, og artikel 18, stk. 1, andet afsnit. |
| --- | --- |

—

Kommissionen udnævner uafhængige eksperter til at bistå med de evalueringer, der skal foretages i henhold til sjette rammeprogram og særprogrammerne, samt den bistand, der er omhandlet i artikel 10, stk. 6, og artikel 18, stk. 1, andet afsnit.

| — | Derudover kan den nedsætte uafhængige ekspertgrupper, som skal rådgive den om gennemførelsen af Fællesskabets forskningspolitik. |
| --- | --- |

—

Derudover kan den nedsætte uafhængige ekspertgrupper, som skal rådgive den om gennemførelsen af Fællesskabets forskningspolitik.

| — | (Se bestemmelserne om uafhængige eksperter i forordning (EF) nr. 2321/2002, artikel 11). |
| --- | --- |

—

(Se bestemmelserne om uafhængige eksperter i forordning (EF) nr. 2321/2002, artikel 11).

Eksempel på en beslutning om et særprogram — Rådet

Rådets beslutning 94/801/EF af 23. november 1994: artikel 4

Rådets beslutning 1999/168/EF af 25. januar 1999: artikel 4 og 6

Rådets beslutning 2002/834/EF og 2002/835/EF af 30. september 2002: artikel 8

Rådets beslutning 2006/971/EF af 19. december 2006 om særprogrammet »Samarbejde«: artikel 8

Tilsyn

| — | Kommissionen undersøger løbende og systematisk, med passende bistand fra uafhængige, eksterne eksperter, hvor langt gennemførelsen af dette program er nået. (Artikel 4, stk. 1) |
| --- | --- |

—

Kommissionen undersøger løbende og systematisk, med passende bistand fra uafhængige, eksterne eksperter, hvor langt gennemførelsen af dette program er nået. (Artikel 4, stk. 1)

| — | Kommissionen skal med passende bistand fra uafhængige eksterne eksperter undersøge, hvor langt gennemførelse af særprogrammet er nået, og om nødvendigt forelægge forslag for Rådet om at tilpasse det i overensstemmelse med artikel 5, stk. 1, i femte rammeprogram. (Artikel 4, litra a)) |
| --- | --- |

—

Kommissionen skal med passende bistand fra uafhængige eksterne eksperter undersøge, hvor langt gennemførelse af særprogrammet er nået, og om nødvendigt forelægge forslag for Rådet om at tilpasse det i overensstemmelse med artikel 5, stk. 1, i femte rammeprogram. (Artikel 4, litra a))

| — | Kommissionen sørger for, at der gennemføres en uafhængig overvågning og evaluering af aktiviteterne på de områder, som særprogrammet omfatter, jf. rammeprogrammets artikel 6. (Artikel 8, stk. 2) |
| --- | --- |

—

Kommissionen sørger for, at der gennemføres en uafhængig overvågning og evaluering af aktiviteterne på de områder, som særprogrammet omfatter, jf. rammeprogrammets artikel 6. (Artikel 8, stk. 2)

| — | Kommissionen sørger for, at der føres et uafhængigt tilsyn med og foretages en uafhængig evaluering og revision af aktiviteterne på de områder, som særprogrammet omfatter, jf. rammeprogrammets artikel 7. (Artikel 9) |
| --- | --- |

—

Kommissionen sørger for, at der føres et uafhængigt tilsyn med og foretages en uafhængig evaluering og revision af aktiviteterne på de områder, som særprogrammet omfatter, jf. rammeprogrammets artikel 7. (Artikel 9)

| — | De tilsynsoplysninger, som Kommissionen i henhold til artikel 8, stk. 4, skal forelægge programudvalget, er specificeret i bilag V. |
| --- | --- |

—

De tilsynsoplysninger, som Kommissionen i henhold til artikel 8, stk. 4, skal forelægge programudvalget, er specificeret i bilag V.

Artikel 173 — Årlig rapport

| — | I overensstemmelse med artikel 4 i rammeprogrammet offentliggør Kommissionen med jævne mellemrum en rapport om, hvor langt gennemførelsen af særprogrammet er nået; rapporten skal også indeholde oplysninger om finansieringsforhold og instrumenternes anvendelse. (Artikel 8, stk. 1) |
| --- | --- |

—

I overensstemmelse med artikel 4 i rammeprogrammet offentliggør Kommissionen med jævne mellemrum en rapport om, hvor langt gennemførelsen af særprogrammet er nået; rapporten skal også indeholde oplysninger om finansieringsforhold og instrumenternes anvendelse. (Artikel 8, stk. 1)

| — | Kommissionen vil medtage de vigtigste resultater vedrørende finansieringsfaciliteten for risikodeling i den årsrapport om forskning og teknologisk udvikling, som den sender til Europa-Parlamentet og Rådet i henhold til traktatens artikel 173. (Bilag III) |
| --- | --- |

—

Kommissionen vil medtage de vigtigste resultater vedrørende finansieringsfaciliteten for risikodeling i den årsrapport om forskning og teknologisk udvikling, som den sender til Europa-Parlamentet og Rådet i henhold til traktatens artikel 173. (Bilag III)

Femårsevaluering

| — | Kommissionen lader uafhængige eksperter gennemføre en ekstern bedømmelse af den indsats, der er gjort inden for de områder, der er omfattet af dette program, og af forvaltningen heraf i de fem år, der går forud for vurderingen. (Artikel 4, stk. 2) |
| --- | --- |

—

Kommissionen lader uafhængige eksperter gennemføre en ekstern bedømmelse af den indsats, der er gjort inden for de områder, der er omfattet af dette program, og af forvaltningen heraf i de fem år, der går forud for vurderingen. (Artikel 4, stk. 2)

| — | Kommissionen skal lade den eksterne evaluering foretage, der er nævnt artikel 5, stk. 2, i femte rammeprogram, for så vidt angår de aktiviteter, der gennemføres under særprogrammet. (Artikel 4, litra b)) |
| --- | --- |

—

Kommissionen skal lade den eksterne evaluering foretage, der er nævnt artikel 5, stk. 2, i femte rammeprogram, for så vidt angår de aktiviteter, der gennemføres under særprogrammet. (Artikel 4, litra b))

Endelig evaluering

| — | Ved programmets udløb lader Kommissionen uafhængige eksperter foretage en endelig evaluering af de resultater, der er opnået, sammenholdt med målene. (Artikel 4, stk. 3) |
| --- | --- |

—

Ved programmets udløb lader Kommissionen uafhængige eksperter foretage en endelig evaluering af de resultater, der er opnået, sammenholdt med målene. (Artikel 4, stk. 3)

| — | Den endelige evalueringsrapport forelægges for Europa-Parlamentet, Rådet og Det Økonomiske og Sociale Udvalg. (Artikel 4, stk. 3) |
| --- | --- |

—

Den endelige evalueringsrapport forelægges for Europa-Parlamentet, Rådet og Det Økonomiske og Sociale Udvalg. (Artikel 4, stk. 3)

Uafhængige eksperter

| — | Kommissionen er ansvarlig for udarbejdelsen af mandatet for den eksterne evaluering, der er nævnt i artikel 5, stk. 2, i femte rammeprogram. (Artikel 6, stk. 2) |
| --- | --- |

—

Kommissionen er ansvarlig for udarbejdelsen af mandatet for den eksterne evaluering, der er nævnt i artikel 5, stk. 2, i femte rammeprogram. (Artikel 6, stk. 2)

Basisoplysninger om rammeprogrammernes struktur

| — | 4. RP (EF): 7 særprogrammer og 17 underprogrammer samt 2 klynger af aktioner. |
| --- | --- |

—

4. RP (EF): 7 særprogrammer og 17 underprogrammer samt 2 klynger af aktioner.

| — | 5. RP (EF): 7 særprogrammer, heraf 4 tematiske programmer og 3 horisontale programmer. |
| --- | --- |

—

5. RP (EF): 7 særprogrammer, heraf 4 tematiske programmer og 3 horisontale programmer.

| — | 6. RP (EF): 20 programmer, hvoraf 10 er samlet i 7 udvalgte forskningstemaer, 4 vedrører tværgående forskningsaktioner under særprogrammet »Koncentration og integration af EF's forskningsindsats«, 4 er omfattet af særprogrammet »Strukturering af det europæiske forskningsrum«, og 2 er omfattet af særprogrammet »Styrkelse af grundlaget for det europæiske forskningsrum«. |
| --- | --- |

—

6. RP (EF): 20 programmer, hvoraf 10 er samlet i 7 udvalgte forskningstemaer, 4 vedrører tværgående forskningsaktioner under særprogrammet »Koncentration og integration af EF's forskningsindsats«, 4 er omfattet af særprogrammet »Strukturering af det europæiske forskningsrum«, og 2 er omfattet af særprogrammet »Styrkelse af grundlaget for det europæiske forskningsrum«.

| — | 7. RP (EF): 24 specifikke delprogrammer, hvoraf 10 er samlet i særprogrammet »Samarbejde«, 1 vedrører særprogrammet »Idéer«, 5 er omfattet af særprogrammet »Mennesker«, og 8 er omfattet af særprogrammet »Kapacitet« (et enkelt vedrører Det Fælles Forskningscenters ikke-nukleare aktiviteter). |
| --- | --- |

—

7. RP (EF): 24 specifikke delprogrammer, hvoraf 10 er samlet i særprogrammet »Samarbejde«, 1 vedrører særprogrammet »Idéer«, 5 er omfattet af særprogrammet »Mennesker«, og 8 er omfattet af særprogrammet »Kapacitet« (et enkelt vedrører Det Fælles Forskningscenters ikke-nukleare aktiviteter).

| — | Samlet budget (EF): 11 046 millioner euro (dvs. 2 761 millioner euro pr. år) |
| --- | --- |

—

Samlet budget (EF): 11 046 millioner euro (dvs. 2 761 millioner euro pr. år)

| — | Samlet budget (EF): 13 700 millioner euro (dvs. 3 425 millioner euro pr. år, +24 %) |
| --- | --- |

—

Samlet budget (EF): 13 700 millioner euro (dvs. 3 425 millioner euro pr. år, +24 %)

| — | Samlet budget (EF): 16 270 millioner euro (dvs. 4 061 millioner euro pr. år, +19 %) Efter EU-25-udvidelsen øget til |
| --- | --- |

—

Samlet budget (EF): 16 270 millioner euro (dvs. 4 061 millioner euro pr. år, +19 %) Efter EU-25-udvidelsen øget til

| — | Samlet budget (EF): 17 883 millioner euro (dvs. 4 447 millioner euro pr. år, +10 %) |
| --- | --- |

—

Samlet budget (EF): 17 883 millioner euro (dvs. 4 447 millioner euro pr. år, +10 %)

| — | Samlet budget (EF): 50 521 millioner euro (dvs. 7 217 millioner euro pr. år, +62 %) |
| --- | --- |

—

Samlet budget (EF): 50 521 millioner euro (dvs. 7 217 millioner euro pr. år, +62 %)

| — | 7 generaldirektorater: Forskning, Informationssamfundet, Energi, Transport, Fiskeri, Landbrug, Erhverv. |
| --- | --- |

—

7 generaldirektorater: Forskning, Informationssamfundet, Energi, Transport, Fiskeri, Landbrug, Erhverv.

| — | 5 generaldirektorater: RTD, Informationssamfundet, Energi og Transport, Fiskeri, Erhverv. |
| --- | --- |

—

5 generaldirektorater: RTD, Informationssamfundet, Energi og Transport, Fiskeri, Erhverv.

| — | 4 generaldirektorater: RTD, Informationssamfundet, Energi og Transport, Erhverv. |
| --- | --- |

—

4 generaldirektorater: RTD, Informationssamfundet, Energi og Transport, Erhverv.

| — | 5 generaldirektorater: RTD, Informationssamfundet og Medier, Energi og Transport, Erhvervs- og Virksomhedspolitik, Det Fælles Forskningscenter. Desuden Det Europæiske Forskningsråd (ERC) og forvaltningsorganer. |
| --- | --- |

—

5 generaldirektorater: RTD, Informationssamfundet og Medier, Energi og Transport, Erhvervs- og Virksomhedspolitik, Det Fælles Forskningscenter. Desuden Det Europæiske Forskningsråd (ERC) og forvaltningsorganer.

---

(1)  4. RP: Informations- og kommunikationsteknologi (avancerede kommunikationsteknologier og -tjenester (ACTS)), Informationsteknologi (Esprit), Telematik, Industriteknologi (industri- og materialeteknologi (Brite/Euram), Standarder, måling og prøvning (SMT), Miljø (miljø og klima, havforskning og -teknologi (Mast III)), Biovidenskaber og bioteknologi (bioteknologi (Biotech 2)), Biomedicin og sundhed (Biomed 2), Landbrug og fiskeri (FAIR), Etiske, juridiske og sociale aspekter (ELSA), Energi (forskning og udvikling (Joule), Demonstration (Thermie)), Transport (Transportforskningsprogrammet), Målrettet socioøkonomisk forskning (målrettet socioøkonomisk forskning (TSER)), Det europæiske teknologivurderingsnet (ETAN), Samarbejde med tredjelande og internationale organisationer (internationalt samarbejde (INCO)), Udbredelse og udnyttelse af resultater (Innovationsprogrammet), Fremme af forskeruddannelse og -mobilitet i Fællesskabet (forskeres uddannelse og mobilitet (TMR), Foreningen af Marie Curie-stipendiater).

(2)  5. RP: 4 tematiske programmer (livskvalitet og forvaltning af de levende ressourcer (Quality of Life), Et brugervenligt informationssamfund (IST), Konkurrence- og bæredygtig vækst (Growth), Energi, miljø og bæredygtig udvikling (EESD)), 3 horisontale programmer (Befæstelse af EF-forskningens internationale rolle (INCO 2), Fremme af innovation og tilskyndelse til små og mellemstore virksomheders deltagelse (Innovation/SMEs), Udvikling af det menneskelige forskningspotentiale og den samfundsøkonomiske videnbase (Improving)).

(3)  6. RP:»Koncentration og integration af EF's forskningsindsats«

| — | Syv udvalgte temaer omfattende 10 programmer: Biovidenskab, genomforskning og bioteknologi i sundhedens tjeneste (herunder Avanceret genomforskning og anvendelse heraf på sundhedsområdet, Bekæmpelse af de vigtigste sygdomme), Informationssamfundets teknologier, Nanoteknologi og nanovidenskab, videnbaserede multifunktionelle materialer, nye produktionsprocesser og nyt produktionsudstyr, Luft- og rumfart, Fødevarekvalitet og -sikkerhed, Bæredygtig udvikling, globale miljøændringer og økosystemer (herunder Bæredygtige energisystemer, Bæredygtig overfladetransport, Globale miljøændringer og økosystemer), Borgere og styreformer (»governance«) i et videnbaseret samfund. |
| --- | --- |

—

Syv udvalgte temaer omfattende 10 programmer: Biovidenskab, genomforskning og bioteknologi i sundhedens tjeneste (herunder Avanceret genomforskning og anvendelse heraf på sundhedsområdet, Bekæmpelse af de vigtigste sygdomme), Informationssamfundets teknologier, Nanoteknologi og nanovidenskab, videnbaserede multifunktionelle materialer, nye produktionsprocesser og nyt produktionsudstyr, Luft- og rumfart, Fødevarekvalitet og -sikkerhed, Bæredygtig udvikling, globale miljøændringer og økosystemer (herunder Bæredygtige energisystemer, Bæredygtig overfladetransport, Globale miljøændringer og økosystemer), Borgere og styreformer (»governance«) i et videnbaseret samfund.

| — | Tværgående forskningsaktioner inden for et bredere forskningsområde omfattende 4 programmer: Støtte til politikker og foregribelse af videnskabelige og teknologiske behov, Horisontale forskningsaktiviteter, som SMV'er er inddraget i, Specifikke foranstaltninger til støtte for internationalt samarbejde, Ikke-nukleare aktiviteter på Det Fælles Forskningscenter. »Strukturering af det europæiske forskningsrum« omfattende 4 programmer: Forskning og innovation, Menneskelige ressourcer og mobilitet, Forskningsinfrastrukturer, Videnskab og samfund. »Styrkelse af grundlaget for det europæiske forskningsrum« omfattende 2 programmer: Støtte til koordinering af aktiviteter, Støtte til en sammenhængende udvikling af forskningspolitikkerne. |
| --- | --- |

—

Tværgående forskningsaktioner inden for et bredere forskningsområde omfattende 4 programmer: Støtte til politikker og foregribelse af videnskabelige og teknologiske behov, Horisontale forskningsaktiviteter, som SMV'er er inddraget i, Specifikke foranstaltninger til støtte for internationalt samarbejde, Ikke-nukleare aktiviteter på Det Fælles Forskningscenter. »Strukturering af det europæiske forskningsrum« omfattende 4 programmer: Forskning og innovation, Menneskelige ressourcer og mobilitet, Forskningsinfrastrukturer, Videnskab og samfund. »Styrkelse af grundlaget for det europæiske forskningsrum« omfattende 2 programmer: Støtte til koordinering af aktiviteter, Støtte til en sammenhængende udvikling af forskningspolitikkerne.

(4)  7. RP: Særprogrammet »Samarbejde« med 10 delprogrammer (Sundhed, Fødevarer, landbrug og fiskeri og bioteknologi, Informations- og kommunikationsteknologi, Nanovidenskab, nanoteknologi, materialer og ny produktionsteknologi, Energi, Miljø (herunder klimaændringer), Transport (herunder luftfart), Samfundsvidenskaber og humaniora, Sikkerhed, rummet), særprogrammet »Idéer« med 1 delprogram (Det Europæiske Forskningsråd), særprogrammet »Mennesker« med 5 delprogrammer (Grunduddannelse, Livslang uddannelse, Erhvervslivet og den akademiske verden, Den internationale dimension, Særlige foranstaltninger), særprogrammet »Kapacitet« med 8 delprogrammer (Forskningsinfrastruktur, Forskning til fordel for SMV'er, Videnbaserede regioner, Forskningspotentiale, Forholdet mellem videnskab og samfund, Støtte til en sammenhængende udvikling af forskningspolitikker, Internationalt samarbejde, »Det Fælles Forskningscenters ikke-nukleare aktiviteter«).

---

BILAG III

DE VIGTIGSTE FORSKELLE MELLEM EFTERFØLGENDE EVALUERING AF FORSKNINGSPROGRAMMER I EU (4.-6. RP), USA OG CANADA

| | EU (FP4 — FP6) | USA | Canada |
| --- | --- | --- | --- |
| Systemiske forhold |
| Interventionslogik | Ikke eksplicit | For det meste, implicit krævet af PART (1) | Krævet af RMAF (2)som del af programforslaget |
| Evalueringsstrategi | Ikke omfattende | Krævet af PART (1) | Krævet af RMAF (2)som del af programforslaget |
| Specificering af forventede resultater | Nej | Krævet af PART (1) (herunder anvendelse af kvantificerbare indikatorer) | Krævet af RMAF (2) som del af programforslaget |
| Evaluator | Kommissionen som programforvalter | Agentur som programforvalter (vurderet af OMB) | Agentur som programforvalter
  (vurderet af TBS) |
| Organisatoriske forhold |
| Udformningsfase | I løbet af programmeringsperioden | I løbet af programmeringsperioden | Afsluttet før programmets begyndelse |
| Anvendelse af paneler | Ad hoc-paneler til specifikke evalueringer | Afhængigt af agentur/program | Permanente paneler i form af stående udvalg |
| Regelmæssighed | Faste datoer (bundet til programmeringsperioden, dækker de foregående fem år) | 2-3-årig cyklus
  (bundet til godkendelsen af budgettet) | Ved fornyelse af programmet |

EU (FP4 — FP6)

USA

Canada

Systemiske forhold

Interventionslogik

Ikke eksplicit

For det meste, implicit krævet af PART (1)

Krævet af RMAF (2)som del af programforslaget

Evalueringsstrategi

Ikke omfattende

Krævet af PART (1)

Krævet af RMAF (2)som del af programforslaget

Specificering af forventede resultater

Nej

Krævet af PART (1) (herunder anvendelse af kvantificerbare indikatorer)

Krævet af RMAF (2) som del af programforslaget

Evaluator

Kommissionen som programforvalter

Agentur som programforvalter (vurderet af OMB)

Agentur som programforvalter

(vurderet af TBS)

Organisatoriske forhold

Udformningsfase

I løbet af programmeringsperioden

I løbet af programmeringsperioden

Afsluttet før programmets begyndelse

Anvendelse af paneler

Ad hoc-paneler til specifikke evalueringer

Afhængigt af agentur/program

Permanente paneler i form af stående udvalg

Regelmæssighed

Faste datoer (bundet til programmeringsperioden, dækker de foregående fem år)

2-3-årig cyklus

(bundet til godkendelsen af budgettet)

Ved fornyelse af programmet

---

(1)  Programme Assessment Rating Tool (PART) siden 2002, jf. Office of Management and Budget (OMB), Executive Office of the President, USA.

(2)  Results-based Management and Accountability Framework (RMAF), jf. Treasury Board of Canada Secretariat (TBS).

---

BILAG IV

MULIG PANELSTRUKTUR FOR 7. RP

Image

---

KOMMISSIONENS SVAR

| I. | Fællesskabets FTU-rammeprogrammer (RP'er) har i de sidste årtier udviklet sig til et omfattende, men sammenhængende system af støtteordninger for forskere i de 27 EU-medlemsstater, de associerede lande og andre lande.
  Rammeprogrammerne er i dag verdens største offentlige multinationale forskningsfinansieringssystem.
  Rammeprogrammerne tegner sig på nuværende tidspunkt for ca. 5 % af EU's samlede offentlige udgifter til forskning. Hvad angår Fællesskabets årlige finansielle bidrag vil 7. RP være ca. 60 % større end 6. RP.
  Evalueringen af en så enestående ordning er en særlig udfordring for alle involverede aktører. Evaluerings- og tilsynsordningerne er blevet ændret betydeligt i de seneste år, senest ved iværksættelsen af 7. RP i 2007.
  Evaluerings- og tilsynssystemet i Kommissionen er baseret på, at de tjenestegrene i Kommissionen, der gennemfører rammeprogrammerne, har det direkte ansvar. Det er her, den største tekniske ekspertise findes.
  Evalueringerne på rammeprogramniveau foretages gennem en koordineret indsats i alle generaldirektoraterne. |
| --- | --- |

I.

Fællesskabets FTU-rammeprogrammer (RP'er) har i de sidste årtier udviklet sig til et omfattende, men sammenhængende system af støtteordninger for forskere i de 27 EU-medlemsstater, de associerede lande og andre lande.

Rammeprogrammerne er i dag verdens største offentlige multinationale forskningsfinansieringssystem.

Rammeprogrammerne tegner sig på nuværende tidspunkt for ca. 5 % af EU's samlede offentlige udgifter til forskning. Hvad angår Fællesskabets årlige finansielle bidrag vil 7. RP være ca. 60 % større end 6. RP.

Evalueringen af en så enestående ordning er en særlig udfordring for alle involverede aktører. Evaluerings- og tilsynsordningerne er blevet ændret betydeligt i de seneste år, senest ved iværksættelsen af 7. RP i 2007.

Evaluerings- og tilsynssystemet i Kommissionen er baseret på, at de tjenestegrene i Kommissionen, der gennemfører rammeprogrammerne, har det direkte ansvar. Det er her, den største tekniske ekspertise findes.

Evalueringerne på rammeprogramniveau foretages gennem en koordineret indsats i alle generaldirektoraterne.

| IV. | Kommissionen glæder sig over Revisionsrettens bemærkning om, at de generaldirektorater, der gennemfører rammeprogrammerne (»forskningsgeneraldirektoraterne«), overholder Kommissionens krav, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering.
  Der er foretaget væsentlige ændringer i evalueringen af rammeprogrammerne, herunder en større omstrukturering i forbindelse med 7. RP.
  Kommissionen vil desuden gerne fastslå følgende:






  i) | Efter Kommissionens mening har rammeprogrammerne altid været baseret på en sund interventionslogik. I 7. RP gøres dette mere eksplicit, hvilket yderligere vil styrke Kommissionens evaluerings- og tilsynssystem. |
| --- | --- | --- |

IV.

Kommissionen glæder sig over Revisionsrettens bemærkning om, at de generaldirektorater, der gennemfører rammeprogrammerne (»forskningsgeneraldirektoraterne«), overholder Kommissionens krav, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering.

Der er foretaget væsentlige ændringer i evalueringen af rammeprogrammerne, herunder en større omstrukturering i forbindelse med 7. RP.

Kommissionen vil desuden gerne fastslå følgende:

i)

Efter Kommissionens mening har rammeprogrammerne altid været baseret på en sund interventionslogik. I 7. RP gøres dette mere eksplicit, hvilket yderligere vil styrke Kommissionens evaluerings- og tilsynssystem.

| ii) | De vigtigste strategiske elementer i Kommissionens tilgang til evaluering og tilsyn er fastlagt i de forskellige retsakter for rammeprogrammerne, som er vedtaget siden midten af 1990'erne.
  Siden Kommissionen vedtog sin sidste meddelelse om forskningsevaluering i 1996, er dens tilgang til evaluering af rammeprogrammerne løbende blevet finpudset, og der er foretaget betydelige ændringer i evalueringerne.
  I den periode, som Revisionsretten har revideret, er der hvert fjerde år blevet foretaget en større evaluering af rammeprogrammerne, de såkaldte femårsevalueringer. |
| --- | --- |

ii)

De vigtigste strategiske elementer i Kommissionens tilgang til evaluering og tilsyn er fastlagt i de forskellige retsakter for rammeprogrammerne, som er vedtaget siden midten af 1990'erne.

Siden Kommissionen vedtog sin sidste meddelelse om forskningsevaluering i 1996, er dens tilgang til evaluering af rammeprogrammerne løbende blevet finpudset, og der er foretaget betydelige ændringer i evalueringerne.

I den periode, som Revisionsretten har revideret, er der hvert fjerde år blevet foretaget en større evaluering af rammeprogrammerne, de såkaldte femårsevalueringer.

| iii) | Rammeprogrammerne gennemføres i fællesskab af »forskningsgeneraldirektoraterne«, der handler selvstændigt og samarbejder, når det er nødvendigt. Kommissionens centrale tjenestegrene og især Generaldirektoratet for Budget deltager aktivt i de forskellige faser i forbindelse med evalueringsprocessen.
  På grund af den decentrale måde, Kommissionen er organiseret på, og de specifikke forhold inden for hvert af de videnskabelige områder må evalueringerne forvaltes af de operationelle tjenester, som har ansvaret for de pågældende områder.
  Kommissionens interne »FTU-evalueringsnetværk« har vist sig at være nyttigt i forbindelse med koordineringen.
  Kommissionen er enig i, at paneler bør spille en vigtig rolle i evalueringerne, og glæder sig over, at revisionen har vist, at de institutionelle interessenter betragtede dens paneler for »femårsevalueringerne« og andre større evalueringer som en garanti for, at den tilgang, som Kommissionen anvendte i den periode, som revisionen vedrører, var uafhængig. |
| --- | --- |

iii)

Rammeprogrammerne gennemføres i fællesskab af »forskningsgeneraldirektoraterne«, der handler selvstændigt og samarbejder, når det er nødvendigt. Kommissionens centrale tjenestegrene og især Generaldirektoratet for Budget deltager aktivt i de forskellige faser i forbindelse med evalueringsprocessen.

På grund af den decentrale måde, Kommissionen er organiseret på, og de specifikke forhold inden for hvert af de videnskabelige områder må evalueringerne forvaltes af de operationelle tjenester, som har ansvaret for de pågældende områder.

Kommissionens interne »FTU-evalueringsnetværk« har vist sig at være nyttigt i forbindelse med koordineringen.

Kommissionen er enig i, at paneler bør spille en vigtig rolle i evalueringerne, og glæder sig over, at revisionen har vist, at de institutionelle interessenter betragtede dens paneler for »femårsevalueringerne« og andre større evalueringer som en garanti for, at den tilgang, som Kommissionen anvendte i den periode, som revisionen vedrører, var uafhængig.

| iv) | Mulighederne for at give metodologisk vejledning i forbindelse med evalueringerne begrænses af, at det er nødvendigt, at evaluatorernes uafhængighed bevares. Kommissionen erkender, at der tidligere har været problemer med at indsamle data, og at man ved mindre om rammeprogrammernes udfald og effekt på længere sigt, ligesom det er tilfældet med de fleste evalueringer af offentlige interventioner, både på forskningsområdet og uden for dette. |
| --- | --- |

iv)

Mulighederne for at give metodologisk vejledning i forbindelse med evalueringerne begrænses af, at det er nødvendigt, at evaluatorernes uafhængighed bevares. Kommissionen erkender, at der tidligere har været problemer med at indsamle data, og at man ved mindre om rammeprogrammernes udfald og effekt på længere sigt, ligesom det er tilfældet med de fleste evalueringer af offentlige interventioner, både på forskningsområdet og uden for dette.

| v) | Tidspunktet for de fleste evalueringer er fastsat i den lovgivning for rammeprogrammerne, som er vedtaget af Europa-Parlamentet og Rådet. Alt i alt mener Kommissionen, at dens system for evaluering af og tilsyn med rammeprogrogrammerne er effektivt. Europa-Parlamentet og Rådet tilsluttede sig denne holdning, da de vedtog Kommissionens lovgivningsforslag for 7. RP i 2006. |
| --- | --- |

v)

Tidspunktet for de fleste evalueringer er fastsat i den lovgivning for rammeprogrammerne, som er vedtaget af Europa-Parlamentet og Rådet. Alt i alt mener Kommissionen, at dens system for evaluering af og tilsyn med rammeprogrogrammerne er effektivt. Europa-Parlamentet og Rådet tilsluttede sig denne holdning, da de vedtog Kommissionens lovgivningsforslag for 7. RP i 2006.

| V. | I betragtning af Revisionsrettens anbefalinger vil Kommissionen gerne fastslå følgende:






  i) | Kommissionen vil gerne pege på den mere eksplicitte interventionslogik, som indgår i lovgivningen for 7. RP (som Europa-Parlamentet og Rådet vedtog i 2006), og den vil styrke brugen af en eksplicit interventionslogik i sine fremtidige lovgivningsforslag. Desuden har Kommissionen til hensigt yderligere at præcisere sine operationelle mål for 7. RP i arbejdsprogrammerne og at videreudvikle sin tilgang til måling af resultaterne. |
| --- | --- | --- |

V.

I betragtning af Revisionsrettens anbefalinger vil Kommissionen gerne fastslå følgende:

i)

Kommissionen vil gerne pege på den mere eksplicitte interventionslogik, som indgår i lovgivningen for 7. RP (som Europa-Parlamentet og Rådet vedtog i 2006), og den vil styrke brugen af en eksplicit interventionslogik i sine fremtidige lovgivningsforslag. Desuden har Kommissionen til hensigt yderligere at præcisere sine operationelle mål for 7. RP i arbejdsprogrammerne og at videreudvikle sin tilgang til måling af resultaterne.

| ii) | Kommissionen vil videreudvikle sin evalueringsstrategi for 7. RP på grundlag af forslagene i konsekvensanalysen for 7. RP. Der vil blive lagt vægt på at sikre en passende fleksibilitet, så de enkelte operationelle tjenestegrene kan fastlægge deres specifikke evalueringsbehov. |
| --- | --- |

ii)

Kommissionen vil videreudvikle sin evalueringsstrategi for 7. RP på grundlag af forslagene i konsekvensanalysen for 7. RP. Der vil blive lagt vægt på at sikre en passende fleksibilitet, så de enkelte operationelle tjenestegrene kan fastlægge deres specifikke evalueringsbehov.

| iii) | Kommissionen vil gerne overveje andre muligheder for at forbedre koordineringen, selv om den ikke mener, at det er nødvendigt at oprette et fælles koordineringskontor.
  Panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering. Det er dog mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus. |
| --- | --- |

iii)

Kommissionen vil gerne overveje andre muligheder for at forbedre koordineringen, selv om den ikke mener, at det er nødvendigt at oprette et fælles koordineringskontor.

Panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering. Det er dog mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus.

| iv) | Kommissionen har allerede gjort en indsats for at forbedre udnyttelsen af eksisterende og nye datakilder i forbindelse med evalueringerne.
  Rapporteringsforpligtelserne i forbindelse med 7. RP er delvis blevet revideret på grundlag af evaluerings- og tilsynsbehovene.
  Desuden er Kommissionen i gang med at udvikle et nyt it-system for 7. RP, der skal sikre et mere solidt grundlag, når det gælder oplysninger om projekterne.
  Kommissionen vil overveje muligheden af en ny manual for evaluering af rammeprogrammerne under hensyntagen til de seneste eksempler. |
| --- | --- |

iv)

Kommissionen har allerede gjort en indsats for at forbedre udnyttelsen af eksisterende og nye datakilder i forbindelse med evalueringerne.

Rapporteringsforpligtelserne i forbindelse med 7. RP er delvis blevet revideret på grundlag af evaluerings- og tilsynsbehovene.

Desuden er Kommissionen i gang med at udvikle et nyt it-system for 7. RP, der skal sikre et mere solidt grundlag, når det gælder oplysninger om projekterne.

Kommissionen vil overveje muligheden af en ny manual for evaluering af rammeprogrammerne under hensyntagen til de seneste eksempler.

| v) | Kommissionen har til hensigt at udvikle og styrke sin planlægning af evalueringerne under 7. RP, så man udnytter de mulige fordele ved en konsekvent fremgangsmåde og tager hensyn til resultaterne. |
| --- | --- |

v)

Kommissionen har til hensigt at udvikle og styrke sin planlægning af evalueringerne under 7. RP, så man udnytter de mulige fordele ved en konsekvent fremgangsmåde og tager hensyn til resultaterne.

| 1-13. | Fællesskabets FTU-rammeprogrammer har i de sidste årtier udviklet sig til et omfattende, men sammenhængende system af støtteordninger for forskere i de 27 EU-medlemsstater, de associerede lande og andre lande.
  Rammeprogrammerne er i dag verdens største multinationale forskningsfinansieringssystem (se afsnit 6 i Revisionsrettens tekst). Hvad angår Fællesskabets årlige finansielle bidrag vil 7. RP være ca. 60 % større end 6. RP (se figur 1 i Revisionsrettens tekst).
  Evalueringen af en så enestående ordning er en særlig udfordring for alle involverede aktører. Bestemmelserne om evaluering er blevet ændret betydeligt i de seneste år (se figur 2 i Revisionsrettens tekst), senest med iværksættelsen af 7. RP i 2007 (se for eksempel svarene på punkt 23, 30, 41, 46, 72, 76-78 og 93). |
| --- | --- |

1-13.

Fællesskabets FTU-rammeprogrammer har i de sidste årtier udviklet sig til et omfattende, men sammenhængende system af støtteordninger for forskere i de 27 EU-medlemsstater, de associerede lande og andre lande.

Rammeprogrammerne er i dag verdens største multinationale forskningsfinansieringssystem (se afsnit 6 i Revisionsrettens tekst). Hvad angår Fællesskabets årlige finansielle bidrag vil 7. RP være ca. 60 % større end 6. RP (se figur 1 i Revisionsrettens tekst).

Evalueringen af en så enestående ordning er en særlig udfordring for alle involverede aktører. Bestemmelserne om evaluering er blevet ændret betydeligt i de seneste år (se figur 2 i Revisionsrettens tekst), senest med iværksættelsen af 7. RP i 2007 (se for eksempel svarene på punkt 23, 30, 41, 46, 72, 76-78 og 93).

| 14. | De generaldirektorater, der gennemfører FTU-rammeprogrammerne (»forskningsgeneraldirektoraterne«), overholder formelt Kommissionens krav til evaluering, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering (se punkt 54 i Revisionsrettens tekst). |
| --- | --- |

14.

De generaldirektorater, der gennemfører FTU-rammeprogrammerne (»forskningsgeneraldirektoraterne«), overholder formelt Kommissionens krav til evaluering, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering (se punkt 54 i Revisionsrettens tekst).

| 22. | Kommissionen er enig i, at det er vigtigt med en sund interventionslogik for udformningen af et program, og at mandatet i traktatens artikel 163 er et nøgleelement i denne sammenhæng. Desuden har det bidrag, som FTU-aktiviteter, der finansieres af Kommissionen, yder til andre fællesskabspolitikker og –mål, stor betydning. Senest blev Kommissionens holdning til EU's FTU-investeringer fremlagt i detaljer i både den fornyede Lissabon-strategi og strategien for bæredygtig udvikling (1). |
| --- | --- |

22.

Kommissionen er enig i, at det er vigtigt med en sund interventionslogik for udformningen af et program, og at mandatet i traktatens artikel 163 er et nøgleelement i denne sammenhæng. Desuden har det bidrag, som FTU-aktiviteter, der finansieres af Kommissionen, yder til andre fællesskabspolitikker og –mål, stor betydning. Senest blev Kommissionens holdning til EU's FTU-investeringer fremlagt i detaljer i både den fornyede Lissabon-strategi og strategien for bæredygtig udvikling (1).

| 23. | Rammeprogrammerne har altid været baseret på en sund interventionslogik. I 7. RP gøres dette mere eksplicit (2), hvilket yderligere vil styrke Kommissionens evaluerings- og tilsynssystem. |
| --- | --- |

23.

Rammeprogrammerne har altid været baseret på en sund interventionslogik. I 7. RP gøres dette mere eksplicit (2), hvilket yderligere vil styrke Kommissionens evaluerings- og tilsynssystem.

| 25. | En række lande, herunder visse medlemsstater, er i gang med at udvikle denne tilgang, men der er slet ikke tale om en ensartet tilgang. Erfaringerne fra USA og Canada er muligvis sværere at overføre end erfaringerne fra EU-medlemsstaterne. |
| --- | --- |

25.

En række lande, herunder visse medlemsstater, er i gang med at udvikle denne tilgang, men der er slet ikke tale om en ensartet tilgang. Erfaringerne fra USA og Canada er muligvis sværere at overføre end erfaringerne fra EU-medlemsstaterne.

| 26. | Kommissionen mener, at den har haft et effektivt evaluerings- og tilsynssystem i den periode, som Revisionsretten har revideret (se også svaret på punkt 23). |
| --- | --- |

26.

Kommissionen mener, at den har haft et effektivt evaluerings- og tilsynssystem i den periode, som Revisionsretten har revideret (se også svaret på punkt 23).

| 28. | Det er en udfordring at sikre, at alle målene passer præcist til de stramt definerede SMART-kriterier, specielt i betragtning af den usikkerhed, som præger forskning. Alle arbejdsprogrammerne under 7. RP indeholder en analyse af de forventede konsekvenser, der svarer til de mål, det rationale og de aktiviteter, som er fastsat i særprogrammerne. |
| --- | --- |

28.

Det er en udfordring at sikre, at alle målene passer præcist til de stramt definerede SMART-kriterier, specielt i betragtning af den usikkerhed, som præger forskning. Alle arbejdsprogrammerne under 7. RP indeholder en analyse af de forventede konsekvenser, der svarer til de mål, det rationale og de aktiviteter, som er fastsat i særprogrammerne.

| 29. | Der er lagt større vægt på de kortsigtede resultater i den periode, som Revisionsretten har revideret; der er plads til mere langsigtede analyser. |
| --- | --- |

29.

Der er lagt større vægt på de kortsigtede resultater i den periode, som Revisionsretten har revideret; der er plads til mere langsigtede analyser.

| 30. | På rammeprogramniveau er Kommissionen i gang med at udvikle et tilsynssystem for 7. RP, der sigter mod en mere sammenhængende og systematisk brug af resultatindikatorer. I de forskellige tjenestegrene, der gennemfører 7. RP, er der også iværksat en række separate initiativer med henblik på at udvikle resultatindikatorer. |
| --- | --- |

30.

På rammeprogramniveau er Kommissionen i gang med at udvikle et tilsynssystem for 7. RP, der sigter mod en mere sammenhængende og systematisk brug af resultatindikatorer. I de forskellige tjenestegrene, der gennemfører 7. RP, er der også iværksat en række separate initiativer med henblik på at udvikle resultatindikatorer.

| 34. | Kommissionen bestræber sig allerede på at sikre større klarhed i interventionslogikken for programmerne på grundlag af de fremskridt, som er indarbejdet i lovgivningen og konsekvensanalysen for 7. RP, og den vil tage hensyn til Revisionsrettens anbefaling i forbindelse med fremtidige forslag til lovgivning. |
| --- | --- |

34.

Kommissionen bestræber sig allerede på at sikre større klarhed i interventionslogikken for programmerne på grundlag af de fremskridt, som er indarbejdet i lovgivningen og konsekvensanalysen for 7. RP, og den vil tage hensyn til Revisionsrettens anbefaling i forbindelse med fremtidige forslag til lovgivning.

| 35. | Kommissionen glæder sig over Revisionsrettens anbefaling om, at programmålene for 7. RP bør præciseres yderligere, og den vil bestræbe sig på at foretage denne præcisering inden for de begrænsninger, som de relevante basisretsakter, der er vedtaget af Europa-Parlamentet og Rådet, medfører. |
| --- | --- |

35.

Kommissionen glæder sig over Revisionsrettens anbefaling om, at programmålene for 7. RP bør præciseres yderligere, og den vil bestræbe sig på at foretage denne præcisering inden for de begrænsninger, som de relevante basisretsakter, der er vedtaget af Europa-Parlamentet og Rådet, medfører.

| 36-37. | Kommissionen glæder sig over Revisionsrettens anbefalinger og tager initiativer til at videreudvikle resultatmålingen og til at ændre ABM/ABB-nomenklaturen. |
| --- | --- |

36-37.

Kommissionen glæder sig over Revisionsrettens anbefalinger og tager initiativer til at videreudvikle resultatmålingen og til at ændre ABM/ABB-nomenklaturen.

| 38-39. | Kommissionen mener, at dens evalueringsstrategi for rammeprogrammerne bør fastsætte fælles principper for tilrettelæggelse og udvikling af evalueringen af og tilsynet med rammeprogrammerne. Strategien bør omfatte en formålserklæring, fastlægge de vigtigste komponenter i systemet, herunder større evalueringer, og opstille en vision for fremtiden. Hovedvægten bør fortsat ligge på det strategiske niveau i betragtning af Kommissionens decentrale evalueringssystem for rammeprogrammerne. |
| --- | --- |

38-39.

Kommissionen mener, at dens evalueringsstrategi for rammeprogrammerne bør fastsætte fælles principper for tilrettelæggelse og udvikling af evalueringen af og tilsynet med rammeprogrammerne. Strategien bør omfatte en formålserklæring, fastlægge de vigtigste komponenter i systemet, herunder større evalueringer, og opstille en vision for fremtiden. Hovedvægten bør fortsat ligge på det strategiske niveau i betragtning af Kommissionens decentrale evalueringssystem for rammeprogrammerne.

| 41. | De vigtigste strategiske elementer i Kommissionens tilgang til evaluering og tilsyn er fastlagt i de forskellige basisretsakter for rammeprogrammerne, som er vedtaget siden midten af 1990'erne (se bilag II).
  Siden Kommissionen vedtog sin meddelelse om forskningsevaluering i 1996, er dens tilgang til evaluering af rammeprogrammerne løbende blevet finpudset, og der er foretaget betydelige ændringer i evalueringerne (se figur 2 i Revisionsrettens tekst).
  For den nuværende programmeringsperiode er Kommissionens planlagte evalueringsstrategi beskrevet mere eksplicit i den forudgående konsekvensanalyse for 7. RP (SEK(2005) 430). Den omfatter udformningen af evalueringssystemet, oplysninger om, hvordan det vil blive gennemført, og en detaljeret tidsplan for de planlagte evalueringer på rammeprogramniveau.
  Der kræves yderligere arbejde for at omsætte denne strategi til specifikke planer, og Kommissionen vil bruge specifikke koordineringsstrukturer til dette formål. |
| --- | --- |

41.

De vigtigste strategiske elementer i Kommissionens tilgang til evaluering og tilsyn er fastlagt i de forskellige basisretsakter for rammeprogrammerne, som er vedtaget siden midten af 1990'erne (se bilag II).

Siden Kommissionen vedtog sin meddelelse om forskningsevaluering i 1996, er dens tilgang til evaluering af rammeprogrammerne løbende blevet finpudset, og der er foretaget betydelige ændringer i evalueringerne (se figur 2 i Revisionsrettens tekst).

For den nuværende programmeringsperiode er Kommissionens planlagte evalueringsstrategi beskrevet mere eksplicit i den forudgående konsekvensanalyse for 7. RP (SEK(2005) 430). Den omfatter udformningen af evalueringssystemet, oplysninger om, hvordan det vil blive gennemført, og en detaljeret tidsplan for de planlagte evalueringer på rammeprogramniveau.

Der kræves yderligere arbejde for at omsætte denne strategi til specifikke planer, og Kommissionen vil bruge specifikke koordineringsstrukturer til dette formål.

| 43. | Kommissionen anerkender Revisionsrettens bemærkninger, men skal påpege, at situationen i USA og Canada er betydeligt mere nuanceret end den beskrivelse, som gives i de enkelte evalueringsstrategier. |
| --- | --- |

43.

Kommissionen anerkender Revisionsrettens bemærkninger, men skal påpege, at situationen i USA og Canada er betydeligt mere nuanceret end den beskrivelse, som gives i de enkelte evalueringsstrategier.

| 44. | Forskellene i anvendelsen af og tilgangen til evaluering i rammeprogrammerne afspejler Kommissionens decentrale system, hvor evaluering er knyttet sammen med beslutningstagning. |
| --- | --- |

44.

Forskellene i anvendelsen af og tilgangen til evaluering i rammeprogrammerne afspejler Kommissionens decentrale system, hvor evaluering er knyttet sammen med beslutningstagning.

| 46. | På grund af den decentrale måde, Kommissionen er organiseret på, må spørgsmålet om det rette niveau for evalueringsaktiviteterne besvares af de operationelle tjenester, som har ansvaret for de pågældende områder (se også svaret på punkt 41 og 49).






  — | (andet led) Femårsevalueringen i 2004 (1999-2003), som blev koordineret af Generaldirektoratet for Forskning, indeholder en evaluering på overordnet rammeprogramniveau. Beslutningen om, hvorvidt der skulle foretages særskilte evalueringer på programniveau, afspejlede behovene i de pågældende tjenestegrene og de pågældende aktiviteters forskellige kontekst og omfang. |
| --- | --- | --- |

46.

På grund af den decentrale måde, Kommissionen er organiseret på, må spørgsmålet om det rette niveau for evalueringsaktiviteterne besvares af de operationelle tjenester, som har ansvaret for de pågældende områder (se også svaret på punkt 41 og 49).

—

(andet led) Femårsevalueringen i 2004 (1999-2003), som blev koordineret af Generaldirektoratet for Forskning, indeholder en evaluering på overordnet rammeprogramniveau. Beslutningen om, hvorvidt der skulle foretages særskilte evalueringer på programniveau, afspejlede behovene i de pågældende tjenestegrene og de pågældende aktiviteters forskellige kontekst og omfang.

| 47. | Femårsevalueringen i 2004 udgjorde en koordineret, omfattende, rettidig evaluering på overordnet rammeprogramniveau i overensstemmelse med finansforordningen. Den blev foretaget af anerkendte eksterne eksperter, og resultaterne blev udsendt til brede kredse. |
| --- | --- |

47.

Femårsevalueringen i 2004 udgjorde en koordineret, omfattende, rettidig evaluering på overordnet rammeprogramniveau i overensstemmelse med finansforordningen. Den blev foretaget af anerkendte eksterne eksperter, og resultaterne blev udsendt til brede kredse.

| 48. | Se svarene på punkt 41 og 46. |
| --- | --- |

48.

Se svarene på punkt 41 og 46.

| 49. | For den nuværende programmeringsperiode er Kommissionens planlagte evalueringsstrategi beskrevet i den forudgående konsekvensanalyse for 7. RP (SEK(2005) 430). Den omfatter udformningen af evalueringssystemet, oplysninger om, hvordan det vil blive gennemført, og en detaljeret tidsplan for de planlagte evalueringer på rammeprogramniveau.
  Kommissionen erkender, at der kræves yderligere arbejde for at omsætte denne strategi til specifikke planer, og den vil bruge specifikke koordineringsstrukturer til formålet.
  Kommissionen mener dog ikke, at der altid kan fastsættes et minimumsniveau for, hvornår der skal foretages en detaljeret evaluering, da det er nødvendigt at bevare en tilstrækkelig fleksibilitet til, at ledelsen kan fastlægge de relevante evalueringsbehov. |
| --- | --- |

49.

For den nuværende programmeringsperiode er Kommissionens planlagte evalueringsstrategi beskrevet i den forudgående konsekvensanalyse for 7. RP (SEK(2005) 430). Den omfatter udformningen af evalueringssystemet, oplysninger om, hvordan det vil blive gennemført, og en detaljeret tidsplan for de planlagte evalueringer på rammeprogramniveau.

Kommissionen erkender, at der kræves yderligere arbejde for at omsætte denne strategi til specifikke planer, og den vil bruge specifikke koordineringsstrukturer til formålet.

Kommissionen mener dog ikke, at der altid kan fastsættes et minimumsniveau for, hvornår der skal foretages en detaljeret evaluering, da det er nødvendigt at bevare en tilstrækkelig fleksibilitet til, at ledelsen kan fastlægge de relevante evalueringsbehov.

| 51. | Rammeprogrammerne gennemføres i fællesskab af »forskningsgeneraldirektoraterne«, der handler selvstændigt og samarbejder, når det er nødvendigt. |
| --- | --- |

51.

Rammeprogrammerne gennemføres i fællesskab af »forskningsgeneraldirektoraterne«, der handler selvstændigt og samarbejder, når det er nødvendigt.

| 52. | EuropeAid har et operationelt og forvaltningsmæssigt ansvar, som varetages i samarbejde med Kommissionens delegationer og gennemførelsesorganerne i tredjelande. Det gør det svært at betragte denne del af Kommissionen som et eksempel, da den ikke kan sammenlignes med det decentraliserede system for ansvar og roller på forskningsområdet. |
| --- | --- |

52.

EuropeAid har et operationelt og forvaltningsmæssigt ansvar, som varetages i samarbejde med Kommissionens delegationer og gennemførelsesorganerne i tredjelande. Det gør det svært at betragte denne del af Kommissionen som et eksempel, da den ikke kan sammenlignes med det decentraliserede system for ansvar og roller på forskningsområdet.

| 53. | Kommissionens interne »FTU-evalueringsnetværk« giver mulighed for på en uformel måde at udvikle en evalueringsstrategi og koordinere evalueringerne på rammeprogramniveau. Denne fleksible ordning har vist sig at være yderst nyttig. |
| --- | --- |

53.

Kommissionens interne »FTU-evalueringsnetværk« giver mulighed for på en uformel måde at udvikle en evalueringsstrategi og koordinere evalueringerne på rammeprogramniveau. Denne fleksible ordning har vist sig at være yderst nyttig.

| 55. | Den nylige revision af Kommissionens interne kontrolstandarder, som blev vedtaget den 16. oktober 2007 (SEK(2007) 1341), omfatter de 21 evalueringsstandarder, og overholdelsen af disse standarder vil derfor komme til at indgå i generaldirektoraternes årlige aktivitetsrapporter.
  Kommissionens centrale tjenestegrene og især Generaldirektoratet for Budget deltager aktivt i de forskellige faser i forbindelse med evalueringsprocessen.
  Tjenestegrenenes evalueringsaktiviteter kan revideres af den interne revisionsenhed og den interne revisionstjeneste.
  Fremover vil man ved vurderingen af minimumskvalitetskravene anvende den »ramme for kvalitetsvurdering« (3), som Kommissionen har udarbejdet for nylig. Siden 2007 har Kommissionens »udvalg for konsekvensanalyse« medvirket til kvalitetskontrollen i forbindelse med forudgående konsekvensanalyser. |
| --- | --- |

55.

Den nylige revision af Kommissionens interne kontrolstandarder, som blev vedtaget den 16. oktober 2007 (SEK(2007) 1341), omfatter de 21 evalueringsstandarder, og overholdelsen af disse standarder vil derfor komme til at indgå i generaldirektoraternes årlige aktivitetsrapporter.

Kommissionens centrale tjenestegrene og især Generaldirektoratet for Budget deltager aktivt i de forskellige faser i forbindelse med evalueringsprocessen.

Tjenestegrenenes evalueringsaktiviteter kan revideres af den interne revisionsenhed og den interne revisionstjeneste.

Fremover vil man ved vurderingen af minimumskvalitetskravene anvende den »ramme for kvalitetsvurdering« (3), som Kommissionen har udarbejdet for nylig. Siden 2007 har Kommissionens »udvalg for konsekvensanalyse« medvirket til kvalitetskontrollen i forbindelse med forudgående konsekvensanalyser.

| 56. | Sammenligningen i bilag III omfatter den periode, som Revisionsretten har revideret. Den tager derfor ikke hensyn til de væsentlige forbedringer under 7. RP, specielt hvad angår en ny evalueringsstrategi, en mere eksplicit interventionslogik og klare angivelser af de forventede resultater i arbejdsprogrammerne.
  Revisionsretten peger på visse medlemsstater, hvor ansvaret for evaluering og finansiering er adskilt. Der er også andre eksempler (bl.a. Det Forenede Kongerige), hvor evalueringen indgår i programforvaltningen (ligesom i Kommissionen). Med hensyn til det vigtige spørgsmål om uafhængighed har Revisionsrettens revision vist, at de eksterne interessenter er tilfredse med Kommissionens resultater på dette punkt (se punkt 58 og figur 4 i Revisionsrettens tekst). |
| --- | --- |

56.

Sammenligningen i bilag III omfatter den periode, som Revisionsretten har revideret. Den tager derfor ikke hensyn til de væsentlige forbedringer under 7. RP, specielt hvad angår en ny evalueringsstrategi, en mere eksplicit interventionslogik og klare angivelser af de forventede resultater i arbejdsprogrammerne.

Revisionsretten peger på visse medlemsstater, hvor ansvaret for evaluering og finansiering er adskilt. Der er også andre eksempler (bl.a. Det Forenede Kongerige), hvor evalueringen indgår i programforvaltningen (ligesom i Kommissionen). Med hensyn til det vigtige spørgsmål om uafhængighed har Revisionsrettens revision vist, at de eksterne interessenter er tilfredse med Kommissionens resultater på dette punkt (se punkt 58 og figur 4 i Revisionsrettens tekst).

| 59. | — | (første led) Det er vanskeligt at sikre en passende deltagelse af panelmedlemmer på højt niveau, som indkaldes over længere perioder. |
| --- | --- | --- |

59.

—

(første led) Det er vanskeligt at sikre en passende deltagelse af panelmedlemmer på højt niveau, som indkaldes over længere perioder.

| — | (andet led) Referencerammerne for panelerne på rammeprogramniveau er fastsat i en kommissionsafgørelse efter en omfattende uformel høring af interessenterne, herunder den formelle udtalelse fra programudvalgene for 7. RP, der består af repræsentanter for medlemsstaterne og de associerede lande. Det vil også være tilfældet for den kommende efterfølgende evaluering af 6. RP i 2008. |
| --- | --- |

—

(andet led) Referencerammerne for panelerne på rammeprogramniveau er fastsat i en kommissionsafgørelse efter en omfattende uformel høring af interessenterne, herunder den formelle udtalelse fra programudvalgene for 7. RP, der består af repræsentanter for medlemsstaterne og de associerede lande. Det vil også være tilfældet for den kommende efterfølgende evaluering af 6. RP i 2008.

| 62. | Målet om, at 0,5 % af programmets budget skal bruges til evaluering, anbefales af Kommissionen som et gennemsnit. De ressourcer, som rent faktisk afsættes, afhænger i høj grad af programmets art. |
| --- | --- |

62.

Målet om, at 0,5 % af programmets budget skal bruges til evaluering, anbefales af Kommissionen som et gennemsnit. De ressourcer, som rent faktisk afsættes, afhænger i høj grad af programmets art.

| 66. | Kommissionen mener ikke, at det er nødvendigt at oprette et fælles koordineringskontor, men den vil gerne overveje andre muligheder for at forbedre koordineringen.
  Forbindelsen mellem evalueringerne og den forvaltningsmæssige beslutningstagning kan bedst etableres ved at placere evalueringsfunktioner i hvert generaldirektorat og ved at lade Kommissionens eksisterende interne »FTU-evalueringsnetværk« spille en mere aktiv rolle med støtte fra de centrale tjenestegrene. Dette stemmer også overens med lovgivnings- og budgetprocesserne, sådan som det kræves i finansforordningen, Kommissionens meddelelse om evaluering fra 2007 og procedurerne i forbindelse med ABM. |
| --- | --- |

66.

Kommissionen mener ikke, at det er nødvendigt at oprette et fælles koordineringskontor, men den vil gerne overveje andre muligheder for at forbedre koordineringen.

Forbindelsen mellem evalueringerne og den forvaltningsmæssige beslutningstagning kan bedst etableres ved at placere evalueringsfunktioner i hvert generaldirektorat og ved at lade Kommissionens eksisterende interne »FTU-evalueringsnetværk« spille en mere aktiv rolle med støtte fra de centrale tjenestegrene. Dette stemmer også overens med lovgivnings- og budgetprocesserne, sådan som det kræves i finansforordningen, Kommissionens meddelelse om evaluering fra 2007 og procedurerne i forbindelse med ABM.

| 67. | Kommissionen er enig i, at panelerne kan spille en vigtig rolle i evalueringerne. Den er også enig i, at panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering, men den mener ikke, at det er hensigtsmæssigt at nedsætte stående paneler for hele programmeringsperioden.
  Det er mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus. |
| --- | --- |

67.

Kommissionen er enig i, at panelerne kan spille en vigtig rolle i evalueringerne. Den er også enig i, at panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering, men den mener ikke, at det er hensigtsmæssigt at nedsætte stående paneler for hele programmeringsperioden.

Det er mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus.

| 68. | Kommissionen vil nøje vurdere behovene for ressourcer til gennemførelse af evalueringen af rammeprogrammerne i de kommende år. |
| --- | --- |

68.

Kommissionen vil nøje vurdere behovene for ressourcer til gennemførelse af evalueringen af rammeprogrammerne i de kommende år.

| 70-71. | Den metodologiske vejledning vedrørende evaluering, herunder de redskaber, som er til rådighed, og et glossar, findes i budgetvejledningen (4) fra Generaldirektoratet for Budget, som tjenestegrenene, herunder »forskningsgeneraldirektoraterne«, er i gang med at opdatere.
  Desuden udarbejdede Generaldirektoratet for Erhvervs- og Virksomhedspolitik i 2002 en specifik evalueringsvejledning, der omfattede alle de aktiviteter, som dette generaldirektorat er ansvarligt for, herunder rammeprogrammerne.
  Der vil muligvis blive iværksat yderligere støtteinitiativer i forbindelse med relanceringen af det »europæiske FTU-evalueringsnetværk« (som består af eksperter fra medlemsstaterne og de associerede lande) og Kommissionens interne »FTU-evalueringsnetværk«. Kommissionen vil også fortsætte med at støtte uafhængige undersøgelser af evalueringsmetodologi og evalueringsworkshops. |
| --- | --- |

70-71.

Den metodologiske vejledning vedrørende evaluering, herunder de redskaber, som er til rådighed, og et glossar, findes i budgetvejledningen (4) fra Generaldirektoratet for Budget, som tjenestegrenene, herunder »forskningsgeneraldirektoraterne«, er i gang med at opdatere.

Desuden udarbejdede Generaldirektoratet for Erhvervs- og Virksomhedspolitik i 2002 en specifik evalueringsvejledning, der omfattede alle de aktiviteter, som dette generaldirektorat er ansvarligt for, herunder rammeprogrammerne.

Der vil muligvis blive iværksat yderligere støtteinitiativer i forbindelse med relanceringen af det »europæiske FTU-evalueringsnetværk« (som består af eksperter fra medlemsstaterne og de associerede lande) og Kommissionens interne »FTU-evalueringsnetværk«. Kommissionen vil også fortsætte med at støtte uafhængige undersøgelser af evalueringsmetodologi og evalueringsworkshops.

| 72. | Kommissionen er enig i, at processen med rutinemæssig indsamling af data om projekterne kun delvis har været effektiv. Procedurerne for rapportering om projekterne blev revideret under 6. RP og vil blive yderligere forbedret i forbindelse med 7. RP (bl.a. vil den periodiske rapportering blive forenklet, de foreløbige spørgeskemaer er blevet afskaffet, og den endelige rapportering vil blive mere nyttig, specielt med hensyn til indsamling af data om gennemførelsen af projekterne og resultater). |
| --- | --- |

72.

Kommissionen er enig i, at processen med rutinemæssig indsamling af data om projekterne kun delvis har været effektiv. Procedurerne for rapportering om projekterne blev revideret under 6. RP og vil blive yderligere forbedret i forbindelse med 7. RP (bl.a. vil den periodiske rapportering blive forenklet, de foreløbige spørgeskemaer er blevet afskaffet, og den endelige rapportering vil blive mere nyttig, specielt med hensyn til indsamling af data om gennemførelsen af projekterne og resultater).

| 74. | »Forskningsgeneraldirektoraterne« er i gang med at udvikle et nyt it-system for 7. RP med støtte fra Generaldirektoratet for Informationsteknologi. Denne forbedrede it-støtte skal give et mere solidt grundlag for evaluering og tilsyn. |
| --- | --- |

74.

»Forskningsgeneraldirektoraterne« er i gang med at udvikle et nyt it-system for 7. RP med støtte fra Generaldirektoratet for Informationsteknologi. Denne forbedrede it-støtte skal give et mere solidt grundlag for evaluering og tilsyn.

| 76-78. | Indhentningen af evalueringsdata var kun delvist effektiv i den periode, som revisionen omfatter. Kommissionen indfører forbedringer under 7. RP (se svaret på punkt 72). |
| --- | --- |

76-78.

Indhentningen af evalueringsdata var kun delvist effektiv i den periode, som revisionen omfatter. Kommissionen indfører forbedringer under 7. RP (se svaret på punkt 72).

| 79. | Kommissionen ønsker at fremme de former for kvantitative undersøgelser, som Revisionsretten foreslår. |
| --- | --- |

79.

Kommissionen ønsker at fremme de former for kvantitative undersøgelser, som Revisionsretten foreslår.

| 81. | Efter Kommissionens mening er der i den seneste tid foretaget mange metodologisk mere interessante evalueringer (se punkt 84), og der bør sondres mellem store evalueringer og mere rutinemæssige evalueringer. |
| --- | --- |

81.

Efter Kommissionens mening er der i den seneste tid foretaget mange metodologisk mere interessante evalueringer (se punkt 84), og der bør sondres mellem store evalueringer og mere rutinemæssige evalueringer.

| 82. | Kommissionen erkender, at der i evalueringsarbejdet generelt er lagt større vægt på de kortsigtede resultater, og den er enig i, at udfald og effekt bør analyseres yderligere. En sådan tilgang kræver dog et længere perspektiv, og Kommissionens evalueringer kan derfor typisk sammenlignes med tilsvarende arbejde andre steder. |
| --- | --- |

82.

Kommissionen erkender, at der i evalueringsarbejdet generelt er lagt større vægt på de kortsigtede resultater, og den er enig i, at udfald og effekt bør analyseres yderligere. En sådan tilgang kræver dog et længere perspektiv, og Kommissionens evalueringer kan derfor typisk sammenlignes med tilsvarende arbejde andre steder.

| 83. | Kommissionen bestræber sig på at respektere evalueringseksperternes uafhængighed, specielt med hensyn til valget af passende metodologier.
  I forbindelse med den kommende efterfølgende evaluering af 6. RP i 2008 foreslås det, at der foretages undersøgelser af adfærdsmæssig additionalitet, netværksanalyser og anvendelsen af scientometriske metoder. |
| --- | --- |

83.

Kommissionen bestræber sig på at respektere evalueringseksperternes uafhængighed, specielt med hensyn til valget af passende metodologier.

I forbindelse med den kommende efterfølgende evaluering af 6. RP i 2008 foreslås det, at der foretages undersøgelser af adfærdsmæssig additionalitet, netværksanalyser og anvendelsen af scientometriske metoder.

| 84. | En uafhængig ekspert foretog en metaanalyse af de tidligere evalueringer i forbindelse med femårsevalueringen i 2004 (1999-2003) (5).






  — | (andet led) Ud over de undersøgelser, som Revisionsretten henviser til, er der i 2007 iværksat en række yderligere store undersøgelser (6). |
| --- | --- | --- |

84.

En uafhængig ekspert foretog en metaanalyse af de tidligere evalueringer i forbindelse med femårsevalueringen i 2004 (1999-2003) (5).

—

(andet led) Ud over de undersøgelser, som Revisionsretten henviser til, er der i 2007 iværksat en række yderligere store undersøgelser (6).

| 85. | Kommissionen er enig i, at der stadig er behov for at udvikle nye metodologiske tilgange for at tage højde for, at rammeprogrammerne ændrer karakter. Kommissionen støtter og vil blive ved med at støtte denne metodologiske udvikling. |
| --- | --- |

85.

Kommissionen er enig i, at der stadig er behov for at udvikle nye metodologiske tilgange for at tage højde for, at rammeprogrammerne ændrer karakter. Kommissionen støtter og vil blive ved med at støtte denne metodologiske udvikling.

| 86. | Da de spørgsmål, som var medtaget i referencerammerne for femårsevalueringen i 2004 (1999-2003), kun var vejledende, kunne panelet frit vælge, hvilke områder det ønskede at fokusere på, og fastlægge sine arbejdsmetoder. Panelets medlemmer har fremsat bemærkninger om, at det var en glimrende evaluering (7). |
| --- | --- |

86.

Da de spørgsmål, som var medtaget i referencerammerne for femårsevalueringen i 2004 (1999-2003), kun var vejledende, kunne panelet frit vælge, hvilke områder det ønskede at fokusere på, og fastlægge sine arbejdsmetoder. Panelets medlemmer har fremsat bemærkninger om, at det var en glimrende evaluering (7).

| 87. | Selve arten af et forskningsprogram, som er præget af usikkerhed, betyder, at der er grænser for, i hvilket omfang man kan fastsætte kvantificerbare mål. |
| --- | --- |

87.

Selve arten af et forskningsprogram, som er præget af usikkerhed, betyder, at der er grænser for, i hvilket omfang man kan fastsætte kvantificerbare mål.

| 90. | I 2007 relancerede Kommissionen sit »europæiske FTU-evalueringsnetværk«, som består af embedsmænd fra medlemsstaterne og evalueringseksperter, og som den har planer om at bruge til at fremme større sammenhæng i EU's evalueringsaktiviteter vedrørende forskning, specielt med hensyn til konsekvensanalyserne på medlemsstatsniveau. |
| --- | --- |

90.

I 2007 relancerede Kommissionen sit »europæiske FTU-evalueringsnetværk«, som består af embedsmænd fra medlemsstaterne og evalueringseksperter, og som den har planer om at bruge til at fremme større sammenhæng i EU's evalueringsaktiviteter vedrørende forskning, specielt med hensyn til konsekvensanalyserne på medlemsstatsniveau.

| 91. | Kommissionen vil overveje muligheden af en ny manual for evaluering af rammeprogrammerne under hensyntagen til de seneste eksempler (8). |
| --- | --- |

91.

Kommissionen vil overveje muligheden af en ny manual for evaluering af rammeprogrammerne under hensyntagen til de seneste eksempler (8).

| 92. | Procedurerne for rapportering om projekterne blev revideret under 6. RP og vil blive yderligere forbedret i forbindelse med 7. RP (se svaret på punkt 72). |
| --- | --- |

92.

Procedurerne for rapportering om projekterne blev revideret under 6. RP og vil blive yderligere forbedret i forbindelse med 7. RP (se svaret på punkt 72).

| 93. | På rammeprogramniveau er Kommissionen i gang med at udvikle et tilsynssystem for 7. RP, der sigter mod en mere sammenhængende og systematisk brug af resultatindikatorer (se svaret på punkt 30).
  »Forskningsgeneraldirektoraterne« er i gang med at udvikle et nyt it-system for 7. RP med støtte fra Generaldirektoratet for Informationsteknologi. Denne forbedrede it-støtte skal give et mere solidt grundlag for evaluering og tilsyn. |
| --- | --- |

93.

På rammeprogramniveau er Kommissionen i gang med at udvikle et tilsynssystem for 7. RP, der sigter mod en mere sammenhængende og systematisk brug af resultatindikatorer (se svaret på punkt 30).

»Forskningsgeneraldirektoraterne« er i gang med at udvikle et nyt it-system for 7. RP med støtte fra Generaldirektoratet for Informationsteknologi. Denne forbedrede it-støtte skal give et mere solidt grundlag for evaluering og tilsyn.

| 94. | Kommissionen er enig med Revisionsretten med hensyn til problemet med rapporteringsbyrden og tog specifikt hensyn til dette, da den fastlagde rapporteringskravene for 7. RP (se svaret på punkt 72). |
| --- | --- |

94.

Kommissionen er enig med Revisionsretten med hensyn til problemet med rapporteringsbyrden og tog specifikt hensyn til dette, da den fastlagde rapporteringskravene for 7. RP (se svaret på punkt 72).

| 95. | Kommissionen har iværksat bestræbelser på at udnytte eksisterende og nye datakilder i forbindelse med evaluering og tilsyn (se svaret på punkt 72). |
| --- | --- |

95.

Kommissionen har iværksat bestræbelser på at udnytte eksisterende og nye datakilder i forbindelse med evaluering og tilsyn (se svaret på punkt 72).

| 96. | I 7. RP er der en specifik aktivitet under tema 8 (Samfundsvidenskaber og humaniora), der beskæftiger sig med innovative tilgange til evaluering og tilsyn. |
| --- | --- |

96.

I 7. RP er der en specifik aktivitet under tema 8 (Samfundsvidenskaber og humaniora), der beskæftiger sig med innovative tilgange til evaluering og tilsyn.

| 97. | Kommissionen har i 2007 relanceret sit europæiske FTU-netværk (se svarene på punkt 70-71 og 90), som den har til hensigt at bruge til at fremme større sammenhæng i EU's evalueringsaktiviteter vedrørende forskning, specielt medlemsstaternes konsekvensanalyser.
  Kommissionen har også til hensigt at fastholde sin førerstilling med hensyn til støtte til internationalt netværkssamarbejde og udveksling af praksis for forskningsevaluering gennem workshops og andre arrangementer. |
| --- | --- |

97.

Kommissionen har i 2007 relanceret sit europæiske FTU-netværk (se svarene på punkt 70-71 og 90), som den har til hensigt at bruge til at fremme større sammenhæng i EU's evalueringsaktiviteter vedrørende forskning, specielt medlemsstaternes konsekvensanalyser.

Kommissionen har også til hensigt at fastholde sin førerstilling med hensyn til støtte til internationalt netværkssamarbejde og udveksling af praksis for forskningsevaluering gennem workshops og andre arrangementer.

| 99. | Tidspunkterne for evalueringerne afhænger af de krav, der er fastsat i de basisretsakter, som Europa-Parlamentet og Rådet har vedtaget. Kommissionen erkender, at man ved mindre om virkningerne på længere sigt, og den er enig i, at der bør gøres en større indsats på dette område. |
| --- | --- |

99.

Tidspunkterne for evalueringerne afhænger af de krav, der er fastsat i de basisretsakter, som Europa-Parlamentet og Rådet har vedtaget. Kommissionen erkender, at man ved mindre om virkningerne på længere sigt, og den er enig i, at der bør gøres en større indsats på dette område.

| 100. | Kommissionen er enig i, at femårsevalueringerne fokuserede mere på kortsigtede end langsigtede spørgsmål. Det skyldes en række faktorer, herunder at de eksterne interessenter, såsom Europa-Parlamentet og Rådet, ønsker hurtig feedback om resultaterne af rammeprogrammerne, problemerne med at fastslå, om resultaterne kan tilskrives forskningen på længere sigt, og det fokus, som de uafhængige paneler, der foretager evalueringerne, har valgt. Kommissionen erkender imidlertid, at der må lægges større vægt på at vurdere de langsigtede virkninger. |
| --- | --- |

100.

Kommissionen er enig i, at femårsevalueringerne fokuserede mere på kortsigtede end langsigtede spørgsmål. Det skyldes en række faktorer, herunder at de eksterne interessenter, såsom Europa-Parlamentet og Rådet, ønsker hurtig feedback om resultaterne af rammeprogrammerne, problemerne med at fastslå, om resultaterne kan tilskrives forskningen på længere sigt, og det fokus, som de uafhængige paneler, der foretager evalueringerne, har valgt. Kommissionen erkender imidlertid, at der må lægges større vægt på at vurdere de langsigtede virkninger.

| 108. | Kommissionen er i gang med at planlægge de vigtigste evalueringsaktiviteter under 7. RP og vil tage nøje hensyn til Revisionsrettens anbefaling. Kommissionen erkender, at man ved mindre om virkningerne på længere sigt, og den er enig i, at der bør gøres en større indsats på dette område. |
| --- | --- |

108.

Kommissionen er i gang med at planlægge de vigtigste evalueringsaktiviteter under 7. RP og vil tage nøje hensyn til Revisionsrettens anbefaling. Kommissionen erkender, at man ved mindre om virkningerne på længere sigt, og den er enig i, at der bør gøres en større indsats på dette område.

| 109. | Som Revisionsretten anfører i punkt 107, opsummerer Kommissionen alle resultaterne og de foranstaltninger, som er truffet i forbindelse med forskningsevalueringerne, i sin årlige evalueringsoversigt. Kommissionen bestræber sig på at skabe fuld åbenhed omkring sit evalueringsarbejde og vil følge Revisionsrettens anbefaling om at tage de midler, der bruges til at meddele og formidle resultaterne, op til fornyet overvejelse. |
| --- | --- |

109.

Som Revisionsretten anfører i punkt 107, opsummerer Kommissionen alle resultaterne og de foranstaltninger, som er truffet i forbindelse med forskningsevalueringerne, i sin årlige evalueringsoversigt. Kommissionen bestræber sig på at skabe fuld åbenhed omkring sit evalueringsarbejde og vil følge Revisionsrettens anbefaling om at tage de midler, der bruges til at meddele og formidle resultaterne, op til fornyet overvejelse.

| 110-111. | Kommissionen er enig med Revisionsretten i, at evalueringen af forskning, specielt når det drejer sig om et så omfattende program som rammeprogrammet, udgør en stor udfordring.
  Den skal bemærke, at der er foretaget meget store forbedringer i systemet i de sidste 25 år, og at systemet generelt har været effektivt for de politiske beslutningstagere, forskningslederne og andre interessenter. |
| --- | --- |

110-111.

Kommissionen er enig med Revisionsretten i, at evalueringen af forskning, specielt når det drejer sig om et så omfattende program som rammeprogrammet, udgør en stor udfordring.

Den skal bemærke, at der er foretaget meget store forbedringer i systemet i de sidste 25 år, og at systemet generelt har været effektivt for de politiske beslutningstagere, forskningslederne og andre interessenter.

| 112. | Kommissionen glæder sig over Revisionsrettens bemærkning om, at de generaldirektorater, der gennemfører forskningsrammeprogrammerne, overholder Kommissionens krav, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering.
  Der er foretaget betydelige ændringer i evalueringen af rammeprogrammerne, herunder en større omstrukturering i forbindelse med 7. RP, som beskrevet i den strategi, der indgår i konsekvensanalysen (SEK(2005) 430). |
| --- | --- |

112.

Kommissionen glæder sig over Revisionsrettens bemærkning om, at de generaldirektorater, der gennemfører forskningsrammeprogrammerne, overholder Kommissionens krav, herunder kravene i meddelelserne fra 2000 og 2002 om evaluering.

Der er foretaget betydelige ændringer i evalueringen af rammeprogrammerne, herunder en større omstrukturering i forbindelse med 7. RP, som beskrevet i den strategi, der indgår i konsekvensanalysen (SEK(2005) 430).

| 113. | Med hensyn til relevansen og nytten af evalueringerne kan Kommissionen pege på den generelt positive feedback, den har modtaget, specielt i forbindelse med en række vigtige evalueringer, som er foretaget de seneste år, såsom femårsevalueringen i 2004 (1999-2003). Resultaterne af femårsevalueringen blev formidlet til brede kredse, bl.a. blev de fremlagt for vigtige organer, såsom Europa-Parlamentet, Rådet, CREST og programudvalget for rammeprogrammet. Da det var et obligatorisk krav, at denne evaluering skulle foretages, inden Kommissionen fremlagde forslaget til et nyt rammeprogram (i dette tilfælde 7. RP), beviste den senere vedtagelse af 7. RP, at evalueringen generelt var acceptabel.
  Det betyder ikke, at der ikke kan ske forbedringer, og Kommissionen erkender fuldt ud, at det er nødvendigt at foretage velgennemtænkte ændringer, som bygger på elementerne i den nuværende tilgang, der allerede fungerer godt. |
| --- | --- |

113.

Med hensyn til relevansen og nytten af evalueringerne kan Kommissionen pege på den generelt positive feedback, den har modtaget, specielt i forbindelse med en række vigtige evalueringer, som er foretaget de seneste år, såsom femårsevalueringen i 2004 (1999-2003). Resultaterne af femårsevalueringen blev formidlet til brede kredse, bl.a. blev de fremlagt for vigtige organer, såsom Europa-Parlamentet, Rådet, CREST og programudvalget for rammeprogrammet. Da det var et obligatorisk krav, at denne evaluering skulle foretages, inden Kommissionen fremlagde forslaget til et nyt rammeprogram (i dette tilfælde 7. RP), beviste den senere vedtagelse af 7. RP, at evalueringen generelt var acceptabel.

Det betyder ikke, at der ikke kan ske forbedringer, og Kommissionen erkender fuldt ud, at det er nødvendigt at foretage velgennemtænkte ændringer, som bygger på elementerne i den nuværende tilgang, der allerede fungerer godt.

| 114. | Kommissionen glæder sig over, at Revisionsretten anerkender betydningen af evaluering og tilsyn, og den vil på grundlag af de store forbedringer, som allerede er foretaget, fortsætte med at opdatere sin nuværende praksis i lyset af de nye politiske og praktiske forhold. |
| --- | --- |

114.

Kommissionen glæder sig over, at Revisionsretten anerkender betydningen af evaluering og tilsyn, og den vil på grundlag af de store forbedringer, som allerede er foretaget, fortsætte med at opdatere sin nuværende praksis i lyset af de nye politiske og praktiske forhold.

| 115. | Kommissionen bestræber sig allerede på at sikre større klarhed i interventionslogikken for programmerne på grundlag af de fremskridt, som er indarbejdet i lovgivningen for 7. RP og konsekvensanalyserne, og den vil tage hensyn til Revisionsrettens anbefaling i forbindelse med fremtidige forslag til lovgivning. |
| --- | --- |

115.

Kommissionen bestræber sig allerede på at sikre større klarhed i interventionslogikken for programmerne på grundlag af de fremskridt, som er indarbejdet i lovgivningen for 7. RP og konsekvensanalyserne, og den vil tage hensyn til Revisionsrettens anbefaling i forbindelse med fremtidige forslag til lovgivning.

| 116. | Kommissionen er enig i, at der med udgangspunkt i de store forbedringer, som allerede er foretaget i evalueringen af rammeprogrammerne, bør foretages yderligere forbedringer, herunder tættere samarbejde på operationelt plan mellem de involverede tjenestegrene. Kommissionen vil fortsætte sine bestræbelser på at støtte udviklingen i evalueringsmetodologien. |
| --- | --- |

116.

Kommissionen er enig i, at der med udgangspunkt i de store forbedringer, som allerede er foretaget i evalueringen af rammeprogrammerne, bør foretages yderligere forbedringer, herunder tættere samarbejde på operationelt plan mellem de involverede tjenestegrene. Kommissionen vil fortsætte sine bestræbelser på at støtte udviklingen i evalueringsmetodologien.

| 117. | Med hensyn til de organisatoriske rammer mener Kommissionen, at:






  — | (første led) panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering. Det er dog mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus |
| --- | --- | --- |

117.

Med hensyn til de organisatoriske rammer mener Kommissionen, at:

—

(første led) panelerne bør indkaldes så tidligt som muligt for at støtte en specifik evaluering. Det er dog mere sandsynligt, at specifikke paneler, der indkaldes til bestemte formål, vil give resultater i form af klarhed og fokus

| — | (andet led) koordineringen mellem de generaldirektorater, der gennemfører rammeprogrammerne, skal styrkes. Ud over den nye evalueringsstrategi for 7. RP vil dette blive gjort ved at bruge specifikke koordinationsstrukturer, som skal supplere Kommissionens interne »FTU-evalueringsnetværk«, snarere end ved at oprette et fælles evalueringskontor. |
| --- | --- |

—

(andet led) koordineringen mellem de generaldirektorater, der gennemfører rammeprogrammerne, skal styrkes. Ud over den nye evalueringsstrategi for 7. RP vil dette blive gjort ved at bruge specifikke koordinationsstrukturer, som skal supplere Kommissionens interne »FTU-evalueringsnetværk«, snarere end ved at oprette et fælles evalueringskontor.

---

(1)  Meddelelse fra Kommissionen til det Europæiske Råds Forårsmøde — Gennemførelsen af den fornyede Lissabon-strategi for vækst og beskæftigelse (KOM(2006) 816).

(2)  For eksempel blev Kommissionens forslag til 7. RP udarbejdet på grundlag af en detaljeret forudgående konsekvensanalyse, der omfattede økonometrisk modellering af de mulige virkninger af forskningsaktiviteterne på spørgsmål som den økonomiske vækst og jobskabelse (se Europa-Kommissionen, arbejdsdokument fra Kommissionens tjenestegrene, »Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)«, SEK(2005) 430. Afgørelserne om 7. RP tilvejebringer en klar struktur, som forbinder mål, rationale og aktiviteter. Desuden fastsætter de specifikke programafgørelser under 7. RP mål, tilgang og aktiviteter.

(3)  »Rammen for kvalitetsvurdering« kan findes på http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Europa-Kommissionen, Generaldirektoratet for Budget, »Evaluating EU Activities — A Practical Guide for the Commission services«, juli 2004, kan findes på http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, »What the Evaluation Record tells us about the Framework Programme Performance«, 2004.

(6)  Generaldirektoratet for Forskning, »Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation«, 2007; Generaldirektoratet for Informationssamfundet og Medier, »Effectiveness of IST-RTD Impacts on the EU Innovation System«, 2007.

(7)  Se C. Mandl, »Evaluating Evaluations or The Case for Action Research«, Austrian Platform Newsletter, nr. 30, juni 2007.

(8)  Se for eksempel Europa-Kommissionen, Det Fælles Forskningscenter, »Assessing the Socio-Economic Impact of RTD-Policies« (EPUB), 2002, og University of Manchester, »Assessing the Socio-economic Impacts of the Framework Programme« (ASIF), 2002; begge kan findes på http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Disse rapporter er blevet udsendt til brede kredse og er blevet stillet til rådighed for de kontrahenter og eksperter, der har foretaget evalueringsundersøgelser på Kommissionens vegne.

---