# Europeiska unionens C 26/2008

| | ISSN 1725-2504 |
| --- | --- |
| Europeiska unionens
  officiella tidning | C 26 |
| | |
| Svensk utgåva | Meddelanden och upplysningar | 51 årgången30 januari 2008 |

ISSN 1725-2504

Europeiska unionens

officiella tidning

C 26

Svensk utgåva

Meddelanden och upplysningar

51 årgången30 januari 2008

---

| Informationsnummer | Innehållsförteckning | Sida |
| --- | --- | --- |
| | IV   Upplysningar |
| | UPPLYSNINGAR FRÅN EUROPEISKA UNIONENS INSTITUTIONER OCH ORGAN |
| | Revisionsrätten |
| 2008/C 026/01 | Särskild rapport nr 9/2007 om utvärderingen av EU:s ramprogram för forskning, teknisk utveckling och demonstration (FoTU) – skulle kommissionens tillvägagångssätt kunna förbättras? samt kommissionens svar | 1 |

Informationsnummer

Innehållsförteckning

Sida

IV   Upplysningar

UPPLYSNINGAR FRÅN EUROPEISKA UNIONENS INSTITUTIONER OCH ORGAN

Revisionsrätten

2008/C 026/01

Särskild rapport nr 9/2007 om utvärderingen av EU:s ramprogram för forskning, teknisk utveckling och demonstration (FoTU) – skulle kommissionens tillvägagångssätt kunna förbättras? samt kommissionens svar

1

| SV | |
| --- | --- |

SV

---

IV Upplysningar

UPPLYSNINGAR FRÅN EUROPEISKA UNIONENS INSTITUTIONER OCH ORGAN

Revisionsrätten

| 30.1.2008 | SV | Europeiska unionens officiella tidning | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

SV

Europeiska unionens officiella tidning

C 26/1

---

SÄRSKILD RAPPORT NR 9/2007

om utvärderingen av EU:s ramprogram för forskning, teknisk utveckling och demonstration (FoTU) – skulle kommissionens tillvägagångssätt kunna förbättras? samt kommissionens svar

(i enlighet med artikel 248.4 andra stycket i EG-fördraget)

(2008/C 26/01)

INNEHÅLLSFÖRTECKNING

| I–V | SAMMANFATTNING |
| --- | --- |

I–V

| 1–14 | INLEDNING |
| --- | --- |

1–14

| 1–7 | Europeiska unionens roll när det gäller stöd till FoTU-verksamhet |
| --- | --- |

1–7

| 8–14 | Utvärdering och övervakning av ramprogram |
| --- | --- |

8–14

| 15–18 | REVISIONENS OMFATTNING OCH INRIKTNING SAMT REVISIONSMETOD |
| --- | --- |

15–18

| 19–109 | GRANSKNINGSIAKTTAGELSER |
| --- | --- |

19–109

| 19–37 | Interventionslogik, fastställande av mål och resultatindikatorer |
| --- | --- |

19–37

| 38–49 | Utvärderingsstrategi |
| --- | --- |

38–49

| 50–68 | Organisering av utvärderingen av ramprogrammen |
| --- | --- |

50–68

| 69–97 | Utvärderingsmetoder och utvärderingstekniker |
| --- | --- |

69–97

| 98–109 | Spridning och användning av utvärderingsresultat |
| --- | --- |

98–109

| 110–118 | ÖVERGRIPANDE SLUTSATS |
| --- | --- |

110–118

Bilaga I: Att mäta effekter och resultat av offentliga FoTU-interventioner

Bilaga II: Bestämmelser om utvärdering och övervakning i lagstiftningsbesluten (fjärde–sjunde ramprogrammet)

Bilaga III: Största skillnaderna i efterhandsutvärdering av forskningsprogram mellan EU (fjärde–sjätte ramprogrammet), USA och Kanada

Bilaga IV: Tänkbar panelstruktur för sjunde ramprogrammet för forskning

Kommissionens svar

SAMMANFATTNING

| I. | Gemenskapens FoTU-ramprogram är den största offentliga källan till finansiering av forskning i Europeiska unionen. Kommissionen ansvarar för förvaltningen av ramprogrammen och bedömningen av deras resultat. |
| --- | --- |

I.

Gemenskapens FoTU-ramprogram är den största offentliga källan till finansiering av forskning i Europeiska unionen. Kommissionen ansvarar för förvaltningen av ramprogrammen och bedömningen av deras resultat.

| II. | Revisionen omfattade de arrangemang för övervakning och utvärdering som funnits sedan 1995 för de tre senaste programperioderna (fjärde, femte respektive sjätte ramprogrammet) och blickar även framåt på sjunde ramprogrammet (2007–2013). Revisionen genomfördes tillsammans med Eftas revisionskommitté och med stöd av externa experter. |
| --- | --- |

II.

Revisionen omfattade de arrangemang för övervakning och utvärdering som funnits sedan 1995 för de tre senaste programperioderna (fjärde, femte respektive sjätte ramprogrammet) och blickar även framåt på sjunde ramprogrammet (2007–2013). Revisionen genomfördes tillsammans med Eftas revisionskommitté och med stöd av externa experter.

| III. | Revisionen gällde frågan om kommissionens tillvägagångssätt vid bedömningen av ramprogrammens resultat var lämpligt. I detta sammanhang kontrollerade revisionsrätten om kommissionen uppfyllde lagstadgade krav på utvärdering och undersökte om dess system för utvärdering och övervakning uppfyllde berörda parters förväntningar. Revisionsrättens frågor gällde i synnerhet om






  i) | det fanns en underliggande interventionslogik för ramprogrammen och de program som ingår i dem som kunde utgöra en stabil grund för utvärdering och övervakning, |
| --- | --- | --- |

III.

Revisionen gällde frågan om kommissionens tillvägagångssätt vid bedömningen av ramprogrammens resultat var lämpligt. I detta sammanhang kontrollerade revisionsrätten om kommissionen uppfyllde lagstadgade krav på utvärdering och undersökte om dess system för utvärdering och övervakning uppfyllde berörda parters förväntningar. Revisionsrättens frågor gällde i synnerhet om

i)

det fanns en underliggande interventionslogik för ramprogrammen och de program som ingår i dem som kunde utgöra en stabil grund för utvärdering och övervakning,

| ii) | kommissionen hade fastställt en utvärderingsstrategi för ramprogrammen, |
| --- | --- |

ii)

kommissionen hade fastställt en utvärderingsstrategi för ramprogrammen,

| iii) | kommissionens utvärderingssystem för ramprogrammen hade en organisatorisk struktur som garanterade att utvärderingen samordnades korrekt, hade tillräckliga resurser och uppfattades som tillräckligt oberoende av berörda parter, |
| --- | --- |

iii)

kommissionens utvärderingssystem för ramprogrammen hade en organisatorisk struktur som garanterade att utvärderingen samordnades korrekt, hade tillräckliga resurser och uppfattades som tillräckligt oberoende av berörda parter,

| iv) | de metoder som användes för utvärdering var tillfredsställande, |
| --- | --- |

iv)

de metoder som användes för utvärdering var tillfredsställande,

| v) | utvärderings- och övervakningsverksamheterna bidrog med information och analyser som kunde användas för att förbättra pågående program och förbereda framtida ramprogram, |
| --- | --- |

v)

utvärderings- och övervakningsverksamheterna bidrog med information och analyser som kunde användas för att förbättra pågående program och förbereda framtida ramprogram,

| IV. | Revisionsrätten kom fram till följande granskningsresultat och slutsatser:






  i) | Avsaknaden av en uttalad interventionslogik samt förekomsten av dåligt definierade programmål och bristfälliga prestationsmått påverkade övervakningens och utvärderingens ändamålsenlighet negativt. |
| --- | --- | --- |

IV.

Revisionsrätten kom fram till följande granskningsresultat och slutsatser:

i)

Avsaknaden av en uttalad interventionslogik samt förekomsten av dåligt definierade programmål och bristfälliga prestationsmått påverkade övervakningens och utvärderingens ändamålsenlighet negativt.

| ii) | Avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen som fastställts gemensamt av de ”forskningsgeneraldirektorat” som genomför ramprogrammen ledde till inkonsekventa tillvägagångssätt vid kommissionens avdelningar. Detta illustreras i synnerhet av att viktiga delar av ramprogrammen inte utvärderades tillräckligt. |
| --- | --- |

ii)

Avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen som fastställts gemensamt av de ”forskningsgeneraldirektorat” som genomför ramprogrammen ledde till inkonsekventa tillvägagångssätt vid kommissionens avdelningar. Detta illustreras i synnerhet av att viktiga delar av ramprogrammen inte utvärderades tillräckligt.

| iii) | Utvärderingen av ramprogram var decentraliserad, de befintliga samordningsmekanismerna vid de generaldirektorat som genomför ramprogrammen var inte ändamålsenliga och kommissionens centrala avdelningar hade ingen tillsynsroll. Generellt sett uppfyllde dock ”forskningsgeneraldirektoraten” kommissionens formella krav på utvärdering. Användningen av paneler bestående av externa högnivåexperter utsedda av kommissionen för stora utvärderingar passade väl i gemenskapskontexten. Dessa temporära paneler involverades dock inte tillräckligt tidigt i processen för att kunna påverka faktainsamlingen och hade endast begränsade möjligheter att följa upp relevanta frågor över tiden. Genom att man endast använde en övergripande panel för ramprogrammen (utöver en panel för ett särskilt program) fästes inte tillräcklig uppmärksamhet vid de specifika frågor som hör samman med de olika vetenskapliga områdena inom ramprogrammen. |
| --- | --- |

iii)

Utvärderingen av ramprogram var decentraliserad, de befintliga samordningsmekanismerna vid de generaldirektorat som genomför ramprogrammen var inte ändamålsenliga och kommissionens centrala avdelningar hade ingen tillsynsroll. Generellt sett uppfyllde dock ”forskningsgeneraldirektoraten” kommissionens formella krav på utvärdering. Användningen av paneler bestående av externa högnivåexperter utsedda av kommissionen för stora utvärderingar passade väl i gemenskapskontexten. Dessa temporära paneler involverades dock inte tillräckligt tidigt i processen för att kunna påverka faktainsamlingen och hade endast begränsade möjligheter att följa upp relevanta frågor över tiden. Genom att man endast använde en övergripande panel för ramprogrammen (utöver en panel för ett särskilt program) fästes inte tillräcklig uppmärksamhet vid de specifika frågor som hör samman med de olika vetenskapliga områdena inom ramprogrammen.

| iv) | Det gavs inte tillräckliga riktlinjer när det gällde metoder, utvärderarna hade svårt att samla in relevanta uppgifter och det fanns inga utvärderingsstudier om ramprogrammens utfall och effekter på lång sikt, vilket det fanns om kortsiktiga aspekter av programgenomförandet. |
| --- | --- |

iv)

Det gavs inte tillräckliga riktlinjer när det gällde metoder, utvärderarna hade svårt att samla in relevanta uppgifter och det fanns inga utvärderingsstudier om ramprogrammens utfall och effekter på lång sikt, vilket det fanns om kortsiktiga aspekter av programgenomförandet.

| v) | Som ett resultat av det ovanstående, och eftersom utvärderingarna ofta gjordes för tidigt för att man skulle kunna behandla de mest relevanta frågorna, var kommissionens utvärderingssystem för ramprogrammen av begränsat värde för beslutsfattare, berörda parter och till och med för kommissionen själv. När allt kommer omkring är lite känt om uppnåendet av programmål och resultaten av ramprogrammen. |
| --- | --- |

v)

Som ett resultat av det ovanstående, och eftersom utvärderingarna ofta gjordes för tidigt för att man skulle kunna behandla de mest relevanta frågorna, var kommissionens utvärderingssystem för ramprogrammen av begränsat värde för beslutsfattare, berörda parter och till och med för kommissionen själv. När allt kommer omkring är lite känt om uppnåendet av programmål och resultaten av ramprogrammen.

| V. | Revisionsrätten rekommenderar följande:






  i) | I framtida lagstiftning bör interventionslogiken anges tydligt. Bakomliggande antaganden bör förklaras, kopplingen mellan vetenskapliga och socioekonomiska mål klargöras och lämpliga resultatindikatorer utarbetas. |
| --- | --- | --- |

V.

Revisionsrätten rekommenderar följande:

i)

I framtida lagstiftning bör interventionslogiken anges tydligt. Bakomliggande antaganden bör förklaras, kopplingen mellan vetenskapliga och socioekonomiska mål klargöras och lämpliga resultatindikatorer utarbetas.

| ii) | En heltäckande utvärderingsstrategi bör utarbetas (och fastställas gemensamt) av de generaldirektorat som genomför ramprogram. Framförallt bör detta leda till ett enhetligt tillvägagångssätt när det gäller den miniminivå vid vilken en detaljerad utvärdering måste ske, så att hänsyn tas till varje vetenskapligt områdes särskilda förutsättningar. |
| --- | --- |

ii)

En heltäckande utvärderingsstrategi bör utarbetas (och fastställas gemensamt) av de generaldirektorat som genomför ramprogram. Framförallt bör detta leda till ett enhetligt tillvägagångssätt när det gäller den miniminivå vid vilken en detaljerad utvärdering måste ske, så att hänsyn tas till varje vetenskapligt områdes särskilda förutsättningar.

| iii) | Man bör överväga att inrätta ett gemensamt utvärderingskontor för att samordna ”forskningsgeneraldirektoratens” utvärderingsverksamhet för ramprogrammet som helhet och att skapa ett system av paneler (och underpaneler) bestående av externa experter. Dessa paneler bör inrättas så tidigt att de kan ge effektivt stöd till kommissionen och fortsätta med detta under och efter programperioden. |
| --- | --- |

iii)

Man bör överväga att inrätta ett gemensamt utvärderingskontor för att samordna ”forskningsgeneraldirektoratens” utvärderingsverksamhet för ramprogrammet som helhet och att skapa ett system av paneler (och underpaneler) bestående av externa experter. Dessa paneler bör inrättas så tidigt att de kan ge effektivt stöd till kommissionen och fortsätta med detta under och efter programperioden.

| iv) | Det bör noggrant analyseras vilka uppgifter som krävs för övervakning och utvärdering, och andra befintliga uppgiftskällor bör användas i större utsträckning. Kommissionen bör också rationalisera rapporteringskraven för deltagarna. Slutligen bör kommissionen utarbeta en heltäckande handbok för utvärdering av forskningsramprogram och utveckla ett bredare spektrum av metoder och tekniker som ska användas vid utvärdering på detta område. |
| --- | --- |

iv)

Det bör noggrant analyseras vilka uppgifter som krävs för övervakning och utvärdering, och andra befintliga uppgiftskällor bör användas i större utsträckning. Kommissionen bör också rationalisera rapporteringskraven för deltagarna. Slutligen bör kommissionen utarbeta en heltäckande handbok för utvärdering av forskningsramprogram och utveckla ett bredare spektrum av metoder och tekniker som ska användas vid utvärdering på detta område.

| v) | Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas de datum som anges i lagstiftningen för sjunde ramprogrammet och klargöra hur utvärderingar kan användas för att anpassa program (”läroprogram”) och hur de kan bidra till politiska beslut. |
| --- | --- |

v)

Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas de datum som anges i lagstiftningen för sjunde ramprogrammet och klargöra hur utvärderingar kan användas för att anpassa program (”läroprogram”) och hur de kan bidra till politiska beslut.

INLEDNING

Europeiska unionens roll när det gäller stöd till FoTU-verksamhet

| 1. | Forskning och teknisk utveckling (FoTU (1)) är den viktigaste motorn för vetenskapliga och tekniska framsteg och innovation och som sådan en viktig bidragande faktor till förbättringar av levnadsstandarden. Offentliga interventioner inom FoTU motiveras i allmänhet som en åtgärd för att korrigera ”marknadsbrister” där offentligt stöd minskar osäkerheten och bidrar med investeringar när forskningen är för det allmänna bästa eller när det förekommer viktiga externaliteter. |
| --- | --- |

1.

Forskning och teknisk utveckling (FoTU (1)) är den viktigaste motorn för vetenskapliga och tekniska framsteg och innovation och som sådan en viktig bidragande faktor till förbättringar av levnadsstandarden. Offentliga interventioner inom FoTU motiveras i allmänhet som en åtgärd för att korrigera ”marknadsbrister” där offentligt stöd minskar osäkerheten och bidrar med investeringar när forskningen är för det allmänna bästa eller när det förekommer viktiga externaliteter.

| 2. | I artikel 163 i fördraget fastställs gemenskapens roll när det gäller att stödja FoTU, och det anges att ”gemenskapen skall ha som mål att stärka den vetenskapliga och teknologiska grunden för gemenskapsindustrin, att främja utvecklingen av dennas internationella konkurrensförmåga och att underlätta alla forskningsinsatser som anses nödvändiga ...”. I artiklarna 164–173 fastställs vilka insatser som ska genomföras i detta syfte samt omfattningen och genomförandet av de fleråriga ramprogrammen för forskning och teknisk utveckling. Kommissionen ansvarar för att lägga fram förslag till ramprogram medan besluten om ramprogrammen och reglerna för deltagande och spridning antas genom medbeslutandeförfarandet av Europaparlamentet och rådet. Rådet antar ensamt de särskilda programmen. Ramprogrammen genomförs gemensamt av sex generaldirektorat (GD), de så kallade ”forskningsgeneraldirektoraten” (2). |
| --- | --- |

2.

I artikel 163 i fördraget fastställs gemenskapens roll när det gäller att stödja FoTU, och det anges att ”gemenskapen skall ha som mål att stärka den vetenskapliga och teknologiska grunden för gemenskapsindustrin, att främja utvecklingen av dennas internationella konkurrensförmåga och att underlätta alla forskningsinsatser som anses nödvändiga ...”. I artiklarna 164–173 fastställs vilka insatser som ska genomföras i detta syfte samt omfattningen och genomförandet av de fleråriga ramprogrammen för forskning och teknisk utveckling. Kommissionen ansvarar för att lägga fram förslag till ramprogram medan besluten om ramprogrammen och reglerna för deltagande och spridning antas genom medbeslutandeförfarandet av Europaparlamentet och rådet. Rådet antar ensamt de särskilda programmen. Ramprogrammen genomförs gemensamt av sex generaldirektorat (GD), de så kallade ”forskningsgeneraldirektoraten” (2).

| 3. | I det breda spektrum av politiska åtgärder som genomförs i Europeiska unionen för att stärka innovation och konkurrenskraft är ramprogrammen det viktigaste finansiella instrumentet som bidrar till Lissabonstrategin (3) och Barcelonamålet (4) på gemenskapsnivå. |
| --- | --- |

3.

I det breda spektrum av politiska åtgärder som genomförs i Europeiska unionen för att stärka innovation och konkurrenskraft är ramprogrammen det viktigaste finansiella instrumentet som bidrar till Lissabonstrategin (3) och Barcelonamålet (4) på gemenskapsnivå.

Image

| 4. | Genom ramprogrammen för forskning bidrar gemenskapen med medel till forskare i Europeiska unionen, associerade länder och internationella organisationer. Ramprogrammens budgetar har ökat betydligt under årens lopp och uppgår till 7 217 miljoner euro per år för sjunde ramprogrammet jämfört med 2 761 miljoner för fjärde ramprogrammet (se figur 1). I fråga om budgetanslag är ramprogrammen det största området med direkt centraliserad förvaltning inom kommissionen (5). |
| --- | --- |

4.

Genom ramprogrammen för forskning bidrar gemenskapen med medel till forskare i Europeiska unionen, associerade länder och internationella organisationer. Ramprogrammens budgetar har ökat betydligt under årens lopp och uppgår till 7 217 miljoner euro per år för sjunde ramprogrammet jämfört med 2 761 miljoner för fjärde ramprogrammet (se figur 1). I fråga om budgetanslag är ramprogrammen det största området med direkt centraliserad förvaltning inom kommissionen (5).

| 5. | Ramprogrammen för forskning skiljer sig från många nationella program genom att de omfattar både grundforskning och tillämpad forskning där industrin och offentliga forskningsorganisationer deltar (6). De består av särskilda program (och delprogram) som behandlar breda vetenskapsfält. Programmen består i typfallet av ett antal områden som är koncentrerade på mer specifika vetenskapliga sektorer. Dessa områden genomförs sedan i form av projekt (så kallade indirekta åtgärder) efter ansökningsomgångar. På detta sätt finansieras hundratals enskilda projekt per område. |
| --- | --- |

5.

Ramprogrammen för forskning skiljer sig från många nationella program genom att de omfattar både grundforskning och tillämpad forskning där industrin och offentliga forskningsorganisationer deltar (6). De består av särskilda program (och delprogram) som behandlar breda vetenskapsfält. Programmen består i typfallet av ett antal områden som är koncentrerade på mer specifika vetenskapliga sektorer. Dessa områden genomförs sedan i form av projekt (så kallade indirekta åtgärder) efter ansökningsomgångar. På detta sätt finansieras hundratals enskilda projekt per område.

| 6. | Ramprogrammens sammanlagda andel av den totala offentliga finansieringen av FoTU inom Europeiska unionen och dess medlemsstater ligger mellan 4 och 5 %. Dess inverkan på vilken typ av forskningsverksamhet som bedrivs inom Europa är dock betydligt större. Detta beror på att gemenskapsbidraget i allmänhet endast utgör en del av den totala finansieringen av ett projekt. Dessutom måste forskare när de ansöker om medel visa att deras projekt är inriktade på de mål som specificeras i ansökningsomgångarna. På så sätt skapar ramprogrammen incitament för att rikta FoTU-verksamheterna mot särskilda EU-mål. |
| --- | --- |

6.

Ramprogrammens sammanlagda andel av den totala offentliga finansieringen av FoTU inom Europeiska unionen och dess medlemsstater ligger mellan 4 och 5 %. Dess inverkan på vilken typ av forskningsverksamhet som bedrivs inom Europa är dock betydligt större. Detta beror på att gemenskapsbidraget i allmänhet endast utgör en del av den totala finansieringen av ett projekt. Dessutom måste forskare när de ansöker om medel visa att deras projekt är inriktade på de mål som specificeras i ansökningsomgångarna. På så sätt skapar ramprogrammen incitament för att rikta FoTU-verksamheterna mot särskilda EU-mål.

| 7. | På senare år har det gjorts stora ändringar av ramprogrammen på grund av följande faktorer:






  — | Nya politiska utmaningar (Lissabonstrategin och Barcelonamålen, inrättandet av det europeiska området för forskningsverksamhet och den ökade användningen av den öppna samordningsmetoden (7) i forsknings- och innovationspolitiken). |
| --- | --- | --- |

7.

På senare år har det gjorts stora ändringar av ramprogrammen på grund av följande faktorer:

—

Nya politiska utmaningar (Lissabonstrategin och Barcelonamålen, inrättandet av det europeiska området för forskningsverksamhet och den ökade användningen av den öppna samordningsmetoden (7) i forsknings- och innovationspolitiken).

| — | Ramprogrammens ändrade inriktning, från att enbart lösa tekniska problem inom fjärde ramprogrammet och behandla specifika sociala problem i femte ramprogrammet till att uppmuntra samarbete mellan forskningsorganisationer inom det europeiska området för forskningsverksamhet och bidra till skapandet av en kunskapsbaserad ekonomi och ett kunskapssamhälle inom sjätte och sjunde ramprogrammen. |
| --- | --- |

—

Ramprogrammens ändrade inriktning, från att enbart lösa tekniska problem inom fjärde ramprogrammet och behandla specifika sociala problem i femte ramprogrammet till att uppmuntra samarbete mellan forskningsorganisationer inom det europeiska området för forskningsverksamhet och bidra till skapandet av en kunskapsbaserad ekonomi och ett kunskapssamhälle inom sjätte och sjunde ramprogrammen.

| — | Längre programplaneringsperioder (tidigare fyra år, nu sju år för sjunde ramprogrammet i linje med budgetplanen 2007–2013). |
| --- | --- |

—

Längre programplaneringsperioder (tidigare fyra år, nu sju år för sjunde ramprogrammet i linje med budgetplanen 2007–2013).

| — | Fler medlemsstater och deltagande länder. |
| --- | --- |

—

Fler medlemsstater och deltagande länder.

| — | Ökade resurser, särskilt under den innevarande budgetplanen. |
| --- | --- |

—

Ökade resurser, särskilt under den innevarande budgetplanen.

| — | Inrättandet av Europeiska forskningsrådet (EFR) och den delegering av programförvaltningsverksamheten till genomförandeorgan som inleds under sjunde ramprogrammet. |
| --- | --- |

—

Inrättandet av Europeiska forskningsrådet (EFR) och den delegering av programförvaltningsverksamheten till genomförandeorgan som inleds under sjunde ramprogrammet.

| — | Den ökande användningen av storskaliga finansieringsinstrument (t.ex. expertnätverk, integrerade projekt, artikel 169-projekt och gemensamma teknikinitiativ). |
| --- | --- |

—

Den ökande användningen av storskaliga finansieringsinstrument (t.ex. expertnätverk, integrerade projekt, artikel 169-projekt och gemensamma teknikinitiativ).

Utvärdering och övervakning av ramprogram

| 8. | Kommissionen har ansvaret för att genomföra programmen och bedöma resultaten av dem (8). Inom kommissionen är utvärderingen decentraliserad till generaldirektoraten som bistås med stöd och samordning av de centrala avdelningarna (i synnerhet GD Budget och generalsekretariatet). |
| --- | --- |

8.

Kommissionen har ansvaret för att genomföra programmen och bedöma resultaten av dem (8). Inom kommissionen är utvärderingen decentraliserad till generaldirektoraten som bistås med stöd och samordning av de centrala avdelningarna (i synnerhet GD Budget och generalsekretariatet).

| 9. | I denna rapport används kommissionens egen definition av utvärdering, nämligen en bedömning av åtgärder utifrån resultat, effekter och de behov som måste tillfredsställas (9), och övervakning, nämligen tillhandahållande av information om genomförandet av pågående program och projekt för att möta förvaltningsbehov (10). Detta är också hur de två verksamheterna skiljs åt i den gällande lagstiftningen för sjunde ramprogrammet. |
| --- | --- |

9.

I denna rapport används kommissionens egen definition av utvärdering, nämligen en bedömning av åtgärder utifrån resultat, effekter och de behov som måste tillfredsställas (9), och övervakning, nämligen tillhandahållande av information om genomförandet av pågående program och projekt för att möta förvaltningsbehov (10). Detta är också hur de två verksamheterna skiljs åt i den gällande lagstiftningen för sjunde ramprogrammet.

| 10. | I fortsättningen används följande uttryck för att beskriva resultaten av FoTU-verksamhet:






  — | Output är kunskap, varor och tjänster som direkt produceras till följd av den offentliga interventionen (publikationer, konferensrapporter, patent, licenser, prototyper, standarder, utbildade vetenskapsmän etc.). |
| --- | --- | --- |

10.

I fortsättningen används följande uttryck för att beskriva resultaten av FoTU-verksamhet:

—

Output är kunskap, varor och tjänster som direkt produceras till följd av den offentliga interventionen (publikationer, konferensrapporter, patent, licenser, prototyper, standarder, utbildade vetenskapsmän etc.).

| — | Utfall är det fördröjda resultatet av användarnas bearbetning av resultaten. |
| --- | --- |

—

Utfall är det fördröjda resultatet av användarnas bearbetning av resultaten.

| — | Effekter är de långsiktiga socioekonomiska och politiska förändringar som den offentliga interventionen ger upphov till. |
| --- | --- |

—

Effekter är de långsiktiga socioekonomiska och politiska förändringar som den offentliga interventionen ger upphov till.

Ruta 1Exempel – Globalt system för mobiltelefoni (GSM)I detta exempel var outputen av gemenskapsfinansieringen de omedelbara resultaten av projektet, såsom utvecklingen av GSM-standarden. Utfallet var att den godkändes som digital cellulär telefonistandard inom och utanför Europa vilket i hög grad bidrog till telekommunikationsindustrins utveckling. Slutligen var effekterna de ekonomiska, sociala och politiska konsekvenserna av den internationella användningen av denna teknik. Häri ingår bidrag till skapandet av arbetstillfällen i telekombranschen och närstående industrier liksom den växande betydelsen av denna industrisektor för Europas ekonomi. GSM har också ytterst gett människor ett nytt sätt att kommunicera med varandra.

| 11. | För att bedöma dessa resultat ställs man dock inför ett antal metodproblem (se bilaga I). Socioekonomiska förändringar är komplexa, och mer specifikt är sambandet mellan en forskningsverksamhet och det utfall och de effekter som iakttas ofta svåra att spåra. Även om dessa metodsvårigheter innebär en stor utmaning utgör de inte nödvändigtvis ett hinder för ändamålsenlig utvärdering. |
| --- | --- |

11.

För att bedöma dessa resultat ställs man dock inför ett antal metodproblem (se bilaga I). Socioekonomiska förändringar är komplexa, och mer specifikt är sambandet mellan en forskningsverksamhet och det utfall och de effekter som iakttas ofta svåra att spåra. Även om dessa metodsvårigheter innebär en stor utmaning utgör de inte nödvändigtvis ett hinder för ändamålsenlig utvärdering.

| 12. | Kommissionen har haft ett system för att övervaka och utvärdera pågående ramprogram sedan 1980-talet (11). Med början för fjärde ramprogrammet i mitten av 1990-talet bestod systemet för övervakning och utvärdering av ett antal delvis sammankopplade verksamheter, däribland






  — | årlig övervakning (främst av programgenomförandet), |
| --- | --- | --- |

12.

Kommissionen har haft ett system för att övervaka och utvärdera pågående ramprogram sedan 1980-talet (11). Med början för fjärde ramprogrammet i mitten av 1990-talet bestod systemet för övervakning och utvärdering av ett antal delvis sammankopplade verksamheter, däribland

—

årlig övervakning (främst av programgenomförandet),

| — | femårsutvärderingar av verksamheter inom ramprogrammen för forskning (och, från och med sjätte ramprogrammet, ytterligare utvärderingar av särskilda aspekter). |
| --- | --- |

—

femårsutvärderingar av verksamheter inom ramprogrammen för forskning (och, från och med sjätte ramprogrammet, ytterligare utvärderingar av särskilda aspekter).

Båda åtgärderna måste utföras med hjälp av externa experter (se figur 2 och bilaga II).

Figur 2

Fjärde–sjunde ramprogrammet – Nyckelkrav vid övervakning och utvärdering

| RP4 (1995–1998) | RP5 (1999–2002) | RP6 (2003–2006) | RP7 (2007–2013) |
| --- | --- | --- | --- |
| Två utvärderingar (efter halva tiden och slutlig); vart och ett av de 20 delprogrammen samt ramprogrammet. Den slutliga utvärderingen överlappar halvtidsutvärderingen av femte ramprogrammet. | Två samtidiga utvärderingar (efter halva tiden); vart och ett av de sju särskilda programmen samt ramprogrammet. | En utvärdering av ramprogrammet och dess tre särskilda program (efter halva tiden), men inte specifikt av alla 20 delprogrammen, kompletterat med särskilda utvärderingsrapporter och regelbundna lägesrapporter (dvs. övervakningsrapporter). | Minst fem utvärderingar (på förhand, efter halva tiden och slutlig), inklusive en särskild lägesrapport inför halvtidsutvärderingen. |
| 1. | Förhandsutvärdering: Nej. |

RP4 (1995–1998)

RP5 (1999–2002)

RP6 (2003–2006)

RP7 (2007–2013)

Två utvärderingar (efter halva tiden och slutlig); vart och ett av de 20 delprogrammen samt ramprogrammet. Den slutliga utvärderingen överlappar halvtidsutvärderingen av femte ramprogrammet.

Två samtidiga utvärderingar (efter halva tiden); vart och ett av de sju särskilda programmen samt ramprogrammet.

En utvärdering av ramprogrammet och dess tre särskilda program (efter halva tiden), men inte specifikt av alla 20 delprogrammen, kompletterat med särskilda utvärderingsrapporter och regelbundna lägesrapporter (dvs. övervakningsrapporter).

Minst fem utvärderingar (på förhand, efter halva tiden och slutlig), inklusive en särskild lägesrapport inför halvtidsutvärderingen.

1.

Förhandsutvärdering: Nej.

| 1. | Förhandsutvärdering: Nej. |
| --- | --- |

1.

Förhandsutvärdering: Nej.

| 1. | Förhandsutvärdering: Nej. |
| --- | --- |

1.

Förhandsutvärdering: Nej.

| 1. | Förhandsutvärdering:
  Ingår i konsekvensbedömningen av kommissionens förslag till sjunde ramprogrammet (2005). |
| --- | --- |

1.

Ingår i konsekvensbedömningen av kommissionens förslag till sjunde ramprogrammet (2005).

| 2. | Efter halva tiden:






  — | Femårsutvärdering: halvvägs genom ramprogrammet, före nästa ramprogram (1997). |
| --- | --- | --- |

2.

—

Femårsutvärdering: halvvägs genom ramprogrammet, före nästa ramprogram (1997).

| 2. | Efter halva tiden:






  — | Femårsutvärdering: innan förslag lades fram till nästa ramprogram (2000). |
| --- | --- | --- |

2.

—

Femårsutvärdering: innan förslag lades fram till nästa ramprogram (2000).

| — | Lägesrapport vid mitten av ramprogrammets löptid (2001). |
| --- | --- |

—

Lägesrapport vid mitten av ramprogrammets löptid (2001).

| 2. | Efter halva tiden:






  — | Utvärdering av instrumentens effektivitet (2004). |
| --- | --- | --- |

2.

—

Utvärdering av instrumentens effektivitet (2004).

| — | Femårsutvärdering, innan förslag lades fram till nästa ramprogram (2004). |
| --- | --- |

—

Femårsutvärdering, innan förslag lades fram till nästa ramprogram (2004).

| — | Regelbundna lägesrapporter (dvs. övervakningsrapporter). |
| --- | --- |

—

Regelbundna lägesrapporter (dvs. övervakningsrapporter).

| 2. | Efter halva tiden:






  — | I efterhand, 2 år efter att föregående ramprogram avslutats (2008). |
| --- | --- | --- |

2.

—

I efterhand, 2 år efter att föregående ramprogram avslutats (2008).

| — | Lägesrapport före den preliminära utvärderingen (före 2010). |
| --- | --- |

—

Lägesrapport före den preliminära utvärderingen (före 2010).

| — | Preliminär utvärdering (2010). |
| --- | --- |

—

Preliminär utvärdering (2010).

| 3. | Slutlig:






  — | När ramprogrammet avslutats (1999). |
| --- | --- | --- |

3.

—

När ramprogrammet avslutats (1999).

| 3. | Slutlig:
  Nej. |
| --- | --- |

3.

Nej.

| 3. | Slutlig:
  Nej.

  [Ändrat genom beslutet om sjunde ramprogrammet.] |
| --- | --- |

3.

Nej.

[Ändrat genom beslutet om sjunde ramprogrammet.]

| 3. | Slutlig:
  Två år efter att ramprogrammet avslutats (2015), med stöd av särskilda studier, den preliminära utvärderingen och andra utvärderingar som gjorts under ramprogrammets löptid. |
| --- | --- |

3.

Två år efter att ramprogrammet avslutats (2015), med stöd av särskilda studier, den preliminära utvärderingen och andra utvärderingar som gjorts under ramprogrammets löptid.

Källa: Se bilaga II.

| 13. | Hittills har tre femårsutvärderingar (12) utförts vilket lett till Davignonrapporten, Majórapporten och Ormalarapporten (1997, 2000 respektive 2004). Dessutom gjorde GD Informationssamhället och medier riktade utvärderingar av sitt särskilda program. Det bör noteras att femårsutvärderingarna upphörde i och med lagstiftningen för sjunde ramprogrammet, vilket medförde att den begränsning försvann som innebar att stora utvärderingar måste koncentreras på de fem föregående åren och därför måste täcka in delar av två på varandra följande programperioder. År 2004 offentliggjordes också Marimónrapporten (13), en särskild utvärdering av ändamålsenligheten i de nya instrument som hade införts genom sjätte ramprogrammet. |
| --- | --- |

13.

Hittills har tre femårsutvärderingar (12) utförts vilket lett till Davignonrapporten, Majórapporten och Ormalarapporten (1997, 2000 respektive 2004). Dessutom gjorde GD Informationssamhället och medier riktade utvärderingar av sitt särskilda program. Det bör noteras att femårsutvärderingarna upphörde i och med lagstiftningen för sjunde ramprogrammet, vilket medförde att den begränsning försvann som innebar att stora utvärderingar måste koncentreras på de fem föregående åren och därför måste täcka in delar av två på varandra följande programperioder. År 2004 offentliggjordes också Marimónrapporten (13), en särskild utvärdering av ändamålsenligheten i de nya instrument som hade införts genom sjätte ramprogrammet.

| 14. | Kommissions ram för utvärderingsverksamhet sågs över 2000 och 2002 (14). Dessa meddelanden uppdaterades 2007 med hänsyn till konsekvenserna av kommissionens administrativa reform och den nya budgetförordningen (15). I dessa dokument beskrivs utvärderingens roll och funktion inom ramen för kommissionens övergripande planerings-, programplanerings- och rapporteringscykel, och 21 utvärderingsnormer samt 18 modeller för god praxis anges. Vidare diskuteras i dessa dokument användningen av utvärderingar vid utarbetandet och förenklingen av EU-lagstiftningen. |
| --- | --- |

14.

Kommissions ram för utvärderingsverksamhet sågs över 2000 och 2002 (14). Dessa meddelanden uppdaterades 2007 med hänsyn till konsekvenserna av kommissionens administrativa reform och den nya budgetförordningen (15). I dessa dokument beskrivs utvärderingens roll och funktion inom ramen för kommissionens övergripande planerings-, programplanerings- och rapporteringscykel, och 21 utvärderingsnormer samt 18 modeller för god praxis anges. Vidare diskuteras i dessa dokument användningen av utvärderingar vid utarbetandet och förenklingen av EU-lagstiftningen.

REVISIONENS OMFATTNING OCH INRIKTNING SAMT REVISIONSMETOD

15.

| 15. | Revisionens huvudsyfte var att fastställa om kommissionens tillvägagångssätt vid bedömningen av resultaten av FoTU-ramprogrammen var lämpligt. |
| --- | --- |

Revisionens huvudsyfte var att fastställa om kommissionens tillvägagångssätt vid bedömningen av resultaten av FoTU-ramprogrammen var lämpligt.

| 16. | I detta syfte bedömde revisionsrätten i vilken utsträckning






  — | det finns en uttalad interventionslogik bakom ramprogrammen och de program som ingår i dem utifrån vilken output, utfall och effekter kan mätas och bedömas vilket ger en stabil bas för utvärdering och övervakning, |
| --- | --- | --- |

16.

I detta syfte bedömde revisionsrätten i vilken utsträckning

—

det finns en uttalad interventionslogik bakom ramprogrammen och de program som ingår i dem utifrån vilken output, utfall och effekter kan mätas och bedömas vilket ger en stabil bas för utvärdering och övervakning,

| — | det har fastställts en utvärderingsstrategi för ramprogrammen med betoning på ändamålsenlig och konsekvent utvärdering, |
| --- | --- |

—

det har fastställts en utvärderingsstrategi för ramprogrammen med betoning på ändamålsenlig och konsekvent utvärdering,

| — | utvärderingssystemets organisatoriska struktur garanterar att det är samordnat på ett lämpligt sätt genom hela ramprogrammet, att det har tillräckliga resurser och även att det uppfattas som tillräckligt oberoende av berörda parter, |
| --- | --- |

—

utvärderingssystemets organisatoriska struktur garanterar att det är samordnat på ett lämpligt sätt genom hela ramprogrammet, att det har tillräckliga resurser och även att det uppfattas som tillräckligt oberoende av berörda parter,

| — | de metoder som används för utvärdering garanterar att relevanta aspekter behandlas på ett lämpligt sätt så att utvärderingen uppfattas som trovärdig, |
| --- | --- |

—

de metoder som används för utvärdering garanterar att relevanta aspekter behandlas på ett lämpligt sätt så att utvärderingen uppfattas som trovärdig,

| — | utvärderings- och övervakningsverksamheterna bidrar med information och analyser som kan användas för att förbättra pågående program (”läroprogram”) och förbereda framtida ramprogram. |
| --- | --- |

—

utvärderings- och övervakningsverksamheterna bidrar med information och analyser som kan användas för att förbättra pågående program (”läroprogram”) och förbereda framtida ramprogram.

| 17. | Denna rapport omfattar de tillämpliga arrangemangen för fjärde ramprogrammet (1995–1998), femte ramprogrammet (1999–2002) och sjätte ramprogrammet (2003–2006). Här diskuteras också de rättsliga krav som nu gäller för sjunde ramprogrammet (2007–2013), men kommissionens konsekvensanalys och förhandsbedömning av sjunde ramprogrammet (16) bedöms inte. Fokus ligger på övervakningen och efterhandsutvärderingen av program och inte på förhandsbedömningen av projektförslag eller efterhandsutvärderingen av själva projekten. |
| --- | --- |

17.

Denna rapport omfattar de tillämpliga arrangemangen för fjärde ramprogrammet (1995–1998), femte ramprogrammet (1999–2002) och sjätte ramprogrammet (2003–2006). Här diskuteras också de rättsliga krav som nu gäller för sjunde ramprogrammet (2007–2013), men kommissionens konsekvensanalys och förhandsbedömning av sjunde ramprogrammet (16) bedöms inte. Fokus ligger på övervakningen och efterhandsutvärderingen av program och inte på förhandsbedömningen av projektförslag eller efterhandsutvärderingen av själva projekten.

| 18. | Revisionen genomfördes med deltagande av Eftas revisionskommitté och stöd av externa experter. Granskningsbevis inhämtades på följande sätt:






  — | Revisionsarbete vid kommissionen (dokumentgranskning och intervjuer med personalen) vari ingick identifiering av rättsliga och lagstadgade krav, kontroll av mål och resultatkriterier, analys av över 80 övervaknings- och utvärderingsrapporter och en analys av hur utvärderingsverksamheten inom kommissionen var organiserad. |
| --- | --- | --- |

18.

Revisionen genomfördes med deltagande av Eftas revisionskommitté och stöd av externa experter. Granskningsbevis inhämtades på följande sätt:

—

Revisionsarbete vid kommissionen (dokumentgranskning och intervjuer med personalen) vari ingick identifiering av rättsliga och lagstadgade krav, kontroll av mål och resultatkriterier, analys av över 80 övervaknings- och utvärderingsrapporter och en analys av hur utvärderingsverksamheten inom kommissionen var organiserad.

| — | Intervjuer med över 90 experter som identifierats som berörda parter i medlemsstater och associerade länder (Tjeckien, Tyskland, Estland, Spanien, Frankrike, Italien, Luxemburg, Nederländerna, Österrike, Finland, Sverige, Förenade kungariket och Norge). |
| --- | --- |

—

Intervjuer med över 90 experter som identifierats som berörda parter i medlemsstater och associerade länder (Tjeckien, Tyskland, Estland, Spanien, Frankrike, Italien, Luxemburg, Nederländerna, Österrike, Finland, Sverige, Förenade kungariket och Norge).

| — | Enkäter med institutionella intressenter i Europaparlamentets utskott för industrifrågor, forskning och energi (ITRE) (17) och rådets kommitté för vetenskaplig och teknisk forskning (CREST) (18). |
| --- | --- |

—

Enkäter med institutionella intressenter i Europaparlamentets utskott för industrifrågor, forskning och energi (ITRE) (17) och rådets kommitté för vetenskaplig och teknisk forskning (CREST) (18).

| — | Samråd med över 65 experter på utvärdering av forskning i USA och Kanada, vilka utgjorde en internationell jämförelsegrupp. |
| --- | --- |

—

Samråd med över 65 experter på utvärdering av forskning i USA och Kanada, vilka utgjorde en internationell jämförelsegrupp.

| — | En genomgång av akademisk litteratur om aktuella trender för utvärdering av forskning. |
| --- | --- |

—

En genomgång av akademisk litteratur om aktuella trender för utvärdering av forskning.

| — | Diskussioner om granskningsresultaten, slutsatserna och rekommendationerna med experter på utvärdering av forskning från Europa och Nordamerika vid fokusgruppssammanträden under ledning av en moderator i februari 2007. |
| --- | --- |

—

Diskussioner om granskningsresultaten, slutsatserna och rekommendationerna med experter på utvärdering av forskning från Europa och Nordamerika vid fokusgruppssammanträden under ledning av en moderator i februari 2007.

GRANSKNINGSIAKTTAGELSER

Interventionslogik, fastställande av mål och resultatindikatorer

| 19. | För en ändamålsenlig utvärdering och övervakning krävs tydliga mål och relevanta resultatindikatorer på politisk nivå, programnivå och projektnivå, mot vilka resultaten av en offentlig intervention kan bedömas. God praxis från andra områden inom och utom EU-budgeten tyder på att dessa bör fastställas inom ramen för en interventionslogik. |
| --- | --- |

19.

För en ändamålsenlig utvärdering och övervakning krävs tydliga mål och relevanta resultatindikatorer på politisk nivå, programnivå och projektnivå, mot vilka resultaten av en offentlig intervention kan bedömas. God praxis från andra områden inom och utom EU-budgeten tyder på att dessa bör fastställas inom ramen för en interventionslogik.

| 20. | Interventionslogik kan definieras som en uppsättning hypotetiska samband mellan orsak och verkan som beskriver hur en intervention förväntas uppfylla sina övergripande mål (19). I kommissionens riktlinjer för utvärdering sägs att interventionslogik ger ett konceptuellt samband mellan interventionens input och dess output och vidare dess effekter på samhället i form av resultat och utfall (20). I denna rapport används denna definition genomgående. |
| --- | --- |

20.

Interventionslogik kan definieras som en uppsättning hypotetiska samband mellan orsak och verkan som beskriver hur en intervention förväntas uppfylla sina övergripande mål (19). I kommissionens riktlinjer för utvärdering sägs att interventionslogik ger ett konceptuellt samband mellan interventionens input och dess output och vidare dess effekter på samhället i form av resultat och utfall (20). I denna rapport används denna definition genomgående.

| 21. | Revisionsrätten bedömde i vilken utsträckning en interventionslogik hade upprättats för ramprogrammen och de program som ingår i dem vilket gav en stabil grund för utvärdering och övervakning. |
| --- | --- |

21.

Revisionsrätten bedömde i vilken utsträckning en interventionslogik hade upprättats för ramprogrammen och de program som ingår i dem vilket gav en stabil grund för utvärdering och övervakning.

Interventionslogiken för ramprogrammen har inte varit uttalad

| 22. | Fastställandet av en interventionslogik bör vara en central del i programutformningen redan från början. Artikel 163 i fördraget, där behovet av att stärka den vetenskapliga och tekniska grunden och främja konkurrensförmågan anges, bör vara utgångspunkten för en sådan interventionslogik för ramprogrammen (se punkt 2). Denna behöver specificeras ytterligare när det gäller de olika vetenskapliga områden som omfattas av ramprogrammen och de olika instrument som används. |
| --- | --- |

22.

Fastställandet av en interventionslogik bör vara en central del i programutformningen redan från början. Artikel 163 i fördraget, där behovet av att stärka den vetenskapliga och tekniska grunden och främja konkurrensförmågan anges, bör vara utgångspunkten för en sådan interventionslogik för ramprogrammen (se punkt 2). Denna behöver specificeras ytterligare när det gäller de olika vetenskapliga områden som omfattas av ramprogrammen och de olika instrument som används.

| 23. | Dock saknas på alla nivåer en uttalad logisk modell som visar hur ramprogrammen och de program som ingår i dem bidrar till vetenskaplig och teknisk utveckling och innovation. |
| --- | --- |

23.

Dock saknas på alla nivåer en uttalad logisk modell som visar hur ramprogrammen och de program som ingår i dem bidrar till vetenskaplig och teknisk utveckling och innovation.

| 24. | Avsaknaden av en interventionslogik för ramprogrammen lyftes också fram av 2004 års femårsutvärderingspanel som ansåg att paneler av denna typ ombeds fylla en lucka mellan å ena sidan fakta från huvudsakligen projektnivå och å andra sidan forskningspolitikens högre socioekonomiska mål. Det är för närvarande dock svårt att göra denna koppling till följd av det sätt på vilket ramprogrammet planeras. Det saknas en uttalad logik där de högsta målen kopplas samman med de specifika forsknings- och kunskapsmålen (21). |
| --- | --- |

24.

Avsaknaden av en interventionslogik för ramprogrammen lyftes också fram av 2004 års femårsutvärderingspanel som ansåg att paneler av denna typ ombeds fylla en lucka mellan å ena sidan fakta från huvudsakligen projektnivå och å andra sidan forskningspolitikens högre socioekonomiska mål. Det är för närvarande dock svårt att göra denna koppling till följd av det sätt på vilket ramprogrammet planeras. Det saknas en uttalad logik där de högsta målen kopplas samman med de specifika forsknings- och kunskapsmålen (21).

| 25. | Ett annat tillvägagångssätt används i några medlemsstater (t.ex. Nederländerna och Finland) och i USA (se figur 3) där det är mycket vanligare att fastställa en interventionslogik, och i Kanada där det är obligatoriskt för alla program (se bilaga III). Det visar sig också att användningen av en interventionslogik vid programutformningen där ger mer fokuserade och bättre strukturerade program. Den införs också av kommissionen på andra av gemenskapens politikområden (t.ex. externt bistånd) (22).
  Figur 3
  Rangordning av mål med utgångspunkt från logiska modeller – exempel från jordbruksforskning i USA








  Politik | Program | Projekt |
| --- | --- | --- | --- |
| Politiskt mål
  : bidra till bättre försörjningsmöjligheter för jordbrukarfamiljer. | | |
| Syfte
  : ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll. | Programmets mål
  : att bidra till ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll. | |
| Förväntat resultat
  : ökad användning av förbättrad jordbruksteknik bland jordbrukarna i målgruppen. | Syfte
  : att öka jordbrukarnas användning av förbättrad jordbruksteknik (t.ex. ris). | Projektets mål
  : att bidra till ökad användning av rekommenderad förbättrad teknik. |
| | Förväntat resultat
  : rekommendationer lämnade/spridda till jordbrukarna i målgruppen. | Syfte
  : att lämna rekommendationer på förbättrad teknik som är lämplig för jordbrukarna i målgruppen. |
| | | Förväntade resultat (exempel):








  1. | Teknik som identifierats utifrån jordbrukarnas prioriteringar. |

25.

Ett annat tillvägagångssätt används i några medlemsstater (t.ex. Nederländerna och Finland) och i USA (se figur 3) där det är mycket vanligare att fastställa en interventionslogik, och i Kanada där det är obligatoriskt för alla program (se bilaga III). Det visar sig också att användningen av en interventionslogik vid programutformningen där ger mer fokuserade och bättre strukturerade program. Den införs också av kommissionen på andra av gemenskapens politikområden (t.ex. externt bistånd) (22).

Figur 3

Rangordning av mål med utgångspunkt från logiska modeller – exempel från jordbruksforskning i USA

Politik

Program

Projekt

Politiskt mål
  : bidra till bättre försörjningsmöjligheter för jordbrukarfamiljer.

Syfte
  : ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll.

Programmets mål
  : att bidra till ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll.

Förväntat resultat
  : ökad användning av förbättrad jordbruksteknik bland jordbrukarna i målgruppen.

Syfte
  : att öka jordbrukarnas användning av förbättrad jordbruksteknik (t.ex. ris).

Projektets mål
  : att bidra till ökad användning av rekommenderad förbättrad teknik.

Förväntat resultat
  : rekommendationer lämnade/spridda till jordbrukarna i målgruppen.

Syfte
  : att lämna rekommendationer på förbättrad teknik som är lämplig för jordbrukarna i målgruppen.

Förväntade resultat (exempel):

1.

Teknik som identifierats utifrån jordbrukarnas prioriteringar.

| 2. | Teknik som skapats och anpassats. |
| --- | --- |

2.

Teknik som skapats och anpassats.

| 3. | Teknik som kontrollerats på jordbrukarnas åkrar. |
| --- | --- |

3.

Teknik som kontrollerats på jordbrukarnas åkrar.

Källa: US National Agricultural Research Council (USA:s nationella råd för jordbruksforskning).

| 26. | Att inte kodifiera logiken bakom den offentliga interventionen och de förmodade orsakssambanden (utifrån vilka programmet sedan detaljplaneras, genomförs och bedöms) undergräver en ändamålsenlig utvärdering och övervakning av ramprogrammen. Detta beror särskilt på hur mål och resultatindikatorer för programmen fastställs. |
| --- | --- |

26.

Att inte kodifiera logiken bakom den offentliga interventionen och de förmodade orsakssambanden (utifrån vilka programmet sedan detaljplaneras, genomförs och bedöms) undergräver en ändamålsenlig utvärdering och övervakning av ramprogrammen. Detta beror särskilt på hur mål och resultatindikatorer för programmen fastställs.

Utan en uttalad logisk modell är det svårare att fastställa enhetliga programmål

| 27. | Att inte klargöra logiken bakom den offentliga interventionen gör det svårare att sätta upp och strukturera programmens mål på ett enhetligt sätt. Detta visas av att






  — | det inte är klart hur ramprogrammens mål hänger samman med de politiska målen, såsom det övergripande målet i artikel 163 i fördraget och de mål som anges i Lissabonstrategin och Barcelonadeklarationen (se punkterna 2 och 7), |
| --- | --- | --- |

27.

Att inte klargöra logiken bakom den offentliga interventionen gör det svårare att sätta upp och strukturera programmens mål på ett enhetligt sätt. Detta visas av att

—

det inte är klart hur ramprogrammens mål hänger samman med de politiska målen, såsom det övergripande målet i artikel 163 i fördraget och de mål som anges i Lissabonstrategin och Barcelonadeklarationen (se punkterna 2 och 7),

| — | förhållandet mellan enskilda programmål, både på olika lagstiftningsnivåer (såsom beslutet om ramprogram, beslutet om särskilda program och reglerna för deltagande och spridning) och mellan grundrättsakterna och kommissionens arbetsprogram, inte alltid är tydligt. |
| --- | --- |

—

förhållandet mellan enskilda programmål, både på olika lagstiftningsnivåer (såsom beslutet om ramprogram, beslutet om särskilda program och reglerna för deltagande och spridning) och mellan grundrättsakterna och kommissionens arbetsprogram, inte alltid är tydligt.

| 28. | Kommissionen har försökt sätta upp operativa mål i arbetsprogrammen utifrån de programmål som fastställs i ramprogramlagstiftningen. I nästan samtliga fall ledde dock dessa initiativ inte till att logiken bakom programmen klargjordes, och målen i arbetsprogrammen var inte specifika, mätbara och möjliga att förverkliga samt relevanta och daterade (SMART). Detta blev 2003 ett lagstadgat krav enligt budgetförordningen (23). |
| --- | --- |

28.

Kommissionen har försökt sätta upp operativa mål i arbetsprogrammen utifrån de programmål som fastställs i ramprogramlagstiftningen. I nästan samtliga fall ledde dock dessa initiativ inte till att logiken bakom programmen klargjordes, och målen i arbetsprogrammen var inte specifika, mätbara och möjliga att förverkliga samt relevanta och daterade (SMART). Detta blev 2003 ett lagstadgat krav enligt budgetförordningen (23).

| 29. | Det är inte klart i vilken utsträckning politiska mål kan spåras genom särskilda program, arbetsprogram och ansökningsomgångar till de enskilda projekt som medfinansieras av gemenskapen. Om inte dessa samband förtydligas går det inte att bedöma hur ramprogrammen och de program som ingår i dem bidrar till att dessa politiska mål uppnås. Vid revisionen konstaterades att få eller inga övertygande bevis för att långsiktiga mål har uppnåtts, varken på projekt- eller programnivå, har lämnats av kommissionen i dess utvärderingar (se punkt 82). |
| --- | --- |

29.

Det är inte klart i vilken utsträckning politiska mål kan spåras genom särskilda program, arbetsprogram och ansökningsomgångar till de enskilda projekt som medfinansieras av gemenskapen. Om inte dessa samband förtydligas går det inte att bedöma hur ramprogrammen och de program som ingår i dem bidrar till att dessa politiska mål uppnås. Vid revisionen konstaterades att få eller inga övertygande bevis för att långsiktiga mål har uppnåtts, varken på projekt- eller programnivå, har lämnats av kommissionen i dess utvärderingar (se punkt 82).

Avsaknaden av en uttalad interventionslogik och tydliga mål gör det svårare att ta fram resultatindikatorer

| 30. | Avsaknaden av en uttalad logisk modell och tydligt formulerade programmål har också hindrat framtagningen av resultatindikatorer för övervakning av hur programmålen uppnås i fråga om output, utfall och effekter, och detta i så hög grad att det hittills inte har fastställts några sådana indikatorer för ”ändamålsenlighet” alls för ramprogrammen (se punkt 73). |
| --- | --- |

30.

Avsaknaden av en uttalad logisk modell och tydligt formulerade programmål har också hindrat framtagningen av resultatindikatorer för övervakning av hur programmålen uppnås i fråga om output, utfall och effekter, och detta i så hög grad att det hittills inte har fastställts några sådana indikatorer för ”ändamålsenlighet” alls för ramprogrammen (se punkt 73).

| 31. | I detta läge försvåras kontrollen av pågående projekt som finansieras genom dessa program och utvärderingen i efterhand av program som avslutats, vilket gör det svårare att aggregera utvärderingar från projektnivån till programnivån (se bilaga I och punkt 84). |
| --- | --- |

31.

I detta läge försvåras kontrollen av pågående projekt som finansieras genom dessa program och utvärderingen i efterhand av program som avslutats, vilket gör det svårare att aggregera utvärderingar från projektnivån till programnivån (se bilaga I och punkt 84).

Verksamhetsbaserad budgetering/förvaltning såsom den nu tillämpas är ett olämpligt verktyg för att mäta ramprogrammens prestationer

| 32. | Några indikatorer med vars hjälp man kan följa effektiviteten i programgenomförandet (t.ex. tidsåtgången för kontraktsskrivning eller betalning) finns i kommissionens årliga övervakningsrapporter och också inom ramen för kommissionens system för verksamhetsbaserad förvaltning. |
| --- | --- |

32.

Några indikatorer med vars hjälp man kan följa effektiviteten i programgenomförandet (t.ex. tidsåtgången för kontraktsskrivning eller betalning) finns i kommissionens årliga övervakningsrapporter och också inom ramen för kommissionens system för verksamhetsbaserad förvaltning.

| 33. | Hittills har dock ”forskningsgeneraldirektoraten” inte tillämpat en standardiserad eller jämförbar nomenklatur för den verksamhetsbaserade budgeteringen och tillhörande indikatorer, inte ens vid genomförandet av samma särskilda program (eller delprogram). Därför kan dessa indikatorer inte användas för att jämföra prestationer mellan och inom program.

  Ruta 2Verksamhetsbaserad budgetering/förvaltning såsom den för närvarande tillämpas vid ”forskningsgeneraldirektoraten”I systemet för verksamhetsbaserad budgetering/förvaltning ingår ramprogrammen för forskning i två olika politikområden inom vilka ramprogramsverksamheterna presenteras enligt olika nomenklaturer som är specifika för respektive generaldirektorat (24). Detta gäller till och med för de särskilda program och delprogram som genomförs av mer än ett generaldirektorat. Målen för den verksamhetsbaserade förvaltningen fastställdes i enlighet med olika grundprinciper (25) och var, enligt tjänsten för internrevision vid kommissionen (26), oftast allmänt formulerade och beskrev ambitioner eller verksamheter. Indikatorerna var i allmänhet inputorienterade (t.ex. antalet sammanträden). Några gällde processeffektivitet (t.ex. tidsåtgång för kontraktsskrivning eller betalning) men kunde inte jämföras mellan program och generaldirektorat på grund av olikheter i nomenklaturen för den verksamhetsbaserade budgeteringen, i GD-specifika förutsättningar (såsom inledning och avslutning av särskilda administrativa processer) och i den bakomliggande populationen (t.ex. typ av bidragsöverenskommelse eller betalning) som togs med vid beräkningen av dem. |
| --- | --- |

33.

Hittills har dock ”forskningsgeneraldirektoraten” inte tillämpat en standardiserad eller jämförbar nomenklatur för den verksamhetsbaserade budgeteringen och tillhörande indikatorer, inte ens vid genomförandet av samma särskilda program (eller delprogram). Därför kan dessa indikatorer inte användas för att jämföra prestationer mellan och inom program.

Ruta 2Verksamhetsbaserad budgetering/förvaltning såsom den för närvarande tillämpas vid ”forskningsgeneraldirektoraten”I systemet för verksamhetsbaserad budgetering/förvaltning ingår ramprogrammen för forskning i två olika politikområden inom vilka ramprogramsverksamheterna presenteras enligt olika nomenklaturer som är specifika för respektive generaldirektorat (24). Detta gäller till och med för de särskilda program och delprogram som genomförs av mer än ett generaldirektorat. Målen för den verksamhetsbaserade förvaltningen fastställdes i enlighet med olika grundprinciper (25) och var, enligt tjänsten för internrevision vid kommissionen (26), oftast allmänt formulerade och beskrev ambitioner eller verksamheter. Indikatorerna var i allmänhet inputorienterade (t.ex. antalet sammanträden). Några gällde processeffektivitet (t.ex. tidsåtgång för kontraktsskrivning eller betalning) men kunde inte jämföras mellan program och generaldirektorat på grund av olikheter i nomenklaturen för den verksamhetsbaserade budgeteringen, i GD-specifika förutsättningar (såsom inledning och avslutning av särskilda administrativa processer) och i den bakomliggande populationen (t.ex. typ av bidragsöverenskommelse eller betalning) som togs med vid beräkningen av dem.

Rekommendationer

34.

| 34. | I framtida lagstiftningsförslag som läggs fram för Europaparlamentet och rådet bör kommissionen fastställa en uttalad interventionslogik för ramprogrammet som helhet och för de delar som ingår i det. |
| --- | --- |

I framtida lagstiftningsförslag som läggs fram för Europaparlamentet och rådet bör kommissionen fastställa en uttalad interventionslogik för ramprogrammet som helhet och för de delar som ingår i det.

| 35. | När det gäller sjunde ramprogrammet bör kommissionen






  — | tydligt beskriva målen för ramprogrammet och de särskilda program (och delprogrammen) som ingår i dem och hur dessa ska uppnås, |
| --- | --- | --- |

35.

När det gäller sjunde ramprogrammet bör kommissionen

—

tydligt beskriva målen för ramprogrammet och de särskilda program (och delprogrammen) som ingår i dem och hur dessa ska uppnås,

| — | klargöra kopplingen mellan de vetenskapliga och socioekonomiska målen för varje särskilt program (och delprogram), |
| --- | --- |

—

klargöra kopplingen mellan de vetenskapliga och socioekonomiska målen för varje särskilt program (och delprogram),

| — | ange relevanta operativa mål. |
| --- | --- |

—

ange relevanta operativa mål.

| 36. | Kommissionen bör för sitt system för övervakning av sjunde ramprogrammet införa en begränsad, men balanserad, uppsättning resultatindikatorer för att mäta ”effektiviteten” och ”ändamålsenligheten” i genomförandet av varje särskilt program (och delprogram). |
| --- | --- |

36.

Kommissionen bör för sitt system för övervakning av sjunde ramprogrammet införa en begränsad, men balanserad, uppsättning resultatindikatorer för att mäta ”effektiviteten” och ”ändamålsenligheten” i genomförandet av varje särskilt program (och delprogram).

| 37. | ”Forskningsgeneraldirektoraten” bör harmonisera sin nomenklatur för verksamhetsbudgeterad förvaltning/budgetering så att resultatindikatorerna kan jämföras både över tiden och, när så är möjligt, mellan särskilda program (och delprogram). |
| --- | --- |

37.

”Forskningsgeneraldirektoraten” bör harmonisera sin nomenklatur för verksamhetsbudgeterad förvaltning/budgetering så att resultatindikatorerna kan jämföras både över tiden och, när så är möjligt, mellan särskilda program (och delprogram).

Utvärderingsstrategi

| 38. | En utvärderingsstrategi bildar den begreppsram inom vilken utvärderingsverksamhet utformas, planeras, genomförs och används. God praxis från andra områden inom och utom EU-budgeten tyder på att en sådan strategi bör beakta de viktigaste rättsliga, organisatoriska och metodologiska aspekterna i anslutning till programutvärdering. Detta innefattar vilka utvärderingar som ska utföras, av vem och när, hur uppgifter ska samlas in, vilka metoder som ska användas och hur resultaten ska meddelas och följas upp. |
| --- | --- |

38.

En utvärderingsstrategi bildar den begreppsram inom vilken utvärderingsverksamhet utformas, planeras, genomförs och används. God praxis från andra områden inom och utom EU-budgeten tyder på att en sådan strategi bör beakta de viktigaste rättsliga, organisatoriska och metodologiska aspekterna i anslutning till programutvärdering. Detta innefattar vilka utvärderingar som ska utföras, av vem och när, hur uppgifter ska samlas in, vilka metoder som ska användas och hur resultaten ska meddelas och följas upp.

| 39. | Att det finns en sådan strategi, och att man ser till att den genomförs, är en förutsättning för att utvärdering byggs in i kommissionens organisationskultur och beslutsprocess. Revisionsrätten inser dock att en sådan strategi, med hänsyn till den mängd olika vetenskapliga områden som ramprogrammen omfattar, bör ge varje ansvarigt generaldirektorat en lämplig grad av flexibilitet och inte vara alltför föreskrivande. |
| --- | --- |

39.

Att det finns en sådan strategi, och att man ser till att den genomförs, är en förutsättning för att utvärdering byggs in i kommissionens organisationskultur och beslutsprocess. Revisionsrätten inser dock att en sådan strategi, med hänsyn till den mängd olika vetenskapliga områden som ramprogrammen omfattar, bör ge varje ansvarigt generaldirektorat en lämplig grad av flexibilitet och inte vara alltför föreskrivande.

| 40. | Revisionsrätten kontrollerade i vilken utsträckning kommissionen hade infört en sådan utvärderingsstrategi för ramprogrammen. |
| --- | --- |

40.

Revisionsrätten kontrollerade i vilken utsträckning kommissionen hade infört en sådan utvärderingsstrategi för ramprogrammen.

En heltäckande utvärderingsstrategi saknas för ramprogrammen

| 41. | När det gäller ramprogrammen tillkännagav kommissionen sitt tillvägagångssätt för utvärdering första gången på 1980-talet (27). Detta uppdaterades 1996 när kommissionen informerade Europaparlamentet och rådet om vad den då såg som relevanta grundprinciper för övervakning och utvärdering och angav hur den avsåg att gå tillväga när fjärde ramprogrammet hade antagits (28). Detta var dock inte en sådan heltäckande utvärderingsstrategi som avses ovan (se punkterna 38 och 39). Mellan 1996 och 2006 gjorde kommissionen inte heller någon grundlig översyn av sitt tillvägagångssätt för utvärderingen av femte och sjätte ramprogrammet trots att både omfattningen och inriktningen av ramprogrammen hade ändrats (se punkt 7). Framförallt har ”forskningsgeneraldirektoraten” inte kommit överens om ett enhetligt förhållningssätt till utvärdering av ramprogrammen och de program som ingår i dem, utöver de lagstadgade krav som antogs 1999 (för femte ramprogrammet), 2002 (för sjätte ramprogrammet) och 2006 (för sjunde ramprogrammet) (29). |
| --- | --- |

41.

När det gäller ramprogrammen tillkännagav kommissionen sitt tillvägagångssätt för utvärdering första gången på 1980-talet (27). Detta uppdaterades 1996 när kommissionen informerade Europaparlamentet och rådet om vad den då såg som relevanta grundprinciper för övervakning och utvärdering och angav hur den avsåg att gå tillväga när fjärde ramprogrammet hade antagits (28). Detta var dock inte en sådan heltäckande utvärderingsstrategi som avses ovan (se punkterna 38 och 39). Mellan 1996 och 2006 gjorde kommissionen inte heller någon grundlig översyn av sitt tillvägagångssätt för utvärderingen av femte och sjätte ramprogrammet trots att både omfattningen och inriktningen av ramprogrammen hade ändrats (se punkt 7). Framförallt har ”forskningsgeneraldirektoraten” inte kommit överens om ett enhetligt förhållningssätt till utvärdering av ramprogrammen och de program som ingår i dem, utöver de lagstadgade krav som antogs 1999 (för femte ramprogrammet), 2002 (för sjätte ramprogrammet) och 2006 (för sjunde ramprogrammet) (29).

| 42. | För innevarande programperiod utgör avsaknaden av ett sådant strategiskt tillvägagångssätt för utvärdering av detta område ett särskilt problem med tanke på att sjunde ramprogrammet genomförs gemensamt av flera generaldirektorat, Europeiska forskningsrådet och genomförandeorgan, och på den obligatoriska personalrotation på känsliga befattningar som föreskrivs i budgetförordningen. Det kontrasterar också mot gällande praxis på området för externt bistånd (vilket är det näst största område som kommissionen förvaltar direkt). På detta område har de behöriga generaldirektoraten sedan 2002 kommit överens om gemensamma fleråriga utvärderingsstrategier kopplade till programperioder (se punkt 52). |
| --- | --- |

42.

För innevarande programperiod utgör avsaknaden av ett sådant strategiskt tillvägagångssätt för utvärdering av detta område ett särskilt problem med tanke på att sjunde ramprogrammet genomförs gemensamt av flera generaldirektorat, Europeiska forskningsrådet och genomförandeorgan, och på den obligatoriska personalrotation på känsliga befattningar som föreskrivs i budgetförordningen. Det kontrasterar också mot gällande praxis på området för externt bistånd (vilket är det näst största område som kommissionen förvaltar direkt). På detta område har de behöriga generaldirektoraten sedan 2002 kommit överens om gemensamma fleråriga utvärderingsstrategier kopplade till programperioder (se punkt 52).

| 43. | Denna avsaknad av en tydligt formulerad utvärderingsstrategi står även i stark kontrast mot situationen i USA och Kanada där det i den rättsliga ramen anges att det ska finnas en strategi (se bilaga III). |
| --- | --- |

43.

Denna avsaknad av en tydligt formulerad utvärderingsstrategi står även i stark kontrast mot situationen i USA och Kanada där det i den rättsliga ramen anges att det ska finnas en strategi (se bilaga III).

| 44. | Som visas nedan är det stora skillnader mellan ramprogrammen när det gäller vad utvärderingarna omfattar och hur intensiva de är. Det fanns även andra brister, såsom samordningsproblem, användning av olika metoder, tidpunktsproblem och brister i kommunikation och uppföljning av utvärderingsresultat, vilket diskuteras nedan. Detta återspeglar avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen. |
| --- | --- |

44.

Som visas nedan är det stora skillnader mellan ramprogrammen när det gäller vad utvärderingarna omfattar och hur intensiva de är. Det fanns även andra brister, såsom samordningsproblem, användning av olika metoder, tidpunktsproblem och brister i kommunikation och uppföljning av utvärderingsresultat, vilket diskuteras nedan. Detta återspeglar avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen.

Olikheter mellan ramprogrammen i fråga om utvärderingarnas omfattning och intensitet

| 45. | Ramprogrammen består av ett antal särskilda program (och delprogram) som inbördes kan vara mycket olika vad gäller syfte, underliggande dynamik och budgetanslag (för sjunde ramprogrammet, se bilaga IV). Sammantaget innebär de särskilda bestämmelserna i de olika ramprogrambesluten och budgetförordningen (30) (där det krävs att alla program och åtgärder som leder till stora utgifter ska utvärderas) att det har funnits ett rättsligt krav på utvärdering både av ramprogrammet som helhet och av flertalet av de särskilda program som ingår i dem sedan fjärde ramprogrammet. |
| --- | --- |

45.

Ramprogrammen består av ett antal särskilda program (och delprogram) som inbördes kan vara mycket olika vad gäller syfte, underliggande dynamik och budgetanslag (för sjunde ramprogrammet, se bilaga IV). Sammantaget innebär de särskilda bestämmelserna i de olika ramprogrambesluten och budgetförordningen (30) (där det krävs att alla program och åtgärder som leder till stora utgifter ska utvärderas) att det har funnits ett rättsligt krav på utvärdering både av ramprogrammet som helhet och av flertalet av de särskilda program som ingår i dem sedan fjärde ramprogrammet.

| 46. | Kommissionen har inte fastställt någon regel för när särskilda program eller delprogram inom ramprogrammen ska utvärderas och inte heller något tröskelvärde ovanför vilket detta måste ske. Detta har lett till olika tolkningar av vad som ska utvärderas och på vilken detaljnivå:






  — | GD Informationssamhället och medier ansåg att IST-programmet (informationssamhällets teknik) i sig var ett stort utgiftsprogram och organiserade 2004 en komplett femårsutvärdering parallellt med den utvärdering som gjordes av ramprogrammet som helhet. |
| --- | --- | --- |

46.

Kommissionen har inte fastställt någon regel för när särskilda program eller delprogram inom ramprogrammen ska utvärderas och inte heller något tröskelvärde ovanför vilket detta måste ske. Detta har lett till olika tolkningar av vad som ska utvärderas och på vilken detaljnivå:

—

GD Informationssamhället och medier ansåg att IST-programmet (informationssamhällets teknik) i sig var ett stort utgiftsprogram och organiserade 2004 en komplett femårsutvärdering parallellt med den utvärdering som gjordes av ramprogrammet som helhet.

| — | GD Forskning organiserade inte systematiskt sådana bedömningar av särskilda program trots att budgetarna för flera av de program som det ansvarade för var av jämförbar storlek. |
| --- | --- |

—

GD Forskning organiserade inte systematiskt sådana bedömningar av särskilda program trots att budgetarna för flera av de program som det ansvarade för var av jämförbar storlek.

| 47. | När det gäller femårsutvärderingarna 2004 var resultatet att stora delar av fjärde och femte ramprogrammen inte utvärderades alls (motsvarande 30 % av alla budgetanslag för fjärde ramprogrammet och 50 % för femte ramprogrammet). Detta innebär att kommissionen inte uppfyllde de krav på utvärdering som anges i artikel 27 i budgetförordningen. |
| --- | --- |

47.

När det gäller femårsutvärderingarna 2004 var resultatet att stora delar av fjärde och femte ramprogrammen inte utvärderades alls (motsvarande 30 % av alla budgetanslag för fjärde ramprogrammet och 50 % för femte ramprogrammet). Detta innebär att kommissionen inte uppfyllde de krav på utvärdering som anges i artikel 27 i budgetförordningen.

| 48. | Dessa skilda tolkningar när det gäller minsta lagstadgade krav beträffande utvärdering, och den resulterande underutvärderingen av ramprogrammen i det förflutna, visar bristen på samordning och på effekten av kommissionens avsaknad av ett strategiskt tillvägagångssätt vid utvärderingen av dem. |
| --- | --- |

48.

Dessa skilda tolkningar när det gäller minsta lagstadgade krav beträffande utvärdering, och den resulterande underutvärderingen av ramprogrammen i det förflutna, visar bristen på samordning och på effekten av kommissionens avsaknad av ett strategiskt tillvägagångssätt vid utvärderingen av dem.

Rekommendationer

49.

| 49. | ”Forskningsgeneraldirektoraten” bör snarast utarbeta och komma överens om en gemensam utvärderingsstrategi för ramprogrammen. Utan att vara alltför föreskrivande bör denna strategi leda till ett enhetligt tillvägagångssätt när det gäller utvärdering av ramprogrammen och de program som ingår i dem. En sådan strategi bör också innehålla riktlinjer för den miniminivå på vilken detaljerad utvärdering måste ske så att hänsyn tas till varje vetenskapsfälts särskilda förutsättningar. |
| --- | --- |

”Forskningsgeneraldirektoraten” bör snarast utarbeta och komma överens om en gemensam utvärderingsstrategi för ramprogrammen. Utan att vara alltför föreskrivande bör denna strategi leda till ett enhetligt tillvägagångssätt när det gäller utvärdering av ramprogrammen och de program som ingår i dem. En sådan strategi bör också innehålla riktlinjer för den miniminivå på vilken detaljerad utvärdering måste ske så att hänsyn tas till varje vetenskapsfälts särskilda förutsättningar.

Organisering av utvärderingen av ramprogrammen

| 50. | Utvärderingen av ramprogrammen behöver få stöd i form av lämpliga organisatoriska arrangemang som bör vara en följd av kommissionens strategiska inriktning på utvärderingen av ramprogrammen. Revisionsrätten kontrollerade i vilken utsträckning den organisatoriska strukturen garanterade att utvärderingssystemet var samordnat på ett lämpligt sätt, att det hade tillräckliga resurser och även att det uppfattades som tillräckligt oberoende av berörda parter. |
| --- | --- |

50.

Utvärderingen av ramprogrammen behöver få stöd i form av lämpliga organisatoriska arrangemang som bör vara en följd av kommissionens strategiska inriktning på utvärderingen av ramprogrammen. Revisionsrätten kontrollerade i vilken utsträckning den organisatoriska strukturen garanterade att utvärderingssystemet var samordnat på ett lämpligt sätt, att det hade tillräckliga resurser och även att det uppfattades som tillräckligt oberoende av berörda parter.

Kommissionen

Ramprogrammen genomförs gemensamt av flera generaldirektorat samtidigt som ansvaret för utvärdering är decentraliserat

| 51. | Inom kommissionen vilar ansvaret för utvärdering av utgiftsprogram på de enskilda generaldirektoraten (se punkt 8) och det har inrättats utvärderingsenheter inom varje generaldirektorat. Dessa utvärderingsenheter sköter planeringen, samordningen och genomförandet av utvärderingar. |
| --- | --- |

51.

Inom kommissionen vilar ansvaret för utvärdering av utgiftsprogram på de enskilda generaldirektoraten (se punkt 8) och det har inrättats utvärderingsenheter inom varje generaldirektorat. Dessa utvärderingsenheter sköter planeringen, samordningen och genomförandet av utvärderingar.

| 52. | Avsaknaden av ett specifikt samordningsorgan eller ett enda organ för utvärdering av ramprogrammet som helhet, såsom ett gemensamt utvärderingskontor för ”forskningsgeneraldirektoraten”, kontrasterar mot andra politikområden. På området för externt bistånd har det inrättats en gemensam utvärderingsenhet för tre generaldirektorat (Bistånd, Yttre förbindelser och EuropeAid) som ska ta hand om utvärderingen av kommissionens biståndsprogram i tredjeländer (se punkt 42). |
| --- | --- |

52.

Avsaknaden av ett specifikt samordningsorgan eller ett enda organ för utvärdering av ramprogrammet som helhet, såsom ett gemensamt utvärderingskontor för ”forskningsgeneraldirektoraten”, kontrasterar mot andra politikområden. På området för externt bistånd har det inrättats en gemensam utvärderingsenhet för tre generaldirektorat (Bistånd, Yttre förbindelser och EuropeAid) som ska ta hand om utvärderingen av kommissionens biståndsprogram i tredjeländer (se punkt 42).

| 53. | GD Forskning ser via kommissionens interna ”nätverk för utvärdering av FoTU” till att det sker ett kunskapsutbyte mellan utvärderingsenheterna vid de olika generaldirektoraten, men det har inte befogenhet att fastställa minimikrav för utvärderingarna. Denna mekanism har emellertid inte varit tillräcklig för att garantera en lämplig samordning av kommissionens utvärdering av ramprogrammen. |
| --- | --- |

53.

GD Forskning ser via kommissionens interna ”nätverk för utvärdering av FoTU” till att det sker ett kunskapsutbyte mellan utvärderingsenheterna vid de olika generaldirektoraten, men det har inte befogenhet att fastställa minimikrav för utvärderingarna. Denna mekanism har emellertid inte varit tillräcklig för att garantera en lämplig samordning av kommissionens utvärdering av ramprogrammen.

| 54. | Kommissionen såg över sitt allmänna tillvägagångssätt vid utvärdering 2000 och 2002 samt återigen 2007 (se punkt 14). Även om inga större förbättringar kunde iakttas när det gäller hur utvärderingarna av ramprogrammen och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen. |
| --- | --- |

54.

Kommissionen såg över sitt allmänna tillvägagångssätt vid utvärdering 2000 och 2002 samt återigen 2007 (se punkt 14). Även om inga större förbättringar kunde iakttas när det gäller hur utvärderingarna av ramprogrammen och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen.

Kommissionens centrala avdelningar: fastställa normer, men ingen tillsynsroll

| 55. | Kommissionens centrala avdelningar (i synnerhet GD Budget och generalsekretariatet) ger råd i metodfrågor, fastställer gemensamma normer för kommissionen som helhet och övervakar hur generaldirektoraten och avdelningarna tillämpar normerna (se punkterna 14 och 70). De kan inte föreskriva hur utvärderingarna ska genomföras i praktiken. |
| --- | --- |

55.

Kommissionens centrala avdelningar (i synnerhet GD Budget och generalsekretariatet) ger råd i metodfrågor, fastställer gemensamma normer för kommissionen som helhet och övervakar hur generaldirektoraten och avdelningarna tillämpar normerna (se punkterna 14 och 70). De kan inte föreskriva hur utvärderingarna ska genomföras i praktiken.

| 56. | Erfarenheter från USA och Kanada pekar på att de normgivande organens efterlevnadsåtgärder där kraftigt bidrar till att garantera att utvärderingssystemet fungerar ändamålsenligt. I båda länderna är det federala avdelningar som fastställer den ram inom vilken ett programs framgång slutligen bedöms och som ser till att den följs (se bilaga III). Trots olika bakgrund baseras deras system dock på samma underliggande princip att ett organ som är avskilt från det organ som genomför programmet noggrant ska bedöma utvärderingssystemets utformning och undersöka dess ändamålsenlighet. Detsamma kan observeras i några medlemsstater (t.ex. Frankrike (31), Spanien (32) och Tyskland (33)) där externa organ övervakar utvärderingar som gjorts av finansieringsorgan, eller till och med utför utvärderingarna själva. |
| --- | --- |

56.

Erfarenheter från USA och Kanada pekar på att de normgivande organens efterlevnadsåtgärder där kraftigt bidrar till att garantera att utvärderingssystemet fungerar ändamålsenligt. I båda länderna är det federala avdelningar som fastställer den ram inom vilken ett programs framgång slutligen bedöms och som ser till att den följs (se bilaga III). Trots olika bakgrund baseras deras system dock på samma underliggande princip att ett organ som är avskilt från det organ som genomför programmet noggrant ska bedöma utvärderingssystemets utformning och undersöka dess ändamålsenlighet. Detsamma kan observeras i några medlemsstater (t.ex. Frankrike (31), Spanien (32) och Tyskland (33)) där externa organ övervakar utvärderingar som gjorts av finansieringsorgan, eller till och med utför utvärderingarna själva.

Paneler

Paneler med externa experter: krävs enligt ramprogramlagstiftningen sedan fjärde ramprogrammet

| 57. | Sedan fjärde ramprogrammet har det krävts att alla stora utvärderingar (och årlig övervakning) av ramprogrammen ska utföras av (eller med stöd från) paneler bestående av externa experter (se bilaga II). Trots svårigheter att finna lämpliga experter skulle sådana paneler kunna skapa insyn, bidra med visst oberoende, underlätta deltagande av berörda parter och utveckla kunskap om själva ramprogrammen, utvärdering och de underliggande vetenskapliga frågorna. |
| --- | --- |

57.

Sedan fjärde ramprogrammet har det krävts att alla stora utvärderingar (och årlig övervakning) av ramprogrammen ska utföras av (eller med stöd från) paneler bestående av externa experter (se bilaga II). Trots svårigheter att finna lämpliga experter skulle sådana paneler kunna skapa insyn, bidra med visst oberoende, underlätta deltagande av berörda parter och utveckla kunskap om själva ramprogrammen, utvärdering och de underliggande vetenskapliga frågorna.

| 58. | Detta bekräftades av revisionsrättens undersökningar som visade att de svarande ansåg att kommissionens panelbaserade utvärderingssystem garanterade oberoende (se figur 4). |
| --- | --- |

58.

Detta bekräftades av revisionsrättens undersökningar som visade att de svarande ansåg att kommissionens panelbaserade utvärderingssystem garanterade oberoende (se figur 4).

Image

Brister i panelmetoden såsom den tillämpats av kommissionen

| 59. | Trots denna positiva uppfattning, såsom panelledamöter och berörda parter påpekade för revisionsrätten vid revisionen, har kommissionens användning av paneler för utvärdering av ramprogram kännetecknats av följande brister:






  — | Utvärderingspaneler tillsätts vanligen mindre än ett år innan deras rapporter ska vara klara och träffas bara vid ett begränsat antal sammanträden. Detta gör det svårt för panelledamöterna att påverka fastställandet av vilka uppgifter och analyser som krävs för deras arbete. Eftersom panelerna tillsätts för ett särskilt ändamål och tillfälligt är det vidare svårt att ackumulera kunskap om programmen, och relevanta frågor kan inte heller följas upp över tiden. Detta blir en särskild brist när (som för sjunde ramprogrammet) ett antal stora utvärderingar är planerade under hela programperioden (se bilaga II). Det kontrasterar också mot kommissionens praxis när det gäller dess rådgivande expertgrupper för ramprogrammen som är permanenta organ (34). Också i Kanada (35) är utvärderingspanelerna permanenta för att garantera ett samstämmigt och konsekvent tillvägagångssätt (se bilaga III). |
| --- | --- | --- |

59.

Trots denna positiva uppfattning, såsom panelledamöter och berörda parter påpekade för revisionsrätten vid revisionen, har kommissionens användning av paneler för utvärdering av ramprogram kännetecknats av följande brister:

—

Utvärderingspaneler tillsätts vanligen mindre än ett år innan deras rapporter ska vara klara och träffas bara vid ett begränsat antal sammanträden. Detta gör det svårt för panelledamöterna att påverka fastställandet av vilka uppgifter och analyser som krävs för deras arbete. Eftersom panelerna tillsätts för ett särskilt ändamål och tillfälligt är det vidare svårt att ackumulera kunskap om programmen, och relevanta frågor kan inte heller följas upp över tiden. Detta blir en särskild brist när (som för sjunde ramprogrammet) ett antal stora utvärderingar är planerade under hela programperioden (se bilaga II). Det kontrasterar också mot kommissionens praxis när det gäller dess rådgivande expertgrupper för ramprogrammen som är permanenta organ (34). Också i Kanada (35) är utvärderingspanelerna permanenta för att garantera ett samstämmigt och konsekvent tillvägagångssätt (se bilaga III).

| — | När kommissionen formulerar panelernas mandat och specificerar utvärderingsfrågorna konsulterar den inte berörda externa parter, såsom industrin och stora forskningsorganisationer som deltar i ramprogrammen. Övervakningspanelen för 2004 har också noterat detta problem och konstaterar att potentiella användare bör involveras i processen på ett tidigt stadium (36). |
| --- | --- |

—

När kommissionen formulerar panelernas mandat och specificerar utvärderingsfrågorna konsulterar den inte berörda externa parter, såsom industrin och stora forskningsorganisationer som deltar i ramprogrammen. Övervakningspanelen för 2004 har också noterat detta problem och konstaterar att potentiella användare bör involveras i processen på ett tidigt stadium (36).

| — | Paneler fungerar på ett annat sätt än när det gäller inbördes granskning (peer review). Deras ledamöter har inte tid att göra egna utvärderingar. I typfallet ger de råd utifrån de uppgifter och bevis som ställts till deras förfogande från andra källor. Till följd av tidsrestriktionerna har paneler endast haft begränsad möjlighet att beställa ytterligare studier som behövs för att behandla de frågor som anges i deras mandat. I praktiken var med få undantag endast information som lämnades av kommissionen tillgänglig för de paneler som gjorde femårsutvärderingarna. |
| --- | --- |

—

Paneler fungerar på ett annat sätt än när det gäller inbördes granskning (peer review). Deras ledamöter har inte tid att göra egna utvärderingar. I typfallet ger de råd utifrån de uppgifter och bevis som ställts till deras förfogande från andra källor. Till följd av tidsrestriktionerna har paneler endast haft begränsad möjlighet att beställa ytterligare studier som behövs för att behandla de frågor som anges i deras mandat. I praktiken var med få undantag endast information som lämnades av kommissionen tillgänglig för de paneler som gjorde femårsutvärderingarna.

Medel

Inga medel har särskilt öronmärkts för utvärdering av ramprogram

| 60. | Medel för utvärdering tillhandahålls på årsbasis för de behov som anges av de generaldirektorat som genomför ramprogram. För närvarande är det en kombination av medel för hela kommissionen från GD Budget och medel från den administrativa delen av budgeten för de berörda generaldirektoraten. Därutöver finansieras särskilda åtgärder såsom indirekta åtgärder från ramprogrammens driftsbudget. Detta innebär att det inte finns något belopp som särskilt avsatts för utvärdering. |
| --- | --- |

60.

Medel för utvärdering tillhandahålls på årsbasis för de behov som anges av de generaldirektorat som genomför ramprogram. För närvarande är det en kombination av medel för hela kommissionen från GD Budget och medel från den administrativa delen av budgeten för de berörda generaldirektoraten. Därutöver finansieras särskilda åtgärder såsom indirekta åtgärder från ramprogrammens driftsbudget. Detta innebär att det inte finns något belopp som särskilt avsatts för utvärdering.

| 61. | Under 2006 beräknades vid kommissionen som helhet i genomsnitt cirka 1 % av den totala personalstyrkan arbeta med utvärdering och verksamhetsbaserad förvaltning (37). Motsvarande siffror för övervaknings- och utvärderingsverksamhet avseende FoTU-ramprogrammen vid GD Forskning och GD Informationssamhället och medier var 1,2 respektive 1,3 %. När det gäller GD Forskning arbetade dock över två tredjedelar av denna personal på operativa avdelningar och inte på utvärderingsenheten, och utvärdering var endast en av flera uppgifter som de hade. |
| --- | --- |

61.

Under 2006 beräknades vid kommissionen som helhet i genomsnitt cirka 1 % av den totala personalstyrkan arbeta med utvärdering och verksamhetsbaserad förvaltning (37). Motsvarande siffror för övervaknings- och utvärderingsverksamhet avseende FoTU-ramprogrammen vid GD Forskning och GD Informationssamhället och medier var 1,2 respektive 1,3 %. När det gäller GD Forskning arbetade dock över två tredjedelar av denna personal på operativa avdelningar och inte på utvärderingsenheten, och utvärdering var endast en av flera uppgifter som de hade.

De resurser som avsätts för utvärdering av ramprogram är lägre än vad som rekommenderas av kommissionen

| 62. | Medel som avsatts för utvärdering kan också uttryckas som en procentandel av de totala budgetanslagen till programmet. Uppgifter som inhämtats vid revisionen pekar på att den för forskningsprogram i EU:s medlemsstater vanligen ligger mellan 0,1 och 2 %. I kommissionens riktlinjer föreslås att 0,5 % av ett programs budget bör avsättas till utvärdering (38). För större program gör dock skalfördelar att en mindre andel av deras budgetar skulle kunna räcka. |
| --- | --- |

62.

Medel som avsatts för utvärdering kan också uttryckas som en procentandel av de totala budgetanslagen till programmet. Uppgifter som inhämtats vid revisionen pekar på att den för forskningsprogram i EU:s medlemsstater vanligen ligger mellan 0,1 och 2 %. I kommissionens riktlinjer föreslås att 0,5 % av ett programs budget bör avsättas till utvärdering (38). För större program gör dock skalfördelar att en mindre andel av deras budgetar skulle kunna räcka.

| 63. | En jämförelse mellan kommissionens sifferuppgifter för utvärderingskostnader under perioden 2003–2006 och budgetanslagen för varje generaldirektorat visar att det övergripande genomsnittet ligger på omkring 0,15 % vilket är betydligt under den nivå som föreslagits av kommissionen. En närmare analys av 2006 visar att GD Informationssamhället och medier spenderade omkring fyra gånger mer på utvärdering än GD Forskning i förhållande till anslagen för deras respektive ansvarsområden. På GD Forskning är dessutom endast 0,7 % av en heltidstjänst avsatt till utvärdering per miljon euro i den årliga budgeten. Som jämförelse avsätter GD Informationssamhället och medier det dubbla beloppet. |
| --- | --- |

63.

En jämförelse mellan kommissionens sifferuppgifter för utvärderingskostnader under perioden 2003–2006 och budgetanslagen för varje generaldirektorat visar att det övergripande genomsnittet ligger på omkring 0,15 % vilket är betydligt under den nivå som föreslagits av kommissionen. En närmare analys av 2006 visar att GD Informationssamhället och medier spenderade omkring fyra gånger mer på utvärdering än GD Forskning i förhållande till anslagen för deras respektive ansvarsområden. På GD Forskning är dessutom endast 0,7 % av en heltidstjänst avsatt till utvärdering per miljon euro i den årliga budgeten. Som jämförelse avsätter GD Informationssamhället och medier det dubbla beloppet.

| 64. | Som framgår av denna rapport har denna extra ansträngning av GD Informationssamhället och medier lett till mer omfattande utvärderingar (se punkterna 13 och 46) och, som framgår av det stickprov av utvärderingsstudier som revisionsrätten kontrollerade, att metoder som är bättre lämpade för att möta utvärderingsbehoven använts (se punkt 84). |
| --- | --- |

64.

Som framgår av denna rapport har denna extra ansträngning av GD Informationssamhället och medier lett till mer omfattande utvärderingar (se punkterna 13 och 46) och, som framgår av det stickprov av utvärderingsstudier som revisionsrätten kontrollerade, att metoder som är bättre lämpade för att möta utvärderingsbehoven använts (se punkt 84).

| 65. | Revisionsrätten gjorde en kostnadsberäkning baserad på uppgifter från kommissionen av vilken det framgår att ett utvärderingssystem baserat på förslagen i denna rapport i genomsnitt skulle motsvara mindre än 0,4 % av budgetanslagen för sjunde ramprogrammet. Detta skulle täcka kostnaderna för paneler, studier utlagda på entreprenad, personal både vid det gemensamma utvärderingskontoret och vid de nuvarande GD-specifika utvärderingsenheterna samt diverse andra kostnader (39). |
| --- | --- |

65.

Revisionsrätten gjorde en kostnadsberäkning baserad på uppgifter från kommissionen av vilken det framgår att ett utvärderingssystem baserat på förslagen i denna rapport i genomsnitt skulle motsvara mindre än 0,4 % av budgetanslagen för sjunde ramprogrammet. Detta skulle täcka kostnaderna för paneler, studier utlagda på entreprenad, personal både vid det gemensamma utvärderingskontoret och vid de nuvarande GD-specifika utvärderingsenheterna samt diverse andra kostnader (39).

Rekommendationer

66.

| 66. | ”Forskningsgeneraldirektoraten” bör överväga att inrätta ett gemensamt utvärderingskontor utöver de utvärderingsenheter som nu finns vid varje generaldirektorat. I likhet med gällande praxis på andra politikområden skulle detta kontor kunna samordna kommissionens utvärderingsverksamhet för ramprogrammet som helhet. Sådana gemensamma stödfunktioner har rekommenderats tidigare för de generaldirektorat som genomför ramprogram (40) och de kan komma att bli ännu viktigare i framtiden när Europeiska forskningsrådet inrättas och programgenomförandet delegeras till genomförandeorgan. |
| --- | --- |

”Forskningsgeneraldirektoraten” bör överväga att inrätta ett gemensamt utvärderingskontor utöver de utvärderingsenheter som nu finns vid varje generaldirektorat. I likhet med gällande praxis på andra politikområden skulle detta kontor kunna samordna kommissionens utvärderingsverksamhet för ramprogrammet som helhet. Sådana gemensamma stödfunktioner har rekommenderats tidigare för de generaldirektorat som genomför ramprogram (40) och de kan komma att bli ännu viktigare i framtiden när Europeiska forskningsrådet inrättas och programgenomförandet delegeras till genomförandeorgan.

| 67. | Kommissionen bör fortsätta att använda utvärderingspaneler som bistår den i dess utvärderingsverksamhet. Kommissionen bör dock överväga hur panelernas struktur kan anpassas till ramprogrammens övergripande programstruktur. Detta skulle kunna ske genom att man har paneler för särskilda program och, när så är lämpligt, delprogram (se bilaga IV). Dessa paneler bör dessutom inrättas så tidigt att de på ett ändamålsenligt sätt kan stödja kommissionen och fortsätta med detta under och efter programperioden. |
| --- | --- |

67.

Kommissionen bör fortsätta att använda utvärderingspaneler som bistår den i dess utvärderingsverksamhet. Kommissionen bör dock överväga hur panelernas struktur kan anpassas till ramprogrammens övergripande programstruktur. Detta skulle kunna ske genom att man har paneler för särskilda program och, när så är lämpligt, delprogram (se bilaga IV). Dessa paneler bör dessutom inrättas så tidigt att de på ett ändamålsenligt sätt kan stödja kommissionen och fortsätta med detta under och efter programperioden.

| 68. | Kommissionen bör ompröva vilka medel som ska användas för utvärdering av ramprogrammen och de program som ingår i dem. |
| --- | --- |

68.

Kommissionen bör ompröva vilka medel som ska användas för utvärdering av ramprogrammen och de program som ingår i dem.

Utvärderingsmetoder och utvärderingstekniker

| 69. | För ändamålsenliga utvärderingar krävs att lämpliga metoder och tekniker används. Revisionsrätten kontrollerade i vilken utsträckning det fanns särskilda riktlinjer för utvärdering av ramprogrammen, om informationsbehoven analyserades ordentligt och vid rätt tidpunkt samt om relevanta uppgifter ställdes till utvärderarnas förfogande. Vad gäller de utvärderingsstudier som gjorts av kommissionen (eller för dess räkning) kontrollerade revisionsrätten om de tekniker som använts för enskilda studier gav en tillräcklig grund för att besvara de utvärderingsfrågor som formulerats för femårsutvärderingarna. Det potentiella bidrag som utvärderingar på nationell nivå skulle kunna lämna till utvärderingar av ramprogram övervägdes också. |
| --- | --- |

69.

För ändamålsenliga utvärderingar krävs att lämpliga metoder och tekniker används. Revisionsrätten kontrollerade i vilken utsträckning det fanns särskilda riktlinjer för utvärdering av ramprogrammen, om informationsbehoven analyserades ordentligt och vid rätt tidpunkt samt om relevanta uppgifter ställdes till utvärderarnas förfogande. Vad gäller de utvärderingsstudier som gjorts av kommissionen (eller för dess räkning) kontrollerade revisionsrätten om de tekniker som använts för enskilda studier gav en tillräcklig grund för att besvara de utvärderingsfrågor som formulerats för femårsutvärderingarna. Det potentiella bidrag som utvärderingar på nationell nivå skulle kunna lämna till utvärderingar av ramprogram övervägdes också.

Ta fram ramprogramspecifika normer och riktlinjer

| 70. | GD Budget har gett ut flera meddelanden där dess utvärderingspolitik och bestämmelser för genomförandet av den fastställs, och också lagt fast en uppsättning normer för hela kommissionen (se punkterna 14 och 55) (41). För andra politikområden har de behöriga generaldirektoraten också tagit fram specifika utvärderingshandböcker (42). |
| --- | --- |

70.

GD Budget har gett ut flera meddelanden där dess utvärderingspolitik och bestämmelser för genomförandet av den fastställs, och också lagt fast en uppsättning normer för hela kommissionen (se punkterna 14 och 55) (41). För andra politikområden har de behöriga generaldirektoraten också tagit fram specifika utvärderingshandböcker (42).

| 71. | Detta gäller dock inte ramprogrammen. Det finns ett antal metodguider och verktygslådor för utvärderingsverksamhet på forskningsområdet som har publicerats (eller finansierats) av kommissionen (43). Dessa ger dock varken specifik vägledning om hur utvärderingar av ramprogram ska utföras eller hur kommissionens personal eller externa experter ska använda nyckelkoncept eller terminologi. Detta har bidragit till de problem som diskuteras nedan. |
| --- | --- |

71.

Detta gäller dock inte ramprogrammen. Det finns ett antal metodguider och verktygslådor för utvärderingsverksamhet på forskningsområdet som har publicerats (eller finansierats) av kommissionen (43). Dessa ger dock varken specifik vägledning om hur utvärderingar av ramprogram ska utföras eller hur kommissionens personal eller externa experter ska använda nyckelkoncept eller terminologi. Detta har bidragit till de problem som diskuteras nedan.

Uppgiftsbehov och uppgiftsinsamling

Otillräcklig analys av informationsbehoven

| 72. | ”Forskningsgeneraldirektoraten” har inte ägnat tillräcklig uppmärksamhet åt att sätta sig in i vilka uppgifter som behövs för utvärdering och övervakning. I stället för att genomföra en systematisk och uttömmande analys av informationsbehoven specificerade kommissionen uppgiftskraven sent under programperioden och tog inte tillräcklig hänsyn till de övergripande utvärderingsbehoven. Det socioekonomiska frågeformuläret för sjätte ramprogrammet var generaldirektoratens enda gemensamma försök att komma överens om sådana uppgifter (se punkt 76). Men detta frågeformulär blev klart 2004 (tre år efter det att programperioden inletts) och gäller i första hand balanserad könsfördelning och miljöeffekter snarare än vetenskaplig output (såsom frågor om immateriella rättigheter, publikationer etc.), utfall eller effekter. |
| --- | --- |

72.

”Forskningsgeneraldirektoraten” har inte ägnat tillräcklig uppmärksamhet åt att sätta sig in i vilka uppgifter som behövs för utvärdering och övervakning. I stället för att genomföra en systematisk och uttömmande analys av informationsbehoven specificerade kommissionen uppgiftskraven sent under programperioden och tog inte tillräcklig hänsyn till de övergripande utvärderingsbehoven. Det socioekonomiska frågeformuläret för sjätte ramprogrammet var generaldirektoratens enda gemensamma försök att komma överens om sådana uppgifter (se punkt 76). Men detta frågeformulär blev klart 2004 (tre år efter det att programperioden inletts) och gäller i första hand balanserad könsfördelning och miljöeffekter snarare än vetenskaplig output (såsom frågor om immateriella rättigheter, publikationer etc.), utfall eller effekter.

| 73. | Bedömningen av program är i hög grad beroende av tillgång till följande tre typer av uppgifter:






  — | Uppgifter som samlats in i enlighet med ”indikatorer för ändamålsenlighet” som när de analyseras ger kunskap om utvecklingen mot programmets mål. Avsaknaden av en interventionslogik, som det tidigare hänvisats till, gör att det har varit svårt att fastställa sådana indikatorer (se punkt 30). I praktiken var de uppgifter som hade samlats in av liten betydelse för att mäta hur programmens mål hade uppnåtts. |
| --- | --- | --- |

73.

Bedömningen av program är i hög grad beroende av tillgång till följande tre typer av uppgifter:

—

Uppgifter som samlats in i enlighet med ”indikatorer för ändamålsenlighet” som när de analyseras ger kunskap om utvecklingen mot programmets mål. Avsaknaden av en interventionslogik, som det tidigare hänvisats till, gör att det har varit svårt att fastställa sådana indikatorer (se punkt 30). I praktiken var de uppgifter som hade samlats in av liten betydelse för att mäta hur programmens mål hade uppnåtts.

| — | Uppgifter om förvaltningen av programmet (i enlighet med ”effektivitetsindikatorer”). |
| --- | --- |

—

Uppgifter om förvaltningen av programmet (i enlighet med ”effektivitetsindikatorer”).

| — | Uppgifter om deltagare (såsom andelen stora forskningsorganisationer som deltog). |
| --- | --- |

—

Uppgifter om deltagare (såsom andelen stora forskningsorganisationer som deltog).

| 74. | I synnerhet bör kommissionen ha tillgång till de två sistnämnda. Men på grund av problem med kommissionens interna IT-system, varifrån de flesta uppgifter om programförvaltning och deltagare hämtas (44), har man haft stora problem med detta i praktiken (45). |
| --- | --- |

74.

I synnerhet bör kommissionen ha tillgång till de två sistnämnda. Men på grund av problem med kommissionens interna IT-system, varifrån de flesta uppgifter om programförvaltning och deltagare hämtas (44), har man haft stora problem med detta i praktiken (45).

| 75. | Detta illustreras av de stora förseningarna när det gäller att göra artikel 173-rapporter och årliga övervakningsrapporter tillgängliga (upp till 16 månaders försening för artikel 173-rapporter (46) och upp till sju månaders försening för årliga övervakningsrapporter under perioden 2002–2005). Eftersom denna information konsekvent lämnades sent var den av begränsad nytta. |
| --- | --- |

75.

Detta illustreras av de stora förseningarna när det gäller att göra artikel 173-rapporter och årliga övervakningsrapporter tillgängliga (upp till 16 månaders försening för artikel 173-rapporter (46) och upp till sju månaders försening för årliga övervakningsrapporter under perioden 2002–2005). Eftersom denna information konsekvent lämnades sent var den av begränsad nytta.

Ineffektivt sätt att hämta utvärderingsuppgifter från deltagare

| 76. | Sedan femte ramprogrammet har kommissionen systematiskt genom kontrakt begärt att deltagarna lämnar de uppgifter som behövs för att mäta hur programmens mål uppnåtts uttryckt i output, utfall och effekter enligt följande:






  — | Inom femte ramprogrammet fanns det ett krav på att deltagarna skulle lämna en plan för det tekniska genomförandet tillsammans med en slutrapport när projektet hade avslutats. Dessa dokument var ofta av dålig kvalitet eller lämnades inte in över huvud taget. |
| --- | --- | --- |

76.

Sedan femte ramprogrammet har kommissionen systematiskt genom kontrakt begärt att deltagarna lämnar de uppgifter som behövs för att mäta hur programmens mål uppnåtts uttryckt i output, utfall och effekter enligt följande:

—

Inom femte ramprogrammet fanns det ett krav på att deltagarna skulle lämna en plan för det tekniska genomförandet tillsammans med en slutrapport när projektet hade avslutats. Dessa dokument var ofta av dålig kvalitet eller lämnades inte in över huvud taget.

| — | Inom sjätte ramprogrammet ska de ta fram en plan för spridning och användning av kunskap och besvara ett standardiserat frågeformulär om socioekonomiska aspekter när de lämnar in sina årliga tekniska rapporter. |
| --- | --- |

—

Inom sjätte ramprogrammet ska de ta fram en plan för spridning och användning av kunskap och besvara ett standardiserat frågeformulär om socioekonomiska aspekter när de lämnar in sina årliga tekniska rapporter.

| 77. | Dessa kontraktskrav på att överlämna uppgifter har inneburit onödiga administrativa bördor för deltagarna. Ett exempel som gäller det årliga frågeformuläret för sjätte ramprogrammet är att det samlas in uppgifter mycket oftare än nödvändigt och från hela projektpopulationen när det skulle räcka med ett representativt stickprov. Detta leder sannolikt till ”utvärderingströtthet”. Vidare har uppgifterna samlats in vid fel tidpunkt – många av de underliggande förhållanden för vilka uppgifter samlas in är medellånga eller långsiktiga till sin karaktär, så uppgiftsinsamling under projektets kontraktstid sker per definition för tidigt (47). Detta är orsaken till att de uppgifter som kommit fram genom dessa verktyg endast varit till begränsad praktisk nytta vid utvärderingar inom femte och sjätte ramprogrammet. |
| --- | --- |

77.

Dessa kontraktskrav på att överlämna uppgifter har inneburit onödiga administrativa bördor för deltagarna. Ett exempel som gäller det årliga frågeformuläret för sjätte ramprogrammet är att det samlas in uppgifter mycket oftare än nödvändigt och från hela projektpopulationen när det skulle räcka med ett representativt stickprov. Detta leder sannolikt till ”utvärderingströtthet”. Vidare har uppgifterna samlats in vid fel tidpunkt – många av de underliggande förhållanden för vilka uppgifter samlas in är medellånga eller långsiktiga till sin karaktär, så uppgiftsinsamling under projektets kontraktstid sker per definition för tidigt (47). Detta är orsaken till att de uppgifter som kommit fram genom dessa verktyg endast varit till begränsad praktisk nytta vid utvärderingar inom femte och sjätte ramprogrammet.

| 78. | Inget av de system som för närvarande används ger dock möjlighet att på ett standardiserat sätt samla in uppgifter i slutet av (eller kort tid efter) ett projekts löptid. Berörda parter som intervjuades föreslog att denna information skulle kunna innehålla uppgifter om hur projektmål uppnåtts, avsedda (och oplanerade) resultat och hur deltagarna uppfattar det mervärde som gemenskapen tillför. Sådan information skulle också kunna ligga till grund för externa granskningar av avslutade projekt (48). |
| --- | --- |

78.

Inget av de system som för närvarande används ger dock möjlighet att på ett standardiserat sätt samla in uppgifter i slutet av (eller kort tid efter) ett projekts löptid. Berörda parter som intervjuades föreslog att denna information skulle kunna innehålla uppgifter om hur projektmål uppnåtts, avsedda (och oplanerade) resultat och hur deltagarna uppfattar det mervärde som gemenskapen tillför. Sådan information skulle också kunna ligga till grund för externa granskningar av avslutade projekt (48).

| 79. | Tillsammans med en ökad användning av scientometriska metoder (såsom citeringsanalys) vid bedömningen av projektresultat (se punkt 83) skulle detta kunna ligga till grund för kommissionens övergång till ett mer resultatbaserat finansieringssystem för FoTU-verksamhet som medfinansieras av gemenskapen (49). |
| --- | --- |

79.

Tillsammans med en ökad användning av scientometriska metoder (såsom citeringsanalys) vid bedömningen av projektresultat (se punkt 83) skulle detta kunna ligga till grund för kommissionens övergång till ett mer resultatbaserat finansieringssystem för FoTU-verksamhet som medfinansieras av gemenskapen (49).

Otillräcklig användning av andra uppgiftskällor

| 80. | Andra existerande uppgiftskällor inom kommissionen och i medlemsstaterna utnyttjas inte tillräckligt (t.ex. databaser över nationella FoTU-program och finansieringsorgan samt gemenskapens informationstjänst för forskning och utveckling (CORDIS) som sköts av kommissionens publikationsbyrå (50)). |
| --- | --- |

80.

Andra existerande uppgiftskällor inom kommissionen och i medlemsstaterna utnyttjas inte tillräckligt (t.ex. databaser över nationella FoTU-program och finansieringsorgan samt gemenskapens informationstjänst för forskning och utveckling (CORDIS) som sköts av kommissionens publikationsbyrå (50)).

Utvärderingsstudier som utförts av kommissionen

Rapporter som granskades av revisionsrätten

| 81. | Revisionsrätten granskade 86 utvärderingsstudier som utförts av kommissionen (eller för dess räkning) sedan 2000. Häri ingick samtliga de 36 studier som låg till grund för de femårsutvärderingar som publicerades 2004 och de ytterligare 50 studier som slutförts sedan dess. Av dessa kan endast 23 studier anses vara genuina utvärderingar av ramprogrammet och dess program (se figur 5).
  Figur 5
  Översikt över de utvärderingsstudier som utförts av kommissionen (eller för dess räkning) under perioden 2000–2006








  Typ av studie | Antal | Beskrivning |
| --- | --- | --- | --- |
| Utvärdering av FoTU-verksamhet | 23 | Utvärderingsstudier






  — | baserade på erkända metoder (51), |

81.

Revisionsrätten granskade 86 utvärderingsstudier som utförts av kommissionen (eller för dess räkning) sedan 2000. Häri ingick samtliga de 36 studier som låg till grund för de femårsutvärderingar som publicerades 2004 och de ytterligare 50 studier som slutförts sedan dess. Av dessa kan endast 23 studier anses vara genuina utvärderingar av ramprogrammet och dess program (se figur 5).

Figur 5

Översikt över de utvärderingsstudier som utförts av kommissionen (eller för dess räkning) under perioden 2000–2006

Typ av studie

Antal

Beskrivning

Utvärdering av FoTU-verksamhet

23

Utvärderingsstudier

—

baserade på erkända metoder (51),

| — | som särskilt gäller programmål och i vilken utsträckning de har uppnåtts. |
| --- | --- |

—

som särskilt gäller programmål och i vilken utsträckning de har uppnåtts.

Nationella konsekvensbedömningar som gjorts på medlemsstatsnivå

12

Studier som utförts av medlemsstater och främst handlar om nationell deltagandenivå och inte drar slutsatser om programmål.

Metodstudier

5

Studier som organiserats av kommissionen för att stödja framtagningen av utvärderingsmetoder.

Studier av det europeiska FoTU-landskapet

2

Studier om kontextuella analyser av hur forskningen ser ut i Europa, med undantag för ramprogrammen. I synnerhet hänvisas inte uttryckligen till den effekt ramprogrammen har på nationella system för forskning och innovation.

Icke analytiska beskrivande och statistiska dokument

33

Dokument som ofta behandlar FoTU-verksamhet på ett mycket indirekt sätt och beskriver verksamheter snarare än analyserar dem.

Övriga dokument

11

Olika typer av dokument som behandlar frågor av allmänpolitiskt intresse, men inte undersöker ramprogrammen i dessa sammanhang.

Utvärderingar inriktade på övervakningsfrågor snarare än på utfall och effekter

| 82. | De två viktigaste iakttagelserna efter revisionsrättens metaanalys av dessa särskilda utvärderingsstudier är följande:






  — | Även om man i många av studierna försöker dra slutsatser i förhållande till programmålen presenteras dessa slutsatser på ett vagt sätt och övertygar inte läsaren om att utvärderingen faktiskt har behandlat denna fråga. Detta beror ofta på att bristen på tydliga programmål på ett avgörande sätt undergräver processen (se punkt 28). |
| --- | --- | --- |

82.

De två viktigaste iakttagelserna efter revisionsrättens metaanalys av dessa särskilda utvärderingsstudier är följande:

—

Även om man i många av studierna försöker dra slutsatser i förhållande till programmålen presenteras dessa slutsatser på ett vagt sätt och övertygar inte läsaren om att utvärderingen faktiskt har behandlat denna fråga. Detta beror ofta på att bristen på tydliga programmål på ett avgörande sätt undergräver processen (se punkt 28).

| — | I stället för att utvärdera ramprogrammens eller deras särskilda programs (och delprograms) utfall och effekter är många av dokumenten beskrivande och, i bästa fall, inriktade på omedelbar projektoutput och programförvaltningsfrågor. Från dessa rapporter går det inte att hämta övertygande bevis om utfall eller effekter. |
| --- | --- |

—

I stället för att utvärdera ramprogrammens eller deras särskilda programs (och delprograms) utfall och effekter är många av dokumenten beskrivande och, i bästa fall, inriktade på omedelbar projektoutput och programförvaltningsfrågor. Från dessa rapporter går det inte att hämta övertygande bevis om utfall eller effekter.

Otillräcklig inriktning på framtagning av nyskapande metoder

| 83. | Användningen av traditionella metoder och tekniker dominerar (i synnerhet undersökningar, genomgång av handlingar och intervjuer) i de utvärderingar som gjordes under perioden 2000–2006 (se figur 6). Vidare användes inte (eller endast mycket sällan) ett antal andra sofistikerade men trots det väl etablerade utvärderingsmetoder och utvärderingstekniker, i synnerhet följande:






  — | Scientometriska metoder (såsom citeringsanalys) (52). |
| --- | --- | --- |

83.

Användningen av traditionella metoder och tekniker dominerar (i synnerhet undersökningar, genomgång av handlingar och intervjuer) i de utvärderingar som gjordes under perioden 2000–2006 (se figur 6). Vidare användes inte (eller endast mycket sällan) ett antal andra sofistikerade men trots det väl etablerade utvärderingsmetoder och utvärderingstekniker, i synnerhet följande:

—

Scientometriska metoder (såsom citeringsanalys) (52).

| — | Kvantitativa modeller (såsom kostnadseffektivitetsanalys, analys av måluppfyllelse i förhållande till kostnader och kostnadsnyttoanalys) (53). |
| --- | --- |

—

Kvantitativa modeller (såsom kostnadseffektivitetsanalys, analys av måluppfyllelse i förhållande till kostnader och kostnadsnyttoanalys) (53).

| — | Aktörsmodeller (eller beteendemodeller) (som fokuserar på perspektiven för dem som deltar i en intervention, såsom kännetecken på forskningsnätverk och hur dessa ändras över tiden). |
| --- | --- |

—

Aktörsmodeller (eller beteendemodeller) (som fokuserar på perspektiven för dem som deltar i en intervention, såsom kännetecken på forskningsnätverk och hur dessa ändras över tiden).

Image

| 84. | Utvärderingsstudier som försökte behandla några av metodsvårigheterna vid bedömning av offentliga interventioner i forskningsverksamhet (se bilaga I) användes endast i ett begränsat antal fall:






  — | Nyligen avslutades två studier om interventionslogik (54). |
| --- | --- | --- |

84.

Utvärderingsstudier som försökte behandla några av metodsvårigheterna vid bedömning av offentliga interventioner i forskningsverksamhet (se bilaga I) användes endast i ett begränsat antal fall:

—

Nyligen avslutades två studier om interventionslogik (54).

| — | Endast tre studier har identifierats där man har försökt bedöma vilken effekt gemenskapsfinansiering har haft på forskningsorganisationernas beteende vid paneuropeiskt nätverksarbete (55). Detta trots det faktum att antagandet om positiva nätverkseffekter är centralt i det europeiska området för forskningsverksamhet. |
| --- | --- |

—

Endast tre studier har identifierats där man har försökt bedöma vilken effekt gemenskapsfinansiering har haft på forskningsorganisationernas beteende vid paneuropeiskt nätverksarbete (55). Detta trots det faktum att antagandet om positiva nätverkseffekter är centralt i det europeiska området för forskningsverksamhet.

| — | Endast i ett fall har det gjorts ett försök att dra slutsatser om vilka effekter som uppnåtts på programnivå (eller delprogramnivå) genom att man kombinerat en aggregering av utvärderingsanalyser på projektnivå med andra utvärderingstekniker (56). |
| --- | --- |

—

Endast i ett fall har det gjorts ett försök att dra slutsatser om vilka effekter som uppnåtts på programnivå (eller delprogramnivå) genom att man kombinerat en aggregering av utvärderingsanalyser på projektnivå med andra utvärderingstekniker (56).

| — | Inga bevis har påträffats för att andra metoder använts, såsom ”kontrafaktiska” tillvägagångssätt (eller tillvägagångssätt med kontrollgrupper). Detta tillvägagångssätt skulle vara särskilt användbart för att visa mervärdet av program på gemenskapsnivå i jämförelse med att inte intervenera alls (eller intervenera på nationell eller regional nivå). |
| --- | --- |

—

Inga bevis har påträffats för att andra metoder använts, såsom ”kontrafaktiska” tillvägagångssätt (eller tillvägagångssätt med kontrollgrupper). Detta tillvägagångssätt skulle vara särskilt användbart för att visa mervärdet av program på gemenskapsnivå i jämförelse med att inte intervenera alls (eller intervenera på nationell eller regional nivå).

| 85. | De berörda parter revisionsrätten intervjuade ansåg att nyttan och relevansen av kommissionens utvärderingar kunde förbättras. Detta visar på behovet att man ytterligare utvecklar metoderna så att utvärderingssystemet kan utformas så att hänsyn tas till ramprogrammens ändrade karaktär (se punkt 7) (57). |
| --- | --- |

85.

De berörda parter revisionsrätten intervjuade ansåg att nyttan och relevansen av kommissionens utvärderingar kunde förbättras. Detta visar på behovet att man ytterligare utvecklar metoderna så att utvärderingssystemet kan utformas så att hänsyn tas till ramprogrammens ändrade karaktär (se punkt 7) (57).

Viktiga frågor som framkommit vid femårsutvärderingarna kunde inte behandlas med kommissionens särskilda utvärderingsstudier som grund

| 86. | Detta illustreras också av de stora problem som panelen för femårsutvärderingen 2004 (58) hade med att besvara de utvärderingsfrågor som föreslås i mandatet. Många av dessa viktiga frågor kunde inte behandlas över huvud taget eftersom det saknades lämpliga studier utförda i förväg av kommissionen (eller för dess räkning). Panelen hade ingen möjlighet att beställa sådana studier i tid (se figur 7).
  Figur 7
  Behandling av utvärderingsfrågor vid femårsutvärderingen 2004 | Utvärderingsfrågor | Behandlas i rapporten? |
| --- | --- | --- | --- |
| GENOMFÖRANDE | Genomfördes verksamheterna på ett effektivt sätt? | Delvis |
| Var verksamheterna kostnadseffektiva? | Delvis |
| Var verksamheterna det bästa sättet att nå de uppsatta målen? | Nej |
| Var den övergripande rättsliga ramen (inklusive regler för deltagande och kontrakt), policyinstrumenten och genomförandebestämmelserna tydliga, lämpliga och ändamålsenliga? | Nej |
| Var finansieringsnivån och andra tillgängliga resurser tillräckliga? | Nej |
| Kunde målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, reagera på ett lämpligt sätt? | Ja |
| UPPNÅDDA RESULTAT | Kunde de uppsatta målen nås genom verksamheterna, och i vilken utsträckning förekom oväntade resultat? | Nej |
| Vilka är de viktigaste resultaten, särskilt i fråga om vetenskaplig, teknisk, socioekonomisk och miljömässig output, när det gäller internationellt samarbete, kunskapsöverföring och innovation, standardförberedande åtgärder, tillgänglighet, spridning och utnyttjande av forskningsresultat, utveckling av mänskliga resurser, rörlighet och utbildning, och för att stödja och stärka samordningen av forskningsverksamhet? | Nej |
| Var resultaten och deras konsekvenser och effekter generellt sätt tillfredsställande ur direkta och indirekta mottagares och berörda parters perspektiv? | Nej |
| Behandlades de relevanta målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, på ett tillfredsställande sätt? | Ja |
| Hur och i vilken utsträckning har verksamheterna bidragit till att förbättra EU-forskningens konkurrenskraft internationellt? Blev EU-forskningen ledande inom särskilda områden? | Delvis |
| Hur och i vilken utsträckning har verksamheterna bidragit till EU-politiken i allmänhet och till EU:s strategi för hållbar utveckling? | Nej |
| Finns det bevis för strukturella förändringar på nationell eller internationell nivå, särskilt när det gäller arbete i nätverk, integration och samordning av forskning, till följd av gemenskapens forskningsverksamhet? | Nej |
| Gav programmen valuta för pengarna? Hade verksamheterna bestående effekter? | Nej |
| UTVECKLING OCH FRAMTIDS-PERSPEKTIV | Hur utvecklades ramprogrammen i fråga om logisk grund, mål, tematiska prioriteringar, balansen mellan nerifrån-och-upp-prioriteringar och uppifrån-och-ner-prioriteringar samt mellan grundforskning och tillämpad forskning, instrument, europeiskt mervärde och andra effekter, särskilt i skenet av utvecklingen av det europeiska området för forskningsverksamhet, Lissabonmålen och viktiga internationella ekonomiska riktmärken och riktmärken för forskning? | Ja |
| Hur uppnåddes europeiskt mervärde genom ramprogrammet? | Ja |
| Kan europeiskt mervärde uppnås genom andra internationella eller nationella mekanismer? | Nej |
| Är programmens politiska mål, prioriteringar, instrument och livscykel lämpliga för framtiden? | Ja |

86.

Detta illustreras också av de stora problem som panelen för femårsutvärderingen 2004 (58) hade med att besvara de utvärderingsfrågor som föreslås i mandatet. Många av dessa viktiga frågor kunde inte behandlas över huvud taget eftersom det saknades lämpliga studier utförda i förväg av kommissionen (eller för dess räkning). Panelen hade ingen möjlighet att beställa sådana studier i tid (se figur 7).

Figur 7

Behandling av utvärderingsfrågor vid femårsutvärderingen 2004

Utvärderingsfrågor

Behandlas i rapporten?

GENOMFÖRANDE

Genomfördes verksamheterna på ett effektivt sätt?

Delvis

Var verksamheterna kostnadseffektiva?

Delvis

Var verksamheterna det bästa sättet att nå de uppsatta målen?

Nej

Var den övergripande rättsliga ramen (inklusive regler för deltagande och kontrakt), policyinstrumenten och genomförandebestämmelserna tydliga, lämpliga och ändamålsenliga?

Nej

Var finansieringsnivån och andra tillgängliga resurser tillräckliga?

Nej

Kunde målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, reagera på ett lämpligt sätt?

Ja

UPPNÅDDA RESULTAT

Kunde de uppsatta målen nås genom verksamheterna, och i vilken utsträckning förekom oväntade resultat?

Nej

Vilka är de viktigaste resultaten, särskilt i fråga om vetenskaplig, teknisk, socioekonomisk och miljömässig output, när det gäller internationellt samarbete, kunskapsöverföring och innovation, standardförberedande åtgärder, tillgänglighet, spridning och utnyttjande av forskningsresultat, utveckling av mänskliga resurser, rörlighet och utbildning, och för att stödja och stärka samordningen av forskningsverksamhet?

Nej

Var resultaten och deras konsekvenser och effekter generellt sätt tillfredsställande ur direkta och indirekta mottagares och berörda parters perspektiv?

Nej

Behandlades de relevanta målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, på ett tillfredsställande sätt?

Ja

Hur och i vilken utsträckning har verksamheterna bidragit till att förbättra EU-forskningens konkurrenskraft internationellt? Blev EU-forskningen ledande inom särskilda områden?

Delvis

Hur och i vilken utsträckning har verksamheterna bidragit till EU-politiken i allmänhet och till EU:s strategi för hållbar utveckling?

Nej

Finns det bevis för strukturella förändringar på nationell eller internationell nivå, särskilt när det gäller arbete i nätverk, integration och samordning av forskning, till följd av gemenskapens forskningsverksamhet?

Nej

Gav programmen valuta för pengarna? Hade verksamheterna bestående effekter?

Nej

UTVECKLING OCH FRAMTIDS-PERSPEKTIV

Hur utvecklades ramprogrammen i fråga om logisk grund, mål, tematiska prioriteringar, balansen mellan nerifrån-och-upp-prioriteringar och uppifrån-och-ner-prioriteringar samt mellan grundforskning och tillämpad forskning, instrument, europeiskt mervärde och andra effekter, särskilt i skenet av utvecklingen av det europeiska området för forskningsverksamhet, Lissabonmålen och viktiga internationella ekonomiska riktmärken och riktmärken för forskning?

Ja

Hur uppnåddes europeiskt mervärde genom ramprogrammet?

Ja

Kan europeiskt mervärde uppnås genom andra internationella eller nationella mekanismer?

Nej

Är programmens politiska mål, prioriteringar, instrument och livscykel lämpliga för framtiden?

Ja

| 87. | Dessutom konstateras att endast när det gällde de aspekter där tydliga och kvantifierbara mål hade fastställts i programmen (såsom andelen små och medelstora företags deltagande) kunde panelmedlemmarna besvara de frågor som angetts i mandatet. |
| --- | --- |

87.

Dessutom konstateras att endast när det gällde de aspekter där tydliga och kvantifierbara mål hade fastställts i programmen (såsom andelen små och medelstora företags deltagande) kunde panelmedlemmarna besvara de frågor som angetts i mandatet.

Nationella utvärderingar av ramprogrammen

| 88. | Flera medlemsstater och associerade länder gör egna nationella utvärderingar av ramprogrammen där för dem själva relevanta och intressanta frågor behandlas (59). Under de senaste åtta åren har 14 sådana studier gjorts för nio medlemsstater och ett associerat land. |
| --- | --- |

88.

Flera medlemsstater och associerade länder gör egna nationella utvärderingar av ramprogrammen där för dem själva relevanta och intressanta frågor behandlas (59). Under de senaste åtta åren har 14 sådana studier gjorts för nio medlemsstater och ett associerat land.

| 89. | Trots att kommissionen uppmuntrade till standardiserade tillvägagångssätt när så var möjligt är dessa nationella effektstudier mycket heterogena (60). Eftersom de inte följer en harmoniserad metod blir resultatet att möjligheterna att aggregera, kombinera eller jämföra resultat är begränsade. Dessutom kan dessa studier till följd av sin nationella karaktär endast delvis fånga den dimension som rör det europeiska samarbetet. |
| --- | --- |

89.

Trots att kommissionen uppmuntrade till standardiserade tillvägagångssätt när så var möjligt är dessa nationella effektstudier mycket heterogena (60). Eftersom de inte följer en harmoniserad metod blir resultatet att möjligheterna att aggregera, kombinera eller jämföra resultat är begränsade. Dessutom kan dessa studier till följd av sin nationella karaktär endast delvis fånga den dimension som rör det europeiska samarbetet.

| 90. | I grönboken från 2007 om det europeiska området för forskningsverksamhet (ERA) påpekade kommissionen vikten av att korrekta analyser finns tillgängliga på ERA-nivå om forskningsverksamhetens och forskningspolitikens effekter och ändamålsenlighet, inklusive de på medlemsstats- och EU-nivå. Kommissionen konstaterade också att nuvarande arrangemang inte var tillräckliga för att möta denna utmaning eftersom man på varje interventionsnivå gör separata utvärderingar (61). |
| --- | --- |

90.

I grönboken från 2007 om det europeiska området för forskningsverksamhet (ERA) påpekade kommissionen vikten av att korrekta analyser finns tillgängliga på ERA-nivå om forskningsverksamhetens och forskningspolitikens effekter och ändamålsenlighet, inklusive de på medlemsstats- och EU-nivå. Kommissionen konstaterade också att nuvarande arrangemang inte var tillräckliga för att möta denna utmaning eftersom man på varje interventionsnivå gör separata utvärderingar (61).

Rekommendationer

91.

| 91. | Kommissionen bör upprätta en handbok för utvärdering av verksamheter som finansieras genom ramprogrammen med definitioner av nyckelkoncept och terminologi samt angivande av en uppsättning lämpliga metoder för viss utvärderingsverksamhet. Handboken bör baseras på befintliga vägledningar och verktygslådor samt uppdateras regelbundet. |
| --- | --- |

Kommissionen bör upprätta en handbok för utvärdering av verksamheter som finansieras genom ramprogrammen med definitioner av nyckelkoncept och terminologi samt angivande av en uppsättning lämpliga metoder för viss utvärderingsverksamhet. Handboken bör baseras på befintliga vägledningar och verktygslådor samt uppdateras regelbundet.

| 92. | Kommissionen bör definiera sitt informationsbehov och ta hänsyn till nödvändigheten av att begränsa deltagarnas administrativa börda. |
| --- | --- |

92.

Kommissionen bör definiera sitt informationsbehov och ta hänsyn till nödvändigheten av att begränsa deltagarnas administrativa börda.

| 93. | Kommissionen bör lämna övervakningsinformation om genomförandet av ramprogrammen i tid. I enlighet med kraven i sjunde ramprogrammets regler för deltagande bör problemen i anslutning till kommissionens IT-system för hantering av uppgifter om programförvaltning och deltagare lösas snarast. |
| --- | --- |

93.

Kommissionen bör lämna övervakningsinformation om genomförandet av ramprogrammen i tid. I enlighet med kraven i sjunde ramprogrammets regler för deltagande bör problemen i anslutning till kommissionens IT-system för hantering av uppgifter om programförvaltning och deltagare lösas snarast.

| 94. | Deltagarnas rapporteringsskyldigheter gentemot kommissionen bör minskas betydligt och undersökningar endast genomföras utifrån stickprov. Kontraktskravet på att lämna in indikatorbaserade uppgifter om effekterna av varje projekt bör ersättas med en kort självbedömning när projektet avslutats. |
| --- | --- |

94.

Deltagarnas rapporteringsskyldigheter gentemot kommissionen bör minskas betydligt och undersökningar endast genomföras utifrån stickprov. Kontraktskravet på att lämna in indikatorbaserade uppgifter om effekterna av varje projekt bör ersättas med en kort självbedömning när projektet avslutats.

| 95. | Kommissionen bör i större utsträckning använda existerande kompletterande uppgiftskällor (både inom kommissionen och i medlemsstater) för sina utvärderingar. |
| --- | --- |

95.

Kommissionen bör i större utsträckning använda existerande kompletterande uppgiftskällor (både inom kommissionen och i medlemsstater) för sina utvärderingar.

| 96. | Kommissionen bör utnyttja hela skalan av tillgängliga utvärderingstekniker. Därutöver bör den stödja en utveckling av nyskapande tillvägagångssätt för att hantera metodsvårigheterna vid utvärdering av offentliga interventioner i forskningsverksamhet (se bilaga I) och använda dessa tillvägagångssätt vid sina egna utvärderingar. |
| --- | --- |

96.

Kommissionen bör utnyttja hela skalan av tillgängliga utvärderingstekniker. Därutöver bör den stödja en utveckling av nyskapande tillvägagångssätt för att hantera metodsvårigheterna vid utvärdering av offentliga interventioner i forskningsverksamhet (se bilaga I) och använda dessa tillvägagångssätt vid sina egna utvärderingar.

| 97. | Kommissionen bör rådgöra med medlemsstaterna om hur man ska maximera nyttan av utvärderingar på nationell nivå av ramprogrammen. |
| --- | --- |

97.

Kommissionen bör rådgöra med medlemsstaterna om hur man ska maximera nyttan av utvärderingar på nationell nivå av ramprogrammen.

Spridning och användning av utvärderingsresultat

| 98. | Utvärderingar bör bidra med relevant information och relevanta analyser som på ett ändamålsenligt sätt kan användas för programförvaltning och beslutsfattande. I synnerhet bör utvärdering ligga till grund för den välgrundade reflektion över en offentlig interventions starka och svaga sidor som är nödvändig för att dra lärdomar. Revisionsrätten kontrollerade i vilken utsträckning utvärderingarna gjordes vid lämplig tidpunkt, om resultaten meddelades och spreds till berörda parter utanför kommissionen och om kommissionen tog hänsyn till rekommendationer när den såg över pågående program (”läroprogram”). |
| --- | --- |

98.

Utvärderingar bör bidra med relevant information och relevanta analyser som på ett ändamålsenligt sätt kan användas för programförvaltning och beslutsfattande. I synnerhet bör utvärdering ligga till grund för den välgrundade reflektion över en offentlig interventions starka och svaga sidor som är nödvändig för att dra lärdomar. Revisionsrätten kontrollerade i vilken utsträckning utvärderingarna gjordes vid lämplig tidpunkt, om resultaten meddelades och spreds till berörda parter utanför kommissionen och om kommissionen tog hänsyn till rekommendationer när den såg över pågående program (”läroprogram”).

Valet av tidpunkt för utvärdering tog inte hänsyn till vilken typ av information som realistiskt kunde förväntas

| 99. | Revisionsrätten är medveten om att vissa typer av analys kräver ett långsiktigt perspektiv (t.ex. utvärdering av utfall och socioekonomiska effekter) och att en del aspekter hänger samman med en viss programperiod (t.ex. programmål, också inom ett visst vetenskapligt område) med andra inte gör det (se figur 8). Kommissionen har dock inte antagit ett tillvägagångssätt för sin utvärderingsverksamhet som tar hänsyn till dessa tidsperspektiv. |
| --- | --- |

99.

Revisionsrätten är medveten om att vissa typer av analys kräver ett långsiktigt perspektiv (t.ex. utvärdering av utfall och socioekonomiska effekter) och att en del aspekter hänger samman med en viss programperiod (t.ex. programmål, också inom ett visst vetenskapligt område) med andra inte gör det (se figur 8). Kommissionen har dock inte antagit ett tillvägagångssätt för sin utvärderingsverksamhet som tar hänsyn till dessa tidsperspektiv.

| 100. | Lagstiftningen har krävt att kommissionens huvudsakliga utvärderingsverksamhet uteslutande ska inriktas på de fem år som föregår femårsutvärderingarna och därmed omfatta delar av två på varandra följande programperioder. Resultatet har blivit att utfall och effekter på medellång och lång sikt knappast har behandlats. Följaktligen har femårsutvärderingarna i allmänhet mest varit inriktade på övervakningsaspekter, frågor som rör kortsiktig programutformning och allmänna iakttagelser om ramprogrammens inriktning. Revisionsrätten välkomnar att det i lagstiftningen för sjunde ramprogrammet inte längre krävs femårsutvärderingar eller att utvärderingarna ska omfatta någon annan förutbestämd period.
  Figur 8
  Övervaknings- och utvärderingsaspekter beroende på olika tidsperspektiv







  Övervakning av programgenomförandet

  (pågående) | — | Programförvaltningsaspekter (tidsåtgång för att ingå kontrakt, tidsåtgång innan betalning, antalet inlämnade respektive godkända förslag, budgetgenomförande, finansieringsandelar etc.) |
| --- | --- | --- | --- |

100.

Lagstiftningen har krävt att kommissionens huvudsakliga utvärderingsverksamhet uteslutande ska inriktas på de fem år som föregår femårsutvärderingarna och därmed omfatta delar av två på varandra följande programperioder. Resultatet har blivit att utfall och effekter på medellång och lång sikt knappast har behandlats. Följaktligen har femårsutvärderingarna i allmänhet mest varit inriktade på övervakningsaspekter, frågor som rör kortsiktig programutformning och allmänna iakttagelser om ramprogrammens inriktning. Revisionsrätten välkomnar att det i lagstiftningen för sjunde ramprogrammet inte längre krävs femårsutvärderingar eller att utvärderingarna ska omfatta någon annan förutbestämd period.

Figur 8

Övervaknings- och utvärderingsaspekter beroende på olika tidsperspektiv

Övervakning av programgenomförandet

(pågående)

—

Programförvaltningsaspekter (tidsåtgång för att ingå kontrakt, tidsåtgång innan betalning, antalet inlämnade respektive godkända förslag, budgetgenomförande, finansieringsandelar etc.)

Utvärdering

På kort sikt

(kanske tidigast efter 1–2 år)

| — | Programförvaltningsaspekter (t.ex. effektiviteten i de administrativa förfarandena) |
| --- | --- |

—

Programförvaltningsaspekter (t.ex. effektiviteten i de administrativa förfarandena)

| — | Programutformningsaspekter (instrumentens tillgänglighet och flexibilitet, hinder för deltagande, följderna av att inte lyckas med ansökningsomgångar etc.) |
| --- | --- |

—

Programutformningsaspekter (instrumentens tillgänglighet och flexibilitet, hinder för deltagande, följderna av att inte lyckas med ansökningsomgångar etc.)

| — | Analys av deltagarprofiler (främst kvantitativ i detta skede) |
| --- | --- |

—

Analys av deltagarprofiler (främst kvantitativ i detta skede)

Utvärdering

På medellång sikt

(kanske efter 7 år)

| — | Programutformningsaspekter (t.ex. instrumentens ändamålsenlighet) |
| --- | --- |

—

Programutformningsaspekter (t.ex. instrumentens ändamålsenlighet)

| — | Analys av deltagande (som kombinerar kvalitativa och kvantitativa aspekter, t.ex. analys av forskningsnätverk och effekter på forskares beteende) |
| --- | --- |

—

Analys av deltagande (som kombinerar kvalitativa och kvantitativa aspekter, t.ex. analys av forskningsnätverk och effekter på forskares beteende)

| — | Analys av projektoutput
   (62)(publikationer, uppsatser, patent, licenser, prototyper, utbildade vetenskapsmän, etc.) |
| --- | --- |

—

Analys av projektoutput
   (62)(publikationer, uppsatser, patent, licenser, prototyper, utbildade vetenskapsmän, etc.)

Utvärdering

På lång sikt

(kanske efter > 10 år)

| — | Bedömning av utfall och effekter |
| --- | --- |

—

Bedömning av utfall och effekter

Källa: Europeiska revisionsrätten.

| 101. | Denna brist hos femårsutvärderingarna när det gäller att bedöma ramprogrammens utfall och effekter har också konstaterats av kommissionens experter enligt följande:






  — | Panelen för femårsutvärderingen 2004 konstaterade att utvärderingar bör omfatta och lägga tillräcklig vikt vid både långsiktiga och kortsiktiga aspekter och att medel skulle kunna frigöras för att möjliggöra mer ambitiösa långsiktiga utvärderingsstudier där strukturella och mer omfattande socioekonomiska aspekter skulle kunna studeras på ett mer systematiskt sätt (63). |
| --- | --- | --- |

101.

Denna brist hos femårsutvärderingarna när det gäller att bedöma ramprogrammens utfall och effekter har också konstaterats av kommissionens experter enligt följande:

—

Panelen för femårsutvärderingen 2004 konstaterade att utvärderingar bör omfatta och lägga tillräcklig vikt vid både långsiktiga och kortsiktiga aspekter och att medel skulle kunna frigöras för att möjliggöra mer ambitiösa långsiktiga utvärderingsstudier där strukturella och mer omfattande socioekonomiska aspekter skulle kunna studeras på ett mer systematiskt sätt (63).

| — | I en studie beställd av GD Forskning konstaterades att nuvarande praxis vid utvärdering av EU:s FoTU-verksamhet (som innefattar kontinuerlig övervakning, femårsbedömningar och halvtidsutvärderingar) kännetecknas av en stark fokusering på övervakning jämfört med konsekvensbedömning, och att det för att skifta efterfrågan och förväntningar mot socioekonomiska effekter skulle krävas en ny ram för utvärdering och övervakning som skulle kräva större ansträngningar på effektnivån än när det gäller övervakning av resultat (64). |
| --- | --- |

—

I en studie beställd av GD Forskning konstaterades att nuvarande praxis vid utvärdering av EU:s FoTU-verksamhet (som innefattar kontinuerlig övervakning, femårsbedömningar och halvtidsutvärderingar) kännetecknas av en stark fokusering på övervakning jämfört med konsekvensbedömning, och att det för att skifta efterfrågan och förväntningar mot socioekonomiska effekter skulle krävas en ny ram för utvärdering och övervakning som skulle kräva större ansträngningar på effektnivån än när det gäller övervakning av resultat (64).

| 102. | Frågan om val av tidpunkt påverkar också de särskilda utvärderingar som krävs enligt lagstiftningen. Till exempel begärdes Marimónrapporten 2004, där de nya instrument som infördes i sjätte ramprogrammet (2003–2006) analyserades, för tidigt vilket resulterade i att det endast fanns få eller inga praktiska erfarenheter eller empiriska fakta som kunde ligga till grund för dess slutsatser (65). |
| --- | --- |

102.

Frågan om val av tidpunkt påverkar också de särskilda utvärderingar som krävs enligt lagstiftningen. Till exempel begärdes Marimónrapporten 2004, där de nya instrument som infördes i sjätte ramprogrammet (2003–2006) analyserades, för tidigt vilket resulterade i att det endast fanns få eller inga praktiska erfarenheter eller empiriska fakta som kunde ligga till grund för dess slutsatser (65).

Meddelande och spridning

| 103. | Kommissionen kan på egen hand utveckla och anpassa operativa arbetsprogram som följer kortsiktiga cykler. Dessa arbetsprogram ska godkännas av den berörda programkommittén. Detta skulle kunna vara ett tillfälle att justera programförvaltningen och också att omfördela budgetar inom delprogrammen. Revisionsrätten fann inga bevis för att kommissionen utnyttjar denna möjlighet (se punkt 107). |
| --- | --- |

103.

Kommissionen kan på egen hand utveckla och anpassa operativa arbetsprogram som följer kortsiktiga cykler. Dessa arbetsprogram ska godkännas av den berörda programkommittén. Detta skulle kunna vara ett tillfälle att justera programförvaltningen och också att omfördela budgetar inom delprogrammen. Revisionsrätten fann inga bevis för att kommissionen utnyttjar denna möjlighet (se punkt 107).

| 104. | Utöver detta är det så gott som omöjligt för kommissionen att göra stora förändringar med tanke på hur ramprogram är utformade och antas, såsom att ändra programmål eller omfördela budgetar mellan delprogram. Endast lagstiftaren kan genomföra så omfattande ändringar i samband med en översyn av ramprogramlagstiftningen (såsom 2010 för sjunde ramprogrammet) eller när följande ramprogram antas. Av detta skäl har det i lagstiftningen angetts att de stora utvärderingarna tidsmässigt ska göras så att man på bästa sätt ska kunna ta hänsyn till resultaten av dem vid beslutsfattande. |
| --- | --- |

104.

Utöver detta är det så gott som omöjligt för kommissionen att göra stora förändringar med tanke på hur ramprogram är utformade och antas, såsom att ändra programmål eller omfördela budgetar mellan delprogram. Endast lagstiftaren kan genomföra så omfattande ändringar i samband med en översyn av ramprogramlagstiftningen (såsom 2010 för sjunde ramprogrammet) eller när följande ramprogram antas. Av detta skäl har det i lagstiftningen angetts att de stora utvärderingarna tidsmässigt ska göras så att man på bästa sätt ska kunna ta hänsyn till resultaten av dem vid beslutsfattande.

| 105. | Några av de största användarna av kommissionens utvärderingar är därför ”forskningsgeneraldirektoraten” själva (66). I ramprogramlagstiftningen krävs dock uttryckligen att utvärderingarna också ska överlämnas till Europaparlamentet och rådet. |
| --- | --- |

105.

Några av de största användarna av kommissionens utvärderingar är därför ”forskningsgeneraldirektoraten” själva (66). I ramprogramlagstiftningen krävs dock uttryckligen att utvärderingarna också ska överlämnas till Europaparlamentet och rådet.

| 106. | I revisionsrättens enkät vid Europaparlamentets utskott för industrifrågor, forskning och energi och rådets CREST-kommitté sade emellertid en majoritet av de tillfrågade att de inte kände sig tillräckligt informerade om genomförandet och resultaten av ramprogrammen (se figur 9) (67). |
| --- | --- |

106.

I revisionsrättens enkät vid Europaparlamentets utskott för industrifrågor, forskning och energi och rådets CREST-kommitté sade emellertid en majoritet av de tillfrågade att de inte kände sig tillräckligt informerade om genomförandet och resultaten av ramprogrammen (se figur 9) (67).

Image

Uppföljning av utvärderingsresultat

| 107. | I sin årliga genomgång av utvärderingar sammanfattar kommissionen resultat och åtgärder som vidtagits som en följd av dess utvärderingar (68). När det gäller uppföljning har kommissionen också lämnat formella svar på resultaten och rekommendationerna från femårsutvärderingarna och de specifika utvärderingar som krävs enligt lagstiftningen och i möjligaste mån vidtagit lämpliga åtgärder för att avhjälpa de brister som konstaterats. Så var det emellertid inte när det gällde många av de andra utvärderingsrapporter revisionsrätten gick igenom, och inga bevis har påträffats för att hänsyn tagits till deras resultat och rekommendationer för att ändra arbetsprogram. På samma sätt anges inte i generaldirektoratens uttalanden om den verksamhetsbaserade budgeten eller i deras årliga verksamhetsrapporter i vilken utsträckning utvärderingsresultat har lett till åtgärder. |
| --- | --- |

107.

I sin årliga genomgång av utvärderingar sammanfattar kommissionen resultat och åtgärder som vidtagits som en följd av dess utvärderingar (68). När det gäller uppföljning har kommissionen också lämnat formella svar på resultaten och rekommendationerna från femårsutvärderingarna och de specifika utvärderingar som krävs enligt lagstiftningen och i möjligaste mån vidtagit lämpliga åtgärder för att avhjälpa de brister som konstaterats. Så var det emellertid inte när det gällde många av de andra utvärderingsrapporter revisionsrätten gick igenom, och inga bevis har påträffats för att hänsyn tagits till deras resultat och rekommendationer för att ändra arbetsprogram. På samma sätt anges inte i generaldirektoratens uttalanden om den verksamhetsbaserade budgeten eller i deras årliga verksamhetsrapporter i vilken utsträckning utvärderingsresultat har lett till åtgärder.

Rekommendationer

108.

| 108. | Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas vid de datum som anges i lagstiftningen (2008, 2010 och 2015), förklara hur utvärderingar kan användas för att anpassa program (”läroprogram”) och närmare ange vilket bidrag utvärderingar kan ge till politiska beslut. Kommissionen bör särskilt klargöra vilket tillvägagångssätt den tänker använda för att utvärdera de långsiktiga resultaten av tidigare och pågående ramprogram med tanke på att det kan ta sju till tio år innan sådana resultat förverkligas (se figur 8). |
| --- | --- |

Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas vid de datum som anges i lagstiftningen (2008, 2010 och 2015), förklara hur utvärderingar kan användas för att anpassa program (”läroprogram”) och närmare ange vilket bidrag utvärderingar kan ge till politiska beslut. Kommissionen bör särskilt klargöra vilket tillvägagångssätt den tänker använda för att utvärdera de långsiktiga resultaten av tidigare och pågående ramprogram med tanke på att det kan ta sju till tio år innan sådana resultat förverkligas (se figur 8).

| 109. | Kommissionen bör se över sitt förfarande för att meddela och sprida sina utvärderingsresultat för att se till att berörda parter får nödvändig information. I synnerhet bör ”forskningsgeneraldirektoraten” lämna ett formellt svar på alla utvärderingar och offentliggöra studierna i tid, tillsammans med sina svar. ”Forskningsgeneraldirektoraten” bör också i sina uttalanden om den verksamhetsbaserade budgeten och i de årliga verksamhetsrapporterna rapportera om vilken uppföljning som gjorts och använda rekommendationerna när arbetsprogram uppdateras och framtida program utformas. |
| --- | --- |

109.

Kommissionen bör se över sitt förfarande för att meddela och sprida sina utvärderingsresultat för att se till att berörda parter får nödvändig information. I synnerhet bör ”forskningsgeneraldirektoraten” lämna ett formellt svar på alla utvärderingar och offentliggöra studierna i tid, tillsammans med sina svar. ”Forskningsgeneraldirektoraten” bör också i sina uttalanden om den verksamhetsbaserade budgeten och i de årliga verksamhetsrapporterna rapportera om vilken uppföljning som gjorts och använda rekommendationerna när arbetsprogram uppdateras och framtida program utformas.

ÖVERGRIPANDE SLUTSATS

| 110. | Revisionsrätten är medveten om de inneboende svårigheterna med att utvärdera ramprogram, i synnerhet när det gäller att bedöma de långsiktiga resultaten, och att det är svårt att definiera bästa praxis. |
| --- | --- |

110.

Revisionsrätten är medveten om de inneboende svårigheterna med att utvärdera ramprogram, i synnerhet när det gäller att bedöma de långsiktiga resultaten, och att det är svårt att definiera bästa praxis.

| 111. | Revisionsrätten anser att utvärdering är grundläggande för förvaltningen av program och för framtida planering och beslutsfattande. Utvärdering ger också en grund för ansvarsutkrävande. Den ger värdefull information om vilka avsiktliga (eller oavsiktliga) resultat som har uppnåtts, i vilken utsträckning programmålen har uppnåtts, programmens relevans och nytta samt hur effektivt och ändamålsenligt programmets genomförande har varit. Eftersom det är Europaparlamentet och rådet som fattar beslut om ramprogrammens allmänna inriktning, budget och programutformning behövs det ett öppet, trovärdigt och stabilt utvärderingssystem för att förse dem med lämplig information. |
| --- | --- |

111.

Revisionsrätten anser att utvärdering är grundläggande för förvaltningen av program och för framtida planering och beslutsfattande. Utvärdering ger också en grund för ansvarsutkrävande. Den ger värdefull information om vilka avsiktliga (eller oavsiktliga) resultat som har uppnåtts, i vilken utsträckning programmålen har uppnåtts, programmens relevans och nytta samt hur effektivt och ändamålsenligt programmets genomförande har varit. Eftersom det är Europaparlamentet och rådet som fattar beslut om ramprogrammens allmänna inriktning, budget och programutformning behövs det ett öppet, trovärdigt och stabilt utvärderingssystem för att förse dem med lämplig information.

| 112. | Kommissionen inrättade en övergripande ram för utvärdering 2000 och 2002 som den sedan omarbetade 2007. Även om det under den period revisionsrätten granskade inte kunde iakttas några större förbättringar när det gäller hur utvärderingarna av ramprogram och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen. |
| --- | --- |

112.

Kommissionen inrättade en övergripande ram för utvärdering 2000 och 2002 som den sedan omarbetade 2007. Även om det under den period revisionsrätten granskade inte kunde iakttas några större förbättringar när det gäller hur utvärderingarna av ramprogram och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen.

| 113. | För den period som omfattas av denna rapport, och i enlighet med kraven i ramprogramlagstiftningen, hade ”forskningsgeneraldirektoraten” infört ett utvärderingssystem, och kommissionen kan peka på ett stort antal utvärderingsstudier. Dock kvarstår det faktum att endast lite eller ingenting är känt om uppnåendet av programmål och ramprogrammens resultat. Detta beror på att utvärderingarna i allmänhet har varit inriktade på kortsiktiga aspekter av programgenomförandet. Detta har lett till att kommissionens utvärderingar har varit till begränsad nytta för beslutsfattare, berörda parter och till och med för kommissionen själv. |
| --- | --- |

113.

För den period som omfattas av denna rapport, och i enlighet med kraven i ramprogramlagstiftningen, hade ”forskningsgeneraldirektoraten” infört ett utvärderingssystem, och kommissionen kan peka på ett stort antal utvärderingsstudier. Dock kvarstår det faktum att endast lite eller ingenting är känt om uppnåendet av programmål och ramprogrammens resultat. Detta beror på att utvärderingarna i allmänhet har varit inriktade på kortsiktiga aspekter av programgenomförandet. Detta har lett till att kommissionens utvärderingar har varit till begränsad nytta för beslutsfattare, berörda parter och till och med för kommissionen själv.

| 114. | Med tanke på utvärderingars betydelse för förvaltningen av program och för beslutsfattande behöver kommissionens syn på utvärdering av ramprogrammen och de program som ingår i dem omprövas med tanke på nya politiska utmaningar, ökade resurser, en breddad inriktning på gemenskapens forskningspolitik och den nyligen genomförda reformen av kommissionen. Detta rekommenderade också EURAB i sin rapport 2007. |
| --- | --- |

114.

Med tanke på utvärderingars betydelse för förvaltningen av program och för beslutsfattande behöver kommissionens syn på utvärdering av ramprogrammen och de program som ingår i dem omprövas med tanke på nya politiska utmaningar, ökade resurser, en breddad inriktning på gemenskapens forskningspolitik och den nyligen genomförda reformen av kommissionen. Detta rekommenderade också EURAB i sin rapport 2007.

| 115. | Revisionsrätten anser att användning av en uttalad interventionslogik vid utformningen av framtida ramprogram skulle ge mer fokuserade och bättre strukturerade program. Det skulle också bidra till kommissionens politik för bättre lagstiftning som syftar till en bättre utformad, enklare, effektivare och begripligare lagstiftning (69). |
| --- | --- |

115.

Revisionsrätten anser att användning av en uttalad interventionslogik vid utformningen av framtida ramprogram skulle ge mer fokuserade och bättre strukturerade program. Det skulle också bidra till kommissionens politik för bättre lagstiftning som syftar till en bättre utformad, enklare, effektivare och begripligare lagstiftning (69).

| 116. | Utvärderingarna av ramprogram och de program som ingår i dem skulle bli mer ändamålsenliga om målen och indikatorerna för programmen var tydligare från början, om ”forskningsgeneraldirektoraten” kom överens om en inte alltför föreskrivande utvärderingsstrategi och om man använde mer avancerade utvärderingsmetoder, inklusive kvantitativa metoder. |
| --- | --- |

116.

Utvärderingarna av ramprogram och de program som ingår i dem skulle bli mer ändamålsenliga om målen och indikatorerna för programmen var tydligare från början, om ”forskningsgeneraldirektoraten” kom överens om en inte alltför föreskrivande utvärderingsstrategi och om man använde mer avancerade utvärderingsmetoder, inklusive kvantitativa metoder.

| 117. | Revisionsrätten noterade också ett antal områden där det finns utrymme för kommissionen att ompröva sina befintliga organisatoriska arrangemang för utvärdering av ramprogram. Det skulle kunna vara fördelaktigt att






  — | involvera utvärderingspanelerna tidigare i utvärderingsprocessen och därigenom stötta kommissionen under och efter programperioden samt öka specialiseringen genom att ha paneler för särskilda program och, när så är lämpligt, delprogram, |
| --- | --- | --- |

117.

Revisionsrätten noterade också ett antal områden där det finns utrymme för kommissionen att ompröva sina befintliga organisatoriska arrangemang för utvärdering av ramprogram. Det skulle kunna vara fördelaktigt att

—

involvera utvärderingspanelerna tidigare i utvärderingsprocessen och därigenom stötta kommissionen under och efter programperioden samt öka specialiseringen genom att ha paneler för särskilda program och, när så är lämpligt, delprogram,

| — | komplettera de nuvarande generaldirektoratsspecifika utvärderingsenheterna med ett gemensamt utvärderingskontor med ansvar för att samordna utvärderingarna av ramprogrammen. |
| --- | --- |

—

komplettera de nuvarande generaldirektoratsspecifika utvärderingsenheterna med ett gemensamt utvärderingskontor med ansvar för att samordna utvärderingarna av ramprogrammen.

| 118. | Rekommendationerna i denna rapport baseras antingen på befintlig praxis inom kommissionen eller på internationell god praxis. När det gäller resurser står det klart att införandet av det föreslagna tillvägagångssättet vid utvärdering av program skulle leda till högre kostnader. Enligt revisionsrättens uppfattning är det dock högst sannolikt att detta leder till minst lika stora vinster. |
| --- | --- |

118.

Rekommendationerna i denna rapport baseras antingen på befintlig praxis inom kommissionen eller på internationell god praxis. När det gäller resurser står det klart att införandet av det föreslagna tillvägagångssättet vid utvärdering av program skulle leda till högre kostnader. Enligt revisionsrättens uppfattning är det dock högst sannolikt att detta leder till minst lika stora vinster.

Denna rapport har antagits av revisionsrätten vid dess sammanträde i Luxemburg den 22 november 2007.

För revisionsrätten

Hubert WEBER

Ordförande

---

(1)  Enligt OECD kan forskning och utveckling definieras som skapande arbete som bedrivs systematiskt för att öka den totala kunskapsnivån, bland annat kunskap om människan, kulturen och samhället, samt användning av dessa kunskaper för nya tillämpningar (se OECD, Frascatimanualen – Proposed standard practice for surveys on research and experimental development, Paris, 2002, s. 30). I gemenskapssammanhang används förkortningen FoTU som täcker både teknik, forskning och utveckling.

1

Proposed standard practice for surveys on research and experimental development

(2)  GD Forskning är det generaldirektoratet som huvudsakligen förvaltar och samordnar ramprogrammen. Fem andra GD förvaltar också (delar av) särskilda program. Det viktigaste av dessa är GD Informationssamhället och medier (övriga är GD Energi och transport, GD Näringsliv, GD Fiske och havsfrågor samt Gemensamma forskningscentret).

2

(3)  Vid Europeiska rådets möte i Lissabon 2000 sattes målet upp att EU ska bli den mest dynamiska, konkurrenskraftiga, hållbara, kunskapsbaserade ekonomin till 2010, med full sysselsättning och stärkt ekonomisk och social sammanhållning.

3

(4)  Europeiska rådet kom 2002 överens om att de sammanlagda utgifterna för FoTU och innovation i Europeiska unionen skulle ökas med målet att närma sig 3 % av BNP till 2010. Det angav vidare att två tredjedelar av dessa nya investeringar skulle komma från den privata sektorn (se Europeiska kommissionen, ”Investering i forskning: en handlingsplan för Europa”, meddelande från kommissionen till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén och Regionkommittén, KOM(2003) 226 slutlig, s. 7).

4

(5)  Vid direkt förvaltning utför kommissionen de operationer som krävs för att genomföra sin budgetgenomförande verksamhet utan att medlemsstaterna eller tredje länder där mottagarna av medel är bosatta deltar.

5

(6)  Sedan 2006 hade över 22 000 offentliga och privata juridiska personer deltagit enbart i sjätte ramprogrammet, i allmänhet inom konsortier med flera partner.

6

(7)  Detta är en samarbetsmetod som baseras på principen om frivilligt mellanstatligt samarbete. Den vilar huvudsakligen på ömsesidigt lärande, benchmarking och utbyte av bästa praxis.

7

(8)  Artiklarna 27, 48, 59 och 60 i rådets förordning (EG, Euratom) nr 1605/2002 av den 25 juni 2002 (EGT L 248, 16.9.2002, s. 1).

8

(9)  Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007. Europeiska kommissionen, GD Budget, meddelande till kommissionen från Michaele Schreyer om att fokusera på resultat och förbättra utvärderingen av kommissionens verksamheter (Focus on Results: Strengthening Evaluation of Commission Activities), SEK(2000) 1051, 26 juli 2000.

9

Responding to strategic needs: reinforcing the use of evaluation

Focus on Results: Strengthening Evaluation of Commission Activities

(10)  Europaparlamentets och rådets beslut nr 1982/2006/EG av den 18 december 2006 om Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013) (EUT L 412, 30.12.2006, s. 1): artikel 7.1; den övervakningsinformation som kommissionen ska lämna till programkommittéerna anges i besluten om de särskilda programmen (se till exempel artikel 8.4 och bilaga V i rådets beslut 2006/971/EG av den 19 december 2006 om det särskilda programmet Samarbete för genomförande av Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013), EUT L 400, 30.12.2006, s. 86).

10

(11)  Europeiska kommissionen, meddelande till rådet om en handlingsplan för gemenskapen när det gäller utvärdering av gemenskapens FoTU-verksamhet för åren 1987–1991, KOM(86) 660 slutlig, 20.11.1986, som svar på rådets resolution av den 28 juni 1983.

11

(12)  Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1992–1996 (Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996), rapport från den oberoende expertpanelen under ledning av Etienne Davignon (1997), Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1995–1999 (Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999), rapport från den oberoende expertpanelen under ledning av Joan Majó (juli 2000), Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (av den 15 december 2004).

12

Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996

Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999

Five-year Assessment of the European Union Research Framework Programmes, 1999–2003

(13)  Europeiska kommissionen, rapport om utvärderingen av ändamålsenligheten i sjätte ramprogrammets nya instrument (Evaluation of the effectiveness of the New Instruments of Framework Programme VI), från högnivåexpertpanelen under ledning av professor Ramon Marimón, 21 juni 2004.

13

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(14)  Europeiska kommissionen, GD Budget, meddelande till kommissionen från Michaele Schreyer om att fokusera på resultat och förbättra utvärderingen av kommissionens verksamheter (Focus on Results: Strengthening Evaluation of Commission Activities), SEK(2000) 1051, juli 2000. Europeiska kommissionen, GD Budget, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), C(2002) 5267, 23.12.2002.

14

Focus on Results: Strengthening Evaluation of Commission Activities

Evaluation Standards and Good Practice

(15)  Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007.

15

Responding to strategic needs: reinforcing the use of evaluation

(16)  Europeiska kommissionens arbetsdokument om konsekvensanalys och förhandsbedömning (Impact assessment and ex-ante evaluation), SEK(2005) 430.

16

Impact assessment and ex-ante evaluation

(17)  Europaparlamentets utskott för industrifrågor, forskning och energi ansvarar (i synnerhet) för industripolitiken, forskningspolitiken (inklusive spridning och utnyttjande av forskningsresultat), rymdpolitiken, verksamheterna vid Gemensamma forskningscentret, Euratomfördraget samt informationssamhället och informationsteknik.

17

(18)  Kommittén för vetenskaplig och teknisk forskning inrättades genom rådets resolution av den 14 januari 1974 och består av företrädare för de nationella myndigheter som ansvarar för medlemsstaternas vetenskapliga och tekniska politik. Kommittén har en rådgivande roll och informerar kommissionen och rådet främst om frågor som gäller samordningen av nationell FoTU-politik samt övervakningen och utvärderingen av ramprogrammen.

18

(19)  Logiska modeller som visar hur input i de olika verksamheterna leder till förväntade resultat är det lämpligaste sättet att illustrera interventionslogik. Med hjälp av sådana modeller är det möjligt att på ett tydligt sätt förklara de antaganden som ligger till grund för utformningen av ett program och hur övergripande mål delas upp i operativa mål.

19

(20)  Europeiska kommissionen, GD Budget, En praktisk handledning för kommissionens avdelningar om utvärdering av EU-verksamhet (Evaluating EU activities: a practical guide for the Commission services), juli 2004, s. 87 och 106.

20

Evaluating EU activities: a practical guide for the Commission services

(21)  Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (av den 15 december 2004), avsnitt 6 om utvärdering av ramprogrammet, s. 19.

21

Five-year Assessment of the European Union Research Framework Programmes, 1999

2003

(22)  Länder som tar emot externt bistånd ska lägga fram logiska modeller för sin gemenskapsfinansiering. Europeiska kommissionen, metoder för stödleverans, volym 1, riktlinjer för förvaltningen under projektcykeln (Aid delivery methods, Volume 1, Project cycle management guidelines), avsnitt 5 om logiska ramar (The logical framework approach), mars 2004.

22

Aid delivery methods, Volume 1, Project cycle management guidelines

The logical framework approach

(23)  Artikel 27.3 i förordning (EG, Euratom) nr 1605/2002.

23

(24)  Under 2006 strukturerades politikområdet ”08 forskning” utifrån de särskilda programmen (och delprogrammen) i det pågående sjätte ramprogrammets programperiod (och ersattes följaktligen med en annan struktur 2007), medan det nuvarande och föregående särskilda programmet inom politikområdet ”09 informationssamhället och medier” slogs samman till en verksamhet i den verksamhetsbaserade budgeten (Europeiska kommissionen, GD Forskning, direktorat A: Samordning av gemenskapsåtgärder, planering, programplanering, utvärdering, årlig förvaltningsplan 2006 (Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006), 20.12.2005. Europeiska kommissionen, GD Informationssamhället och medier, årlig förvaltningsplan för 2006 (2006 Annual management plan), 23.12.2005).

24

Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006

2006 Annual management plan

(25)  När det gäller GD Forskning ändrades målen för den verksamhetsbaserade förvaltningen (och indikatorerna för att mäta hur de uppnåtts) från ett år till nästa. GD Informationssamhället och medier å andra sidan använde fleråriga mål som dock inte var desamma som programmålen (eller de mål som angavs på arbetsprogramnivå).

25

(26)  Europeiska kommissionen, tjänsten för internrevision om effektiviteten och resultaten under den strategiska planeringen och programplaneringen/den verksamhetsbaserade förvaltningen (Review of effectiveness and efficiency of the SPP/ABM cycle), generalsekretariatet och GD Budget, 2005, punkt 4.1, s. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Meddelande från kommissionen till rådet om en handlingsplan för gemenskapen om utvärdering av gemenskapens program för forskning och utveckling (Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes), KOM(83) 1 slutlig, 19.1.1983.

27

Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes

(28)  Meddelande från kommissionen till rådet och Europaparlamentet om oberoende extern övervakning och utvärdering av gemenskapsåtgärder på området för forskning och teknisk utveckling (Independent external monitoring and evaluation of Community activities in the area of research and technological development), KOM(1996) 220 slutlig, 22.5.1996.

28

Independent external monitoring and evaluation of Community activities in the area of research and technological development

(29)  Varje generaldirektorat som genomför ramprogram dokumenterar sina planerade utvärderingar i årliga (och fleråriga) utvärderingsplaner. Dessa planeringsdokument kan dock inte i sig sägas utgöra en utvärderingsstrategi.

29

(30)  Artikel 27.4 i förordning (EG, Euratom) nr 1605/2002.

30

(31)  Loi de programme pour la recherche no 2006–450 av den 18 april 2006 och Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)) av den 3 november 2006.

31

Loi de programme pour la recherche no

Décret no

(32)  Agencia Nacional de Evaluación y Prospectiva inom Ministerio de Educación y Ciencia: Orden ECI/1252/2005 av den 4 maj 2005 varigenom Comisión Asesora de Evaluación y Prospectiva (rådgivande kommissionen för utvärdering och framtidsforskning) inrättas.

32

Agencia Nacional de Evaluación y Prospectiva

Ministerio de Educación y Ciencia

Orden ECI/1252/2005

Comisión Asesora de Evaluación y Prospectiva

(33)  År 2004 inrättade Deutsche Forschungsgemeinschaft (DFG) ett specialiserat institut, Institut für Forschungsinformation und Qualitätssicherung (IFQ), och gav det ansvaret för att utveckla och standardisera utvärderingsmetoder och kvalitetssäkring samt för att bedöma FoTU-åtgärder som finansieras av DFG.

33

Deutsche Forschungsgemeinschaft (DFG)

Institut für Forschungsinformation und Qualitätssicherung (IFQ)

(34)  För sjunde ramprogrammet har 15 expertgrupper inrättats av kommissionen, vilket ska jämföras med 12 expertgrupper för sjätte ramprogrammet och 17 för femte ramprogrammet. Dessa expertgrupper ger rådgivning till kommissionen om policy- och programaspekter i anslutning till ramprogrammen. Det bör dock noteras att dessa expertgrupper inte helt har inrättats efter ramprogrammens programstruktur. Med andra ord finns det inte en expertgrupp för varje särskilt program (eller delprogram).

34

(35)  I Kanada har nästan alla federala regeringsdepartement inrättat permanenta utvärderingskommittéer som består av erfarna departementstjänstemän och oftast även berörda externa parter och som ska övervaka utvärderingssystemet (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee – Mandate and Membership).

35

Social Sciences and Humanities Research Council of Canada

Evaluation Standing Committee – Mandate and Membership

(36)  Europeiska kommissionen, övervakningsrapport 2004 om genomförandet av verksamhet inom ramen för EG och Euratom och motsvarande särskilda program (Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes) augusti 2005, s. 5.

36

Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Europeiska kommissionen om att planera och optimera kommissionens personalresurser på ett sätt som gynnar EU:s prioriteringar (Planning and optimising Commission human resources to serve EU priorities), SEK(2007) 530, 24.4.2007.

37

Planning and optimising Commission human resources to serve EU priorities

(38)  Europeiska kommissionen, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), K(2002) 5267, 23.12.2002. Bilaga 1, fotnot 209, i Europeiska kommissionens arbetsdokument om konsekvensanalys och förhandsbedömning (Impact assessment and ex-ante evaluation), SEK(2005) 430, 6.4.2005.

38

Evaluation Standards and Good Practice

Impact assessment and ex-ante evaluation

(39)  Även Europeiska rådgivande forskningskommittén (EURAB) rekommenderade 2007 att anslagen till utvärdering av ramprogrammen bör ökas (EURAB:s rekommendationer om efterhandsutvärdering (Recommendations on Ex-Post Impact Assessment), juli 2007).

39

Recommendations on Ex-Post Impact Assessment

(40)  Punkterna 116 och 122 i särskild rapport nr 1/2004 om förvaltningen av indirekta FoTU-åtgärder inom femte ramprogrammet för forskning och teknisk utveckling (1998–2002) (EUT C 99, 23.4.2004).

40

(41)  Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007. Europeiska kommissionen, GD Budget, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), K(2002) 5267, 23.12.2002.

41

Responding to strategic needs: reinforcing the use of evaluation

Evaluation Standards and Good Practice

(42)  14 generaldirektorat har sådana utvärderingshandböcker för de politikområden och program som de ansvarar för (Europeiska kommissionen, GD Budget – utvärderingsenheten, en översikt över utvärderingshandböcker vid kommissionen (Overview of Evaluation Guides in the Commission), oktober 2004.

42

Overview of Evaluation Guides in the Commission

(43)  Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; Assessing the Socio-economic Impacts of the Framework Programme, University of Manchester, 2002.

43

RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies

Assessing the Socio-economic Impacts of the Framework Programme

(44)  Även om kommissionen i allmänhet har sådan information om deltagare kan den ofta inte på ett enkelt sätt användas för detaljerad analys eftersom uppgifterna om en viss deltagare varken finns på ett enda ställe eller nödvändigtvis registreras i kompatibla format. Detta gör det svårt att spåra deltagarens deltagande över tiden, t.ex. för att bedöma orsaker till icke deltagande, och förhållanden mellan deltagare, t.ex. för att studera nätverkseffekter (se punkt 84).

44

(45)  Tabell 2.3 i årsrapporten för budgetåret 2006, punkt 7.13 i årsrapporten för budgetåret 2005, punkterna 6.8 och 6.10 i årsrapporten för budgetåret 2004, punkterna 6.9 och 6.70 i årsrapporten för budgetåret 2003, punkterna 105–108 i särskild rapport nr 1/2004, punkt 57 i yttrande nr 1/2006 över förslaget till Europaparlamentets och rådets förordning om regler för företags, forskningscentrums och universitets deltagande i sjunde ramprogrammet och för spridning av forskningsresultat (2007–2013) (EUT C 203, 25.8.2006).

45

(46)  Artikel 173 i fördraget om upprättandet av Europeiska gemenskapen: ”I början av varje år ska kommissionen överlämna en rapport till Europaparlamentet och rådet. Rapporten ska särskilt avse dels verksamheterna inom området för forskning och teknisk utveckling och spridningen av resultaten av dessa verksamheter under det föregående året, dels arbetsprogrammet för det innevarande året.”

46

(47)  Det har inte gjorts några systematiska försök att samla in uppgifter från deltagare efter att projektet avslutats med undantag för särskilda undersökningar inom ramen för utvärderingar. Användningen av undersökningar har hindrats av det faktum att det inte finns några lagstadgade krav på att deltagarna ska lämna sådana analytiska uppgifter, till skillnad från vad som gäller för flera nationella FoTU-program (t.ex. i Tyskland).

47

(48)  Punkt 94 i särskild rapport nr 1/2004 och punkt 56 i yttrande nr 1/2006.

48

(49)  Punkt 7.33 i årsrapporten för budgetåret 2006, punkterna 7.8 och 7.29 i årsrapporten för budgetåret 2005 och punkterna 58–61 i yttrande nr 1/2006.

49

(50)  CORDIS är den enda databas med information om förslag, projekt och resultat som är gemensam för hela ramprogrammet, täcker flera programperioder och är åtkomlig utanför kommissionen. Uppgifterna om enskilda projekt i CORDIS uppdateras dock ofta inte när projektet väl har valts ut. Fram till och med sjätte ramprogrammet var deltagare i ramprogrammen från den privata och offentliga sektorn inte skyldiga att offentliggöra sina resultat (Europeiska rådgivande forskningskommittén (EURAB) om vetenskaplig publicering och en politik för öppen åtkomst (Scientific publication: policy on open access), december 2006).

50

Scientific publication: policy on open access

(51)  Hanne Foss Hansen om att välja utvärderingsmodeller, en diskussion om att utforma utvärderingar (Choosing evaluation models: A discussion on evaluation design), Evaluation, volym 11 nr 4, 2005, s. 447–462.

51

Choosing evaluation models: A discussion on evaluation design

Evaluation

(52)  Fram till och med sjätte ramprogrammet var deltagare i ramprogrammen från den privata och offentliga sektorn inte skyldiga att offentliggöra sina vetenskapliga resultat. Att garantera fri offentlig tillgång till gemenskapsfinansierad forskning genom att göra offentliggörandet obligatoriskt rekommenderades i december 2006 av EURAB. Det föreslogs också att kommissionen ska inrätta ett webbaserat centrallager för databaser med offentliggjorda projektresultat (se EURAB, Scientific publication: policy on open access, december 2006).

52

Scientific publication: policy on open access

(53)  Det noteras att sådana modeller användes för att förutsäga de mikro- och makroekonomiska effekterna av det planerade sjunde ramprogrammet (se Europeiska kommissionens övervakningsrapport 2004 om genomförandet av verksamhet inom ramen för EG och Euratom och motsvarande särskilda program, augusti 2005, s. 23–25). Det finns dock inga bevis för att denna bedömning av de potentiella ekonomiska effekterna av ramprogrammen är kopplad till en plan för utvärdering i efterhand.

53

(54)  GD Informationssamhället och medier: IST-FoTU – övervakning och utvärdering: resultat och effektindikatorer (2003–2004), (IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)), 2005; Nätverk för innovation i informationssamhället – utveckling och spridning i Europa (Networks of innovation in information society development and deployment in Europe), 2006.

54

IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)

Networks of innovation in information society development and deployment in Europe

(55)  GD Informationssamhället och medier: ERAnets – en utvärdering av nätverken för samarbete mellan deltagare i IST-forskning och hur dessa utvecklats till samarbete i det europeiska området för forskningsverksamhet (slutrapport) (ERAnets – Evaluation of NetETworks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (Final Report) 2005; Utvärdering av utvecklingen mot ett europeiskt forskningsområde för teknik i informationssamhället (Evaluation of progress towards a European Research Area for information society technologies), 2005; Nätverk för innovation i informationssamhället – utveckling och spridning i Europa (Networks of innovation in information society development and deployment in Europe), 2006.

55

ERAnets – Evaluation of NetETworks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (Final Report)

Evaluation of progress towards a European Research Area for information society technologies

Networks of innovation in information society development and deployment in Europe

(56)  GD Informationssamhället och medier: ramkontrakt för konsekvensbedömningar av forskning om informationssamhällets teknik.

56

(57)  EURAB:s rekommendationer om efterhandsutvärdering (Recommendations on Ex-Post Impact Assessment), juli 2007.

57

Recommendations on Ex-Post Impact Assessment

(58)  Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (15 december 2004), bilaga1.

58

Five-year Assessment of the European Union Research Framework Programmes

(59)  Europeiska kommissionen om effekterna av EU:s FoTU-politik på det europeiska vetenskapliga och tekniska forskningssamhället, sammanfattande slutrapport om nationella studier om effekter (The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report), 1995.

59

The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report

(60)  Europeiska kommissionen om att utforma en harmoniserad metod för effektstudier av EU:s FoTU-ramprogram (Design of an harmonized impact study methodology for the R&D EU Framework Programmes), 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Europeiska kommissionens arbetsdokument om det europeiska området för forskningsverksamhet: nya perspektiv (The European Research Area: new perspectives) avsnitt 3.3.3 om ERA och följderna för faktabaserad övervakning och utvärdering (ERA and the implications for evidence-based monitoring and evaluation), SEK(2007) 412/2, 4.4.2007, s. 93.

61

The European Research Area: new perspectives

ERA and the implications for evidence-based monitoring and evaluation

(62)  Det bör noteras att bidragsöverenskommelser för projekt undertecknas under hela programperioden, och vanligtvis börjar de första överenskommelserna gälla i slutet av det första året av ett program. Överenskommelserna sträcker sig normalt över tre till fem år, vilket gör att den slutliga outputen kan förväntas tidigast efter fyra till sex år.

62

Källa: Europeiska revisionsrätten.

Källa:

(63)  Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (av den 15 december 2004), avsnitt 6 om utvärdering av ramprogrammet, s. 19.

63

Five-year Assessment of the European Union Research Framework Programmes, 1999–2003

(64)  Europeiska kommissionen om en verktygslåda för utvärdering – bedömning av den socioekonomiska effekten av FoTU-politik (Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies), den så kallade EPUB Toolbox utgiven av Gemensamma forskningscentret, Institute for Prospective Technological Studies (IPTS) och Joanneum Research (augusti 2002), sammanfattningen, s. 9 och 12.

64

Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD Policies

(65)  Europeiska kommissionen om utvärderingen av ändamålsenligheten i sjätte ramprogrammets nya instrument (Evaluation of the effectiveness of the New Instruments of Framework Programme VI), rapport från högnivåexpertpanelen under ledning av professor Ramon Marimón, 21 juni 2004, s. 20.

65

Evaluation of the effectiveness of the New Instruments of Framework Programme VI

(66)  European Policy Evaluation Consortium (EPEC), Technopolis Frankrike, Study on the use of evaluation results in the Commission: Final report (studie av användningen av utvärderingsresultat vid kommissionen, slutrapport, dossier nr 1, sammanfattande rapport och bilagor), maj 2005.

66

Study on the use of evaluation results in the Commission: Final report

(67)  Den större tillfredsställelsen bland de tillfrågade från CREST, som också ofta är ledamöter av programkommittéer, kan bero på den formella roll de har i övervakningen av programgenomförandet.

67

(68)  Europeiska kommissionens arbetsdokument med den årliga genomgången av utvärderingar 2004 och en översikt av kommissionens utvärderingsresultat och utvärderingsverksamhet (Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities), SEK(2005) 587, 28.4.2005.

68

Annual Evaluation Review 2004 – Overview of the Commission's evaluation findings and activities

(69)  Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007, s. 4.

69

Responding to strategic needs: reinforcing the use of evaluation

---

BILAGA I

ATT MÄTA EFFEKTER OCH RESULTAT AV OFFENTLIGA INTERVENTIONER FÖR FORSKNING OCH TEKNISK UTVECKLING

Några av de största metodproblemen när det gäller att mäta effekter och resultat av offentliga FoTU-interventioner är följande:

| — | Tillskrivningsproblem: Tillskrivningsproblemen är uppenbara vid utvärderingar och prestationsmått. De hänger nära samman med ”additionalitetsaspekten”, vilket innebär att man frågar sig om förändringar inte hade inträffat ändå. Svårigheten att hänföra resultat till en specifik offentlig insats påverkas också av ett stort antal externa faktorer (såsom effekterna av annan politik eller andra program, ändringar av den rättsliga ramen, samhällsförändringar etc.). När det gäller forskning kan dessutom det faktum att man inte uppnår de förväntade resultaten också innebära en framgång. Ytterligare en komplikation är den uppenbara svårigheten att otvetydigt hänföra forskningsoutput, för att inte tala om utfall och effekter, till specifika aspekter av FoTU-processen, eller ens till enskilda enheter som deltar i en forskningsverksamhet. |
| --- | --- |

—

Tillskrivningsproblem: Tillskrivningsproblemen är uppenbara vid utvärderingar och prestationsmått. De hänger nära samman med ”additionalitetsaspekten”, vilket innebär att man frågar sig om förändringar inte hade inträffat ändå. Svårigheten att hänföra resultat till en specifik offentlig insats påverkas också av ett stort antal externa faktorer (såsom effekterna av annan politik eller andra program, ändringar av den rättsliga ramen, samhällsförändringar etc.). När det gäller forskning kan dessutom det faktum att man inte uppnår de förväntade resultaten också innebära en framgång. Ytterligare en komplikation är den uppenbara svårigheten att otvetydigt hänföra forskningsoutput, för att inte tala om utfall och effekter, till specifika aspekter av FoTU-processen, eller ens till enskilda enheter som deltar i en forskningsverksamhet.

| — | Mätproblem:







  — | Tillgång till uppgifter: I allmänhet gäller de flesta tillgängliga uppgifter, särskilt sådana som samlas in genom övervakningssystem, FoTU-verksamheternas input och output och inte utfall eller effekter. |
| --- | --- | --- |

—

Mätproblem:

—

Tillgång till uppgifter: I allmänhet gäller de flesta tillgängliga uppgifter, särskilt sådana som samlas in genom övervakningssystem, FoTU-verksamheternas input och output och inte utfall eller effekter.

| — | Att förstå dynamiken: Den uppenbara svårigheten att visa på orsakssambanden mellan input och output innebär att det är oklart hur den inre forskningsprocessen fungerar, och avsaknaden av en uttalad interventionslogik gör att själva processen ofta betraktas som en ”svart låda”. |
| --- | --- |

—

Att förstå dynamiken: Den uppenbara svårigheten att visa på orsakssambanden mellan input och output innebär att det är oklart hur den inre forskningsprocessen fungerar, och avsaknaden av en uttalad interventionslogik gör att själva processen ofta betraktas som en ”svart låda”.

| — | Resultatens jämförbarhet: Resultat från olika vetenskapliga fält kan endast jämföras i begränsad utsträckning och bör i stället tolkas inom ramen för särskilda program och delprogram. Det är dessutom svårare att utvärdera resultaten av grundforskning än av tillämpad forskning eller teknisk utveckling. Det viktigaste skälet till detta är att grundforskning i allmänhet består av unika, icke replikerbara procedurer. Också när det gäller tillämpad forskning varierar resultaten betydligt och kan därför inte enkelt jämföras. |
| --- | --- |

—

Resultatens jämförbarhet: Resultat från olika vetenskapliga fält kan endast jämföras i begränsad utsträckning och bör i stället tolkas inom ramen för särskilda program och delprogram. Det är dessutom svårare att utvärdera resultaten av grundforskning än av tillämpad forskning eller teknisk utveckling. Det viktigaste skälet till detta är att grundforskning i allmänhet består av unika, icke replikerbara procedurer. Också när det gäller tillämpad forskning varierar resultaten betydligt och kan därför inte enkelt jämföras.

| — | Aggregation: Det blir problematiskt att utifrån utvärderingsresultaten dra slutsatser om vad som uppnåtts i fråga om output, utfall och effekter på en lägre nivå i förhållande till nästa högre nivå (t.ex. vid aggregering av projektresultat, först för projektkluster, sedan för domäner inom ett program och slutligen för programmet som sådant). |
| --- | --- |

—

Aggregation: Det blir problematiskt att utifrån utvärderingsresultaten dra slutsatser om vad som uppnåtts i fråga om output, utfall och effekter på en lägre nivå i förhållande till nästa högre nivå (t.ex. vid aggregering av projektresultat, först för projektkluster, sedan för domäner inom ett program och slutligen för programmet som sådant).

| — | Indikatorernas lämplighet: En annan fråga gäller om utvärderarna mäter rätt saker. Måtten måste vara enkla att mäta, svåra att manipulera och uppmuntra till rätt beteende. En ”mätbar” indikator för output innebär emellertid inte nödvändigtvis att det är möjligt att dra slutsatser om utfall eller effekter. |
| --- | --- |

—

Indikatorernas lämplighet: En annan fråga gäller om utvärderarna mäter rätt saker. Måtten måste vara enkla att mäta, svåra att manipulera och uppmuntra till rätt beteende. En ”mätbar” indikator för output innebär emellertid inte nödvändigtvis att det är möjligt att dra slutsatser om utfall eller effekter.

| — | Tidsproblem: Ett ytterligare hinder är den stora fördröjningen mellan forskningsverksamheten till att det genereras output och utfall då effekterna kan bedömas. Uppgifter måste samlas in långsiktigt så att det går att dra meningsfulla och välgrundade slutsatser. Sådana tidsperspektiv för utvärdering är ofta inte förenliga med beslutsfattarnas förväntningar och behov, och det måste ske en avvägning mellan att snabbt ta fram resultat för beslutsfattande och låta det gå tillräckligt med tid för att effekterna ska visa sig. |
| --- | --- |

—

Tidsproblem: Ett ytterligare hinder är den stora fördröjningen mellan forskningsverksamheten till att det genereras output och utfall då effekterna kan bedömas. Uppgifter måste samlas in långsiktigt så att det går att dra meningsfulla och välgrundade slutsatser. Sådana tidsperspektiv för utvärdering är ofta inte förenliga med beslutsfattarnas förväntningar och behov, och det måste ske en avvägning mellan att snabbt ta fram resultat för beslutsfattande och låta det gå tillräckligt med tid för att effekterna ska visa sig.

| — | Villfarelser om projekt: När utfallet och effekterna av enskilda projekt inom ett program ska utvärderas måste man ta hänsyn till dilemmat att de tekniska och vetenskapliga resultaten oftast har uppnåtts med utnyttjande av tidigare arbete. På samma sätt kan deltagaren använda projektresultaten för annat arbete innan de vetenskapliga resultaten har publicerats och utnyttjats. Därför är ett projekt i sig själv inte nödvändigtvis en lämplig utvärderingsram, särskilt när det gäller långsiktiga utfall och effekter. |
| --- | --- |

—

Villfarelser om projekt: När utfallet och effekterna av enskilda projekt inom ett program ska utvärderas måste man ta hänsyn till dilemmat att de tekniska och vetenskapliga resultaten oftast har uppnåtts med utnyttjande av tidigare arbete. På samma sätt kan deltagaren använda projektresultaten för annat arbete innan de vetenskapliga resultaten har publicerats och utnyttjats. Därför är ett projekt i sig själv inte nödvändigtvis en lämplig utvärderingsram, särskilt när det gäller långsiktiga utfall och effekter.

| — | Trovärdighet, integritet och oberoende: Kvaliteten på en utvärdering beror i stor utsträckning på hur engagerade utvärderarna är i ämnet, vilket innebär en avvägning mellan å ena sidan insikt och sakkunskap och å den andra sidan oberoende och objektivitet. Kvaliteten är också avhängig av beslutsfattarnas antaganden och intressen liksom av den logiska grunden för och syftet med utvärderingen. |
| --- | --- |

—

Trovärdighet, integritet och oberoende: Kvaliteten på en utvärdering beror i stor utsträckning på hur engagerade utvärderarna är i ämnet, vilket innebär en avvägning mellan å ena sidan insikt och sakkunskap och å den andra sidan oberoende och objektivitet. Kvaliteten är också avhängig av beslutsfattarnas antaganden och intressen liksom av den logiska grunden för och syftet med utvärderingen.

---

BILAGA II

BESTÄMMELSER OM UTVÄRDERING OCH ÖVERVAKNING I LAGSTIFTNINGSBESLUTEN (FJÄRDE–SJUNDE RAMPROGRAMMET)

| Fjärde ramprogrammet (1995–1998)
   (1) | Femte ramprogrammet (1999–2002)
   (2) | Sjätte ramprogrammet (2003–2006)
   (3) | Sjunde ramprogrammet (2007–2013)
   (4) |
| --- | --- | --- | --- |
| Beslut om ramprogram – Europaparlamentet och rådet |
| Europaparlamentets och rådets beslut nr 1110/94/EG av den 26 april 1994 om det fjärde ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration (1994–1998): artikel 4 | Europaparlamentets och rådets beslut nr 182/1999/EG av den 22 december 1998 om femte ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration (1998–2002): artiklarna 5 och 6 | Europaparlamentets och rådets beslut nr 1513/2002/EG av den 27 juni 2002 om sjätte ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration med syfte att främja inrättandet av det europeiska området för forskningsverksamhet samt innovation (2002–2006): skäl 20, artiklarna 4 och 6, bilaga III | Europaparlamentets och rådets beslut nr 1982/2006/EG av den 18 december 2006 om Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013): artikel 7 |
| Övervakning |
| — | Systematiskt och fortlöpande bevaka, med lämpligt stöd av oberoende externa experter, framstegen i förhållande till ramprogrammets ursprungliga mål (artikel 4.1) |

Fjärde ramprogrammet (1995–1998)
   (1)

Femte ramprogrammet (1999–2002)
   (2)

Sjätte ramprogrammet (2003–2006)
   (3)

Sjunde ramprogrammet (2007–2013)
   (4)

Beslut om ramprogram – Europaparlamentet och rådet

Europaparlamentets och rådets beslut nr 1110/94/EG av den 26 april 1994 om det fjärde ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration (1994–1998): artikel 4

Europaparlamentets och rådets beslut nr 182/1999/EG av den 22 december 1998 om femte ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration (1998–2002): artiklarna 5 och 6

Europaparlamentets och rådets beslut nr 1513/2002/EG av den 27 juni 2002 om sjätte ramprogrammet för Europeiska gemenskapens verksamhet inom området forskning, teknisk utveckling och demonstration med syfte att främja inrättandet av det europeiska området för forskningsverksamhet samt innovation (2002–2006): skäl 20, artiklarna 4 och 6, bilaga III

Europaparlamentets och rådets beslut nr 1982/2006/EG av den 18 december 2006 om Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013): artikel 7

Övervakning

—

Systematiskt och fortlöpande bevaka, med lämpligt stöd av oberoende externa experter, framstegen i förhållande till ramprogrammets ursprungliga mål (artikel 4.1)

| — | Varje år kontinuerligt och systematiskt övervaka, med hjälp av oberoende, kvalificerade experter, genomförandet av ramprogrammet och dess särskilda program mot bakgrund av de kriterier som anges i bilaga I och de vetenskapliga och tekniska mål som anges i bilaga II (artikel 5.1) |
| --- | --- |

—

Varje år kontinuerligt och systematiskt övervaka, med hjälp av oberoende, kvalificerade experter, genomförandet av ramprogrammet och dess särskilda program mot bakgrund av de kriterier som anges i bilaga I och de vetenskapliga och tekniska mål som anges i bilaga II (artikel 5.1)

| — | Fortlöpande och systematiskt [varje år] med hjälp av oberoende kvalificerade experter övervaka genomförandet av sjätte ramprogrammet och dess särskilda program (artikel 4 och artikel 6.1) |
| --- | --- |

—

Fortlöpande och systematiskt [varje år] med hjälp av oberoende kvalificerade experter övervaka genomförandet av sjätte ramprogrammet och dess särskilda program (artikel 4 och artikel 6.1)

| — | Kontinuerligt och systematiskt övervaka genomförandet av ramprogrammet och de särskilda programmen (artikel 7.1) |
| --- | --- |

—

Kontinuerligt och systematiskt övervaka genomförandet av ramprogrammet och de särskilda programmen (artikel 7.1)

| — | Bedöma om målen, prioriteringarna och de ekonomiska resurserna fortfarande är lämpliga med hänsyn till inträffade förändringar och vid behov lägga fram förslag till anpassningar eller kompletteringar av ramprogrammet och/eller de särskilda programmen (artikel 5.1) |
| --- | --- |

—

Bedöma om målen, prioriteringarna och de ekonomiska resurserna fortfarande är lämpliga med hänsyn till inträffade förändringar och vid behov lägga fram förslag till anpassningar eller kompletteringar av ramprogrammet och/eller de särskilda programmen (artikel 5.1)

| — | Regelbundet se över all forskningsverksamhet, och i synnerhet övervakning av spetsforskningskompetensens nivå (bilaga III, Instrument) |
| --- | --- |

—

Regelbundet se över all forskningsverksamhet, och i synnerhet övervakning av spetsforskningskompetensens nivå (bilaga III, Instrument)

| — | Regelbundet rapportera om och sprida resultaten av denna övervakning (artikel 7.1) |
| --- | --- |

—

Regelbundet rapportera om och sprida resultaten av denna övervakning (artikel 7.1)

Artikel 173 – Årlig rapport

| — | I detalj redogöra för framstegen med att genomföra ramprogrammet, särskilt med att uppnå målen och uppfylla prioriteringarna i enlighet med vad som fastställs under varje rubrik i bilaga I och även informera om finansiella aspekter och om instrumenten har använts, i den rapport som kommissionen ska överlämna i enlighet med artikel 173 i fördraget (artikel 4) |
| --- | --- |

—

I detalj redogöra för framstegen med att genomföra ramprogrammet, särskilt med att uppnå målen och uppfylla prioriteringarna i enlighet med vad som fastställs under varje rubrik i bilaga I och även informera om finansiella aspekter och om instrumenten har använts, i den rapport som kommissionen ska överlämna i enlighet med artikel 173 i fördraget (artikel 4)

Halvtidsutvärdering

| — | Se över programmets utveckling mot mitten av det femte ramprogrammets löptid (artikel 6) |
| --- | --- |

—

Se över programmets utveckling mot mitten av det femte ramprogrammets löptid (artikel 6)

| — | På grundval av utvärderingen av de särskilda programmen till Europaparlamentet och rådet överlämna ett meddelande åtföljt, om lämpligt, av ett förslag till anpassning av detta beslut (artikel 6) |
| --- | --- |

—

På grundval av utvärderingen av de särskilda programmen till Europaparlamentet och rådet överlämna ett meddelande åtföljt, om lämpligt, av ett förslag till anpassning av detta beslut (artikel 6)

| — | Senast 2010, biträdd av externa experter, göra en preliminär faktabaserad utvärdering av detta ramprogram och de särskilda programmen med utgångspunkt i efterhandsbedömningen av det föregående ramprogrammet som särskilt omfattar den pågående forskningsverksamhetens kvalitet samt kvaliteten på genomförandet och ledningen, och framstegen med att uppnå de fastställda målen (artikel 7.2) |
| --- | --- |

—

Senast 2010, biträdd av externa experter, göra en preliminär faktabaserad utvärdering av detta ramprogram och de särskilda programmen med utgångspunkt i efterhandsbedömningen av det föregående ramprogrammet som särskilt omfattar den pågående forskningsverksamhetens kvalitet samt kvaliteten på genomförandet och ledningen, och framstegen med att uppnå de fastställda målen (artikel 7.2)

| — | Överlämna slutsatserna av denna utvärdering åtföljda av de iakttagelser som gjorts och, i förekommande fall, förslag till anpassning av detta ramprogram till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén samt Regionkommittén (artikel 7.2) |
| --- | --- |

—

Överlämna slutsatserna av denna utvärdering åtföljda av de iakttagelser som gjorts och, i förekommande fall, förslag till anpassning av detta ramprogram till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén samt Regionkommittén (artikel 7.2)

| — | Regelbundet informera Europaparlamentet och rådet om hur genomförandet av ramprogrammet och de särskilda programmen som helhet fortlöper (artikel 5.4) |
| --- | --- |

—

Regelbundet informera Europaparlamentet och rådet om hur genomförandet av ramprogrammet och de särskilda programmen som helhet fortlöper (artikel 5.4)

| — | Lägga fram regelbundna lägesrapporter för Europaparlamentet och rådet om genomförandet av ramprogrammet (skäl 20) |
| --- | --- |

—

Lägga fram regelbundna lägesrapporter för Europaparlamentet och rådet om genomförandet av ramprogrammet (skäl 20)

| — | Lägga fram en lägesrapport (innan den preliminära utvärderingen) så snart tillräckligt med uppgifter finns tillgängliga, med de första resultaten om effektiviteten i de nya åtgärder som inleds inom sjunde ramprogrammet och om insatserna för förenkling (artikel 7.2) |
| --- | --- |

—

Lägga fram en lägesrapport (innan den preliminära utvärderingen) så snart tillräckligt med uppgifter finns tillgängliga, med de första resultaten om effektiviteten i de nya åtgärder som inleds inom sjunde ramprogrammet och om insatserna för förenkling (artikel 7.2)

| — | Under 2004 göra en utvärdering med hjälp av oberoende experter av effektiviteten hos vart och ett av instrumenten vid genomförandet av detta program (bilaga III, Instrument) |
| --- | --- |

—

Under 2004 göra en utvärdering med hjälp av oberoende experter av effektiviteten hos vart och ett av instrumenten vid genomförandet av detta program (bilaga III, Instrument)

Femårsutvärdering

| — | Oberoende, kvalificerade experter ska leda en extern utvärdering av hanteringen och resultaten av de gemenskapsverksamheter som genomförts under de fem åren före denna utvärdering (artikel 4.2) |
| --- | --- |

—

Oberoende, kvalificerade experter ska leda en extern utvärdering av hanteringen och resultaten av de gemenskapsverksamheter som genomförts under de fem åren före denna utvärdering (artikel 4.2)

| — | Låta oberoende, kvalificerade experter utföra en extern utvärdering av de verksamheter som genomförts i gemenskapen och av vad som uppnåtts inom dessa under de fem åren före denna utvärdering, mot bakgrund av de kriterier som anges i bilaga I och de vetenskapliga och tekniska mål som anges i bilaga II (artikel 5.2) |
| --- | --- |

—

Låta oberoende, kvalificerade experter utföra en extern utvärdering av de verksamheter som genomförts i gemenskapen och av vad som uppnåtts inom dessa under de fem åren före denna utvärdering, mot bakgrund av de kriterier som anges i bilaga I och de vetenskapliga och tekniska mål som anges i bilaga II (artikel 5.2)

| — | Låta oberoende, högt kvalificerade experter utföra en extern bedömning av genomförandet och resultaten av gemenskapens verksamhet under de fem år som föregår utvärderingen (artikel 6.2) (och av genomförandet av verksamheten, med beaktande av hur det sjätte ramprogrammet har bidragit till att förverkliga det europeiska området för forskningsverksamhet) (skäl 20) |
| --- | --- |

—

Låta oberoende, högt kvalificerade experter utföra en extern bedömning av genomförandet och resultaten av gemenskapens verksamhet under de fem år som föregår utvärderingen (artikel 6.2) (och av genomförandet av verksamheten, med beaktande av hur det sjätte ramprogrammet har bidragit till att förverkliga det europeiska området för forskningsverksamhet) (skäl 20)

| — | Överlämna utvärderingen, tillsammans med kommissionens kommentarer, till Europaparlamentet, rådet och Ekonomiska och sociala kommittén, innan kommissionen lägger fram sitt förslag angående nästa ramprogram (artikel 4.2) |
| --- | --- |

—

Överlämna utvärderingen, tillsammans med kommissionens kommentarer, till Europaparlamentet, rådet och Ekonomiska och sociala kommittén, innan kommissionen lägger fram sitt förslag angående nästa ramprogram (artikel 4.2)

| — | Överlämna utvärderingen, tillsammans med kommissionens kommentarer, till Europaparlamentet, rådet, Ekonomiska och sociala kommittén samt Regionkommittén, innan kommissionen lägger fram sitt förslag angående nästa ramprogram (artikel 5.2) |
| --- | --- |

—

Överlämna utvärderingen, tillsammans med kommissionens kommentarer, till Europaparlamentet, rådet, Ekonomiska och sociala kommittén samt Regionkommittén, innan kommissionen lägger fram sitt förslag angående nästa ramprogram (artikel 5.2)

| — | Överlämna slutsatserna av denna bedömning tillsammans med kommissionens kommentarer till Europaparlamentet, rådet, Ekonomiska och sociala kommittén samt Regionkommittén (artikel 6.2), i god tid och innan kommissionen lägger fram sitt förslag till nästa ramprogram (skäl 20) |
| --- | --- |

—

Överlämna slutsatserna av denna bedömning tillsammans med kommissionens kommentarer till Europaparlamentet, rådet, Ekonomiska och sociala kommittén samt Regionkommittén (artikel 6.2), i god tid och innan kommissionen lägger fram sitt förslag till nästa ramprogram (skäl 20)

Slutlig utvärdering

[Se särskilt programbeslut]

| — | Låta oberoende experter göra en extern utvärdering två år efter det att sjunde ramprogrammet har avslutats (dvs. 2015) av dess logiska grund, genomförande och resultat (artikel 7.3) |
| --- | --- |

—

Låta oberoende experter göra en extern utvärdering två år efter det att sjunde ramprogrammet har avslutats (dvs. 2015) av dess logiska grund, genomförande och resultat (artikel 7.3)

| — | Överlämna slutsatserna av denna utvärdering åtföljda av de iakttagelser som gjorts till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén samt Regionkommittén (artikel 7.3) |
| --- | --- |

—

Överlämna slutsatserna av denna utvärdering åtföljda av de iakttagelser som gjorts till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén samt Regionkommittén (artikel 7.3)

Oberoende experter

| — | Se till att valet av de oberoende experterna på ett välavvägt sätt beaktar de olika forskningsaktörerna från forskarsamhället, industrin och användarna och offentliggöra en förteckning över experter och deras individuella kvalifikationer efter deras utnämning (artikel 5.3)
  [För ytterligare bestämmelser om oberoende experter, se artikel 9 i rådets beslut 1999/65/EG] |
| --- | --- |

—

Se till att valet av de oberoende experterna på ett välavvägt sätt beaktar de olika forskningsaktörerna från forskarsamhället, industrin och användarna och offentliggöra en förteckning över experter och deras individuella kvalifikationer efter deras utnämning (artikel 5.3)

[För ytterligare bestämmelser om oberoende experter, se artikel 9 i rådets beslut 1999/65/EG]

| — | Kommissionen ska utse oberoende experter för att bistå vid den utvärdering som krävs enligt sjätte ramprogrammet och de särskilda programmen och även för det stöd som avses i artikel 10.6 och i artikel 18.1 andra stycket. |
| --- | --- |

—

Kommissionen ska utse oberoende experter för att bistå vid den utvärdering som krävs enligt sjätte ramprogrammet och de särskilda programmen och även för det stöd som avses i artikel 10.6 och i artikel 18.1 andra stycket.

| — | Den kan dessutom besluta att inrätta grupper av oberoende experter för att ge råd om genomförandet av gemenskapens forskningspolitik. |
| --- | --- |

—

Den kan dessutom besluta att inrätta grupper av oberoende experter för att ge råd om genomförandet av gemenskapens forskningspolitik.

| — | [För bestämmelser om oberoende experter, se artikel 11 i förordning (EG) nr 2321/2002.] |
| --- | --- |

—

[För bestämmelser om oberoende experter, se artikel 11 i förordning (EG) nr 2321/2002.]

Exempel på beslut om ett särskilt program – rådet

Rådets beslut 94/801/EG av den 23 november 1994: artikel 4

Rådets beslut 1999/168/EG av den 25 januari 1999: artiklarna 4 och 6

Rådets beslut 2002/834/EG och 2002/835/EG av den 30 september 2002: artikel 8

Rådets beslut 2006/971/EG av den 19 december 2006 om det särskilda programmet ”Samarbete”: artikel 8

Övervakning

| — | Fortlöpande och systematiskt följa upp, med lämplig hjälp av oberoende utomstående experter, hur långt programmet har fortskridit (artikel 4.1) |
| --- | --- |

—

Fortlöpande och systematiskt följa upp, med lämplig hjälp av oberoende utomstående experter, hur långt programmet har fortskridit (artikel 4.1)

| — | Med lämpligt bistånd av oberoende externa experter övervaka genomförandet av det särskilda programmet och, vid behov, i enlighet med artikel 5.1 i det femte ramprogrammet förelägga rådet förslag om anpassning av det (artikel 4 a) |
| --- | --- |

—

Med lämpligt bistånd av oberoende externa experter övervaka genomförandet av det särskilda programmet och, vid behov, i enlighet med artikel 5.1 i det femte ramprogrammet förelägga rådet förslag om anpassning av det (artikel 4 a)

| — | Se till att den oberoende övervakning och bedömning som avses i artikel 6 i ramprogrammet genomförs inom de områden som omfattas av det särskilda programmet (artikel 8.2) |
| --- | --- |

—

Se till att den oberoende övervakning och bedömning som avses i artikel 6 i ramprogrammet genomförs inom de områden som omfattas av det särskilda programmet (artikel 8.2)

| — | Sörja för att den oberoende övervakning, bedömning och översyn som föreskrivs i artikel 7 i ramprogrammet genomförs när det gäller den verksamhet som omfattas av det särskilda programmet (artikel 9) |
| --- | --- |

—

Sörja för att den oberoende övervakning, bedömning och översyn som föreskrivs i artikel 7 i ramprogrammet genomförs när det gäller den verksamhet som omfattas av det särskilda programmet (artikel 9)

| — | Den övervakningsinformation kommissionen ska lämna till programkommittén i enlighet med artikel 8.4 anges i bilaga V. |
| --- | --- |

—

Den övervakningsinformation kommissionen ska lämna till programkommittén i enlighet med artikel 8.4 anges i bilaga V.

Artikel 173 – Årlig rapport

| — | Regelbundet rapportera om genomförandet av det särskilda programmet varvid uppgifter om finansiella aspekter och hur instrumenten används ska inbegripas i enlighet med artikel 4 i beslutet om sjätte ramprogrammet (artikel 8.1) |
| --- | --- |

—

Regelbundet rapportera om genomförandet av det särskilda programmet varvid uppgifter om finansiella aspekter och hur instrumenten används ska inbegripas i enlighet med artikel 4 i beslutet om sjätte ramprogrammet (artikel 8.1)

| — | Inkludera de viktigaste resultaten [beträffande finansieringsfaciliteten med riskdelning] i den årliga rapporten om verksamheterna gällande forskning, teknisk utveckling och demonstration som den lämnar till Europaparlamentet och rådet i enlighet med artikel 173 i fördraget (bilaga III). |
| --- | --- |

—

Inkludera de viktigaste resultaten [beträffande finansieringsfaciliteten med riskdelning] i den årliga rapporten om verksamheterna gällande forskning, teknisk utveckling och demonstration som den lämnar till Europaparlamentet och rådet i enlighet med artikel 173 i fördraget (bilaga III).

Femårsutvärdering

| — | Låta oberoende utomstående experter göra en bedömning av den verksamhet som bedrivits inom ramen för detta program och hur den har bedrivits under de senaste fem åren (artikel 4.2) |
| --- | --- |

—

Låta oberoende utomstående experter göra en bedömning av den verksamhet som bedrivits inom ramen för detta program och hur den har bedrivits under de senaste fem åren (artikel 4.2)

| — | Låta genomföra den externa utvärdering, som anges i artikel 5.2 i det femte ramprogrammet, av de verksamheter som bedrivits inom de områden som omfattas av det särskilda programmet (artikel 4 b) |
| --- | --- |

—

Låta genomföra den externa utvärdering, som anges i artikel 5.2 i det femte ramprogrammet, av de verksamheter som bedrivits inom de områden som omfattas av det särskilda programmet (artikel 4 b)

Slutlig utvärdering

| — | Låta genomföra, när varje särskilt program slutförts, en oberoende slutgiltig utvärdering av de uppnådda resultaten i jämförelse med de mål som satts upp (artikel 4.3) |
| --- | --- |

—

Låta genomföra, när varje särskilt program slutförts, en oberoende slutgiltig utvärdering av de uppnådda resultaten i jämförelse med de mål som satts upp (artikel 4.3)

| — | Den slutliga utvärderingen ska överlämnas till Europaparlamentet, rådet och Ekonomiska och sociala kommittén (artikel 4.3) |
| --- | --- |

—

Den slutliga utvärderingen ska överlämnas till Europaparlamentet, rådet och Ekonomiska och sociala kommittén (artikel 4.3)

Oberoende experter

| — | Utarbeta villkoren för den externa utvärdering som avses i artikel 5.2 i det femte ramprogrammet (artikel 6.2) |
| --- | --- |

—

Utarbeta villkoren för den externa utvärdering som avses i artikel 5.2 i det femte ramprogrammet (artikel 6.2)

Basinformation om ramprogrammets struktur

| — | Fjärde ramprogrammet (EG): sju särskilda program innehållande 17 delprogram plus två kluster av verksamheter |
| --- | --- |

—

Fjärde ramprogrammet (EG): sju särskilda program innehållande 17 delprogram plus två kluster av verksamheter

| — | Femte ramprogrammet (EG): sju särskilda program, varav fyra är temaprogram och tre är övergripande program |
| --- | --- |

—

Femte ramprogrammet (EG): sju särskilda program, varav fyra är temaprogram och tre är övergripande program

| — | Sjätte ramprogrammet (EG): 20 program varav tio är grupperade enligt sju tematiska prioriteringar, och fyra program med övergripande forskningsverksamhet i det särskilda programmet ”Att koncentrera och integrera gemenskapsforskningen”. Det särskilda programmet ”Att strukturera det europeiska området för forskningsverksamhet” omfattar fyra program, och det särskilda programmet ”Att stärka grunderna för det europeiska området för forskningsverksamhet” innehåller två program |
| --- | --- |

—

Sjätte ramprogrammet (EG): 20 program varav tio är grupperade enligt sju tematiska prioriteringar, och fyra program med övergripande forskningsverksamhet i det särskilda programmet ”Att koncentrera och integrera gemenskapsforskningen”. Det särskilda programmet ”Att strukturera det europeiska området för forskningsverksamhet” omfattar fyra program, och det särskilda programmet ”Att stärka grunderna för det europeiska området för forskningsverksamhet” innehåller två program

| — | Sjunde ramprogrammet (EG): 24 särskilda delprogram, varav tio är grupperade i det särskilda programmet ”Samarbete”, ett ingår i det särskilda programmet ”Idéer”, fem delprogram ingår i det särskilda programmet ”Människor” och åtta delprogram ingår i det särskilda programmet ”Kapacitet” (varav ett delprogram ägnas åt Gemensamma forskningscentrets icke-nukleära åtgärder) |
| --- | --- |

—

Sjunde ramprogrammet (EG): 24 särskilda delprogram, varav tio är grupperade i det särskilda programmet ”Samarbete”, ett ingår i det särskilda programmet ”Idéer”, fem delprogram ingår i det särskilda programmet ”Människor” och åtta delprogram ingår i det särskilda programmet ”Kapacitet” (varav ett delprogram ägnas åt Gemensamma forskningscentrets icke-nukleära åtgärder)

| — | Total budget (EG): 11 046 miljoner euro (dvs. 2 761 miljoner euro per år) |
| --- | --- |

—

Total budget (EG): 11 046 miljoner euro (dvs. 2 761 miljoner euro per år)

| — | Total budget (EG): 13 700 miljoner euro (dvs. 3 425 miljoner euro per år; +24 %) |
| --- | --- |

—

Total budget (EG): 13 700 miljoner euro (dvs. 3 425 miljoner euro per år; +24 %)

| — | Total budget (EG): 16 270 miljoner euro (dvs. 4 061 miljoner euro per år; +19 %) som efter utvidgningen till EU-25 ökades till |
| --- | --- |

—

Total budget (EG): 16 270 miljoner euro (dvs. 4 061 miljoner euro per år; +19 %) som efter utvidgningen till EU-25 ökades till

| — | Total budget (EG): 17 883 miljoner euro (dvs. 4 447 miljoner euro per år; +10 %) |
| --- | --- |

—

Total budget (EG): 17 883 miljoner euro (dvs. 4 447 miljoner euro per år; +10 %)

| — | Total budget (EG): 50 521 miljoner euro (dvs. 7 217 miljoner euro per år; +62 %) |
| --- | --- |

—

Total budget (EG): 50 521 miljoner euro (dvs. 7 217 miljoner euro per år; +62 %)

| — | Sju generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi, GD Transport, GD Fiske, GD Jordbruk, GD Näringsliv |
| --- | --- |

—

Sju generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi, GD Transport, GD Fiske, GD Jordbruk, GD Näringsliv

| — | Fem generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi och transport, GD Fiske, GD Näringsliv |
| --- | --- |

—

Fem generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi och transport, GD Fiske, GD Näringsliv

| — | Fyra generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi och transport, GD Näringsliv |
| --- | --- |

—

Fyra generaldirektorat: GD Forskning, GD Informationssamhället, GD Energi och transport, GD Näringsliv

| — | Fem generaldirektorat: GD Forskning, GD Informationssamhället och medier, GD Energi och transport, GD Näringsliv, Gemensamma forskningscentret, dessutom ”Europeiska forskningsrådet” (EFR) och genomförandeorgan |
| --- | --- |

—

Fem generaldirektorat: GD Forskning, GD Informationssamhället och medier, GD Energi och transport, GD Näringsliv, Gemensamma forskningscentret, dessutom ”Europeiska forskningsrådet” (EFR) och genomförandeorgan

---

(1)  Fjärde ramprogrammet: Informations- och kommunikationsteknik (avancerad kommunikationsteknik och kommunikationstjänster (Acts)), informationsteknik (Esprit), telematikapplikationer, industriell teknik (industriell teknik och materialteknik (Brite-Euram), normer, mätningar och provningar, miljö (miljö och klimat, havsforskning och havsteknik (MAST III)), biovetenskap och bioteknik (bioteknik Biotech 2), biomedicin och hälsa (Biomed 2), jordbruk och fiske (FAIR), etiska, rättsliga och sociala aspekter (ELSA), energi (forskning och utveckling (Joule)), demonstration (Thermie), transport (forskningsprogrammet inom transportområdet), målinriktad socioekonomisk forskning, Europeiska nätverket för teknisk utvärdering (ETAN), samarbete med tredje land och internationella organisationer (Inco), spridning och optimering av resultaten (programmet för innovation), stimulans av utbildning och fri rörlighet för forskare (utbildning och fri rörlighet för forskare, sammanslutningen för Marie Curie-stipendiater).

(2)  Femte ramprogrammet: Fyra temaprogram (Livskvalitet och förvaltning av levande resurser (Livskvalitet), Ett användarvänligt informationssamhälle, Konkurrenskraftig och hållbar tillväxt (Growth), Energi, miljö och hållbar utveckling). Tre övergripande program (Bekräftelse av gemenskapsforskningens internationella roll (Inco 2), Främjande av nyskapande och stimulans av små och medelstora företags deltagande, Förbättring av den mänskliga forskningspotentialen och den socioekonomiska kunskapsgrunden).

(3)  Sjätte ramprogrammet: ”Att koncentrera och integrera gemenskapsforskningen”

| — | sju prioriterade tematiska områden med tio program: Biovetenskap, genomik och bioteknik för bättre hälsa (avancerad genomik och dess tillämpning inom hälsovården, kampen mot de stora sjukdomarna), informationssamhällets teknik, nanoteknik och nanovetenskap, kunskapsbaserade multifunktionella material, nya produktionsprocesser och produktionsanordningar, flyg- och rymdteknik, livsmedelskvalitet och livsmedelssäkerhet, hållbar utveckling, globala förändringar och ekosystem (inklusive hållbara energisystem, hållbara yttransporter, globala förändringar och ekosystem), medborgare och styrelseformer i ett kunskapssamhälle, |
| --- | --- |

—

sju prioriterade tematiska områden med tio program: Biovetenskap, genomik och bioteknik för bättre hälsa (avancerad genomik och dess tillämpning inom hälsovården, kampen mot de stora sjukdomarna), informationssamhällets teknik, nanoteknik och nanovetenskap, kunskapsbaserade multifunktionella material, nya produktionsprocesser och produktionsanordningar, flyg- och rymdteknik, livsmedelskvalitet och livsmedelssäkerhet, hållbar utveckling, globala förändringar och ekosystem (inklusive hållbara energisystem, hållbara yttransporter, globala förändringar och ekosystem), medborgare och styrelseformer i ett kunskapssamhälle,

| — | övergripande forskningsverksamhet som täcker ett bredare forskningsfält med fyra program: Stöd till politikområden och förutseende av vetenskapliga och tekniska behov, övergripande forskningsverksamhet där små och medelstora företag deltar, särskilda åtgärder för att stödja internationellt samarbete, icke-nukleär verksamhet vid Gemensamma forskningscentret. ”Att strukturera det europeiska området för forskningsverksamhet” med fyra program: forskning och innovation, mänskliga resurser, forskningsinfrastrukturer, vetenskap och samhälle. ”Att stärka grunderna för det europeiska området för forskningsverksamhet” med två program: stöd till samordning av verksamheter, stöd till enhetlig utveckling av politiken. |
| --- | --- |

—

övergripande forskningsverksamhet som täcker ett bredare forskningsfält med fyra program: Stöd till politikområden och förutseende av vetenskapliga och tekniska behov, övergripande forskningsverksamhet där små och medelstora företag deltar, särskilda åtgärder för att stödja internationellt samarbete, icke-nukleär verksamhet vid Gemensamma forskningscentret. ”Att strukturera det europeiska området för forskningsverksamhet” med fyra program: forskning och innovation, mänskliga resurser, forskningsinfrastrukturer, vetenskap och samhälle. ”Att stärka grunderna för det europeiska området för forskningsverksamhet” med två program: stöd till samordning av verksamheter, stöd till enhetlig utveckling av politiken.

(4)  Sjunde ramprogrammet: Särskilt program ”Samarbete” med tio delprogram (Hälsa, Livsmedel, jordbruk och fiske, samt bioteknik, Informations- och kommunikationsteknik, Nanovetenskap, nanoteknik, material och ny produktionsteknik, Energi, Miljö (inbegripet klimatförändringar), Transport (inbegripet flygteknik), Samhällsvetenskap och humaniora, Säkerhetsforskning och Rymdforskning), särskilt program ”Idéer” med ett delprogram (Europeiska forskningsrådet), särskilt program ”Människor” med fem delprogram (Grundutbildning, Livslångt lärande, Industrin och den akademiska världen, Den internationella dimensionen, Särskilda åtgärder), särskilt program ”Kapacitet” med åtta delprogram (Forskningsinfrastruktur, Forskning till förmån för små och medelstora företag, Kunskapsregioner, Forskningspotential, Vetenskap i samhället, Enhetlig utveckling av forskningspolitiken, Internationellt samarbete) och ”Gemensamma forskningscentrets icke-nukleära åtgärder”.

---

BILAGA III

STÖRSTA SKILLNADERNA I EFTERHANDSUTVÄRDERINGEN AV FORSKNINGSPROGRAM MELLAN EU (FJÄRDE–SJÄTTE RAMPROGRAMMEN), USA OCH KANADA

| | EU (FJÄRDE–SJÄTTE RAMPROGRAMMEN) | USA | Kanada |
| --- | --- | --- | --- |
| Systemfrågor |
| Interventionslogik | Inte uttalad | Finns oftast, outtalat krav enligt PART (1) | Krävs enligt RMAF (2) som en del av programförslaget |
| Utvärderingsstrategi | Inte heltäckande | Krävs enligt PART (1) | Krävs enligt RMAF (2) som en del av programförslaget |
| Förväntade resultat anges | Nej | Krävs enligt PART (1)(inklusive användning av kvantifierbara indikatorer) | Krävs enligt RMAF (2) som en del av programförslaget |
| Utvärderingsfrågorna ställs av | kommissionen i egenskap av programförvaltare | organ i egenskap av programförvaltare (bedöms inom ramen för OMB) | organ i egenskap av programförvaltare
  (bedöms inom ramen för TBS) |
| Organisatoriska frågor |
| Utformningsfasen | Under programplaneringsperioden | Under programplaneringsperioden | Avslutad innan programmet inleds |
| Användning av paneler | ”Särskilda” paneler för specifika utvärderingsuppgifter | Beroende på byrå/program | Fasta paneler som ständiga kommittéer |
| Periodicitet | Fastställda datum (knutna till programplaneringsperioden, täcker de fem föregående åren) | Cykel på 2–3 år
  (kopplad till budgetgodkännandet) | Vid förnyelse av programmet |

EU (FJÄRDE–SJÄTTE RAMPROGRAMMEN)

USA

Kanada

Systemfrågor

Interventionslogik

Inte uttalad

Finns oftast, outtalat krav enligt PART (1)

Krävs enligt RMAF (2) som en del av programförslaget

Utvärderingsstrategi

Inte heltäckande

Krävs enligt PART (1)

Krävs enligt RMAF (2) som en del av programförslaget

Förväntade resultat anges

Nej

Krävs enligt PART (1)(inklusive användning av kvantifierbara indikatorer)

Krävs enligt RMAF (2) som en del av programförslaget

Utvärderingsfrågorna ställs av

kommissionen i egenskap av programförvaltare

organ i egenskap av programförvaltare (bedöms inom ramen för OMB)

organ i egenskap av programförvaltare

(bedöms inom ramen för TBS)

Organisatoriska frågor

Utformningsfasen

Under programplaneringsperioden

Under programplaneringsperioden

Avslutad innan programmet inleds

Användning av paneler

”Särskilda” paneler för specifika utvärderingsuppgifter

Beroende på byrå/program

Fasta paneler som ständiga kommittéer

Periodicitet

Fastställda datum (knutna till programplaneringsperioden, täcker de fem föregående åren)

Cykel på 2–3 år

(kopplad till budgetgodkännandet)

Vid förnyelse av programmet

---

(1)  PART (Programme Assessment Rating Tool) sedan 2002: verktyg för programbedömning, se Office of Management and Budget (OMB), Executive Office of the President, USA.

(2)  RMAF (Results-based Management and Accountability Framework): ram för resultatbaserad förvaltning och ansvars- och redovisningsskyldighet, se Treasury Board of Canada
  Secretariat (TBS).

---

BILAGA IV

TÄNKBAR PANELSTRUKTUR FÖR SJUNDE RAMPROGRAMMET FÖR FORSKNING

Image

---

KOMMISSIONENS SVAR

| I. | Gemenskapens ramprogram för forskning, teknisk utveckling och demonstration har under de senaste årtiondena utvecklats till ett omfattande, men sammanhängande system av stödmekanismer för forskare i de 27 EU-medlemsstaterna, de associerade länderna och i andra länder.
  Ramprogrammen är idag världens största offentliga multinationella finansieringssystem för forskning.
  Ramprogrammen står för närvarande för ungefär 5 % av EU:s totala offentliga utgifter för forskning. Vad gäller gemenskapens årliga finansiella bidrag kommer sjunde ramprogrammet att vara ungefär 60 % större än sjätte ramprogrammet.
  Utvärderingen av en sådan unik ordning är en särskild utmaning för alla aktörer som deltar. Utvärderings- och övervakningssystemen har undergått genomgripande förändringar under senare år, och senast genom lanseringen av sjunde ramprogrammet under 2007.
  Det utvärderings- och övervakningssystem som inrättats i kommissionen baseras på att kommissionens generaldirektorat (GD), som genomför ramprogrammen, har det direkta ansvaret. Det är här som den största tekniska expertisen finns.
  Utvärderingarna på ramprogramnivå genomförs genom samordnade insatser i samtliga generaldirektorat. |
| --- | --- |

I.

Gemenskapens ramprogram för forskning, teknisk utveckling och demonstration har under de senaste årtiondena utvecklats till ett omfattande, men sammanhängande system av stödmekanismer för forskare i de 27 EU-medlemsstaterna, de associerade länderna och i andra länder.

Ramprogrammen är idag världens största offentliga multinationella finansieringssystem för forskning.

Ramprogrammen står för närvarande för ungefär 5 % av EU:s totala offentliga utgifter för forskning. Vad gäller gemenskapens årliga finansiella bidrag kommer sjunde ramprogrammet att vara ungefär 60 % större än sjätte ramprogrammet.

Utvärderingen av en sådan unik ordning är en särskild utmaning för alla aktörer som deltar. Utvärderings- och övervakningssystemen har undergått genomgripande förändringar under senare år, och senast genom lanseringen av sjunde ramprogrammet under 2007.

Det utvärderings- och övervakningssystem som inrättats i kommissionen baseras på att kommissionens generaldirektorat (GD), som genomför ramprogrammen, har det direkta ansvaret. Det är här som den största tekniska expertisen finns.

Utvärderingarna på ramprogramnivå genomförs genom samordnade insatser i samtliga generaldirektorat.

| IV. | Kommissionen välkomnar revisionsrättens iakttagelse om att de generaldirektorat som genomför ramprogrammen (forskningsgeneraldirektoraten) har uppfyllt kommissionens krav, inklusive dem som specificeras i meddelandena om utvärdering från 2000 och 2002.
  Väsentliga förändringar har införts i utvärderingen av ramprogrammen, inklusive en större omstrukturering för sjunde ramprogrammet.
  Kommissionen gör också följande bedömning:






  i) | Ramprogrammen har alltid baserats på en sund interventionslogik. I sjunde ramprogrammet görs detta mer uttryckligt, vilket ytterligare stärker kommissionens utvärderings- och övervakningssystem. |
| --- | --- | --- |

IV.

Kommissionen välkomnar revisionsrättens iakttagelse om att de generaldirektorat som genomför ramprogrammen (forskningsgeneraldirektoraten) har uppfyllt kommissionens krav, inklusive dem som specificeras i meddelandena om utvärdering från 2000 och 2002.

Väsentliga förändringar har införts i utvärderingen av ramprogrammen, inklusive en större omstrukturering för sjunde ramprogrammet.

Kommissionen gör också följande bedömning:

i)

Ramprogrammen har alltid baserats på en sund interventionslogik. I sjunde ramprogrammet görs detta mer uttryckligt, vilket ytterligare stärker kommissionens utvärderings- och övervakningssystem.

| ii) | De viktigaste strategiska inslagen i kommissionens metod för utvärdering och övervakning fastställdes i de olika rättsakterna för ramprogrammen, som har antagits sedan mitten på 1990-talet.
  Sedan kommissionen antog sitt senaste meddelande om forskningsutvärdering under 1996 har kommissionens metoder för att utvärdera ramprogrammen konstant finslipats och omfattande förändringar av utvärderingarna har genomförts.
  Under den period som revisionsrätten har reviderat har en större revidering av ramprogrammen gjorts vart fjärde år, de så kallade femårsutvärderingarna. |
| --- | --- |

ii)

De viktigaste strategiska inslagen i kommissionens metod för utvärdering och övervakning fastställdes i de olika rättsakterna för ramprogrammen, som har antagits sedan mitten på 1990-talet.

Sedan kommissionen antog sitt senaste meddelande om forskningsutvärdering under 1996 har kommissionens metoder för att utvärdera ramprogrammen konstant finslipats och omfattande förändringar av utvärderingarna har genomförts.

Under den period som revisionsrätten har reviderat har en större revidering av ramprogrammen gjorts vart fjärde år, de så kallade femårsutvärderingarna.

| iii) | Ramprogrammen genomförs gemensamt av forskningsgeneraldirektoraten, som agerar självständigt och samarbetar vid behov. Kommissionens generaldirektorat, särskilt GD Budget, deltar aktivt i de olika faserna i samband med utvärderingsprocessen.
  Mot bakgrund av att kommissionen har en decentraliserad organisation och att varje vetenskapligt område har sina särskilda egenskaper, måste utvärderingarna förvaltas av de operativa avdelningarna med ansvar för dessa områden.
  Kommissionens interna nätverk för utvärdering av FoTU har visat sig vara mycket användbart vid samordningen.
  Kommissionen instämmer i att panelerna bör spela en viktig roll vid utvärderingarna och den välkomnar revisionsrättens iakttagelse att de institutionella parterna ansåg att dess paneler för femårsutvärderingar och andra större utvärderingar utgjorde en garanti för att kommissionen följde ett tillvägagångssätt som var oberoende under den period som omfattades av revisionen. |
| --- | --- |

iii)

Ramprogrammen genomförs gemensamt av forskningsgeneraldirektoraten, som agerar självständigt och samarbetar vid behov. Kommissionens generaldirektorat, särskilt GD Budget, deltar aktivt i de olika faserna i samband med utvärderingsprocessen.

Mot bakgrund av att kommissionen har en decentraliserad organisation och att varje vetenskapligt område har sina särskilda egenskaper, måste utvärderingarna förvaltas av de operativa avdelningarna med ansvar för dessa områden.

Kommissionens interna nätverk för utvärdering av FoTU har visat sig vara mycket användbart vid samordningen.

Kommissionen instämmer i att panelerna bör spela en viktig roll vid utvärderingarna och den välkomnar revisionsrättens iakttagelse att de institutionella parterna ansåg att dess paneler för femårsutvärderingar och andra större utvärderingar utgjorde en garanti för att kommissionen följde ett tillvägagångssätt som var oberoende under den period som omfattades av revisionen.

| iv) | Möjligheterna att tillhandahålla direkta metodiska riktlinjer vid utvärderingarna begränsas av behovet av att bevara utvärderarnas oberoende. Kommissionen medger att den tidigare har stött på svårigheter vid insamlingen av uppgifter och att man vet mindre om ramprogrammens resultat och påverkan på längre sikt, vilket gäller vid de flesta utvärderingar av offentliga interventioner, både inom forskning och andra områden. |
| --- | --- |

iv)

Möjligheterna att tillhandahålla direkta metodiska riktlinjer vid utvärderingarna begränsas av behovet av att bevara utvärderarnas oberoende. Kommissionen medger att den tidigare har stött på svårigheter vid insamlingen av uppgifter och att man vet mindre om ramprogrammens resultat och påverkan på längre sikt, vilket gäller vid de flesta utvärderingar av offentliga interventioner, både inom forskning och andra områden.

| v) | Tidpunkten för merparten av utvärderingarna anges i den lagstiftning som Europaparlamentet och rådet har antagit för ramprogrammen. På det hela taget anser kommissionen att dess utvärderings- och övervakningssystem av ramprogrammen är effektivt. Europaparlamentet och rådet delade denna åsikt när de antog kommissionens lagförslag för sjunde ramprogrammet under 2006. |
| --- | --- |

v)

Tidpunkten för merparten av utvärderingarna anges i den lagstiftning som Europaparlamentet och rådet har antagit för ramprogrammen. På det hela taget anser kommissionen att dess utvärderings- och övervakningssystem av ramprogrammen är effektivt. Europaparlamentet och rådet delade denna åsikt när de antog kommissionens lagförslag för sjunde ramprogrammet under 2006.

| V. | Mot bakgrund av revisionsrättens rekommendationer påpekar kommissionen följande:






  i) | Den mer uttryckliga interventionslogik som ingår i lagstiftningen för sjunde ramprogrammet (som Europaparlamentet och rådet antog under 2006) som ska förstärka användningen av denna i kommissionens framtida lagstiftningsförslag. Den har dessutom för avsikt att ytterligare klargöra sina operativa målsättningar för sjunde ramprogrammet på arbetsprogramnivå och att utveckla sina metoder för resultatmätningar. |
| --- | --- | --- |

V.

Mot bakgrund av revisionsrättens rekommendationer påpekar kommissionen följande:

i)

Den mer uttryckliga interventionslogik som ingår i lagstiftningen för sjunde ramprogrammet (som Europaparlamentet och rådet antog under 2006) som ska förstärka användningen av denna i kommissionens framtida lagstiftningsförslag. Den har dessutom för avsikt att ytterligare klargöra sina operativa målsättningar för sjunde ramprogrammet på arbetsprogramnivå och att utveckla sina metoder för resultatmätningar.

| ii) | Att den kommer att fortsätta att utveckla sin utvärderingsstrategi för sjunde ramprogrammet på grundval av förslagen i konsekvensbedömningen för sjunde ramprogrammet. Hänsyn kommer att tas för att säkerställa en lämplig flexibilitetsnivå så att varje operativ avdelning kan fastställa sina särskilda utvärderingsbehov. |
| --- | --- |

ii)

Att den kommer att fortsätta att utveckla sin utvärderingsstrategi för sjunde ramprogrammet på grundval av förslagen i konsekvensbedömningen för sjunde ramprogrammet. Hänsyn kommer att tas för att säkerställa en lämplig flexibilitetsnivå så att varje operativ avdelning kan fastställa sina särskilda utvärderingsbehov.

| iii) | Att den samtycker till att överväga andra alternativ för att förbättra samordningen, även om den inte anser det nödvändigt att inrätta ett gemensamt utvärderingskontor.
  Panelerna ska kallas så tidigt som möjligt för att bistå vid en särskild utvärdering. Det är dock mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av ökad tydlighet och fokusering. |
| --- | --- |

iii)

Att den samtycker till att överväga andra alternativ för att förbättra samordningen, även om den inte anser det nödvändigt att inrätta ett gemensamt utvärderingskontor.

Panelerna ska kallas så tidigt som möjligt för att bistå vid en särskild utvärdering. Det är dock mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av ökad tydlighet och fokusering.

| iv) | Att den redan har vidtagit åtgärder för att bättre utnyttja befintliga och nya uppgiftskällor vid sina utvärderingar.
  Rapporteringskraven i samband med sjunde ramprogrammet reviderades delvis på grundval av utvärderings- och övervakningsbehoven.
  Vidare håller kommissionen för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet som ska ge en solidare grund när det gäller uppgifter om projekt.
  Kommissionen kommer att överväga möjligheten att utarbeta en ny handbok om utvärdering av ramprogram, där hänsyn tas till de senaste exemplen. |
| --- | --- |

iv)

Att den redan har vidtagit åtgärder för att bättre utnyttja befintliga och nya uppgiftskällor vid sina utvärderingar.

Rapporteringskraven i samband med sjunde ramprogrammet reviderades delvis på grundval av utvärderings- och övervakningsbehoven.

Vidare håller kommissionen för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet som ska ge en solidare grund när det gäller uppgifter om projekt.

Kommissionen kommer att överväga möjligheten att utarbeta en ny handbok om utvärdering av ramprogram, där hänsyn tas till de senaste exemplen.

| v) | Kommissionen har för avsikt att utveckla och förstärka sin framtida planering av utvärderingarna av sjunde ramprogrammet, som återspeglar möjliga fördelar vad gäller samstämmighet och användning av resultaten. |
| --- | --- |

v)

Kommissionen har för avsikt att utveckla och förstärka sin framtida planering av utvärderingarna av sjunde ramprogrammet, som återspeglar möjliga fördelar vad gäller samstämmighet och användning av resultaten.

| 1–13. | Gemenskapens ramprogram för forskning, teknisk utveckling och demonstration har under de senaste årtiondena utvecklats till ett omfattande, men sammanhängande system av stödmekanismer för forskare i de 27 EU-medlemsstaterna, de associerade länderna och i andra länder.
  Ramprogrammen är idag världens största multinationella finansieringssystem för forskning (se punkt 6 i revisionsrättens text). Vad gäller gemenskapens årliga finansiella bidrag kommer sjunde ramprogrammet att vara ungefär 60 % större än sjätte ramprogrammet (se figur 1 i revisionsrättens text).
  Utvärderingen av en sådan unik ordning är en särskild utmaning för alla aktörer som deltar. Utvärderingsmetoderna har genomgått beydande förändringar under de senaste åren (se figur 2 i revisionsrättens text), senast i samband med lanseringen av sjunde ramprogrammet under 2007 (se t.ex. svaren på punkterna 23, 30, 41, 46, 72, 76–78 och 93). |
| --- | --- |

1–13.

Gemenskapens ramprogram för forskning, teknisk utveckling och demonstration har under de senaste årtiondena utvecklats till ett omfattande, men sammanhängande system av stödmekanismer för forskare i de 27 EU-medlemsstaterna, de associerade länderna och i andra länder.

Ramprogrammen är idag världens största multinationella finansieringssystem för forskning (se punkt 6 i revisionsrättens text). Vad gäller gemenskapens årliga finansiella bidrag kommer sjunde ramprogrammet att vara ungefär 60 % större än sjätte ramprogrammet (se figur 1 i revisionsrättens text).

Utvärderingen av en sådan unik ordning är en särskild utmaning för alla aktörer som deltar. Utvärderingsmetoderna har genomgått beydande förändringar under de senaste åren (se figur 2 i revisionsrättens text), senast i samband med lanseringen av sjunde ramprogrammet under 2007 (se t.ex. svaren på punkterna 23, 30, 41, 46, 72, 76–78 och 93).

| 14. | De generaldirektorat som genomför ramprogrammen för forskning och teknisk utveckling (forskningsgeneraldirektoraten) har formellt uppfyllt kommissionens krav på utvärdering, inbegripet de krav som specificeras i meddelandena om utvärdering från 2000 och 2002 (se punkt 54 i revisionsrättens text). |
| --- | --- |

14.

De generaldirektorat som genomför ramprogrammen för forskning och teknisk utveckling (forskningsgeneraldirektoraten) har formellt uppfyllt kommissionens krav på utvärdering, inbegripet de krav som specificeras i meddelandena om utvärdering från 2000 och 2002 (se punkt 54 i revisionsrättens text).

| 22. | Kommissionen instämmer i att det är viktigt med en sund interventionslogik för programutformningen och delar åsikten att det mandat som specificeras i artikel 163 i fördraget bör utgöra en utgångspunkt i detta avseende. Dessutom är bidraget från de FoTU-verksamheter som kommissionen finansierar för annan gemenskapspolitik och andra gemenskapsmål av stor betydelse. Nyligen presenterades kommissionens syn på vilken roll EU:s investeringar i forskning och teknisk utveckling spelar i detalj i både den förnyade Lissabonstrategin och i strategin för hållbar utveckling (1). |
| --- | --- |

22.

Kommissionen instämmer i att det är viktigt med en sund interventionslogik för programutformningen och delar åsikten att det mandat som specificeras i artikel 163 i fördraget bör utgöra en utgångspunkt i detta avseende. Dessutom är bidraget från de FoTU-verksamheter som kommissionen finansierar för annan gemenskapspolitik och andra gemenskapsmål av stor betydelse. Nyligen presenterades kommissionens syn på vilken roll EU:s investeringar i forskning och teknisk utveckling spelar i detalj i både den förnyade Lissabonstrategin och i strategin för hållbar utveckling (1).

| 23. | Ramprogrammen har alltid baserats på en sund interventionslogik. I sjunde ramprogrammet görs detta mer uttryckligt (2), vilket ytterligare stärker kommissionens utvärderings- och övervakningssystem. |
| --- | --- |

23.

Ramprogrammen har alltid baserats på en sund interventionslogik. I sjunde ramprogrammet görs detta mer uttryckligt (2), vilket ytterligare stärker kommissionens utvärderings- och övervakningssystem.

| 25. | Ett antal länder inklusive vissa medlemsstater håller på att utveckla detta tillvägagångssätt, men det är inte på något sätt ett enhetligt tillvägagångssätt. Erfarenheterna från Förenta staterna och Kanada är inte lika lätta att överföra som erfarenheterna från EU:s medlemsstater. |
| --- | --- |

25.

Ett antal länder inklusive vissa medlemsstater håller på att utveckla detta tillvägagångssätt, men det är inte på något sätt ett enhetligt tillvägagångssätt. Erfarenheterna från Förenta staterna och Kanada är inte lika lätta att överföra som erfarenheterna från EU:s medlemsstater.

| 26. | Kommissionen anser att den har haft ett ändamålsenligt utvärderings- och övervakningssystem under den period som revisionsrätten har reviderat (se också svaret på punkt 23). |
| --- | --- |

26.

Kommissionen anser att den har haft ett ändamålsenligt utvärderings- och övervakningssystem under den period som revisionsrätten har reviderat (se också svaret på punkt 23).

| 28. | Det är en utmaning, särskilt mot bakgrund av den osäkerhet som omgärdar forskningen, att säkerställa att alla mål ska vara specifika, kunna mätas och förverkligas samt vara relevanta och daterade (dvs. passa in i kriterierna för definitionen på SMART). Alla arbetsprogram i sjunde ramprogrammet innehåller en bedömning av förväntade konsekvenser, vilka motsvarar de målsättningar, den motivation och de verksamheter som anges i de särskilda programmen. |
| --- | --- |

28.

Det är en utmaning, särskilt mot bakgrund av den osäkerhet som omgärdar forskningen, att säkerställa att alla mål ska vara specifika, kunna mätas och förverkligas samt vara relevanta och daterade (dvs. passa in i kriterierna för definitionen på SMART). Alla arbetsprogram i sjunde ramprogrammet innehåller en bedömning av förväntade konsekvenser, vilka motsvarar de målsättningar, den motivation och de verksamheter som anges i de särskilda programmen.

| 29. | Det har lagts större vikt vid kortsiktiga resultat under den period som revisionsrätten har granskat, men det finns utrymme för mer långsiktiga analyser. |
| --- | --- |

29.

Det har lagts större vikt vid kortsiktiga resultat under den period som revisionsrätten har granskat, men det finns utrymme för mer långsiktiga analyser.

| 30. | På ramprogramnivå håller kommissionen på att utveckla ett övervakningssystem för sjunde ramprogrammet för att resultatindikatorerna ska användas på ett mer samstämmigt och systematiskt sätt. Flera separata initiativ för utvecklingen av resultatindikatorer håller också på att utarbetas inom de olika generaldirektorat som genomför sjunde ramprogrammet. |
| --- | --- |

30.

På ramprogramnivå håller kommissionen på att utveckla ett övervakningssystem för sjunde ramprogrammet för att resultatindikatorerna ska användas på ett mer samstämmigt och systematiskt sätt. Flera separata initiativ för utvecklingen av resultatindikatorer håller också på att utarbetas inom de olika generaldirektorat som genomför sjunde ramprogrammet.

| 34. | Kommissionen har redan åtagit sig att säkerställa en tydligare interventionslogik för ramprogrammet som bygger på de framsteg som integrerats i lagstiftningen för och konsekvensbedömningen av sjunde ramprogrammet och den kommer att beakta revisionsrättens rekommendationer vid framtida lagstiftningsförslag. |
| --- | --- |

34.

Kommissionen har redan åtagit sig att säkerställa en tydligare interventionslogik för ramprogrammet som bygger på de framsteg som integrerats i lagstiftningen för och konsekvensbedömningen av sjunde ramprogrammet och den kommer att beakta revisionsrättens rekommendationer vid framtida lagstiftningsförslag.

| 35. | Kommissionen välkomnar revisionsrättens rekommendation om att målen för sjunde ramprogrammet bör klargöras ytterligare och den kommer att arbeta, inom ramarna för de relevanta grundläggande rättsakter som Europaparlamentet och rådet antagit, för att uppnå detta. |
| --- | --- |

35.

Kommissionen välkomnar revisionsrättens rekommendation om att målen för sjunde ramprogrammet bör klargöras ytterligare och den kommer att arbeta, inom ramarna för de relevanta grundläggande rättsakter som Europaparlamentet och rådet antagit, för att uppnå detta.

| 36 och 37. | Kommissionen välkomnar revisionsrättens rekommendationer och tar initiativ för den fortsatta utvecklingen av resultatmätning och för ändringen av nomenklaturen för verksamhetsbaserad förvaltning och budgetering. |
| --- | --- |

36 och 37.

Kommissionen välkomnar revisionsrättens rekommendationer och tar initiativ för den fortsatta utvecklingen av resultatmätning och för ändringen av nomenklaturen för verksamhetsbaserad förvaltning och budgetering.

| 38 och 39. | Kommissionen anser att det i dess utvärderingsstrategi för ramprogrammen bör fastställas gemensamma principer för organisationen och utvecklingen vad gäller ramprogrammens utvärdering och övervakning. Strategin ska ge syftet, definiera nyckelkomponenterna i systemet inklusive omfattande förändringar och utarbeta en vision för framtiden. Den bör fortsätta att fokusera på den strategiska nivån mot bakgrund av kommissionens decentraliserade utvärderingssystem för ramprogrammen. |
| --- | --- |

38 och 39.

Kommissionen anser att det i dess utvärderingsstrategi för ramprogrammen bör fastställas gemensamma principer för organisationen och utvecklingen vad gäller ramprogrammens utvärdering och övervakning. Strategin ska ge syftet, definiera nyckelkomponenterna i systemet inklusive omfattande förändringar och utarbeta en vision för framtiden. Den bör fortsätta att fokusera på den strategiska nivån mot bakgrund av kommissionens decentraliserade utvärderingssystem för ramprogrammen.

| 41. | De viktigaste strategiska inslagen i kommissionens metod för utvärdering och övervakning fastställdes i de olika grundläggande rättsakterna för ramprogrammen, som har antagits sedan mitten på 1990-talet (se bilaga II).
  Sedan kommissionen antog sitt meddelande om utvärdering av forskningsverksamheten under 1996 har utvärderingsmetoden genomgått en process med ständiga finslipningar och betydande förändringar av utvärderingen har genomförts (se figur 2 i revisionsrättens text).
  För nuvarande programperiod beskrivs kommissionens planerade utvärderingsstrategi mer explicit i konsekvensbedömningen för sjunde ramprogrammet (SEK(2005) 430). Den omfattar utvärderingssystemets utformning, hur det kommer att genomföras och en detaljerad tidsplan över planerade utvärderingar på ramprogramnivå.
  Det krävs mer arbete för att omsätta denna strategi i specifika planer och kommissionen kommer att använda särskilda samordningsstrukturer för detta ändamål. |
| --- | --- |

41.

De viktigaste strategiska inslagen i kommissionens metod för utvärdering och övervakning fastställdes i de olika grundläggande rättsakterna för ramprogrammen, som har antagits sedan mitten på 1990-talet (se bilaga II).

Sedan kommissionen antog sitt meddelande om utvärdering av forskningsverksamheten under 1996 har utvärderingsmetoden genomgått en process med ständiga finslipningar och betydande förändringar av utvärderingen har genomförts (se figur 2 i revisionsrättens text).

För nuvarande programperiod beskrivs kommissionens planerade utvärderingsstrategi mer explicit i konsekvensbedömningen för sjunde ramprogrammet (SEK(2005) 430). Den omfattar utvärderingssystemets utformning, hur det kommer att genomföras och en detaljerad tidsplan över planerade utvärderingar på ramprogramnivå.

Det krävs mer arbete för att omsätta denna strategi i specifika planer och kommissionen kommer att använda särskilda samordningsstrukturer för detta ändamål.

| 43. | Även om kommissionen instämmer i revisionsrättens iakttagelse noterar kommissionen att situationen i Förenta staterna och Kanada är betydligt mer nyanserad än vad som framgår av de enskilda utvärderingsstrategierna. |
| --- | --- |

43.

Även om kommissionen instämmer i revisionsrättens iakttagelse noterar kommissionen att situationen i Förenta staterna och Kanada är betydligt mer nyanserad än vad som framgår av de enskilda utvärderingsstrategierna.

| 44. | Skillnaderna i användningen av och metoderna för utvärdering av ramprogrammen återspeglar kommissionens decentraliserade system som sammanlänkar utvärdering med beslutsfattande. |
| --- | --- |

44.

Skillnaderna i användningen av och metoderna för utvärdering av ramprogrammen återspeglar kommissionens decentraliserade system som sammanlänkar utvärdering med beslutsfattande.

| 46. | Mot bakgrund av kommissionens decentraliserade organisation måste frågan om vilken nivå som är lämplig vid utvärderingsverksamheten besvaras av de operativa generaldirektoraten med ansvar för genomförandet (se också svaren på punkterna 41 och 49).






  — | (andra strecksatsen) i femårsutvärderingen 2004 (1999–2003), som samordnades av generaldirektoratet för forskning, gavs en utvärdering av ramprogrammet som helhet. Beslutet om huruvida man skulle genomföra separata utvärderingar på programnivå återspeglade behoven i de deltagande generaldirektoraten och de olika verksamheternas förhållanden och omfattning. |
| --- | --- | --- |

46.

Mot bakgrund av kommissionens decentraliserade organisation måste frågan om vilken nivå som är lämplig vid utvärderingsverksamheten besvaras av de operativa generaldirektoraten med ansvar för genomförandet (se också svaren på punkterna 41 och 49).

—

(andra strecksatsen) i femårsutvärderingen 2004 (1999–2003), som samordnades av generaldirektoratet för forskning, gavs en utvärdering av ramprogrammet som helhet. Beslutet om huruvida man skulle genomföra separata utvärderingar på programnivå återspeglade behoven i de deltagande generaldirektoraten och de olika verksamheternas förhållanden och omfattning.

| 47. | Femårsutvärderingen 2004 gav en samordnad, omfattande utvärdering i rätt tid av ramprogrammet som helhet i enlighet med budgetförordningen. Den utfördes av särskilda externa experter och resultaten spreds i vida kretsar. |
| --- | --- |

47.

Femårsutvärderingen 2004 gav en samordnad, omfattande utvärdering i rätt tid av ramprogrammet som helhet i enlighet med budgetförordningen. Den utfördes av särskilda externa experter och resultaten spreds i vida kretsar.

| 48. | Se svaren på punkterna 41 och 46. |
| --- | --- |

48.

Se svaren på punkterna 41 och 46.

| 49. | För nuvarande programperiod beskrivs kommissionens planerade utvärderingsstrategi i konsekvensbedömningen för sjunde ramprogrammet (SEK(2005) 430). Den omfattar utvärderingssystemets utformning, hur det kommer att genomföras och en detaljerad tidsplan över planerade utvärderingar på ramprogramnivå.
  Kommissionen medger att det krävs mer arbete för att omsätta denna strategi i specifika planer och den kommer att använda särskilda samordningsstrukturer för detta ändamål.
  Kommissionen bedömer dock att det inte alltid kan fastställas minimikrav för när en detaljerad utvärdering ska genomföras, då ledningen behöver behålla tillräcklig flexibilitet för att fastställa lämpliga utvärderingsbehov. |
| --- | --- |

49.

För nuvarande programperiod beskrivs kommissionens planerade utvärderingsstrategi i konsekvensbedömningen för sjunde ramprogrammet (SEK(2005) 430). Den omfattar utvärderingssystemets utformning, hur det kommer att genomföras och en detaljerad tidsplan över planerade utvärderingar på ramprogramnivå.

Kommissionen medger att det krävs mer arbete för att omsätta denna strategi i specifika planer och den kommer att använda särskilda samordningsstrukturer för detta ändamål.

Kommissionen bedömer dock att det inte alltid kan fastställas minimikrav för när en detaljerad utvärdering ska genomföras, då ledningen behöver behålla tillräcklig flexibilitet för att fastställa lämpliga utvärderingsbehov.

| 51. | Ramprogrammen genomförs gemensamt av ”forskningsgeneraldirektoraten”, vilka agerar självständigt och samarbetar vid behov. |
| --- | --- |

51.

Ramprogrammen genomförs gemensamt av ”forskningsgeneraldirektoraten”, vilka agerar självständigt och samarbetar vid behov.

| 52. | EuropeAid har operativt ansvar och förvaltningsansvar som det utövar i samarbete med kommissionens delegationer och genomförandeorgan i tredjeländer. Det gör det svårt att se denna del av kommissionen som ett exempel då den inte är jämförbar med det decentraliserade systemet vad gäller ansvar och uppgifter inom forskningsområdet. |
| --- | --- |

52.

EuropeAid har operativt ansvar och förvaltningsansvar som det utövar i samarbete med kommissionens delegationer och genomförandeorgan i tredjeländer. Det gör det svårt att se denna del av kommissionen som ett exempel då den inte är jämförbar med det decentraliserade systemet vad gäller ansvar och uppgifter inom forskningsområdet.

| 53. | Kommissionens interna nätverk för utvärdering av FoTU ser till att det sker ett informellt kunskapsutbyte för utvecklingen av en utvärderingsstrategi och för samordningen av utvärderingarna av ramprogrammen. Denna flexibla mekanism har visat sig vara mycket användbar. |
| --- | --- |

53.

Kommissionens interna nätverk för utvärdering av FoTU ser till att det sker ett informellt kunskapsutbyte för utvecklingen av en utvärderingsstrategi och för samordningen av utvärderingarna av ramprogrammen. Denna flexibla mekanism har visat sig vara mycket användbar.

| 55. | Den revision som nyligen genomfördes av kommissionens internkontroll, som antogs den 16 oktober 2007 (SEK(2007) 1341) omfattar 21 utvärderingsnormer och uppfyllandet av dessa normer kommer därför att inkluderas i generaldirektoratens årliga verksamhetsrapporter.
  Kommissionens generaldirektorat, särskilt GD Budget, deltar aktivt i de olika faserna i utvärderingsprocessen.
  Generaldirektoratens utvärderingsverksamheter kan revideras av den interna revisionsfunktionen och den interna revisionstjänsten.
  I framtiden kommer man vid bedömningen av minimikvalitetskraven att använda kommissionens nyligen utvecklade ramar för kvalitetsbedömning (3). Sedan 2007 har kvalitetskontrollen för prospektiv konsekvensbedömning biståtts av kommissionens konsekvensbedömningsnämnd. |
| --- | --- |

55.

Den revision som nyligen genomfördes av kommissionens internkontroll, som antogs den 16 oktober 2007 (SEK(2007) 1341) omfattar 21 utvärderingsnormer och uppfyllandet av dessa normer kommer därför att inkluderas i generaldirektoratens årliga verksamhetsrapporter.

Kommissionens generaldirektorat, särskilt GD Budget, deltar aktivt i de olika faserna i utvärderingsprocessen.

Generaldirektoratens utvärderingsverksamheter kan revideras av den interna revisionsfunktionen och den interna revisionstjänsten.

I framtiden kommer man vid bedömningen av minimikvalitetskraven att använda kommissionens nyligen utvecklade ramar för kvalitetsbedömning (3). Sedan 2007 har kvalitetskontrollen för prospektiv konsekvensbedömning biståtts av kommissionens konsekvensbedömningsnämnd.

| 56. | Den jämförelse som lämnas i bilaga III omfattar den period som revisionsrätten har granskat. Den tar därför inte hänsyn till de betydande förbättringarna i sjunde ramprogrammet, särskilt vad gäller en ny utvärderingsstrategi, en mer uttrycklig interventionslogik och tydliga redogörelser av förväntade resultat i arbetsprogrammen.
  Revisionsrätten lyfter fram vissa medlemsstater där ansvaret för utvärdering och finansiering separeras. Det finns också andra exempel (exempelvis Förenade kungariket) där utvärderingen ingår i programförvaltningen (vilket är fallet inom kommissionen). Vad gäller nyckelfrågan om oberoende har revisionsrättens revision visat att externa parter är nöjda med kommissionens resultat på denna punkt (se punkt 58 och figur 4 i revisionsrättens text). |
| --- | --- |

56.

Den jämförelse som lämnas i bilaga III omfattar den period som revisionsrätten har granskat. Den tar därför inte hänsyn till de betydande förbättringarna i sjunde ramprogrammet, särskilt vad gäller en ny utvärderingsstrategi, en mer uttrycklig interventionslogik och tydliga redogörelser av förväntade resultat i arbetsprogrammen.

Revisionsrätten lyfter fram vissa medlemsstater där ansvaret för utvärdering och finansiering separeras. Det finns också andra exempel (exempelvis Förenade kungariket) där utvärderingen ingår i programförvaltningen (vilket är fallet inom kommissionen). Vad gäller nyckelfrågan om oberoende har revisionsrättens revision visat att externa parter är nöjda med kommissionens resultat på denna punkt (se punkt 58 och figur 4 i revisionsrättens text).

| 59. | — | (första strecksatsen) Det är svårt att säkerställa ett lämpligt deltagande av panelledamöter på hög nivå under längre tidsperioder. |
| --- | --- | --- |

59.

—

(första strecksatsen) Det är svårt att säkerställa ett lämpligt deltagande av panelledamöter på hög nivå under längre tidsperioder.

| — | (andra strecksatsen) Ramprogrampanelernas mandat fastställs genom kommissionsbeslut efter omfattande informella samråd med parterna, inklusive ett formellt yttrande från sjunde ramprogrammets kommittéer som består av företrädare från medlemsstaterna och de associerade länderna. Det kommer också att vara fallet vid den kommande efterhandsutvärderingen av sjätte ramprogrammet under 2008. |
| --- | --- |

—

(andra strecksatsen) Ramprogrampanelernas mandat fastställs genom kommissionsbeslut efter omfattande informella samråd med parterna, inklusive ett formellt yttrande från sjunde ramprogrammets kommittéer som består av företrädare från medlemsstaterna och de associerade länderna. Det kommer också att vara fallet vid den kommande efterhandsutvärderingen av sjätte ramprogrammet under 2008.

| 62. | Kommissionen rekommenderar att i genomsnitt ska 0,5 % av budgeten för ett program avsättas för utvärdering. De resurser som faktiskt avsätts beror i stor utsträckning på programmets art. |
| --- | --- |

62.

Kommissionen rekommenderar att i genomsnitt ska 0,5 % av budgeten för ett program avsättas för utvärdering. De resurser som faktiskt avsätts beror i stor utsträckning på programmets art.

| 66. | Kommissionen samtycker till att överväga andra alternativ för att förbättra samordningen, även om den inte anser det nödvändigt att inrätta ett gemensamt utvärderingskontor.
  Det bästa sättet att sammanlänka utvärdering och beslutsfattande är genom de utvärderingsfunktioner som finns i varje generaldirektorat och genom att låta kommissionens befintliga interna nätverk för utvärdering av FoTU spela en mer aktiv roll med stöd från generaldirektoraten. Det ligger också i linje med lagstiftnings- och budgetprocesserna, som krävs enligt budgetförordningen, kommissionens meddelande om utvärdering från 2007 och förfarandena i samband med den verksamhetsbaserade förvaltningen. |
| --- | --- |

66.

Kommissionen samtycker till att överväga andra alternativ för att förbättra samordningen, även om den inte anser det nödvändigt att inrätta ett gemensamt utvärderingskontor.

Det bästa sättet att sammanlänka utvärdering och beslutsfattande är genom de utvärderingsfunktioner som finns i varje generaldirektorat och genom att låta kommissionens befintliga interna nätverk för utvärdering av FoTU spela en mer aktiv roll med stöd från generaldirektoraten. Det ligger också i linje med lagstiftnings- och budgetprocesserna, som krävs enligt budgetförordningen, kommissionens meddelande om utvärdering från 2007 och förfarandena i samband med den verksamhetsbaserade förvaltningen.

| 67. | Kommissionen instämmer i att panelerna kan spela en viktig roll vid utvärderingarna. Kommissionen instämmer också i att panelerna ska kallas så tidigt som möjligt för att stödja en särskild utvärdering, men den anser det inte lämpligt att inrätta permanenta paneler under hela programperioden.
  Det är mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av tydlighet och fokusering. |
| --- | --- |

67.

Kommissionen instämmer i att panelerna kan spela en viktig roll vid utvärderingarna. Kommissionen instämmer också i att panelerna ska kallas så tidigt som möjligt för att stödja en särskild utvärdering, men den anser det inte lämpligt att inrätta permanenta paneler under hela programperioden.

Det är mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av tydlighet och fokusering.

| 68. | Kommissionen kommer att noggrant bedöma behoven av resurser för att genomföra utvärderingen av ramprogrammen under de kommande åren. |
| --- | --- |

68.

Kommissionen kommer att noggrant bedöma behoven av resurser för att genomföra utvärderingen av ramprogrammen under de kommande åren.

| 70 och 71. | Metodguider för utvärdering, inbegripet de verktyg som finns tillgängliga och ordlistor, ges i GD Budgets handledning (4) som generaldirektoraten, också forskningsgeneraldirektoraten, för närvarande håller på att uppdatera.
  En särskild handledning vid utvärderingar utvecklades av GD Näringsliv under 2002, som omfattade alla verksamheter för vilka detta GD är ansvarigt, inklusive ramprogrammen.
  Eventuellt kan ytterligare stödinitiativ komma att övervägas för en ny lansering av det europeiska nätverket för utvärdering av FoTU (som består av experter från medlemsstaterna och de associerade länderna) och kommissionens interna nätverk för utvärdering av FoTU. Kommissionen kommer också att fortsätta att stödja oberoende undersökningar av utvärderingsmetodik och -seminarier. |
| --- | --- |

70 och 71.

Metodguider för utvärdering, inbegripet de verktyg som finns tillgängliga och ordlistor, ges i GD Budgets handledning (4) som generaldirektoraten, också forskningsgeneraldirektoraten, för närvarande håller på att uppdatera.

En särskild handledning vid utvärderingar utvecklades av GD Näringsliv under 2002, som omfattade alla verksamheter för vilka detta GD är ansvarigt, inklusive ramprogrammen.

Eventuellt kan ytterligare stödinitiativ komma att övervägas för en ny lansering av det europeiska nätverket för utvärdering av FoTU (som består av experter från medlemsstaterna och de associerade länderna) och kommissionens interna nätverk för utvärdering av FoTU. Kommissionen kommer också att fortsätta att stödja oberoende undersökningar av utvärderingsmetodik och -seminarier.

| 72. | Kommissionen instämmer i att processen för rutininsamling av projektuppgifter bara delvis har varit effektiv. Förfarandena för rapportering av projekten reviderades under sjätte ramprogrammet och kommer att förbättras ytterligare under sjunde ramprogrammet (t.ex. kommer den periodiskt återkommande rapporteringen att förenklas, de interimistiska frågeformulären har avskaffats, slutrapporteringen kommer att bli mer användbar, särskilt med avseende på insamlingen av uppgifter om projektgenomförande och projektresultat). |
| --- | --- |

72.

Kommissionen instämmer i att processen för rutininsamling av projektuppgifter bara delvis har varit effektiv. Förfarandena för rapportering av projekten reviderades under sjätte ramprogrammet och kommer att förbättras ytterligare under sjunde ramprogrammet (t.ex. kommer den periodiskt återkommande rapporteringen att förenklas, de interimistiska frågeformulären har avskaffats, slutrapporteringen kommer att bli mer användbar, särskilt med avseende på insamlingen av uppgifter om projektgenomförande och projektresultat).

| 74. | Forskningsgeneraldirektoraten håller för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet med stöd från GD Informationsteknik. Ett sådant ökat IT-stöd är avsett att ge en solidare grund för utvärdering och övervakning. |
| --- | --- |

74.

Forskningsgeneraldirektoraten håller för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet med stöd från GD Informationsteknik. Ett sådant ökat IT-stöd är avsett att ge en solidare grund för utvärdering och övervakning.

| 76–78. | Inhämtningen av utvärderingsuppgifter var bara delvis effektiv under den period som omfattas av revisionen. Kommissionen håller på att genomföra förbättringar i sjunde ramprogrammet (se svaret på punkt 72). |
| --- | --- |

76–78.

Inhämtningen av utvärderingsuppgifter var bara delvis effektiv under den period som omfattas av revisionen. Kommissionen håller på att genomföra förbättringar i sjunde ramprogrammet (se svaret på punkt 72).

| 79. | Kommissionen har för avsikt att uppmuntra den typ av kvantitativa studier som revisionsrätten föreslår. |
| --- | --- |

79.

Kommissionen har för avsikt att uppmuntra den typ av kvantitativa studier som revisionsrätten föreslår.

| 81. | Enligt kommissionen har många metodiskt mer intressanta utvärderingar nyligen genomförts (se punkt 84) och en åtskillnad bör göras mellan storskaliga utvärderingar och mer rutinmässiga utvärderingar. |
| --- | --- |

81.

Enligt kommissionen har många metodiskt mer intressanta utvärderingar nyligen genomförts (se punkt 84) och en åtskillnad bör göras mellan storskaliga utvärderingar och mer rutinmässiga utvärderingar.

| 82. | Kommissionen medger att man vid utvärderingsarbetet i allmänhet har gett mer uppmärksamhet åt resultaten på kort sikt och instämmer i att det finns utrymme för mer analys vad gäller resultat och påverkan. En sådan metod kräver dock ett mer långsiktigt perspektiv och kommissionens utvärderingar kan därför jämföras med motsvarande arbete på andra ställen. |
| --- | --- |

82.

Kommissionen medger att man vid utvärderingsarbetet i allmänhet har gett mer uppmärksamhet åt resultaten på kort sikt och instämmer i att det finns utrymme för mer analys vad gäller resultat och påverkan. En sådan metod kräver dock ett mer långsiktigt perspektiv och kommissionens utvärderingar kan därför jämföras med motsvarande arbete på andra ställen.

| 83. | Kommissionen strävar efter att respektera utvärderingsexperternas oberoende, särskilt vad gäller valet av lämpliga metoder.
  För den kommande efterhandsutvärderingen av sjätte ramprogrammet under 2008 föreslås det att man genomför undersökningar av beteendemodeller, nätverksanalys och användningen av scientometriska modeller. |
| --- | --- |

83.

Kommissionen strävar efter att respektera utvärderingsexperternas oberoende, särskilt vad gäller valet av lämpliga metoder.

För den kommande efterhandsutvärderingen av sjätte ramprogrammet under 2008 föreslås det att man genomför undersökningar av beteendemodeller, nätverksanalys och användningen av scientometriska modeller.

| 84. | En metaanalys av tidigare utvärderingsstudier genomfördes av en oberoende expert för femårsutvärderingen 2004 (1999–2003) (5).






  — | (andra strecksatsen) Utöver de undersökningar som revisionsrätten hänvisar till har ytterligare större undersökningar lanserats under 2007 (6). |
| --- | --- | --- |

84.

En metaanalys av tidigare utvärderingsstudier genomfördes av en oberoende expert för femårsutvärderingen 2004 (1999–2003) (5).

—

(andra strecksatsen) Utöver de undersökningar som revisionsrätten hänvisar till har ytterligare större undersökningar lanserats under 2007 (6).

| 85. | Kommissionen instämmer i att det finns ett fortsatt behov av att utveckla nya metoder för att lösa problemet med att ramprogrammen ändrar karaktär. Kommisssionen stödjer och kommer att fortsätta att stödja denna metodutveckling. |
| --- | --- |

85.

Kommissionen instämmer i att det finns ett fortsatt behov av att utveckla nya metoder för att lösa problemet med att ramprogrammen ändrar karaktär. Kommisssionen stödjer och kommer att fortsätta att stödja denna metodutveckling.

| 86. | Då de frågor som togs upp i mandatet för femårsutvärderingen 2004 (1999–2003) bara var vägledande kunde panelen fritt välja vilka områden den ville fokusera sig på och fastställa sina arbetsmetoder. Panelledamöterna har kommenterat den höga kompetens som fanns vid utvärderingen (7). |
| --- | --- |

86.

Då de frågor som togs upp i mandatet för femårsutvärderingen 2004 (1999–2003) bara var vägledande kunde panelen fritt välja vilka områden den ville fokusera sig på och fastställa sina arbetsmetoder. Panelledamöterna har kommenterat den höga kompetens som fanns vid utvärderingen (7).

| 87. | Själva arten på ett forskningsprogram, som präglas av osäkerhet, innebär att det finns gränser för i vilken utsträckning kvantifierbara mål kan specificeras. |
| --- | --- |

87.

Själva arten på ett forskningsprogram, som präglas av osäkerhet, innebär att det finns gränser för i vilken utsträckning kvantifierbara mål kan specificeras.

| 90. | Under 2007 lanserade kommissionen på nytt sitt europeiska nätverk för utvärdering av FoTU, som består av tjänstemän från medlemsstaterna och utvärderingsexperter och som den planerar att använda för att främja en ökad samstämmighet vid EU:s utvärdering av forskningsverksamhet, särskilt konsekvensbedömningar på medlemsstatsnivå. |
| --- | --- |

90.

Under 2007 lanserade kommissionen på nytt sitt europeiska nätverk för utvärdering av FoTU, som består av tjänstemän från medlemsstaterna och utvärderingsexperter och som den planerar att använda för att främja en ökad samstämmighet vid EU:s utvärdering av forskningsverksamhet, särskilt konsekvensbedömningar på medlemsstatsnivå.

| 91. | Kommissionen kommer att överväga möjligheten att utarbeta en ny handbok om utvärdering av ramprogram, där hänsyn tas till de senaste exemplen (8). |
| --- | --- |

91.

Kommissionen kommer att överväga möjligheten att utarbeta en ny handbok om utvärdering av ramprogram, där hänsyn tas till de senaste exemplen (8).

| 92. | Förfarandena för rapportering av projekten reviderades under sjätte ramprogrammet och kommer att förbättras ytterligare under sjunde ramprogrammet (se svaret på punkt 72). |
| --- | --- |

92.

Förfarandena för rapportering av projekten reviderades under sjätte ramprogrammet och kommer att förbättras ytterligare under sjunde ramprogrammet (se svaret på punkt 72).

| 93. | På ramprogramnivå håller ett övervakningssystem för närvarande på att utvecklas av kommissionen för sjunde ramprogrammet som syftar till att ge en mer samstämmig och systematisk användning av resultatindikatorerna (se svaret på punkt 30).
  Forskningsgeneraldirektoraten håller för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet med stöd från GD Informationsteknik. Ett sådant ökat IT-stöd är avsett att ge en solidare grund för utvärdering och övervakning. |
| --- | --- |

93.

På ramprogramnivå håller ett övervakningssystem för närvarande på att utvecklas av kommissionen för sjunde ramprogrammet som syftar till att ge en mer samstämmig och systematisk användning av resultatindikatorerna (se svaret på punkt 30).

Forskningsgeneraldirektoraten håller för närvarande på att utveckla ett nytt IT-system för sjunde ramprogrammet med stöd från GD Informationsteknik. Ett sådant ökat IT-stöd är avsett att ge en solidare grund för utvärdering och övervakning.

| 94. | Kommissionen är enig med revisionsrätten vad gäller problemet med rapporteringsbördan och tog särskild hänsyn till det när den fastställde rapporteringskraven för sjunde ramprogrammet (se svaret på punkt 72). |
| --- | --- |

94.

Kommissionen är enig med revisionsrätten vad gäller problemet med rapporteringsbördan och tog särskild hänsyn till det när den fastställde rapporteringskraven för sjunde ramprogrammet (se svaret på punkt 72).

| 95. | Kommissionen är för närvarande engagerad i att försöka utnyttja befintliga och nya uppgiftskällor för utvärdering och övervakning (se svaret på punkt 72). |
| --- | --- |

95.

Kommissionen är för närvarande engagerad i att försöka utnyttja befintliga och nya uppgiftskällor för utvärdering och övervakning (se svaret på punkt 72).

| 96. | I sjunde ramprogrammet finns ett särskilt åtgärdsområde under ämnesområde 8 (samhällsvetenskap och humaniora) för att behandla innovativa metoder i samband med utvärdering och övervakning. |
| --- | --- |

96.

I sjunde ramprogrammet finns ett särskilt åtgärdsområde under ämnesområde 8 (samhällsvetenskap och humaniora) för att behandla innovativa metoder i samband med utvärdering och övervakning.

| 97. | Under 2007 lanserade kommissionen på nytt sitt europeiska nätverk för utvärdering av FoTU (se svaren på punkterna 70, 71 och 90), som den planerar att använda för att främja en ökad samstämmighet inom EU:s utvärdering av forskningsverksamhet, särskilt medlemsstaternas konsekvensbedömningar.
  Kommissionen har också för avsikt att bevara sin ledande ställning vad gäller stöd till internationellt nätverkssamarbete och utbyte av utvärderingspraxis inom forskning genom seminarier och andra evenemang. |
| --- | --- |

97.

Under 2007 lanserade kommissionen på nytt sitt europeiska nätverk för utvärdering av FoTU (se svaren på punkterna 70, 71 och 90), som den planerar att använda för att främja en ökad samstämmighet inom EU:s utvärdering av forskningsverksamhet, särskilt medlemsstaternas konsekvensbedömningar.

Kommissionen har också för avsikt att bevara sin ledande ställning vad gäller stöd till internationellt nätverkssamarbete och utbyte av utvärderingspraxis inom forskning genom seminarier och andra evenemang.

| 99. | Tidpunkten för utvärderingarna fastställs genom de krav som anges i de grundläggande rättsakter som antagits av Europaparlamentet och rådet. Kommissionen medger att man inte känner till de långsiktiga effekterna och instämmer i att det finns utrymme för mer arbete på detta område. |
| --- | --- |

99.

Tidpunkten för utvärderingarna fastställs genom de krav som anges i de grundläggande rättsakter som antagits av Europaparlamentet och rådet. Kommissionen medger att man inte känner till de långsiktiga effekterna och instämmer i att det finns utrymme för mer arbete på detta område.

| 100. | Kommissionen instämmer i att femårsutvärderingen fokuserade mer på en kortsiktig än på en långsiktig utvärdering. Det beror på ett flertal faktorer som externa parters intressen, som Europaparlamentet och rådet, snabb återkoppling om ramprogrammens resultat, problemen med att fastställa om resultaten kan tillskrivas forskningen på längre sikt och det fokus som de oberoende panelerna som genomför utvärderingarna har valt. Kommissionen medger dock att det bör läggas större vikt vid bedömningen av de mer långsiktiga effekterna. |
| --- | --- |

100.

Kommissionen instämmer i att femårsutvärderingen fokuserade mer på en kortsiktig än på en långsiktig utvärdering. Det beror på ett flertal faktorer som externa parters intressen, som Europaparlamentet och rådet, snabb återkoppling om ramprogrammens resultat, problemen med att fastställa om resultaten kan tillskrivas forskningen på längre sikt och det fokus som de oberoende panelerna som genomför utvärderingarna har valt. Kommissionen medger dock att det bör läggas större vikt vid bedömningen av de mer långsiktiga effekterna.

| 108. | Kommissionen håller på att planera de viktigaste utvärderingarna i sjunde ramprogrammet och kommer noggrant att överväga revisionsrättens rekommendation. Kommissionen medger att man inte känner till de långsiktiga effekterna och instämmer i att det finns utrymme för mer arbete på detta område. |
| --- | --- |

108.

Kommissionen håller på att planera de viktigaste utvärderingarna i sjunde ramprogrammet och kommer noggrant att överväga revisionsrättens rekommendation. Kommissionen medger att man inte känner till de långsiktiga effekterna och instämmer i att det finns utrymme för mer arbete på detta område.

| 109. | Revisionsrätten noterar i punkt 107 att kommissionen sammanfattar alla resultat och åtgärder som vidtagits för utvärdering av forskning i sin årliga utvärderingsöversikt. Kommissionen har förpliktigat sig att skapa full öppenhet kring sitt utvärderingsarbete och kommer att följa revisionsrättens rekommendation att se över de medel som används för att meddela och sprida resultaten. |
| --- | --- |

109.

Revisionsrätten noterar i punkt 107 att kommissionen sammanfattar alla resultat och åtgärder som vidtagits för utvärdering av forskning i sin årliga utvärderingsöversikt. Kommissionen har förpliktigat sig att skapa full öppenhet kring sitt utvärderingsarbete och kommer att följa revisionsrättens rekommendation att se över de medel som används för att meddela och sprida resultaten.

| 110 och 111. | Kommissionen är enig med revisionsrätten om att utvärdering av forskningsverksamhet, särskilt för ett program som är så omfattande som ramprogrammet, är en stor utmaning.
  Den påpekar att stora förbättringar av systemet har genomförts under de senaste 25 åren och att systemet generellt har varit ändamålsenligt för de politiska beslutsfattarna, forskningsledarna och andra parter. |
| --- | --- |

110 och 111.

Kommissionen är enig med revisionsrätten om att utvärdering av forskningsverksamhet, särskilt för ett program som är så omfattande som ramprogrammet, är en stor utmaning.

Den påpekar att stora förbättringar av systemet har genomförts under de senaste 25 åren och att systemet generellt har varit ändamålsenligt för de politiska beslutsfattarna, forskningsledarna och andra parter.

| 112. | Kommissionen välkomnar revisionsrättens iakttagelse om att de generaldirektorat som genomför ramprogrammen har uppfyllt kommissionens krav, också de som specificeras i meddelandena om utvärdering från 2000 och 2002.
  Det har genomförts betydande förändringar vid utvärderingen av ramprogrammen, inklusive en större omstrukturering av sjunde ramprogrammet, som anges i den strategi som ingår i konsekvensbedömningen (SEK(2005) 430). |
| --- | --- |

112.

Kommissionen välkomnar revisionsrättens iakttagelse om att de generaldirektorat som genomför ramprogrammen har uppfyllt kommissionens krav, också de som specificeras i meddelandena om utvärdering från 2000 och 2002.

Det har genomförts betydande förändringar vid utvärderingen av ramprogrammen, inklusive en större omstrukturering av sjunde ramprogrammet, som anges i den strategi som ingår i konsekvensbedömningen (SEK(2005) 430).

| 113. | Beträffande relevansen och nyttan av utvärderingarna kan kommissionen peka på den generellt positiva återkoppling den har fått, särskilt i samband med viktiga utvärderingar som femårsutvärderingen 2004 (1999–2003). Resultaten av femårsutvärderingen spreds i vida kretsar, de lades bland annat fram för viktiga organ som Europaparlamentet, rådet, Crest och programkommittén för ramprogrammen. Eftersom det var ett obligatoriskt krav att utvärderingen skulle genomföras innan kommissionen lade fram förslaget om ett nytt ramprogram (i detta fall sjunde ramprogrammet) visade det slutliga antagandet av sjunde ramprogrammet att utvärderingen generellt var godtagbar.
  Det betyder inte att det inte kan göras förbättringar och kommissionen medger helt att det är nödvändigt att genomföra noggrant övervägda ändringar som bygger på inslagen i den nuvarande metoden, som redan fungerar väl. |
| --- | --- |

113.

Beträffande relevansen och nyttan av utvärderingarna kan kommissionen peka på den generellt positiva återkoppling den har fått, särskilt i samband med viktiga utvärderingar som femårsutvärderingen 2004 (1999–2003). Resultaten av femårsutvärderingen spreds i vida kretsar, de lades bland annat fram för viktiga organ som Europaparlamentet, rådet, Crest och programkommittén för ramprogrammen. Eftersom det var ett obligatoriskt krav att utvärderingen skulle genomföras innan kommissionen lade fram förslaget om ett nytt ramprogram (i detta fall sjunde ramprogrammet) visade det slutliga antagandet av sjunde ramprogrammet att utvärderingen generellt var godtagbar.

Det betyder inte att det inte kan göras förbättringar och kommissionen medger helt att det är nödvändigt att genomföra noggrant övervägda ändringar som bygger på inslagen i den nuvarande metoden, som redan fungerar väl.

| 114. | Kommissionen välkomnar revisionsrättens erkännande av betydelsen av utvärdering och övervakning och den kommer, på grundval av de betydande förbättringar som redan gjorts, att fortsätta att uppdatera sin nuvarande praxis mot bakgrund av de nya politiska och praktiska förhållandena. |
| --- | --- |

114.

Kommissionen välkomnar revisionsrättens erkännande av betydelsen av utvärdering och övervakning och den kommer, på grundval av de betydande förbättringar som redan gjorts, att fortsätta att uppdatera sin nuvarande praxis mot bakgrund av de nya politiska och praktiska förhållandena.

| 115. | Kommissionen har redan förpliktigat sig att säkerställa ökad klarhet i programmens interventionslogik, som bygger på de framsteg som är integrerade i lagstiftningen för sjunde ramprogrammet och konsekvensbedömningarna och den kommer att beakta revisionsrättens rekommendationer i samband med framtida lagstiftningsförslag. |
| --- | --- |

115.

Kommissionen har redan förpliktigat sig att säkerställa ökad klarhet i programmens interventionslogik, som bygger på de framsteg som är integrerade i lagstiftningen för sjunde ramprogrammet och konsekvensbedömningarna och den kommer att beakta revisionsrättens rekommendationer i samband med framtida lagstiftningsförslag.

| 116. | Kommissionen instämmer i att det, med utgångspunkt i de betydande förbättringar som redan gjorts vid utvärderingen av ramprogrammen, fortfarande finns utrymme för förbättringar, inklusive ett närmare samarbete på ett operativt plan mellan de berörda generaldirektoraten. Kommissionen kommer att fortsätta sina insatser för att stödja utvecklingen av utvärderingsmetodiken. |
| --- | --- |

116.

Kommissionen instämmer i att det, med utgångspunkt i de betydande förbättringar som redan gjorts vid utvärderingen av ramprogrammen, fortfarande finns utrymme för förbättringar, inklusive ett närmare samarbete på ett operativt plan mellan de berörda generaldirektoraten. Kommissionen kommer att fortsätta sina insatser för att stödja utvecklingen av utvärderingsmetodiken.

| 117. | Beträffande de organisatoriska arrangemangen anser kommissionen följande:






  — | (första strecksatsen) Panelerna ska kallas så tidigt som möjligt för att bistå vid en särskild utvärdering. Det är mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av ökad tydlighet och fokusering. |
| --- | --- | --- |

117.

Beträffande de organisatoriska arrangemangen anser kommissionen följande:

—

(första strecksatsen) Panelerna ska kallas så tidigt som möjligt för att bistå vid en särskild utvärdering. Det är mer sannolikt att specifika paneler som kallas för särskilda ändamål ger resultat i form av ökad tydlighet och fokusering.

| — | (andra strecksatsen) Samordningen mellan de generaldirektorat som genomför ramprogrammen ska stärkas. Utöver den nya utvärderingsstrategin för sjunde ramprogrammet kommer detta att uppnås genom användningen av särskilda samordningsstrukturer som ska komplettera kommissionens interna nätverk för utvärdering av FoTU istället för att inrätta ett gemensamt utvärderingskontor. |
| --- | --- |

—

(andra strecksatsen) Samordningen mellan de generaldirektorat som genomför ramprogrammen ska stärkas. Utöver den nya utvärderingsstrategin för sjunde ramprogrammet kommer detta att uppnås genom användningen av särskilda samordningsstrukturer som ska komplettera kommissionens interna nätverk för utvärdering av FoTU istället för att inrätta ett gemensamt utvärderingskontor.

---

(1)  Meddelande från kommissonen inför Europeiska rådets vårmöte – Genomförandet av den förnyade Lissabonstrategin för tillväxt och sysselsättning (KOM(2006) 816).

(2)  Exempelvis utvecklades kommissionens förslag till sjunde ramprogrammet på grundval av en detaljerad konsekvensbedömning, som inkluderade ekonometriska modeller av forskningsverksamhetens potentiella påverkan på frågor som ekonomisk tillväxt och sysselsättning (se Europeiska kommissionen, kommissionens arbetsdokument Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom), SEK(2005) 430). Besluten om sjunde ramprogrammet ger en klar struktur som kopplar ihop målsättningar, motivering och verksamheter. Vidare anges i besluten om sjunde ramprogrammet målsättningar, strategier och verksamheter.

(3)  Kvalitetsbedömningen finns på följande adress: http://ec.europa.eu/budget/documents/evaluation_en.htm

(4)  Europeiska kommissionen, GD Budget, Evaluating EU Activities – A Practical Guide for the Commission services, juli 2004, finns på följande adress: http://ec.europa.eu/budget/publications/other_en.htm

(5)  E. Arnold, ”What the Evaluation Record tells us about the Framework Programme Performance”, 2004.

(6)  GD Forskning, ”Structuring Effects of Community Research – The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation”, 2007. DG Informationssamhället och medier ”Effectiveness of IST-RTD Impacts on the EU Innovation System”, 2007.

(7)  Se C. Mandl, ”Evaluating Evaluations or The Case for Action Research”, Austrian Platform Newsletter, nr 30, juni 2007.

(8)  Se t.ex. Europeiska kommissionen, gemensamma forskningscentret, ”Assessing the Socio-Economic Impact of RTD-Policies” (EPUB), 2002, och University of Manchester, ”Assessing the Socio-economic Impacts of the Framework Programme” (ASIF), 2002, som båda finns tillgängliga på följande adress: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Dessa rapporter har distribuerats i omfattande utsträckning och har ställts till förfogande för uppdragstagare och experter som genomför utvärderingar för kommissionens räkning.

---