SV Europeiska unionens officiella tidning C 26/1

SÄRSKILD RAPPORT NR 9/2007

om utvärderingen av EU:s ramprogram för forskning, teknisk utveckling och demonstration (FoTU) – skulle kommissionens tillvägagångssätt kunna förbättras? samt kommissionens svar

(i enlighet med artikel 248.4 andra stycket i EG-fördraget)

(2008/C 26/01)

INNEHÅLLSFÖRTECKNING

I–V SAMMANFATTNING

1–14 INLEDNING

1–7 Europeiska unionens roll när det gäller stöd till FoTU-verksamhet

8–14 Utvärdering och övervakning av ramprogram

15–18 REVISIONENS OMFATTNING OCH INRIKTNING SAMT REVISIONSMETOD

19–109 GRANSKNINGSIAKTTAGELSER

19–37 Interventionslogik, fastställande av mål och resultatindikatorer

38–49 Utvärderingsstrategi

50–68 Organisering av utvärderingen av ramprogrammen

69–97 Utvärderingsmetoder och utvärderingstekniker

98–109 Spridning och användning av utvärderingsresultat

110–118 ÖVERGRIPANDE SLUTSATS

Bilaga I: Att mäta effekter och resultat av offentliga FoTU-interventioner

Bilaga II: Bestämmelser om utvärdering och övervakning i lagstiftningsbesluten (fjärde–sjunde ramprogrammet)

Bilaga III: Största skillnaderna i efterhandsutvärdering av forskningsprogram mellan EU (fjärde–sjätte ramprogrammet), USA och Kanada

Bilaga IV: Tänkbar panelstruktur för sjunde ramprogrammet för forskning

Kommissionens svar

SAMMANFATTNING

I. Gemenskapens FoTU-ramprogram är den största offentliga källan till finansiering av forskning i Europeiska unionen. Kommissionen ansvarar för förvaltningen av ramprogrammen och bedömningen av deras resultat.

II. Revisionen omfattade de arrangemang för övervakning och utvärdering som funnits sedan 1995 för de tre senaste programperioderna (fjärde, femte respektive sjätte ramprogrammet) och blickar även framåt på sjunde ramprogrammet (2007–2013). Revisionen genomfördes tillsammans med Eftas revisionskommitté och med stöd av externa experter.

III. Revisionen gällde frågan om kommissionens tillvägagångssätt vid bedömningen av ramprogrammens resultat var lämpligt. I detta sammanhang kontrollerade revisionsrätten om kommissionen uppfyllde lagstadgade krav på utvärdering och undersökte om dess system för utvärdering och övervakning uppfyllde berörda parters förväntningar. Revisionsrättens frågor gällde i synnerhet om i) det fanns en underliggande interventionslogik för ramprogrammen och de program som ingår i dem som kunde utgöra en stabil grund för utvärdering och övervakning, ii) kommissionen hade fastställt en utvärderingsstrategi för ramprogrammen, iii) kommissionens utvärderingssystem för ramprogrammen hade en organisatorisk struktur som garanterade att utvärderingen samordnades korrekt, hade tillräckliga resurser och uppfattades som tillräckligt oberoende av berörda parter, iv) de metoder som användes för utvärdering var tillfredsställande, v) utvärderings- och övervakningsverksamheterna bidrog med information och analyser som kunde användas för att förbättra pågående program och förbereda framtida ramprogram,

IV. Revisionsrätten kom fram till följande granskningsresultat och slutsatser: i) Avsaknaden av en uttalad interventionslogik samt förekomsten av dåligt definierade programmål och bristfälliga prestationsmått påverkade övervakningens och utvärderingens ändamålsenlighet negativt. ii) Avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen som fastställts gemensamt av de ”forskningsgeneraldirektorat” som genomför ramprogrammen ledde till inkonsekventa tillvägagångssätt vid kommissionens avdelningar. Detta illustreras i synnerhet av att viktiga delar av ramprogrammen inte utvärderades tillräckligt. iii) Utvärderingen av ramprogram var decentraliserad, de befintliga samordningsmekanismerna vid de generaldirektorat som genomför ramprogrammen var inte ändamålsenliga och kommissionens centrala avdelningar hade ingen tillsynsroll. Generellt sett uppfyllde dock ”forskningsgeneraldirektoraten” kommissionens formella krav på utvärdering. Användningen av paneler bestående av externa högnivåexperter utsedda av kommissionen för stora utvärderingar passade väl i gemenskapskontexten. Dessa temporära paneler involverades dock inte tillräckligt tidigt i processen för att kunna påverka faktainsamlingen och hade endast begränsade möjligheter att följa upp relevanta frågor över tiden. Genom att man endast använde en övergripande panel för ramprogrammen (utöver en panel för ett särskilt program) fästes inte tillräcklig uppmärksamhet vid de specifika frågor som hör samman med de olika vetenskapliga områdena inom ramprogrammen. iv) Det gavs inte tillräckliga riktlinjer när det gällde metoder, utvärderarna hade svårt att samla in relevanta uppgifter och det fanns inga utvärderingsstudier om ramprogrammens utfall och effekter på lång sikt, vilket det fanns om kortsiktiga aspekter av programgenomförandet. v) Som ett resultat av det ovanstående, och eftersom utvärderingarna ofta gjordes för tidigt för att man skulle kunna behandla de mest relevanta frågorna, var kommissionens utvärderingssystem för ramprogrammen av begränsat värde för beslutsfattare, berörda parter och till och med för kommissionen själv. När allt kommer omkring är lite känt om uppnåendet av programmål och resultaten av ramprogrammen.

V. Revisionsrätten rekommenderar följande: i) I framtida lagstiftning bör interventionslogiken anges tydligt. Bakomliggande antaganden bör förklaras, kopplingen mellan vetenskapliga och socioekonomiska mål klargöras och lämpliga resultatindikatorer utarbetas. ii) En heltäckande utvärderingsstrategi bör utarbetas (och fastställas gemensamt) av de generaldirektorat som genomför ramprogram. Framförallt bör detta leda till ett enhetligt tillvägagångssätt när det gäller den miniminivå vid vilken en detaljerad utvärdering måste ske, så att hänsyn tas till varje vetenskapligt områdes särskilda förutsättningar. iii) Man bör överväga att inrätta ett gemensamt utvärderingskontor för att samordna ”forskningsgeneraldirektoratens” utvärderingsverksamhet för ramprogrammet som helhet och att skapa ett system av paneler (och underpaneler) bestående av externa experter. Dessa paneler bör inrättas så tidigt att de kan ge effektivt stöd till kommissionen och fortsätta med detta under och efter programperioden. iv) Det bör noggrant analyseras vilka uppgifter som krävs för övervakning och utvärdering, och andra befintliga uppgiftskällor bör användas i större utsträckning. Kommissionen bör också rationalisera rapporteringskraven för deltagarna. Slutligen bör kommissionen utarbeta en heltäckande handbok för utvärdering av forskningsramprogram och utveckla ett bredare spektrum av metoder och tekniker som ska användas vid utvärdering på detta område. v) Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas de datum som anges i lagstiftningen för sjunde ramprogrammet och klargöra hur utvärderingar kan användas för att anpassa program (”läroprogram”) och hur de kan bidra till politiska beslut.

INLEDNING

Europeiska unionens roll när det gäller stöd till FoTU-verksamhet

1. Forskning och teknisk utveckling (FoTU (1)) är den viktigaste motorn för vetenskapliga och tekniska framsteg och innovation och som sådan en viktig bidragande faktor till förbättringar av levnadsstandarden. Offentliga interventioner inom FoTU motiveras i allmänhet som en åtgärd för att korrigera ”marknadsbrister” där offentligt stöd minskar osäkerheten och bidrar med investeringar när forskningen är för det allmänna bästa eller när det förekommer viktiga externaliteter.

2. I artikel 163 i fördraget fastställs gemenskapens roll när det gäller att stödja FoTU, och det anges att ”gemenskapen skall ha som mål att stärka den vetenskapliga och teknologiska grunden för gemenskapsindustrin, att främja utvecklingen av dennas internationella konkurrensförmåga och att underlätta alla forskningsinsatser som anses nödvändiga …”. I artiklarna 164–173 fastställs vilka insatser som ska genomföras i detta syfte samt omfattningen och genomförandet av de fleråriga ramprogrammen för forskning och teknisk utveckling. Kommissionen ansvarar för att lägga fram förslag till ramprogram medan besluten om ramprogrammen och reglerna för deltagande och spridning antas genom medbeslutandeförfarandet av Europaparlamentet och rådet. Rådet antar ensamt de särskilda programmen. Ramprogrammen genomförs gemensamt av sex generaldirektorat (GD), de så kallade ”forskningsgeneraldirektoraten” (2).

3. I det breda spektrum av politiska åtgärder som genomförs i Europeiska unionen för att stärka innovation och konkurrenskraft är ramprogrammen det viktigaste finansiella instrumentet som bidrar till Lissabonstrategin (3) och Barcelonamålet (4) på gemenskapsnivå.

4. Genom ramprogrammen för forskning bidrar gemenskapen med medel till forskare i Europeiska unionen, associerade länder och internationella organisationer. Ramprogrammens budgetar har ökat betydligt under årens lopp och uppgår till 7 217 miljoner euro per år för sjunde ramprogrammet jämfört med 2 761 miljoner för fjärde ramprogrammet (se figur 1). I fråga om budgetanslag är ramprogrammen det största området med direkt centraliserad förvaltning inom kommissionen (5).

5. Ramprogrammen för forskning skiljer sig från många nationella program genom att de omfattar både grundforskning och tillämpad forskning där industrin och offentliga forskningsorganisationer deltar (6). De består av särskilda program (och delprogram) som behandlar breda vetenskapsfält. Programmen består i typfallet av ett antal områden som är koncentrerade på mer specifika vetenskapliga sektorer. Dessa områden genomförs sedan i form av projekt (så kallade indirekta åtgärder) efter ansökningsomgångar. På detta sätt finansieras hundratals enskilda projekt per område.

6. Ramprogrammens sammanlagda andel av den totala offentliga finansieringen av FoTU inom Europeiska unionen och dess medlemsstater ligger mellan 4 och 5 %. Dess inverkan på vilken typ av forskningsverksamhet som bedrivs inom Europa är dock betydligt större. Detta beror på att gemenskapsbidraget i allmänhet endast utgör en del av den totala finansieringen av ett projekt. Dessutom måste forskare när de ansöker om medel visa att deras projekt är inriktade på de mål som specificeras i ansökningsomgångarna. På så sätt skapar ramprogrammen incitament för att rikta FoTU-verksamheterna mot särskilda EU-mål.

7. På senare år har det gjorts stora ändringar av ramprogrammen på grund av följande faktorer: — Nya politiska utmaningar (Lissabonstrategin och Barcelonamålen, inrättandet av det europeiska området för forskningsverksamhet och den ökade användningen av den öppna samordningsmetoden (7) i forsknings- och innovationspolitiken). — Ramprogrammens ändrade inriktning, från att enbart lösa tekniska problem inom fjärde ramprogrammet och behandla specifika sociala problem i femte ramprogrammet till att uppmuntra samarbete mellan forskningsorganisationer inom det europeiska området för forskningsverksamhet och bidra till skapandet av en kunskapsbaserad ekonomi och ett kunskapssamhälle inom sjätte och sjunde ramprogrammen. — Längre programplaneringsperioder (tidigare fyra år, nu sju år för sjunde ramprogrammet i linje med budgetplanen 2007–2013). — Fler medlemsstater och deltagande länder. — Ökade resurser, särskilt under den innevarande budgetplanen. — Inrättandet av Europeiska forskningsrådet (EFR) och den delegering av programförvaltningsverksamheten till genomförandeorgan som inleds under sjunde ramprogrammet. — Den ökande användningen av storskaliga finansieringsinstrument (t.ex. expertnätverk, integrerade projekt, artikel 169-projekt och gemensamma teknikinitiativ).

Utvärdering och övervakning av ramprogram

8. Kommissionen har ansvaret för att genomföra programmen och bedöma resultaten av dem (8). Inom kommissionen är utvärderingen decentraliserad till generaldirektoraten som bistås med stöd och samordning av de centrala avdelningarna (i synnerhet GD Budget och generalsekretariatet).

9. I denna rapport används kommissionens egen definition av utvärdering, nämligen en bedömning av åtgärder utifrån resultat, effekter och de behov som måste tillfredsställas (9), och övervakning, nämligen tillhandahållande av information om genomförandet av pågående program och projekt för att möta förvaltningsbehov (10). Detta är också hur de två verksamheterna skiljs åt i den gällande lagstiftningen för sjunde ramprogrammet.

10. I fortsättningen används följande uttryck för att beskriva resultaten av FoTU-verksamhet: — Output är kunskap, varor och tjänster som direkt produceras till följd av den offentliga interventionen (publikationer, konferensrapporter, patent, licenser, prototyper, standarder, utbildade vetenskapsmän etc.). — Utfall är det fördröjda resultatet av användarnas bearbetning av resultaten. — Effekter är de långsiktiga socioekonomiska och politiska förändringar som den offentliga interventionen ger upphov till. Ruta 1Exempel – Globalt system för mobiltelefoni (GSM)I detta exempel var outputen av gemenskapsfinansieringen de omedelbara resultaten av projektet, såsom utvecklingen av GSM-standarden. Utfallet var att den godkändes som digital cellulär telefonistandard inom och utanför Europa vilket i hög grad bidrog till telekommunikationsindustrins utveckling. Slutligen var effekterna de ekonomiska, sociala och politiska konsekvenserna av den internationella användningen av denna teknik. Häri ingår bidrag till skapandet av arbetstillfällen i telekombranschen och närstående industrier liksom den växande betydelsen av denna industrisektor för Europas ekonomi. GSM har också ytterst gett människor ett nytt sätt att kommunicera med varandra.

11. För att bedöma dessa resultat ställs man dock inför ett antal metodproblem (se bilaga I). Socioekonomiska förändringar är komplexa, och mer specifikt är sambandet mellan en forskningsverksamhet och det utfall och de effekter som iakttas ofta svåra att spåra. Även om dessa metodsvårigheter innebär en stor utmaning utgör de inte nödvändigtvis ett hinder för ändamålsenlig utvärdering.

12. Kommissionen har haft ett system för att övervaka och utvärdera pågående ramprogram sedan 1980-talet (11). Med början för fjärde ramprogrammet i mitten av 1990-talet bestod systemet för övervakning och utvärdering av ett antal delvis sammankopplade verksamheter, däribland — årlig övervakning (främst av programgenomförandet), — femårsutvärderingar av verksamheter inom ramprogrammen för forskning (och, från och med sjätte ramprogrammet, ytterligare utvärderingar av särskilda aspekter). Båda åtgärderna måste utföras med hjälp av externa experter (se figur 2 och bilaga II). Figur 2 Fjärde–sjunde ramprogrammet – Nyckelkrav vid övervakning och utvärdering RP4 (1995–1998) RP5 (1999–2002) RP6 (2003–2006) RP7 (2007–2013) Två utvärderingar (efter halva tiden och slutlig); vart och ett av de 20 delprogrammen samt ramprogrammet. Den slutliga utvärderingen överlappar halvtidsutvärderingen av femte ramprogrammet. Två samtidiga utvärderingar (efter halva tiden); vart och ett av de sju särskilda programmen samt ramprogrammet. En utvärdering av ramprogrammet och dess tre särskilda program (efter halva tiden), men inte specifikt av alla 20 delprogrammen, kompletterat med särskilda utvärderingsrapporter och regelbundna lägesrapporter (dvs. övervakningsrapporter). Minst fem utvärderingar (på förhand, efter halva tiden och slutlig), inklusive en särskild lägesrapport inför halvtidsutvärderingen. 1. Förhandsutvärdering: Nej. 1. Förhandsutvärdering: Nej. 1. Förhandsutvärdering: Nej. 1. Förhandsutvärdering: Ingår i konsekvensbedömningen av kommissionens förslag till sjunde ramprogrammet (2005). 2. Efter halva tiden: — Femårsutvärdering: halvvägs genom ramprogrammet, före nästa ramprogram (1997). 2. Efter halva tiden: — Femårsutvärdering: innan förslag lades fram till nästa ramprogram (2000). — Lägesrapport vid mitten av ramprogrammets löptid (2001). 2. Efter halva tiden: — Utvärdering av instrumentens effektivitet (2004). — Femårsutvärdering, innan förslag lades fram till nästa ramprogram (2004). — Regelbundna lägesrapporter (dvs. övervakningsrapporter). 2. Efter halva tiden: — I efterhand, 2 år efter att föregående ramprogram avslutats (2008). — Lägesrapport före den preliminära utvärderingen (före 2010). — Preliminär utvärdering (2010). 3. Slutlig: — När ramprogrammet avslutats (1999). 3. Slutlig: Nej. 3. Slutlig: Nej. [Ändrat genom beslutet om sjunde ramprogrammet.] 3. Slutlig: Två år efter att ramprogrammet avslutats (2015), med stöd av särskilda studier, den preliminära utvärderingen och andra utvärderingar som gjorts under ramprogrammets löptid. Källa: Se bilaga II.

13. Hittills har tre femårsutvärderingar (12) utförts vilket lett till Davignonrapporten, Majórapporten och Ormalarapporten (1997, 2000 respektive 2004). Dessutom gjorde GD Informationssamhället och medier riktade utvärderingar av sitt särskilda program. Det bör noteras att femårsutvärderingarna upphörde i och med lagstiftningen för sjunde ramprogrammet, vilket medförde att den begränsning försvann som innebar att stora utvärderingar måste koncentreras på de fem föregående åren och därför måste täcka in delar av två på varandra följande programperioder. År 2004 offentliggjordes också Marimónrapporten (13), en särskild utvärdering av ändamålsenligheten i de nya instrument som hade införts genom sjätte ramprogrammet.

14. Kommissions ram för utvärderingsverksamhet sågs över 2000 och 2002 (14). Dessa meddelanden uppdaterades 2007 med hänsyn till konsekvenserna av kommissionens administrativa reform och den nya budgetförordningen (15). I dessa dokument beskrivs utvärderingens roll och funktion inom ramen för kommissionens övergripande planerings-, programplanerings- och rapporteringscykel, och 21 utvärderingsnormer samt 18 modeller för god praxis anges. Vidare diskuteras i dessa dokument användningen av utvärderingar vid utarbetandet och förenklingen av EU-lagstiftningen.

REVISIONENS OMFATTNING OCH INRIKTNING SAMT REVISIONSMETOD

15. Revisionens huvudsyfte var att fastställa om kommissionens tillvägagångssätt vid bedömningen av resultaten av FoTU-ramprogrammen var lämpligt.

16. I detta syfte bedömde revisionsrätten i vilken utsträckning — det finns en uttalad interventionslogik bakom ramprogrammen och de program som ingår i dem utifrån vilken output, utfall och effekter kan mätas och bedömas vilket ger en stabil bas för utvärdering och övervakning, — det har fastställts en utvärderingsstrategi för ramprogrammen med betoning på ändamålsenlig och konsekvent utvärdering, — utvärderingssystemets organisatoriska struktur garanterar att det är samordnat på ett lämpligt sätt genom hela ramprogrammet, att det har tillräckliga resurser och även att det uppfattas som tillräckligt oberoende av berörda parter, — de metoder som används för utvärdering garanterar att relevanta aspekter behandlas på ett lämpligt sätt så att utvärderingen uppfattas som trovärdig, — utvärderings- och övervakningsverksamheterna bidrar med information och analyser som kan användas för att förbättra pågående program (”läroprogram”) och förbereda framtida ramprogram.

17. Denna rapport omfattar de tillämpliga arrangemangen för fjärde ramprogrammet (1995–1998), femte ramprogrammet (1999–2002) och sjätte ramprogrammet (2003–2006). Här diskuteras också de rättsliga krav som nu gäller för sjunde ramprogrammet (2007–2013), men kommissionens konsekvensanalys och förhandsbedömning av sjunde ramprogrammet (16) bedöms inte. Fokus ligger på övervakningen och efterhandsutvärderingen av program och inte på förhandsbedömningen av projektförslag eller efterhandsutvärderingen av själva projekten.

18. Revisionen genomfördes med deltagande av Eftas revisionskommitté och stöd av externa experter. Granskningsbevis inhämtades på följande sätt: — Revisionsarbete vid kommissionen (dokumentgranskning och intervjuer med personalen) vari ingick identifiering av rättsliga och lagstadgade krav, kontroll av mål och resultatkriterier, analys av över 80 övervaknings- och utvärderingsrapporter och en analys av hur utvärderingsverksamheten inom kommissionen var organiserad. — Intervjuer med över 90 experter som identifierats som berörda parter i medlemsstater och associerade länder (Tjeckien, Tyskland, Estland, Spanien, Frankrike, Italien, Luxemburg, Nederländerna, Österrike, Finland, Sverige, Förenade kungariket och Norge). — Enkäter med institutionella intressenter i Europaparlamentets utskott för industrifrågor, forskning och energi (ITRE) (17) och rådets kommitté för vetenskaplig och teknisk forskning (CREST) (18). — Samråd med över 65 experter på utvärdering av forskning i USA och Kanada, vilka utgjorde en internationell jämförelsegrupp. — En genomgång av akademisk litteratur om aktuella trender för utvärdering av forskning. — Diskussioner om granskningsresultaten, slutsatserna och rekommendationerna med experter på utvärdering av forskning från Europa och Nordamerika vid fokusgruppssammanträden under ledning av en moderator i februari 2007.

GRANSKNINGSIAKTTAGELSER

Interventionslogik, fastställande av mål och resultatindikatorer

19. För en ändamålsenlig utvärdering och övervakning krävs tydliga mål och relevanta resultatindikatorer på politisk nivå, programnivå och projektnivå, mot vilka resultaten av en offentlig intervention kan bedömas. God praxis från andra områden inom och utom EU-budgeten tyder på att dessa bör fastställas inom ramen för en interventionslogik.

20. Interventionslogik kan definieras som en uppsättning hypotetiska samband mellan orsak och verkan som beskriver hur en intervention förväntas uppfylla sina övergripande mål (19). I kommissionens riktlinjer för utvärdering sägs att interventionslogik ger ett konceptuellt samband mellan interventionens input och dess output och vidare dess effekter på samhället i form av resultat och utfall (20). I denna rapport används denna definition genomgående.

21. Revisionsrätten bedömde i vilken utsträckning en interventionslogik hade upprättats för ramprogrammen och de program som ingår i dem vilket gav en stabil grund för utvärdering och övervakning.

Interventionslogiken för ramprogrammen har inte varit uttalad

22. Fastställandet av en interventionslogik bör vara en central del i programutformningen redan från början. Artikel 163 i fördraget, där behovet av att stärka den vetenskapliga och tekniska grunden och främja konkurrensförmågan anges, bör vara utgångspunkten för en sådan interventionslogik för ramprogrammen (se punkt 2). Denna behöver specificeras ytterligare när det gäller de olika vetenskapliga områden som omfattas av ramprogrammen och de olika instrument som används.

23. Dock saknas på alla nivåer en uttalad logisk modell som visar hur ramprogrammen och de program som ingår i dem bidrar till vetenskaplig och teknisk utveckling och innovation.

24. Avsaknaden av en interventionslogik för ramprogrammen lyftes också fram av 2004 års femårsutvärderingspanel som ansåg att paneler av denna typ ombeds fylla en lucka mellan å ena sidan fakta från huvudsakligen projektnivå och å andra sidan forskningspolitikens högre socioekonomiska mål. Det är för närvarande dock svårt att göra denna koppling till följd av det sätt på vilket ramprogrammet planeras. Det saknas en uttalad logik där de högsta målen kopplas samman med de specifika forsknings- och kunskapsmålen (21).

25. Ett annat tillvägagångssätt används i några medlemsstater (t.ex. Nederländerna och Finland) och i USA (se figur 3) där det är mycket vanligare att fastställa en interventionslogik, och i Kanada där det är obligatoriskt för alla program (se bilaga III). Det visar sig också att användningen av en interventionslogik vid programutformningen där ger mer fokuserade och bättre strukturerade program. Den införs också av kommissionen på andra av gemenskapens politikområden (t.ex. externt bistånd) (22). Figur 3 Rangordning av mål med utgångspunkt från logiska modeller – exempel från jordbruksforskning i USA Politik Program Projekt Politiskt mål : bidra till bättre försörjningsmöjligheter för jordbrukarfamiljer. Syfte : ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll. Programmets mål : att bidra till ökad jordbruksproduktion, produktivitet och inkomst för jordbrukarhushåll. Förväntat resultat : ökad användning av förbättrad jordbruksteknik bland jordbrukarna i målgruppen. Syfte : att öka jordbrukarnas användning av förbättrad jordbruksteknik (t.ex. ris). Projektets mål : att bidra till ökad användning av rekommenderad förbättrad teknik. Förväntat resultat : rekommendationer lämnade/spridda till jordbrukarna i målgruppen. Syfte : att lämna rekommendationer på förbättrad teknik som är lämplig för jordbrukarna i målgruppen. Förväntade resultat (exempel): 1. Teknik som identifierats utifrån jordbrukarnas prioriteringar. 2. Teknik som skapats och anpassats. 3. Teknik som kontrollerats på jordbrukarnas åkrar. Källa: US National Agricultural Research Council (USA:s nationella råd för jordbruksforskning).

26. Att inte kodifiera logiken bakom den offentliga interventionen och de förmodade orsakssambanden (utifrån vilka programmet sedan detaljplaneras, genomförs och bedöms) undergräver en ändamålsenlig utvärdering och övervakning av ramprogrammen. Detta beror särskilt på hur mål och resultatindikatorer för programmen fastställs.

Utan en uttalad logisk modell är det svårare att fastställa enhetliga programmål

27. Att inte klargöra logiken bakom den offentliga interventionen gör det svårare att sätta upp och strukturera programmens mål på ett enhetligt sätt. Detta visas av att — det inte är klart hur ramprogrammens mål hänger samman med de politiska målen, såsom det övergripande målet i artikel 163 i fördraget och de mål som anges i Lissabonstrategin och Barcelonadeklarationen (se punkterna 2 och 7), — förhållandet mellan enskilda programmål, både på olika lagstiftningsnivåer (såsom beslutet om ramprogram, beslutet om särskilda program och reglerna för deltagande och spridning) och mellan grundrättsakterna och kommissionens arbetsprogram, inte alltid är tydligt.

28. Kommissionen har försökt sätta upp operativa mål i arbetsprogrammen utifrån de programmål som fastställs i ramprogramlagstiftningen. I nästan samtliga fall ledde dock dessa initiativ inte till att logiken bakom programmen klargjordes, och målen i arbetsprogrammen var inte specifika, mätbara och möjliga att förverkliga samt relevanta och daterade (SMART). Detta blev 2003 ett lagstadgat krav enligt budgetförordningen (23).

29. Det är inte klart i vilken utsträckning politiska mål kan spåras genom särskilda program, arbetsprogram och ansökningsomgångar till de enskilda projekt som medfinansieras av gemenskapen. Om inte dessa samband förtydligas går det inte att bedöma hur ramprogrammen och de program som ingår i dem bidrar till att dessa politiska mål uppnås. Vid revisionen konstaterades att få eller inga övertygande bevis för att långsiktiga mål har uppnåtts, varken på projekt- eller programnivå, har lämnats av kommissionen i dess utvärderingar (se punkt 82).

Avsaknaden av en uttalad interventionslogik och tydliga mål gör det svårare att ta fram resultatindikatorer

30. Avsaknaden av en uttalad logisk modell och tydligt formulerade programmål har också hindrat framtagningen av resultatindikatorer för övervakning av hur programmålen uppnås i fråga om output, utfall och effekter, och detta i så hög grad att det hittills inte har fastställts några sådana indikatorer för ”ändamålsenlighet” alls för ramprogrammen (se punkt 73).

31. I detta läge försvåras kontrollen av pågående projekt som finansieras genom dessa program och utvärderingen i efterhand av program som avslutats, vilket gör det svårare att aggregera utvärderingar från projektnivån till programnivån (se bilaga I och punkt 84).

Verksamhetsbaserad budgetering/förvaltning såsom den nu tillämpas är ett olämpligt verktyg för att mäta ramprogrammens prestationer

32. Några indikatorer med vars hjälp man kan följa effektiviteten i programgenomförandet (t.ex. tidsåtgången för kontraktsskrivning eller betalning) finns i kommissionens årliga övervakningsrapporter och också inom ramen för kommissionens system för verksamhetsbaserad förvaltning.

33. Hittills har dock ”forskningsgeneraldirektoraten” inte tillämpat en standardiserad eller jämförbar nomenklatur för den verksamhetsbaserade budgeteringen och tillhörande indikatorer, inte ens vid genomförandet av samma särskilda program (eller delprogram). Därför kan dessa indikatorer inte användas för att jämföra prestationer mellan och inom program. Ruta 2Verksamhetsbaserad budgetering/förvaltning såsom den för närvarande tillämpas vid ”forskningsgeneraldirektoraten”I systemet för verksamhetsbaserad budgetering/förvaltning ingår ramprogrammen för forskning i två olika politikområden inom vilka ramprogramsverksamheterna presenteras enligt olika nomenklaturer som är specifika för respektive generaldirektorat (24). Detta gäller till och med för de särskilda program och delprogram som genomförs av mer än ett generaldirektorat. Målen för den verksamhetsbaserade förvaltningen fastställdes i enlighet med olika grundprinciper (25) och var, enligt tjänsten för internrevision vid kommissionen (26), oftast allmänt formulerade och beskrev ambitioner eller verksamheter. Indikatorerna var i allmänhet inputorienterade (t.ex. antalet sammanträden). Några gällde processeffektivitet (t.ex. tidsåtgång för kontraktsskrivning eller betalning) men kunde inte jämföras mellan program och generaldirektorat på grund av olikheter i nomenklaturen för den verksamhetsbaserade budgeteringen, i GD-specifika förutsättningar (såsom inledning och avslutning av särskilda administrativa processer) och i den bakomliggande populationen (t.ex. typ av bidragsöverenskommelse eller betalning) som togs med vid beräkningen av dem.

Rekommendationer

34. I framtida lagstiftningsförslag som läggs fram för Europaparlamentet och rådet bör kommissionen fastställa en uttalad interventionslogik för ramprogrammet som helhet och för de delar som ingår i det. 35. När det gäller sjunde ramprogrammet bör kommissionen — tydligt beskriva målen för ramprogrammet och de särskilda program (och delprogrammen) som ingår i dem och hur dessa ska uppnås, — klargöra kopplingen mellan de vetenskapliga och socioekonomiska målen för varje särskilt program (och delprogram), — ange relevanta operativa mål. 36. Kommissionen bör för sitt system för övervakning av sjunde ramprogrammet införa en begränsad, men balanserad, uppsättning resultatindikatorer för att mäta ”effektiviteten” och ”ändamålsenligheten” i genomförandet av varje särskilt program (och delprogram). 37. ”Forskningsgeneraldirektoraten” bör harmonisera sin nomenklatur för verksamhetsbudgeterad förvaltning/budgetering så att resultatindikatorerna kan jämföras både över tiden och, när så är möjligt, mellan särskilda program (och delprogram).

Utvärderingsstrategi

38. En utvärderingsstrategi bildar den begreppsram inom vilken utvärderingsverksamhet utformas, planeras, genomförs och används. God praxis från andra områden inom och utom EU-budgeten tyder på att en sådan strategi bör beakta de viktigaste rättsliga, organisatoriska och metodologiska aspekterna i anslutning till programutvärdering. Detta innefattar vilka utvärderingar som ska utföras, av vem och när, hur uppgifter ska samlas in, vilka metoder som ska användas och hur resultaten ska meddelas och följas upp.

39. Att det finns en sådan strategi, och att man ser till att den genomförs, är en förutsättning för att utvärdering byggs in i kommissionens organisationskultur och beslutsprocess. Revisionsrätten inser dock att en sådan strategi, med hänsyn till den mängd olika vetenskapliga områden som ramprogrammen omfattar, bör ge varje ansvarigt generaldirektorat en lämplig grad av flexibilitet och inte vara alltför föreskrivande.

40. Revisionsrätten kontrollerade i vilken utsträckning kommissionen hade infört en sådan utvärderingsstrategi för ramprogrammen.

En heltäckande utvärderingsstrategi saknas för ramprogrammen

41. När det gäller ramprogrammen tillkännagav kommissionen sitt tillvägagångssätt för utvärdering första gången på 1980-talet (27). Detta uppdaterades 1996 när kommissionen informerade Europaparlamentet och rådet om vad den då såg som relevanta grundprinciper för övervakning och utvärdering och angav hur den avsåg att gå tillväga när fjärde ramprogrammet hade antagits (28). Detta var dock inte en sådan heltäckande utvärderingsstrategi som avses ovan (se punkterna 38 och 39). Mellan 1996 och 2006 gjorde kommissionen inte heller någon grundlig översyn av sitt tillvägagångssätt för utvärderingen av femte och sjätte ramprogrammet trots att både omfattningen och inriktningen av ramprogrammen hade ändrats (se punkt 7). Framförallt har ”forskningsgeneraldirektoraten” inte kommit överens om ett enhetligt förhållningssätt till utvärdering av ramprogrammen och de program som ingår i dem, utöver de lagstadgade krav som antogs 1999 (för femte ramprogrammet), 2002 (för sjätte ramprogrammet) och 2006 (för sjunde ramprogrammet) (29).

42. För innevarande programperiod utgör avsaknaden av ett sådant strategiskt tillvägagångssätt för utvärdering av detta område ett särskilt problem med tanke på att sjunde ramprogrammet genomförs gemensamt av flera generaldirektorat, Europeiska forskningsrådet och genomförandeorgan, och på den obligatoriska personalrotation på känsliga befattningar som föreskrivs i budgetförordningen. Det kontrasterar också mot gällande praxis på området för externt bistånd (vilket är det näst största område som kommissionen förvaltar direkt). På detta område har de behöriga generaldirektoraten sedan 2002 kommit överens om gemensamma fleråriga utvärderingsstrategier kopplade till programperioder (se punkt 52).

43. Denna avsaknad av en tydligt formulerad utvärderingsstrategi står även i stark kontrast mot situationen i USA och Kanada där det i den rättsliga ramen anges att det ska finnas en strategi (se bilaga III).

44. Som visas nedan är det stora skillnader mellan ramprogrammen när det gäller vad utvärderingarna omfattar och hur intensiva de är. Det fanns även andra brister, såsom samordningsproblem, användning av olika metoder, tidpunktsproblem och brister i kommunikation och uppföljning av utvärderingsresultat, vilket diskuteras nedan. Detta återspeglar avsaknaden av en heltäckande utvärderingsstrategi för ramprogrammen.

Olikheter mellan ramprogrammen i fråga om utvärderingarnas omfattning och intensitet

45. Ramprogrammen består av ett antal särskilda program (och delprogram) som inbördes kan vara mycket olika vad gäller syfte, underliggande dynamik och budgetanslag (för sjunde ramprogrammet, se bilaga IV). Sammantaget innebär de särskilda bestämmelserna i de olika ramprogrambesluten och budgetförordningen (30) (där det krävs att alla program och åtgärder som leder till stora utgifter ska utvärderas) att det har funnits ett rättsligt krav på utvärdering både av ramprogrammet som helhet och av flertalet av de särskilda program som ingår i dem sedan fjärde ramprogrammet.

46. Kommissionen har inte fastställt någon regel för när särskilda program eller delprogram inom ramprogrammen ska utvärderas och inte heller något tröskelvärde ovanför vilket detta måste ske. Detta har lett till olika tolkningar av vad som ska utvärderas och på vilken detaljnivå: — GD Informationssamhället och medier ansåg att IST-programmet (informationssamhällets teknik) i sig var ett stort utgiftsprogram och organiserade 2004 en komplett femårsutvärdering parallellt med den utvärdering som gjordes av ramprogrammet som helhet. — GD Forskning organiserade inte systematiskt sådana bedömningar av särskilda program trots att budgetarna för flera av de program som det ansvarade för var av jämförbar storlek.

47. När det gäller femårsutvärderingarna 2004 var resultatet att stora delar av fjärde och femte ramprogrammen inte utvärderades alls (motsvarande 30 % av alla budgetanslag för fjärde ramprogrammet och 50 % för femte ramprogrammet). Detta innebär att kommissionen inte uppfyllde de krav på utvärdering som anges i artikel 27 i budgetförordningen.

48. Dessa skilda tolkningar när det gäller minsta lagstadgade krav beträffande utvärdering, och den resulterande underutvärderingen av ramprogrammen i det förflutna, visar bristen på samordning och på effekten av kommissionens avsaknad av ett strategiskt tillvägagångssätt vid utvärderingen av dem.

Rekommendationer

49. ”Forskningsgeneraldirektoraten” bör snarast utarbeta och komma överens om en gemensam utvärderingsstrategi för ramprogrammen. Utan att vara alltför föreskrivande bör denna strategi leda till ett enhetligt tillvägagångssätt när det gäller utvärdering av ramprogrammen och de program som ingår i dem. En sådan strategi bör också innehålla riktlinjer för den miniminivå på vilken detaljerad utvärdering måste ske så att hänsyn tas till varje vetenskapsfälts särskilda förutsättningar.

Organisering av utvärderingen av ramprogrammen

50. Utvärderingen av ramprogrammen behöver få stöd i form av lämpliga organisatoriska arrangemang som bör vara en följd av kommissionens strategiska inriktning på utvärderingen av ramprogrammen. Revisionsrätten kontrollerade i vilken utsträckning den organisatoriska strukturen garanterade att utvärderingssystemet var samordnat på ett lämpligt sätt, att det hade tillräckliga resurser och även att det uppfattades som tillräckligt oberoende av berörda parter.

Kommissionen

Ramprogrammen genomförs gemensamt av flera generaldirektorat samtidigt som ansvaret för utvärdering är decentraliserat

51. Inom kommissionen vilar ansvaret för utvärdering av utgiftsprogram på de enskilda generaldirektoraten (se punkt 8) och det har inrättats utvärderingsenheter inom varje generaldirektorat. Dessa utvärderingsenheter sköter planeringen, samordningen och genomförandet av utvärderingar.

52. Avsaknaden av ett specifikt samordningsorgan eller ett enda organ för utvärdering av ramprogrammet som helhet, såsom ett gemensamt utvärderingskontor för ”forskningsgeneraldirektoraten”, kontrasterar mot andra politikområden. På området för externt bistånd har det inrättats en gemensam utvärderingsenhet för tre generaldirektorat (Bistånd, Yttre förbindelser och EuropeAid) som ska ta hand om utvärderingen av kommissionens biståndsprogram i tredjeländer (se punkt 42).

53. GD Forskning ser via kommissionens interna ”nätverk för utvärdering av FoTU” till att det sker ett kunskapsutbyte mellan utvärderingsenheterna vid de olika generaldirektoraten, men det har inte befogenhet att fastställa minimikrav för utvärderingarna. Denna mekanism har emellertid inte varit tillräcklig för att garantera en lämplig samordning av kommissionens utvärdering av ramprogrammen.

54. Kommissionen såg över sitt allmänna tillvägagångssätt vid utvärdering 2000 och 2002 samt återigen 2007 (se punkt 14). Även om inga större förbättringar kunde iakttas när det gäller hur utvärderingarna av ramprogrammen och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen.

Kommissionens centrala avdelningar: fastställa normer, men ingen tillsynsroll

55. Kommissionens centrala avdelningar (i synnerhet GD Budget och generalsekretariatet) ger råd i metodfrågor, fastställer gemensamma normer för kommissionen som helhet och övervakar hur generaldirektoraten och avdelningarna tillämpar normerna (se punkterna 14 och 70). De kan inte föreskriva hur utvärderingarna ska genomföras i praktiken.

56. Erfarenheter från USA och Kanada pekar på att de normgivande organens efterlevnadsåtgärder där kraftigt bidrar till att garantera att utvärderingssystemet fungerar ändamålsenligt. I båda länderna är det federala avdelningar som fastställer den ram inom vilken ett programs framgång slutligen bedöms och som ser till att den följs (se bilaga III). Trots olika bakgrund baseras deras system dock på samma underliggande princip att ett organ som är avskilt från det organ som genomför programmet noggrant ska bedöma utvärderingssystemets utformning och undersöka dess ändamålsenlighet. Detsamma kan observeras i några medlemsstater (t.ex. Frankrike (31), Spanien (32) och Tyskland (33)) där externa organ övervakar utvärderingar som gjorts av finansieringsorgan, eller till och med utför utvärderingarna själva.

Paneler

Paneler med externa experter: krävs enligt ramprogramlagstiftningen sedan fjärde ramprogrammet

57. Sedan fjärde ramprogrammet har det krävts att alla stora utvärderingar (och årlig övervakning) av ramprogrammen ska utföras av (eller med stöd från) paneler bestående av externa experter (se bilaga II). Trots svårigheter att finna lämpliga experter skulle sådana paneler kunna skapa insyn, bidra med visst oberoende, underlätta deltagande av berörda parter och utveckla kunskap om själva ramprogrammen, utvärdering och de underliggande vetenskapliga frågorna.

58. Detta bekräftades av revisionsrättens undersökningar som visade att de svarande ansåg att kommissionens panelbaserade utvärderingssystem garanterade oberoende (se figur 4).

Brister i panelmetoden såsom den tillämpats av kommissionen

59. Trots denna positiva uppfattning, såsom panelledamöter och berörda parter påpekade för revisionsrätten vid revisionen, har kommissionens användning av paneler för utvärdering av ramprogram kännetecknats av följande brister: — Utvärderingspaneler tillsätts vanligen mindre än ett år innan deras rapporter ska vara klara och träffas bara vid ett begränsat antal sammanträden. Detta gör det svårt för panelledamöterna att påverka fastställandet av vilka uppgifter och analyser som krävs för deras arbete. Eftersom panelerna tillsätts för ett särskilt ändamål och tillfälligt är det vidare svårt att ackumulera kunskap om programmen, och relevanta frågor kan inte heller följas upp över tiden. Detta blir en särskild brist när (som för sjunde ramprogrammet) ett antal stora utvärderingar är planerade under hela programperioden (se bilaga II). Det kontrasterar också mot kommissionens praxis när det gäller dess rådgivande expertgrupper för ramprogrammen som är permanenta organ (34). Också i Kanada (35) är utvärderingspanelerna permanenta för att garantera ett samstämmigt och konsekvent tillvägagångssätt (se bilaga III). — När kommissionen formulerar panelernas mandat och specificerar utvärderingsfrågorna konsulterar den inte berörda externa parter, såsom industrin och stora forskningsorganisationer som deltar i ramprogrammen. Övervakningspanelen för 2004 har också noterat detta problem och konstaterar att potentiella användare bör involveras i processen på ett tidigt stadium (36). — Paneler fungerar på ett annat sätt än när det gäller inbördes granskning (peer review). Deras ledamöter har inte tid att göra egna utvärderingar. I typfallet ger de råd utifrån de uppgifter och bevis som ställts till deras förfogande från andra källor. Till följd av tidsrestriktionerna har paneler endast haft begränsad möjlighet att beställa ytterligare studier som behövs för att behandla de frågor som anges i deras mandat. I praktiken var med få undantag endast information som lämnades av kommissionen tillgänglig för de paneler som gjorde femårsutvärderingarna.

Medel

Inga medel har särskilt öronmärkts för utvärdering av ramprogram

60. Medel för utvärdering tillhandahålls på årsbasis för de behov som anges av de generaldirektorat som genomför ramprogram. För närvarande är det en kombination av medel för hela kommissionen från GD Budget och medel från den administrativa delen av budgeten för de berörda generaldirektoraten. Därutöver finansieras särskilda åtgärder såsom indirekta åtgärder från ramprogrammens driftsbudget. Detta innebär att det inte finns något belopp som särskilt avsatts för utvärdering.

61. Under 2006 beräknades vid kommissionen som helhet i genomsnitt cirka 1 % av den totala personalstyrkan arbeta med utvärdering och verksamhetsbaserad förvaltning (37). Motsvarande siffror för övervaknings- och utvärderingsverksamhet avseende FoTU-ramprogrammen vid GD Forskning och GD Informationssamhället och medier var 1,2 respektive 1,3 %. När det gäller GD Forskning arbetade dock över två tredjedelar av denna personal på operativa avdelningar och inte på utvärderingsenheten, och utvärdering var endast en av flera uppgifter som de hade.

De resurser som avsätts för utvärdering av ramprogram är lägre än vad som rekommenderas av kommissionen

62. Medel som avsatts för utvärdering kan också uttryckas som en procentandel av de totala budgetanslagen till programmet. Uppgifter som inhämtats vid revisionen pekar på att den för forskningsprogram i EU:s medlemsstater vanligen ligger mellan 0,1 och 2 %. I kommissionens riktlinjer föreslås att 0,5 % av ett programs budget bör avsättas till utvärdering (38). För större program gör dock skalfördelar att en mindre andel av deras budgetar skulle kunna räcka.

63. En jämförelse mellan kommissionens sifferuppgifter för utvärderingskostnader under perioden 2003–2006 och budgetanslagen för varje generaldirektorat visar att det övergripande genomsnittet ligger på omkring 0,15 % vilket är betydligt under den nivå som föreslagits av kommissionen. En närmare analys av 2006 visar att GD Informationssamhället och medier spenderade omkring fyra gånger mer på utvärdering än GD Forskning i förhållande till anslagen för deras respektive ansvarsområden. På GD Forskning är dessutom endast 0,7 % av en heltidstjänst avsatt till utvärdering per miljon euro i den årliga budgeten. Som jämförelse avsätter GD Informationssamhället och medier det dubbla beloppet.

64. Som framgår av denna rapport har denna extra ansträngning av GD Informationssamhället och medier lett till mer omfattande utvärderingar (se punkterna 13 och 46) och, som framgår av det stickprov av utvärderingsstudier som revisionsrätten kontrollerade, att metoder som är bättre lämpade för att möta utvärderingsbehoven använts (se punkt 84).

65. Revisionsrätten gjorde en kostnadsberäkning baserad på uppgifter från kommissionen av vilken det framgår att ett utvärderingssystem baserat på förslagen i denna rapport i genomsnitt skulle motsvara mindre än 0,4 % av budgetanslagen för sjunde ramprogrammet. Detta skulle täcka kostnaderna för paneler, studier utlagda på entreprenad, personal både vid det gemensamma utvärderingskontoret och vid de nuvarande GD-specifika utvärderingsenheterna samt diverse andra kostnader (39).

Rekommendationer

66. ”Forskningsgeneraldirektoraten” bör överväga att inrätta ett gemensamt utvärderingskontor utöver de utvärderingsenheter som nu finns vid varje generaldirektorat. I likhet med gällande praxis på andra politikområden skulle detta kontor kunna samordna kommissionens utvärderingsverksamhet för ramprogrammet som helhet. Sådana gemensamma stödfunktioner har rekommenderats tidigare för de generaldirektorat som genomför ramprogram (40) och de kan komma att bli ännu viktigare i framtiden när Europeiska forskningsrådet inrättas och programgenomförandet delegeras till genomförandeorgan. 67. Kommissionen bör fortsätta att använda utvärderingspaneler som bistår den i dess utvärderingsverksamhet. Kommissionen bör dock överväga hur panelernas struktur kan anpassas till ramprogrammens övergripande programstruktur. Detta skulle kunna ske genom att man har paneler för särskilda program och, när så är lämpligt, delprogram (se bilaga IV). Dessa paneler bör dessutom inrättas så tidigt att de på ett ändamålsenligt sätt kan stödja kommissionen och fortsätta med detta under och efter programperioden. 68. Kommissionen bör ompröva vilka medel som ska användas för utvärdering av ramprogrammen och de program som ingår i dem.

Utvärderingsmetoder och utvärderingstekniker

69. För ändamålsenliga utvärderingar krävs att lämpliga metoder och tekniker används. Revisionsrätten kontrollerade i vilken utsträckning det fanns särskilda riktlinjer för utvärdering av ramprogrammen, om informationsbehoven analyserades ordentligt och vid rätt tidpunkt samt om relevanta uppgifter ställdes till utvärderarnas förfogande. Vad gäller de utvärderingsstudier som gjorts av kommissionen (eller för dess räkning) kontrollerade revisionsrätten om de tekniker som använts för enskilda studier gav en tillräcklig grund för att besvara de utvärderingsfrågor som formulerats för femårsutvärderingarna. Det potentiella bidrag som utvärderingar på nationell nivå skulle kunna lämna till utvärderingar av ramprogram övervägdes också.

Ta fram ramprogramspecifika normer och riktlinjer

70. GD Budget har gett ut flera meddelanden där dess utvärderingspolitik och bestämmelser för genomförandet av den fastställs, och också lagt fast en uppsättning normer för hela kommissionen (se punkterna 14 och 55) (41). För andra politikområden har de behöriga generaldirektoraten också tagit fram specifika utvärderingshandböcker (42).

71. Detta gäller dock inte ramprogrammen. Det finns ett antal metodguider och verktygslådor för utvärderingsverksamhet på forskningsområdet som har publicerats (eller finansierats) av kommissionen (43). Dessa ger dock varken specifik vägledning om hur utvärderingar av ramprogram ska utföras eller hur kommissionens personal eller externa experter ska använda nyckelkoncept eller terminologi. Detta har bidragit till de problem som diskuteras nedan.

Uppgiftsbehov och uppgiftsinsamling

Otillräcklig analys av informationsbehoven

72. ”Forskningsgeneraldirektoraten” har inte ägnat tillräcklig uppmärksamhet åt att sätta sig in i vilka uppgifter som behövs för utvärdering och övervakning. I stället för att genomföra en systematisk och uttömmande analys av informationsbehoven specificerade kommissionen uppgiftskraven sent under programperioden och tog inte tillräcklig hänsyn till de övergripande utvärderingsbehoven. Det socioekonomiska frågeformuläret för sjätte ramprogrammet var generaldirektoratens enda gemensamma försök att komma överens om sådana uppgifter (se punkt 76). Men detta frågeformulär blev klart 2004 (tre år efter det att programperioden inletts) och gäller i första hand balanserad könsfördelning och miljöeffekter snarare än vetenskaplig output (såsom frågor om immateriella rättigheter, publikationer etc.), utfall eller effekter.

73. Bedömningen av program är i hög grad beroende av tillgång till följande tre typer av uppgifter: — Uppgifter som samlats in i enlighet med ”indikatorer för ändamålsenlighet” som när de analyseras ger kunskap om utvecklingen mot programmets mål. Avsaknaden av en interventionslogik, som det tidigare hänvisats till, gör att det har varit svårt att fastställa sådana indikatorer (se punkt 30). I praktiken var de uppgifter som hade samlats in av liten betydelse för att mäta hur programmens mål hade uppnåtts. — Uppgifter om förvaltningen av programmet (i enlighet med ”effektivitetsindikatorer”). — Uppgifter om deltagare (såsom andelen stora forskningsorganisationer som deltog).

74. I synnerhet bör kommissionen ha tillgång till de två sistnämnda. Men på grund av problem med kommissionens interna IT-system, varifrån de flesta uppgifter om programförvaltning och deltagare hämtas (44), har man haft stora problem med detta i praktiken (45).

75. Detta illustreras av de stora förseningarna när det gäller att göra artikel 173-rapporter och årliga övervakningsrapporter tillgängliga (upp till 16 månaders försening för artikel 173-rapporter (46) och upp till sju månaders försening för årliga övervakningsrapporter under perioden 2002–2005). Eftersom denna information konsekvent lämnades sent var den av begränsad nytta.

Ineffektivt sätt att hämta utvärderingsuppgifter från deltagare

76. Sedan femte ramprogrammet har kommissionen systematiskt genom kontrakt begärt att deltagarna lämnar de uppgifter som behövs för att mäta hur programmens mål uppnåtts uttryckt i output, utfall och effekter enligt följande: — Inom femte ramprogrammet fanns det ett krav på att deltagarna skulle lämna en plan för det tekniska genomförandet tillsammans med en slutrapport när projektet hade avslutats. Dessa dokument var ofta av dålig kvalitet eller lämnades inte in över huvud taget. — Inom sjätte ramprogrammet ska de ta fram en plan för spridning och användning av kunskap och besvara ett standardiserat frågeformulär om socioekonomiska aspekter när de lämnar in sina årliga tekniska rapporter.

77. Dessa kontraktskrav på att överlämna uppgifter har inneburit onödiga administrativa bördor för deltagarna. Ett exempel som gäller det årliga frågeformuläret för sjätte ramprogrammet är att det samlas in uppgifter mycket oftare än nödvändigt och från hela projektpopulationen när det skulle räcka med ett representativt stickprov. Detta leder sannolikt till ”utvärderingströtthet”. Vidare har uppgifterna samlats in vid fel tidpunkt – många av de underliggande förhållanden för vilka uppgifter samlas in är medellånga eller långsiktiga till sin karaktär, så uppgiftsinsamling under projektets kontraktstid sker per definition för tidigt (47). Detta är orsaken till att de uppgifter som kommit fram genom dessa verktyg endast varit till begränsad praktisk nytta vid utvärderingar inom femte och sjätte ramprogrammet.

78. Inget av de system som för närvarande används ger dock möjlighet att på ett standardiserat sätt samla in uppgifter i slutet av (eller kort tid efter) ett projekts löptid. Berörda parter som intervjuades föreslog att denna information skulle kunna innehålla uppgifter om hur projektmål uppnåtts, avsedda (och oplanerade) resultat och hur deltagarna uppfattar det mervärde som gemenskapen tillför. Sådan information skulle också kunna ligga till grund för externa granskningar av avslutade projekt (48).

79. Tillsammans med en ökad användning av scientometriska metoder (såsom citeringsanalys) vid bedömningen av projektresultat (se punkt 83) skulle detta kunna ligga till grund för kommissionens övergång till ett mer resultatbaserat finansieringssystem för FoTU-verksamhet som medfinansieras av gemenskapen (49).

Otillräcklig användning av andra uppgiftskällor

80. Andra existerande uppgiftskällor inom kommissionen och i medlemsstaterna utnyttjas inte tillräckligt (t.ex. databaser över nationella FoTU-program och finansieringsorgan samt gemenskapens informationstjänst för forskning och utveckling (CORDIS) som sköts av kommissionens publikationsbyrå (50)).

Utvärderingsstudier som utförts av kommissionen

Rapporter som granskades av revisionsrätten

81. Revisionsrätten granskade 86 utvärderingsstudier som utförts av kommissionen (eller för dess räkning) sedan 2000. Häri ingick samtliga de 36 studier som låg till grund för de femårsutvärderingar som publicerades 2004 och de ytterligare 50 studier som slutförts sedan dess. Av dessa kan endast 23 studier anses vara genuina utvärderingar av ramprogrammet och dess program (se figur 5). Figur 5 Översikt över de utvärderingsstudier som utförts av kommissionen (eller för dess räkning) under perioden 2000–2006 Typ av studie Antal Beskrivning Utvärdering av FoTU-verksamhet 23 Utvärderingsstudier — baserade på erkända metoder (51), — som särskilt gäller programmål och i vilken utsträckning de har uppnåtts. Nationella konsekvensbedömningar som gjorts på medlemsstatsnivå 12 Studier som utförts av medlemsstater och främst handlar om nationell deltagandenivå och inte drar slutsatser om programmål. Metodstudier 5 Studier som organiserats av kommissionen för att stödja framtagningen av utvärderingsmetoder. Studier av det europeiska FoTU-landskapet 2 Studier om kontextuella analyser av hur forskningen ser ut i Europa, med undantag för ramprogrammen. I synnerhet hänvisas inte uttryckligen till den effekt ramprogrammen har på nationella system för forskning och innovation. Icke analytiska beskrivande och statistiska dokument 33 Dokument som ofta behandlar FoTU-verksamhet på ett mycket indirekt sätt och beskriver verksamheter snarare än analyserar dem. Övriga dokument 11 Olika typer av dokument som behandlar frågor av allmänpolitiskt intresse, men inte undersöker ramprogrammen i dessa sammanhang.

Utvärderingar inriktade på övervakningsfrågor snarare än på utfall och effekter

82. De två viktigaste iakttagelserna efter revisionsrättens metaanalys av dessa särskilda utvärderingsstudier är följande: — Även om man i många av studierna försöker dra slutsatser i förhållande till programmålen presenteras dessa slutsatser på ett vagt sätt och övertygar inte läsaren om att utvärderingen faktiskt har behandlat denna fråga. Detta beror ofta på att bristen på tydliga programmål på ett avgörande sätt undergräver processen (se punkt 28). — I stället för att utvärdera ramprogrammens eller deras särskilda programs (och delprograms) utfall och effekter är många av dokumenten beskrivande och, i bästa fall, inriktade på omedelbar projektoutput och programförvaltningsfrågor. Från dessa rapporter går det inte att hämta övertygande bevis om utfall eller effekter.

Otillräcklig inriktning på framtagning av nyskapande metoder

83. Användningen av traditionella metoder och tekniker dominerar (i synnerhet undersökningar, genomgång av handlingar och intervjuer) i de utvärderingar som gjordes under perioden 2000–2006 (se figur 6). Vidare användes inte (eller endast mycket sällan) ett antal andra sofistikerade men trots det väl etablerade utvärderingsmetoder och utvärderingstekniker, i synnerhet följande: — Scientometriska metoder (såsom citeringsanalys) (52). — Kvantitativa modeller (såsom kostnadseffektivitetsanalys, analys av måluppfyllelse i förhållande till kostnader och kostnadsnyttoanalys) (53). — Aktörsmodeller (eller beteendemodeller) (som fokuserar på perspektiven för dem som deltar i en intervention, såsom kännetecken på forskningsnätverk och hur dessa ändras över tiden).

84. Utvärderingsstudier som försökte behandla några av metodsvårigheterna vid bedömning av offentliga interventioner i forskningsverksamhet (se bilaga I) användes endast i ett begränsat antal fall: — Nyligen avslutades två studier om interventionslogik (54). — Endast tre studier har identifierats där man har försökt bedöma vilken effekt gemenskapsfinansiering har haft på forskningsorganisationernas beteende vid paneuropeiskt nätverksarbete (55). Detta trots det faktum att antagandet om positiva nätverkseffekter är centralt i det europeiska området för forskningsverksamhet. — Endast i ett fall har det gjorts ett försök att dra slutsatser om vilka effekter som uppnåtts på programnivå (eller delprogramnivå) genom att man kombinerat en aggregering av utvärderingsanalyser på projektnivå med andra utvärderingstekniker (56). — Inga bevis har påträffats för att andra metoder använts, såsom ”kontrafaktiska” tillvägagångssätt (eller tillvägagångssätt med kontrollgrupper). Detta tillvägagångssätt skulle vara särskilt användbart för att visa mervärdet av program på gemenskapsnivå i jämförelse med att inte intervenera alls (eller intervenera på nationell eller regional nivå).

85. De berörda parter revisionsrätten intervjuade ansåg att nyttan och relevansen av kommissionens utvärderingar kunde förbättras. Detta visar på behovet att man ytterligare utvecklar metoderna så att utvärderingssystemet kan utformas så att hänsyn tas till ramprogrammens ändrade karaktär (se punkt 7) (57).

Viktiga frågor som framkommit vid femårsutvärderingarna kunde inte behandlas med kommissionens särskilda utvärderingsstudier som grund

86. Detta illustreras också av de stora problem som panelen för femårsutvärderingen 2004 (58) hade med att besvara de utvärderingsfrågor som föreslås i mandatet. Många av dessa viktiga frågor kunde inte behandlas över huvud taget eftersom det saknades lämpliga studier utförda i förväg av kommissionen (eller för dess räkning). Panelen hade ingen möjlighet att beställa sådana studier i tid (se figur 7). Figur 7 Behandling av utvärderingsfrågor vid femårsutvärderingen 2004 Utvärderingsfrågor Behandlas i rapporten? GENOMFÖRANDE Genomfördes verksamheterna på ett effektivt sätt? Delvis Var verksamheterna kostnadseffektiva? Delvis Var verksamheterna det bästa sättet att nå de uppsatta målen? Nej Var den övergripande rättsliga ramen (inklusive regler för deltagande och kontrakt), policyinstrumenten och genomförandebestämmelserna tydliga, lämpliga och ändamålsenliga? Nej Var finansieringsnivån och andra tillgängliga resurser tillräckliga? Nej Kunde målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, reagera på ett lämpligt sätt? Ja UPPNÅDDA RESULTAT Kunde de uppsatta målen nås genom verksamheterna, och i vilken utsträckning förekom oväntade resultat? Nej Vilka är de viktigaste resultaten, särskilt i fråga om vetenskaplig, teknisk, socioekonomisk och miljömässig output, när det gäller internationellt samarbete, kunskapsöverföring och innovation, standardförberedande åtgärder, tillgänglighet, spridning och utnyttjande av forskningsresultat, utveckling av mänskliga resurser, rörlighet och utbildning, och för att stödja och stärka samordningen av forskningsverksamhet? Nej Var resultaten och deras konsekvenser och effekter generellt sätt tillfredsställande ur direkta och indirekta mottagares och berörda parters perspektiv? Nej Behandlades de relevanta målgrupperna inom näringslivet och forskarsamhället, inklusive små och medelstora företag, på ett tillfredsställande sätt? Ja Hur och i vilken utsträckning har verksamheterna bidragit till att förbättra EU-forskningens konkurrenskraft internationellt? Blev EU-forskningen ledande inom särskilda områden? Delvis Hur och i vilken utsträckning har verksamheterna bidragit till EU-politiken i allmänhet och till EU:s strategi för hållbar utveckling? Nej Finns det bevis för strukturella förändringar på nationell eller internationell nivå, särskilt när det gäller arbete i nätverk, integration och samordning av forskning, till följd av gemenskapens forskningsverksamhet? Nej Gav programmen valuta för pengarna? Hade verksamheterna bestående effekter? Nej UTVECKLING OCH FRAMTIDS-PERSPEKTIV Hur utvecklades ramprogrammen i fråga om logisk grund, mål, tematiska prioriteringar, balansen mellan nerifrån-och-upp-prioriteringar och uppifrån-och-ner-prioriteringar samt mellan grundforskning och tillämpad forskning, instrument, europeiskt mervärde och andra effekter, särskilt i skenet av utvecklingen av det europeiska området för forskningsverksamhet, Lissabonmålen och viktiga internationella ekonomiska riktmärken och riktmärken för forskning? Ja Hur uppnåddes europeiskt mervärde genom ramprogrammet? Ja Kan europeiskt mervärde uppnås genom andra internationella eller nationella mekanismer? Nej Är programmens politiska mål, prioriteringar, instrument och livscykel lämpliga för framtiden? Ja

87. Dessutom konstateras att endast när det gällde de aspekter där tydliga och kvantifierbara mål hade fastställts i programmen (såsom andelen små och medelstora företags deltagande) kunde panelmedlemmarna besvara de frågor som angetts i mandatet.

Nationella utvärderingar av ramprogrammen

88. Flera medlemsstater och associerade länder gör egna nationella utvärderingar av ramprogrammen där för dem själva relevanta och intressanta frågor behandlas (59). Under de senaste åtta åren har 14 sådana studier gjorts för nio medlemsstater och ett associerat land.

89. Trots att kommissionen uppmuntrade till standardiserade tillvägagångssätt när så var möjligt är dessa nationella effektstudier mycket heterogena (60). Eftersom de inte följer en harmoniserad metod blir resultatet att möjligheterna att aggregera, kombinera eller jämföra resultat är begränsade. Dessutom kan dessa studier till följd av sin nationella karaktär endast delvis fånga den dimension som rör det europeiska samarbetet.

90. I grönboken från 2007 om det europeiska området för forskningsverksamhet (ERA) påpekade kommissionen vikten av att korrekta analyser finns tillgängliga på ERA-nivå om forskningsverksamhetens och forskningspolitikens effekter och ändamålsenlighet, inklusive de på medlemsstats- och EU-nivå. Kommissionen konstaterade också att nuvarande arrangemang inte var tillräckliga för att möta denna utmaning eftersom man på varje interventionsnivå gör separata utvärderingar (61).

Rekommendationer

91. Kommissionen bör upprätta en handbok för utvärdering av verksamheter som finansieras genom ramprogrammen med definitioner av nyckelkoncept och terminologi samt angivande av en uppsättning lämpliga metoder för viss utvärderingsverksamhet. Handboken bör baseras på befintliga vägledningar och verktygslådor samt uppdateras regelbundet. 92. Kommissionen bör definiera sitt informationsbehov och ta hänsyn till nödvändigheten av att begränsa deltagarnas administrativa börda. 93. Kommissionen bör lämna övervakningsinformation om genomförandet av ramprogrammen i tid. I enlighet med kraven i sjunde ramprogrammets regler för deltagande bör problemen i anslutning till kommissionens IT-system för hantering av uppgifter om programförvaltning och deltagare lösas snarast. 94. Deltagarnas rapporteringsskyldigheter gentemot kommissionen bör minskas betydligt och undersökningar endast genomföras utifrån stickprov. Kontraktskravet på att lämna in indikatorbaserade uppgifter om effekterna av varje projekt bör ersättas med en kort självbedömning när projektet avslutats. 95. Kommissionen bör i större utsträckning använda existerande kompletterande uppgiftskällor (både inom kommissionen och i medlemsstater) för sina utvärderingar. 96. Kommissionen bör utnyttja hela skalan av tillgängliga utvärderingstekniker. Därutöver bör den stödja en utveckling av nyskapande tillvägagångssätt för att hantera metodsvårigheterna vid utvärdering av offentliga interventioner i forskningsverksamhet (se bilaga I) och använda dessa tillvägagångssätt vid sina egna utvärderingar. 97. Kommissionen bör rådgöra med medlemsstaterna om hur man ska maximera nyttan av utvärderingar på nationell nivå av ramprogrammen.

Spridning och användning av utvärderingsresultat

98. Utvärderingar bör bidra med relevant information och relevanta analyser som på ett ändamålsenligt sätt kan användas för programförvaltning och beslutsfattande. I synnerhet bör utvärdering ligga till grund för den välgrundade reflektion över en offentlig interventions starka och svaga sidor som är nödvändig för att dra lärdomar. Revisionsrätten kontrollerade i vilken utsträckning utvärderingarna gjordes vid lämplig tidpunkt, om resultaten meddelades och spreds till berörda parter utanför kommissionen och om kommissionen tog hänsyn till rekommendationer när den såg över pågående program (”läroprogram”).

Valet av tidpunkt för utvärdering tog inte hänsyn till vilken typ av information som realistiskt kunde förväntas

99. Revisionsrätten är medveten om att vissa typer av analys kräver ett långsiktigt perspektiv (t.ex. utvärdering av utfall och socioekonomiska effekter) och att en del aspekter hänger samman med en viss programperiod (t.ex. programmål, också inom ett visst vetenskapligt område) med andra inte gör det (se figur 8). Kommissionen har dock inte antagit ett tillvägagångssätt för sin utvärderingsverksamhet som tar hänsyn till dessa tidsperspektiv.

100. Lagstiftningen har krävt att kommissionens huvudsakliga utvärderingsverksamhet uteslutande ska inriktas på de fem år som föregår femårsutvärderingarna och därmed omfatta delar av två på varandra följande programperioder. Resultatet har blivit att utfall och effekter på medellång och lång sikt knappast har behandlats. Följaktligen har femårsutvärderingarna i allmänhet mest varit inriktade på övervakningsaspekter, frågor som rör kortsiktig programutformning och allmänna iakttagelser om ramprogrammens inriktning. Revisionsrätten välkomnar att det i lagstiftningen för sjunde ramprogrammet inte längre krävs femårsutvärderingar eller att utvärderingarna ska omfatta någon annan förutbestämd period. Figur 8 Övervaknings- och utvärderingsaspekter beroende på olika tidsperspektiv Övervakning av programgenomförandet (pågående) — Programförvaltningsaspekter (tidsåtgång för att ingå kontrakt, tidsåtgång innan betalning, antalet inlämnade respektive godkända förslag, budgetgenomförande, finansieringsandelar etc.) Utvärdering På kort sikt (kanske tidigast efter 1–2 år) — Programförvaltningsaspekter (t.ex. effektiviteten i de administrativa förfarandena) — Programutformningsaspekter (instrumentens tillgänglighet och flexibilitet, hinder för deltagande, följderna av att inte lyckas med ansökningsomgångar etc.) — Analys av deltagarprofiler (främst kvantitativ i detta skede) Utvärdering På medellång sikt (kanske efter 7 år) — Programutformningsaspekter (t.ex. instrumentens ändamålsenlighet) — Analys av deltagande (som kombinerar kvalitativa och kvantitativa aspekter, t.ex. analys av forskningsnätverk och effekter på forskares beteende) — Analys av projektoutput (62)(publikationer, uppsatser, patent, licenser, prototyper, utbildade vetenskapsmän, etc.) Utvärdering På lång sikt (kanske efter > 10 år) — Bedömning av utfall och effekter Källa: Europeiska revisionsrätten.

101. Denna brist hos femårsutvärderingarna när det gäller att bedöma ramprogrammens utfall och effekter har också konstaterats av kommissionens experter enligt följande: — Panelen för femårsutvärderingen 2004 konstaterade att utvärderingar bör omfatta och lägga tillräcklig vikt vid både långsiktiga och kortsiktiga aspekter och att medel skulle kunna frigöras för att möjliggöra mer ambitiösa långsiktiga utvärderingsstudier där strukturella och mer omfattande socioekonomiska aspekter skulle kunna studeras på ett mer systematiskt sätt (63). — I en studie beställd av GD Forskning konstaterades att nuvarande praxis vid utvärdering av EU:s FoTU-verksamhet (som innefattar kontinuerlig övervakning, femårsbedömningar och halvtidsutvärderingar) kännetecknas av en stark fokusering på övervakning jämfört med konsekvensbedömning, och att det för att skifta efterfrågan och förväntningar mot socioekonomiska effekter skulle krävas en ny ram för utvärdering och övervakning som skulle kräva större ansträngningar på effektnivån än när det gäller övervakning av resultat (64).

102. Frågan om val av tidpunkt påverkar också de särskilda utvärderingar som krävs enligt lagstiftningen. Till exempel begärdes Marimónrapporten 2004, där de nya instrument som infördes i sjätte ramprogrammet (2003–2006) analyserades, för tidigt vilket resulterade i att det endast fanns få eller inga praktiska erfarenheter eller empiriska fakta som kunde ligga till grund för dess slutsatser (65).

Meddelande och spridning

103. Kommissionen kan på egen hand utveckla och anpassa operativa arbetsprogram som följer kortsiktiga cykler. Dessa arbetsprogram ska godkännas av den berörda programkommittén. Detta skulle kunna vara ett tillfälle att justera programförvaltningen och också att omfördela budgetar inom delprogrammen. Revisionsrätten fann inga bevis för att kommissionen utnyttjar denna möjlighet (se punkt 107).

104. Utöver detta är det så gott som omöjligt för kommissionen att göra stora förändringar med tanke på hur ramprogram är utformade och antas, såsom att ändra programmål eller omfördela budgetar mellan delprogram. Endast lagstiftaren kan genomföra så omfattande ändringar i samband med en översyn av ramprogramlagstiftningen (såsom 2010 för sjunde ramprogrammet) eller när följande ramprogram antas. Av detta skäl har det i lagstiftningen angetts att de stora utvärderingarna tidsmässigt ska göras så att man på bästa sätt ska kunna ta hänsyn till resultaten av dem vid beslutsfattande.

105. Några av de största användarna av kommissionens utvärderingar är därför ”forskningsgeneraldirektoraten” själva (66). I ramprogramlagstiftningen krävs dock uttryckligen att utvärderingarna också ska överlämnas till Europaparlamentet och rådet.

106. I revisionsrättens enkät vid Europaparlamentets utskott för industrifrågor, forskning och energi och rådets CREST-kommitté sade emellertid en majoritet av de tillfrågade att de inte kände sig tillräckligt informerade om genomförandet och resultaten av ramprogrammen (se figur 9) (67).

Uppföljning av utvärderingsresultat

107. I sin årliga genomgång av utvärderingar sammanfattar kommissionen resultat och åtgärder som vidtagits som en följd av dess utvärderingar (68). När det gäller uppföljning har kommissionen också lämnat formella svar på resultaten och rekommendationerna från femårsutvärderingarna och de specifika utvärderingar som krävs enligt lagstiftningen och i möjligaste mån vidtagit lämpliga åtgärder för att avhjälpa de brister som konstaterats. Så var det emellertid inte när det gällde många av de andra utvärderingsrapporter revisionsrätten gick igenom, och inga bevis har påträffats för att hänsyn tagits till deras resultat och rekommendationer för att ändra arbetsprogram. På samma sätt anges inte i generaldirektoratens uttalanden om den verksamhetsbaserade budgeten eller i deras årliga verksamhetsrapporter i vilken utsträckning utvärderingsresultat har lett till åtgärder.

Rekommendationer

108. Kommissionen bör fastställa vilken typ och omfattning av utvärdering som rimligen kan förväntas vid de datum som anges i lagstiftningen (2008, 2010 och 2015), förklara hur utvärderingar kan användas för att anpassa program (”läroprogram”) och närmare ange vilket bidrag utvärderingar kan ge till politiska beslut. Kommissionen bör särskilt klargöra vilket tillvägagångssätt den tänker använda för att utvärdera de långsiktiga resultaten av tidigare och pågående ramprogram med tanke på att det kan ta sju till tio år innan sådana resultat förverkligas (se figur 8). 109. Kommissionen bör se över sitt förfarande för att meddela och sprida sina utvärderingsresultat för att se till att berörda parter får nödvändig information. I synnerhet bör ”forskningsgeneraldirektoraten” lämna ett formellt svar på alla utvärderingar och offentliggöra studierna i tid, tillsammans med sina svar. ”Forskningsgeneraldirektoraten” bör också i sina uttalanden om den verksamhetsbaserade budgeten och i de årliga verksamhetsrapporterna rapportera om vilken uppföljning som gjorts och använda rekommendationerna när arbetsprogram uppdateras och framtida program utformas.

ÖVERGRIPANDE SLUTSATS

110. Revisionsrätten är medveten om de inneboende svårigheterna med att utvärdera ramprogram, i synnerhet när det gäller att bedöma de långsiktiga resultaten, och att det är svårt att definiera bästa praxis.

111. Revisionsrätten anser att utvärdering är grundläggande för förvaltningen av program och för framtida planering och beslutsfattande. Utvärdering ger också en grund för ansvarsutkrävande. Den ger värdefull information om vilka avsiktliga (eller oavsiktliga) resultat som har uppnåtts, i vilken utsträckning programmålen har uppnåtts, programmens relevans och nytta samt hur effektivt och ändamålsenligt programmets genomförande har varit. Eftersom det är Europaparlamentet och rådet som fattar beslut om ramprogrammens allmänna inriktning, budget och programutformning behövs det ett öppet, trovärdigt och stabilt utvärderingssystem för att förse dem med lämplig information.

112. Kommissionen inrättade en övergripande ram för utvärdering 2000 och 2002 som den sedan omarbetade 2007. Även om det under den period revisionsrätten granskade inte kunde iakttas några större förbättringar när det gäller hur utvärderingarna av ramprogram och de program som ingår i dem planerades, utformades och genomfördes, har ”forskningsgeneraldirektoraten” generellt sett uppfyllt de formella krav som gäller för hela kommissionen.

113. För den period som omfattas av denna rapport, och i enlighet med kraven i ramprogramlagstiftningen, hade ”forskningsgeneraldirektoraten” infört ett utvärderingssystem, och kommissionen kan peka på ett stort antal utvärderingsstudier. Dock kvarstår det faktum att endast lite eller ingenting är känt om uppnåendet av programmål och ramprogrammens resultat. Detta beror på att utvärderingarna i allmänhet har varit inriktade på kortsiktiga aspekter av programgenomförandet. Detta har lett till att kommissionens utvärderingar har varit till begränsad nytta för beslutsfattare, berörda parter och till och med för kommissionen själv.

114. Med tanke på utvärderingars betydelse för förvaltningen av program och för beslutsfattande behöver kommissionens syn på utvärdering av ramprogrammen och de program som ingår i dem omprövas med tanke på nya politiska utmaningar, ökade resurser, en breddad inriktning på gemenskapens forskningspolitik och den nyligen genomförda reformen av kommissionen. Detta rekommenderade också EURAB i sin rapport 2007.

115. Revisionsrätten anser att användning av en uttalad interventionslogik vid utformningen av framtida ramprogram skulle ge mer fokuserade och bättre strukturerade program. Det skulle också bidra till kommissionens politik för bättre lagstiftning som syftar till en bättre utformad, enklare, effektivare och begripligare lagstiftning (69).

116. Utvärderingarna av ramprogram och de program som ingår i dem skulle bli mer ändamålsenliga om målen och indikatorerna för programmen var tydligare från början, om ”forskningsgeneraldirektoraten” kom överens om en inte alltför föreskrivande utvärderingsstrategi och om man använde mer avancerade utvärderingsmetoder, inklusive kvantitativa metoder.

117. Revisionsrätten noterade också ett antal områden där det finns utrymme för kommissionen att ompröva sina befintliga organisatoriska arrangemang för utvärdering av ramprogram. Det skulle kunna vara fördelaktigt att — involvera utvärderingspanelerna tidigare i utvärderingsprocessen och därigenom stötta kommissionen under och efter programperioden samt öka specialiseringen genom att ha paneler för särskilda program och, när så är lämpligt, delprogram, — komplettera de nuvarande generaldirektoratsspecifika utvärderingsenheterna med ett gemensamt utvärderingskontor med ansvar för att samordna utvärderingarna av ramprogrammen.

118. Rekommendationerna i denna rapport baseras antingen på befintlig praxis inom kommissionen eller på internationell god praxis. När det gäller resurser står det klart att införandet av det föreslagna tillvägagångssättet vid utvärdering av program skulle leda till högre kostnader. Enligt revisionsrättens uppfattning är det dock högst sannolikt att detta leder till minst lika stora vinster.

Denna rapport har antagits av revisionsrätten vid dess sammanträde i Luxemburg den 22 november 2007. För revisionsrätten Hubert WEBER Ordförande

(1) Enligt OECD kan forskning och utveckling definieras som skapande arbete som bedrivs systematiskt för att öka den totala kunskapsnivån, bland annat kunskap om människan, kulturen och samhället, samt användning av dessa kunskaper för nya tillämpningar (se OECD, Frascatimanualen – Proposed standard practice for surveys on research and experimental development, Paris, 2002, s. 30). I gemenskapssammanhang används förkortningen FoTU som täcker både teknik, forskning och utveckling.

(2) GD Forskning är det generaldirektoratet som huvudsakligen förvaltar och samordnar ramprogrammen. Fem andra GD förvaltar också (delar av) särskilda program. Det viktigaste av dessa är GD Informationssamhället och medier (övriga är GD Energi och transport, GD Näringsliv, GD Fiske och havsfrågor samt Gemensamma forskningscentret).

(3) Vid Europeiska rådets möte i Lissabon 2000 sattes målet upp att EU ska bli den mest dynamiska, konkurrenskraftiga, hållbara, kunskapsbaserade ekonomin till 2010, med full sysselsättning och stärkt ekonomisk och social sammanhållning.

(4) Europeiska rådet kom 2002 överens om att de sammanlagda utgifterna för FoTU och innovation i Europeiska unionen skulle ökas med målet att närma sig 3 % av BNP till 2010. Det angav vidare att två tredjedelar av dessa nya investeringar skulle komma från den privata sektorn (se Europeiska kommissionen, ”Investering i forskning: en handlingsplan för Europa”, meddelande från kommissionen till Europaparlamentet, rådet, Europeiska ekonomiska och sociala kommittén och Regionkommittén, KOM(2003) 226 slutlig, s. 7).

(5) Vid direkt förvaltning utför kommissionen de operationer som krävs för att genomföra sin budgetgenomförande verksamhet utan att medlemsstaterna eller tredje länder där mottagarna av medel är bosatta deltar.

(6) Sedan 2006 hade över 22 000 offentliga och privata juridiska personer deltagit enbart i sjätte ramprogrammet, i allmänhet inom konsortier med flera partner.

(7) Detta är en samarbetsmetod som baseras på principen om frivilligt mellanstatligt samarbete. Den vilar huvudsakligen på ömsesidigt lärande, benchmarking och utbyte av bästa praxis.

(8) Artiklarna 27, 48, 59 och 60 i rådets förordning (EG, Euratom) nr 1605/2002 av den 25 juni 2002 (EGT L 248, 16.9.2002, s. 1).

(9) Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007. Europeiska kommissionen, GD Budget, meddelande till kommissionen från Michaele Schreyer om att fokusera på resultat och förbättra utvärderingen av kommissionens verksamheter (Focus on Results: Strengthening Evaluation of Commission Activities), SEK(2000) 1051, 26 juli 2000.

(10) Europaparlamentets och rådets beslut nr 1982/2006/EG av den 18 december 2006 om Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013) (EUT L 412, 30.12.2006, s. 1): artikel 7.1; den övervakningsinformation som kommissionen ska lämna till programkommittéerna anges i besluten om de särskilda programmen (se till exempel artikel 8.4 och bilaga V i rådets beslut 2006/971/EG av den 19 december 2006 om det särskilda programmet Samarbete för genomförande av Europeiska gemenskapens sjunde ramprogram för verksamhet inom området forskning, teknisk utveckling och demonstration (2007–2013), EUT L 400, 30.12.2006, s. 86).

(11) Europeiska kommissionen, meddelande till rådet om en handlingsplan för gemenskapen när det gäller utvärdering av gemenskapens FoTU-verksamhet för åren 1987–1991, KOM(86) 660 slutlig, 20.11.1986, som svar på rådets resolution av den 28 juni 1983.

(12) Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1992–1996 (Five-year Assessment of the European Union Research and Technological Development Programmes, 1992–1996), rapport från den oberoende expertpanelen under ledning av Etienne Davignon (1997), Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1995–1999 (Five-year Assessment of the European Union Research and Technological Development Programmes, 1995–1999), rapport från den oberoende expertpanelen under ledning av Joan Majó (juli 2000), Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (av den 15 december 2004).

(13) Europeiska kommissionen, rapport om utvärderingen av ändamålsenligheten i sjätte ramprogrammets nya instrument (Evaluation of the effectiveness of the New Instruments of Framework Programme VI), från högnivåexpertpanelen under ledning av professor Ramon Marimón, 21 juni 2004.

(14) Europeiska kommissionen, GD Budget, meddelande till kommissionen från Michaele Schreyer om att fokusera på resultat och förbättra utvärderingen av kommissionens verksamheter (Focus on Results: Strengthening Evaluation of Commission Activities), SEK(2000) 1051, juli 2000. Europeiska kommissionen, GD Budget, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), C(2002) 5267, 23.12.2002.

(15) Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007.

(16) Europeiska kommissionens arbetsdokument om konsekvensanalys och förhandsbedömning (Impact assessment and ex-ante evaluation), SEK(2005) 430.

(17) Europaparlamentets utskott för industrifrågor, forskning och energi ansvarar (i synnerhet) för industripolitiken, forskningspolitiken (inklusive spridning och utnyttjande av forskningsresultat), rymdpolitiken, verksamheterna vid Gemensamma forskningscentret, Euratomfördraget samt informationssamhället och informationsteknik.

(18) Kommittén för vetenskaplig och teknisk forskning inrättades genom rådets resolution av den 14 januari 1974 och består av företrädare för de nationella myndigheter som ansvarar för medlemsstaternas vetenskapliga och tekniska politik. Kommittén har en rådgivande roll och informerar kommissionen och rådet främst om frågor som gäller samordningen av nationell FoTU-politik samt övervakningen och utvärderingen av ramprogrammen.

(19) Logiska modeller som visar hur input i de olika verksamheterna leder till förväntade resultat är det lämpligaste sättet att illustrera interventionslogik. Med hjälp av sådana modeller är det möjligt att på ett tydligt sätt förklara de antaganden som ligger till grund för utformningen av ett program och hur övergripande mål delas upp i operativa mål.

(20) Europeiska kommissionen, GD Budget, En praktisk handledning för kommissionens avdelningar om utvärdering av EU-verksamhet (Evaluating EU activities: a practical guide for the Commission services), juli 2004, s. 87 och 106.

(21) Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (av den 15 december 2004), avsnitt 6 om utvärdering av ramprogrammet, s. 19.

(22) Länder som tar emot externt bistånd ska lägga fram logiska modeller för sin gemenskapsfinansiering. Europeiska kommissionen, metoder för stödleverans, volym 1, riktlinjer för förvaltningen under projektcykeln (Aid delivery methods, Volume 1, Project cycle management guidelines), avsnitt 5 om logiska ramar (The logical framework approach), mars 2004.

(23) Artikel 27.3 i förordning (EG, Euratom) nr 1605/2002.

(24) Under 2006 strukturerades politikområdet ”08 forskning” utifrån de särskilda programmen (och delprogrammen) i det pågående sjätte ramprogrammets programperiod (och ersattes följaktligen med en annan struktur 2007), medan det nuvarande och föregående särskilda programmet inom politikområdet ”09 informationssamhället och medier” slogs samman till en verksamhet i den verksamhetsbaserade budgeten (Europeiska kommissionen, GD Forskning, direktorat A: Samordning av gemenskapsåtgärder, planering, programplanering, utvärdering, årlig förvaltningsplan 2006 (Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006), 20.12.2005. Europeiska kommissionen, GD Informationssamhället och medier, årlig förvaltningsplan för 2006 (2006 Annual management plan), 23.12.2005).

(25) När det gäller GD Forskning ändrades målen för den verksamhetsbaserade förvaltningen (och indikatorerna för att mäta hur de uppnåtts) från ett år till nästa. GD Informationssamhället och medier å andra sidan använde fleråriga mål som dock inte var desamma som programmålen (eller de mål som angavs på arbetsprogramnivå).

(26) Europeiska kommissionen, tjänsten för internrevision om effektiviteten och resultaten under den strategiska planeringen och programplaneringen/den verksamhetsbaserade förvaltningen (Review of effectiveness and efficiency of the SPP/ABM cycle), generalsekretariatet och GD Budget, 2005, punkt 4.1, s. 31.

(27) Meddelande från kommissionen till rådet om en handlingsplan för gemenskapen om utvärdering av gemenskapens program för forskning och utveckling (Communication from the Commission to the Council on a Community plan of action relating to the evaluation of Community research and development programmes), KOM(83) 1 slutlig, 19.1.1983.

(28) Meddelande från kommissionen till rådet och Europaparlamentet om oberoende extern övervakning och utvärdering av gemenskapsåtgärder på området för forskning och teknisk utveckling (Independent external monitoring and evaluation of Community activities in the area of research and technological development), KOM(1996) 220 slutlig, 22.5.1996.

(29) Varje generaldirektorat som genomför ramprogram dokumenterar sina planerade utvärderingar i årliga (och fleråriga) utvärderingsplaner. Dessa planeringsdokument kan dock inte i sig sägas utgöra en utvärderingsstrategi.

(30) Artikel 27.4 i förordning (EG, Euratom) nr 1605/2002.

(31) Loi de programme pour la recherche no 2006–450 av den 18 april 2006 och Décret no 2006–1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)) av den 3 november 2006.

(32) Agencia Nacional de Evaluación y Prospectiva inom Ministerio de Educación y Ciencia: Orden ECI/1252/2005 av den 4 maj 2005 varigenom Comisión Asesora de Evaluación y Prospectiva (rådgivande kommissionen för utvärdering och framtidsforskning) inrättas.

(33) År 2004 inrättade Deutsche Forschungsgemeinschaft (DFG) ett specialiserat institut, Institut für Forschungsinformation und Qualitätssicherung (IFQ), och gav det ansvaret för att utveckla och standardisera utvärderingsmetoder och kvalitetssäkring samt för att bedöma FoTU-åtgärder som finansieras av DFG.

(34) För sjunde ramprogrammet har 15 expertgrupper inrättats av kommissionen, vilket ska jämföras med 12 expertgrupper för sjätte ramprogrammet och 17 för femte ramprogrammet. Dessa expertgrupper ger rådgivning till kommissionen om policy- och programaspekter i anslutning till ramprogrammen. Det bör dock noteras att dessa expertgrupper inte helt har inrättats efter ramprogrammens programstruktur. Med andra ord finns det inte en expertgrupp för varje särskilt program (eller delprogram).

(35) I Kanada har nästan alla federala regeringsdepartement inrättat permanenta utvärderingskommittéer som består av erfarna departementstjänstemän och oftast även berörda externa parter och som ska övervaka utvärderingssystemet (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee – Mandate and Membership).

(36) Europeiska kommissionen, övervakningsrapport 2004 om genomförandet av verksamhet inom ramen för EG och Euratom och motsvarande särskilda program (Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes) augusti 2005, s. 5.

(37) Europeiska kommissionen om att planera och optimera kommissionens personalresurser på ett sätt som gynnar EU:s prioriteringar (Planning and optimising Commission human resources to serve EU priorities), SEK(2007) 530, 24.4.2007.

(38) Europeiska kommissionen, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), K(2002) 5267, 23.12.2002. Bilaga 1, fotnot 209, i Europeiska kommissionens arbetsdokument om konsekvensanalys och förhandsbedömning (Impact assessment and ex-ante evaluation), SEK(2005) 430, 6.4.2005.

(39) Även Europeiska rådgivande forskningskommittén (EURAB) rekommenderade 2007 att anslagen till utvärdering av ramprogrammen bör ökas (EURAB:s rekommendationer om efterhandsutvärdering (Recommendations on Ex-Post Impact Assessment), juli 2007).

(40) Punkterna 116 och 122 i särskild rapport nr 1/2004 om förvaltningen av indirekta FoTU-åtgärder inom femte ramprogrammet för forskning och teknisk utveckling (1998–2002) (EUT C 99, 23.4.2004).

(41) Europeiska kommissionen, GD Budget, meddelande till kommissionen från Dalia Grybauskaitė, efter överenskommelse med ordföranden, om att möta strategiska behov och öka användningen av övervakning (Responding to strategic needs: reinforcing the use of evaluation), SEK(2007) 213, 21.2.2007. Europeiska kommissionen, GD Budget, meddelande till kommissionen från ordföranden och Michaele Schreyer om utvärderingsnormer och god praxis (Evaluation Standards and Good Practice), K(2002) 5267, 23.12.2002.

(42) 14 generaldirektorat har sådana utvärderingshandböcker för de politikområden och program som de ansvarar för (Europeiska kommissionen, GD Budget – utvärderingsenheten, en översikt över utvärderingshandböcker vid kommissionen (Overview of Evaluation Guides in the Commission), oktober 2004.

(43) Fahrenkrog, G. et al, RTD Evaluation Toolbox – Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al.; Assessing the Socio-economic Impacts of the Framework Programme, University of Manchester, 2002.

(44) Även om kommissionen i allmänhet har sådan information om deltagare kan den ofta inte på ett enkelt sätt användas för detaljerad analys eftersom uppgifterna om en viss deltagare varken finns på ett enda ställe eller nödvändigtvis registreras i kompatibla format. Detta gör det svårt att spåra deltagarens deltagande över tiden, t.ex. för att bedöma orsaker till icke deltagande, och förhållanden mellan deltagare, t.ex. för att studera nätverkseffekter (se punkt 84).

(45) Tabell 2.3 i årsrapporten för budgetåret 2006, punkt 7.13 i årsrapporten för budgetåret 2005, punkterna 6.8 och 6.10 i årsrapporten för budgetåret 2004, punkterna 6.9 och 6.70 i årsrapporten för budgetåret 2003, punkterna 105–108 i särskild rapport nr 1/2004, punkt 57 i yttrande nr 1/2006 över förslaget till Europaparlamentets och rådets förordning om regler för företags, forskningscentrums och universitets deltagande i sjunde ramprogrammet och för spridning av forskningsresultat (2007–2013) (EUT C 203, 25.8.2006).

(46) Artikel 173 i fördraget om upprättandet av Europeiska gemenskapen: ”I början av varje år ska kommissionen överlämna en rapport till Europaparlamentet och rådet. Rapporten ska särskilt avse dels verksamheterna inom området för forskning och teknisk utveckling och spridningen av resultaten av dessa verksamheter under det föregående året, dels arbetsprogrammet för det innevarande året.”

(47) Det har inte gjorts några systematiska försök att samla in uppgifter från deltagare efter att projektet avslutats med undantag för särskilda undersökningar inom ramen för utvärderingar. Användningen av undersökningar har hindrats av det faktum att det inte finns några lagstadgade krav på att deltagarna ska lämna sådana analytiska uppgifter, till skillnad från vad som gäller för flera nationella FoTU-program (t.ex. i Tyskland).

(48) Punkt 94 i särskild rapport nr 1/2004 och punkt 56 i yttrande nr 1/2006.

(49) Punkt 7.33 i årsrapporten för budgetåret 2006, punkterna 7.8 och 7.29 i årsrapporten för budgetåret 2005 och punkterna 58–61 i yttrande nr 1/2006.

(50) CORDIS är den enda databas med information om förslag, projekt och resultat som är gemensam för hela ramprogrammet, täcker flera programperioder och är åtkomlig utanför kommissionen. Uppgifterna om enskilda projekt i CORDIS uppdateras dock ofta inte när projektet väl har valts ut. Fram till och med sjätte ramprogrammet var deltagare i ramprogrammen från den privata och offentliga sektorn inte skyldiga att offentliggöra sina resultat (Europeiska rådgivande forskningskommittén (EURAB) om vetenskaplig publicering och en politik för öppen åtkomst (Scientific publication: policy on open access), december 2006).

(51) Hanne Foss Hansen om att välja utvärderingsmodeller, en diskussion om att utforma utvärderingar (Choosing evaluation models: A discussion on evaluation design), Evaluation, volym 11 nr 4, 2005, s. 447–462.

(52) Fram till och med sjätte ramprogrammet var deltagare i ramprogrammen från den privata och offentliga sektorn inte skyldiga att offentliggöra sina vetenskapliga resultat. Att garantera fri offentlig tillgång till gemenskapsfinansierad forskning genom att göra offentliggörandet obligatoriskt rekommenderades i december 2006 av EURAB. Det föreslogs också att kommissionen ska inrätta ett webbaserat centrallager för databaser med offentliggjorda projektresultat (se EURAB, Scientific publication: policy on open access, december 2006).

(53) Det noteras att sådana modeller användes för att förutsäga de mikro- och makroekonomiska effekterna av det planerade sjunde ramprogrammet (se Europeiska kommissionens övervakningsrapport 2004 om genomförandet av verksamhet inom ramen för EG och Euratom och motsvarande särskilda program, augusti 2005, s. 23–25). Det finns dock inga bevis för att denna bedömning av de potentiella ekonomiska effekterna av ramprogrammen är kopplad till en plan för utvärdering i efterhand.

(54) GD Informationssamhället och medier: IST-FoTU – övervakning och utvärdering: resultat och effektindikatorer (2003–2004), (IST-RTD Monitoring and Evaluation: Results and impact indicators (2003–2004)), 2005; Nätverk för innovation i informationssamhället – utveckling och spridning i Europa (Networks of innovation in information society development and deployment in Europe), 2006.

(55) GD Informationssamhället och medier: ERAnets – en utvärdering av nätverken för samarbete mellan deltagare i IST-forskning och hur dessa utvecklats till samarbete i det europeiska området för forskningsverksamhet (slutrapport) (ERAnets – Evaluation of NetETworks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area (Final Report) 2005; Utvärdering av utvecklingen mot ett europeiskt forskningsområde för teknik i informationssamhället (Evaluation of progress towards a European Research Area for information society technologies), 2005; Nätverk för innovation i informationssamhället – utveckling och spridning i Europa (Networks of innovation in information society development and deployment in Europe), 2006.

(56) GD Informationssamhället och medier: ramkontrakt för konsekvensbedömningar av forskning om informationssamhällets teknik.

(57) EURAB:s rekommendationer om efterhandsutvärdering (Recommendations on Ex-Post Impact Assessment), juli 2007.

(58) Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (15 december 2004), bilaga1.

(59) Europeiska kommissionen om effekterna av EU:s FoTU-politik på det europeiska vetenskapliga och tekniska forskningssamhället, sammanfattande slutrapport om nationella studier om effekter (The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report), 1995.

(60) Europeiska kommissionen om att utforma en harmoniserad metod för effektstudier av EU:s FoTU-ramprogram (Design of an harmonized impact study methodology for the R&D EU Framework Programmes), 1992.

(61) Europeiska kommissionens arbetsdokument om det europeiska området för forskningsverksamhet: nya perspektiv (The European Research Area: new perspectives) avsnitt 3.3.3 om ERA och följderna för faktabaserad övervakning och utvärdering (ERA and the implications for evidence-based monitoring and evaluation), SEK(2007) 412/2, 4.4.2007, s. 93.

(62) Det bör noteras att bidragsöverenskommelser för projekt undertecknas under hela programperioden, och vanligtvis börjar de första överenskommelserna gälla i slutet av det första året av ett program. Överenskommelserna sträcker sig normalt över tre till fem år, vilket gör att den slutliga outputen kan förväntas tidigast efter fyra till sex år.

Källa: Europeiska revisionsrätten.

(63) Europeiska kommissionen, femårsutvärdering av Europeiska unionens program för forskning och teknisk utveckling 1999–2003 (Five-year Assessment of the European Union Research Framework Programmes, 1999–2003), rapport från den oberoende expertpanelen under ledning av Erkki Ormala (