DE Amtsblatt der Europäischen Union C 26/1

SONDERBERICHT Nr. 9/2007

über die „Evaluierung der EU-Rahmenprogramme im Bereich Forschung und technologische Entwicklung — Könnte die Kommission ihren Ansatz verbessern?“, zusammen mit den Antworten der Kommission

(gemäß Artikel 248 Absatz 4 Unterabsatz 2 des EG-Vertrags)

(2008/C 26/01)

INHALT

I-V ZUSAMMENFASSUNG

1-14 EINLEITUNG

1-7 Rolle der Europäischen Union bei der Förderung von FTE-Maßnahmen

8-14 Evaluierung und Controlling der Durchführung der Rahmenprogramme

15-18 PRÜFUNGSUMFANG UND PRÜFUNGSANSATZ

19-109 PRÜFUNGSBEMERKUNGEN

19-37 Interventionslogik, Zielsetzung und Leistungsindikatoren

38-49 Evaluierungsstrategie

50-68 Organisation der Evaluierungstätigkeit zu den Rahmenprogrammen

69-97 Evaluierungsmethoden und -techniken

98-109 Verbreitung und Nutzung der Evaluierungsergebnisse

110-118 GESAMTSCHLUSSFOLGERUNG

Anhang I: Messung der Auswirkungen und Ergebnisse öffentlicher Interventionen im FTE-Bereich

Anhang II: Vorschriften für Programmcontrolling und Evaluierung in Legislativbeschlüssen und -entscheidungen für die Rahmenprogramme 4-7

Anhang III: Hauptunterschiede bei der Ex-post-Evaluierung von Forschungsprogrammen zwischen der EU (RP4-RP6), den USA und Kanada

Anhang IV: Mögliche Gremienstruktur für das RP7

Antworten der Kommission

ZUSAMMENFASSUNG

I. Die FTE-Rahmenprogramme (RP) der Gemeinschaft sind das wichtigste Instrument zur Förderung der öffentlichen Forschung in der Europäischen Union. Für die Verwaltung der RP und die Evaluierung der Ergebnisse ist die Kommission zuständig.

II. Die Prüfung bezog sich auf die seit 1995 für die vergangenen drei Programmlaufzeiten (RP4, RP5, RP6) geltenden Programmcontrolling- und Evaluierungsmodalitäten und umfasst ferner einen Ausblick auf das RP7 (2007-2013). Die Prüfung wurde gemeinsam mit dem Ausschuss der Rechnungsprüfer der EFTA und unter Mitwirkung externer Sachverständiger durchgeführt.

III. Die Prüfung galt der Frage, ob der Ansatz der Kommission zur Evaluierung der Ergebnisse der RP zweckmäßig war. Vor diesem Hintergrund prüfte der Hof, ob die Kommission die für Evaluierungen geltenden Rechtsvorschriften einhielt, und vergewisserte sich, ob das Evaluierungs- und Programmcontrollingsystem den Erwartungen der maßgeblichen Akteure entsprach. Die Prüfung des Hofes stützte sich insbesondere auf folgende Fragestellungen: i) Lag den RP und den zugehörigen Programmen eine Interventionslogik zugrunde, die als solide Grundlage für Evaluierung und Programmcontrolling herangezogen werden konnte? ii) Hatte die Kommission eine Evaluierungsstrategie für die RP festgelegt? iii) War durch den Aufbau des Evaluierungssystems der Kommission für die RP sichergestellt, dass die Evaluierungstätigkeit sachgerecht koordiniert war, dass ausreichende Mittel dafür bereitgestellt wurden und dass sie von den Beteiligten als hinreichend unabhängig wahrgenommen wurde? iv) War der für die Evaluierung verwendete methodische Ansatz zufrieden stellend? v) Lieferten die Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen, die zur Verbesserung laufender und zur Vorbereitung künftiger RP herangezogen werden konnten?

IV. Der Hof gelangte zu folgenden Feststellungen und Schlussfolgerungen: i) Da eine explizite Interventionslogik fehlte, die Programmziele unzulänglich definiert waren und die Leistungsmessung unzureichend war, konnten kein wirksames Programmcontrolling und keine wirksame Evaluierung gewährleistet werden. ii) Die für die Durchführung der RP zuständigen Generaldirektionen (nachstehend Forschungsgeneraldirektionen genannt) verständigten sich nicht auf eine umfassende Evaluierungsstrategie, weshalb die einzelnen Kommissionsdienststellen unterschiedlich vorgingen. Dies macht sich vor allem in der unzureichenden Evaluierung erheblicher Teile der RP bemerkbar. iii) Die Evaluierung der RP erfolgte dezentral, die zwischen den für die Durchführung der RP zuständigen Generaldirektionen bestehenden Koordinierungsmechanismen waren nicht wirksam, und die zentralen Dienststellen der Kommission waren nicht mit der Durchsetzung betraut. Insgesamt gesehen hielten die Forschungsgeneraldirektionen die formalen Vorgaben der Kommission für Evaluierungen aber ein. Der Einsatz von Gremien aus von der Kommission bestellten hochrangigen externen Sachverständigen für die wichtigsten Evaluierungsrunden hat sich im Gemeinschaftskontext bewährt. Diese in einem zeitlich begrenzten Rahmen eingesetzten Gremien wurden allerdings nicht frühzeitig genug in den Ablauf einbezogen, um auf die Sammlung von Nachweisen Einfluss zu nehmen, und hatten kaum Gelegenheit, relevante Fragen im Zeitverlauf weiterzuverfolgen. Da nur ein Gremium für das gesamte RP (zusätzlich zu einem Gremium für ein spezifisches Programm) herangezogen wurde, wurden spezifische Aspekte der verschiedenen wissenschaftlichen Bereiche der RP nicht ausreichend betrachtet. iv) Die bereitgestellten methodischen Anleitungen waren unzulänglich, die Sammlung relevanter Daten erwies sich für die Evaluatoren als schwierig, und Evaluierungsstudien über die längerfristigen Wirkungen und Auswirkungen der RP wurden, anders als Studien über kurzfristige Aspekte der Programmdurchführung, nicht durchgeführt. v) Aus den vorstehenden Gründen und aufgrund der Tatsache, dass die Evaluierungen für eine Würdigung der wichtigsten Aspekte vielfach zu früh eingeleitet wurden, war das von der Kommission für die RP eingerichtete Evaluierungssystem für die politischen Entscheidungsträger, die maßgeblichen Akteure und sogar die Kommission selbst nur bedingt von Nutzen. Im Grunde ist über die Verwirklichung der Programmziele und die Ergebnisse der RP wenig bekannt.

V. Der Hof spricht folgende Empfehlungen aus: i) Die Interventionslogik sollte in künftigen Rechtsvorschriften explizit dargelegt werden. Dabei sollten die zugrunde liegenden Annahmen erläutert, die Verknüpfung zwischen wissenschaftlichen und sozioökonomischen Zielen klar herausgestellt und zweckmäßige Leistungsindikatoren entwickelt werden. ii) Die für die Durchführung der RP zuständigen Generaldirektionen sollten eine umfassende Evaluierungsstrategie ausarbeiten (und sich darauf verständigen), die vor allem einen einheitlichen Ansatz bezüglich der Mindestanforderungen für detaillierte Evaluierungen enthalten sollte, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsbereiche Rechnung getragen wird. iii) Die Einrichtung eines gemeinsamen Evaluierungsamts zur Koordinierung der Evaluierungstätigkeiten der Forschungsgeneraldirektionen für das gesamte RP sollte ebenso in Erwägung gezogen werden wie die Schaffung eines Systems von Gremien (und Untergremien), die sich aus externen Sachverständigen zusammensetzen. Diese Gremien sollten frühzeitig genug eingesetzt werden, um die Kommission wirksam unterstützen zu können, und diese Unterstützung sollte sich auf die gesamte Programmlaufzeit und darüber hinaus erstrecken. iv) Die Datenanforderungen für Evaluierung und Programmcontrolling sollten sorgfältig analysiert und Daten aus anderen vorhandenen Quellen umfassender genutzt werden. Die Kommission sollte auch die Berichterstattungsauflagen für die Teilnehmer rationeller gestalten. Schließlich sollte sie ein umfassendes Evaluierungshandbuch für die RP ausarbeiten und ein breiteres Spektrum an Methoden und Techniken entwickeln, die für Evaluierungen in diesem Bereich zu verwenden sind. v) Die Kommission sollte Art und Umfang der Evaluierung danach ausrichten, was angesichts der in der Rechtsgrundlage für das RP7 festgelegten Fristen realistisch erfassbar ist, und klar darlegen, auf welche Weise Evaluierungen zur Anpassung von Programmen („lernende Programme“) verwendet werden können und welchen Beitrag sie zu strategischen Entscheidungen leisten können.

EINLEITUNG

Rolle der Europäischen Union bei der Förderung von FTE-Maßnahmen

1. Die Forschung und technologische Entwicklung (FTE) (1) bildet die wichtigste Triebfeder für wissenschaftlichen und technologischen Fortschritt und Innovation und leistet insofern einen wichtigen Beitrag zur Verbesserung des Lebensstandards. Öffentliche Interventionen auf dem Gebiet der Forschung und technologischen Entwicklung werden in der Regel damit begründet, dass durch staatliche Förderung in Bereichen, in denen Forschung als öffentliches Gut gilt, in denen erhebliche Externalitäten (Spill-overs) bestehen und in denen es die mit Forschung verbundenen Unsicherheiten zu mildern gilt, so genanntes „Marktversagen“ korrigiert wird.

2. In Artikel 163 des EG-Vertrags wird die Aufgabe der Gemeinschaft bei der Unterstützung der Forschung und technologischen Entwicklung folgendermaßen definiert: „Die Gemeinschaft hat zum Ziel, die wissenschaftlichen und technologischen Grundlagen der Industrie der Gemeinschaft zu stärken und die Entwicklung ihrer internationalen Wettbewerbsfähigkeit zu fördern sowie alle Forschungsmaßnahmen zu unterstützen, die (…) für erforderlich gehalten werden“. In den Artikeln 164 bis 173 werden die hierfür zu treffenden Maßnahmen sowie der Umfang und die Durchführung der mehrjährigen FTE-Rahmenprogramme (RP) festgelegt. Die Kommission ist für die Unterbreitung von Vorschlägen für die RP zuständig, während die Beschlüsse und Entscheidungen über die RP sowie die Regeln für die Beteiligung und die Verbreitung der Forschungsergebnisse im Mitentscheidungsverfahren vom Rat und dem Europäischen Parlament angenommen werden. Die spezifischen Programme werden vom Rat allein verabschiedet. Für die Durchführung der RP sind sechs Generaldirektionen (GD), die so genannten Forschungsgeneraldirektionen (2), gemeinsam zuständig.

3. Unter den vielfältigen Politiken, die in der Europäischen Union zur Stärkung von Innovation und Wettbewerbsfähigkeit umgesetzt werden, stellen die RP auf Gemeinschaftsebene das wichtigste finanzielle Instrument im Rahmen der Lissabon-Strategie (3) und des Barcelona-Ziels (4) dar.

4. Über die RP fördert die Gemeinschaft Forscher in der Europäischen Union, assoziierten Ländern und internationalen Organisationen. Die Mittelausstattung wurde im Lauf der Jahre deutlich angehoben und beträgt für das RP7 nun 7 217 Millionen Euro/Jahr, während die Mittelausstattung für das RP4 noch bei 2 761 Millionen Euro lag (siehe Abbildung 1). Innerhalb der Haushaltsmittel stellen die RP den größten in der Kommission direkt zentral verwalteten Bereich dar (5).

5. Die RP unterscheiden sich insofern von vielen nationalen Programmen, als sie unter Beteiligung von Industrie und öffentlichen Forschungseinrichtungen sowohl für die Grundlagenforschung als auch für die angewandte Forschung gelten (6). Sie bestehen aus spezifischen Programmen (und Teilprogrammen), die sich auf weitgefasste Wissenschaftsbereiche beziehen. Diese Programme umfassen gewöhnlich eine Reihe von Bereichen, die auf konkretere wissenschaftliche Gebiete ausgerichtet sind. Die Zielverwirklichung auf diesen Gebieten erfolgt über Projekte (so genannte „indirekte Maßnahmen“) im Anschluss an Aufforderungen zur Einreichung von Vorschlägen. Auf diese Weise werden pro Gebiet hunderte Einzelprojekte gefördert.

6. Der Gesamtanteil der RP an sämtlichen öffentlichen FTE-Förderungen in der Europäischen Union und ihren Mitgliedstaaten liegt zwischen 4 % und 5 %. Ihr Einfluss darauf, welche Art von Forschungstätigkeiten in Europa durchgeführt wird, ist jedoch weitaus stärker. Dies ist darauf zurückführen, dass Gemeinschaftsbeihilfen in der Regel lediglich einen Teil der Gesamtfinanzierung eines Projekts bilden. Außerdem müssen Forscher, die eine Finanzierung beantragen, nachweisen, dass ihre Projekte den in den Aufforderungen zur Einreichung von Vorschlägen festgelegten Zielen entsprechen. Auf diese Weise schaffen die RP Anreize, um die FTE-Tätigkeiten auf spezifische EU-Ziele auszurichten.

7. In den letzten Jahren unterlagen die RP aufgrund der nachstehend genannten Umstände erheblichen Veränderungen: — Einbeziehung neuer politischer Herausforderungen (Lissabon-Strategie und Barcelona-Ziele, Schaffung eines „Europäischen Forschungsraums“ (EFR) und stärkere Nutzung der offenen Koordinierungsmethode (7) im Bereich der Forschungs- und Innovationspolitik); — Wandel der Ausrichtung der RP von der reinen technischen Problemlösung im RP4 über die Behandlung konkreter gesellschaftlicher Probleme im RP5 bis hin zur Förderung der Zusammenarbeit von Forschungseinrichtungen innerhalb des EFR und zum Beitrag zum Entstehen einer wissensbasierten Wirtschaft und Gesellschaft im RP6 und RP7; — Verlängerung der Programmlaufzeit (zuvor vier Jahre, nun sieben Jahre für das RP7, abgestimmt auf den Finanzrahmen 2007-2013); — Anstieg der Anzahl der Mitgliedstaaten und teilnehmenden Länder; — Erhöhung der Mittelausstattung, insbesondere im derzeit geltenden Finanzrahmen; — Einsetzung des Europäischen Forschungsrats und, beginnend mit dem RP7, Übertragung von Tätigkeiten im Zusammenhang mit der Programmverwaltung auf Exekutivagenturen; — zunehmende Verwendung umfangreicher Finanzierungsinstrumente (etwa Exzellenznetze, Integrierte Projekte, Projekte nach Artikel 169, Gemeinsame Technologieinitiativen).

Evaluierung und Controlling der Durchführung der Rahmenprogramme

8. Die Kommission ist für die Programmdurchführung und die Evaluierung der Programmergebnisse zuständig (8). Innerhalb der Kommission wurden die Evaluierungsaufgaben den Generaldirektionen übertragen, wobei die horizontalen Dienste (insbesondere die GD Haushalt und das Generalsekretariat) unterstützend und koordinierend mitwirken.

9. In diesem Bericht werden die von der Kommission verwendeten Definitionen zugrunde gelegt, wonach unter „Evaluierung“ die „Beurteilung von Maßnahmen nach ihren Ergebnissen, Auswirkungen und Zielvorgaben“ (9) und unter „Programmcontrolling“ die Bereitstellung von Informationen zur Überwachung der Umsetzung laufender Programme und Projekte für Managementzwecke (10) zu verstehen ist. Nach diesen Kriterien werden die beiden Tätigkeiten auch in den geltenden Rechtsvorschriften für das RP7 unterschieden.

10. Nachstehend werden für die Beschreibung der Ergebnisse von FTE-Tätigkeiten folgende Begriffe verwendet: — „Outputs“: Kenntnisse, Waren und Dienstleistungen, die unmittelbar aufgrund der öffentlichen Intervention entstehen (Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, Normen, ausgebildete Forscher usw.); — „Wirkung“: das zeitverzögerte Ergebnis der Auswertung der Outputs durch die Nutzer; — „Auswirkungen“: die durch die öffentliche Intervention hervorgerufenen langfristigen sozioökonomischen und politischen Veränderungen. Kasten 1Beispiel des Globalen Mobilkommunikationssystems (Global System for Mobile Communications — GSM)In diesem Fall entsprachen die „Outputs“ der Gemeinschaftsförderung den unmittelbaren Projektergebnissen, etwa der Entwicklung des GSM-Standards. Die „Wirkung“ lag in der Akzeptanz als Norm der digitalen Zellulartelefonie in und über Europa hinaus. Dies trug maßgeblich zur Entwicklung der Telekommunikationsindustrie bei. Die „Auswirkungen“ schließlich waren die wirtschaftlichen, sozialen und politischen Folgen der internationalen Nutzung dieser Technologie. Dazu zählten u. a. der Beitrag zur Schaffung von Arbeitsplätzen in der Telekommunikationsindustrie und damit verwandten Industrien und die größere Bedeutung dieses Industriesektors für die europäische Wirtschaft. GSM eröffnete letztlich auch neue Kommunikationsmöglichkeiten.

11. Die Evaluierung solcher Ergebnisse wirft allerdings eine Reihe methodischer Probleme auf (siehe Anhang I). Sozioökonomische Veränderungen sind ein komplexer Vorgang, und der Zusammenhang zwischen einer Forschungstätigkeit und den beobachteten Wirkungen und Auswirkungen ist häufig schwer nachvollziehbar. Diese methodischen Schwierigkeiten stellen zwar eine große Herausforderung dar, schließen eine wirksame Evaluierung aber nicht zwangsläufig aus.

12. Die Kommission verfügt seit den 1980er Jahren über ein System für Programmcontrolling und Evaluierung der RP (11). Ab dem RP4, also ab Mitte der 1990er Jahre, bestand das Programmcontrolling- und Evaluierungssystem aus einer Reihe teilweise verknüpfter Tätigkeiten. Dazu zählten u. a. — ein jährliches Programmcontrolling (hauptsächlich zur Überwachung der Programmdurchführung), — Fünfjahresbewertungen der RP-Tätigkeiten (und ab dem RP6 zusätzliche Evaluierungen spezifischer Aspekte). Für beide Tätigkeiten musste die Unterstützung externer Sachverständiger in Anspruch genommen werden (siehe Abbildung 2 und Anhang II). Abbildung 2 RP4 bis RP7 — Wichtigste Vorgaben für Programmcontrolling und Evaluierung RP4 (1995-1998) RP5 (1999-2002) RP6 (2003-2006) RP7 (2007-2013) Zwei Bewertungsrunden (Zwischen- und Schlussbewertung) bei allen 20 Teilprogrammen und dem RP selbst; Schlussbewertung überschneidet sich mit der Zwischenbewertung des RP5 Zwei parallele Bewertungsrunden (Zwischenbewertungen) bei den sieben spezifischen Programmen und dem RP selbst Eine Bewertungsrunde zum RP und den entsprechenden 3 spezifischen Programmen (Zwischenbewertungen), jedoch nicht eigens für alle 20 Teilprogramme, ergänzt durch spezifische Evaluierungs- und regelmäßige Fortschritts- (d. h. Überwachungs-)berichte Mindestens fünf Bewertungsrunden (Ex-ante-, Zwischen- und Schlussbewertung) mit spezifischen Fortschrittsberichten vor der Zwischenbewertung 1. Ex-ante-Bewertung: nein 1. Ex-ante-Bewertung: nein 1. Ex-ante-Bewertung: nein 1. Ex-ante-Bewertung: vorgesehen in der Folgenabschätzung zum Vorschlag der Kommission für das RP7 (2005) 2. Zwischenbewertung: — „Fünfjahresbewertung“: zur Halbzeit des RP, im Vorfeld des folgenden RP (1997) 2. Zwischenbewertung: — Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2000) — Überprüfung der Fortschritte zur Halbzeit des RP (2001) 2. Zwischenbewertung: — Bewertung der Wirksamkeit der Instrumente (2004) — Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2004) — regelmäßige Fortschritts- (d. h. Überwachungs-)berichte 2. Zwischenbewertung: — Ex post: 2 Jahre nach Auslaufen des vorhergehenden RP (2008) — Fortschrittsbericht vor Zwischenbewertung (vor 2010) — Zwischenbewertung (2010) 3. Schlussbewertung: — bei Abschluss des RP (1999) 3. Schlussbewertung: nein 3. Schlussbewertung: nein [geändert durch den Beschluss über das RP7] 3. Schlussbewertung: zwei Jahre nach Abschluss des RP (2015), ergänzt durch spezifische Studien, die Zwischenbewertung sowie sonstige während der Laufzeit des RP durchgeführte Bewertungstätigkeiten Quelle: siehe Anhang II.

13. Bislang wurden drei Fünfjahresbewertungen vorgenommen (12), die im „Davignon“-, „Majó“- bzw. „Ormala“-Bericht (1997, 2000 bzw. 2004) ihren Niederschlag fanden. Die GD Informationsgesellschaft und Medien führte darüber hinaus gezielte Evaluierungen des von ihr verwalteten spezifischen Programms durch. Es sei darauf hingewiesen, dass Fünfjahresbewertungen in den Vorschriften für das RP7 nicht länger vorgesehen sind, womit umfassende Evaluierungen nicht mehr zwingend auf die vorangegangenen fünf Jahre ausgelegt sein und infolgedessen Teile zweier aufeinanderfolgender Programmlaufzeiten abdecken müssen. Im „Marimón“-Bericht (13) aus dem Jahr 2004 wurde auch eine spezifische Bewertung der Wirksamkeit der im RP6 neu eingeführten Instrumente veröffentlicht.

14. Die Rahmenbedingungen der Kommission für Evaluierungstätigkeiten wurden in den Jahren 2000 und 2002 überprüft (14). Die entsprechenden Mitteilungen wurden im Jahr 2007 unter Berücksichtigung der Verwaltungsreform der Kommission und der neuen Haushaltsordnung aktualisiert (15). In diesen Dokumenten werden Rolle und Funktion von Evaluierungen vor dem Hintergrund des gesamten Planungs-, Programmierungs- und Berichterstattungszyklus der Kommission beleuchtet. Ferner werden darin 21 Evaluierungsnormen sowie 18 Beispiele für „bewährte Verfahren“ festgelegt und die Heranziehung von Evaluierungen bei der Vorbereitung und Vereinfachung gemeinschaftlicher Rechtsvorschriften thematisiert.

PRÜFUNGSUMFANG UND PRÜFUNGSANSATZ

15. Hauptziel der Prüfung war es, festzustellen, ob die Kommission über einen zweckmäßigen Ansatz für die Evaluierung der Ergebnisse der FTE-Rahmenprogramme verfügte.

16. Zu diesem Zweck beurteilte der Hof, inwieweit — die RP und die zugehörigen Programme auf einer expliziten Interventionslogik beruhen, die eine Messung und Bewertung von Outputs, Wirkungen und Auswirkungen ermöglicht und somit eine solide Grundlage für Evaluierung und Programmcontrolling liefert; — für die RP eine Evaluierungsstrategie festgelegt wurde, die einer wirksamen und einheitlichen Evaluierung förderlich ist; — durch den Aufbau des Evaluierungssystems gewährleistet ist, dass es innerhalb des gesamten RP gut koordiniert ist, ausreichende Mittel dafür bereitgestellt werden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wird; — mit den für die Evaluierung verwendeten Methoden sichergestellt ist, dass relevante Aspekte in geeigneter Weise beleuchtet werden, sodass die Evaluierung als aussagekräftig angesehen wird; — Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen liefern, die zur Verbesserung laufender Programme („lernende Programme“) und zur Vorbereitung künftiger RP verwendet werden können.

17. In diesem Bericht werden die Evaluierungsmodalitäten für das RP4 (1995-1998), das RP5 (1999-2002) und das RP6 (2003-2006) behandelt. Außerdem werden die für das derzeitige RP7 (2007-2013) geltenden rechtlichen Anforderungen beleuchtet. Die von der Kommission vorgelegte Folgenabschätzung und Ex-ante-Bewertung (16) des RP7 wird hingegen nicht beurteilt. Im Mittelpunkt des Berichts steht das Controlling der Programmdurchführung und die Ex-post-Evaluierung der Programme, nicht jedoch die Ex-ante-Begutachtung der Projektvorschläge oder die Ex-post-Bewertung der konkreten Projekte.

18. Die Prüfung wurde unter Beteiligung des Ausschusses der Rechnungsprüfer der EFTA und mit Unterstützung externer Sachverständiger durchgeführt. Die Prüfungsnachweise ergeben sich aus folgenden Arbeiten: — Durchsicht von Unterlagen und Mitarbeiterbefragungen bei der Kommission, die die Ermittlung der gesetzlichen und verordnungsrechtlichen Anforderungen, eine Überprüfung der Ziele und Leistungskriterien, die Analyse von über 80 Programmcontrolling- und Evaluierungsberichten und der organisatorischen Abläufe im Zusammenhang mit den Evaluierungsmaßnahmen in der Kommission umfassten; — Befragung von mehr als 90 Sachverständigen, die in den Mitgliedstaaten und assoziierten Ländern (Tschechische Republik, Deutschland, Estland, Spanien, Frankreich, Italien, Luxemburg, Niederlande, Österreich, Finnland, Schweden, Vereinigtes Königreich und Norwegen) als maßgebliche Akteure in dem untersuchten Bereich ermittelt wurden; — Durchführung von Erhebungen bei institutionellen Akteuren — beim ITRE (17) des Europäischen Parlaments und beim CREST (18) des Rates; — Konsultation von mehr als 65 Sachverständigen auf dem Gebiet der Forschungsevaluierung in den USA und in Kanada als internationale Vergleichsgruppe; — Durchsicht wissenschaftlicher Veröffentlichungen zu aktuellen Trends in der Forschungsevaluierung; — Erörterung der Prüfungsfeststellungen, -schlussfolgerungen und -empfehlungen mit Experten auf dem Gebiet der Forschungsevaluierung aus Europa und Nordamerika in einer Reihe moderierter Fokusgruppensitzungen im Februar 2007.

PRÜFUNGSBEMERKUNGEN

Interventionslogik, Zielsetzung und Leistungsindikatoren

19. Eine wirksame Evaluierung und ein wirksames Controlling der Programmdurchführung setzen voraus, dass auf strategischer, Programm- und Projektebene klare Ziele und relevante Leistungsindikatoren vorhanden sind, anhand deren sich die Ergebnisse einer öffentlichen Intervention bewerten lassen. Bewährte Methoden in anderen EU-Haushaltsbereichen sowie in anderen Ländern legen nahe, dass diese Ziele und Indikatoren in einer Interventionslogik festgelegt werden sollten.

20. Interventionslogik lässt sich definieren als eine Reihe hypothetischer Kausalzusammenhänge, mit denen beschrieben wird, wie die Intervention ihre übergeordneten Ziele erreichen soll (19). Den Evaluierungsleitlinien der Kommission zufolge liefert die Interventionslogik die begriffliche Verbindung zwischen den Inputs einer Intervention und ihren tatsächlichen Outputs und in weiterer Folge ihren Auswirkungen auf die Gesellschaft in Form von Ergebnissen und Wirkungen (20). Der vorliegende Bericht stützt sich durchgängig auf diese Definition.

21. Der Hof beurteilte, inwieweit für die RP und die zugehörigen Programme eine Interventionslogik festgelegt wurde und dadurch eine solide Grundlage für Evaluierung und Programmcontrolling gegeben war.

Keine explizite Interventionslogik für die RP

22. Die Festlegung der Interventionslogik sollte von Beginn an ein zentraler Aspekt der Programmkonzeption sein. Artikel 163 des EG-Vertrags, in dem auf die notwendige Stärkung der wissenschaftlichen und technologischen Grundlage und Entwicklung der Wettbewerbsfähigkeit hingewiesen wird, sollte die Ausgangsbasis für eine entsprechende Interventionslogik für die RP bilden (siehe Ziffer 2). Diese Interventionslogik müsste danach genauer spezifiziert und den unterschiedlichen wissenschaftlichen Gebieten, die von den RP abgedeckt werden, und den verschiedenen Instrumenten, die zur Anwendung kommen, angepasst werden.

23. Ein explizites Logikmodell, das darlegt, wie die RP und die zugehörigen Programme zu Fortschritt und Innovation im Bereich Wissenschaft und Technik beitragen, fehlt jedoch auf allen Ebenen.

24. Auch das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium wies ausdrücklich auf das Fehlen einer Interventionslogik hin. Dem Gremium zufolge werde von ihm erwartet, eine Lücke zu schließen zwischen einerseits hauptsächlich auf Projektebene gesammelten Nachweisen und andererseits den übergeordneten, sozioökonomischen Zielen der Forschungspolitik. Diese Verknüpfung sei derzeit aufgrund der Vorgehensweise bei der Planung des Rahmenprogramms aber schwierig herzustellen. Es fehle eine explizite Logik, die die übergeordneten Ziele mit den konkreten Zielen im Bereich Forschung und Wissen verbinde (21).

25. Einige Mitgliedstaaten (etwa die Niederlande und Finnland) sowie die USA (siehe Abbildung 3) verfolgen einen anderen Ansatz, bei dem die Festlegung einer Interventionslogik weit verbreitet ist. In Kanada muss für jedes Programm eine Interventionslogik vorhanden sein (siehe Anhang III). In der Praxis führt die Anwendung einer Interventionslogik bei der Programmkonzeption in diesen Ländern zu gezielter ausgerichteten und besser strukturierten Programmen. Die Kommission ist im Begriff, die Interventionslogik auch in anderen Bereichen der Gemeinschaftspolitik (z. B. Außenhilfe) einzuführen (22). Abbildung 3 Festlegung einer Zielhierarchie auf der Grundlage von Logikmodellen — Beispiel: US-Agrarforschung Politik Programm Projekt Politisches Ziel : Beitrag zur Verbesserung der Einkommenssituation landwirtschaftlicher Haushalte Zweck : Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte Programmziel : Beitrag zur Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte Erwartetes Ergebnis : Zuwachs beim Einsatz verbesserter Agrartechniken bei den in der Zielgruppe erfassten Landwirten Zweck : Zuwachs beim Einsatz verbesserter Agrartechniken durch die Landwirte (z. B. Reis) Projektziel : Beitrag zur verstärkten Verwendung der empfohlenen verbesserten Techniken Erwartetes Ergebnis : Abgabe/Verbreitung von Empfehlungen für die in der Zielgruppe erfassten Landwirte Zweck : Unterbreitung von Empfehlungen für verbesserte, für die in der Zielgruppe erfassten Landwirte geeignete Techniken Erwartete Ergebnisse (z. B.): 1. Ermittlung von Techniken aufgrund der Prioritäten der Landwirte 2. Ausarbeitung und Anpassung der Techniken 3. Überprüfung der Techniken vor Ort bei den Landwirten Quelle: US National Agricultural Research Council.

26. Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien und die angenommenen Kausalzusammenhänge (die für die Detailplanung, Durchführung und Evaluierung des Programms maßgeblich sind) nicht rechtsverbindlich festgelegt werden, wird die Wirksamkeit der Evaluierung und des Controllings der Durchführung der RP beeinträchtigt. Dies ist vor allen Dingen durch die Art und Weise bedingt, wie die Programmziele und Leistungsindikatoren festgelegt sind.

Ohne explizites Logikmodell ist die Festlegung kohärenter Programmziele schwieriger

27. Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien nicht explizit dargelegt werden, gestalten sich die kohärente Festlegung und Strukturierung der Programmziele schwieriger. Dies lässt sich daran veranschaulichen, dass — der Zusammenhang zwischen den Zielen der RP und den politischen Zielen, etwa dem übergeordneten Ziel nach Artikel 163 des Vertrags oder den in der Strategie von Lissabon und der Erklärung von Barcelona aufgeführten Zielen, nicht eindeutig herzustellen ist (siehe Ziffern 2 und 7); — der Zusammenhang zwischen den Zielen der einzelnen Programme auf der jeweiligen Ebene der Rechtsvorschriften (Beschluss über das RP, Entscheidung über die spezifischen Programme und Regeln für die Beteiligung und Verbreitung) sowie zwischen den Basisrechtsakten und den Arbeitsprogrammen der Kommission nicht immer erkennbar ist.

28. Die Kommission versuchte, in den Arbeitsprogrammen operationelle Ziele festzulegen, die sich auf die in den Rechtsvorschriften für die RP vorgegebenen Programmziele stützen. Anhand dieser Initiativen konnte die den Programmen zugrunde liegende Logik in den meisten Fällen allerdings nicht klar dargelegt werden, und die in den Arbeitsprogrammen aufgeführten Ziele waren nicht konkret, messbar, erreichbar, sachgerecht und mit einem Datum versehen (SMART: specific, measurable, achievable, relevant and timed), wie dies seit 2003 in der Haushaltsordnung vorgeschrieben ist (23).

29. Unklarheit herrscht darüber, inwieweit die politischen Ziele in den spezifischen Programmen, Arbeitsprogrammen und Aufforderungen zur Einreichung von Vorschlägen bis zu den von der Gemeinschaft kofinanzierten Einzelprojekten nachvollziehbar sind. Ohne Klarstellung dieser Verknüpfungen kann der Beitrag der RP und der zugehörigen Programme zur Erreichung dieser politischen Ziele nicht bewertet werden. Der Hof stellte bei seiner Prüfung fest, dass die Kommission in ihren Evaluierungen wenige oder keine schlüssigen Nachweise für die Erreichung der längerfristigen Ziele — auf Projekt- wie auf Programmebene — vorgelegt hat (siehe Ziffer 82).

Das Fehlen einer expliziten Interventionslogik und klarer Ziele erschwert die Entwicklung von Leistungsindikatoren

30. Das Fehlen eines expliziten Logikmodells und klar formulierter Programmziele stand auch der Entwicklung von Leistungsindikatoren für die Überwachung der Erreichung der Programmziele nach Output, Wirkung und Auswirkungen im Wege, sodass entsprechende „Wirksamkeits“indikatoren für die RP bislang überhaupt nicht definiert wurden (siehe Ziffer 73).

31. Unter diesen Umständen werden die Begutachtung laufender, aus diesen Programmen finanzierter Projekte und die Ex-post-Bewertung abgeschlossener Projekte ebenso erschwert wie die Zusammenfassung von Projektevaluierungen auf Programmebene (siehe Anhang I und Ziffer 84).

Tätigkeitsbezogene Budgetierung (ABB)/tätigkeitsbezogenes Management (ABM) in ihrer derzeitigen Anwendungsform sind für die Messung der Leistung der RP ungeeignet

32. Einige Indikatoren zur Verfolgung der Effizienz der Programmdurchführung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung) finden sich in den jährlichen Programmcontrollingberichten der Kommission und auch im Rahmen des tätigkeitsbezogenen Managementsystems der Kommission.

33. Bislang haben die Forschungsgeneraldirektionen — selbst bei Durchführung desselben spezifischen Programms (oder Teilprogramms) — allerdings keine einheitliche oder vergleichbare Nomenklatur für die tätigkeitsbezogene Budgetierung und damit verbundene Indikatoren angewandt. Diese Indikatoren können deshalb für einen Leistungsvergleich zwischen und innerhalb von Programmen nicht verwendet werden. Kasten 2Tätigkeitsbezogene Budgetierung/tätigkeitsbezogenes Management wie derzeit von den Forschungsgeneraldirektionen angewandtIm Rahmen der tätigkeitsbezogenen Budgetierung und des tätigkeitsbezogenen Managements fallen die RP unter zwei verschiedene Politikbereiche. Innerhalb dieser Bereiche werden die RP-Tätigkeiten nach divergierenden, GD-spezifischen Nomenklaturen dargestellt (24). Dies trifft selbst auf diejenigen spezifischen Programme und Teilprogramme zu, die von mehr als einer GD durchgeführt werden. Bei der Festlegung der ABM-Ziele wurden unterschiedliche Prinzipien zugrunde gelegt (25). Die Ziele waren, wie der interne Auditdienst der Kommission feststellte (26), meist allgemein formuliert und beschrieben Bestrebungen oder Maßnahmen. Die Indikatoren waren im Allgemeinen auf den Input ausgerichtet (z. B. Anzahl der Sitzungen usw.). Einige Indikatoren bezogen sich auf die Effizienz der Abwicklung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung), ließen jedoch wegen der Abweichungen in der ABB-Nomenklatur, in den GD-spezifischen Annahmen (etwa Beginn und Ende spezifischer Verwaltungsabläufe) und in der für ihre Berechnung zugrunde gelegten Population (etwa Art der Finanzhilfevereinbarung, Art der Zahlung) keinen Vergleich zwischen Programmen und Generaldirektionen zu.

Empfehlungen

34. In künftigen Vorschlägen für Rechtsakte, die dem Rat und dem Europäischen Parlament vorgelegt werden, sollte die Kommission eine explizite Interventionslogik für das gesamte RP sowie die zugehörigen Programme darlegen. 35. In Bezug auf das RP7 sollte die Kommission — die Ziele des RP und der zugehörigen spezifischen Programme (und Teilprogramme) klar formulieren und beschreiben, wie sie verwirklicht werden sollen; — den Zusammenhang zwischen den wissenschaftlichen und den sozioökonomischen Zielen für jedes spezifische Programm (und Teilprogramm) klar darlegen; — relevante operationelle Ziele festlegen. 36. Für das Programmcontrolling des RP7 sollte die Kommission für jedes spezifische Programm (und Teilprogramm) einige wenige, aber ausgewogene Leistungsindikatoren zur Messung der Effizienz und der Wirksamkeit der Programmdurchführung festlegen. 37. Die Forschungsgeneraldirektionen sollten ihre ABM/ABB-Nomenklatur abstimmen, damit die Leistungsindikatoren im Zeitverlauf und nach Möglichkeit auch zwischen den spezifischen Programmen (und Teilprogrammen) verglichen werden können.

Evaluierungsstrategie

38. Eine Evaluierungsstrategie liefert den Begriffsrahmen für Konzeption, Planung, Durchführung und Nutzung der Evaluierungstätigkeiten. Bewährte Verfahren in anderen EU-Haushaltsbereichen und über die EU hinaus legen den Schluss nahe, dass eine entsprechende Strategie die wichtigsten mit der Programmevaluierung verbundenen rechtlichen, organisatorischen und methodischen Fragen beantworten sollte, etwa, welche Evaluierungen wann von wem vorzunehmen sind, wie die Daten zu sammeln sind, welcher methodische Ansatz zu verfolgen ist und wie die Feststellungen mitzuteilen und weiterzuverfolgen sind.

39. Das Vorhandensein einer entsprechenden Strategie und deren verlässliche Anwendung sind Voraussetzungen dafür, dass die Evaluierung zu einem festen Bestandteil der Organisationskultur und Entscheidungsfindung der Kommission wird. Der Hof räumt allerdings ein, dass diese Strategie angesichts der Bandbreite der von den RP abgedeckten Wissenschaftsbereiche jeder der zuständigen Generaldirektionen ausreichende Flexibilität bieten und keine zu engen Vorgaben machen sollte.

40. Der Hof prüfte, inwieweit die Kommission über eine entsprechende Evaluierungsstrategie für die RP verfügte.

Fehlen einer umfassenden Evaluierungsstrategie für die RP

41. In Bezug auf die RP veröffentlichte die Kommission ihren Evaluierungsansatz erstmals in den 1980er Jahren (27). Dieser Ansatz wurde im Jahr 1996 aktualisiert, als die Kommission das Europäische Parlament und den Rat über die zu diesem Zeitpunkt ihrer Ansicht nach relevanten Grundprinzipien für Programmcontrolling und Evaluierung informierte und den nach Annahme des RP4 (28) geplanten Ansatz darlegte. Damit war aber noch keine umfassende Evaluierungsstrategie wie vorstehend dargelegt gegeben (siehe Ziffern 38 und 39). Außerdem unterzog die Kommission zwischen 1996 und 2006 ihren Ansatz für die Evaluierung des RP5 und des RP6 keiner eingehenden Überprüfung, obwohl sich Umfang und Ausrichtung der RP geändert hatten (siehe Ziffer 7). Vor allem haben sich die Forschungsgeneraldirektionen nicht auf einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme verständigt, der über die 1999 (für das RP5), 2002 (für das RP6) und 2006 (für das RP7) angenommenen rechtlichen Vorgaben hinausgeht (29).

42. Im laufenden Programmplanungszeitraum stellt das Fehlen eines strategischen Ansatzes für Evaluierungen in diesem Bereich insbesondere im Hinblick auf die gemeinsame Umsetzung des RP7 durch mehrere Generaldirektionen, den Europäischen Forschungsrat und Exekutivagenturen sowie die in der Haushaltsordnung vorgeschriebene Personalmobilität bei sensiblen Aufgaben ein Problem dar. Es steht auch im Gegensatz zur aktuellen Vorgehensweise im Bereich der Außenhilfe (bei der es sich um den zweitgrößten von der Kommission direkt verwalteten Bereich handelt), in dem sich die zuständigen GD seit 2002 auf gemeinsame mehrjährige Evaluierungsstrategien geeinigt haben, die an die Programmplanungszeiträume geknüpft sind (siehe Ziffer 52).

43. Dieses Fehlen einer klar formulierten Evaluierungsstrategie steht auch in deutlichem Gegensatz zur Situation in den USA und in Kanada, wo eine entsprechende Strategie im Rechtsrahmen vorgeschrieben ist (siehe Anhang III).

44. Wie nachstehend dargelegt bestehen erhebliche Unterschiede in Bezug auf den Abdeckungsbereich und Intensitätsgrad der Evaluierungen der verschiedenen RP. Andere Schwachpunkte, etwa Koordinierungsprobleme, abweichende methodische Ansätze, Terminierungsprobleme und Mängel in Zusammenhang mit der Mitteilung und Weiterverfolgung von Evaluierungsergebnissen wurden ebenfalls festgestellt. Auf diese Schwachstellen wird an späterer Stelle in diesem Bericht eingegangen. An dieser Sachlage wird das Fehlen einer umfassenden Evaluierungsstrategie für die RP deutlich.

Unterschiede im Abdeckungsbereich und Intensitätsgrad der Evaluierung der verschiedenen RP

45. Die RP bestehen aus einer Reihe spezifischer Programme (und Teilprogramme), die in Bezug auf Zweck, Beweggründe und Haushaltsmittel (siehe Anhang IV zum RP7) erheblich voneinander abweichen können. Insgesamt gesehen lässt sich aus den konkreten Bestimmungen der verschiedenen Rahmenprogrammbeschlüsse sowie der Haushaltsordnung (30) (in der eine Bewertung aller Programme und Tätigkeiten vorgeschrieben ist, die mit erheblichen Ausgaben verbunden sind) ableiten, dass eine Evaluierung sowohl des RP insgesamt als auch der meisten spezifischen Programme, aus denen es sich zusammensetzt, schon seit dem RP4 rechtlich vorgeschrieben ist.

46. Die Kommission hat nicht vorgegeben, zu welchem Zeitpunkt spezifische Rahmenprogramme oder Teilprogramme einer Bewertung zu unterziehen sind, und auch keinen gemeinsamen Schwellenwert festgelegt, ab dem eine Evaluierung erforderlich ist. Infolgedessen kam es zu unterschiedlichen Auslegungen, was zu bewerten ist und wie eingehend die Bewertung sein muss: — Die GD Informationsgesellschaft und Medien stufte das Programm IST als großes eigenständiges Ausgabenprogramm ein und veranlasste im Jahr 2004 — parallel zur Evaluierung des gesamten RP — eine umfassende Fünfjahresbewertung. — Die GD Forschung veranlasste — obwohl einige von ihr verwaltete Programmbudgets eine vergleichbare Größenordnung aufwiesen — eine entsprechende Evaluierung auf Ebene der spezifischen Programme nicht systematisch.

47. Infolgedessen wurden im Rahmen der Fünfjahresbewertung aus dem Jahr 2004 erhebliche Teile des RP4 und des RP5 überhaupt nicht evaluiert (und zwar 30 % der gesamten Haushaltsmittel für das RP4 und 50 % für das RP5). Die Kommission hat somit die Evaluierungsvorgaben gemäß Artikel 27 der Haushaltsordnung nicht erfüllt.

48. Die abweichenden Auslegungen der rechtlichen Mindestanforderungen in Bezug auf Evaluierungen und die daraus resultierenden unzureichenden Evaluierungen der RP in der Vergangenheit verdeutlichen die mangelnde Koordinierung sowie die Auswirkungen des fehlenden strategischen Ansatzes der Kommission für die Evaluierung der RP.

Empfehlungen

49. Die Forschungsgeneraldirektionen sollten rasch eine gemeinsame Evaluierungsstrategie für die RP entwickeln und annehmen. Diese Strategie sollte einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme umfassen, ohne allzu enge Vorgaben zu machen. Ferner sollte sie Anhaltspunkte bezüglich der Mindestanforderungen für detaillierte Evaluierungen liefern, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsgebiete Rechnung getragen wird.

Organisation der Evaluierungstätigkeit zu den Rahmenprogrammen

50. Der Evaluierung der RP müssen geeignete organisatorische Modalitäten zugrunde liegen, die sich aus den strategischen Anleitungen der Kommission für die Evaluierung der RP ergeben sollten. Der Hof überprüfte, inwieweit der organisatorische Aufbau gewährleistete, dass das Evaluierungssystem gut koordiniert war, ausreichende Mittel dafür bereitgestellt wurden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wurde.

Kommission

RP werden von mehreren GD gemeinsam durchgeführt, die Zuständigkeit für Evaluierungen ist hingegen dezentral angelegt

51. Innerhalb der Kommission sind für die Evaluierung von Ausgabenprogrammen die einzelnen Generaldirektionen zuständig (siehe Ziffer 8), wofür in den jeweiligen GD Evaluierungsreferate geschaffen wurden, die mit deren Planung, Koordinierung und Durchführung betraut sind.

52. Im Gegensatz zu anderen Politikbereichen gibt es keine eigene Koordinierungsstelle bzw. keine zentrale Stelle für die Evaluierung der RP insgesamt — etwa ein den Forschungsgeneraldirektionen gemeinsames Evaluierungsamt. Im Bereich der Außenhilfe etwa wurde ein gemeinsames Referat für drei Generaldirektionen (Entwicklung, Außenbeziehungen und EuropeAid) geschaffen, dem die Evaluierung der Entwicklungsprogramme der Kommission in Drittländern obliegt (siehe Ziffer 42).

53. Die GD Forschung sorgt über das kommissionsinterne „Netz zur FTE-Evaluierung“ für einen Wissensaustausch zwischen den Evaluierungsreferaten der verschiedenen GD, ist aber nicht befugt, Mindestanforderungen für Evaluierungen festzulegen. Dieses Modell hat sich allerdings als unzulänglich herausgestellt, um eine angemessene Koordinierung der Evaluierung der RP durch die Kommission zu gewährleisten.

54. Die Kommission überarbeitete ihren allgemeinen Evaluierungsansatz in den Jahren 2000 und 2002 sowie erneut im Jahr 2007 (siehe Ziffer 14). Obwohl keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen.

Zentrale Dienststellen der Kommission: Festlegung von Regeln, aber keine Durchsetzungsfunktion

55. Die zentralen Dienststellen der Kommission (insbesondere die GD Haushalt und das Generalsekretariat) beraten in Methodikfragen, legen kommissionsweit gemeinsame Regeln fest und überwachen, wie die GD und Dienste die Regeln anwenden (siehe Ziffern 14 und 70). Wie die Evaluierungen in Praxis durchzuführen sind, können sie aber nicht vorschreiben.

56. Die Erfahrungen in den USA und in Kanada legen nahe, dass Durchsetzungskompetenzen der normgebenden Stellen in diesen Ländern ein entscheidender Faktor für das wirksame Funktionieren des Evaluierungssystems sind. In beiden Ländern sind Bundesstellen für die Festlegung und Durchsetzung der Rahmenregelung zuständig, die letztlich als Beurteilungsmaßstab für den Erfolg eines Programms dient (siehe Anhang III). Bei unterschiedlichem Hintergrund beruhen die Systeme dennoch auf demselben Grundprinzip, dass eine andere als die für die Programmdurchführung zuständige Stelle die Konzeption des Evaluierungssystems eingehend bewerten und seine Wirksamkeit untersuchen sollte. Diese Vorgehensweise lässt sich auch in einigen Mitgliedstaaten (etwa Frankreich (31), Spanien (32) und Deutschland (33)) beobachten, wo externe Stellen entweder die von Finanzierungsagenturen vorgenommenen Evaluierungen überwachen oder die Evaluierungen sogar selbst durchführen.

Gremien

Externe Sachverständigengremien: in den RP-Rechtsvorschriften seit dem RP4 vorgeschrieben

57. Seit dem RP4 muss jede umfassende Evaluierung (sowie das jährliche Controlling der Programmdurchführung) der RP von (oder mit Unterstützung von) externen Sachverständigengremien vorgenommen werden (siehe Anhang II). Auch wenn es schwierig ist, geeignete Sachverständige zu finden, können diese Gremien potenziell für Transparenz sorgen, ein gewisses Maß an Unabhängigkeit bieten, die Einbeziehung der maßgeblichen Akteure erleichtern und die aus den RP, der Evaluierung und den zugrunde liegenden wissenschaftlichen Aspekten gewonnenen Erkenntnisse zur Geltung bringen.

58. Dies wurde auch durch die Umfrage des Hofes bestätigt, der zu entnehmen ist, dass die Befragten das gremienbasierte Evaluierungssystem der Kommission als Garant für Unabhängigkeit sehen (siehe Abbildung 4).

Schwachpunkte des Gremienkonzepts in der von der Kommission angewandten Form

59. Trotz dieser positiven Wahrnehmung wiesen Gremienmitglieder und Beteiligte die Prüfer des Hofes im Verlauf der Prüfung auf folgende Schwachstellen hin, die sich aus der Art und Weise, wie die Kommission die Gremien für die Evaluierung der RP einsetzt, ergeben: — Evaluierungsgremien werden gewöhnlich knapp ein Jahr vor Fälligkeitstermin ihres Berichts eingesetzt und treten lediglich zu einigen wenigen Sitzungen zusammen. Dadurch ist es für die Mitglieder der Gremien schwierig, auf die Festlegung der für ihre Arbeit erforderlichen Daten und Analysen Einfluss zu nehmen. Da die Gremien zudem auf Ad-hoc-Basis und auf Zeit bestellt werden, lassen sich Kenntnisse über die Programme schwer zusammentragen, und relevante Fragen können nicht im Zeitverlauf weiterverfolgt werden. Dies ist insbesondere dann ein Schwachpunkt, wenn — wie beim RP7 — während der Programmlaufzeit mehrere wichtige Evaluierungsrunden vorgesehen sind (siehe Anhang II). Diese Vorgehensweise steht auch im Gegensatz zur Praxis der Kommission, für die RP beratende Expertengruppen einzusetzen, bei denen es sich um ständige Einrichtungen handelt (34). Auch in Kanada (35) sind die Evaluierungsgremien — zwecks Sicherstellung eines einheitlichen und kohärenten Ansatzes — Dauereinrichtungen (siehe Anhang III). — Bei Festlegung des Auftrags der Gremien und Formulierung der Evaluierungsfragen tauscht sich die Kommission nicht mit externen RP-Teilnehmern (etwa der Industrie und großen Forschungseinrichtungen) aus. Das mit dem Controlling der Programmdurchführung für das Jahr 2004 beauftragte Gremium stellte dieses Problem ebenfalls fest und merkte an, dass potenzielle Nutzer frühzeitig in den Prozess einbezogen werden sollten (36). — Die Arbeitsweise der Gremien unterscheidet sich von einem „Peer Review“-Verfahren. Die Mitglieder der Gremien nehmen aufgrund der knappen Zeitvorgaben keine eigenen Evaluierungen vor, sondern stützen sich bei ihrer Begutachtung gewöhnlich auf Daten und Nachweise, die ihnen aus anderen Quellen bereitgestellt werden. Diese Zeitknappheit führte auch dazu, dass die Gremien zur Beantwortung der in ihrem Auftrag vorgegebenen Fragestellungen nur bedingt zusätzlich benötigte Studien in Auftrag geben konnten. In der Praxis konnten sich die für die Fünfjahresbewertungen zuständigen Gremien — mit wenigen Ausnahmen — lediglich auf von der Kommission bereitgestellte Angaben stützen.

Ressourcen

Für die Evaluierung der Rahmenprogramme sind keine spezifischen Ressourcen veranschlagt

60. Die Finanzierung von Evaluierungen erfolgt auf jährlicher Basis nach Maßgabe des von den für die Durchführung der RP zuständigen Generaldirektionen veranschlagten Bedarfs. Derzeit wird sie aus einer Kombination von kommissionsweit verwendbaren Mitteln aus dem Budget der GD Haushalt und Mitteln aus dem Verwaltungshaushalt der betreffenden Generaldirektionen bestritten. Darüber hinaus werden spezifische Maßnahmen als indirekte Aktionen aus den operationellen RP-Mitteln finanziert. Folglich gibt es keinen eigens für Evaluierungen veranschlagten Betrag.

61. Das kommissionsweit im Bereich der Evaluierung und des tätigkeitsbezogenen Managements tätige Personal wurde im Jahr 2006 auf durchschnittlich rund 1 % des Gesamtpersonals geschätzt (37). Die entsprechenden Anteile an Tätigkeiten im Zusammenhang mit dem Controlling der Durchführung und der Evaluierung der FTE-Rahmenprogramme lagen bei der GD Forschung bzw. bei der GD Informationsgesellschaft und Medien bei 1,2 % bzw. bei 1,3 %. Im Falle der GD Forschung waren über zwei Drittel dieser Mitarbeiter allerdings den für die operative Programmverwaltung zuständigen Abteilungen und nicht dem Evaluierungsreferat zugeteilt, und die Evaluierung stellte lediglich eine ihrer zahlreichen Aufgaben dar.

Für die Finanzierung der RP-Evaluierung wurden weniger Mittel bereitgestellt als von der Kommission empfohlen

62. Die für die Bewertung bereitgestellten Mittel lassen sich auch in Prozent der für das Programm insgesamt veranschlagten Haushaltsmittel ausdrücken. Aus den im Zuge der Prüfung gesammelten Zahlen geht hervor, dass bei Forschungsprogrammen in den Mitgliedstaaten ein Prozentanteil von 0,1 % bis 2 % üblich ist. Gemäß den Leitlinien der Kommission sollten für Bewertungszwecke 0,5 % eines Programmbudgets vorgesehen werden (38). Bei umfangreicheren Programmen könnten durch größenbedingte Einsparungen aber geringere Prozentanteile ausreichend sein.

63. Vergleicht man die Zahlen der Kommission für Bewertungsausgaben im Zeitraum 2003-2006 mit den Haushaltsmitteln der einzelnen Generaldirektionen, ergibt sich ein Gesamtdurchschnitt von rund 0,15 %, was deutlich unter dem von der Kommission empfohlenen Prozentsatz liegt. Eine genauere Analyse für das Jahr 2006 macht deutlich, dass — bezogen auf die jeweils verwalteten Mittel — die GD Informationsgesellschaft und Medien für Bewertungen etwa viermal so viel aufgewendet hat wie die GD Forschung. Darüber hinaus beträgt bei der GD Forschung der Personaleinsatz für Bewertungszwecke lediglich 0,7 % eines Vollzeitmitarbeiters pro Million Euro ihres Jahresbudgets. Zum Vergleich: Bei der DG Informationsgesellschaft und Medien ist dieser Prozentsatz doppelt so hoch.

64. Wie in diesem Bericht veranschaulicht, führte dieser zusätzliche Aufwand der GD Informationsgesellschaft und Medien zum einen zu einer umfassenderen Evaluierung (siehe Ziffern 13 und 46) und zum anderen, wie aus der vom Hof geprüften Stichprobe von Evaluierungsstudien hervorgeht, zur Verwendung von Methoden, die den Evaluierungserfordernissen besser gerecht werden (siehe Ziffer 84).

65. Eine vom Hof auf der Grundlage der von der Kommission bereitgestellten Angaben vorgenommene Kostenschätzung ergab, dass auf ein Evaluierungssystem, wie es im vorliegenden Bericht vorgeschlagen wird, im Durchschnitt weniger als 0,4 % der für das RP7 veranschlagten Haushaltsmittel entfallen würden. Damit wären die Kosten für Gremien, für in Unterauftrag vergebene Studien, Personalkosten für das gemeinsame Evaluierungsamt sowie für die derzeitigen GD-spezifischen Evaluierungsreferate und sonstige Kosten gedeckt (39).

Empfehlungen

66. Die Forschungsgeneraldirektionen sollten die Einrichtung eines gemeinsamen Evaluierungsamts — zusätzlich zu den in den einzelnen GD vorhandenen Evaluierungsreferaten — in Erwägung ziehen. Wie dies in anderen Politikbereichen der gängigen Praxis entspricht, könnte dieses Amt die Koordinierung der Evaluierungstätigkeiten der Kommission für das gesamte RP übernehmen. Entsprechende gemeinsame Unterstützungsfunktionen wurden in der Vergangenheit für die mit der Durchführung der RP befassten GD empfohlen (40). Sie dürften in Zukunft durch die Schaffung des Europäischen Forschungsrats und die Übertragung der Programmdurchführung auf Exekutivagenturen noch an Bedeutung gewinnen. 67. Die Kommission sollte sich bei ihren Evaluierungstätigkeiten weiterhin die Unterstützung durch Evaluierungsgremien sichern, wobei allerdings zu überlegen wäre, wie sich die Gremienstruktur auf die gesamte RP-Struktur abstimmen ließe. Eine Möglichkeit bestünde darin, Gremien für spezifische Programme und ggf. Teilprogramme einzusetzen (siehe Anhang IV). Diese Gremien müssten außerdem frühzeitig genug eingesetzt werden, damit sie die Kommission wirksam unterstützen können, und zwar während der gesamten Programmlaufzeit und darüber hinaus. 68. Die Kommission sollte den Ressourceneinsatz für Evaluierungen der RP und der zugehörigen Programme überdenken.

Evaluierungsmethoden und -techniken

69. Eine wirksame Evaluierung setzt die Anwendung geeigneter Methoden und Techniken voraus. Der Hof prüfte, inwieweit für die Evaluierung der RP eigene Leitlinien vorhanden waren, ob der Informationsbedarf rechtzeitig und genau analysiert wurde und ob den Evaluatoren relevante Informationen zur Verfügung gestellt wurden. In Bezug auf die von der Kommission (oder in ihrem Auftrag) durchgeführten Evaluierungsstudien überprüfte der Hof, ob die für die einzelnen Studien verwendeten Techniken eine ausreichende Grundlage für die Beantwortung der für die Fünfjahresbewertungen vorgegebenen Fragen lieferten. Dabei wurde ebenfalls beleuchtet, welchen Beitrag auf einzelstaatlicher Ebene vorgenommene Evaluierungen zur Bewertung der RP leisten könnten.

Festsetzung RP-spezifischer Normen und Leitlinien

70. Die GD Haushalt hat mehrere Mitteilungen herausgegeben, in denen sie ihre Evaluierungspolitik darlegt und Regeln für deren Umsetzung vorgibt. Außerdem hat sie einige kommissionsweit geltende Normen festgelegt (siehe Ziffern 14 und 55) (41). In anderen Politikbereichen haben die zuständigen Generaldirektionen zusätzlich eigene Evaluierungsleitfäden ausgearbeitet (42).

71. Für die Rahmenprogramme gilt dies allerdings nicht. Die Kommission veröffentlichte (oder finanzierte) eine Reihe methodischer Leitfäden und Instrumente („Toolboxes“) für Evaluierungstätigkeiten im Bereich der Forschung (43). Darin finden sich jedoch weder konkrete Anleitungen für die Vorgehensweise bei der Durchführung von Evaluierungen der Rahmenprogramme noch Schlüsselbegriffe oder -termini, die von den Kommissionsbediensteten oder externen Sachverständigen zu verwenden sind. Dies hat u. a. zur nachstehend dargelegten Problematik beigetragen.

Datenbedarf und Datensammlung

Unzulängliche Analyse des Informationsbedarfs

72. Die Forschungsgeneraldirektionen befassten sich nicht eingehend genug damit, welche Daten für Evaluierungs- und Programmcontrollingzwecke benötigt werden. Die Kommission hat den Datenbedarf nicht systematisch und umfassend analysiert, sondern zu einem späten Zeitpunkt in der Programmlaufzeit und ohne angemessene Berücksichtigung des generellen evaluierungsspezifischen Bedarfs festgelegt. Der sozioökonomische Fragebogen zum RP6 blieb der einzige gemeinsame Versuch der Generaldirektionen, sich auf entsprechende Daten zu verständigen (siehe Ziffer 76). Dieser im Jahr 2004 (also drei Jahre nach Beginn der Programmlaufzeit) festgelegte Fragebogen bezieht sich allerdings in erster Linie auf Aspekte wie die Geschlechterverteilung unter den Teilnehmern sowie Umweltauswirkungen und nicht auf wissenschaftliche Outputs (wie Fragen des geistigen Eigentums, Veröffentlichungen usw.), Wirkungen oder Auswirkungen.

73. Die Programmevaluierung hängt in hohem Maße von der Verfügbarkeit dreier Datenarten ab: — anhand von Wirksamkeitsindikatoren erhobener Daten, deren Analyse Erkenntnisse über den Stand der Umsetzung der Programmziele liefert. Wegen des vorstehend erwähnten Fehlens einer Interventionslogik erwies es sich als schwierig, entsprechende Indikatoren festzulegen (siehe Ziffer 30). In der Praxis waren die erhobenen Daten für die Messung der Verwirklichung der Programmziele kaum relevant; — Daten über die Programmverwaltung (anhand von Effizienzindikatoren); — Daten über die Teilnehmer (etwa die Beteilungsquote großer Forschungseinrichtungen).

74. Insbesondere die beiden letztgenannten Datenarten sollten bei der Kommission verfügbar sein. Bedingt durch Probleme im Zusammenhang mit den internen IT-Systemen der Kommission, aus denen die meisten Angaben über Programmverwaltung und Teilnehmer stammen (44), war dies in der Praxis äußerst schwierig (45).

75. Dies wird an den erheblichen Verzögerungen bei der Bereitstellung der Berichte nach Artikel 173 und der jährlichen Kontrollberichte deutlich (Fristüberschreitungen um bis zu 16 Monate bei den Berichten nach Artikel 173 (46) und um bis zu 7 Monate bei den jährlichen Kontrollberichten im Zeitraum 2002-2005). Da diese Informationen stets verspätet bereitgestellt wurden, waren sie von geringem Nutzen.

Unwirksamer Ansatz für die Erhebung evaluierungsrelevanter Daten bei den Teilnehmern

76. Wie nachstehend dargelegt verpflichtet die Kommission die Teilnehmer seit dem RP5 systematisch vertraglich zur Bereitstellung der für die Messung der Verwirklichung der Programmziele nach Outputs, Wirkungen und Auswirkungen benötigten Daten. — Beim RP5 mussten die Teilnehmer nach Abschluss des Projekts zusammen mit einem Endbericht einen „Technologieumsetzungsplan“ vorlegen. Diese Unterlagen waren vielfach von mangelhafter Qualität oder wurden überhaupt nicht vorgelegt. — Beim RP6 war von den Teilnehmern ein „Plan zur Nutzung und Verbreitung der Kenntnisse“ vorzulegen; darüber hinaus musste parallel zur Vorlage der jährlichen technischen Berichte ein standardisierter Fragebogen zu sozioökonomischen Aspekten beantwortet werden.

77. Durch die vertragliche Verpflichtung zur Vorlage von Daten wurde den Teilnehmern ein unnötiger Verwaltungsaufwand aufgebürdet. Dies lässt sich am Beispiel des jährlichen Fragebogens zum RP6 veranschaulichen: Die Daten werden viel öfter erhoben als erforderlich und überdies zur gesamten Projektpopulation, obwohl eine repräsentative Stichprobe ausreichend wäre. Dies dürfte zu „Evaluationsmüdigkeit“ führen. Diese Daten wurden darüber hinaus zum falschen Zeitpunkt erhoben. Zahlreiche grundlegende Fragen, zu denen Daten erhoben werden, sind mittel- oder längerfristiger Natur, sodass die Datenerhebung während der Vertragslaufzeit des Projekts naturgemäß verfrüht ist (47). Aus diesem Grund wurden die über diese Erhebungen bereitgestellten Informationen für Evaluierungen im Rahmen des RP5 und des RP6 in der Praxis kaum genutzt.

78. Keines der bestehenden Systeme sieht jedoch die Erhebung von Informationen am (oder kurz nach dem) Ende der Laufzeit eines Projekts nach einheitlichen Kriterien vor. Vom Hof befragte Beteiligte schlugen vor, dass entsprechende Informationen sich eventuell auch auf die Verwirklichung der Projektziele, angestrebte (und unplanmäßige) Ergebnisse sowie das von den Teilnehmern als Bereicherung wahrgenommene Agieren im Rahmen von Gemeinschaftsprogrammen erstrecken könnten. Diese Angaben könnten auch als Grundlage für externe Begutachtungen abgeschlossener Projekte dienen (48).

79. In Verbindung mit der verstärkten Verwendung szientometrischer Konzepte (etwa Zitatanalysen) zur Evaluierung von Projektergebnissen (siehe Ziffer 83) könnte dies der Kommission als Basis für die Umstellung auf ein stärker ergebnisorientiertes Finanzierungssystem für von der Gemeinschaft kofinanzierte FTE-Tätigkeiten dienen (49).

Andere Datenquellen werden nicht ausreichend ausgeschöpft

80. Andere bei der Kommission und in den Mitgliedstaaten vorhandene Datenquellen werden nicht ausreichend genutzt (z. B. Datenbanken zu nationalen FTE-Programmen und Finanzierungsagenturen sowie der vom Amt für Veröffentlichungen der Kommission betriebene „Informationsdienst der Gemeinschaft für Forschung und Entwicklung“ (CORDIS) (50)).

Evaluierungsstudien der Kommission

Vom Hof überprüfte Berichte

81. Der Hof überprüfte 86 von der Kommission (oder in ihrem Auftrag) seit 2000 durchgeführten Evaluierungsstudien. Darin inbegriffen waren alle 36 Studien, die die Grundlage für die im Jahr 2004 veröffentlichte Fünfjahresbewertung bildeten, sowie die 50 seitdem abgeschlossenen Studien. Lediglich 23 dieser Studien können als echte Evaluierungen des RP und der zugehörigen Programme angesehen werden (siehe Abbildung 5). Abbildung 5 Übersicht über im Zeitraum 2000-2006 von (oder im Auftrag) der Kommission durchgeführte Evaluierungsstudien Art der Studie Anzahl Beschreibung Evaluierung von RP-Tätigkeiten 23 Evaluierungsstudien — auf der Grundlage anerkannter Methoden (51); — unter besonderer Berücksichtigung der Programmziele und des Ausmaßes der Verwirklichung dieser Ziele. Einzelstaatliche Wirkungsevaluierungen (auf Ebene der Mitgliedstaaten) 12 Von den Mitgliedstaaten durchgeführte Studien, die vor allem auf die nationalen Teilnahmequoten und nicht auf Schlussfolgerungen zu den Programmzielen ausgerichtet sind. Methodikstudien 5 Von der Kommission veranlasste Studien mit Blick auf die Entwicklung von Evaluierungsmethoden. Studien der europäischen FTE-Landschaft 2 Studien zur Kontextanalyse des Europäischen Forschungssektors, nicht jedoch der RP. Insbesondere ohne ausdrückliche Berücksichtigung der Auswirkungen der RP auf nationale Forschungs- und Innovationssysteme. Nicht analytische deskriptive und statistische Dokumente 33 In diesen Dokumenten wird gewöhnlich nur sehr indirekt auf die RP-Tätigkeiten eingegangen, die vielfach eher beschrieben als analysiert werden. Sonstige Dokumente 11 Diverse Dokumente, die Fragen von allgemeinem politischem Interesse beleuchten, ohne vor diesem Hintergrund die RP zu analysieren.

Evaluierungen mit Schwerpunkt auf der Programmdurchführung, nicht jedoch auf Wirkungen und Auswirkungen

82. Die vom Hof vorgenommene Metaanalyse dieser spezifischen Evaluierungsstudien ergab zwei wesentliche Feststellungen: — In vielen Studien wird zwar der Versuch unternommen, Schlussfolgerungen mit Bezug auf die Programmziele zu ziehen, diese Schlussfolgerungen sind aber so vage formuliert, dass für den Leser nicht eindeutig erkennbar ist, ob diese Fragen in der Studie tatsächlich beleuchtet wurden. Dies ist häufig darauf zurückzuführen, dass dieses Unterfangen durch das Fehlen klarer Programmziele praktisch zum Scheitern verurteilt ist (siehe Ziffer 28). — Viele Dokumente beinhalten keine Evaluierung der Wirkungen und Auswirkungen der RP und der zugehörigen spezifischen Programme (und Teilprogramme), sondern sie sind deskriptiv und gehen allenfalls auf die unmittelbaren Projektoutputs und Projektmanagementfragen ein. Diese Berichte können keine aussagekräftigen Nachweise für Wirkungen oder Auswirkungen liefern.

Zu geringer Schwerpunkt auf der Entwicklung innovativer Methoden

83. Bei den zwischen 2000 und 2006 durchgeführten Evaluierungen kamen überwiegend herkömmliche Methoden und Techniken (insbesondere Erhebungen, Durchsicht von Unterlagen und Befragungen) zur Anwendung (siehe Abbildung 6). Eine Reihe komplexer, jedoch gut eingeführter Evaluierungsmethoden und -techniken kam hingegen nicht (oder kaum) zur Anwendung, insbesondere — szientometrische Konzepte (wie Zitatanalysen) (52); — quantitative Modelle (wie Kosteneffizienz-, Kostenwirksamkeits- und Kosten/Nutzen-Analysen) (53); — Akteur- (oder Verhaltens-)modelle (die schwerpunktmäßig auf die Sichtweise der an einer Intervention Beteiligten ausgerichtet sind, etwa die Merkmale von Forschernetzwerken und deren Wandel im Zeitverlauf).

84. Evaluierungsstudien, die versuchsweise auf einige der methodischen Probleme bei der Bewertung öffentlicher Interventionen im Forschungsbereich ausgerichtet waren (siehe Anhang I), blieben auf einige wenige Fälle beschränkt: — Kürzlich wurden zwei Studien zum Thema Interventionslogik abgeschlossen (54). — Soweit festgestellt, wurde lediglich in drei Studien der Versuch unternommen, die Auswirkungen der Gemeinschaftsförderung auf die Netzwerk-Gewohnheiten von Forschungseinrichtungen auf gesamteuropäischer Ebene zu bewerten (55). Und dies, obwohl das EFR-Konzept auf der Annahme positiver Netzwerk-Effekte basiert. — Nur in einem Fall wurde versucht, durch Kombination auf Projektebene aggregierter Evaluierungsanalysen mit anderen Evaluierungstechniken Schlussfolgerungen zu den auf Programm- (oder Teilprogramm)ebene erzielten Auswirkungen zu ziehen (56). — Anhaltspunkte für die Anwendung anderer Methoden, etwa kontrafaktischer (oder Kontrollgruppen-)modelle, fanden sich nicht. Diese Methoden wären besonders hilfreich, um zu veranschaulichen, welchen Mehrwert auf Gemeinschaftsebene verwirklichte Programme gegenüber einer Situation ohne Interventionen (oder mit Interventionen auf nationaler oder regionaler Ebene) erbringen.

85. Vom Hof befragte Beteiligte gaben an, dass Nützlichkeit und Aussagekraft der Kommissionsbewertungen verbesserungsfähig seien. Daran wird erkennbar, dass die Methoden weiterentwickelt werden müssen, damit das Evaluierungssystem sich parallel zum Wandel der Rahmenprogramme entwickeln kann (siehe Ziffer 7) (57).

In den Fünfjahresbewertungen aufgeworfene komplexe Fragestellungen ließen sich anhand der spezifischen Evaluierungsstudien der Kommission nicht beantworten

86. Dies wird auch an den großen Problemen deutlich, denen sich das mit der Fünfjahresbewertung 2004 beauftragte Gremium (58) bei der Beantwortung der im Auftrag aufgeführten Evaluierungsfragen gegenübersah. Viele dieser komplexen Fragestellungen konnten gar nicht behandelt werden, weil im Vorfeld von (oder im Auftrag) der Kommission keine geeigneten Studien durchgeführt wurden und die Mitglieder des Gremiums entsprechende Studien nicht rechtzeitig in Auftrag geben konnten (siehe Abbildung 7). Abbildung 7 Beantwortung der Evaluierungsfragen in der Fünfjahresbewertung 2004 Evaluierungsfrage Im Bericht thematisiert? DURCHFÜHRUNG Wurden die Tätigkeiten effizient durchgeführt? Teilweise Waren die Tätigkeiten kostenwirksam? Teilweise Waren die Tätigkeiten zur Verwirklichung der gesetzten Ziele optimal geeignet? Nein Waren der Rechtsrahmen (einschließlich der Regeln für die Beteiligung und für die Verträge), die politischen Instrumente und die Durchführungsbestimmungen insgesamt klar, zweckmäßig und wirksam? Nein Waren die Förderhöhe und sonstigen verfügbaren Ressourcen angemessen? Nein Konnten die Zielgruppen — Industrie- und Forschungskreise einschließlich KMU — entsprechend reagieren? Ja ERGEBNISSE Wurden mit den Tätigkeiten die jeweiligen Ziele verwirklicht und inwieweit traten unerwartete Ergebnisse auf? Nein Welche Hauptergebnisse sind insbesondere in Form wissenschaftlicher, technologischer, sozioökonomischer und ökologischer Outputs zu verzeichnen, sowie in Form internationaler Zusammenarbeit, Wissenstransfer und Innovation, pränormativer Tätigkeiten, Zugänglichkeit, Verbreitung und Übernahme der Forschungsergebnisse, Entwicklung, Mobilität und Ausbildung der Humanressourcen und in Form der Förderung und Stärkung der Koordinierung von Forschungstätigkeiten? Nein Waren, aus Sicht der direkten oder indirekten Begünstigten und Beteiligten, die Ergebnisse und deren Folgen und Auswirkungen generell zufriedenstellend? Nein Wurden die einschlägigen Industrie- und Forschungskreise, KMU eingeschlossen, entsprechend erreicht? Ja Wie und inwieweit trugen die Tätigkeiten zu einer verbesserten Wettbewerbsfähigkeit der europäischen Forschung auf internationaler Ebene bei? Konnte die EU in spezifischen Bereichen die Führungsrolle übernehmen? Teilweise Wie und inwieweit trugen die Tätigkeiten zu den EU-Politiken im Allgemeinen und zur Strategie der EU im Hinblick auf die nachhaltige Entwicklung bei? Nein Gibt es Anhaltspunkte für einen strukturellen Wandel, insbesondere auch bei Netzwerken, der Integration und der Koordinierung der Forschung auf nationaler oder internationaler Ebene infolge der Forschungsaktivitäten der Gemeinschaft? Nein Waren die Programme kosteneffizient? Hatten die Tätigkeiten dauerhafte Auswirkungen? Nein ENTWICKLUNG UND ZUKUNFTSPERSPEKTIVEN Welche Entwicklung nahmen die Rahmenprogramme in Bezug auf Begründungen, Ziele, thematische Prioritäten, die Ausgewogenheit zwischen Bottom- up- und Bottom-down-Schwerpunkten sowie zwischen Grundlagen- und angewandter Forschung, Instrumenten, europäischem Mehrwert und anderen Auswirkungen, insbesondere im Lichte der Entstehung des Konzepts des Europäischen Forschungsraums, der Lissabon-Ziele und wichtiger internationaler Wirtschafts- und Forschungsleistungsvergleichsmaßstäbe? Ja Auf welche Weise entstand durch das Rahmenprogramm europäischer Mehrwert? Ja Ließe sich europäischer Mehrwert durch andere internationale oder nationale Mechanismen schaffen? Nein Eignen sich die politischen Ziele, Prioritäten, Instrumente und der Lebenszyklus der Programme für die Zukunft? Ja

87. Außerdem weist der Hof darauf hin, dass die Mitglieder des Gremiums lediglich zu den Aspekten, zu denen in den Programmen klare und quantifizierbare Ziele festgelegt waren (etwa Anteil der teilnehmenden Klein- und Mittelbetriebe), die im Auftrag vorgegebenen Fragen beantworten konnten.

Auf nationaler Ebene vorgenommene Evaluierungen der RP

88. Mehrere Mitgliedstaaten und assoziierte Länder führen eigene nationale Evaluierungen der RP durch, die auf Fragen ausgelegt sind, die aus ihrer Sicht interessant und relevant sind (59). In den vergangenen acht Jahren wurden für neun Mitgliedstaaten und ein assoziiertes Land 14 entsprechende Studien erstellt.

89. Während die Kommission propagiert, soweit möglich standardisierte Konzepte zu verwenden, sind diese nationalen Wirkungsstudien äußerst heterogen (60). Da nicht nach einer einheitlichen Methode vorgegangen wird, lassen sich die Ergebnisse nur bedingt aggregieren, kombinieren oder vergleichen. Wegen ihres nationalen Zuschnitts können diese Studien den Aspekt der europäischen Zusammenarbeit auch nur teilweise erfassen.

90. Im Grünbuch zum Europäischen Forschungsraum aus dem Jahr 2007 argumentierte die Kommission, dass die Verfügbarkeit genauer Analysen (seitens der Mitgliedstaaten wie der EU) der Auswirkungen und der Wirksamkeit der Forschungstätigkeiten und -politiken auf Ebene des Europäischen Forschungsraums sehr wichtig sei. Sie räumte auch ein, dass dieser Herausforderung mit den geltenden Regelungen nicht begegnet werden könne, da auf den einzelnen Interventionsebenen Evaluierungen unabhängig voneinander vorgenommen würden (61).

Empfehlungen

91. Die Kommission sollte ein Handbuch für die Evaluierung aus den RP geförderter Tätigkeiten ausarbeiten, in dem Schlüsselbegriffe und -termini definiert und eine Reihe zweckmäßiger Methoden für bestimmte Evaluierungstätigkeiten aufgeführt werden. Dieses Handbuch sollte sich auf die bestehenden Leitfäden und Instrumente stützen und regelmäßig aktualisiert werden. 92. Die Kommission sollte unter Beachtung der Notwendigkeit, den Verwaltungsaufwand für die Teilnehmer möglichst gering zu halten, ihren Informationsbedarf genau bestimmen. 93. Die Kommission sollte rechtzeitig Controllingdaten zur Durchführung der RP vorlegen. Wie in den „Regeln für die Beteiligung“ zum RP7 vorgeschrieben, sollten Probleme im Zusammenhang mit den IT-Systemen der Kommission für die Verwaltung der Daten über Programmverwaltung und Teilnehmer rasch gelöst werden. 94. Die Berichtspflichten der Teilnehmer gegenüber der Kommission sollten deutlich eingeschränkt und Erhebungen lediglich stichprobenmäßig vorgenommen werden. Die vertraglich vorgeschriebene Vorlage von Daten über die Auswirkungen auf der Grundlage von Indikatoren für jedes Projekt sollte durch eine kurze Selbstbewertung bei Projektabschluss ersetzt werden. 95. Die Kommission sollte vorhandene ergänzende Informationsquellen mit relevanten Angaben (in der Kommission wie in den Mitgliedstaaten) stärker für ihre Evaluierungen nutzen. 96. Die Kommission sollte sämtliche verfügbaren Evaluierungstechniken einsetzen. Außerdem sollte sie die Entwicklung innovativer Konzepte fördern, um die bei der Evaluierung öffentlicher Interventionen im Forschungsbereich inhärent gegebenen Schwierigkeiten zu bewältigen (siehe Anhang I), und diese Konzepte auch für ihre eigenen Evaluierungen verwenden. 97. Die Kommission sollte in Absprache mit den Mitgliedstaaten nach Wegen für eine möglichst effiziente Gestaltung der auf einzelstaatlicher Ebene durchgeführten Evaluierungen der RP suchen.

Verbreitung und Nutzung der Evaluierungsergebnisse

98. Evaluierungen sollten relevante Daten und Analysen liefern, die nutzbringend für die Programmverwaltung und politische Gestaltung verwendet werden können. Insbesondere sollten Evaluierungen die Grundlage für sachlich fundierte Überlegungen zu den Stärken und Schwächen öffentlicher Interventionen liefern, die Voraussetzung für einen Lernprozess sind. Der Hof prüfte, inwieweit die Bewertungen zum richtigen Zeitpunkt vorgenommen wurden, die Ergebnisse gegenüber Beteiligten außerhalb der Kommission vermittelt und verbreitet wurden und die Kommission Empfehlungen zum Anlass nahm, laufende Programme zu überarbeiten („lernende Programme“).

Bei der zeitlichen Planung der Evaluierungen wurde nicht berücksichtigt, welche Art von Informationen realistischerweise erwartet werden konnten

99. Der Hof ist sich darüber im Klaren, dass bestimmte Arten von Analysen nur langfristig möglich sind (etwa die Evaluierung der Wirkungen und sozioökonomischen Auswirkungen) und dass manche Aspekte sich auf eine konkrete Programmlaufzeit beziehen (etwa Programmziele, selbst innerhalb einer bestimmten wissenschaftlichen Disziplin), andere Aspekte hingegen nicht (siehe Abbildung 8). Die Kommission hat bei ihren Evaluierungstätigkeiten diese Zeitperspektiven aber nicht berücksichtigt.

100. Nach Maßgabe der Rechtsvorschriften hat die Kommission ihre zentralen Evaluierungstätigkeiten ausschließlich auf die fünf Jahre vor der Fünfjahresbewertung auszurichten, wodurch Teile zweier aufeinanderfolgender Programmlaufzeiten abgedeckt werden. Aufgrund dessen wurden mittel- und langfristige Wirkungen und Auswirkungen kaum beleuchtet. Die Fünfjahresbewertungen waren demnach in der Regel hauptsächlich auf Aspekte des Programmcontrollings, kurzfristige Fragen der Programmkonzeption und allgemeine Bemerkungen zur Ausrichtung der RP ausgelegt. Der Hof begrüßt die Tatsache, dass in den Rechtsvorschriften für das RP7 keine Fünfjahresbewertungen oder andere vorab festgelegte Abdeckungszeiträume mehr vorgeschrieben sind. Abbildung 8 Programmcontrolling- und Evaluierungsaspekte nach unterschiedlichen Zeitperspektiven Controlling der Programmdurch-führung (im Gange) — Aspekte der Programmverwaltung (z. B. Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung, Beteiligungs- und Erfolgsquoten, Haushaltsführung, Fördersätze usw.) Evaluierung kurzfristig (frühestens bspw. nach 1-2 Jahren) — Aspekte der Programmverwaltung (z. B. Effizienz der Verwaltungsverfahren) — Aspekte der Programmkonzeption (z. B. Zugänglichkeit und Flexibilität der Instrumente, Teilnahmehindernisse, Auswirkungen erfolgloser Aufforderungen zur Einreichung von Vorschlägen usw.) — Analyse des Teilnehmerprofils (in diesem Stadium vor allem quantitativ) Evaluierung mittelfristig (bspw. nach 7 Jahren) — Aspekte der Programmkonzeption (z. B. Wirksamkeit der Instrumente) — Analyse der Beteiligung (Kombination qualitativer und quantitativer Aspekte, etwa Analyse von Forschernetzwerken, Auswirkungen auf das Verhalten von Forschern usw.) — Analyse der Projektoutputs (62) (z. B. Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, ausgebildete Wissenschaftler usw.) Evaluierung langfristig (bspw. nach > 10 Jahren) — Evaluierung der Wirkungen und Auswirkungen Quelle: Europäischer Rechnungshof.

101. Die Sachverständigen der Kommission wiesen ebenfalls auf die unzulängliche Evaluierung der Wirkungen und Auswirkungen der RP in den Fünfjahresbewertungen hin: — Das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium stellte u. a. fest, dass im Rahmen von Evaluierungen langfristige und kurzfristige Aspekte abgedeckt und ausreichend bedacht werden müssen, dass Ressourcen für eher anspruchsvolle langfristige Evaluierungsstudien bereitgestellt werden könnten, in denen auf systematischere Weise die strukturellen und weitergehenden sozioökonomischen Aspekte erforscht werden könnten (63). — In einer von der GD Forschung in Auftrag gegebenen Studie wurde festgestellt, dass die derzeitige Evaluierungspraxis der EU für den FTE-Bereich (mit laufendem Programmcontrolling, Fünfjahres- und Halbzeitbewertungen) in erheblichem Maß durch einen Schwerpunkt auf der Überwachung der Programmdurchführung im Vergleich zur Wirkungsbewertung gekennzeichnet ist. In dieser Evaluierung heißt es ferner, dass zwecks Verlagerung von Anforderungen und Erwartungen hin zu den sozioökonomischen Auswirkungen ein neuer Evaluierungs- und Programmcontrollingrahmen erforderlich wäre, der anstelle der Output-Überwachung die stärkere Berücksichtigung der Auswirkungen zur Auflage macht (64).

102. Der Zeitaspekt wirkt sich auch auf die vorgeschriebenen spezifischen Evaluierungen aus. Der 2004 vorgelegte Marimón-Bericht mit der Analyse der im RP6 (2003-2006) neu eingeführten Instrumente etwa wurde verfrüht angefordert, weswegen es keine oder kaum praktische Erfahrungen und empirische Belege zur Untermauerung der Schlussfolgerungen gab (65).

Vermittlung und Verbreitung

103. Die Kommission kann eigenständig operative Arbeitsprogramme nach kurzfristigen Zyklen ausarbeiten und anpassen, sofern der zuständige Programmausschuss seine Zustimmung erteilt. Damit wäre theoretisch eine Möglichkeit gegeben, die Programmverwaltung anzupassen oder auch Haushaltsmittel innerhalb von Teilprogrammen umzuschichten. Soweit der Hof feststellen konnte, macht die Kommission von dieser Möglichkeit keinen Gebrauch (siehe Ziffer 107).

104. Abgesehen davon ist es der Kommission aufgrund der Art und Weise, wie die RP konzipiert sind und angenommen werden, praktisch unmöglich, erhebliche Änderungen wie Korrekturen der Programmziele oder Umschichtungen von Haushaltsmitteln zwischen Teilprogrammen vorzunehmen. Einzig der Gesetzgeber kann entsprechende weitreichende Änderungen im Zuge der Überarbeitung der RP-Rechtsvorschriften (also im Jahr 2010 für das RP7) oder bei der Annahme des nachfolgenden RP verfügen. Aus diesem Grund war in den Rechtsvorschriften gewöhnlich ein Zeitpunkt für die Durchführung der Hauptevaluierung vorgeschrieben, der ermöglichen sollte, dass die entsprechenden Ergebnisse bestmöglich für die politische Gestaltung genutzt werden konnten.

105. Einige der wichtigsten Nutzer der Evaluierungen der Kommission sind daher die Forschungsgeneraldirektionen selbst (66). In den RP-Vorschriften ist jedoch auch ausdrücklich vorgesehen, dass die Evaluierungen dem Europäischen Parlament und dem Rat zu übermitteln sind.

106. In der vom Hof beim ITRE-Ausschuss des Parlaments und dem CREST-Ausschuss des Rates durchgeführten Umfrage gab die Mehrheit der Befragten allerdings an, sich nicht ausreichend über die Durchführung und die Ergebnisse der RP informiert zu fühlen (siehe Abbildung 9) (67).

Weiterverfolgung von Evaluierungsergebnissen

107. In ihren Jahresberichten über die Bewertung fasst die Kommission die aus ihren Evaluierungen resultierenden Feststellungen und ergriffenen Maßnahmen zusammen (68). Bezüglich der Weiterverfolgung ist festzuhalten, dass die Kommission sich auch förmlich zu den Feststellungen und Empfehlungen der in den Rechtsvorschriften vorgeschriebenen Fünfjahresbewertungen und spezifischen Evaluierungen geäußert und, soweit möglich, geeignete Maßnahmen zur Behebung der darin aufgeführten Schwachpunkte ergriffen hat. Dies war allerdings bei zahlreichen anderen überprüften Evaluierungsberichten nicht der Fall, und der Hof fand auch keine Anhaltspunkte dafür, dass die Ergebnisse und Empfehlungen für Änderungen der Arbeitsprogramme berücksichtigt wurden. Ebenso wenig ist den ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten der Generaldirektionen zu entnehmen, inwieweit aufgrund der Evaluierungsergebnisse Maßnahmen ergriffen wurden.

Empfehlungen

108. Die Kommission sollte Art und Umfang der zu den in den Rechtsvorschriften vorgesehenen Zeitpunkten (2008, 2010 und 2015) realistischerweise durchführbaren Evaluierungen festlegen. Sie sollte darlegen, wie Evaluierungen zur Anpassung von Programmen („lernende Programme“) herangezogen werden können, und genau angeben, welchen Beitrag Evaluierungen zu strategischen Entscheidungen leisten können. Die Kommission sollte insbesondere klarstellen, wie sie die Bewertung der längerfristigen Ergebnisse vergangener und laufender RP handhaben wird, da entsprechende Ergebnisse eventuell erst nach 7-10 Jahren zum Tragen kommen (siehe Abbildung 8). 109. Die Kommission sollte ihre Verfahren zur Vermittlung und Verbreitung der Evaluierungsergebnisse prüfen, um sicherzustellen, dass die Beteiligten die erforderlichen Informationen erhalten. Insbesondere die Forschungsgeneraldirektionen sollten förmlich auf sämtliche Evaluierungen reagieren und diese Studien (zusammen mit ihren Stellungnahmen) zeitnah bekannt machen. Die Forschungsgeneraldirektionen sollten in ihren ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten über die Weiterverfolgungsmaßnahmen berichten und sich bei der Aktualisierung der Arbeitsprogramme und der Konzeption zukünftiger Programme die Empfehlungen zunutze machen.

GESAMTSCHLUSSFOLGERUNG

110. Der Hof erkennt an, dass die Evaluierung der FTE-Programme, insbesondere der langfristigen Ergebnisse, inhärent schwierig ist und idealtypische Verfahren kaum festzumachen sind.

111. Nach Ansicht des Hofes sind Evaluierungen von entscheidender Bedeutung für Programmverwaltung, zukünftige Planung und politische Gestaltung. Evaluierungen stellen ferner eine Grundlage für die Rechenschaftslegung dar. Sie liefern wertvolle Informationen über angestrebte (oder unbeabsichtigte) Ergebnisse, über den Grad der Verwirklichung der Programmziele, die Relevanz und den Nutzen der Programme sowie über die Effizienz und Wirksamkeit der Programmdurchführung. Da das Europäische Parlament und der Rat über die allgemeine Ausrichtung, Haushaltsfragen und die Programmkonzeption der Rahmenprogramme entscheiden, müssen ihnen anhand eines transparenten, glaubwürdigen und fundierten Evaluierungssystems zweckdienliche Informationen geliefert werden.

112. Die Kommission legte in den Jahren 2000 und 2002 einen allgemeinen Rahmen für Evaluierungen fest, der 2007 überarbeitet wurde. Obwohl in dem vom Hof geprüften Zeitraum keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen.

113. In dem vom vorliegenden Bericht abgedeckten Zeitraum verfügten die Forschungsgeneraldirektionen, wie in den RP-Rechtsvorschriften vorgegeben, über ein Evaluierungssystem, und die Kommission kann auf eine ansehnliche Zahl von Evaluierungsstudien verweisen. Dennoch ist über die Verwirklichung der Programmziele und die Ergebnisse der RP de facto wenig oder nichts bekannt, weil die Evaluierungen im Allgemeinen auf kurzfristige Aspekte der Programmdurchführung ausgerichtet waren. Die Evaluierungen der Kommission waren deshalb für die politischen Entscheidungsträger, die Beteiligten und sogar die Kommission selbst nur bedingt von Nutzen.

114. In Anbetracht der Bedeutung von Evaluierungen für die Programmverwaltung und politische Gestaltung muss die Kommission ihre Vorgehensweise bei Evaluierungen der Rahmenprogramme und der zugehörigen Programme angesichts neuer politischer Herausforderungen, einer höheren Mittelausstattung und einer breiteren Ausrichtung der Forschungspolitik der Gemeinschaft sowie der in jüngster Zeit vorgenommenen Reform der Kommission überprüfen. Diese Empfehlung spricht auch der EURAB in seinem Bericht 2007 aus.

115. Der Hof vertritt die Auffassung, dass der Einsatz einer expliziten Interventionslogik bei der künftigen Konzeption von Rahmenprogrammen zu gezielter ausgerichteten und besser strukturierten Programmen führen würde. Außerdem würde ein Beitrag zur Politik der „besseren Rechtsetzung“ geleistet, mit der die Kommission die rechtlichen Rahmenbedingungen einfacher, effizienter und leichter verständlich gestalten möchte (69).

116. Die Evaluierung der RP und der zugehörigen Programme wäre wirksamer, wenn die Programmziele und Indikatoren von Anfang klarer wären, wenn die Forschungsgeneraldirektionen sich auf eine solide, aber nicht mit zu engen Vorgaben versehene Evaluierungsstrategie verständigen würden und wenn fortschrittlichere Evaluierungsmethoden mit quantitativen Konzepten verwendet würden.

117. Der Hof stellte auch einige Bereiche fest, in denen die Kommission ihren derzeitigen organisatorischen Rahmen für die Evaluierung der RP überdenken sollte. Es könnte sich als vorteilhaft erweisen, — die Evaluierungsgremien frühzeitiger in den Evaluierungsprozess einzubeziehen und auf diese Weise der Kommission während der gesamten Programmlaufzeit und darüber hinaus Hilfestellung zu geben. Außerdem ließe sich durch die Einrichtung von Gremien für spezifische Programme und ggf. Teilprogramme eine stärkere Spezialisierung erzielen; — die derzeitigen GD-spezifischen Evaluierungsreferate durch ein gemeinsames Evaluierungsamt zu ergänzen, das für die Koordinierung der RP-Bewertungen zuständig wäre.

118. Die in diesem Bericht ausgesprochenen Empfehlungen stützen sich entweder auf in der Kommission bestehende oder international bewährte Verfahren. Mit Blick auf die Ressourcen steht fest, dass der vorgeschlagene Programmbewertungsansatz mit höheren Kosten verbunden wäre. Der Hof ist aber der Ansicht, dass dies mit positiven Effekten in mindestens der gleichen Größenordnung einherginge.

Dieser Bericht wurde vom Rechnungshof in seiner Sitzung vom 22. November 2007 in Luxemburg angenommen. Für den Rechnungshof Hubert WEBER Präsident

(1) Der OECD zufolge lassen sich Forschung und Entwicklung definieren als „(…) systematische, schöpferische Arbeit zur Erweiterung des vorhandenen Wissens einschließlich des Wissens über den Menschen, die Kultur und die Gesellschaft sowie die Verwendung dieses Wissens mit dem Ziel, neue Anwendungsmöglichkeiten zu finden“ (siehe OECD, Frascati-Handbuch — Allgemeine Richtlinien für statistische Übersichten in Forschung und experimenteller Entwicklung, Paris, 2002, S. 30). Die im Gemeinschaftskontext verwendete Abkürzung FTE steht für Forschung, Technologie und Entwicklung.

(2) Für die Verwaltung und Koordinierung der RP ist in erster Linie die GD Forschung zuständig. Daneben verwalten fünf weitere Generaldirektionen (Teile) spezifische(r) Programme, allen voran die GD Informationsgesellschaft und Medien (bei den übrigen Generaldirektionen handelt es sich um die GD Energie und Verkehr, die GD Unternehmen und Industrie, die GD Fischerei und maritime Angelegenheiten sowie die Gemeinsame Forschungsstelle der Kommission).

(3) Im Jahr 2000 gab der Europäische Rat auf seiner Tagung in Lissabon das Ziel vor, die EU bis 2010 zur dynamischsten, wettbewerbsfähigsten und nachhaltigsten Wirtschaft zu machen mit Vollbeschäftigung und stärkerer wirtschaftlicher und sozialer Kohäsion.

(4) Im Jahr 2002 verständigte sich der Europäische Rat von Barcelona auf eine Erhöhung der Gesamtausgaben für FTE und Innovation in der Europäischen Union mit dem Ziel, sich bis 2010 der Marke von 3 % des BIP anzunähern. Der Rat stellte ferner klar, dass zwei Drittel der neuen Investitionen durch den Privatsektor erbracht werden sollten (siehe Europäische Kommission, „In die Forschung investieren: Aktionsplan für Europa“; Mitteilung der Kommission an den Rat, das Europäische Parlament, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen, KOM(2003) 226 endg., S. 7).

(5) Bei der direkten Verwaltung nimmt die Kommission die für die Ausführung des Haushaltsplans erforderlichen Maßnahmen selbst und ohne Einbeziehung der Mitgliedstaaten oder Drittländer vor, in denen die Zuwendungsempfänger ansässig sind.

(6) Bis 2006 hatten sich allein am RP6 mehr als 22 000 öffentliche und private Rechtspersonen beteiligt, in der Regel im Wege von aus mehreren Konsortialpartnern bestehenden Konsortien.

(7) Diese Methode der Zusammenarbeit beruht auf dem Prinzip der freiwilligen zwischenstaatlichen Zusammenarbeit. Sie stützt sich insbesondere auf das Motto „Voneinander lernen“, Leistungsvergleiche und den Austausch bewährter Verfahren.

(8) Verordnung (EG, Euratom) Nr. 1605/2002 des Rates vom 25. Juni 2002 (ABl. L 248 vom 16.9.2002, S. 1), Artikel 27, 48, 59 und 60.

(9) Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21.Februar 2007; Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Schreyer, „Ergebnisorientierung: Verstärkte Evaluierung von Kommissionsmaßnahmen“, SEK(2000) 1051 vom 26. Juli 2000.

(10) Beschluss Nr. 1982/2006/EG des Europäischen Parlaments und des Rates vom 18. Dezember 2006 über das Siebte Rahmenprogramm der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007 bis 2013) (ABl. L 412 vom 30.12.2006, S. 1), Artikel 7 Absatz 1; welche Überwachungsdaten die Kommission den Programmausschüssen vorzulegen hat, wird in den Entscheidungen über die spezifischen Programme festgelegt (siehe z. B. Entscheidung 2006/971/EG des Rates vom 19. Dezember 2006 über das spezifische Programm Zusammenarbeit zur Durchführung des Siebten Rahmenprogramms der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007-2013) (ABl. L 400 vom 30.12.2006, S. 86), Artikel 8 Absatz 4 und Anhang V).

(11) Europäische Kommission, Mitteilung an den Rat über einen gemeinschaftlichen Aktionsplan betreffend die Bewertung von Forschungs- und Entwicklungstätigkeiten für den Zeitraum 1987 bis 1991, KOM(86) 660 endg. vom 20. November 1986, als Reaktion auf die Entschließung des Rates vom 28. Juni 1983.

(12) Europäische Kommission, Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996; Bericht des unabhängigen, hochrangigen Expertengremiums unter Vorsitz von Vicomte Davignon (1997); Europäische Kommission, Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999; Bericht des unabhängigen Expertengremiums unter Vorsitz von Joan Majó (Juli 2000); Europäische Kommission, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003; Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004).

(13) Europäische Kommission, „Bewertung der Effizienz der neuen Instrumente des Sechsten Rahmenprogramms“, 21. Juni 2004, Bericht eines hochrangigen Gremiums unabhängiger Sachverständiger unter Vorsitz von Professor Ramon Marimón.

(14) Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Schreyer, „Ergebnisorientierung: Verstärkte Evaluierung von Kommissionsmaßnahmen“, SEK(2000) 1051, Juli 2000; Europäische Kommission, GD Haushalt, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23.12.2002.

(15) Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21. Februar 2007.

(16) Europäische Kommission, Arbeitspapier der Dienststellen, Impact assessment and ex-ante evaluation, SEK(2005) 430.

(17) Der Ausschuss „Industrie, Forschung und Energie“ (ITRE) des Europäischen Parlaments ist (insbesondere) zuständig für Industriepolitik, Forschungspolitik (einschließlich Verbreitung und Auswertung wissenschaftlicher Erkenntnisse), Raumfahrtpolitik, die Tätigkeiten der Gemeinsamen Forschungsstelle, den Euratom-Vertrag sowie die Informationsgesellschaft und die Informationstechnologie.

(18) Der Ausschuss für wissenschaftliche und technische Forschung (CREST — Comité de la Recherche Scientifique et Technique) wurde durch die Entschließung des Rates vom 14. Januar 1974 eingesetzt. Dieser Ausschuss setzt sich aus Vertretern der nationalen Behörden zusammen, die für die Politik der Mitgliedstaaten im Bereich Wissenschaft und Technologie zuständig sind. Der CREST hat eine beratende Funktion. Er unterrichtet die Kommission und den Rat insbesondere über Fragen im Zusammenhang mit der Koordinierung nationaler FuE-Politiken sowie mit dem Programmcontrolling und der Evaluierung der RP.

(19) Logikmodelle, aus denen hervorgeht, wie Inputs in die verschiedenen Tätigkeiten zur Zielverwirklichung führen, sind die zweckmäßigste Methode zur Veranschaulichung der Interventionslogik. Anhand dieser Modelle lässt sich klar darlegen, welche Annahmen einer Programmkonzeption zugrunde liegen und wie sich die Gesamtziele in operationelle Ziele untergliedern.

(20) Europäische Kommission, GD Haushalt, Evaluating EU activities: a practical guide for the Commission services, Juli 2004, S. 87 und S. 106.

(21) Five-year Assessment of the European Union Research Framework Programmes, 1999-2003, Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004): Abschnitt 6 Evaluating the Framework Programme, S. 19.

(22) Länder, die Außenhilfe erhalten, müssen für die Gemeinschaftsförderungen Logikmodelle vorlegen (Europäische Kommission, Aid delivery methods, Volume 1, Project cycle management guidelines, März 2004, Abschnitt 5: The logical framework approach).

(23) Verordnung (EG, Euratom) Nr. 1605/2002, Artikel 27 Absatz 3.

(24) Im Jahr 2006 wurde der Politikbereich „08 Forschung“ nach den spezifischen Programmen (und Teilprogrammen) des geltenden RP6-Planungszeitraums gegliedert (diese Gliederung änderte sich folglich im Jahr 2007). Im Politikbereich „09 Informationsgesellschaft“ hingegen wurden das laufende und das vorhergehende spezifische Programm in einer ABB-Tätigkeit zusammengefasst (Europäische Kommission, GD Forschung, Direktion A: Koordinierung der Gemeinschaftsmaßnahmen, Planung, Programmierung, Bewertung, Jährlicher Managementplan 2006, 20.12.2005; Europäische Kommission, GD Informationsgesellschaft und Medien, Jährlicher Managementplan 2006, 23.12.2005).

(25) Im Fall der GD Forschung änderten sich die ABM-Ziele (und die zur Messung der Zielverwirklichung angewandten Indikatoren) von einem Jahr zum anderen. Die GD Informationsgesellschaft und Medien wiederum verwendete Mehrjahresindikatoren, die allerdings den Programmzielen (oder den auf Ebene des Arbeitsprogramms festgelegten Zielen) nicht entsprachen.

(26) Europäische Kommission, Interner Auditdienst, Review of Effectiveness and efficiency of the SPP/ABM cycle — Generalsekretariat und GD Haushalt, 2005, Ziffer 4.1, S. 31.

(27) Europäische Kommission, „Mitteilung der Kommission an den Rat über einen gemeinschaftlichen Aktionsplan betreffend die Bewertung von Forschungs- und Entwicklungsprogrammen der Gemeinschaft“, KOM(83) 1 endg. vom 19. Januar 1983.

(28) Mitteilung der Kommission an den Rat und das Europäische Parlament, „Unabhängige externe Überwachung und Bewertung der Gemeinschaftstätigkeiten auf dem Gebiet der Forschung und technologischen Entwicklung“, KOM(1996) 220 endg. vom 22. Mai 1996.

(29) Jede mit der Durchführung der RP befasste Generaldirektion dokumentiert ihre geplanten Evaluierungen in jährlichen (und mehrjährigen) Evaluierungsplänen. Diese Planungsdokumente können allerdings nicht als Evaluierungsstrategie im eigentlichen Sinne angesehen werden.

(30) Verordnung (EG, Euratom) Nr. 1605/2002, Artikel 27 Absatz 4.

(31) Loi de programme pour la recherche no 2006-450 vom 18.4.2006, und Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) vom 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva beim Ministerium für Bildung und Wissenschaft: Orden ECI/1252/2005 vom 4. Mai 2005 zur Errichtung der Comisión Asesora de Evaluación y Prospectiva.

(33) Im Jahr 2004 schuf die Deutsche Forschungsgemeinschaft (DFG) eine spezielle Einrichtung, das so genannte Institut für Forschungsinformation und Qualitätssicherung (IFQ), dem die Zuständigkeit für die Entwicklung und Normung von Bewertungsmethoden, die Qualitätssicherung und die Evaluierung der DFG-geförderten FTE-Maßnahmen übertragen wurde.

(34) Für das RP7 wurden von der Kommission 15 beratende Expertengruppen eingesetzt gegenüber 12 Gruppen für das RP6 und 17 Gruppen für das RP5. Diese Gruppen beraten die Kommission in strategischen und programmtechnischen Fragen mit Bezug auf die RP. Es darf aber nicht übersehen werden, dass diese Gruppen kein fester Bestandteil der Rahmenprogrammstruktur sind. Mit anderen Worten, es gibt nicht für jedes spezifische Programm (bzw. Teilprogramm) eine beratende Expertengruppe.

(35) In Kanada haben nahezu alle Bundesministerien ständige Evaluierungsausschüsse eingerichtet, in denen ranghohe Ministerialbeamte sowie in der Regel auch externe Betroffene mitwirken, um das Evaluierungssystem zu überwachen (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee — Mandate and Membership).

(36) Europäische Kommission, Monitoring 2004 — Implementation of Activities under the EC and Euratom framework and corresponding specific programmes, August 2005, S. 5.

(37) Europäische Kommission, „Planung und Optimierung der Humanressourcen der Kommission mit Blick auf die Prioritäten der Europäischen Union“, SEK(2007) 530 vom 24. April 2007.

(38) Europäische Kommission, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23. Dezember 2002; Europäische Kommission, Arbeitspapier der Dienststellen, Impact assessment and ex-ante evaluation, SEK(2005) 430 vom 6. April 2005, Anhang I, Fußnote 209.

(39) Im Jahr 2007 empfahl der Europäische Forschungsbeirat (EURAB) ebenfalls eine Erhöhung der für die Evaluierung der RP veranschlagten Mittel (EURAB, Recommendations on Ex-Post Impact Assessment, Juli 2007).

(40) Sonderbericht Nr. 1/2004 über die Verwaltung indirekter FTE-Aktionen des 5. Rahmenprogramms (5. RP) für Forschung und technologische Entwicklung (1998-2002) (ABl. C 99 vom 23.4.2004), Ziffern 116 und 122.

(41) Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21. Februar 2007; Europäische Kommission, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23.12.2002.

(42) 14 Generaldirektionen verfügen über entsprechende Evaluierungshandbücher für die Politikbereiche und Programme in ihrem Zuständigkeitsbereich (Europäische Kommission, GD Haushalt — Evaluierungsreferat, Overview of Evaluation Guides in the Commission, Oktober 2004).

(43) Fahrenkrog, G. et al., RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al., Assessing the Socio-economic Imp