# Amtsblatt C 26/2008

| | ISSN 1725-2407 |
| --- | --- |
| Amtsblatt
  der Europäischen Union | C 26 |
| | |
| Ausgabe in deutscher Sprache | Mitteilungen und Bekanntmachungen | 51. Jahrgang30. Januar 2008 |

ISSN 1725-2407

Amtsblatt

der Europäischen Union

C 26

Ausgabe in deutscher Sprache

Mitteilungen und Bekanntmachungen

51. Jahrgang30. Januar 2008

---

| Informationsnummer | Inhalt | Seite |
| --- | --- | --- |
| | IV   Informationen |
| | INFORMATIONEN DER ORGANE UND EINRICHTUNGEN DER EUROPÄISCHEN UNION |
| | Rechnungshof |
| 2008/C 026/01 | Sonderbericht Nr. 9/2007 über die Evaluierung der EU-Rahmenprogramme im Bereich Forschung und technologische Entwicklung — Könnte die Kommission ihren Ansatz verbessern?, zusammen mit den Antworten der Kommission | 1 |

Informationsnummer

Inhalt

Seite

IV   Informationen

INFORMATIONEN DER ORGANE UND EINRICHTUNGEN DER EUROPÄISCHEN UNION

Rechnungshof

2008/C 026/01

Sonderbericht Nr. 9/2007 über die Evaluierung der EU-Rahmenprogramme im Bereich Forschung und technologische Entwicklung — Könnte die Kommission ihren Ansatz verbessern?, zusammen mit den Antworten der Kommission

1

| DE | |
| --- | --- |

DE

---

IV Informationen

INFORMATIONEN DER ORGANE UND EINRICHTUNGEN DER EUROPÄISCHEN UNION

Rechnungshof

| 30.1.2008 | DE | Amtsblatt der Europäischen Union | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

DE

Amtsblatt der Europäischen Union

C 26/1

---

SONDERBERICHT Nr. 9/2007

über die „Evaluierung der EU-Rahmenprogramme im Bereich Forschung und technologische Entwicklung — Könnte die Kommission ihren Ansatz verbessern?“, zusammen mit den Antworten der Kommission

(gemäß Artikel 248 Absatz 4 Unterabsatz 2 des EG-Vertrags)

(2008/C 26/01)

INHALT

| I-V | ZUSAMMENFASSUNG |
| --- | --- |

I-V

| 1-14 | EINLEITUNG |
| --- | --- |

1-14

| 1-7 | Rolle der Europäischen Union bei der Förderung von FTE-Maßnahmen |
| --- | --- |

1-7

| 8-14 | Evaluierung und Controlling der Durchführung der Rahmenprogramme |
| --- | --- |

8-14

| 15-18 | PRÜFUNGSUMFANG UND PRÜFUNGSANSATZ |
| --- | --- |

15-18

| 19-109 | PRÜFUNGSBEMERKUNGEN |
| --- | --- |

19-109

| 19-37 | Interventionslogik, Zielsetzung und Leistungsindikatoren |
| --- | --- |

19-37

| 38-49 | Evaluierungsstrategie |
| --- | --- |

38-49

| 50-68 | Organisation der Evaluierungstätigkeit zu den Rahmenprogrammen |
| --- | --- |

50-68

| 69-97 | Evaluierungsmethoden und -techniken |
| --- | --- |

69-97

| 98-109 | Verbreitung und Nutzung der Evaluierungsergebnisse |
| --- | --- |

98-109

| 110-118 | GESAMTSCHLUSSFOLGERUNG |
| --- | --- |

110-118

Anhang I: Messung der Auswirkungen und Ergebnisse öffentlicher Interventionen im FTE-Bereich

Anhang II: Vorschriften für Programmcontrolling und Evaluierung in Legislativbeschlüssen und -entscheidungen für die Rahmenprogramme 4-7

Anhang III: Hauptunterschiede bei der Ex-post-Evaluierung von Forschungsprogrammen zwischen der EU (RP4-RP6), den USA und Kanada

Anhang IV: Mögliche Gremienstruktur für das RP7

Antworten der Kommission

ZUSAMMENFASSUNG

| I. | Die FTE-Rahmenprogramme (RP) der Gemeinschaft sind das wichtigste Instrument zur Förderung der öffentlichen Forschung in der Europäischen Union. Für die Verwaltung der RP und die Evaluierung der Ergebnisse ist die Kommission zuständig. |
| --- | --- |

I.

Die FTE-Rahmenprogramme (RP) der Gemeinschaft sind das wichtigste Instrument zur Förderung der öffentlichen Forschung in der Europäischen Union. Für die Verwaltung der RP und die Evaluierung der Ergebnisse ist die Kommission zuständig.

| II. | Die Prüfung bezog sich auf die seit 1995 für die vergangenen drei Programmlaufzeiten (RP4, RP5, RP6) geltenden Programmcontrolling- und Evaluierungsmodalitäten und umfasst ferner einen Ausblick auf das RP7 (2007-2013). Die Prüfung wurde gemeinsam mit dem Ausschuss der Rechnungsprüfer der EFTA und unter Mitwirkung externer Sachverständiger durchgeführt. |
| --- | --- |

II.

Die Prüfung bezog sich auf die seit 1995 für die vergangenen drei Programmlaufzeiten (RP4, RP5, RP6) geltenden Programmcontrolling- und Evaluierungsmodalitäten und umfasst ferner einen Ausblick auf das RP7 (2007-2013). Die Prüfung wurde gemeinsam mit dem Ausschuss der Rechnungsprüfer der EFTA und unter Mitwirkung externer Sachverständiger durchgeführt.

| III. | Die Prüfung galt der Frage, ob der Ansatz der Kommission zur Evaluierung der Ergebnisse der RP zweckmäßig war. Vor diesem Hintergrund prüfte der Hof, ob die Kommission die für Evaluierungen geltenden Rechtsvorschriften einhielt, und vergewisserte sich, ob das Evaluierungs- und Programmcontrollingsystem den Erwartungen der maßgeblichen Akteure entsprach. Die Prüfung des Hofes stützte sich insbesondere auf folgende Fragestellungen:






  i) | Lag den RP und den zugehörigen Programmen eine Interventionslogik zugrunde, die als solide Grundlage für Evaluierung und Programmcontrolling herangezogen werden konnte? |
| --- | --- | --- |

III.

Die Prüfung galt der Frage, ob der Ansatz der Kommission zur Evaluierung der Ergebnisse der RP zweckmäßig war. Vor diesem Hintergrund prüfte der Hof, ob die Kommission die für Evaluierungen geltenden Rechtsvorschriften einhielt, und vergewisserte sich, ob das Evaluierungs- und Programmcontrollingsystem den Erwartungen der maßgeblichen Akteure entsprach. Die Prüfung des Hofes stützte sich insbesondere auf folgende Fragestellungen:

i)

Lag den RP und den zugehörigen Programmen eine Interventionslogik zugrunde, die als solide Grundlage für Evaluierung und Programmcontrolling herangezogen werden konnte?

| ii) | Hatte die Kommission eine Evaluierungsstrategie für die RP festgelegt? |
| --- | --- |

ii)

Hatte die Kommission eine Evaluierungsstrategie für die RP festgelegt?

| iii) | War durch den Aufbau des Evaluierungssystems der Kommission für die RP sichergestellt, dass die Evaluierungstätigkeit sachgerecht koordiniert war, dass ausreichende Mittel dafür bereitgestellt wurden und dass sie von den Beteiligten als hinreichend unabhängig wahrgenommen wurde? |
| --- | --- |

iii)

War durch den Aufbau des Evaluierungssystems der Kommission für die RP sichergestellt, dass die Evaluierungstätigkeit sachgerecht koordiniert war, dass ausreichende Mittel dafür bereitgestellt wurden und dass sie von den Beteiligten als hinreichend unabhängig wahrgenommen wurde?

| iv) | War der für die Evaluierung verwendete methodische Ansatz zufrieden stellend? |
| --- | --- |

iv)

War der für die Evaluierung verwendete methodische Ansatz zufrieden stellend?

| v) | Lieferten die Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen, die zur Verbesserung laufender und zur Vorbereitung künftiger RP herangezogen werden konnten? |
| --- | --- |

v)

Lieferten die Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen, die zur Verbesserung laufender und zur Vorbereitung künftiger RP herangezogen werden konnten?

| IV. | Der Hof gelangte zu folgenden Feststellungen und Schlussfolgerungen:






  i) | Da eine explizite Interventionslogik fehlte, die Programmziele unzulänglich definiert waren und die Leistungsmessung unzureichend war, konnten kein wirksames Programmcontrolling und keine wirksame Evaluierung gewährleistet werden. |
| --- | --- | --- |

IV.

Der Hof gelangte zu folgenden Feststellungen und Schlussfolgerungen:

i)

Da eine explizite Interventionslogik fehlte, die Programmziele unzulänglich definiert waren und die Leistungsmessung unzureichend war, konnten kein wirksames Programmcontrolling und keine wirksame Evaluierung gewährleistet werden.

| ii) | Die für die Durchführung der RP zuständigen Generaldirektionen (nachstehend Forschungsgeneraldirektionen genannt) verständigten sich nicht auf eine umfassende Evaluierungsstrategie, weshalb die einzelnen Kommissionsdienststellen unterschiedlich vorgingen. Dies macht sich vor allem in der unzureichenden Evaluierung erheblicher Teile der RP bemerkbar. |
| --- | --- |

ii)

Die für die Durchführung der RP zuständigen Generaldirektionen (nachstehend Forschungsgeneraldirektionen genannt) verständigten sich nicht auf eine umfassende Evaluierungsstrategie, weshalb die einzelnen Kommissionsdienststellen unterschiedlich vorgingen. Dies macht sich vor allem in der unzureichenden Evaluierung erheblicher Teile der RP bemerkbar.

| iii) | Die Evaluierung der RP erfolgte dezentral, die zwischen den für die Durchführung der RP zuständigen Generaldirektionen bestehenden Koordinierungsmechanismen waren nicht wirksam, und die zentralen Dienststellen der Kommission waren nicht mit der Durchsetzung betraut. Insgesamt gesehen hielten die Forschungsgeneraldirektionen die formalen Vorgaben der Kommission für Evaluierungen aber ein. Der Einsatz von Gremien aus von der Kommission bestellten hochrangigen externen Sachverständigen für die wichtigsten Evaluierungsrunden hat sich im Gemeinschaftskontext bewährt. Diese in einem zeitlich begrenzten Rahmen eingesetzten Gremien wurden allerdings nicht frühzeitig genug in den Ablauf einbezogen, um auf die Sammlung von Nachweisen Einfluss zu nehmen, und hatten kaum Gelegenheit, relevante Fragen im Zeitverlauf weiterzuverfolgen. Da nur ein Gremium für das gesamte RP (zusätzlich zu einem Gremium für ein spezifisches Programm) herangezogen wurde, wurden spezifische Aspekte der verschiedenen wissenschaftlichen Bereiche der RP nicht ausreichend betrachtet. |
| --- | --- |

iii)

Die Evaluierung der RP erfolgte dezentral, die zwischen den für die Durchführung der RP zuständigen Generaldirektionen bestehenden Koordinierungsmechanismen waren nicht wirksam, und die zentralen Dienststellen der Kommission waren nicht mit der Durchsetzung betraut. Insgesamt gesehen hielten die Forschungsgeneraldirektionen die formalen Vorgaben der Kommission für Evaluierungen aber ein. Der Einsatz von Gremien aus von der Kommission bestellten hochrangigen externen Sachverständigen für die wichtigsten Evaluierungsrunden hat sich im Gemeinschaftskontext bewährt. Diese in einem zeitlich begrenzten Rahmen eingesetzten Gremien wurden allerdings nicht frühzeitig genug in den Ablauf einbezogen, um auf die Sammlung von Nachweisen Einfluss zu nehmen, und hatten kaum Gelegenheit, relevante Fragen im Zeitverlauf weiterzuverfolgen. Da nur ein Gremium für das gesamte RP (zusätzlich zu einem Gremium für ein spezifisches Programm) herangezogen wurde, wurden spezifische Aspekte der verschiedenen wissenschaftlichen Bereiche der RP nicht ausreichend betrachtet.

| iv) | Die bereitgestellten methodischen Anleitungen waren unzulänglich, die Sammlung relevanter Daten erwies sich für die Evaluatoren als schwierig, und Evaluierungsstudien über die längerfristigen Wirkungen und Auswirkungen der RP wurden, anders als Studien über kurzfristige Aspekte der Programmdurchführung, nicht durchgeführt. |
| --- | --- |

iv)

Die bereitgestellten methodischen Anleitungen waren unzulänglich, die Sammlung relevanter Daten erwies sich für die Evaluatoren als schwierig, und Evaluierungsstudien über die längerfristigen Wirkungen und Auswirkungen der RP wurden, anders als Studien über kurzfristige Aspekte der Programmdurchführung, nicht durchgeführt.

| v) | Aus den vorstehenden Gründen und aufgrund der Tatsache, dass die Evaluierungen für eine Würdigung der wichtigsten Aspekte vielfach zu früh eingeleitet wurden, war das von der Kommission für die RP eingerichtete Evaluierungssystem für die politischen Entscheidungsträger, die maßgeblichen Akteure und sogar die Kommission selbst nur bedingt von Nutzen. Im Grunde ist über die Verwirklichung der Programmziele und die Ergebnisse der RP wenig bekannt. |
| --- | --- |

v)

Aus den vorstehenden Gründen und aufgrund der Tatsache, dass die Evaluierungen für eine Würdigung der wichtigsten Aspekte vielfach zu früh eingeleitet wurden, war das von der Kommission für die RP eingerichtete Evaluierungssystem für die politischen Entscheidungsträger, die maßgeblichen Akteure und sogar die Kommission selbst nur bedingt von Nutzen. Im Grunde ist über die Verwirklichung der Programmziele und die Ergebnisse der RP wenig bekannt.

| V. | Der Hof spricht folgende Empfehlungen aus:






  i) | Die Interventionslogik sollte in künftigen Rechtsvorschriften explizit dargelegt werden. Dabei sollten die zugrunde liegenden Annahmen erläutert, die Verknüpfung zwischen wissenschaftlichen und sozioökonomischen Zielen klar herausgestellt und zweckmäßige Leistungsindikatoren entwickelt werden. |
| --- | --- | --- |

V.

Der Hof spricht folgende Empfehlungen aus:

i)

Die Interventionslogik sollte in künftigen Rechtsvorschriften explizit dargelegt werden. Dabei sollten die zugrunde liegenden Annahmen erläutert, die Verknüpfung zwischen wissenschaftlichen und sozioökonomischen Zielen klar herausgestellt und zweckmäßige Leistungsindikatoren entwickelt werden.

| ii) | Die für die Durchführung der RP zuständigen Generaldirektionen sollten eine umfassende Evaluierungsstrategie ausarbeiten (und sich darauf verständigen), die vor allem einen einheitlichen Ansatz bezüglich der Mindestanforderungen für detaillierte Evaluierungen enthalten sollte, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsbereiche Rechnung getragen wird. |
| --- | --- |

ii)

Die für die Durchführung der RP zuständigen Generaldirektionen sollten eine umfassende Evaluierungsstrategie ausarbeiten (und sich darauf verständigen), die vor allem einen einheitlichen Ansatz bezüglich der Mindestanforderungen für detaillierte Evaluierungen enthalten sollte, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsbereiche Rechnung getragen wird.

| iii) | Die Einrichtung eines gemeinsamen Evaluierungsamts zur Koordinierung der Evaluierungstätigkeiten der Forschungsgeneraldirektionen für das gesamte RP sollte ebenso in Erwägung gezogen werden wie die Schaffung eines Systems von Gremien (und Untergremien), die sich aus externen Sachverständigen zusammensetzen. Diese Gremien sollten frühzeitig genug eingesetzt werden, um die Kommission wirksam unterstützen zu können, und diese Unterstützung sollte sich auf die gesamte Programmlaufzeit und darüber hinaus erstrecken. |
| --- | --- |

iii)

Die Einrichtung eines gemeinsamen Evaluierungsamts zur Koordinierung der Evaluierungstätigkeiten der Forschungsgeneraldirektionen für das gesamte RP sollte ebenso in Erwägung gezogen werden wie die Schaffung eines Systems von Gremien (und Untergremien), die sich aus externen Sachverständigen zusammensetzen. Diese Gremien sollten frühzeitig genug eingesetzt werden, um die Kommission wirksam unterstützen zu können, und diese Unterstützung sollte sich auf die gesamte Programmlaufzeit und darüber hinaus erstrecken.

| iv) | Die Datenanforderungen für Evaluierung und Programmcontrolling sollten sorgfältig analysiert und Daten aus anderen vorhandenen Quellen umfassender genutzt werden. Die Kommission sollte auch die Berichterstattungsauflagen für die Teilnehmer rationeller gestalten. Schließlich sollte sie ein umfassendes Evaluierungshandbuch für die RP ausarbeiten und ein breiteres Spektrum an Methoden und Techniken entwickeln, die für Evaluierungen in diesem Bereich zu verwenden sind. |
| --- | --- |

iv)

Die Datenanforderungen für Evaluierung und Programmcontrolling sollten sorgfältig analysiert und Daten aus anderen vorhandenen Quellen umfassender genutzt werden. Die Kommission sollte auch die Berichterstattungsauflagen für die Teilnehmer rationeller gestalten. Schließlich sollte sie ein umfassendes Evaluierungshandbuch für die RP ausarbeiten und ein breiteres Spektrum an Methoden und Techniken entwickeln, die für Evaluierungen in diesem Bereich zu verwenden sind.

| v) | Die Kommission sollte Art und Umfang der Evaluierung danach ausrichten, was angesichts der in der Rechtsgrundlage für das RP7 festgelegten Fristen realistisch erfassbar ist, und klar darlegen, auf welche Weise Evaluierungen zur Anpassung von Programmen („lernende Programme“) verwendet werden können und welchen Beitrag sie zu strategischen Entscheidungen leisten können. |
| --- | --- |

v)

Die Kommission sollte Art und Umfang der Evaluierung danach ausrichten, was angesichts der in der Rechtsgrundlage für das RP7 festgelegten Fristen realistisch erfassbar ist, und klar darlegen, auf welche Weise Evaluierungen zur Anpassung von Programmen („lernende Programme“) verwendet werden können und welchen Beitrag sie zu strategischen Entscheidungen leisten können.

EINLEITUNG

Rolle der Europäischen Union bei der Förderung von FTE-Maßnahmen

| 1. | Die Forschung und technologische Entwicklung (FTE) (1) bildet die wichtigste Triebfeder für wissenschaftlichen und technologischen Fortschritt und Innovation und leistet insofern einen wichtigen Beitrag zur Verbesserung des Lebensstandards. Öffentliche Interventionen auf dem Gebiet der Forschung und technologischen Entwicklung werden in der Regel damit begründet, dass durch staatliche Förderung in Bereichen, in denen Forschung als öffentliches Gut gilt, in denen erhebliche Externalitäten (Spill-overs) bestehen und in denen es die mit Forschung verbundenen Unsicherheiten zu mildern gilt, so genanntes „Marktversagen“ korrigiert wird. |
| --- | --- |

1.

Die Forschung und technologische Entwicklung (FTE) (1) bildet die wichtigste Triebfeder für wissenschaftlichen und technologischen Fortschritt und Innovation und leistet insofern einen wichtigen Beitrag zur Verbesserung des Lebensstandards. Öffentliche Interventionen auf dem Gebiet der Forschung und technologischen Entwicklung werden in der Regel damit begründet, dass durch staatliche Förderung in Bereichen, in denen Forschung als öffentliches Gut gilt, in denen erhebliche Externalitäten (Spill-overs) bestehen und in denen es die mit Forschung verbundenen Unsicherheiten zu mildern gilt, so genanntes „Marktversagen“ korrigiert wird.

| 2. | In Artikel 163 des EG-Vertrags wird die Aufgabe der Gemeinschaft bei der Unterstützung der Forschung und technologischen Entwicklung folgendermaßen definiert: „Die Gemeinschaft hat zum Ziel, die wissenschaftlichen und technologischen Grundlagen der Industrie der Gemeinschaft zu stärken und die Entwicklung ihrer internationalen Wettbewerbsfähigkeit zu fördern sowie alle Forschungsmaßnahmen zu unterstützen, die (...) für erforderlich gehalten werden“. In den Artikeln 164 bis 173 werden die hierfür zu treffenden Maßnahmen sowie der Umfang und die Durchführung der mehrjährigen FTE-Rahmenprogramme (RP) festgelegt. Die Kommission ist für die Unterbreitung von Vorschlägen für die RP zuständig, während die Beschlüsse und Entscheidungen über die RP sowie die Regeln für die Beteiligung und die Verbreitung der Forschungsergebnisse im Mitentscheidungsverfahren vom Rat und dem Europäischen Parlament angenommen werden. Die spezifischen Programme werden vom Rat allein verabschiedet. Für die Durchführung der RP sind sechs Generaldirektionen (GD), die so genannten Forschungsgeneraldirektionen (2), gemeinsam zuständig. |
| --- | --- |

2.

In Artikel 163 des EG-Vertrags wird die Aufgabe der Gemeinschaft bei der Unterstützung der Forschung und technologischen Entwicklung folgendermaßen definiert: „Die Gemeinschaft hat zum Ziel, die wissenschaftlichen und technologischen Grundlagen der Industrie der Gemeinschaft zu stärken und die Entwicklung ihrer internationalen Wettbewerbsfähigkeit zu fördern sowie alle Forschungsmaßnahmen zu unterstützen, die (...) für erforderlich gehalten werden“. In den Artikeln 164 bis 173 werden die hierfür zu treffenden Maßnahmen sowie der Umfang und die Durchführung der mehrjährigen FTE-Rahmenprogramme (RP) festgelegt. Die Kommission ist für die Unterbreitung von Vorschlägen für die RP zuständig, während die Beschlüsse und Entscheidungen über die RP sowie die Regeln für die Beteiligung und die Verbreitung der Forschungsergebnisse im Mitentscheidungsverfahren vom Rat und dem Europäischen Parlament angenommen werden. Die spezifischen Programme werden vom Rat allein verabschiedet. Für die Durchführung der RP sind sechs Generaldirektionen (GD), die so genannten Forschungsgeneraldirektionen (2), gemeinsam zuständig.

| 3. | Unter den vielfältigen Politiken, die in der Europäischen Union zur Stärkung von Innovation und Wettbewerbsfähigkeit umgesetzt werden, stellen die RP auf Gemeinschaftsebene das wichtigste finanzielle Instrument im Rahmen der Lissabon-Strategie (3) und des Barcelona-Ziels (4) dar. |
| --- | --- |

3.

Unter den vielfältigen Politiken, die in der Europäischen Union zur Stärkung von Innovation und Wettbewerbsfähigkeit umgesetzt werden, stellen die RP auf Gemeinschaftsebene das wichtigste finanzielle Instrument im Rahmen der Lissabon-Strategie (3) und des Barcelona-Ziels (4) dar.

Image

| 4. | Über die RP fördert die Gemeinschaft Forscher in der Europäischen Union, assoziierten Ländern und internationalen Organisationen. Die Mittelausstattung wurde im Lauf der Jahre deutlich angehoben und beträgt für das RP7 nun 7 217 Millionen Euro/Jahr, während die Mittelausstattung für das RP4 noch bei 2 761 Millionen Euro lag (siehe Abbildung 1). Innerhalb der Haushaltsmittel stellen die RP den größten in der Kommission direkt zentral verwalteten Bereich dar (5). |
| --- | --- |

4.

Über die RP fördert die Gemeinschaft Forscher in der Europäischen Union, assoziierten Ländern und internationalen Organisationen. Die Mittelausstattung wurde im Lauf der Jahre deutlich angehoben und beträgt für das RP7 nun 7 217 Millionen Euro/Jahr, während die Mittelausstattung für das RP4 noch bei 2 761 Millionen Euro lag (siehe Abbildung 1). Innerhalb der Haushaltsmittel stellen die RP den größten in der Kommission direkt zentral verwalteten Bereich dar (5).

| 5. | Die RP unterscheiden sich insofern von vielen nationalen Programmen, als sie unter Beteiligung von Industrie und öffentlichen Forschungseinrichtungen sowohl für die Grundlagenforschung als auch für die angewandte Forschung gelten (6). Sie bestehen aus spezifischen Programmen (und Teilprogrammen), die sich auf weitgefasste Wissenschaftsbereiche beziehen. Diese Programme umfassen gewöhnlich eine Reihe von Bereichen, die auf konkretere wissenschaftliche Gebiete ausgerichtet sind. Die Zielverwirklichung auf diesen Gebieten erfolgt über Projekte (so genannte „indirekte Maßnahmen“) im Anschluss an Aufforderungen zur Einreichung von Vorschlägen. Auf diese Weise werden pro Gebiet hunderte Einzelprojekte gefördert. |
| --- | --- |

5.

Die RP unterscheiden sich insofern von vielen nationalen Programmen, als sie unter Beteiligung von Industrie und öffentlichen Forschungseinrichtungen sowohl für die Grundlagenforschung als auch für die angewandte Forschung gelten (6). Sie bestehen aus spezifischen Programmen (und Teilprogrammen), die sich auf weitgefasste Wissenschaftsbereiche beziehen. Diese Programme umfassen gewöhnlich eine Reihe von Bereichen, die auf konkretere wissenschaftliche Gebiete ausgerichtet sind. Die Zielverwirklichung auf diesen Gebieten erfolgt über Projekte (so genannte „indirekte Maßnahmen“) im Anschluss an Aufforderungen zur Einreichung von Vorschlägen. Auf diese Weise werden pro Gebiet hunderte Einzelprojekte gefördert.

| 6. | Der Gesamtanteil der RP an sämtlichen öffentlichen FTE-Förderungen in der Europäischen Union und ihren Mitgliedstaaten liegt zwischen 4 % und 5 %. Ihr Einfluss darauf, welche Art von Forschungstätigkeiten in Europa durchgeführt wird, ist jedoch weitaus stärker. Dies ist darauf zurückführen, dass Gemeinschaftsbeihilfen in der Regel lediglich einen Teil der Gesamtfinanzierung eines Projekts bilden. Außerdem müssen Forscher, die eine Finanzierung beantragen, nachweisen, dass ihre Projekte den in den Aufforderungen zur Einreichung von Vorschlägen festgelegten Zielen entsprechen. Auf diese Weise schaffen die RP Anreize, um die FTE-Tätigkeiten auf spezifische EU-Ziele auszurichten. |
| --- | --- |

6.

Der Gesamtanteil der RP an sämtlichen öffentlichen FTE-Förderungen in der Europäischen Union und ihren Mitgliedstaaten liegt zwischen 4 % und 5 %. Ihr Einfluss darauf, welche Art von Forschungstätigkeiten in Europa durchgeführt wird, ist jedoch weitaus stärker. Dies ist darauf zurückführen, dass Gemeinschaftsbeihilfen in der Regel lediglich einen Teil der Gesamtfinanzierung eines Projekts bilden. Außerdem müssen Forscher, die eine Finanzierung beantragen, nachweisen, dass ihre Projekte den in den Aufforderungen zur Einreichung von Vorschlägen festgelegten Zielen entsprechen. Auf diese Weise schaffen die RP Anreize, um die FTE-Tätigkeiten auf spezifische EU-Ziele auszurichten.

| 7. | In den letzten Jahren unterlagen die RP aufgrund der nachstehend genannten Umstände erheblichen Veränderungen:






  — | Einbeziehung neuer politischer Herausforderungen (Lissabon-Strategie und Barcelona-Ziele, Schaffung eines „Europäischen Forschungsraums“ (EFR) und stärkere Nutzung der offenen Koordinierungsmethode (7) im Bereich der Forschungs- und Innovationspolitik); |
| --- | --- | --- |

7.

In den letzten Jahren unterlagen die RP aufgrund der nachstehend genannten Umstände erheblichen Veränderungen:

—

Einbeziehung neuer politischer Herausforderungen (Lissabon-Strategie und Barcelona-Ziele, Schaffung eines „Europäischen Forschungsraums“ (EFR) und stärkere Nutzung der offenen Koordinierungsmethode (7) im Bereich der Forschungs- und Innovationspolitik);

| — | Wandel der Ausrichtung der RP von der reinen technischen Problemlösung im RP4 über die Behandlung konkreter gesellschaftlicher Probleme im RP5 bis hin zur Förderung der Zusammenarbeit von Forschungseinrichtungen innerhalb des EFR und zum Beitrag zum Entstehen einer wissensbasierten Wirtschaft und Gesellschaft im RP6 und RP7; |
| --- | --- |

—

Wandel der Ausrichtung der RP von der reinen technischen Problemlösung im RP4 über die Behandlung konkreter gesellschaftlicher Probleme im RP5 bis hin zur Förderung der Zusammenarbeit von Forschungseinrichtungen innerhalb des EFR und zum Beitrag zum Entstehen einer wissensbasierten Wirtschaft und Gesellschaft im RP6 und RP7;

| — | Verlängerung der Programmlaufzeit (zuvor vier Jahre, nun sieben Jahre für das RP7, abgestimmt auf den Finanzrahmen 2007-2013); |
| --- | --- |

—

Verlängerung der Programmlaufzeit (zuvor vier Jahre, nun sieben Jahre für das RP7, abgestimmt auf den Finanzrahmen 2007-2013);

| — | Anstieg der Anzahl der Mitgliedstaaten und teilnehmenden Länder; |
| --- | --- |

—

Anstieg der Anzahl der Mitgliedstaaten und teilnehmenden Länder;

| — | Erhöhung der Mittelausstattung, insbesondere im derzeit geltenden Finanzrahmen; |
| --- | --- |

—

Erhöhung der Mittelausstattung, insbesondere im derzeit geltenden Finanzrahmen;

| — | Einsetzung des Europäischen Forschungsrats und, beginnend mit dem RP7, Übertragung von Tätigkeiten im Zusammenhang mit der Programmverwaltung auf Exekutivagenturen; |
| --- | --- |

—

Einsetzung des Europäischen Forschungsrats und, beginnend mit dem RP7, Übertragung von Tätigkeiten im Zusammenhang mit der Programmverwaltung auf Exekutivagenturen;

| — | zunehmende Verwendung umfangreicher Finanzierungsinstrumente (etwa Exzellenznetze, Integrierte Projekte, Projekte nach Artikel 169, Gemeinsame Technologieinitiativen). |
| --- | --- |

—

zunehmende Verwendung umfangreicher Finanzierungsinstrumente (etwa Exzellenznetze, Integrierte Projekte, Projekte nach Artikel 169, Gemeinsame Technologieinitiativen).

Evaluierung und Controlling der Durchführung der Rahmenprogramme

| 8. | Die Kommission ist für die Programmdurchführung und die Evaluierung der Programmergebnisse zuständig (8). Innerhalb der Kommission wurden die Evaluierungsaufgaben den Generaldirektionen übertragen, wobei die horizontalen Dienste (insbesondere die GD Haushalt und das Generalsekretariat) unterstützend und koordinierend mitwirken. |
| --- | --- |

8.

Die Kommission ist für die Programmdurchführung und die Evaluierung der Programmergebnisse zuständig (8). Innerhalb der Kommission wurden die Evaluierungsaufgaben den Generaldirektionen übertragen, wobei die horizontalen Dienste (insbesondere die GD Haushalt und das Generalsekretariat) unterstützend und koordinierend mitwirken.

| 9. | In diesem Bericht werden die von der Kommission verwendeten Definitionen zugrunde gelegt, wonach unter „Evaluierung“ die „Beurteilung von Maßnahmen nach ihren Ergebnissen, Auswirkungen und Zielvorgaben“ (9) und unter „Programmcontrolling“ die Bereitstellung von Informationen zur Überwachung der Umsetzung laufender Programme und Projekte für Managementzwecke (10) zu verstehen ist. Nach diesen Kriterien werden die beiden Tätigkeiten auch in den geltenden Rechtsvorschriften für das RP7 unterschieden. |
| --- | --- |

9.

In diesem Bericht werden die von der Kommission verwendeten Definitionen zugrunde gelegt, wonach unter „Evaluierung“ die „Beurteilung von Maßnahmen nach ihren Ergebnissen, Auswirkungen und Zielvorgaben“ (9) und unter „Programmcontrolling“ die Bereitstellung von Informationen zur Überwachung der Umsetzung laufender Programme und Projekte für Managementzwecke (10) zu verstehen ist. Nach diesen Kriterien werden die beiden Tätigkeiten auch in den geltenden Rechtsvorschriften für das RP7 unterschieden.

| 10. | Nachstehend werden für die Beschreibung der Ergebnisse von FTE-Tätigkeiten folgende Begriffe verwendet:






  — | „Outputs“: Kenntnisse, Waren und Dienstleistungen, die unmittelbar aufgrund der öffentlichen Intervention entstehen (Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, Normen, ausgebildete Forscher usw.); |
| --- | --- | --- |

10.

Nachstehend werden für die Beschreibung der Ergebnisse von FTE-Tätigkeiten folgende Begriffe verwendet:

—

„Outputs“: Kenntnisse, Waren und Dienstleistungen, die unmittelbar aufgrund der öffentlichen Intervention entstehen (Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, Normen, ausgebildete Forscher usw.);

| — | „Wirkung“: das zeitverzögerte Ergebnis der Auswertung der Outputs durch die Nutzer; |
| --- | --- |

—

„Wirkung“: das zeitverzögerte Ergebnis der Auswertung der Outputs durch die Nutzer;

| — | „Auswirkungen“: die durch die öffentliche Intervention hervorgerufenen langfristigen sozioökonomischen und politischen Veränderungen. |
| --- | --- |

—

„Auswirkungen“: die durch die öffentliche Intervention hervorgerufenen langfristigen sozioökonomischen und politischen Veränderungen.

Kasten 1Beispiel des Globalen Mobilkommunikationssystems (Global System for Mobile Communications — GSM)In diesem Fall entsprachen die „Outputs“ der Gemeinschaftsförderung den unmittelbaren Projektergebnissen, etwa der Entwicklung des GSM-Standards. Die „Wirkung“ lag in der Akzeptanz als Norm der digitalen Zellulartelefonie in und über Europa hinaus. Dies trug maßgeblich zur Entwicklung der Telekommunikationsindustrie bei. Die „Auswirkungen“ schließlich waren die wirtschaftlichen, sozialen und politischen Folgen der internationalen Nutzung dieser Technologie. Dazu zählten u. a. der Beitrag zur Schaffung von Arbeitsplätzen in der Telekommunikationsindustrie und damit verwandten Industrien und die größere Bedeutung dieses Industriesektors für die europäische Wirtschaft. GSM eröffnete letztlich auch neue Kommunikationsmöglichkeiten.

| 11. | Die Evaluierung solcher Ergebnisse wirft allerdings eine Reihe methodischer Probleme auf (siehe Anhang I). Sozioökonomische Veränderungen sind ein komplexer Vorgang, und der Zusammenhang zwischen einer Forschungstätigkeit und den beobachteten Wirkungen und Auswirkungen ist häufig schwer nachvollziehbar. Diese methodischen Schwierigkeiten stellen zwar eine große Herausforderung dar, schließen eine wirksame Evaluierung aber nicht zwangsläufig aus. |
| --- | --- |

11.

Die Evaluierung solcher Ergebnisse wirft allerdings eine Reihe methodischer Probleme auf (siehe Anhang I). Sozioökonomische Veränderungen sind ein komplexer Vorgang, und der Zusammenhang zwischen einer Forschungstätigkeit und den beobachteten Wirkungen und Auswirkungen ist häufig schwer nachvollziehbar. Diese methodischen Schwierigkeiten stellen zwar eine große Herausforderung dar, schließen eine wirksame Evaluierung aber nicht zwangsläufig aus.

| 12. | Die Kommission verfügt seit den 1980er Jahren über ein System für Programmcontrolling und Evaluierung der RP (11). Ab dem RP4, also ab Mitte der 1990er Jahre, bestand das Programmcontrolling- und Evaluierungssystem aus einer Reihe teilweise verknüpfter Tätigkeiten. Dazu zählten u. a.






  — | ein jährliches Programmcontrolling (hauptsächlich zur Überwachung der Programmdurchführung), |
| --- | --- | --- |

12.

Die Kommission verfügt seit den 1980er Jahren über ein System für Programmcontrolling und Evaluierung der RP (11). Ab dem RP4, also ab Mitte der 1990er Jahre, bestand das Programmcontrolling- und Evaluierungssystem aus einer Reihe teilweise verknüpfter Tätigkeiten. Dazu zählten u. a.

—

ein jährliches Programmcontrolling (hauptsächlich zur Überwachung der Programmdurchführung),

| — | Fünfjahresbewertungen der RP-Tätigkeiten (und ab dem RP6 zusätzliche Evaluierungen spezifischer Aspekte). |
| --- | --- |

—

Fünfjahresbewertungen der RP-Tätigkeiten (und ab dem RP6 zusätzliche Evaluierungen spezifischer Aspekte).

Für beide Tätigkeiten musste die Unterstützung externer Sachverständiger in Anspruch genommen werden (siehe Abbildung 2 und Anhang II).

Abbildung 2

RP4 bis RP7 — Wichtigste Vorgaben für Programmcontrolling und Evaluierung

| RP4 (1995-1998) | RP5 (1999-2002) | RP6 (2003-2006) | RP7 (2007-2013) |
| --- | --- | --- | --- |
| Zwei Bewertungsrunden (Zwischen- und Schlussbewertung) bei allen 20 Teilprogrammen und dem RP selbst; Schlussbewertung überschneidet sich mit der Zwischenbewertung des RP5 | Zwei parallele Bewertungsrunden (Zwischenbewertungen) bei den sieben spezifischen Programmen und dem RP selbst | Eine Bewertungsrunde zum RP und den entsprechenden 3 spezifischen Programmen (Zwischenbewertungen), jedoch nicht eigens für alle 20 Teilprogramme, ergänzt durch spezifische Evaluierungs- und regelmäßige Fortschritts- (d. h. Überwachungs-)berichte | Mindestens fünf Bewertungsrunden (Ex-ante-, Zwischen- und Schlussbewertung) mit spezifischen Fortschrittsberichten vor der Zwischenbewertung |
| 1. | Ex-ante-Bewertung: nein |

RP4 (1995-1998)

RP5 (1999-2002)

RP6 (2003-2006)

RP7 (2007-2013)

Zwei Bewertungsrunden (Zwischen- und Schlussbewertung) bei allen 20 Teilprogrammen und dem RP selbst; Schlussbewertung überschneidet sich mit der Zwischenbewertung des RP5

Zwei parallele Bewertungsrunden (Zwischenbewertungen) bei den sieben spezifischen Programmen und dem RP selbst

Eine Bewertungsrunde zum RP und den entsprechenden 3 spezifischen Programmen (Zwischenbewertungen), jedoch nicht eigens für alle 20 Teilprogramme, ergänzt durch spezifische Evaluierungs- und regelmäßige Fortschritts- (d. h. Überwachungs-)berichte

Mindestens fünf Bewertungsrunden (Ex-ante-, Zwischen- und Schlussbewertung) mit spezifischen Fortschrittsberichten vor der Zwischenbewertung

1.

Ex-ante-Bewertung: nein

| 1. | Ex-ante-Bewertung: nein |
| --- | --- |

1.

Ex-ante-Bewertung: nein

| 1. | Ex-ante-Bewertung: nein |
| --- | --- |

1.

Ex-ante-Bewertung: nein

| 1. | Ex-ante-Bewertung:
  vorgesehen in der Folgenabschätzung zum Vorschlag der Kommission für das RP7 (2005) |
| --- | --- |

1.

vorgesehen in der Folgenabschätzung zum Vorschlag der Kommission für das RP7 (2005)

| 2. | Zwischenbewertung:






  — | „Fünfjahresbewertung“: zur Halbzeit des RP, im Vorfeld des folgenden RP (1997) |
| --- | --- | --- |

2.

—

„Fünfjahresbewertung“: zur Halbzeit des RP, im Vorfeld des folgenden RP (1997)

| 2. | Zwischenbewertung:






  — | Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2000) |
| --- | --- | --- |

2.

—

Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2000)

| — | Überprüfung der Fortschritte zur Halbzeit des RP (2001) |
| --- | --- |

—

Überprüfung der Fortschritte zur Halbzeit des RP (2001)

| 2. | Zwischenbewertung:






  — | Bewertung der Wirksamkeit der Instrumente (2004) |
| --- | --- | --- |

2.

—

Bewertung der Wirksamkeit der Instrumente (2004)

| — | Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2004) |
| --- | --- |

—

Fünfjahresbewertung: im Vorfeld der Vorlage des Vorschlags für das folgende RP (2004)

| — | regelmäßige Fortschritts- (d. h. Überwachungs-)berichte |
| --- | --- |

—

regelmäßige Fortschritts- (d. h. Überwachungs-)berichte

| 2. | Zwischenbewertung:






  — | Ex post: 2 Jahre nach Auslaufen des vorhergehenden RP (2008) |
| --- | --- | --- |

2.

—

Ex post: 2 Jahre nach Auslaufen des vorhergehenden RP (2008)

| — | Fortschrittsbericht vor Zwischenbewertung (vor 2010) |
| --- | --- |

—

Fortschrittsbericht vor Zwischenbewertung (vor 2010)

| — | Zwischenbewertung (2010) |
| --- | --- |

—

Zwischenbewertung (2010)

| 3. | Schlussbewertung:






  — | bei Abschluss des RP (1999) |
| --- | --- | --- |

3.

—

bei Abschluss des RP (1999)

| 3. | Schlussbewertung:
  nein |
| --- | --- |

3.

nein

| 3. | Schlussbewertung:
  nein

  [geändert durch den Beschluss über das RP7] |
| --- | --- |

3.

nein

[geändert durch den Beschluss über das RP7]

| 3. | Schlussbewertung:
  zwei Jahre nach Abschluss des RP (2015), ergänzt durch spezifische Studien, die Zwischenbewertung sowie sonstige während der Laufzeit des RP durchgeführte Bewertungstätigkeiten |
| --- | --- |

3.

zwei Jahre nach Abschluss des RP (2015), ergänzt durch spezifische Studien, die Zwischenbewertung sowie sonstige während der Laufzeit des RP durchgeführte Bewertungstätigkeiten

Quelle: siehe Anhang II.

| 13. | Bislang wurden drei Fünfjahresbewertungen vorgenommen (12), die im „Davignon“-, „Majó“- bzw. „Ormala“-Bericht (1997, 2000 bzw. 2004) ihren Niederschlag fanden. Die GD Informationsgesellschaft und Medien führte darüber hinaus gezielte Evaluierungen des von ihr verwalteten spezifischen Programms durch. Es sei darauf hingewiesen, dass Fünfjahresbewertungen in den Vorschriften für das RP7 nicht länger vorgesehen sind, womit umfassende Evaluierungen nicht mehr zwingend auf die vorangegangenen fünf Jahre ausgelegt sein und infolgedessen Teile zweier aufeinanderfolgender Programmlaufzeiten abdecken müssen. Im „Marimón“-Bericht (13) aus dem Jahr 2004 wurde auch eine spezifische Bewertung der Wirksamkeit der im RP6 neu eingeführten Instrumente veröffentlicht. |
| --- | --- |

13.

Bislang wurden drei Fünfjahresbewertungen vorgenommen (12), die im „Davignon“-, „Majó“- bzw. „Ormala“-Bericht (1997, 2000 bzw. 2004) ihren Niederschlag fanden. Die GD Informationsgesellschaft und Medien führte darüber hinaus gezielte Evaluierungen des von ihr verwalteten spezifischen Programms durch. Es sei darauf hingewiesen, dass Fünfjahresbewertungen in den Vorschriften für das RP7 nicht länger vorgesehen sind, womit umfassende Evaluierungen nicht mehr zwingend auf die vorangegangenen fünf Jahre ausgelegt sein und infolgedessen Teile zweier aufeinanderfolgender Programmlaufzeiten abdecken müssen. Im „Marimón“-Bericht (13) aus dem Jahr 2004 wurde auch eine spezifische Bewertung der Wirksamkeit der im RP6 neu eingeführten Instrumente veröffentlicht.

| 14. | Die Rahmenbedingungen der Kommission für Evaluierungstätigkeiten wurden in den Jahren 2000 und 2002 überprüft (14). Die entsprechenden Mitteilungen wurden im Jahr 2007 unter Berücksichtigung der Verwaltungsreform der Kommission und der neuen Haushaltsordnung aktualisiert (15). In diesen Dokumenten werden Rolle und Funktion von Evaluierungen vor dem Hintergrund des gesamten Planungs-, Programmierungs- und Berichterstattungszyklus der Kommission beleuchtet. Ferner werden darin 21 Evaluierungsnormen sowie 18 Beispiele für „bewährte Verfahren“ festgelegt und die Heranziehung von Evaluierungen bei der Vorbereitung und Vereinfachung gemeinschaftlicher Rechtsvorschriften thematisiert. |
| --- | --- |

14.

Die Rahmenbedingungen der Kommission für Evaluierungstätigkeiten wurden in den Jahren 2000 und 2002 überprüft (14). Die entsprechenden Mitteilungen wurden im Jahr 2007 unter Berücksichtigung der Verwaltungsreform der Kommission und der neuen Haushaltsordnung aktualisiert (15). In diesen Dokumenten werden Rolle und Funktion von Evaluierungen vor dem Hintergrund des gesamten Planungs-, Programmierungs- und Berichterstattungszyklus der Kommission beleuchtet. Ferner werden darin 21 Evaluierungsnormen sowie 18 Beispiele für „bewährte Verfahren“ festgelegt und die Heranziehung von Evaluierungen bei der Vorbereitung und Vereinfachung gemeinschaftlicher Rechtsvorschriften thematisiert.

PRÜFUNGSUMFANG UND PRÜFUNGSANSATZ

15.

| 15. | Hauptziel der Prüfung war es, festzustellen, ob die Kommission über einen zweckmäßigen Ansatz für die Evaluierung der Ergebnisse der FTE-Rahmenprogramme verfügte. |
| --- | --- |

Hauptziel der Prüfung war es, festzustellen, ob die Kommission über einen zweckmäßigen Ansatz für die Evaluierung der Ergebnisse der FTE-Rahmenprogramme verfügte.

| 16. | Zu diesem Zweck beurteilte der Hof, inwieweit






  — | die RP und die zugehörigen Programme auf einer expliziten Interventionslogik beruhen, die eine Messung und Bewertung von Outputs, Wirkungen und Auswirkungen ermöglicht und somit eine solide Grundlage für Evaluierung und Programmcontrolling liefert; |
| --- | --- | --- |

16.

Zu diesem Zweck beurteilte der Hof, inwieweit

—

die RP und die zugehörigen Programme auf einer expliziten Interventionslogik beruhen, die eine Messung und Bewertung von Outputs, Wirkungen und Auswirkungen ermöglicht und somit eine solide Grundlage für Evaluierung und Programmcontrolling liefert;

| — | für die RP eine Evaluierungsstrategie festgelegt wurde, die einer wirksamen und einheitlichen Evaluierung förderlich ist; |
| --- | --- |

—

für die RP eine Evaluierungsstrategie festgelegt wurde, die einer wirksamen und einheitlichen Evaluierung förderlich ist;

| — | durch den Aufbau des Evaluierungssystems gewährleistet ist, dass es innerhalb des gesamten RP gut koordiniert ist, ausreichende Mittel dafür bereitgestellt werden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wird; |
| --- | --- |

—

durch den Aufbau des Evaluierungssystems gewährleistet ist, dass es innerhalb des gesamten RP gut koordiniert ist, ausreichende Mittel dafür bereitgestellt werden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wird;

| — | mit den für die Evaluierung verwendeten Methoden sichergestellt ist, dass relevante Aspekte in geeigneter Weise beleuchtet werden, sodass die Evaluierung als aussagekräftig angesehen wird; |
| --- | --- |

—

mit den für die Evaluierung verwendeten Methoden sichergestellt ist, dass relevante Aspekte in geeigneter Weise beleuchtet werden, sodass die Evaluierung als aussagekräftig angesehen wird;

| — | Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen liefern, die zur Verbesserung laufender Programme („lernende Programme“) und zur Vorbereitung künftiger RP verwendet werden können. |
| --- | --- |

—

Evaluierungs- und Programmcontrollingtätigkeiten Informationen und Analysen liefern, die zur Verbesserung laufender Programme („lernende Programme“) und zur Vorbereitung künftiger RP verwendet werden können.

| 17. | In diesem Bericht werden die Evaluierungsmodalitäten für das RP4 (1995-1998), das RP5 (1999-2002) und das RP6 (2003-2006) behandelt. Außerdem werden die für das derzeitige RP7 (2007-2013) geltenden rechtlichen Anforderungen beleuchtet. Die von der Kommission vorgelegte Folgenabschätzung und Ex-ante-Bewertung (16) des RP7 wird hingegen nicht beurteilt. Im Mittelpunkt des Berichts steht das Controlling der Programmdurchführung und die Ex-post-Evaluierung der Programme, nicht jedoch die Ex-ante-Begutachtung der Projektvorschläge oder die Ex-post-Bewertung der konkreten Projekte. |
| --- | --- |

17.

In diesem Bericht werden die Evaluierungsmodalitäten für das RP4 (1995-1998), das RP5 (1999-2002) und das RP6 (2003-2006) behandelt. Außerdem werden die für das derzeitige RP7 (2007-2013) geltenden rechtlichen Anforderungen beleuchtet. Die von der Kommission vorgelegte Folgenabschätzung und Ex-ante-Bewertung (16) des RP7 wird hingegen nicht beurteilt. Im Mittelpunkt des Berichts steht das Controlling der Programmdurchführung und die Ex-post-Evaluierung der Programme, nicht jedoch die Ex-ante-Begutachtung der Projektvorschläge oder die Ex-post-Bewertung der konkreten Projekte.

| 18. | Die Prüfung wurde unter Beteiligung des Ausschusses der Rechnungsprüfer der EFTA und mit Unterstützung externer Sachverständiger durchgeführt. Die Prüfungsnachweise ergeben sich aus folgenden Arbeiten:






  — | Durchsicht von Unterlagen und Mitarbeiterbefragungen bei der Kommission, die die Ermittlung der gesetzlichen und verordnungsrechtlichen Anforderungen, eine Überprüfung der Ziele und Leistungskriterien, die Analyse von über 80 Programmcontrolling- und Evaluierungsberichten und der organisatorischen Abläufe im Zusammenhang mit den Evaluierungsmaßnahmen in der Kommission umfassten; |
| --- | --- | --- |

18.

Die Prüfung wurde unter Beteiligung des Ausschusses der Rechnungsprüfer der EFTA und mit Unterstützung externer Sachverständiger durchgeführt. Die Prüfungsnachweise ergeben sich aus folgenden Arbeiten:

—

Durchsicht von Unterlagen und Mitarbeiterbefragungen bei der Kommission, die die Ermittlung der gesetzlichen und verordnungsrechtlichen Anforderungen, eine Überprüfung der Ziele und Leistungskriterien, die Analyse von über 80 Programmcontrolling- und Evaluierungsberichten und der organisatorischen Abläufe im Zusammenhang mit den Evaluierungsmaßnahmen in der Kommission umfassten;

| — | Befragung von mehr als 90 Sachverständigen, die in den Mitgliedstaaten und assoziierten Ländern (Tschechische Republik, Deutschland, Estland, Spanien, Frankreich, Italien, Luxemburg, Niederlande, Österreich, Finnland, Schweden, Vereinigtes Königreich und Norwegen) als maßgebliche Akteure in dem untersuchten Bereich ermittelt wurden; |
| --- | --- |

—

Befragung von mehr als 90 Sachverständigen, die in den Mitgliedstaaten und assoziierten Ländern (Tschechische Republik, Deutschland, Estland, Spanien, Frankreich, Italien, Luxemburg, Niederlande, Österreich, Finnland, Schweden, Vereinigtes Königreich und Norwegen) als maßgebliche Akteure in dem untersuchten Bereich ermittelt wurden;

| — | Durchführung von Erhebungen bei institutionellen Akteuren — beim ITRE (17) des Europäischen Parlaments und beim CREST (18) des Rates; |
| --- | --- |

—

Durchführung von Erhebungen bei institutionellen Akteuren — beim ITRE (17) des Europäischen Parlaments und beim CREST (18) des Rates;

| — | Konsultation von mehr als 65 Sachverständigen auf dem Gebiet der Forschungsevaluierung in den USA und in Kanada als internationale Vergleichsgruppe; |
| --- | --- |

—

Konsultation von mehr als 65 Sachverständigen auf dem Gebiet der Forschungsevaluierung in den USA und in Kanada als internationale Vergleichsgruppe;

| — | Durchsicht wissenschaftlicher Veröffentlichungen zu aktuellen Trends in der Forschungsevaluierung; |
| --- | --- |

—

Durchsicht wissenschaftlicher Veröffentlichungen zu aktuellen Trends in der Forschungsevaluierung;

| — | Erörterung der Prüfungsfeststellungen, -schlussfolgerungen und -empfehlungen mit Experten auf dem Gebiet der Forschungsevaluierung aus Europa und Nordamerika in einer Reihe moderierter Fokusgruppensitzungen im Februar 2007. |
| --- | --- |

—

Erörterung der Prüfungsfeststellungen, -schlussfolgerungen und -empfehlungen mit Experten auf dem Gebiet der Forschungsevaluierung aus Europa und Nordamerika in einer Reihe moderierter Fokusgruppensitzungen im Februar 2007.

PRÜFUNGSBEMERKUNGEN

Interventionslogik, Zielsetzung und Leistungsindikatoren

| 19. | Eine wirksame Evaluierung und ein wirksames Controlling der Programmdurchführung setzen voraus, dass auf strategischer, Programm- und Projektebene klare Ziele und relevante Leistungsindikatoren vorhanden sind, anhand deren sich die Ergebnisse einer öffentlichen Intervention bewerten lassen. Bewährte Methoden in anderen EU-Haushaltsbereichen sowie in anderen Ländern legen nahe, dass diese Ziele und Indikatoren in einer Interventionslogik festgelegt werden sollten. |
| --- | --- |

19.

Eine wirksame Evaluierung und ein wirksames Controlling der Programmdurchführung setzen voraus, dass auf strategischer, Programm- und Projektebene klare Ziele und relevante Leistungsindikatoren vorhanden sind, anhand deren sich die Ergebnisse einer öffentlichen Intervention bewerten lassen. Bewährte Methoden in anderen EU-Haushaltsbereichen sowie in anderen Ländern legen nahe, dass diese Ziele und Indikatoren in einer Interventionslogik festgelegt werden sollten.

| 20. | Interventionslogik lässt sich definieren als eine Reihe hypothetischer Kausalzusammenhänge, mit denen beschrieben wird, wie die Intervention ihre übergeordneten Ziele erreichen soll (19). Den Evaluierungsleitlinien der Kommission zufolge liefert die Interventionslogik die begriffliche Verbindung zwischen den Inputs einer Intervention und ihren tatsächlichen Outputs und in weiterer Folge ihren Auswirkungen auf die Gesellschaft in Form von Ergebnissen und Wirkungen (20). Der vorliegende Bericht stützt sich durchgängig auf diese Definition. |
| --- | --- |

20.

Interventionslogik lässt sich definieren als eine Reihe hypothetischer Kausalzusammenhänge, mit denen beschrieben wird, wie die Intervention ihre übergeordneten Ziele erreichen soll (19). Den Evaluierungsleitlinien der Kommission zufolge liefert die Interventionslogik die begriffliche Verbindung zwischen den Inputs einer Intervention und ihren tatsächlichen Outputs und in weiterer Folge ihren Auswirkungen auf die Gesellschaft in Form von Ergebnissen und Wirkungen (20). Der vorliegende Bericht stützt sich durchgängig auf diese Definition.

| 21. | Der Hof beurteilte, inwieweit für die RP und die zugehörigen Programme eine Interventionslogik festgelegt wurde und dadurch eine solide Grundlage für Evaluierung und Programmcontrolling gegeben war. |
| --- | --- |

21.

Der Hof beurteilte, inwieweit für die RP und die zugehörigen Programme eine Interventionslogik festgelegt wurde und dadurch eine solide Grundlage für Evaluierung und Programmcontrolling gegeben war.

Keine explizite Interventionslogik für die RP

| 22. | Die Festlegung der Interventionslogik sollte von Beginn an ein zentraler Aspekt der Programmkonzeption sein. Artikel 163 des EG-Vertrags, in dem auf die notwendige Stärkung der wissenschaftlichen und technologischen Grundlage und Entwicklung der Wettbewerbsfähigkeit hingewiesen wird, sollte die Ausgangsbasis für eine entsprechende Interventionslogik für die RP bilden (siehe Ziffer 2). Diese Interventionslogik müsste danach genauer spezifiziert und den unterschiedlichen wissenschaftlichen Gebieten, die von den RP abgedeckt werden, und den verschiedenen Instrumenten, die zur Anwendung kommen, angepasst werden. |
| --- | --- |

22.

Die Festlegung der Interventionslogik sollte von Beginn an ein zentraler Aspekt der Programmkonzeption sein. Artikel 163 des EG-Vertrags, in dem auf die notwendige Stärkung der wissenschaftlichen und technologischen Grundlage und Entwicklung der Wettbewerbsfähigkeit hingewiesen wird, sollte die Ausgangsbasis für eine entsprechende Interventionslogik für die RP bilden (siehe Ziffer 2). Diese Interventionslogik müsste danach genauer spezifiziert und den unterschiedlichen wissenschaftlichen Gebieten, die von den RP abgedeckt werden, und den verschiedenen Instrumenten, die zur Anwendung kommen, angepasst werden.

| 23. | Ein explizites Logikmodell, das darlegt, wie die RP und die zugehörigen Programme zu Fortschritt und Innovation im Bereich Wissenschaft und Technik beitragen, fehlt jedoch auf allen Ebenen. |
| --- | --- |

23.

Ein explizites Logikmodell, das darlegt, wie die RP und die zugehörigen Programme zu Fortschritt und Innovation im Bereich Wissenschaft und Technik beitragen, fehlt jedoch auf allen Ebenen.

| 24. | Auch das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium wies ausdrücklich auf das Fehlen einer Interventionslogik hin. Dem Gremium zufolge werde von ihm erwartet, eine Lücke zu schließen zwischen einerseits hauptsächlich auf Projektebene gesammelten Nachweisen und andererseits den übergeordneten, sozioökonomischen Zielen der Forschungspolitik. Diese Verknüpfung sei derzeit aufgrund der Vorgehensweise bei der Planung des Rahmenprogramms aber schwierig herzustellen. Es fehle eine explizite Logik, die die übergeordneten Ziele mit den konkreten Zielen im Bereich Forschung und Wissen verbinde (21). |
| --- | --- |

24.

Auch das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium wies ausdrücklich auf das Fehlen einer Interventionslogik hin. Dem Gremium zufolge werde von ihm erwartet, eine Lücke zu schließen zwischen einerseits hauptsächlich auf Projektebene gesammelten Nachweisen und andererseits den übergeordneten, sozioökonomischen Zielen der Forschungspolitik. Diese Verknüpfung sei derzeit aufgrund der Vorgehensweise bei der Planung des Rahmenprogramms aber schwierig herzustellen. Es fehle eine explizite Logik, die die übergeordneten Ziele mit den konkreten Zielen im Bereich Forschung und Wissen verbinde (21).

| 25. | Einige Mitgliedstaaten (etwa die Niederlande und Finnland) sowie die USA (siehe Abbildung 3) verfolgen einen anderen Ansatz, bei dem die Festlegung einer Interventionslogik weit verbreitet ist. In Kanada muss für jedes Programm eine Interventionslogik vorhanden sein (siehe Anhang III). In der Praxis führt die Anwendung einer Interventionslogik bei der Programmkonzeption in diesen Ländern zu gezielter ausgerichteten und besser strukturierten Programmen. Die Kommission ist im Begriff, die Interventionslogik auch in anderen Bereichen der Gemeinschaftspolitik (z. B. Außenhilfe) einzuführen (22).
  Abbildung 3
  Festlegung einer Zielhierarchie auf der Grundlage von Logikmodellen — Beispiel: US-Agrarforschung








  Politik | Programm | Projekt |
| --- | --- | --- | --- |
| Politisches Ziel
  : Beitrag zur Verbesserung der Einkommenssituation landwirtschaftlicher Haushalte | | |
| Zweck
  : Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte | Programmziel
  : Beitrag zur Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte | |
| Erwartetes Ergebnis
  : Zuwachs beim Einsatz verbesserter Agrartechniken bei den in der Zielgruppe erfassten Landwirten | Zweck
  : Zuwachs beim Einsatz verbesserter Agrartechniken durch die Landwirte (z. B. Reis) | Projektziel
  : Beitrag zur verstärkten Verwendung der empfohlenen verbesserten Techniken |
| | Erwartetes Ergebnis
  : Abgabe/Verbreitung von Empfehlungen für die in der Zielgruppe erfassten Landwirte | Zweck
  : Unterbreitung von Empfehlungen für verbesserte, für die in der Zielgruppe erfassten Landwirte geeignete Techniken |
| | | Erwartete Ergebnisse (z. B.):








  1. | Ermittlung von Techniken aufgrund der Prioritäten der Landwirte |

25.

Einige Mitgliedstaaten (etwa die Niederlande und Finnland) sowie die USA (siehe Abbildung 3) verfolgen einen anderen Ansatz, bei dem die Festlegung einer Interventionslogik weit verbreitet ist. In Kanada muss für jedes Programm eine Interventionslogik vorhanden sein (siehe Anhang III). In der Praxis führt die Anwendung einer Interventionslogik bei der Programmkonzeption in diesen Ländern zu gezielter ausgerichteten und besser strukturierten Programmen. Die Kommission ist im Begriff, die Interventionslogik auch in anderen Bereichen der Gemeinschaftspolitik (z. B. Außenhilfe) einzuführen (22).

Abbildung 3

Festlegung einer Zielhierarchie auf der Grundlage von Logikmodellen — Beispiel: US-Agrarforschung

Politik

Programm

Projekt

Politisches Ziel
  : Beitrag zur Verbesserung der Einkommenssituation landwirtschaftlicher Haushalte

Zweck
  : Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte

Programmziel
  : Beitrag zur Steigerung der Erzeugung, Produktivität und Einkommen landwirtschaftlicher Haushalte

Erwartetes Ergebnis
  : Zuwachs beim Einsatz verbesserter Agrartechniken bei den in der Zielgruppe erfassten Landwirten

Zweck
  : Zuwachs beim Einsatz verbesserter Agrartechniken durch die Landwirte (z. B. Reis)

Projektziel
  : Beitrag zur verstärkten Verwendung der empfohlenen verbesserten Techniken

Erwartetes Ergebnis
  : Abgabe/Verbreitung von Empfehlungen für die in der Zielgruppe erfassten Landwirte

Zweck
  : Unterbreitung von Empfehlungen für verbesserte, für die in der Zielgruppe erfassten Landwirte geeignete Techniken

Erwartete Ergebnisse (z. B.):

1.

Ermittlung von Techniken aufgrund der Prioritäten der Landwirte

| 2. | Ausarbeitung und Anpassung der Techniken |
| --- | --- |

2.

Ausarbeitung und Anpassung der Techniken

| 3. | Überprüfung der Techniken vor Ort bei den Landwirten |
| --- | --- |

3.

Überprüfung der Techniken vor Ort bei den Landwirten

Quelle: US National Agricultural Research Council.

| 26. | Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien und die angenommenen Kausalzusammenhänge (die für die Detailplanung, Durchführung und Evaluierung des Programms maßgeblich sind) nicht rechtsverbindlich festgelegt werden, wird die Wirksamkeit der Evaluierung und des Controllings der Durchführung der RP beeinträchtigt. Dies ist vor allen Dingen durch die Art und Weise bedingt, wie die Programmziele und Leistungsindikatoren festgelegt sind. |
| --- | --- |

26.

Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien und die angenommenen Kausalzusammenhänge (die für die Detailplanung, Durchführung und Evaluierung des Programms maßgeblich sind) nicht rechtsverbindlich festgelegt werden, wird die Wirksamkeit der Evaluierung und des Controllings der Durchführung der RP beeinträchtigt. Dies ist vor allen Dingen durch die Art und Weise bedingt, wie die Programmziele und Leistungsindikatoren festgelegt sind.

Ohne explizites Logikmodell ist die Festlegung kohärenter Programmziele schwieriger

| 27. | Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien nicht explizit dargelegt werden, gestalten sich die kohärente Festlegung und Strukturierung der Programmziele schwieriger. Dies lässt sich daran veranschaulichen, dass






  — | der Zusammenhang zwischen den Zielen der RP und den politischen Zielen, etwa dem übergeordneten Ziel nach Artikel 163 des Vertrags oder den in der Strategie von Lissabon und der Erklärung von Barcelona aufgeführten Zielen, nicht eindeutig herzustellen ist (siehe Ziffern 2 und 7); |
| --- | --- | --- |

27.

Wenn die der öffentlichen Intervention zugrunde liegenden Prinzipien nicht explizit dargelegt werden, gestalten sich die kohärente Festlegung und Strukturierung der Programmziele schwieriger. Dies lässt sich daran veranschaulichen, dass

—

der Zusammenhang zwischen den Zielen der RP und den politischen Zielen, etwa dem übergeordneten Ziel nach Artikel 163 des Vertrags oder den in der Strategie von Lissabon und der Erklärung von Barcelona aufgeführten Zielen, nicht eindeutig herzustellen ist (siehe Ziffern 2 und 7);

| — | der Zusammenhang zwischen den Zielen der einzelnen Programme auf der jeweiligen Ebene der Rechtsvorschriften (Beschluss über das RP, Entscheidung über die spezifischen Programme und Regeln für die Beteiligung und Verbreitung) sowie zwischen den Basisrechtsakten und den Arbeitsprogrammen der Kommission nicht immer erkennbar ist. |
| --- | --- |

—

der Zusammenhang zwischen den Zielen der einzelnen Programme auf der jeweiligen Ebene der Rechtsvorschriften (Beschluss über das RP, Entscheidung über die spezifischen Programme und Regeln für die Beteiligung und Verbreitung) sowie zwischen den Basisrechtsakten und den Arbeitsprogrammen der Kommission nicht immer erkennbar ist.

| 28. | Die Kommission versuchte, in den Arbeitsprogrammen operationelle Ziele festzulegen, die sich auf die in den Rechtsvorschriften für die RP vorgegebenen Programmziele stützen. Anhand dieser Initiativen konnte die den Programmen zugrunde liegende Logik in den meisten Fällen allerdings nicht klar dargelegt werden, und die in den Arbeitsprogrammen aufgeführten Ziele waren nicht konkret, messbar, erreichbar, sachgerecht und mit einem Datum versehen (SMART: specific, measurable, achievable, relevant and timed), wie dies seit 2003 in der Haushaltsordnung vorgeschrieben ist (23). |
| --- | --- |

28.

Die Kommission versuchte, in den Arbeitsprogrammen operationelle Ziele festzulegen, die sich auf die in den Rechtsvorschriften für die RP vorgegebenen Programmziele stützen. Anhand dieser Initiativen konnte die den Programmen zugrunde liegende Logik in den meisten Fällen allerdings nicht klar dargelegt werden, und die in den Arbeitsprogrammen aufgeführten Ziele waren nicht konkret, messbar, erreichbar, sachgerecht und mit einem Datum versehen (SMART: specific, measurable, achievable, relevant and timed), wie dies seit 2003 in der Haushaltsordnung vorgeschrieben ist (23).

| 29. | Unklarheit herrscht darüber, inwieweit die politischen Ziele in den spezifischen Programmen, Arbeitsprogrammen und Aufforderungen zur Einreichung von Vorschlägen bis zu den von der Gemeinschaft kofinanzierten Einzelprojekten nachvollziehbar sind. Ohne Klarstellung dieser Verknüpfungen kann der Beitrag der RP und der zugehörigen Programme zur Erreichung dieser politischen Ziele nicht bewertet werden. Der Hof stellte bei seiner Prüfung fest, dass die Kommission in ihren Evaluierungen wenige oder keine schlüssigen Nachweise für die Erreichung der längerfristigen Ziele — auf Projekt- wie auf Programmebene — vorgelegt hat (siehe Ziffer 82). |
| --- | --- |

29.

Unklarheit herrscht darüber, inwieweit die politischen Ziele in den spezifischen Programmen, Arbeitsprogrammen und Aufforderungen zur Einreichung von Vorschlägen bis zu den von der Gemeinschaft kofinanzierten Einzelprojekten nachvollziehbar sind. Ohne Klarstellung dieser Verknüpfungen kann der Beitrag der RP und der zugehörigen Programme zur Erreichung dieser politischen Ziele nicht bewertet werden. Der Hof stellte bei seiner Prüfung fest, dass die Kommission in ihren Evaluierungen wenige oder keine schlüssigen Nachweise für die Erreichung der längerfristigen Ziele — auf Projekt- wie auf Programmebene — vorgelegt hat (siehe Ziffer 82).

Das Fehlen einer expliziten Interventionslogik und klarer Ziele erschwert die Entwicklung von Leistungsindikatoren

| 30. | Das Fehlen eines expliziten Logikmodells und klar formulierter Programmziele stand auch der Entwicklung von Leistungsindikatoren für die Überwachung der Erreichung der Programmziele nach Output, Wirkung und Auswirkungen im Wege, sodass entsprechende „Wirksamkeits“indikatoren für die RP bislang überhaupt nicht definiert wurden (siehe Ziffer 73). |
| --- | --- |

30.

Das Fehlen eines expliziten Logikmodells und klar formulierter Programmziele stand auch der Entwicklung von Leistungsindikatoren für die Überwachung der Erreichung der Programmziele nach Output, Wirkung und Auswirkungen im Wege, sodass entsprechende „Wirksamkeits“indikatoren für die RP bislang überhaupt nicht definiert wurden (siehe Ziffer 73).

| 31. | Unter diesen Umständen werden die Begutachtung laufender, aus diesen Programmen finanzierter Projekte und die Ex-post-Bewertung abgeschlossener Projekte ebenso erschwert wie die Zusammenfassung von Projektevaluierungen auf Programmebene (siehe Anhang I und Ziffer 84). |
| --- | --- |

31.

Unter diesen Umständen werden die Begutachtung laufender, aus diesen Programmen finanzierter Projekte und die Ex-post-Bewertung abgeschlossener Projekte ebenso erschwert wie die Zusammenfassung von Projektevaluierungen auf Programmebene (siehe Anhang I und Ziffer 84).

Tätigkeitsbezogene Budgetierung (ABB)/tätigkeitsbezogenes Management (ABM) in ihrer derzeitigen Anwendungsform sind für die Messung der Leistung der RP ungeeignet

| 32. | Einige Indikatoren zur Verfolgung der Effizienz der Programmdurchführung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung) finden sich in den jährlichen Programmcontrollingberichten der Kommission und auch im Rahmen des tätigkeitsbezogenen Managementsystems der Kommission. |
| --- | --- |

32.

Einige Indikatoren zur Verfolgung der Effizienz der Programmdurchführung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung) finden sich in den jährlichen Programmcontrollingberichten der Kommission und auch im Rahmen des tätigkeitsbezogenen Managementsystems der Kommission.

| 33. | Bislang haben die Forschungsgeneraldirektionen — selbst bei Durchführung desselben spezifischen Programms (oder Teilprogramms) — allerdings keine einheitliche oder vergleichbare Nomenklatur für die tätigkeitsbezogene Budgetierung und damit verbundene Indikatoren angewandt. Diese Indikatoren können deshalb für einen Leistungsvergleich zwischen und innerhalb von Programmen nicht verwendet werden.

  Kasten 2Tätigkeitsbezogene Budgetierung/tätigkeitsbezogenes Management wie derzeit von den Forschungsgeneraldirektionen angewandtIm Rahmen der tätigkeitsbezogenen Budgetierung und des tätigkeitsbezogenen Managements fallen die RP unter zwei verschiedene Politikbereiche. Innerhalb dieser Bereiche werden die RP-Tätigkeiten nach divergierenden, GD-spezifischen Nomenklaturen dargestellt (24). Dies trifft selbst auf diejenigen spezifischen Programme und Teilprogramme zu, die von mehr als einer GD durchgeführt werden. Bei der Festlegung der ABM-Ziele wurden unterschiedliche Prinzipien zugrunde gelegt (25). Die Ziele waren, wie der interne Auditdienst der Kommission feststellte (26), meist allgemein formuliert und beschrieben Bestrebungen oder Maßnahmen. Die Indikatoren waren im Allgemeinen auf den Input ausgerichtet (z. B. Anzahl der Sitzungen usw.). Einige Indikatoren bezogen sich auf die Effizienz der Abwicklung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung), ließen jedoch wegen der Abweichungen in der ABB-Nomenklatur, in den GD-spezifischen Annahmen (etwa Beginn und Ende spezifischer Verwaltungsabläufe) und in der für ihre Berechnung zugrunde gelegten Population (etwa Art der Finanzhilfevereinbarung, Art der Zahlung) keinen Vergleich zwischen Programmen und Generaldirektionen zu. |
| --- | --- |

33.

Bislang haben die Forschungsgeneraldirektionen — selbst bei Durchführung desselben spezifischen Programms (oder Teilprogramms) — allerdings keine einheitliche oder vergleichbare Nomenklatur für die tätigkeitsbezogene Budgetierung und damit verbundene Indikatoren angewandt. Diese Indikatoren können deshalb für einen Leistungsvergleich zwischen und innerhalb von Programmen nicht verwendet werden.

Kasten 2Tätigkeitsbezogene Budgetierung/tätigkeitsbezogenes Management wie derzeit von den Forschungsgeneraldirektionen angewandtIm Rahmen der tätigkeitsbezogenen Budgetierung und des tätigkeitsbezogenen Managements fallen die RP unter zwei verschiedene Politikbereiche. Innerhalb dieser Bereiche werden die RP-Tätigkeiten nach divergierenden, GD-spezifischen Nomenklaturen dargestellt (24). Dies trifft selbst auf diejenigen spezifischen Programme und Teilprogramme zu, die von mehr als einer GD durchgeführt werden. Bei der Festlegung der ABM-Ziele wurden unterschiedliche Prinzipien zugrunde gelegt (25). Die Ziele waren, wie der interne Auditdienst der Kommission feststellte (26), meist allgemein formuliert und beschrieben Bestrebungen oder Maßnahmen. Die Indikatoren waren im Allgemeinen auf den Input ausgerichtet (z. B. Anzahl der Sitzungen usw.). Einige Indikatoren bezogen sich auf die Effizienz der Abwicklung (etwa Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung), ließen jedoch wegen der Abweichungen in der ABB-Nomenklatur, in den GD-spezifischen Annahmen (etwa Beginn und Ende spezifischer Verwaltungsabläufe) und in der für ihre Berechnung zugrunde gelegten Population (etwa Art der Finanzhilfevereinbarung, Art der Zahlung) keinen Vergleich zwischen Programmen und Generaldirektionen zu.

Empfehlungen

34.

| 34. | In künftigen Vorschlägen für Rechtsakte, die dem Rat und dem Europäischen Parlament vorgelegt werden, sollte die Kommission eine explizite Interventionslogik für das gesamte RP sowie die zugehörigen Programme darlegen. |
| --- | --- |

In künftigen Vorschlägen für Rechtsakte, die dem Rat und dem Europäischen Parlament vorgelegt werden, sollte die Kommission eine explizite Interventionslogik für das gesamte RP sowie die zugehörigen Programme darlegen.

| 35. | In Bezug auf das RP7 sollte die Kommission






  — | die Ziele des RP und der zugehörigen spezifischen Programme (und Teilprogramme) klar formulieren und beschreiben, wie sie verwirklicht werden sollen; |
| --- | --- | --- |

35.

In Bezug auf das RP7 sollte die Kommission

—

die Ziele des RP und der zugehörigen spezifischen Programme (und Teilprogramme) klar formulieren und beschreiben, wie sie verwirklicht werden sollen;

| — | den Zusammenhang zwischen den wissenschaftlichen und den sozioökonomischen Zielen für jedes spezifische Programm (und Teilprogramm) klar darlegen; |
| --- | --- |

—

den Zusammenhang zwischen den wissenschaftlichen und den sozioökonomischen Zielen für jedes spezifische Programm (und Teilprogramm) klar darlegen;

| — | relevante operationelle Ziele festlegen. |
| --- | --- |

—

relevante operationelle Ziele festlegen.

| 36. | Für das Programmcontrolling des RP7 sollte die Kommission für jedes spezifische Programm (und Teilprogramm) einige wenige, aber ausgewogene Leistungsindikatoren zur Messung der Effizienz und der Wirksamkeit der Programmdurchführung festlegen. |
| --- | --- |

36.

Für das Programmcontrolling des RP7 sollte die Kommission für jedes spezifische Programm (und Teilprogramm) einige wenige, aber ausgewogene Leistungsindikatoren zur Messung der Effizienz und der Wirksamkeit der Programmdurchführung festlegen.

| 37. | Die Forschungsgeneraldirektionen sollten ihre ABM/ABB-Nomenklatur abstimmen, damit die Leistungsindikatoren im Zeitverlauf und nach Möglichkeit auch zwischen den spezifischen Programmen (und Teilprogrammen) verglichen werden können. |
| --- | --- |

37.

Die Forschungsgeneraldirektionen sollten ihre ABM/ABB-Nomenklatur abstimmen, damit die Leistungsindikatoren im Zeitverlauf und nach Möglichkeit auch zwischen den spezifischen Programmen (und Teilprogrammen) verglichen werden können.

Evaluierungsstrategie

| 38. | Eine Evaluierungsstrategie liefert den Begriffsrahmen für Konzeption, Planung, Durchführung und Nutzung der Evaluierungstätigkeiten. Bewährte Verfahren in anderen EU-Haushaltsbereichen und über die EU hinaus legen den Schluss nahe, dass eine entsprechende Strategie die wichtigsten mit der Programmevaluierung verbundenen rechtlichen, organisatorischen und methodischen Fragen beantworten sollte, etwa, welche Evaluierungen wann von wem vorzunehmen sind, wie die Daten zu sammeln sind, welcher methodische Ansatz zu verfolgen ist und wie die Feststellungen mitzuteilen und weiterzuverfolgen sind. |
| --- | --- |

38.

Eine Evaluierungsstrategie liefert den Begriffsrahmen für Konzeption, Planung, Durchführung und Nutzung der Evaluierungstätigkeiten. Bewährte Verfahren in anderen EU-Haushaltsbereichen und über die EU hinaus legen den Schluss nahe, dass eine entsprechende Strategie die wichtigsten mit der Programmevaluierung verbundenen rechtlichen, organisatorischen und methodischen Fragen beantworten sollte, etwa, welche Evaluierungen wann von wem vorzunehmen sind, wie die Daten zu sammeln sind, welcher methodische Ansatz zu verfolgen ist und wie die Feststellungen mitzuteilen und weiterzuverfolgen sind.

| 39. | Das Vorhandensein einer entsprechenden Strategie und deren verlässliche Anwendung sind Voraussetzungen dafür, dass die Evaluierung zu einem festen Bestandteil der Organisationskultur und Entscheidungsfindung der Kommission wird. Der Hof räumt allerdings ein, dass diese Strategie angesichts der Bandbreite der von den RP abgedeckten Wissenschaftsbereiche jeder der zuständigen Generaldirektionen ausreichende Flexibilität bieten und keine zu engen Vorgaben machen sollte. |
| --- | --- |

39.

Das Vorhandensein einer entsprechenden Strategie und deren verlässliche Anwendung sind Voraussetzungen dafür, dass die Evaluierung zu einem festen Bestandteil der Organisationskultur und Entscheidungsfindung der Kommission wird. Der Hof räumt allerdings ein, dass diese Strategie angesichts der Bandbreite der von den RP abgedeckten Wissenschaftsbereiche jeder der zuständigen Generaldirektionen ausreichende Flexibilität bieten und keine zu engen Vorgaben machen sollte.

| 40. | Der Hof prüfte, inwieweit die Kommission über eine entsprechende Evaluierungsstrategie für die RP verfügte. |
| --- | --- |

40.

Der Hof prüfte, inwieweit die Kommission über eine entsprechende Evaluierungsstrategie für die RP verfügte.

Fehlen einer umfassenden Evaluierungsstrategie für die RP

| 41. | In Bezug auf die RP veröffentlichte die Kommission ihren Evaluierungsansatz erstmals in den 1980er Jahren (27). Dieser Ansatz wurde im Jahr 1996 aktualisiert, als die Kommission das Europäische Parlament und den Rat über die zu diesem Zeitpunkt ihrer Ansicht nach relevanten Grundprinzipien für Programmcontrolling und Evaluierung informierte und den nach Annahme des RP4 (28) geplanten Ansatz darlegte. Damit war aber noch keine umfassende Evaluierungsstrategie wie vorstehend dargelegt gegeben (siehe Ziffern 38 und 39). Außerdem unterzog die Kommission zwischen 1996 und 2006 ihren Ansatz für die Evaluierung des RP5 und des RP6 keiner eingehenden Überprüfung, obwohl sich Umfang und Ausrichtung der RP geändert hatten (siehe Ziffer 7). Vor allem haben sich die Forschungsgeneraldirektionen nicht auf einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme verständigt, der über die 1999 (für das RP5), 2002 (für das RP6) und 2006 (für das RP7) angenommenen rechtlichen Vorgaben hinausgeht (29). |
| --- | --- |

41.

In Bezug auf die RP veröffentlichte die Kommission ihren Evaluierungsansatz erstmals in den 1980er Jahren (27). Dieser Ansatz wurde im Jahr 1996 aktualisiert, als die Kommission das Europäische Parlament und den Rat über die zu diesem Zeitpunkt ihrer Ansicht nach relevanten Grundprinzipien für Programmcontrolling und Evaluierung informierte und den nach Annahme des RP4 (28) geplanten Ansatz darlegte. Damit war aber noch keine umfassende Evaluierungsstrategie wie vorstehend dargelegt gegeben (siehe Ziffern 38 und 39). Außerdem unterzog die Kommission zwischen 1996 und 2006 ihren Ansatz für die Evaluierung des RP5 und des RP6 keiner eingehenden Überprüfung, obwohl sich Umfang und Ausrichtung der RP geändert hatten (siehe Ziffer 7). Vor allem haben sich die Forschungsgeneraldirektionen nicht auf einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme verständigt, der über die 1999 (für das RP5), 2002 (für das RP6) und 2006 (für das RP7) angenommenen rechtlichen Vorgaben hinausgeht (29).

| 42. | Im laufenden Programmplanungszeitraum stellt das Fehlen eines strategischen Ansatzes für Evaluierungen in diesem Bereich insbesondere im Hinblick auf die gemeinsame Umsetzung des RP7 durch mehrere Generaldirektionen, den Europäischen Forschungsrat und Exekutivagenturen sowie die in der Haushaltsordnung vorgeschriebene Personalmobilität bei sensiblen Aufgaben ein Problem dar. Es steht auch im Gegensatz zur aktuellen Vorgehensweise im Bereich der Außenhilfe (bei der es sich um den zweitgrößten von der Kommission direkt verwalteten Bereich handelt), in dem sich die zuständigen GD seit 2002 auf gemeinsame mehrjährige Evaluierungsstrategien geeinigt haben, die an die Programmplanungszeiträume geknüpft sind (siehe Ziffer 52). |
| --- | --- |

42.

Im laufenden Programmplanungszeitraum stellt das Fehlen eines strategischen Ansatzes für Evaluierungen in diesem Bereich insbesondere im Hinblick auf die gemeinsame Umsetzung des RP7 durch mehrere Generaldirektionen, den Europäischen Forschungsrat und Exekutivagenturen sowie die in der Haushaltsordnung vorgeschriebene Personalmobilität bei sensiblen Aufgaben ein Problem dar. Es steht auch im Gegensatz zur aktuellen Vorgehensweise im Bereich der Außenhilfe (bei der es sich um den zweitgrößten von der Kommission direkt verwalteten Bereich handelt), in dem sich die zuständigen GD seit 2002 auf gemeinsame mehrjährige Evaluierungsstrategien geeinigt haben, die an die Programmplanungszeiträume geknüpft sind (siehe Ziffer 52).

| 43. | Dieses Fehlen einer klar formulierten Evaluierungsstrategie steht auch in deutlichem Gegensatz zur Situation in den USA und in Kanada, wo eine entsprechende Strategie im Rechtsrahmen vorgeschrieben ist (siehe Anhang III). |
| --- | --- |

43.

Dieses Fehlen einer klar formulierten Evaluierungsstrategie steht auch in deutlichem Gegensatz zur Situation in den USA und in Kanada, wo eine entsprechende Strategie im Rechtsrahmen vorgeschrieben ist (siehe Anhang III).

| 44. | Wie nachstehend dargelegt bestehen erhebliche Unterschiede in Bezug auf den Abdeckungsbereich und Intensitätsgrad der Evaluierungen der verschiedenen RP. Andere Schwachpunkte, etwa Koordinierungsprobleme, abweichende methodische Ansätze, Terminierungsprobleme und Mängel in Zusammenhang mit der Mitteilung und Weiterverfolgung von Evaluierungsergebnissen wurden ebenfalls festgestellt. Auf diese Schwachstellen wird an späterer Stelle in diesem Bericht eingegangen. An dieser Sachlage wird das Fehlen einer umfassenden Evaluierungsstrategie für die RP deutlich. |
| --- | --- |

44.

Wie nachstehend dargelegt bestehen erhebliche Unterschiede in Bezug auf den Abdeckungsbereich und Intensitätsgrad der Evaluierungen der verschiedenen RP. Andere Schwachpunkte, etwa Koordinierungsprobleme, abweichende methodische Ansätze, Terminierungsprobleme und Mängel in Zusammenhang mit der Mitteilung und Weiterverfolgung von Evaluierungsergebnissen wurden ebenfalls festgestellt. Auf diese Schwachstellen wird an späterer Stelle in diesem Bericht eingegangen. An dieser Sachlage wird das Fehlen einer umfassenden Evaluierungsstrategie für die RP deutlich.

Unterschiede im Abdeckungsbereich und Intensitätsgrad der Evaluierung der verschiedenen RP

| 45. | Die RP bestehen aus einer Reihe spezifischer Programme (und Teilprogramme), die in Bezug auf Zweck, Beweggründe und Haushaltsmittel (siehe Anhang IV zum RP7) erheblich voneinander abweichen können. Insgesamt gesehen lässt sich aus den konkreten Bestimmungen der verschiedenen Rahmenprogrammbeschlüsse sowie der Haushaltsordnung (30) (in der eine Bewertung aller Programme und Tätigkeiten vorgeschrieben ist, die mit erheblichen Ausgaben verbunden sind) ableiten, dass eine Evaluierung sowohl des RP insgesamt als auch der meisten spezifischen Programme, aus denen es sich zusammensetzt, schon seit dem RP4 rechtlich vorgeschrieben ist. |
| --- | --- |

45.

Die RP bestehen aus einer Reihe spezifischer Programme (und Teilprogramme), die in Bezug auf Zweck, Beweggründe und Haushaltsmittel (siehe Anhang IV zum RP7) erheblich voneinander abweichen können. Insgesamt gesehen lässt sich aus den konkreten Bestimmungen der verschiedenen Rahmenprogrammbeschlüsse sowie der Haushaltsordnung (30) (in der eine Bewertung aller Programme und Tätigkeiten vorgeschrieben ist, die mit erheblichen Ausgaben verbunden sind) ableiten, dass eine Evaluierung sowohl des RP insgesamt als auch der meisten spezifischen Programme, aus denen es sich zusammensetzt, schon seit dem RP4 rechtlich vorgeschrieben ist.

| 46. | Die Kommission hat nicht vorgegeben, zu welchem Zeitpunkt spezifische Rahmenprogramme oder Teilprogramme einer Bewertung zu unterziehen sind, und auch keinen gemeinsamen Schwellenwert festgelegt, ab dem eine Evaluierung erforderlich ist. Infolgedessen kam es zu unterschiedlichen Auslegungen, was zu bewerten ist und wie eingehend die Bewertung sein muss:






  — | Die GD Informationsgesellschaft und Medien stufte das Programm IST als großes eigenständiges Ausgabenprogramm ein und veranlasste im Jahr 2004 — parallel zur Evaluierung des gesamten RP — eine umfassende Fünfjahresbewertung. |
| --- | --- | --- |

46.

Die Kommission hat nicht vorgegeben, zu welchem Zeitpunkt spezifische Rahmenprogramme oder Teilprogramme einer Bewertung zu unterziehen sind, und auch keinen gemeinsamen Schwellenwert festgelegt, ab dem eine Evaluierung erforderlich ist. Infolgedessen kam es zu unterschiedlichen Auslegungen, was zu bewerten ist und wie eingehend die Bewertung sein muss:

—

Die GD Informationsgesellschaft und Medien stufte das Programm IST als großes eigenständiges Ausgabenprogramm ein und veranlasste im Jahr 2004 — parallel zur Evaluierung des gesamten RP — eine umfassende Fünfjahresbewertung.

| — | Die GD Forschung veranlasste — obwohl einige von ihr verwaltete Programmbudgets eine vergleichbare Größenordnung aufwiesen — eine entsprechende Evaluierung auf Ebene der spezifischen Programme nicht systematisch. |
| --- | --- |

—

Die GD Forschung veranlasste — obwohl einige von ihr verwaltete Programmbudgets eine vergleichbare Größenordnung aufwiesen — eine entsprechende Evaluierung auf Ebene der spezifischen Programme nicht systematisch.

| 47. | Infolgedessen wurden im Rahmen der Fünfjahresbewertung aus dem Jahr 2004 erhebliche Teile des RP4 und des RP5 überhaupt nicht evaluiert (und zwar 30 % der gesamten Haushaltsmittel für das RP4 und 50 % für das RP5). Die Kommission hat somit die Evaluierungsvorgaben gemäß Artikel 27 der Haushaltsordnung nicht erfüllt. |
| --- | --- |

47.

Infolgedessen wurden im Rahmen der Fünfjahresbewertung aus dem Jahr 2004 erhebliche Teile des RP4 und des RP5 überhaupt nicht evaluiert (und zwar 30 % der gesamten Haushaltsmittel für das RP4 und 50 % für das RP5). Die Kommission hat somit die Evaluierungsvorgaben gemäß Artikel 27 der Haushaltsordnung nicht erfüllt.

| 48. | Die abweichenden Auslegungen der rechtlichen Mindestanforderungen in Bezug auf Evaluierungen und die daraus resultierenden unzureichenden Evaluierungen der RP in der Vergangenheit verdeutlichen die mangelnde Koordinierung sowie die Auswirkungen des fehlenden strategischen Ansatzes der Kommission für die Evaluierung der RP. |
| --- | --- |

48.

Die abweichenden Auslegungen der rechtlichen Mindestanforderungen in Bezug auf Evaluierungen und die daraus resultierenden unzureichenden Evaluierungen der RP in der Vergangenheit verdeutlichen die mangelnde Koordinierung sowie die Auswirkungen des fehlenden strategischen Ansatzes der Kommission für die Evaluierung der RP.

Empfehlungen

49.

| 49. | Die Forschungsgeneraldirektionen sollten rasch eine gemeinsame Evaluierungsstrategie für die RP entwickeln und annehmen. Diese Strategie sollte einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme umfassen, ohne allzu enge Vorgaben zu machen. Ferner sollte sie Anhaltspunkte bezüglich der Mindestanforderungen für detaillierte Evaluierungen liefern, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsgebiete Rechnung getragen wird. |
| --- | --- |

Die Forschungsgeneraldirektionen sollten rasch eine gemeinsame Evaluierungsstrategie für die RP entwickeln und annehmen. Diese Strategie sollte einen kohärenten Ansatz für die Evaluierung der RP und der zugehörigen Programme umfassen, ohne allzu enge Vorgaben zu machen. Ferner sollte sie Anhaltspunkte bezüglich der Mindestanforderungen für detaillierte Evaluierungen liefern, damit den besonderen Gegebenheiten der einzelnen Wissenschaftsgebiete Rechnung getragen wird.

Organisation der Evaluierungstätigkeit zu den Rahmenprogrammen

| 50. | Der Evaluierung der RP müssen geeignete organisatorische Modalitäten zugrunde liegen, die sich aus den strategischen Anleitungen der Kommission für die Evaluierung der RP ergeben sollten. Der Hof überprüfte, inwieweit der organisatorische Aufbau gewährleistete, dass das Evaluierungssystem gut koordiniert war, ausreichende Mittel dafür bereitgestellt wurden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wurde. |
| --- | --- |

50.

Der Evaluierung der RP müssen geeignete organisatorische Modalitäten zugrunde liegen, die sich aus den strategischen Anleitungen der Kommission für die Evaluierung der RP ergeben sollten. Der Hof überprüfte, inwieweit der organisatorische Aufbau gewährleistete, dass das Evaluierungssystem gut koordiniert war, ausreichende Mittel dafür bereitgestellt wurden und dass es von den Beteiligten als hinreichend unabhängig wahrgenommen wurde.

Kommission

RP werden von mehreren GD gemeinsam durchgeführt, die Zuständigkeit für Evaluierungen ist hingegen dezentral angelegt

| 51. | Innerhalb der Kommission sind für die Evaluierung von Ausgabenprogrammen die einzelnen Generaldirektionen zuständig (siehe Ziffer 8), wofür in den jeweiligen GD Evaluierungsreferate geschaffen wurden, die mit deren Planung, Koordinierung und Durchführung betraut sind. |
| --- | --- |

51.

Innerhalb der Kommission sind für die Evaluierung von Ausgabenprogrammen die einzelnen Generaldirektionen zuständig (siehe Ziffer 8), wofür in den jeweiligen GD Evaluierungsreferate geschaffen wurden, die mit deren Planung, Koordinierung und Durchführung betraut sind.

| 52. | Im Gegensatz zu anderen Politikbereichen gibt es keine eigene Koordinierungsstelle bzw. keine zentrale Stelle für die Evaluierung der RP insgesamt — etwa ein den Forschungsgeneraldirektionen gemeinsames Evaluierungsamt. Im Bereich der Außenhilfe etwa wurde ein gemeinsames Referat für drei Generaldirektionen (Entwicklung, Außenbeziehungen und EuropeAid) geschaffen, dem die Evaluierung der Entwicklungsprogramme der Kommission in Drittländern obliegt (siehe Ziffer 42). |
| --- | --- |

52.

Im Gegensatz zu anderen Politikbereichen gibt es keine eigene Koordinierungsstelle bzw. keine zentrale Stelle für die Evaluierung der RP insgesamt — etwa ein den Forschungsgeneraldirektionen gemeinsames Evaluierungsamt. Im Bereich der Außenhilfe etwa wurde ein gemeinsames Referat für drei Generaldirektionen (Entwicklung, Außenbeziehungen und EuropeAid) geschaffen, dem die Evaluierung der Entwicklungsprogramme der Kommission in Drittländern obliegt (siehe Ziffer 42).

| 53. | Die GD Forschung sorgt über das kommissionsinterne „Netz zur FTE-Evaluierung“ für einen Wissensaustausch zwischen den Evaluierungsreferaten der verschiedenen GD, ist aber nicht befugt, Mindestanforderungen für Evaluierungen festzulegen. Dieses Modell hat sich allerdings als unzulänglich herausgestellt, um eine angemessene Koordinierung der Evaluierung der RP durch die Kommission zu gewährleisten. |
| --- | --- |

53.

Die GD Forschung sorgt über das kommissionsinterne „Netz zur FTE-Evaluierung“ für einen Wissensaustausch zwischen den Evaluierungsreferaten der verschiedenen GD, ist aber nicht befugt, Mindestanforderungen für Evaluierungen festzulegen. Dieses Modell hat sich allerdings als unzulänglich herausgestellt, um eine angemessene Koordinierung der Evaluierung der RP durch die Kommission zu gewährleisten.

| 54. | Die Kommission überarbeitete ihren allgemeinen Evaluierungsansatz in den Jahren 2000 und 2002 sowie erneut im Jahr 2007 (siehe Ziffer 14). Obwohl keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen. |
| --- | --- |

54.

Die Kommission überarbeitete ihren allgemeinen Evaluierungsansatz in den Jahren 2000 und 2002 sowie erneut im Jahr 2007 (siehe Ziffer 14). Obwohl keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen.

Zentrale Dienststellen der Kommission: Festlegung von Regeln, aber keine Durchsetzungsfunktion

| 55. | Die zentralen Dienststellen der Kommission (insbesondere die GD Haushalt und das Generalsekretariat) beraten in Methodikfragen, legen kommissionsweit gemeinsame Regeln fest und überwachen, wie die GD und Dienste die Regeln anwenden (siehe Ziffern 14 und 70). Wie die Evaluierungen in Praxis durchzuführen sind, können sie aber nicht vorschreiben. |
| --- | --- |

55.

Die zentralen Dienststellen der Kommission (insbesondere die GD Haushalt und das Generalsekretariat) beraten in Methodikfragen, legen kommissionsweit gemeinsame Regeln fest und überwachen, wie die GD und Dienste die Regeln anwenden (siehe Ziffern 14 und 70). Wie die Evaluierungen in Praxis durchzuführen sind, können sie aber nicht vorschreiben.

| 56. | Die Erfahrungen in den USA und in Kanada legen nahe, dass Durchsetzungskompetenzen der normgebenden Stellen in diesen Ländern ein entscheidender Faktor für das wirksame Funktionieren des Evaluierungssystems sind. In beiden Ländern sind Bundesstellen für die Festlegung und Durchsetzung der Rahmenregelung zuständig, die letztlich als Beurteilungsmaßstab für den Erfolg eines Programms dient (siehe Anhang III). Bei unterschiedlichem Hintergrund beruhen die Systeme dennoch auf demselben Grundprinzip, dass eine andere als die für die Programmdurchführung zuständige Stelle die Konzeption des Evaluierungssystems eingehend bewerten und seine Wirksamkeit untersuchen sollte. Diese Vorgehensweise lässt sich auch in einigen Mitgliedstaaten (etwa Frankreich (31), Spanien (32) und Deutschland (33)) beobachten, wo externe Stellen entweder die von Finanzierungsagenturen vorgenommenen Evaluierungen überwachen oder die Evaluierungen sogar selbst durchführen. |
| --- | --- |

56.

Die Erfahrungen in den USA und in Kanada legen nahe, dass Durchsetzungskompetenzen der normgebenden Stellen in diesen Ländern ein entscheidender Faktor für das wirksame Funktionieren des Evaluierungssystems sind. In beiden Ländern sind Bundesstellen für die Festlegung und Durchsetzung der Rahmenregelung zuständig, die letztlich als Beurteilungsmaßstab für den Erfolg eines Programms dient (siehe Anhang III). Bei unterschiedlichem Hintergrund beruhen die Systeme dennoch auf demselben Grundprinzip, dass eine andere als die für die Programmdurchführung zuständige Stelle die Konzeption des Evaluierungssystems eingehend bewerten und seine Wirksamkeit untersuchen sollte. Diese Vorgehensweise lässt sich auch in einigen Mitgliedstaaten (etwa Frankreich (31), Spanien (32) und Deutschland (33)) beobachten, wo externe Stellen entweder die von Finanzierungsagenturen vorgenommenen Evaluierungen überwachen oder die Evaluierungen sogar selbst durchführen.

Gremien

Externe Sachverständigengremien: in den RP-Rechtsvorschriften seit dem RP4 vorgeschrieben

| 57. | Seit dem RP4 muss jede umfassende Evaluierung (sowie das jährliche Controlling der Programmdurchführung) der RP von (oder mit Unterstützung von) externen Sachverständigengremien vorgenommen werden (siehe Anhang II). Auch wenn es schwierig ist, geeignete Sachverständige zu finden, können diese Gremien potenziell für Transparenz sorgen, ein gewisses Maß an Unabhängigkeit bieten, die Einbeziehung der maßgeblichen Akteure erleichtern und die aus den RP, der Evaluierung und den zugrunde liegenden wissenschaftlichen Aspekten gewonnenen Erkenntnisse zur Geltung bringen. |
| --- | --- |

57.

Seit dem RP4 muss jede umfassende Evaluierung (sowie das jährliche Controlling der Programmdurchführung) der RP von (oder mit Unterstützung von) externen Sachverständigengremien vorgenommen werden (siehe Anhang II). Auch wenn es schwierig ist, geeignete Sachverständige zu finden, können diese Gremien potenziell für Transparenz sorgen, ein gewisses Maß an Unabhängigkeit bieten, die Einbeziehung der maßgeblichen Akteure erleichtern und die aus den RP, der Evaluierung und den zugrunde liegenden wissenschaftlichen Aspekten gewonnenen Erkenntnisse zur Geltung bringen.

| 58. | Dies wurde auch durch die Umfrage des Hofes bestätigt, der zu entnehmen ist, dass die Befragten das gremienbasierte Evaluierungssystem der Kommission als Garant für Unabhängigkeit sehen (siehe Abbildung 4). |
| --- | --- |

58.

Dies wurde auch durch die Umfrage des Hofes bestätigt, der zu entnehmen ist, dass die Befragten das gremienbasierte Evaluierungssystem der Kommission als Garant für Unabhängigkeit sehen (siehe Abbildung 4).

Image

Schwachpunkte des Gremienkonzepts in der von der Kommission angewandten Form

| 59. | Trotz dieser positiven Wahrnehmung wiesen Gremienmitglieder und Beteiligte die Prüfer des Hofes im Verlauf der Prüfung auf folgende Schwachstellen hin, die sich aus der Art und Weise, wie die Kommission die Gremien für die Evaluierung der RP einsetzt, ergeben:






  — | Evaluierungsgremien werden gewöhnlich knapp ein Jahr vor Fälligkeitstermin ihres Berichts eingesetzt und treten lediglich zu einigen wenigen Sitzungen zusammen. Dadurch ist es für die Mitglieder der Gremien schwierig, auf die Festlegung der für ihre Arbeit erforderlichen Daten und Analysen Einfluss zu nehmen. Da die Gremien zudem auf Ad-hoc-Basis und auf Zeit bestellt werden, lassen sich Kenntnisse über die Programme schwer zusammentragen, und relevante Fragen können nicht im Zeitverlauf weiterverfolgt werden. Dies ist insbesondere dann ein Schwachpunkt, wenn — wie beim RP7 — während der Programmlaufzeit mehrere wichtige Evaluierungsrunden vorgesehen sind (siehe Anhang II). Diese Vorgehensweise steht auch im Gegensatz zur Praxis der Kommission, für die RP beratende Expertengruppen einzusetzen, bei denen es sich um ständige Einrichtungen handelt (34). Auch in Kanada (35) sind die Evaluierungsgremien — zwecks Sicherstellung eines einheitlichen und kohärenten Ansatzes — Dauereinrichtungen (siehe Anhang III). |
| --- | --- | --- |

59.

Trotz dieser positiven Wahrnehmung wiesen Gremienmitglieder und Beteiligte die Prüfer des Hofes im Verlauf der Prüfung auf folgende Schwachstellen hin, die sich aus der Art und Weise, wie die Kommission die Gremien für die Evaluierung der RP einsetzt, ergeben:

—

Evaluierungsgremien werden gewöhnlich knapp ein Jahr vor Fälligkeitstermin ihres Berichts eingesetzt und treten lediglich zu einigen wenigen Sitzungen zusammen. Dadurch ist es für die Mitglieder der Gremien schwierig, auf die Festlegung der für ihre Arbeit erforderlichen Daten und Analysen Einfluss zu nehmen. Da die Gremien zudem auf Ad-hoc-Basis und auf Zeit bestellt werden, lassen sich Kenntnisse über die Programme schwer zusammentragen, und relevante Fragen können nicht im Zeitverlauf weiterverfolgt werden. Dies ist insbesondere dann ein Schwachpunkt, wenn — wie beim RP7 — während der Programmlaufzeit mehrere wichtige Evaluierungsrunden vorgesehen sind (siehe Anhang II). Diese Vorgehensweise steht auch im Gegensatz zur Praxis der Kommission, für die RP beratende Expertengruppen einzusetzen, bei denen es sich um ständige Einrichtungen handelt (34). Auch in Kanada (35) sind die Evaluierungsgremien — zwecks Sicherstellung eines einheitlichen und kohärenten Ansatzes — Dauereinrichtungen (siehe Anhang III).

| — | Bei Festlegung des Auftrags der Gremien und Formulierung der Evaluierungsfragen tauscht sich die Kommission nicht mit externen RP-Teilnehmern (etwa der Industrie und großen Forschungseinrichtungen) aus. Das mit dem Controlling der Programmdurchführung für das Jahr 2004 beauftragte Gremium stellte dieses Problem ebenfalls fest und merkte an, dass potenzielle Nutzer frühzeitig in den Prozess einbezogen werden sollten (36). |
| --- | --- |

—

Bei Festlegung des Auftrags der Gremien und Formulierung der Evaluierungsfragen tauscht sich die Kommission nicht mit externen RP-Teilnehmern (etwa der Industrie und großen Forschungseinrichtungen) aus. Das mit dem Controlling der Programmdurchführung für das Jahr 2004 beauftragte Gremium stellte dieses Problem ebenfalls fest und merkte an, dass potenzielle Nutzer frühzeitig in den Prozess einbezogen werden sollten (36).

| — | Die Arbeitsweise der Gremien unterscheidet sich von einem „Peer Review“-Verfahren. Die Mitglieder der Gremien nehmen aufgrund der knappen Zeitvorgaben keine eigenen Evaluierungen vor, sondern stützen sich bei ihrer Begutachtung gewöhnlich auf Daten und Nachweise, die ihnen aus anderen Quellen bereitgestellt werden. Diese Zeitknappheit führte auch dazu, dass die Gremien zur Beantwortung der in ihrem Auftrag vorgegebenen Fragestellungen nur bedingt zusätzlich benötigte Studien in Auftrag geben konnten. In der Praxis konnten sich die für die Fünfjahresbewertungen zuständigen Gremien — mit wenigen Ausnahmen — lediglich auf von der Kommission bereitgestellte Angaben stützen. |
| --- | --- |

—

Die Arbeitsweise der Gremien unterscheidet sich von einem „Peer Review“-Verfahren. Die Mitglieder der Gremien nehmen aufgrund der knappen Zeitvorgaben keine eigenen Evaluierungen vor, sondern stützen sich bei ihrer Begutachtung gewöhnlich auf Daten und Nachweise, die ihnen aus anderen Quellen bereitgestellt werden. Diese Zeitknappheit führte auch dazu, dass die Gremien zur Beantwortung der in ihrem Auftrag vorgegebenen Fragestellungen nur bedingt zusätzlich benötigte Studien in Auftrag geben konnten. In der Praxis konnten sich die für die Fünfjahresbewertungen zuständigen Gremien — mit wenigen Ausnahmen — lediglich auf von der Kommission bereitgestellte Angaben stützen.

Ressourcen

Für die Evaluierung der Rahmenprogramme sind keine spezifischen Ressourcen veranschlagt

| 60. | Die Finanzierung von Evaluierungen erfolgt auf jährlicher Basis nach Maßgabe des von den für die Durchführung der RP zuständigen Generaldirektionen veranschlagten Bedarfs. Derzeit wird sie aus einer Kombination von kommissionsweit verwendbaren Mitteln aus dem Budget der GD Haushalt und Mitteln aus dem Verwaltungshaushalt der betreffenden Generaldirektionen bestritten. Darüber hinaus werden spezifische Maßnahmen als indirekte Aktionen aus den operationellen RP-Mitteln finanziert. Folglich gibt es keinen eigens für Evaluierungen veranschlagten Betrag. |
| --- | --- |

60.

Die Finanzierung von Evaluierungen erfolgt auf jährlicher Basis nach Maßgabe des von den für die Durchführung der RP zuständigen Generaldirektionen veranschlagten Bedarfs. Derzeit wird sie aus einer Kombination von kommissionsweit verwendbaren Mitteln aus dem Budget der GD Haushalt und Mitteln aus dem Verwaltungshaushalt der betreffenden Generaldirektionen bestritten. Darüber hinaus werden spezifische Maßnahmen als indirekte Aktionen aus den operationellen RP-Mitteln finanziert. Folglich gibt es keinen eigens für Evaluierungen veranschlagten Betrag.

| 61. | Das kommissionsweit im Bereich der Evaluierung und des tätigkeitsbezogenen Managements tätige Personal wurde im Jahr 2006 auf durchschnittlich rund 1 % des Gesamtpersonals geschätzt (37). Die entsprechenden Anteile an Tätigkeiten im Zusammenhang mit dem Controlling der Durchführung und der Evaluierung der FTE-Rahmenprogramme lagen bei der GD Forschung bzw. bei der GD Informationsgesellschaft und Medien bei 1,2 % bzw. bei 1,3 %. Im Falle der GD Forschung waren über zwei Drittel dieser Mitarbeiter allerdings den für die operative Programmverwaltung zuständigen Abteilungen und nicht dem Evaluierungsreferat zugeteilt, und die Evaluierung stellte lediglich eine ihrer zahlreichen Aufgaben dar. |
| --- | --- |

61.

Das kommissionsweit im Bereich der Evaluierung und des tätigkeitsbezogenen Managements tätige Personal wurde im Jahr 2006 auf durchschnittlich rund 1 % des Gesamtpersonals geschätzt (37). Die entsprechenden Anteile an Tätigkeiten im Zusammenhang mit dem Controlling der Durchführung und der Evaluierung der FTE-Rahmenprogramme lagen bei der GD Forschung bzw. bei der GD Informationsgesellschaft und Medien bei 1,2 % bzw. bei 1,3 %. Im Falle der GD Forschung waren über zwei Drittel dieser Mitarbeiter allerdings den für die operative Programmverwaltung zuständigen Abteilungen und nicht dem Evaluierungsreferat zugeteilt, und die Evaluierung stellte lediglich eine ihrer zahlreichen Aufgaben dar.

Für die Finanzierung der RP-Evaluierung wurden weniger Mittel bereitgestellt als von der Kommission empfohlen

| 62. | Die für die Bewertung bereitgestellten Mittel lassen sich auch in Prozent der für das Programm insgesamt veranschlagten Haushaltsmittel ausdrücken. Aus den im Zuge der Prüfung gesammelten Zahlen geht hervor, dass bei Forschungsprogrammen in den Mitgliedstaaten ein Prozentanteil von 0,1 % bis 2 % üblich ist. Gemäß den Leitlinien der Kommission sollten für Bewertungszwecke 0,5 % eines Programmbudgets vorgesehen werden (38). Bei umfangreicheren Programmen könnten durch größenbedingte Einsparungen aber geringere Prozentanteile ausreichend sein. |
| --- | --- |

62.

Die für die Bewertung bereitgestellten Mittel lassen sich auch in Prozent der für das Programm insgesamt veranschlagten Haushaltsmittel ausdrücken. Aus den im Zuge der Prüfung gesammelten Zahlen geht hervor, dass bei Forschungsprogrammen in den Mitgliedstaaten ein Prozentanteil von 0,1 % bis 2 % üblich ist. Gemäß den Leitlinien der Kommission sollten für Bewertungszwecke 0,5 % eines Programmbudgets vorgesehen werden (38). Bei umfangreicheren Programmen könnten durch größenbedingte Einsparungen aber geringere Prozentanteile ausreichend sein.

| 63. | Vergleicht man die Zahlen der Kommission für Bewertungsausgaben im Zeitraum 2003-2006 mit den Haushaltsmitteln der einzelnen Generaldirektionen, ergibt sich ein Gesamtdurchschnitt von rund 0,15 %, was deutlich unter dem von der Kommission empfohlenen Prozentsatz liegt. Eine genauere Analyse für das Jahr 2006 macht deutlich, dass — bezogen auf die jeweils verwalteten Mittel — die GD Informationsgesellschaft und Medien für Bewertungen etwa viermal so viel aufgewendet hat wie die GD Forschung. Darüber hinaus beträgt bei der GD Forschung der Personaleinsatz für Bewertungszwecke lediglich 0,7 % eines Vollzeitmitarbeiters pro Million Euro ihres Jahresbudgets. Zum Vergleich: Bei der DG Informationsgesellschaft und Medien ist dieser Prozentsatz doppelt so hoch. |
| --- | --- |

63.

Vergleicht man die Zahlen der Kommission für Bewertungsausgaben im Zeitraum 2003-2006 mit den Haushaltsmitteln der einzelnen Generaldirektionen, ergibt sich ein Gesamtdurchschnitt von rund 0,15 %, was deutlich unter dem von der Kommission empfohlenen Prozentsatz liegt. Eine genauere Analyse für das Jahr 2006 macht deutlich, dass — bezogen auf die jeweils verwalteten Mittel — die GD Informationsgesellschaft und Medien für Bewertungen etwa viermal so viel aufgewendet hat wie die GD Forschung. Darüber hinaus beträgt bei der GD Forschung der Personaleinsatz für Bewertungszwecke lediglich 0,7 % eines Vollzeitmitarbeiters pro Million Euro ihres Jahresbudgets. Zum Vergleich: Bei der DG Informationsgesellschaft und Medien ist dieser Prozentsatz doppelt so hoch.

| 64. | Wie in diesem Bericht veranschaulicht, führte dieser zusätzliche Aufwand der GD Informationsgesellschaft und Medien zum einen zu einer umfassenderen Evaluierung (siehe Ziffern 13 und 46) und zum anderen, wie aus der vom Hof geprüften Stichprobe von Evaluierungsstudien hervorgeht, zur Verwendung von Methoden, die den Evaluierungserfordernissen besser gerecht werden (siehe Ziffer 84). |
| --- | --- |

64.

Wie in diesem Bericht veranschaulicht, führte dieser zusätzliche Aufwand der GD Informationsgesellschaft und Medien zum einen zu einer umfassenderen Evaluierung (siehe Ziffern 13 und 46) und zum anderen, wie aus der vom Hof geprüften Stichprobe von Evaluierungsstudien hervorgeht, zur Verwendung von Methoden, die den Evaluierungserfordernissen besser gerecht werden (siehe Ziffer 84).

| 65. | Eine vom Hof auf der Grundlage der von der Kommission bereitgestellten Angaben vorgenommene Kostenschätzung ergab, dass auf ein Evaluierungssystem, wie es im vorliegenden Bericht vorgeschlagen wird, im Durchschnitt weniger als 0,4 % der für das RP7 veranschlagten Haushaltsmittel entfallen würden. Damit wären die Kosten für Gremien, für in Unterauftrag vergebene Studien, Personalkosten für das gemeinsame Evaluierungsamt sowie für die derzeitigen GD-spezifischen Evaluierungsreferate und sonstige Kosten gedeckt (39). |
| --- | --- |

65.

Eine vom Hof auf der Grundlage der von der Kommission bereitgestellten Angaben vorgenommene Kostenschätzung ergab, dass auf ein Evaluierungssystem, wie es im vorliegenden Bericht vorgeschlagen wird, im Durchschnitt weniger als 0,4 % der für das RP7 veranschlagten Haushaltsmittel entfallen würden. Damit wären die Kosten für Gremien, für in Unterauftrag vergebene Studien, Personalkosten für das gemeinsame Evaluierungsamt sowie für die derzeitigen GD-spezifischen Evaluierungsreferate und sonstige Kosten gedeckt (39).

Empfehlungen

66.

| 66. | Die Forschungsgeneraldirektionen sollten die Einrichtung eines gemeinsamen Evaluierungsamts — zusätzlich zu den in den einzelnen GD vorhandenen Evaluierungsreferaten — in Erwägung ziehen. Wie dies in anderen Politikbereichen der gängigen Praxis entspricht, könnte dieses Amt die Koordinierung der Evaluierungstätigkeiten der Kommission für das gesamte RP übernehmen. Entsprechende gemeinsame Unterstützungsfunktionen wurden in der Vergangenheit für die mit der Durchführung der RP befassten GD empfohlen (40). Sie dürften in Zukunft durch die Schaffung des Europäischen Forschungsrats und die Übertragung der Programmdurchführung auf Exekutivagenturen noch an Bedeutung gewinnen. |
| --- | --- |

Die Forschungsgeneraldirektionen sollten die Einrichtung eines gemeinsamen Evaluierungsamts — zusätzlich zu den in den einzelnen GD vorhandenen Evaluierungsreferaten — in Erwägung ziehen. Wie dies in anderen Politikbereichen der gängigen Praxis entspricht, könnte dieses Amt die Koordinierung der Evaluierungstätigkeiten der Kommission für das gesamte RP übernehmen. Entsprechende gemeinsame Unterstützungsfunktionen wurden in der Vergangenheit für die mit der Durchführung der RP befassten GD empfohlen (40). Sie dürften in Zukunft durch die Schaffung des Europäischen Forschungsrats und die Übertragung der Programmdurchführung auf Exekutivagenturen noch an Bedeutung gewinnen.

| 67. | Die Kommission sollte sich bei ihren Evaluierungstätigkeiten weiterhin die Unterstützung durch Evaluierungsgremien sichern, wobei allerdings zu überlegen wäre, wie sich die Gremienstruktur auf die gesamte RP-Struktur abstimmen ließe. Eine Möglichkeit bestünde darin, Gremien für spezifische Programme und ggf. Teilprogramme einzusetzen (siehe Anhang IV). Diese Gremien müssten außerdem frühzeitig genug eingesetzt werden, damit sie die Kommission wirksam unterstützen können, und zwar während der gesamten Programmlaufzeit und darüber hinaus. |
| --- | --- |

67.

Die Kommission sollte sich bei ihren Evaluierungstätigkeiten weiterhin die Unterstützung durch Evaluierungsgremien sichern, wobei allerdings zu überlegen wäre, wie sich die Gremienstruktur auf die gesamte RP-Struktur abstimmen ließe. Eine Möglichkeit bestünde darin, Gremien für spezifische Programme und ggf. Teilprogramme einzusetzen (siehe Anhang IV). Diese Gremien müssten außerdem frühzeitig genug eingesetzt werden, damit sie die Kommission wirksam unterstützen können, und zwar während der gesamten Programmlaufzeit und darüber hinaus.

| 68. | Die Kommission sollte den Ressourceneinsatz für Evaluierungen der RP und der zugehörigen Programme überdenken. |
| --- | --- |

68.

Die Kommission sollte den Ressourceneinsatz für Evaluierungen der RP und der zugehörigen Programme überdenken.

Evaluierungsmethoden und -techniken

| 69. | Eine wirksame Evaluierung setzt die Anwendung geeigneter Methoden und Techniken voraus. Der Hof prüfte, inwieweit für die Evaluierung der RP eigene Leitlinien vorhanden waren, ob der Informationsbedarf rechtzeitig und genau analysiert wurde und ob den Evaluatoren relevante Informationen zur Verfügung gestellt wurden. In Bezug auf die von der Kommission (oder in ihrem Auftrag) durchgeführten Evaluierungsstudien überprüfte der Hof, ob die für die einzelnen Studien verwendeten Techniken eine ausreichende Grundlage für die Beantwortung der für die Fünfjahresbewertungen vorgegebenen Fragen lieferten. Dabei wurde ebenfalls beleuchtet, welchen Beitrag auf einzelstaatlicher Ebene vorgenommene Evaluierungen zur Bewertung der RP leisten könnten. |
| --- | --- |

69.

Eine wirksame Evaluierung setzt die Anwendung geeigneter Methoden und Techniken voraus. Der Hof prüfte, inwieweit für die Evaluierung der RP eigene Leitlinien vorhanden waren, ob der Informationsbedarf rechtzeitig und genau analysiert wurde und ob den Evaluatoren relevante Informationen zur Verfügung gestellt wurden. In Bezug auf die von der Kommission (oder in ihrem Auftrag) durchgeführten Evaluierungsstudien überprüfte der Hof, ob die für die einzelnen Studien verwendeten Techniken eine ausreichende Grundlage für die Beantwortung der für die Fünfjahresbewertungen vorgegebenen Fragen lieferten. Dabei wurde ebenfalls beleuchtet, welchen Beitrag auf einzelstaatlicher Ebene vorgenommene Evaluierungen zur Bewertung der RP leisten könnten.

Festsetzung RP-spezifischer Normen und Leitlinien

| 70. | Die GD Haushalt hat mehrere Mitteilungen herausgegeben, in denen sie ihre Evaluierungspolitik darlegt und Regeln für deren Umsetzung vorgibt. Außerdem hat sie einige kommissionsweit geltende Normen festgelegt (siehe Ziffern 14 und 55) (41). In anderen Politikbereichen haben die zuständigen Generaldirektionen zusätzlich eigene Evaluierungsleitfäden ausgearbeitet (42). |
| --- | --- |

70.

Die GD Haushalt hat mehrere Mitteilungen herausgegeben, in denen sie ihre Evaluierungspolitik darlegt und Regeln für deren Umsetzung vorgibt. Außerdem hat sie einige kommissionsweit geltende Normen festgelegt (siehe Ziffern 14 und 55) (41). In anderen Politikbereichen haben die zuständigen Generaldirektionen zusätzlich eigene Evaluierungsleitfäden ausgearbeitet (42).

| 71. | Für die Rahmenprogramme gilt dies allerdings nicht. Die Kommission veröffentlichte (oder finanzierte) eine Reihe methodischer Leitfäden und Instrumente („Toolboxes“) für Evaluierungstätigkeiten im Bereich der Forschung (43). Darin finden sich jedoch weder konkrete Anleitungen für die Vorgehensweise bei der Durchführung von Evaluierungen der Rahmenprogramme noch Schlüsselbegriffe oder -termini, die von den Kommissionsbediensteten oder externen Sachverständigen zu verwenden sind. Dies hat u. a. zur nachstehend dargelegten Problematik beigetragen. |
| --- | --- |

71.

Für die Rahmenprogramme gilt dies allerdings nicht. Die Kommission veröffentlichte (oder finanzierte) eine Reihe methodischer Leitfäden und Instrumente („Toolboxes“) für Evaluierungstätigkeiten im Bereich der Forschung (43). Darin finden sich jedoch weder konkrete Anleitungen für die Vorgehensweise bei der Durchführung von Evaluierungen der Rahmenprogramme noch Schlüsselbegriffe oder -termini, die von den Kommissionsbediensteten oder externen Sachverständigen zu verwenden sind. Dies hat u. a. zur nachstehend dargelegten Problematik beigetragen.

Datenbedarf und Datensammlung

Unzulängliche Analyse des Informationsbedarfs

| 72. | Die Forschungsgeneraldirektionen befassten sich nicht eingehend genug damit, welche Daten für Evaluierungs- und Programmcontrollingzwecke benötigt werden. Die Kommission hat den Datenbedarf nicht systematisch und umfassend analysiert, sondern zu einem späten Zeitpunkt in der Programmlaufzeit und ohne angemessene Berücksichtigung des generellen evaluierungsspezifischen Bedarfs festgelegt. Der sozioökonomische Fragebogen zum RP6 blieb der einzige gemeinsame Versuch der Generaldirektionen, sich auf entsprechende Daten zu verständigen (siehe Ziffer 76). Dieser im Jahr 2004 (also drei Jahre nach Beginn der Programmlaufzeit) festgelegte Fragebogen bezieht sich allerdings in erster Linie auf Aspekte wie die Geschlechterverteilung unter den Teilnehmern sowie Umweltauswirkungen und nicht auf wissenschaftliche Outputs (wie Fragen des geistigen Eigentums, Veröffentlichungen usw.), Wirkungen oder Auswirkungen. |
| --- | --- |

72.

Die Forschungsgeneraldirektionen befassten sich nicht eingehend genug damit, welche Daten für Evaluierungs- und Programmcontrollingzwecke benötigt werden. Die Kommission hat den Datenbedarf nicht systematisch und umfassend analysiert, sondern zu einem späten Zeitpunkt in der Programmlaufzeit und ohne angemessene Berücksichtigung des generellen evaluierungsspezifischen Bedarfs festgelegt. Der sozioökonomische Fragebogen zum RP6 blieb der einzige gemeinsame Versuch der Generaldirektionen, sich auf entsprechende Daten zu verständigen (siehe Ziffer 76). Dieser im Jahr 2004 (also drei Jahre nach Beginn der Programmlaufzeit) festgelegte Fragebogen bezieht sich allerdings in erster Linie auf Aspekte wie die Geschlechterverteilung unter den Teilnehmern sowie Umweltauswirkungen und nicht auf wissenschaftliche Outputs (wie Fragen des geistigen Eigentums, Veröffentlichungen usw.), Wirkungen oder Auswirkungen.

| 73. | Die Programmevaluierung hängt in hohem Maße von der Verfügbarkeit dreier Datenarten ab:






  — | anhand von Wirksamkeitsindikatoren erhobener Daten, deren Analyse Erkenntnisse über den Stand der Umsetzung der Programmziele liefert. Wegen des vorstehend erwähnten Fehlens einer Interventionslogik erwies es sich als schwierig, entsprechende Indikatoren festzulegen (siehe Ziffer 30). In der Praxis waren die erhobenen Daten für die Messung der Verwirklichung der Programmziele kaum relevant; |
| --- | --- | --- |

73.

Die Programmevaluierung hängt in hohem Maße von der Verfügbarkeit dreier Datenarten ab:

—

anhand von Wirksamkeitsindikatoren erhobener Daten, deren Analyse Erkenntnisse über den Stand der Umsetzung der Programmziele liefert. Wegen des vorstehend erwähnten Fehlens einer Interventionslogik erwies es sich als schwierig, entsprechende Indikatoren festzulegen (siehe Ziffer 30). In der Praxis waren die erhobenen Daten für die Messung der Verwirklichung der Programmziele kaum relevant;

| — | Daten über die Programmverwaltung (anhand von Effizienzindikatoren); |
| --- | --- |

—

Daten über die Programmverwaltung (anhand von Effizienzindikatoren);

| — | Daten über die Teilnehmer (etwa die Beteilungsquote großer Forschungseinrichtungen). |
| --- | --- |

—

Daten über die Teilnehmer (etwa die Beteilungsquote großer Forschungseinrichtungen).

| 74. | Insbesondere die beiden letztgenannten Datenarten sollten bei der Kommission verfügbar sein. Bedingt durch Probleme im Zusammenhang mit den internen IT-Systemen der Kommission, aus denen die meisten Angaben über Programmverwaltung und Teilnehmer stammen (44), war dies in der Praxis äußerst schwierig (45). |
| --- | --- |

74.

Insbesondere die beiden letztgenannten Datenarten sollten bei der Kommission verfügbar sein. Bedingt durch Probleme im Zusammenhang mit den internen IT-Systemen der Kommission, aus denen die meisten Angaben über Programmverwaltung und Teilnehmer stammen (44), war dies in der Praxis äußerst schwierig (45).

| 75. | Dies wird an den erheblichen Verzögerungen bei der Bereitstellung der Berichte nach Artikel 173 und der jährlichen Kontrollberichte deutlich (Fristüberschreitungen um bis zu 16 Monate bei den Berichten nach Artikel 173 (46) und um bis zu 7 Monate bei den jährlichen Kontrollberichten im Zeitraum 2002-2005). Da diese Informationen stets verspätet bereitgestellt wurden, waren sie von geringem Nutzen. |
| --- | --- |

75.

Dies wird an den erheblichen Verzögerungen bei der Bereitstellung der Berichte nach Artikel 173 und der jährlichen Kontrollberichte deutlich (Fristüberschreitungen um bis zu 16 Monate bei den Berichten nach Artikel 173 (46) und um bis zu 7 Monate bei den jährlichen Kontrollberichten im Zeitraum 2002-2005). Da diese Informationen stets verspätet bereitgestellt wurden, waren sie von geringem Nutzen.

Unwirksamer Ansatz für die Erhebung evaluierungsrelevanter Daten bei den Teilnehmern

| 76. | Wie nachstehend dargelegt verpflichtet die Kommission die Teilnehmer seit dem RP5 systematisch vertraglich zur Bereitstellung der für die Messung der Verwirklichung der Programmziele nach Outputs, Wirkungen und Auswirkungen benötigten Daten.






  — | Beim RP5 mussten die Teilnehmer nach Abschluss des Projekts zusammen mit einem Endbericht einen „Technologieumsetzungsplan“ vorlegen. Diese Unterlagen waren vielfach von mangelhafter Qualität oder wurden überhaupt nicht vorgelegt. |
| --- | --- | --- |

76.

Wie nachstehend dargelegt verpflichtet die Kommission die Teilnehmer seit dem RP5 systematisch vertraglich zur Bereitstellung der für die Messung der Verwirklichung der Programmziele nach Outputs, Wirkungen und Auswirkungen benötigten Daten.

—

Beim RP5 mussten die Teilnehmer nach Abschluss des Projekts zusammen mit einem Endbericht einen „Technologieumsetzungsplan“ vorlegen. Diese Unterlagen waren vielfach von mangelhafter Qualität oder wurden überhaupt nicht vorgelegt.

| — | Beim RP6 war von den Teilnehmern ein „Plan zur Nutzung und Verbreitung der Kenntnisse“ vorzulegen; darüber hinaus musste parallel zur Vorlage der jährlichen technischen Berichte ein standardisierter Fragebogen zu sozioökonomischen Aspekten beantwortet werden. |
| --- | --- |

—

Beim RP6 war von den Teilnehmern ein „Plan zur Nutzung und Verbreitung der Kenntnisse“ vorzulegen; darüber hinaus musste parallel zur Vorlage der jährlichen technischen Berichte ein standardisierter Fragebogen zu sozioökonomischen Aspekten beantwortet werden.

| 77. | Durch die vertragliche Verpflichtung zur Vorlage von Daten wurde den Teilnehmern ein unnötiger Verwaltungsaufwand aufgebürdet. Dies lässt sich am Beispiel des jährlichen Fragebogens zum RP6 veranschaulichen: Die Daten werden viel öfter erhoben als erforderlich und überdies zur gesamten Projektpopulation, obwohl eine repräsentative Stichprobe ausreichend wäre. Dies dürfte zu „Evaluationsmüdigkeit“ führen. Diese Daten wurden darüber hinaus zum falschen Zeitpunkt erhoben. Zahlreiche grundlegende Fragen, zu denen Daten erhoben werden, sind mittel- oder längerfristiger Natur, sodass die Datenerhebung während der Vertragslaufzeit des Projekts naturgemäß verfrüht ist (47). Aus diesem Grund wurden die über diese Erhebungen bereitgestellten Informationen für Evaluierungen im Rahmen des RP5 und des RP6 in der Praxis kaum genutzt. |
| --- | --- |

77.

Durch die vertragliche Verpflichtung zur Vorlage von Daten wurde den Teilnehmern ein unnötiger Verwaltungsaufwand aufgebürdet. Dies lässt sich am Beispiel des jährlichen Fragebogens zum RP6 veranschaulichen: Die Daten werden viel öfter erhoben als erforderlich und überdies zur gesamten Projektpopulation, obwohl eine repräsentative Stichprobe ausreichend wäre. Dies dürfte zu „Evaluationsmüdigkeit“ führen. Diese Daten wurden darüber hinaus zum falschen Zeitpunkt erhoben. Zahlreiche grundlegende Fragen, zu denen Daten erhoben werden, sind mittel- oder längerfristiger Natur, sodass die Datenerhebung während der Vertragslaufzeit des Projekts naturgemäß verfrüht ist (47). Aus diesem Grund wurden die über diese Erhebungen bereitgestellten Informationen für Evaluierungen im Rahmen des RP5 und des RP6 in der Praxis kaum genutzt.

| 78. | Keines der bestehenden Systeme sieht jedoch die Erhebung von Informationen am (oder kurz nach dem) Ende der Laufzeit eines Projekts nach einheitlichen Kriterien vor. Vom Hof befragte Beteiligte schlugen vor, dass entsprechende Informationen sich eventuell auch auf die Verwirklichung der Projektziele, angestrebte (und unplanmäßige) Ergebnisse sowie das von den Teilnehmern als Bereicherung wahrgenommene Agieren im Rahmen von Gemeinschaftsprogrammen erstrecken könnten. Diese Angaben könnten auch als Grundlage für externe Begutachtungen abgeschlossener Projekte dienen (48). |
| --- | --- |

78.

Keines der bestehenden Systeme sieht jedoch die Erhebung von Informationen am (oder kurz nach dem) Ende der Laufzeit eines Projekts nach einheitlichen Kriterien vor. Vom Hof befragte Beteiligte schlugen vor, dass entsprechende Informationen sich eventuell auch auf die Verwirklichung der Projektziele, angestrebte (und unplanmäßige) Ergebnisse sowie das von den Teilnehmern als Bereicherung wahrgenommene Agieren im Rahmen von Gemeinschaftsprogrammen erstrecken könnten. Diese Angaben könnten auch als Grundlage für externe Begutachtungen abgeschlossener Projekte dienen (48).

| 79. | In Verbindung mit der verstärkten Verwendung szientometrischer Konzepte (etwa Zitatanalysen) zur Evaluierung von Projektergebnissen (siehe Ziffer 83) könnte dies der Kommission als Basis für die Umstellung auf ein stärker ergebnisorientiertes Finanzierungssystem für von der Gemeinschaft kofinanzierte FTE-Tätigkeiten dienen (49). |
| --- | --- |

79.

In Verbindung mit der verstärkten Verwendung szientometrischer Konzepte (etwa Zitatanalysen) zur Evaluierung von Projektergebnissen (siehe Ziffer 83) könnte dies der Kommission als Basis für die Umstellung auf ein stärker ergebnisorientiertes Finanzierungssystem für von der Gemeinschaft kofinanzierte FTE-Tätigkeiten dienen (49).

Andere Datenquellen werden nicht ausreichend ausgeschöpft

| 80. | Andere bei der Kommission und in den Mitgliedstaaten vorhandene Datenquellen werden nicht ausreichend genutzt (z. B. Datenbanken zu nationalen FTE-Programmen und Finanzierungsagenturen sowie der vom Amt für Veröffentlichungen der Kommission betriebene „Informationsdienst der Gemeinschaft für Forschung und Entwicklung“ (CORDIS) (50)). |
| --- | --- |

80.

Andere bei der Kommission und in den Mitgliedstaaten vorhandene Datenquellen werden nicht ausreichend genutzt (z. B. Datenbanken zu nationalen FTE-Programmen und Finanzierungsagenturen sowie der vom Amt für Veröffentlichungen der Kommission betriebene „Informationsdienst der Gemeinschaft für Forschung und Entwicklung“ (CORDIS) (50)).

Evaluierungsstudien der Kommission

Vom Hof überprüfte Berichte

| 81. | Der Hof überprüfte 86 von der Kommission (oder in ihrem Auftrag) seit 2000 durchgeführten Evaluierungsstudien. Darin inbegriffen waren alle 36 Studien, die die Grundlage für die im Jahr 2004 veröffentlichte Fünfjahresbewertung bildeten, sowie die 50 seitdem abgeschlossenen Studien. Lediglich 23 dieser Studien können als echte Evaluierungen des RP und der zugehörigen Programme angesehen werden (siehe Abbildung 5).
  Abbildung 5
  Übersicht über im Zeitraum 2000-2006 von (oder im Auftrag) der Kommission durchgeführte Evaluierungsstudien








  Art der Studie | Anzahl | Beschreibung |
| --- | --- | --- | --- |
| Evaluierung von RP-Tätigkeiten | 23 | Evaluierungsstudien






  — | auf der Grundlage anerkannter Methoden (51); |

81.

Der Hof überprüfte 86 von der Kommission (oder in ihrem Auftrag) seit 2000 durchgeführten Evaluierungsstudien. Darin inbegriffen waren alle 36 Studien, die die Grundlage für die im Jahr 2004 veröffentlichte Fünfjahresbewertung bildeten, sowie die 50 seitdem abgeschlossenen Studien. Lediglich 23 dieser Studien können als echte Evaluierungen des RP und der zugehörigen Programme angesehen werden (siehe Abbildung 5).

Abbildung 5

Übersicht über im Zeitraum 2000-2006 von (oder im Auftrag) der Kommission durchgeführte Evaluierungsstudien

Art der Studie

Anzahl

Beschreibung

Evaluierung von RP-Tätigkeiten

23

Evaluierungsstudien

—

auf der Grundlage anerkannter Methoden (51);

| — | unter besonderer Berücksichtigung der Programmziele und des Ausmaßes der Verwirklichung dieser Ziele. |
| --- | --- |

—

unter besonderer Berücksichtigung der Programmziele und des Ausmaßes der Verwirklichung dieser Ziele.

Einzelstaatliche Wirkungsevaluierungen (auf Ebene der Mitgliedstaaten)

12

Von den Mitgliedstaaten durchgeführte Studien, die vor allem auf die nationalen Teilnahmequoten und nicht auf Schlussfolgerungen zu den Programmzielen ausgerichtet sind.

Methodikstudien

5

Von der Kommission veranlasste Studien mit Blick auf die Entwicklung von Evaluierungsmethoden.

Studien der europäischen FTE-Landschaft

2

Studien zur Kontextanalyse des Europäischen Forschungssektors, nicht jedoch der RP. Insbesondere ohne ausdrückliche Berücksichtigung der Auswirkungen der RP auf nationale Forschungs- und Innovationssysteme.

Nicht analytische deskriptive und statistische Dokumente

33

In diesen Dokumenten wird gewöhnlich nur sehr indirekt auf die RP-Tätigkeiten eingegangen, die vielfach eher beschrieben als analysiert werden.

Sonstige Dokumente

11

Diverse Dokumente, die Fragen von allgemeinem politischem Interesse beleuchten, ohne vor diesem Hintergrund die RP zu analysieren.

Evaluierungen mit Schwerpunkt auf der Programmdurchführung, nicht jedoch auf Wirkungen und Auswirkungen

| 82. | Die vom Hof vorgenommene Metaanalyse dieser spezifischen Evaluierungsstudien ergab zwei wesentliche Feststellungen:






  — | In vielen Studien wird zwar der Versuch unternommen, Schlussfolgerungen mit Bezug auf die Programmziele zu ziehen, diese Schlussfolgerungen sind aber so vage formuliert, dass für den Leser nicht eindeutig erkennbar ist, ob diese Fragen in der Studie tatsächlich beleuchtet wurden. Dies ist häufig darauf zurückzuführen, dass dieses Unterfangen durch das Fehlen klarer Programmziele praktisch zum Scheitern verurteilt ist (siehe Ziffer 28). |
| --- | --- | --- |

82.

Die vom Hof vorgenommene Metaanalyse dieser spezifischen Evaluierungsstudien ergab zwei wesentliche Feststellungen:

—

In vielen Studien wird zwar der Versuch unternommen, Schlussfolgerungen mit Bezug auf die Programmziele zu ziehen, diese Schlussfolgerungen sind aber so vage formuliert, dass für den Leser nicht eindeutig erkennbar ist, ob diese Fragen in der Studie tatsächlich beleuchtet wurden. Dies ist häufig darauf zurückzuführen, dass dieses Unterfangen durch das Fehlen klarer Programmziele praktisch zum Scheitern verurteilt ist (siehe Ziffer 28).

| — | Viele Dokumente beinhalten keine Evaluierung der Wirkungen und Auswirkungen der RP und der zugehörigen spezifischen Programme (und Teilprogramme), sondern sie sind deskriptiv und gehen allenfalls auf die unmittelbaren Projektoutputs und Projektmanagementfragen ein. Diese Berichte können keine aussagekräftigen Nachweise für Wirkungen oder Auswirkungen liefern. |
| --- | --- |

—

Viele Dokumente beinhalten keine Evaluierung der Wirkungen und Auswirkungen der RP und der zugehörigen spezifischen Programme (und Teilprogramme), sondern sie sind deskriptiv und gehen allenfalls auf die unmittelbaren Projektoutputs und Projektmanagementfragen ein. Diese Berichte können keine aussagekräftigen Nachweise für Wirkungen oder Auswirkungen liefern.

Zu geringer Schwerpunkt auf der Entwicklung innovativer Methoden

| 83. | Bei den zwischen 2000 und 2006 durchgeführten Evaluierungen kamen überwiegend herkömmliche Methoden und Techniken (insbesondere Erhebungen, Durchsicht von Unterlagen und Befragungen) zur Anwendung (siehe Abbildung 6). Eine Reihe komplexer, jedoch gut eingeführter Evaluierungsmethoden und -techniken kam hingegen nicht (oder kaum) zur Anwendung, insbesondere






  — | szientometrische Konzepte (wie Zitatanalysen) (52); |
| --- | --- | --- |

83.

Bei den zwischen 2000 und 2006 durchgeführten Evaluierungen kamen überwiegend herkömmliche Methoden und Techniken (insbesondere Erhebungen, Durchsicht von Unterlagen und Befragungen) zur Anwendung (siehe Abbildung 6). Eine Reihe komplexer, jedoch gut eingeführter Evaluierungsmethoden und -techniken kam hingegen nicht (oder kaum) zur Anwendung, insbesondere

—

szientometrische Konzepte (wie Zitatanalysen) (52);

| — | quantitative Modelle (wie Kosteneffizienz-, Kostenwirksamkeits- und Kosten/Nutzen-Analysen) (53); |
| --- | --- |

—

quantitative Modelle (wie Kosteneffizienz-, Kostenwirksamkeits- und Kosten/Nutzen-Analysen) (53);

| — | Akteur- (oder Verhaltens-)modelle (die schwerpunktmäßig auf die Sichtweise der an einer Intervention Beteiligten ausgerichtet sind, etwa die Merkmale von Forschernetzwerken und deren Wandel im Zeitverlauf). |
| --- | --- |

—

Akteur- (oder Verhaltens-)modelle (die schwerpunktmäßig auf die Sichtweise der an einer Intervention Beteiligten ausgerichtet sind, etwa die Merkmale von Forschernetzwerken und deren Wandel im Zeitverlauf).

Image

| 84. | Evaluierungsstudien, die versuchsweise auf einige der methodischen Probleme bei der Bewertung öffentlicher Interventionen im Forschungsbereich ausgerichtet waren (siehe Anhang I), blieben auf einige wenige Fälle beschränkt:






  — | Kürzlich wurden zwei Studien zum Thema Interventionslogik abgeschlossen (54). |
| --- | --- | --- |

84.

Evaluierungsstudien, die versuchsweise auf einige der methodischen Probleme bei der Bewertung öffentlicher Interventionen im Forschungsbereich ausgerichtet waren (siehe Anhang I), blieben auf einige wenige Fälle beschränkt:

—

Kürzlich wurden zwei Studien zum Thema Interventionslogik abgeschlossen (54).

| — | Soweit festgestellt, wurde lediglich in drei Studien der Versuch unternommen, die Auswirkungen der Gemeinschaftsförderung auf die Netzwerk-Gewohnheiten von Forschungseinrichtungen auf gesamteuropäischer Ebene zu bewerten (55). Und dies, obwohl das EFR-Konzept auf der Annahme positiver Netzwerk-Effekte basiert. |
| --- | --- |

—

Soweit festgestellt, wurde lediglich in drei Studien der Versuch unternommen, die Auswirkungen der Gemeinschaftsförderung auf die Netzwerk-Gewohnheiten von Forschungseinrichtungen auf gesamteuropäischer Ebene zu bewerten (55). Und dies, obwohl das EFR-Konzept auf der Annahme positiver Netzwerk-Effekte basiert.

| — | Nur in einem Fall wurde versucht, durch Kombination auf Projektebene aggregierter Evaluierungsanalysen mit anderen Evaluierungstechniken Schlussfolgerungen zu den auf Programm- (oder Teilprogramm)ebene erzielten Auswirkungen zu ziehen (56). |
| --- | --- |

—

Nur in einem Fall wurde versucht, durch Kombination auf Projektebene aggregierter Evaluierungsanalysen mit anderen Evaluierungstechniken Schlussfolgerungen zu den auf Programm- (oder Teilprogramm)ebene erzielten Auswirkungen zu ziehen (56).

| — | Anhaltspunkte für die Anwendung anderer Methoden, etwa kontrafaktischer (oder Kontrollgruppen-)modelle, fanden sich nicht. Diese Methoden wären besonders hilfreich, um zu veranschaulichen, welchen Mehrwert auf Gemeinschaftsebene verwirklichte Programme gegenüber einer Situation ohne Interventionen (oder mit Interventionen auf nationaler oder regionaler Ebene) erbringen. |
| --- | --- |

—

Anhaltspunkte für die Anwendung anderer Methoden, etwa kontrafaktischer (oder Kontrollgruppen-)modelle, fanden sich nicht. Diese Methoden wären besonders hilfreich, um zu veranschaulichen, welchen Mehrwert auf Gemeinschaftsebene verwirklichte Programme gegenüber einer Situation ohne Interventionen (oder mit Interventionen auf nationaler oder regionaler Ebene) erbringen.

| 85. | Vom Hof befragte Beteiligte gaben an, dass Nützlichkeit und Aussagekraft der Kommissionsbewertungen verbesserungsfähig seien. Daran wird erkennbar, dass die Methoden weiterentwickelt werden müssen, damit das Evaluierungssystem sich parallel zum Wandel der Rahmenprogramme entwickeln kann (siehe Ziffer 7) (57). |
| --- | --- |

85.

Vom Hof befragte Beteiligte gaben an, dass Nützlichkeit und Aussagekraft der Kommissionsbewertungen verbesserungsfähig seien. Daran wird erkennbar, dass die Methoden weiterentwickelt werden müssen, damit das Evaluierungssystem sich parallel zum Wandel der Rahmenprogramme entwickeln kann (siehe Ziffer 7) (57).

In den Fünfjahresbewertungen aufgeworfene komplexe Fragestellungen ließen sich anhand der spezifischen Evaluierungsstudien der Kommission nicht beantworten

| 86. | Dies wird auch an den großen Problemen deutlich, denen sich das mit der Fünfjahresbewertung 2004 beauftragte Gremium (58) bei der Beantwortung der im Auftrag aufgeführten Evaluierungsfragen gegenübersah. Viele dieser komplexen Fragestellungen konnten gar nicht behandelt werden, weil im Vorfeld von (oder im Auftrag) der Kommission keine geeigneten Studien durchgeführt wurden und die Mitglieder des Gremiums entsprechende Studien nicht rechtzeitig in Auftrag geben konnten (siehe Abbildung 7).
  Abbildung 7
  Beantwortung der Evaluierungsfragen in der Fünfjahresbewertung 2004 | Evaluierungsfrage | Im Bericht thematisiert? |
| --- | --- | --- | --- |
| DURCHFÜHRUNG | Wurden die Tätigkeiten effizient durchgeführt? | Teilweise |
| Waren die Tätigkeiten kostenwirksam? | Teilweise |
| Waren die Tätigkeiten zur Verwirklichung der gesetzten Ziele optimal geeignet? | Nein |
| Waren der Rechtsrahmen (einschließlich der Regeln für die Beteiligung und für die Verträge), die politischen Instrumente und die Durchführungsbestimmungen insgesamt klar, zweckmäßig und wirksam? | Nein |
| Waren die Förderhöhe und sonstigen verfügbaren Ressourcen angemessen? | Nein |
| Konnten die Zielgruppen — Industrie- und Forschungskreise einschließlich KMU — entsprechend reagieren? | Ja |
| ERGEBNISSE | Wurden mit den Tätigkeiten die jeweiligen Ziele verwirklicht und inwieweit traten unerwartete Ergebnisse auf? | Nein |
| Welche Hauptergebnisse sind insbesondere in Form wissenschaftlicher, technologischer, sozioökonomischer und ökologischer Outputs zu verzeichnen, sowie in Form internationaler Zusammenarbeit, Wissenstransfer und Innovation, pränormativer Tätigkeiten, Zugänglichkeit, Verbreitung und Übernahme der Forschungsergebnisse, Entwicklung, Mobilität und Ausbildung der Humanressourcen und in Form der Förderung und Stärkung der Koordinierung von Forschungstätigkeiten? | Nein |
| Waren, aus Sicht der direkten oder indirekten Begünstigten und Beteiligten, die Ergebnisse und deren Folgen und Auswirkungen generell zufriedenstellend? | Nein |
| Wurden die einschlägigen Industrie- und Forschungskreise, KMU eingeschlossen, entsprechend erreicht? | Ja |
| Wie und inwieweit trugen die Tätigkeiten zu einer verbesserten Wettbewerbsfähigkeit der europäischen Forschung auf internationaler Ebene bei? Konnte die EU in spezifischen Bereichen die Führungsrolle übernehmen? | Teilweise |
| Wie und inwieweit trugen die Tätigkeiten zu den EU-Politiken im Allgemeinen und zur Strategie der EU im Hinblick auf die nachhaltige Entwicklung bei? | Nein |
| Gibt es Anhaltspunkte für einen strukturellen Wandel, insbesondere auch bei Netzwerken, der Integration und der Koordinierung der Forschung auf nationaler oder internationaler Ebene infolge der Forschungsaktivitäten der Gemeinschaft? | Nein |
| Waren die Programme kosteneffizient? Hatten die Tätigkeiten dauerhafte Auswirkungen? | Nein |
| ENTWICKLUNG UND ZUKUNFTSPERSPEKTIVEN | Welche Entwicklung nahmen die Rahmenprogramme in Bezug auf Begründungen, Ziele, thematische Prioritäten, die Ausgewogenheit zwischen Bottom- up- und Bottom-down-Schwerpunkten sowie zwischen Grundlagen- und angewandter Forschung, Instrumenten, europäischem Mehrwert und anderen Auswirkungen, insbesondere im Lichte der Entstehung des Konzepts des Europäischen Forschungsraums, der Lissabon-Ziele und wichtiger internationaler Wirtschafts- und Forschungsleistungsvergleichsmaßstäbe? | Ja |
| Auf welche Weise entstand durch das Rahmenprogramm europäischer Mehrwert? | Ja |
| Ließe sich europäischer Mehrwert durch andere internationale oder nationale Mechanismen schaffen? | Nein |
| Eignen sich die politischen Ziele, Prioritäten, Instrumente und der Lebenszyklus der Programme für die Zukunft? | Ja |

86.

Dies wird auch an den großen Problemen deutlich, denen sich das mit der Fünfjahresbewertung 2004 beauftragte Gremium (58) bei der Beantwortung der im Auftrag aufgeführten Evaluierungsfragen gegenübersah. Viele dieser komplexen Fragestellungen konnten gar nicht behandelt werden, weil im Vorfeld von (oder im Auftrag) der Kommission keine geeigneten Studien durchgeführt wurden und die Mitglieder des Gremiums entsprechende Studien nicht rechtzeitig in Auftrag geben konnten (siehe Abbildung 7).

Abbildung 7

Beantwortung der Evaluierungsfragen in der Fünfjahresbewertung 2004

Evaluierungsfrage

Im Bericht thematisiert?

DURCHFÜHRUNG

Wurden die Tätigkeiten effizient durchgeführt?

Teilweise

Waren die Tätigkeiten kostenwirksam?

Teilweise

Waren die Tätigkeiten zur Verwirklichung der gesetzten Ziele optimal geeignet?

Nein

Waren der Rechtsrahmen (einschließlich der Regeln für die Beteiligung und für die Verträge), die politischen Instrumente und die Durchführungsbestimmungen insgesamt klar, zweckmäßig und wirksam?

Nein

Waren die Förderhöhe und sonstigen verfügbaren Ressourcen angemessen?

Nein

Konnten die Zielgruppen — Industrie- und Forschungskreise einschließlich KMU — entsprechend reagieren?

Ja

ERGEBNISSE

Wurden mit den Tätigkeiten die jeweiligen Ziele verwirklicht und inwieweit traten unerwartete Ergebnisse auf?

Nein

Welche Hauptergebnisse sind insbesondere in Form wissenschaftlicher, technologischer, sozioökonomischer und ökologischer Outputs zu verzeichnen, sowie in Form internationaler Zusammenarbeit, Wissenstransfer und Innovation, pränormativer Tätigkeiten, Zugänglichkeit, Verbreitung und Übernahme der Forschungsergebnisse, Entwicklung, Mobilität und Ausbildung der Humanressourcen und in Form der Förderung und Stärkung der Koordinierung von Forschungstätigkeiten?

Nein

Waren, aus Sicht der direkten oder indirekten Begünstigten und Beteiligten, die Ergebnisse und deren Folgen und Auswirkungen generell zufriedenstellend?

Nein

Wurden die einschlägigen Industrie- und Forschungskreise, KMU eingeschlossen, entsprechend erreicht?

Ja

Wie und inwieweit trugen die Tätigkeiten zu einer verbesserten Wettbewerbsfähigkeit der europäischen Forschung auf internationaler Ebene bei? Konnte die EU in spezifischen Bereichen die Führungsrolle übernehmen?

Teilweise

Wie und inwieweit trugen die Tätigkeiten zu den EU-Politiken im Allgemeinen und zur Strategie der EU im Hinblick auf die nachhaltige Entwicklung bei?

Nein

Gibt es Anhaltspunkte für einen strukturellen Wandel, insbesondere auch bei Netzwerken, der Integration und der Koordinierung der Forschung auf nationaler oder internationaler Ebene infolge der Forschungsaktivitäten der Gemeinschaft?

Nein

Waren die Programme kosteneffizient? Hatten die Tätigkeiten dauerhafte Auswirkungen?

Nein

ENTWICKLUNG UND ZUKUNFTSPERSPEKTIVEN

Welche Entwicklung nahmen die Rahmenprogramme in Bezug auf Begründungen, Ziele, thematische Prioritäten, die Ausgewogenheit zwischen Bottom- up- und Bottom-down-Schwerpunkten sowie zwischen Grundlagen- und angewandter Forschung, Instrumenten, europäischem Mehrwert und anderen Auswirkungen, insbesondere im Lichte der Entstehung des Konzepts des Europäischen Forschungsraums, der Lissabon-Ziele und wichtiger internationaler Wirtschafts- und Forschungsleistungsvergleichsmaßstäbe?

Ja

Auf welche Weise entstand durch das Rahmenprogramm europäischer Mehrwert?

Ja

Ließe sich europäischer Mehrwert durch andere internationale oder nationale Mechanismen schaffen?

Nein

Eignen sich die politischen Ziele, Prioritäten, Instrumente und der Lebenszyklus der Programme für die Zukunft?

Ja

| 87. | Außerdem weist der Hof darauf hin, dass die Mitglieder des Gremiums lediglich zu den Aspekten, zu denen in den Programmen klare und quantifizierbare Ziele festgelegt waren (etwa Anteil der teilnehmenden Klein- und Mittelbetriebe), die im Auftrag vorgegebenen Fragen beantworten konnten. |
| --- | --- |

87.

Außerdem weist der Hof darauf hin, dass die Mitglieder des Gremiums lediglich zu den Aspekten, zu denen in den Programmen klare und quantifizierbare Ziele festgelegt waren (etwa Anteil der teilnehmenden Klein- und Mittelbetriebe), die im Auftrag vorgegebenen Fragen beantworten konnten.

Auf nationaler Ebene vorgenommene Evaluierungen der RP

| 88. | Mehrere Mitgliedstaaten und assoziierte Länder führen eigene nationale Evaluierungen der RP durch, die auf Fragen ausgelegt sind, die aus ihrer Sicht interessant und relevant sind (59). In den vergangenen acht Jahren wurden für neun Mitgliedstaaten und ein assoziiertes Land 14 entsprechende Studien erstellt. |
| --- | --- |

88.

Mehrere Mitgliedstaaten und assoziierte Länder führen eigene nationale Evaluierungen der RP durch, die auf Fragen ausgelegt sind, die aus ihrer Sicht interessant und relevant sind (59). In den vergangenen acht Jahren wurden für neun Mitgliedstaaten und ein assoziiertes Land 14 entsprechende Studien erstellt.

| 89. | Während die Kommission propagiert, soweit möglich standardisierte Konzepte zu verwenden, sind diese nationalen Wirkungsstudien äußerst heterogen (60). Da nicht nach einer einheitlichen Methode vorgegangen wird, lassen sich die Ergebnisse nur bedingt aggregieren, kombinieren oder vergleichen. Wegen ihres nationalen Zuschnitts können diese Studien den Aspekt der europäischen Zusammenarbeit auch nur teilweise erfassen. |
| --- | --- |

89.

Während die Kommission propagiert, soweit möglich standardisierte Konzepte zu verwenden, sind diese nationalen Wirkungsstudien äußerst heterogen (60). Da nicht nach einer einheitlichen Methode vorgegangen wird, lassen sich die Ergebnisse nur bedingt aggregieren, kombinieren oder vergleichen. Wegen ihres nationalen Zuschnitts können diese Studien den Aspekt der europäischen Zusammenarbeit auch nur teilweise erfassen.

| 90. | Im Grünbuch zum Europäischen Forschungsraum aus dem Jahr 2007 argumentierte die Kommission, dass die Verfügbarkeit genauer Analysen (seitens der Mitgliedstaaten wie der EU) der Auswirkungen und der Wirksamkeit der Forschungstätigkeiten und -politiken auf Ebene des Europäischen Forschungsraums sehr wichtig sei. Sie räumte auch ein, dass dieser Herausforderung mit den geltenden Regelungen nicht begegnet werden könne, da auf den einzelnen Interventionsebenen Evaluierungen unabhängig voneinander vorgenommen würden (61). |
| --- | --- |

90.

Im Grünbuch zum Europäischen Forschungsraum aus dem Jahr 2007 argumentierte die Kommission, dass die Verfügbarkeit genauer Analysen (seitens der Mitgliedstaaten wie der EU) der Auswirkungen und der Wirksamkeit der Forschungstätigkeiten und -politiken auf Ebene des Europäischen Forschungsraums sehr wichtig sei. Sie räumte auch ein, dass dieser Herausforderung mit den geltenden Regelungen nicht begegnet werden könne, da auf den einzelnen Interventionsebenen Evaluierungen unabhängig voneinander vorgenommen würden (61).

Empfehlungen

91.

| 91. | Die Kommission sollte ein Handbuch für die Evaluierung aus den RP geförderter Tätigkeiten ausarbeiten, in dem Schlüsselbegriffe und -termini definiert und eine Reihe zweckmäßiger Methoden für bestimmte Evaluierungstätigkeiten aufgeführt werden. Dieses Handbuch sollte sich auf die bestehenden Leitfäden und Instrumente stützen und regelmäßig aktualisiert werden. |
| --- | --- |

Die Kommission sollte ein Handbuch für die Evaluierung aus den RP geförderter Tätigkeiten ausarbeiten, in dem Schlüsselbegriffe und -termini definiert und eine Reihe zweckmäßiger Methoden für bestimmte Evaluierungstätigkeiten aufgeführt werden. Dieses Handbuch sollte sich auf die bestehenden Leitfäden und Instrumente stützen und regelmäßig aktualisiert werden.

| 92. | Die Kommission sollte unter Beachtung der Notwendigkeit, den Verwaltungsaufwand für die Teilnehmer möglichst gering zu halten, ihren Informationsbedarf genau bestimmen. |
| --- | --- |

92.

Die Kommission sollte unter Beachtung der Notwendigkeit, den Verwaltungsaufwand für die Teilnehmer möglichst gering zu halten, ihren Informationsbedarf genau bestimmen.

| 93. | Die Kommission sollte rechtzeitig Controllingdaten zur Durchführung der RP vorlegen. Wie in den „Regeln für die Beteiligung“ zum RP7 vorgeschrieben, sollten Probleme im Zusammenhang mit den IT-Systemen der Kommission für die Verwaltung der Daten über Programmverwaltung und Teilnehmer rasch gelöst werden. |
| --- | --- |

93.

Die Kommission sollte rechtzeitig Controllingdaten zur Durchführung der RP vorlegen. Wie in den „Regeln für die Beteiligung“ zum RP7 vorgeschrieben, sollten Probleme im Zusammenhang mit den IT-Systemen der Kommission für die Verwaltung der Daten über Programmverwaltung und Teilnehmer rasch gelöst werden.

| 94. | Die Berichtspflichten der Teilnehmer gegenüber der Kommission sollten deutlich eingeschränkt und Erhebungen lediglich stichprobenmäßig vorgenommen werden. Die vertraglich vorgeschriebene Vorlage von Daten über die Auswirkungen auf der Grundlage von Indikatoren für jedes Projekt sollte durch eine kurze Selbstbewertung bei Projektabschluss ersetzt werden. |
| --- | --- |

94.

Die Berichtspflichten der Teilnehmer gegenüber der Kommission sollten deutlich eingeschränkt und Erhebungen lediglich stichprobenmäßig vorgenommen werden. Die vertraglich vorgeschriebene Vorlage von Daten über die Auswirkungen auf der Grundlage von Indikatoren für jedes Projekt sollte durch eine kurze Selbstbewertung bei Projektabschluss ersetzt werden.

| 95. | Die Kommission sollte vorhandene ergänzende Informationsquellen mit relevanten Angaben (in der Kommission wie in den Mitgliedstaaten) stärker für ihre Evaluierungen nutzen. |
| --- | --- |

95.

Die Kommission sollte vorhandene ergänzende Informationsquellen mit relevanten Angaben (in der Kommission wie in den Mitgliedstaaten) stärker für ihre Evaluierungen nutzen.

| 96. | Die Kommission sollte sämtliche verfügbaren Evaluierungstechniken einsetzen. Außerdem sollte sie die Entwicklung innovativer Konzepte fördern, um die bei der Evaluierung öffentlicher Interventionen im Forschungsbereich inhärent gegebenen Schwierigkeiten zu bewältigen (siehe Anhang I), und diese Konzepte auch für ihre eigenen Evaluierungen verwenden. |
| --- | --- |

96.

Die Kommission sollte sämtliche verfügbaren Evaluierungstechniken einsetzen. Außerdem sollte sie die Entwicklung innovativer Konzepte fördern, um die bei der Evaluierung öffentlicher Interventionen im Forschungsbereich inhärent gegebenen Schwierigkeiten zu bewältigen (siehe Anhang I), und diese Konzepte auch für ihre eigenen Evaluierungen verwenden.

| 97. | Die Kommission sollte in Absprache mit den Mitgliedstaaten nach Wegen für eine möglichst effiziente Gestaltung der auf einzelstaatlicher Ebene durchgeführten Evaluierungen der RP suchen. |
| --- | --- |

97.

Die Kommission sollte in Absprache mit den Mitgliedstaaten nach Wegen für eine möglichst effiziente Gestaltung der auf einzelstaatlicher Ebene durchgeführten Evaluierungen der RP suchen.

Verbreitung und Nutzung der Evaluierungsergebnisse

| 98. | Evaluierungen sollten relevante Daten und Analysen liefern, die nutzbringend für die Programmverwaltung und politische Gestaltung verwendet werden können. Insbesondere sollten Evaluierungen die Grundlage für sachlich fundierte Überlegungen zu den Stärken und Schwächen öffentlicher Interventionen liefern, die Voraussetzung für einen Lernprozess sind. Der Hof prüfte, inwieweit die Bewertungen zum richtigen Zeitpunkt vorgenommen wurden, die Ergebnisse gegenüber Beteiligten außerhalb der Kommission vermittelt und verbreitet wurden und die Kommission Empfehlungen zum Anlass nahm, laufende Programme zu überarbeiten („lernende Programme“). |
| --- | --- |

98.

Evaluierungen sollten relevante Daten und Analysen liefern, die nutzbringend für die Programmverwaltung und politische Gestaltung verwendet werden können. Insbesondere sollten Evaluierungen die Grundlage für sachlich fundierte Überlegungen zu den Stärken und Schwächen öffentlicher Interventionen liefern, die Voraussetzung für einen Lernprozess sind. Der Hof prüfte, inwieweit die Bewertungen zum richtigen Zeitpunkt vorgenommen wurden, die Ergebnisse gegenüber Beteiligten außerhalb der Kommission vermittelt und verbreitet wurden und die Kommission Empfehlungen zum Anlass nahm, laufende Programme zu überarbeiten („lernende Programme“).

Bei der zeitlichen Planung der Evaluierungen wurde nicht berücksichtigt, welche Art von Informationen realistischerweise erwartet werden konnten

| 99. | Der Hof ist sich darüber im Klaren, dass bestimmte Arten von Analysen nur langfristig möglich sind (etwa die Evaluierung der Wirkungen und sozioökonomischen Auswirkungen) und dass manche Aspekte sich auf eine konkrete Programmlaufzeit beziehen (etwa Programmziele, selbst innerhalb einer bestimmten wissenschaftlichen Disziplin), andere Aspekte hingegen nicht (siehe Abbildung 8). Die Kommission hat bei ihren Evaluierungstätigkeiten diese Zeitperspektiven aber nicht berücksichtigt. |
| --- | --- |

99.

Der Hof ist sich darüber im Klaren, dass bestimmte Arten von Analysen nur langfristig möglich sind (etwa die Evaluierung der Wirkungen und sozioökonomischen Auswirkungen) und dass manche Aspekte sich auf eine konkrete Programmlaufzeit beziehen (etwa Programmziele, selbst innerhalb einer bestimmten wissenschaftlichen Disziplin), andere Aspekte hingegen nicht (siehe Abbildung 8). Die Kommission hat bei ihren Evaluierungstätigkeiten diese Zeitperspektiven aber nicht berücksichtigt.

| 100. | Nach Maßgabe der Rechtsvorschriften hat die Kommission ihre zentralen Evaluierungstätigkeiten ausschließlich auf die fünf Jahre vor der Fünfjahresbewertung auszurichten, wodurch Teile zweier aufeinanderfolgender Programmlaufzeiten abgedeckt werden. Aufgrund dessen wurden mittel- und langfristige Wirkungen und Auswirkungen kaum beleuchtet. Die Fünfjahresbewertungen waren demnach in der Regel hauptsächlich auf Aspekte des Programmcontrollings, kurzfristige Fragen der Programmkonzeption und allgemeine Bemerkungen zur Ausrichtung der RP ausgelegt. Der Hof begrüßt die Tatsache, dass in den Rechtsvorschriften für das RP7 keine Fünfjahresbewertungen oder andere vorab festgelegte Abdeckungszeiträume mehr vorgeschrieben sind.
  Abbildung 8
  Programmcontrolling- und Evaluierungsaspekte nach unterschiedlichen Zeitperspektiven







  Controlling der Programmdurch-führung

  (im Gange) | — | Aspekte der Programmverwaltung (z. B. Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung, Beteiligungs- und Erfolgsquoten, Haushaltsführung, Fördersätze usw.) |
| --- | --- | --- | --- |

100.

Nach Maßgabe der Rechtsvorschriften hat die Kommission ihre zentralen Evaluierungstätigkeiten ausschließlich auf die fünf Jahre vor der Fünfjahresbewertung auszurichten, wodurch Teile zweier aufeinanderfolgender Programmlaufzeiten abgedeckt werden. Aufgrund dessen wurden mittel- und langfristige Wirkungen und Auswirkungen kaum beleuchtet. Die Fünfjahresbewertungen waren demnach in der Regel hauptsächlich auf Aspekte des Programmcontrollings, kurzfristige Fragen der Programmkonzeption und allgemeine Bemerkungen zur Ausrichtung der RP ausgelegt. Der Hof begrüßt die Tatsache, dass in den Rechtsvorschriften für das RP7 keine Fünfjahresbewertungen oder andere vorab festgelegte Abdeckungszeiträume mehr vorgeschrieben sind.

Abbildung 8

Programmcontrolling- und Evaluierungsaspekte nach unterschiedlichen Zeitperspektiven

Controlling der Programmdurch-führung

(im Gange)

—

Aspekte der Programmverwaltung (z. B. Zeit bis zum Vertragsabschluss, Zeit bis zur Zahlung, Beteiligungs- und Erfolgsquoten, Haushaltsführung, Fördersätze usw.)

Evaluierung

kurzfristig

(frühestens bspw. nach 1-2 Jahren)

| — | Aspekte der Programmverwaltung (z. B. Effizienz der Verwaltungsverfahren) |
| --- | --- |

—

Aspekte der Programmverwaltung (z. B. Effizienz der Verwaltungsverfahren)

| — | Aspekte der Programmkonzeption (z. B. Zugänglichkeit und Flexibilität der Instrumente, Teilnahmehindernisse, Auswirkungen erfolgloser Aufforderungen zur Einreichung von Vorschlägen usw.) |
| --- | --- |

—

Aspekte der Programmkonzeption (z. B. Zugänglichkeit und Flexibilität der Instrumente, Teilnahmehindernisse, Auswirkungen erfolgloser Aufforderungen zur Einreichung von Vorschlägen usw.)

| — | Analyse des Teilnehmerprofils (in diesem Stadium vor allem quantitativ) |
| --- | --- |

—

Analyse des Teilnehmerprofils (in diesem Stadium vor allem quantitativ)

Evaluierung

mittelfristig

(bspw. nach 7 Jahren)

| — | Aspekte der Programmkonzeption (z. B. Wirksamkeit der Instrumente) |
| --- | --- |

—

Aspekte der Programmkonzeption (z. B. Wirksamkeit der Instrumente)

| — | Analyse der Beteiligung (Kombination qualitativer und quantitativer Aspekte, etwa Analyse von Forschernetzwerken, Auswirkungen auf das Verhalten von Forschern usw.) |
| --- | --- |

—

Analyse der Beteiligung (Kombination qualitativer und quantitativer Aspekte, etwa Analyse von Forschernetzwerken, Auswirkungen auf das Verhalten von Forschern usw.)

| — | Analyse der Projektoutputs
   (62) (z. B. Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, ausgebildete Wissenschaftler usw.) |
| --- | --- |

—

Analyse der Projektoutputs
   (62) (z. B. Veröffentlichungen, Konferenzbeiträge, Patente, Lizenzen, Prototypen, ausgebildete Wissenschaftler usw.)

Evaluierung

langfristig

(bspw. nach > 10 Jahren)

| — | Evaluierung der Wirkungen und Auswirkungen |
| --- | --- |

—

Evaluierung der Wirkungen und Auswirkungen

Quelle: Europäischer Rechnungshof.

| 101. | Die Sachverständigen der Kommission wiesen ebenfalls auf die unzulängliche Evaluierung der Wirkungen und Auswirkungen der RP in den Fünfjahresbewertungen hin:






  — | Das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium stellte u. a. fest, dass im Rahmen von Evaluierungen langfristige und kurzfristige Aspekte abgedeckt und ausreichend bedacht werden müssen, dass Ressourcen für eher anspruchsvolle langfristige Evaluierungsstudien bereitgestellt werden könnten, in denen auf systematischere Weise die strukturellen und weitergehenden sozioökonomischen Aspekte erforscht werden könnten (63). |
| --- | --- | --- |

101.

Die Sachverständigen der Kommission wiesen ebenfalls auf die unzulängliche Evaluierung der Wirkungen und Auswirkungen der RP in den Fünfjahresbewertungen hin:

—

Das im Jahr 2004 für die Fünfjahresbewertung zuständige Gremium stellte u. a. fest, dass im Rahmen von Evaluierungen langfristige und kurzfristige Aspekte abgedeckt und ausreichend bedacht werden müssen, dass Ressourcen für eher anspruchsvolle langfristige Evaluierungsstudien bereitgestellt werden könnten, in denen auf systematischere Weise die strukturellen und weitergehenden sozioökonomischen Aspekte erforscht werden könnten (63).

| — | In einer von der GD Forschung in Auftrag gegebenen Studie wurde festgestellt, dass die derzeitige Evaluierungspraxis der EU für den FTE-Bereich (mit laufendem Programmcontrolling, Fünfjahres- und Halbzeitbewertungen) in erheblichem Maß durch einen Schwerpunkt auf der Überwachung der Programmdurchführung im Vergleich zur Wirkungsbewertung gekennzeichnet ist. In dieser Evaluierung heißt es ferner, dass zwecks Verlagerung von Anforderungen und Erwartungen hin zu den sozioökonomischen Auswirkungen ein neuer Evaluierungs- und Programmcontrollingrahmen erforderlich wäre, der anstelle der Output-Überwachung die stärkere Berücksichtigung der Auswirkungen zur Auflage macht (64). |
| --- | --- |

—

In einer von der GD Forschung in Auftrag gegebenen Studie wurde festgestellt, dass die derzeitige Evaluierungspraxis der EU für den FTE-Bereich (mit laufendem Programmcontrolling, Fünfjahres- und Halbzeitbewertungen) in erheblichem Maß durch einen Schwerpunkt auf der Überwachung der Programmdurchführung im Vergleich zur Wirkungsbewertung gekennzeichnet ist. In dieser Evaluierung heißt es ferner, dass zwecks Verlagerung von Anforderungen und Erwartungen hin zu den sozioökonomischen Auswirkungen ein neuer Evaluierungs- und Programmcontrollingrahmen erforderlich wäre, der anstelle der Output-Überwachung die stärkere Berücksichtigung der Auswirkungen zur Auflage macht (64).

| 102. | Der Zeitaspekt wirkt sich auch auf die vorgeschriebenen spezifischen Evaluierungen aus. Der 2004 vorgelegte Marimón-Bericht mit der Analyse der im RP6 (2003-2006) neu eingeführten Instrumente etwa wurde verfrüht angefordert, weswegen es keine oder kaum praktische Erfahrungen und empirische Belege zur Untermauerung der Schlussfolgerungen gab (65). |
| --- | --- |

102.

Der Zeitaspekt wirkt sich auch auf die vorgeschriebenen spezifischen Evaluierungen aus. Der 2004 vorgelegte Marimón-Bericht mit der Analyse der im RP6 (2003-2006) neu eingeführten Instrumente etwa wurde verfrüht angefordert, weswegen es keine oder kaum praktische Erfahrungen und empirische Belege zur Untermauerung der Schlussfolgerungen gab (65).

Vermittlung und Verbreitung

| 103. | Die Kommission kann eigenständig operative Arbeitsprogramme nach kurzfristigen Zyklen ausarbeiten und anpassen, sofern der zuständige Programmausschuss seine Zustimmung erteilt. Damit wäre theoretisch eine Möglichkeit gegeben, die Programmverwaltung anzupassen oder auch Haushaltsmittel innerhalb von Teilprogrammen umzuschichten. Soweit der Hof feststellen konnte, macht die Kommission von dieser Möglichkeit keinen Gebrauch (siehe Ziffer 107). |
| --- | --- |

103.

Die Kommission kann eigenständig operative Arbeitsprogramme nach kurzfristigen Zyklen ausarbeiten und anpassen, sofern der zuständige Programmausschuss seine Zustimmung erteilt. Damit wäre theoretisch eine Möglichkeit gegeben, die Programmverwaltung anzupassen oder auch Haushaltsmittel innerhalb von Teilprogrammen umzuschichten. Soweit der Hof feststellen konnte, macht die Kommission von dieser Möglichkeit keinen Gebrauch (siehe Ziffer 107).

| 104. | Abgesehen davon ist es der Kommission aufgrund der Art und Weise, wie die RP konzipiert sind und angenommen werden, praktisch unmöglich, erhebliche Änderungen wie Korrekturen der Programmziele oder Umschichtungen von Haushaltsmitteln zwischen Teilprogrammen vorzunehmen. Einzig der Gesetzgeber kann entsprechende weitreichende Änderungen im Zuge der Überarbeitung der RP-Rechtsvorschriften (also im Jahr 2010 für das RP7) oder bei der Annahme des nachfolgenden RP verfügen. Aus diesem Grund war in den Rechtsvorschriften gewöhnlich ein Zeitpunkt für die Durchführung der Hauptevaluierung vorgeschrieben, der ermöglichen sollte, dass die entsprechenden Ergebnisse bestmöglich für die politische Gestaltung genutzt werden konnten. |
| --- | --- |

104.

Abgesehen davon ist es der Kommission aufgrund der Art und Weise, wie die RP konzipiert sind und angenommen werden, praktisch unmöglich, erhebliche Änderungen wie Korrekturen der Programmziele oder Umschichtungen von Haushaltsmitteln zwischen Teilprogrammen vorzunehmen. Einzig der Gesetzgeber kann entsprechende weitreichende Änderungen im Zuge der Überarbeitung der RP-Rechtsvorschriften (also im Jahr 2010 für das RP7) oder bei der Annahme des nachfolgenden RP verfügen. Aus diesem Grund war in den Rechtsvorschriften gewöhnlich ein Zeitpunkt für die Durchführung der Hauptevaluierung vorgeschrieben, der ermöglichen sollte, dass die entsprechenden Ergebnisse bestmöglich für die politische Gestaltung genutzt werden konnten.

| 105. | Einige der wichtigsten Nutzer der Evaluierungen der Kommission sind daher die Forschungsgeneraldirektionen selbst (66). In den RP-Vorschriften ist jedoch auch ausdrücklich vorgesehen, dass die Evaluierungen dem Europäischen Parlament und dem Rat zu übermitteln sind. |
| --- | --- |

105.

Einige der wichtigsten Nutzer der Evaluierungen der Kommission sind daher die Forschungsgeneraldirektionen selbst (66). In den RP-Vorschriften ist jedoch auch ausdrücklich vorgesehen, dass die Evaluierungen dem Europäischen Parlament und dem Rat zu übermitteln sind.

| 106. | In der vom Hof beim ITRE-Ausschuss des Parlaments und dem CREST-Ausschuss des Rates durchgeführten Umfrage gab die Mehrheit der Befragten allerdings an, sich nicht ausreichend über die Durchführung und die Ergebnisse der RP informiert zu fühlen (siehe Abbildung 9) (67). |
| --- | --- |

106.

In der vom Hof beim ITRE-Ausschuss des Parlaments und dem CREST-Ausschuss des Rates durchgeführten Umfrage gab die Mehrheit der Befragten allerdings an, sich nicht ausreichend über die Durchführung und die Ergebnisse der RP informiert zu fühlen (siehe Abbildung 9) (67).

Image

Weiterverfolgung von Evaluierungsergebnissen

| 107. | In ihren Jahresberichten über die Bewertung fasst die Kommission die aus ihren Evaluierungen resultierenden Feststellungen und ergriffenen Maßnahmen zusammen (68). Bezüglich der Weiterverfolgung ist festzuhalten, dass die Kommission sich auch förmlich zu den Feststellungen und Empfehlungen der in den Rechtsvorschriften vorgeschriebenen Fünfjahresbewertungen und spezifischen Evaluierungen geäußert und, soweit möglich, geeignete Maßnahmen zur Behebung der darin aufgeführten Schwachpunkte ergriffen hat. Dies war allerdings bei zahlreichen anderen überprüften Evaluierungsberichten nicht der Fall, und der Hof fand auch keine Anhaltspunkte dafür, dass die Ergebnisse und Empfehlungen für Änderungen der Arbeitsprogramme berücksichtigt wurden. Ebenso wenig ist den ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten der Generaldirektionen zu entnehmen, inwieweit aufgrund der Evaluierungsergebnisse Maßnahmen ergriffen wurden. |
| --- | --- |

107.

In ihren Jahresberichten über die Bewertung fasst die Kommission die aus ihren Evaluierungen resultierenden Feststellungen und ergriffenen Maßnahmen zusammen (68). Bezüglich der Weiterverfolgung ist festzuhalten, dass die Kommission sich auch förmlich zu den Feststellungen und Empfehlungen der in den Rechtsvorschriften vorgeschriebenen Fünfjahresbewertungen und spezifischen Evaluierungen geäußert und, soweit möglich, geeignete Maßnahmen zur Behebung der darin aufgeführten Schwachpunkte ergriffen hat. Dies war allerdings bei zahlreichen anderen überprüften Evaluierungsberichten nicht der Fall, und der Hof fand auch keine Anhaltspunkte dafür, dass die Ergebnisse und Empfehlungen für Änderungen der Arbeitsprogramme berücksichtigt wurden. Ebenso wenig ist den ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten der Generaldirektionen zu entnehmen, inwieweit aufgrund der Evaluierungsergebnisse Maßnahmen ergriffen wurden.

Empfehlungen

108.

| 108. | Die Kommission sollte Art und Umfang der zu den in den Rechtsvorschriften vorgesehenen Zeitpunkten (2008, 2010 und 2015) realistischerweise durchführbaren Evaluierungen festlegen. Sie sollte darlegen, wie Evaluierungen zur Anpassung von Programmen („lernende Programme“) herangezogen werden können, und genau angeben, welchen Beitrag Evaluierungen zu strategischen Entscheidungen leisten können. Die Kommission sollte insbesondere klarstellen, wie sie die Bewertung der längerfristigen Ergebnisse vergangener und laufender RP handhaben wird, da entsprechende Ergebnisse eventuell erst nach 7-10 Jahren zum Tragen kommen (siehe Abbildung 8). |
| --- | --- |

Die Kommission sollte Art und Umfang der zu den in den Rechtsvorschriften vorgesehenen Zeitpunkten (2008, 2010 und 2015) realistischerweise durchführbaren Evaluierungen festlegen. Sie sollte darlegen, wie Evaluierungen zur Anpassung von Programmen („lernende Programme“) herangezogen werden können, und genau angeben, welchen Beitrag Evaluierungen zu strategischen Entscheidungen leisten können. Die Kommission sollte insbesondere klarstellen, wie sie die Bewertung der längerfristigen Ergebnisse vergangener und laufender RP handhaben wird, da entsprechende Ergebnisse eventuell erst nach 7-10 Jahren zum Tragen kommen (siehe Abbildung 8).

| 109. | Die Kommission sollte ihre Verfahren zur Vermittlung und Verbreitung der Evaluierungsergebnisse prüfen, um sicherzustellen, dass die Beteiligten die erforderlichen Informationen erhalten. Insbesondere die Forschungsgeneraldirektionen sollten förmlich auf sämtliche Evaluierungen reagieren und diese Studien (zusammen mit ihren Stellungnahmen) zeitnah bekannt machen. Die Forschungsgeneraldirektionen sollten in ihren ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten über die Weiterverfolgungsmaßnahmen berichten und sich bei der Aktualisierung der Arbeitsprogramme und der Konzeption zukünftiger Programme die Empfehlungen zunutze machen. |
| --- | --- |

109.

Die Kommission sollte ihre Verfahren zur Vermittlung und Verbreitung der Evaluierungsergebnisse prüfen, um sicherzustellen, dass die Beteiligten die erforderlichen Informationen erhalten. Insbesondere die Forschungsgeneraldirektionen sollten förmlich auf sämtliche Evaluierungen reagieren und diese Studien (zusammen mit ihren Stellungnahmen) zeitnah bekannt machen. Die Forschungsgeneraldirektionen sollten in ihren ABB-spezifischen Erläuterungen im Haushaltsplan und den Jährlichen Tätigkeitsberichten über die Weiterverfolgungsmaßnahmen berichten und sich bei der Aktualisierung der Arbeitsprogramme und der Konzeption zukünftiger Programme die Empfehlungen zunutze machen.

GESAMTSCHLUSSFOLGERUNG

| 110. | Der Hof erkennt an, dass die Evaluierung der FTE-Programme, insbesondere der langfristigen Ergebnisse, inhärent schwierig ist und idealtypische Verfahren kaum festzumachen sind. |
| --- | --- |

110.

Der Hof erkennt an, dass die Evaluierung der FTE-Programme, insbesondere der langfristigen Ergebnisse, inhärent schwierig ist und idealtypische Verfahren kaum festzumachen sind.

| 111. | Nach Ansicht des Hofes sind Evaluierungen von entscheidender Bedeutung für Programmverwaltung, zukünftige Planung und politische Gestaltung. Evaluierungen stellen ferner eine Grundlage für die Rechenschaftslegung dar. Sie liefern wertvolle Informationen über angestrebte (oder unbeabsichtigte) Ergebnisse, über den Grad der Verwirklichung der Programmziele, die Relevanz und den Nutzen der Programme sowie über die Effizienz und Wirksamkeit der Programmdurchführung. Da das Europäische Parlament und der Rat über die allgemeine Ausrichtung, Haushaltsfragen und die Programmkonzeption der Rahmenprogramme entscheiden, müssen ihnen anhand eines transparenten, glaubwürdigen und fundierten Evaluierungssystems zweckdienliche Informationen geliefert werden. |
| --- | --- |

111.

Nach Ansicht des Hofes sind Evaluierungen von entscheidender Bedeutung für Programmverwaltung, zukünftige Planung und politische Gestaltung. Evaluierungen stellen ferner eine Grundlage für die Rechenschaftslegung dar. Sie liefern wertvolle Informationen über angestrebte (oder unbeabsichtigte) Ergebnisse, über den Grad der Verwirklichung der Programmziele, die Relevanz und den Nutzen der Programme sowie über die Effizienz und Wirksamkeit der Programmdurchführung. Da das Europäische Parlament und der Rat über die allgemeine Ausrichtung, Haushaltsfragen und die Programmkonzeption der Rahmenprogramme entscheiden, müssen ihnen anhand eines transparenten, glaubwürdigen und fundierten Evaluierungssystems zweckdienliche Informationen geliefert werden.

| 112. | Die Kommission legte in den Jahren 2000 und 2002 einen allgemeinen Rahmen für Evaluierungen fest, der 2007 überarbeitet wurde. Obwohl in dem vom Hof geprüften Zeitraum keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen. |
| --- | --- |

112.

Die Kommission legte in den Jahren 2000 und 2002 einen allgemeinen Rahmen für Evaluierungen fest, der 2007 überarbeitet wurde. Obwohl in dem vom Hof geprüften Zeitraum keine deutliche Verbesserung der Art und Weise, wie die Evaluierungen der RP und der zugehörigen Programme geplant, konzipiert und durchgeführt wurden, festzustellen war, erfüllten die Forschungsgeneraldirektionen generell die kommissionsweiten formalen Anforderungen.

| 113. | In dem vom vorliegenden Bericht abgedeckten Zeitraum verfügten die Forschungsgeneraldirektionen, wie in den RP-Rechtsvorschriften vorgegeben, über ein Evaluierungssystem, und die Kommission kann auf eine ansehnliche Zahl von Evaluierungsstudien verweisen. Dennoch ist über die Verwirklichung der Programmziele und die Ergebnisse der RP de facto wenig oder nichts bekannt, weil die Evaluierungen im Allgemeinen auf kurzfristige Aspekte der Programmdurchführung ausgerichtet waren. Die Evaluierungen der Kommission waren deshalb für die politischen Entscheidungsträger, die Beteiligten und sogar die Kommission selbst nur bedingt von Nutzen. |
| --- | --- |

113.

In dem vom vorliegenden Bericht abgedeckten Zeitraum verfügten die Forschungsgeneraldirektionen, wie in den RP-Rechtsvorschriften vorgegeben, über ein Evaluierungssystem, und die Kommission kann auf eine ansehnliche Zahl von Evaluierungsstudien verweisen. Dennoch ist über die Verwirklichung der Programmziele und die Ergebnisse der RP de facto wenig oder nichts bekannt, weil die Evaluierungen im Allgemeinen auf kurzfristige Aspekte der Programmdurchführung ausgerichtet waren. Die Evaluierungen der Kommission waren deshalb für die politischen Entscheidungsträger, die Beteiligten und sogar die Kommission selbst nur bedingt von Nutzen.

| 114. | In Anbetracht der Bedeutung von Evaluierungen für die Programmverwaltung und politische Gestaltung muss die Kommission ihre Vorgehensweise bei Evaluierungen der Rahmenprogramme und der zugehörigen Programme angesichts neuer politischer Herausforderungen, einer höheren Mittelausstattung und einer breiteren Ausrichtung der Forschungspolitik der Gemeinschaft sowie der in jüngster Zeit vorgenommenen Reform der Kommission überprüfen. Diese Empfehlung spricht auch der EURAB in seinem Bericht 2007 aus. |
| --- | --- |

114.

In Anbetracht der Bedeutung von Evaluierungen für die Programmverwaltung und politische Gestaltung muss die Kommission ihre Vorgehensweise bei Evaluierungen der Rahmenprogramme und der zugehörigen Programme angesichts neuer politischer Herausforderungen, einer höheren Mittelausstattung und einer breiteren Ausrichtung der Forschungspolitik der Gemeinschaft sowie der in jüngster Zeit vorgenommenen Reform der Kommission überprüfen. Diese Empfehlung spricht auch der EURAB in seinem Bericht 2007 aus.

| 115. | Der Hof vertritt die Auffassung, dass der Einsatz einer expliziten Interventionslogik bei der künftigen Konzeption von Rahmenprogrammen zu gezielter ausgerichteten und besser strukturierten Programmen führen würde. Außerdem würde ein Beitrag zur Politik der „besseren Rechtsetzung“ geleistet, mit der die Kommission die rechtlichen Rahmenbedingungen einfacher, effizienter und leichter verständlich gestalten möchte (69). |
| --- | --- |

115.

Der Hof vertritt die Auffassung, dass der Einsatz einer expliziten Interventionslogik bei der künftigen Konzeption von Rahmenprogrammen zu gezielter ausgerichteten und besser strukturierten Programmen führen würde. Außerdem würde ein Beitrag zur Politik der „besseren Rechtsetzung“ geleistet, mit der die Kommission die rechtlichen Rahmenbedingungen einfacher, effizienter und leichter verständlich gestalten möchte (69).

| 116. | Die Evaluierung der RP und der zugehörigen Programme wäre wirksamer, wenn die Programmziele und Indikatoren von Anfang klarer wären, wenn die Forschungsgeneraldirektionen sich auf eine solide, aber nicht mit zu engen Vorgaben versehene Evaluierungsstrategie verständigen würden und wenn fortschrittlichere Evaluierungsmethoden mit quantitativen Konzepten verwendet würden. |
| --- | --- |

116.

Die Evaluierung der RP und der zugehörigen Programme wäre wirksamer, wenn die Programmziele und Indikatoren von Anfang klarer wären, wenn die Forschungsgeneraldirektionen sich auf eine solide, aber nicht mit zu engen Vorgaben versehene Evaluierungsstrategie verständigen würden und wenn fortschrittlichere Evaluierungsmethoden mit quantitativen Konzepten verwendet würden.

| 117. | Der Hof stellte auch einige Bereiche fest, in denen die Kommission ihren derzeitigen organisatorischen Rahmen für die Evaluierung der RP überdenken sollte. Es könnte sich als vorteilhaft erweisen,






  — | die Evaluierungsgremien frühzeitiger in den Evaluierungsprozess einzubeziehen und auf diese Weise der Kommission während der gesamten Programmlaufzeit und darüber hinaus Hilfestellung zu geben. Außerdem ließe sich durch die Einrichtung von Gremien für spezifische Programme und ggf. Teilprogramme eine stärkere Spezialisierung erzielen; |
| --- | --- | --- |

117.

Der Hof stellte auch einige Bereiche fest, in denen die Kommission ihren derzeitigen organisatorischen Rahmen für die Evaluierung der RP überdenken sollte. Es könnte sich als vorteilhaft erweisen,

—

die Evaluierungsgremien frühzeitiger in den Evaluierungsprozess einzubeziehen und auf diese Weise der Kommission während der gesamten Programmlaufzeit und darüber hinaus Hilfestellung zu geben. Außerdem ließe sich durch die Einrichtung von Gremien für spezifische Programme und ggf. Teilprogramme eine stärkere Spezialisierung erzielen;

| — | die derzeitigen GD-spezifischen Evaluierungsreferate durch ein gemeinsames Evaluierungsamt zu ergänzen, das für die Koordinierung der RP-Bewertungen zuständig wäre. |
| --- | --- |

—

die derzeitigen GD-spezifischen Evaluierungsreferate durch ein gemeinsames Evaluierungsamt zu ergänzen, das für die Koordinierung der RP-Bewertungen zuständig wäre.

| 118. | Die in diesem Bericht ausgesprochenen Empfehlungen stützen sich entweder auf in der Kommission bestehende oder international bewährte Verfahren. Mit Blick auf die Ressourcen steht fest, dass der vorgeschlagene Programmbewertungsansatz mit höheren Kosten verbunden wäre. Der Hof ist aber der Ansicht, dass dies mit positiven Effekten in mindestens der gleichen Größenordnung einherginge. |
| --- | --- |

118.

Die in diesem Bericht ausgesprochenen Empfehlungen stützen sich entweder auf in der Kommission bestehende oder international bewährte Verfahren. Mit Blick auf die Ressourcen steht fest, dass der vorgeschlagene Programmbewertungsansatz mit höheren Kosten verbunden wäre. Der Hof ist aber der Ansicht, dass dies mit positiven Effekten in mindestens der gleichen Größenordnung einherginge.

Dieser Bericht wurde vom Rechnungshof in seiner Sitzung vom 22. November 2007 in Luxemburg angenommen.

Für den Rechnungshof

Hubert WEBER

Präsident

---

(1)  Der OECD zufolge lassen sich Forschung und Entwicklung definieren als „(...) systematische, schöpferische Arbeit zur Erweiterung des vorhandenen Wissens einschließlich des Wissens über den Menschen, die Kultur und die Gesellschaft sowie die Verwendung dieses Wissens mit dem Ziel, neue Anwendungsmöglichkeiten zu finden“ (siehe OECD, Frascati-Handbuch — Allgemeine Richtlinien für statistische Übersichten in Forschung und experimenteller Entwicklung, Paris, 2002, S. 30). Die im Gemeinschaftskontext verwendete Abkürzung FTE steht für Forschung, Technologie und Entwicklung.

1

(2)  Für die Verwaltung und Koordinierung der RP ist in erster Linie die GD Forschung zuständig. Daneben verwalten fünf weitere Generaldirektionen (Teile) spezifische(r) Programme, allen voran die GD Informationsgesellschaft und Medien (bei den übrigen Generaldirektionen handelt es sich um die GD Energie und Verkehr, die GD Unternehmen und Industrie, die GD Fischerei und maritime Angelegenheiten sowie die Gemeinsame Forschungsstelle der Kommission).

2

(3)  Im Jahr 2000 gab der Europäische Rat auf seiner Tagung in Lissabon das Ziel vor, die EU bis 2010 zur dynamischsten, wettbewerbsfähigsten und nachhaltigsten Wirtschaft zu machen mit Vollbeschäftigung und stärkerer wirtschaftlicher und sozialer Kohäsion.

3

(4)  Im Jahr 2002 verständigte sich der Europäische Rat von Barcelona auf eine Erhöhung der Gesamtausgaben für FTE und Innovation in der Europäischen Union mit dem Ziel, sich bis 2010 der Marke von 3 % des BIP anzunähern. Der Rat stellte ferner klar, dass zwei Drittel der neuen Investitionen durch den Privatsektor erbracht werden sollten (siehe Europäische Kommission, „In die Forschung investieren: Aktionsplan für Europa“; Mitteilung der Kommission an den Rat, das Europäische Parlament, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen, KOM(2003) 226 endg., S. 7).

4

(5)  Bei der direkten Verwaltung nimmt die Kommission die für die Ausführung des Haushaltsplans erforderlichen Maßnahmen selbst und ohne Einbeziehung der Mitgliedstaaten oder Drittländer vor, in denen die Zuwendungsempfänger ansässig sind.

5

(6)  Bis 2006 hatten sich allein am RP6 mehr als 22 000 öffentliche und private Rechtspersonen beteiligt, in der Regel im Wege von aus mehreren Konsortialpartnern bestehenden Konsortien.

6

(7)  Diese Methode der Zusammenarbeit beruht auf dem Prinzip der freiwilligen zwischenstaatlichen Zusammenarbeit. Sie stützt sich insbesondere auf das Motto „Voneinander lernen“, Leistungsvergleiche und den Austausch bewährter Verfahren.

7

(8)  Verordnung (EG, Euratom) Nr. 1605/2002 des Rates vom 25. Juni 2002 (ABl. L 248 vom 16.9.2002, S. 1), Artikel 27, 48, 59 und 60.

8

(9)  Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21.Februar 2007; Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Schreyer, „Ergebnisorientierung: Verstärkte Evaluierung von Kommissionsmaßnahmen“, SEK(2000) 1051 vom 26. Juli 2000.

9

(10)  Beschluss Nr. 1982/2006/EG des Europäischen Parlaments und des Rates vom 18. Dezember 2006 über das Siebte Rahmenprogramm der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007 bis 2013) (ABl. L 412 vom 30.12.2006, S. 1), Artikel 7 Absatz 1; welche Überwachungsdaten die Kommission den Programmausschüssen vorzulegen hat, wird in den Entscheidungen über die spezifischen Programme festgelegt (siehe z. B. Entscheidung 2006/971/EG des Rates vom 19. Dezember 2006 über das spezifische Programm Zusammenarbeit zur Durchführung des Siebten Rahmenprogramms der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007-2013) (ABl. L 400 vom 30.12.2006, S. 86), Artikel 8 Absatz 4 und Anhang V).

10

(11)  Europäische Kommission, Mitteilung an den Rat über einen gemeinschaftlichen Aktionsplan betreffend die Bewertung von Forschungs- und Entwicklungstätigkeiten für den Zeitraum 1987 bis 1991, KOM(86) 660 endg. vom 20. November 1986, als Reaktion auf die Entschließung des Rates vom 28. Juni 1983.

11

(12)  Europäische Kommission, Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996; Bericht des unabhängigen, hochrangigen Expertengremiums unter Vorsitz von Vicomte Davignon (1997); Europäische Kommission, Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999; Bericht des unabhängigen Expertengremiums unter Vorsitz von Joan Majó (Juli 2000); Europäische Kommission, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003; Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004).

12

(13)  Europäische Kommission, „Bewertung der Effizienz der neuen Instrumente des Sechsten Rahmenprogramms“, 21. Juni 2004, Bericht eines hochrangigen Gremiums unabhängiger Sachverständiger unter Vorsitz von Professor Ramon Marimón.

13

(14)  Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Schreyer, „Ergebnisorientierung: Verstärkte Evaluierung von Kommissionsmaßnahmen“, SEK(2000) 1051, Juli 2000; Europäische Kommission, GD Haushalt, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23.12.2002.

14

(15)  Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21. Februar 2007.

15

(16)  Europäische Kommission, Arbeitspapier der Dienststellen, Impact assessment and ex-ante evaluation, SEK(2005) 430.

16

(17)  Der Ausschuss „Industrie, Forschung und Energie“ (ITRE) des Europäischen Parlaments ist (insbesondere) zuständig für Industriepolitik, Forschungspolitik (einschließlich Verbreitung und Auswertung wissenschaftlicher Erkenntnisse), Raumfahrtpolitik, die Tätigkeiten der Gemeinsamen Forschungsstelle, den Euratom-Vertrag sowie die Informationsgesellschaft und die Informationstechnologie.

17

(18)  Der Ausschuss für wissenschaftliche und technische Forschung (CREST — Comité de la Recherche Scientifique et Technique) wurde durch die Entschließung des Rates vom 14. Januar 1974 eingesetzt. Dieser Ausschuss setzt sich aus Vertretern der nationalen Behörden zusammen, die für die Politik der Mitgliedstaaten im Bereich Wissenschaft und Technologie zuständig sind. Der CREST hat eine beratende Funktion. Er unterrichtet die Kommission und den Rat insbesondere über Fragen im Zusammenhang mit der Koordinierung nationaler FuE-Politiken sowie mit dem Programmcontrolling und der Evaluierung der RP.

18

(19)  Logikmodelle, aus denen hervorgeht, wie Inputs in die verschiedenen Tätigkeiten zur Zielverwirklichung führen, sind die zweckmäßigste Methode zur Veranschaulichung der Interventionslogik. Anhand dieser Modelle lässt sich klar darlegen, welche Annahmen einer Programmkonzeption zugrunde liegen und wie sich die Gesamtziele in operationelle Ziele untergliedern.

19

(20)  Europäische Kommission, GD Haushalt, Evaluating EU activities: a practical guide for the Commission services, Juli 2004, S. 87 und S. 106.

20

(21)  Five-year Assessment of the European Union Research Framework Programmes, 1999-2003, Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004): Abschnitt 6 Evaluating the Framework Programme, S. 19.

21

(22)  Länder, die Außenhilfe erhalten, müssen für die Gemeinschaftsförderungen Logikmodelle vorlegen (Europäische Kommission, Aid delivery methods, Volume 1, Project cycle management guidelines, März 2004, Abschnitt 5: The logical framework approach).

22

(23)  Verordnung (EG, Euratom) Nr. 1605/2002, Artikel 27 Absatz 3.

23

(24)  Im Jahr 2006 wurde der Politikbereich „08 Forschung“ nach den spezifischen Programmen (und Teilprogrammen) des geltenden RP6-Planungszeitraums gegliedert (diese Gliederung änderte sich folglich im Jahr 2007). Im Politikbereich „09 Informationsgesellschaft“ hingegen wurden das laufende und das vorhergehende spezifische Programm in einer ABB-Tätigkeit zusammengefasst (Europäische Kommission, GD Forschung, Direktion A: Koordinierung der Gemeinschaftsmaßnahmen, Planung, Programmierung, Bewertung, Jährlicher Managementplan 2006, 20.12.2005; Europäische Kommission, GD Informationsgesellschaft und Medien, Jährlicher Managementplan 2006, 23.12.2005).

24

(25)  Im Fall der GD Forschung änderten sich die ABM-Ziele (und die zur Messung der Zielverwirklichung angewandten Indikatoren) von einem Jahr zum anderen. Die GD Informationsgesellschaft und Medien wiederum verwendete Mehrjahresindikatoren, die allerdings den Programmzielen (oder den auf Ebene des Arbeitsprogramms festgelegten Zielen) nicht entsprachen.

25

(26)  Europäische Kommission, Interner Auditdienst, Review of Effectiveness and efficiency of the SPP/ABM cycle — Generalsekretariat und GD Haushalt, 2005, Ziffer 4.1, S. 31.

26

(27)  Europäische Kommission, „Mitteilung der Kommission an den Rat über einen gemeinschaftlichen Aktionsplan betreffend die Bewertung von Forschungs- und Entwicklungsprogrammen der Gemeinschaft“, KOM(83) 1 endg. vom 19. Januar 1983.

27

(28)  Mitteilung der Kommission an den Rat und das Europäische Parlament, „Unabhängige externe Überwachung und Bewertung der Gemeinschaftstätigkeiten auf dem Gebiet der Forschung und technologischen Entwicklung“, KOM(1996) 220 endg. vom 22. Mai 1996.

28

(29)  Jede mit der Durchführung der RP befasste Generaldirektion dokumentiert ihre geplanten Evaluierungen in jährlichen (und mehrjährigen) Evaluierungsplänen. Diese Planungsdokumente können allerdings nicht als Evaluierungsstrategie im eigentlichen Sinne angesehen werden.

29

(30)  Verordnung (EG, Euratom) Nr. 1605/2002, Artikel 27 Absatz 4.

30

(31)  Loi de programme pour la recherche no 2006-450 vom 18.4.2006, und Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES) vom 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva beim Ministerium für Bildung und Wissenschaft: Orden ECI/1252/2005 vom 4. Mai 2005 zur Errichtung der Comisión Asesora de Evaluación y Prospectiva.

32

(33)  Im Jahr 2004 schuf die Deutsche Forschungsgemeinschaft (DFG) eine spezielle Einrichtung, das so genannte Institut für Forschungsinformation und Qualitätssicherung (IFQ), dem die Zuständigkeit für die Entwicklung und Normung von Bewertungsmethoden, die Qualitätssicherung und die Evaluierung der DFG-geförderten FTE-Maßnahmen übertragen wurde.

33

(34)  Für das RP7 wurden von der Kommission 15 beratende Expertengruppen eingesetzt gegenüber 12 Gruppen für das RP6 und 17 Gruppen für das RP5. Diese Gruppen beraten die Kommission in strategischen und programmtechnischen Fragen mit Bezug auf die RP. Es darf aber nicht übersehen werden, dass diese Gruppen kein fester Bestandteil der Rahmenprogrammstruktur sind. Mit anderen Worten, es gibt nicht für jedes spezifische Programm (bzw. Teilprogramm) eine beratende Expertengruppe.

34

(35)  In Kanada haben nahezu alle Bundesministerien ständige Evaluierungsausschüsse eingerichtet, in denen ranghohe Ministerialbeamte sowie in der Regel auch externe Betroffene mitwirken, um das Evaluierungssystem zu überwachen (Social Sciences and Humanities Research Council of Canada: Evaluation Standing Committee — Mandate and Membership).

35

(36)  Europäische Kommission, Monitoring 2004 — Implementation of Activities under the EC and Euratom framework and corresponding specific programmes, August 2005, S. 5.

36

(37)  Europäische Kommission, „Planung und Optimierung der Humanressourcen der Kommission mit Blick auf die Prioritäten der Europäischen Union“, SEK(2007) 530 vom 24. April 2007.

37

(38)  Europäische Kommission, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23. Dezember 2002; Europäische Kommission, Arbeitspapier der Dienststellen, Impact assessment and ex-ante evaluation, SEK(2005) 430 vom 6. April 2005, Anhang I, Fußnote 209.

38

(39)  Im Jahr 2007 empfahl der Europäische Forschungsbeirat (EURAB) ebenfalls eine Erhöhung der für die Evaluierung der RP veranschlagten Mittel (EURAB, Recommendations on Ex-Post Impact Assessment, Juli 2007).

39

(40)  Sonderbericht Nr. 1/2004 über die Verwaltung indirekter FTE-Aktionen des 5. Rahmenprogramms (5. RP) für Forschung und technologische Entwicklung (1998-2002) (ABl. C 99 vom 23.4.2004), Ziffern 116 und 122.

40

(41)  Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21. Februar 2007; Europäische Kommission, Mitteilung des Präsidenten und von Frau Schreyer an die Kommission, „Normen und bewährte Verfahren für Evaluierungen“, C(2002) 5267 vom 23.12.2002.

41

(42)  14 Generaldirektionen verfügen über entsprechende Evaluierungshandbücher für die Politikbereiche und Programme in ihrem Zuständigkeitsbereich (Europäische Kommission, GD Haushalt — Evaluierungsreferat, Overview of Evaluation Guides in the Commission, Oktober 2004).

42

(43)  Fahrenkrog, G. et al., RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies, IPTS-JRC, 2002; PREST et al., Assessing the Socio-economic Impacts of the Framework Programme, Universität Manchester, 2002.

43

(44)  Obwohl die Kommission generell über entsprechende Angaben zu den Teilnehmern verfügt, können diese Daten vielfach nicht problemlos für detaillierte Analysen herangezogen werden, weil die Angaben zu einem bestimmten Teilnehmer weder an einer Stelle gesammelt noch zwangsläufig in kompatiblen Formaten gespeichert werden. Dadurch ist es schwierig, das Verhalten einzelner Teilnehmer im Zeitverlauf (etwa zur Bewertung der Gründe für eine Nichtteilnahme) sowie die Beziehungen der Teilnehmer untereinander (etwa zur Analyse von Netzwerkeffekten) nachzuvollziehen (siehe Ziffer 84).

44

(45)  Jahresbericht zum Haushaltsjahr 2006, Tabelle 2.3; Jahresbericht zum Haushaltsjahr 2005, Ziffer 7.13; Jahresbericht zum Haushaltsjahr 2004, Ziffern 6.8 und 6.10; Jahresbericht zum Haushaltsjahr 2003, Ziffern 6.9 und 6.70; Sonderbericht Nr. 1/2004, Ziffern 105-108; Stellungnahme Nr. 1/2006 zu dem Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung der Regeln für die Beteiligung von Unternehmen, Forschungszentren und Hochschulen an Maßnahmen des Siebten Rahmenprogramms sowie für die Verbreitung der Forschungsergebnisse (2007-2013) (ABl. C 203 vom 25.8.2006), Ziffer 57.

45

(46)  Vertrag zur Gründung der Europäischen Gemeinschaft, Artikel 173: „Zu Beginn jedes Jahres unterbreitet die Kommission dem Europäischen Parlament und dem Rat einen Bericht. Dieser Bericht erstreckt sich insbesondere auf die Tätigkeiten auf dem Gebiet der Forschung und technologischen Entwicklung und der Verbreitung der Ergebnisse dieser Tätigkeiten während des Vorjahres sowie auf das Arbeitsprogramm des laufenden Jahres.“

46

(47)  Ein systematischer Versuch, nach Projektabschluss Daten bei den Teilnehmern zu sammeln, wurde — abgesehen von konkreten Erhebungen im Rahmen von Evaluierungen — nicht unternommen. Der Verwendung von Erhebungen stand im Wege, dass die Teilnehmer — anders als bei zahlreichen nationalen FTE-Programmen (z. B. in Deutschland) — rechtlich nicht zur Vorlage entsprechender Analysedaten verpflichtet sind.

47

(48)  Sonderbericht Nr. 1/2004, Ziffer 94; Stellungnahme Nr. 1/2006, Ziffer 56.

48

(49)  Jahresbericht zum Haushaltsjahr 2006, Ziffer 7.33; Jahresbericht zum Haushaltsjahr 2005, Ziffern 7.8 und 7.29; Stellungnahme Nr. 1/2006, Ziffern 58-61.

49

(50)  CORDIS ist die einzige Datenbank mit Informationen zu Vorschlägen, Projekten und Ergebnissen, die für das gesamte Rahmenprogramm verwendet wird, mehrere Planungszeiträume umfasst und von außerhalb der Kommission zugänglich ist. Allerdings werden Daten zu Einzelprojekten in CORDIS nach Auswahl des Vorschlags häufig nicht aktualisiert. Bis einschließlich zum RP6 waren RP-Teilnehmer aus dem privaten und öffentlichen Sektor nicht verpflichtet, ihre Ergebnisse zu veröffentlichen (Europäischer Forschungsbeirat (EURAB), Scientific publication: policy on open access, Dezember 2006).

50

(51)  Hanne Foss Hansen, Choosing evaluation models: A discussion on evaluation design, Evaluation, Band 11 Nr. 4, 2005, S. 447-462.

51

(52)  Bis einschließlich zum RP6 waren Teilnehmer aus dem öffentlichen und privaten Sektor nicht zur Veröffentlichung ihrer wissenschaftlichen Ergebnisse verpflichtet. Im Dezember 2006 empfahl der EURAB die Schaffung eines kostenfreien Zugangs der Öffentlichkeit zu Ergebnissen von der Gemeinschaft geförderter Forschung durch obligatorische Veröffentlichung. Ferner wurde vorgeschlagen, dass die Kommission eine internetbasierte Sammlung für veröffentlichte Projektergebnisse einrichten solle (siehe EURAB, Scientific publication: policy on open access, Dezember 2006).

52

(53)  Es sei darauf hingewiesen, dass entsprechende Modelle für Prognosen zu den mikro- und makroökonomischen Auswirkungen des geplanten RP7 herangezogen wurden (siehe Europäische Kommission, Monitoring 2004 — Implementation of activities under the EC and Euratom framework and corresponding specific programmes, August 2005, S. 23-25). Allerdings lässt nichts darauf schließen, dass diese Abschätzung der möglichen wirtschaftlichen Auswirkungen des RP an einen Plan für eine Ex-post-Bewertung gekoppelt ist.

53

(54)  GD Informationsgesellschaft und Medien, „IST-FTE-Überwachung und Evaluierung: Ergebnisse und Auswirkungsindikatoren (2003-2004)“, 2005; „Innovationsnetze für die Entwicklung und Einführung der Informationsgesellschaft in Europa“, 2006.

54

(55)  GD Informationsgesellschaft und Medien, „ERAnets — Evaluation of Networks of Collaboration between participants in IST research and their evolution to collaborations in the European Research Area“ (Abschlussbericht), 2005; „Evaluation of progress towards a European Research Area for information society technologies“, 2005; „Innovationsnetze für die Entwicklung und Einführung der Informationsgesellschaft in Europa“, 2006.

55

(56)  GD Informationsgesellschaft und Medien, Rahmenvertrag für Folgenabschätzungen in Bezug auf Forschungstätigkeiten auf dem Gebiet der Technologien für die Informationsgesellschaft.

56

(57)  EURAB, Recommendations on Ex-Post Impact Assessment, Juli 2007.

57

(58)  Europäische Kommission, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003, Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004), Anhang I.

58

(59)  Europäische Kommission, The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report (1995).

59

(60)  Europäische Kommission, Design of an harmonized impact study methodology for the R&D EU Framework Programmes, 1992.

60

(61)  Europäische Kommission, Arbeitspapier der Dienststellen, The European Research Area: new perspectives, SEK(2007) 412/2 vom 4. April 2007, Abschnitt 3.3.3 ERA and the implications for evidence-based monitoring and evaluation, S. 93.

61

(62)  Es sei darauf hingewiesen, dass Finanzhilfevereinbarungen für Projekte während der gesamten Programmlaufzeit geschlossen werden, wobei die ersten Vereinbarungen im Allgemeinen am Ende des ersten Jahres der Laufzeit eines Programms in Kraft treten. Die Laufzeit dieser Finanzhilfevereinbarungen beträgt meist drei bis fünf Jahre, mit endgültigen Outputs kann infolgedessen frühestens nach vier bis sechs Jahren gerechnet werden.

62

Quelle: Europäischer Rechnungshof.

Quelle:

(63)  Europäische Kommission, Five-year Assessment of the European Union Research Framework Programmes, 1999-2003, Bericht des unabhängigen Expertengremiums unter Vorsitz von Erkki Ormala (15. Dezember 2004): Abschnitt 6 Evaluating the Framework Programme, S. 19.

63

(64)  Europäische Kommission, Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies (die so genannte „EPUB Toolbox“), herausgegeben von der Gemeinsamen Forschungsstelle (GFS), Institute for Prospective Technological Studies (IPTS) und Joanneum Research (August 2002), Zusammenfassung, S. 9 und 12.

64

(65)  Europäische Kommission, „Bewertung der Effizienz der neuen Instrumente des Sechsten Rahmenprogramms“, 21. Juni 2004, Bericht des hochrangigen Gremiums unabhängiger Sachverständiger unter Vorsitz von Professor Ramon Marimón, S. 20.

65

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France, Study on the use of evaluation results in the Commission: Final report, Dossier Nr. 1, Synthese und Anhänge, Mai 2005.

66

(67)  Dass Befragte des CREST-Ausschusses, die vielfach auch Mitglieder von Programmausschüssen sind, eher zufrieden waren, könnte auf ihre offizielle Funktion bei der Überwachung der Programmdurchführung zurückzuführen sein.

67

(68)  Europäische Kommission, Arbeitspapier der Dienststellen, Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities, SEK(2005) 587 vom 28. April 2005.

68

(69)  Europäische Kommission, GD Haushalt, Mitteilung an die Kommission von Frau Grybauskaitė im Einvernehmen mit Präsident Barroso, „Verstärkter Einsatz der Evaluierung bei Strategieentscheidungen“, SEK(2007) 213 vom 21. Februar 2007, S. 4.

69

---

ANHANG I

MESSUNG DER AUSWIRKUNGEN UND ERGEBNISSE ÖFFENTLICHER INTERVENTIONEN IM FTE-BEREICH

Nachstehend werden einige der wichtigsten methodischen Probleme bei der Messung der Auswirkungen und Ergebnisse öffentlicher Interventionen im FTE-Bereich aufgeführt.

| — | „Zuordnungsproblematik“: Zuordnungsprobleme manifestieren sich bei Evaluierungen und Leistungsmessungen. Sie sind eng mit der Frage der „Zusätzlichkeit“ verknüpft, also der Frage, ob die Änderungen nicht ohnehin eingetreten wären. Schwierigkeiten bei der Zuordnung der Ergebnisse zu einer konkreten öffentlichen Intervention sind auch durch zahlreiche externe Faktoren bedingt (etwa die Auswirkungen anderer Politiken oder Programme, Änderungen des Rechtsrahmens, gesellschaftliche Veränderungen usw.). Außerdem kann die Tatsache, dass die erwarteten Ergebnisse nicht erzielt werden, im Forschungsbereich auch ein Erfolg sein. Eine weitere Schwierigkeit besteht darin, dass die eindeutige Zuordnung von Outputs (ganz zu schweigen von Wirkungen und Auswirkungen) von Forschungstätigkeiten zu spezifischen Aspekten des FTE-Prozesses oder selbst zu einzelnen an den Forschungstätigkeiten beteiligten Einrichtungen offenkundig problematisch ist. |
| --- | --- |

—

„Zuordnungsproblematik“: Zuordnungsprobleme manifestieren sich bei Evaluierungen und Leistungsmessungen. Sie sind eng mit der Frage der „Zusätzlichkeit“ verknüpft, also der Frage, ob die Änderungen nicht ohnehin eingetreten wären. Schwierigkeiten bei der Zuordnung der Ergebnisse zu einer konkreten öffentlichen Intervention sind auch durch zahlreiche externe Faktoren bedingt (etwa die Auswirkungen anderer Politiken oder Programme, Änderungen des Rechtsrahmens, gesellschaftliche Veränderungen usw.). Außerdem kann die Tatsache, dass die erwarteten Ergebnisse nicht erzielt werden, im Forschungsbereich auch ein Erfolg sein. Eine weitere Schwierigkeit besteht darin, dass die eindeutige Zuordnung von Outputs (ganz zu schweigen von Wirkungen und Auswirkungen) von Forschungstätigkeiten zu spezifischen Aspekten des FTE-Prozesses oder selbst zu einzelnen an den Forschungstätigkeiten beteiligten Einrichtungen offenkundig problematisch ist.

| — | „Messproblematik“:







  — | „Datenverfügbarkeit“: Grob gesagt betreffen die meisten verfügbaren Daten, insbesondere die anhand von Programmcontrollingsystemen erhobenen Daten, die Inputs und Outputs der FTE-Tätigkeiten und nicht die Wirkungen oder Auswirkungen. |
| --- | --- | --- |

—

„Messproblematik“:

—

„Datenverfügbarkeit“: Grob gesagt betreffen die meisten verfügbaren Daten, insbesondere die anhand von Programmcontrollingsystemen erhobenen Daten, die Inputs und Outputs der FTE-Tätigkeiten und nicht die Wirkungen oder Auswirkungen.

| — | „Verständnis der Dynamik“: Aufgrund der offenkundigen Schwierigkeit, die Kausalzusammenhänge zwischen Inputs und Outputs herzustellen, sind die internen Mechanismen des Forschungsprozesses nicht klar; wegen des Fehlens einer expliziten Interventionslogik gilt der Prozess selbst vielfach als „Black Box“. |
| --- | --- |

—

„Verständnis der Dynamik“: Aufgrund der offenkundigen Schwierigkeit, die Kausalzusammenhänge zwischen Inputs und Outputs herzustellen, sind die internen Mechanismen des Forschungsprozesses nicht klar; wegen des Fehlens einer expliziten Interventionslogik gilt der Prozess selbst vielfach als „Black Box“.

| — | „Vergleichbarkeit der Ergebnisse“: Ergebnisse verschiedener Wissenschaftsgebiete lassen sich nur bedingt vergleichen und sollten daher generell im Kontext der spezifischen Programme und Teilprogramme interpretiert werden. Außerdem ist die Ergebnisbewertung bei der Grundlagenforschung schwieriger als bei der angewandten Forschung oder der technologischen Entwicklung. Dies ist vor allem darauf zurückzuführen, dass die Grundlagenforschung im Allgemeinen aus einmaligen, nicht reproduzierbaren Abläufen besteht. Selbst auf dem Gebiet der angewandten Forschung variieren die Ergebnisse beträchtlich und lassen sich daher nicht leicht vergleichen. |
| --- | --- |

—

„Vergleichbarkeit der Ergebnisse“: Ergebnisse verschiedener Wissenschaftsgebiete lassen sich nur bedingt vergleichen und sollten daher generell im Kontext der spezifischen Programme und Teilprogramme interpretiert werden. Außerdem ist die Ergebnisbewertung bei der Grundlagenforschung schwieriger als bei der angewandten Forschung oder der technologischen Entwicklung. Dies ist vor allem darauf zurückzuführen, dass die Grundlagenforschung im Allgemeinen aus einmaligen, nicht reproduzierbaren Abläufen besteht. Selbst auf dem Gebiet der angewandten Forschung variieren die Ergebnisse beträchtlich und lassen sich daher nicht leicht vergleichen.

| — | „Aggregation“: Es gestaltet sich schwierig, von den auf der niedrigeren Ebene erlangten Bewertungsergebnissen in Form von Outputs, Wirkungen und Auswirkungen auf die nächsthöhere Ebene zu schließen (etwa bei der Aggregation von Projektergebnissen ausgehend von Projektclustern über Programmkomponenten bis zur eigentlichen Programmebene). |
| --- | --- |

—

„Aggregation“: Es gestaltet sich schwierig, von den auf der niedrigeren Ebene erlangten Bewertungsergebnissen in Form von Outputs, Wirkungen und Auswirkungen auf die nächsthöhere Ebene zu schließen (etwa bei der Aggregation von Projektergebnissen ausgehend von Projektclustern über Programmkomponenten bis zur eigentlichen Programmebene).

| — | „Zweckmäßigkeit der Indikatoren“: Ferner stellt sich die Frage, ob die Bewerter das Richtige messen. Die Metrik muss auf einfach zu erfassenden Messgrößen basieren, schwer manipulierbar sein und das Verhalten in die gewünschte Richtung steuern. Dennoch lassen sich mit einem „messbaren“ Output-Indikator nicht zwangsläufig Schlussfolgerungen zu Wirkungen oder Auswirkungen ziehen. |
| --- | --- |

—

„Zweckmäßigkeit der Indikatoren“: Ferner stellt sich die Frage, ob die Bewerter das Richtige messen. Die Metrik muss auf einfach zu erfassenden Messgrößen basieren, schwer manipulierbar sein und das Verhalten in die gewünschte Richtung steuern. Dennoch lassen sich mit einem „messbaren“ Output-Indikator nicht zwangsläufig Schlussfolgerungen zu Wirkungen oder Auswirkungen ziehen.

| — | „Terminierungsproblematik“: Eine weitere Schwierigkeit stellt die beträchtliche Zeitspanne von der Forschungstätigkeit bis zur Entstehung von Outputs und Wirkungen dar, die Voraussetzung für eine Bewertung der Auswirkungen sind. Daten müssen langfristig im Zeitverlauf erhoben werden, damit aussagekräftige und fundierte Schlussfolgerungen gezogen werden können. Diese Bewertungszeiträume sind mit den Erwartungen und Bedürfnissen der Entscheidungsträger vielfach nicht vereinbar, sodass ein Kompromiss gefunden werden muss zwischen der frühen Bereitstellung von Daten für die politische Gestaltung und der Einräumung einer angemessen Zeitspanne, in der die Wirkungen sich entfalten können. |
| --- | --- |

—

„Terminierungsproblematik“: Eine weitere Schwierigkeit stellt die beträchtliche Zeitspanne von der Forschungstätigkeit bis zur Entstehung von Outputs und Wirkungen dar, die Voraussetzung für eine Bewertung der Auswirkungen sind. Daten müssen langfristig im Zeitverlauf erhoben werden, damit aussagekräftige und fundierte Schlussfolgerungen gezogen werden können. Diese Bewertungszeiträume sind mit den Erwartungen und Bedürfnissen der Entscheidungsträger vielfach nicht vereinbar, sodass ein Kompromiss gefunden werden muss zwischen der frühen Bereitstellung von Daten für die politische Gestaltung und der Einräumung einer angemessen Zeitspanne, in der die Wirkungen sich entfalten können.

| — | „Project fallacy“ (Projektfehlwahrnehmung): Bei der Evaluierung der Wirkungen und Auswirkungen von Einzelprojekten innerhalb eines Programms muss dem Dilemma Rechnung getragen werden, dass die technologischen und wissenschaftlichen Ergebnisse gewöhnlich durch Heranziehung zuvor durchgeführter Arbeiten erzielt wurden. Desgleichen können — noch ehe es zur Veröffentlichung und Nutzung der wissenschaftlichen Ergebnisse kommt — die Projektergebnisse für andere Arbeiten des Teilnehmers herangezogen werden. Ein Projekt ist daher nicht unbedingt ein geeigneter Evaluierungsrahmen, insbesondere im Hinblick auf längerfristige Wirkungen und Auswirkungen. |
| --- | --- |

—

„Project fallacy“ (Projektfehlwahrnehmung): Bei der Evaluierung der Wirkungen und Auswirkungen von Einzelprojekten innerhalb eines Programms muss dem Dilemma Rechnung getragen werden, dass die technologischen und wissenschaftlichen Ergebnisse gewöhnlich durch Heranziehung zuvor durchgeführter Arbeiten erzielt wurden. Desgleichen können — noch ehe es zur Veröffentlichung und Nutzung der wissenschaftlichen Ergebnisse kommt — die Projektergebnisse für andere Arbeiten des Teilnehmers herangezogen werden. Ein Projekt ist daher nicht unbedingt ein geeigneter Evaluierungsrahmen, insbesondere im Hinblick auf längerfristige Wirkungen und Auswirkungen.

| — | „Glaubwürdigkeit, Integrität und Unabhängigkeit“: Die Qualität einer Evaluierung wird weitgehend davon bestimmt, wie sehr sich die Evaluatoren dem Gegenstand verpflichtet fühlen. Dies erfordert einen Kompromiss zwischen Verständnis und Sachkenntnis auf der einen sowie Unabhängigkeit und Objektivität auf der anderen Seite. Ein weiteres Kriterium sind die Annahmen und Interessen der Entscheidungsträger sowie der Sinn und die Ziele der Evaluierung. |
| --- | --- |

—

„Glaubwürdigkeit, Integrität und Unabhängigkeit“: Die Qualität einer Evaluierung wird weitgehend davon bestimmt, wie sehr sich die Evaluatoren dem Gegenstand verpflichtet fühlen. Dies erfordert einen Kompromiss zwischen Verständnis und Sachkenntnis auf der einen sowie Unabhängigkeit und Objektivität auf der anderen Seite. Ein weiteres Kriterium sind die Annahmen und Interessen der Entscheidungsträger sowie der Sinn und die Ziele der Evaluierung.

---

ANHANG II

VORSCHRIFTEN FÜR PROGRAMMCONTROLLING UND EVALUIERUNG IN LEGISLATIVBESCHLÜSSEN UND -ENTSCHEIDUNGEN FÜR DIE RAHMENPROGRAMME 4-7

| RP4 (1995-1998)
   (1) | RP5 (1999-2002)
   (2) | RP6 (2003-2006)
   (3) | RP7 (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Beschlüsse und Entscheidungen zu den Rahmenprogrammen — Rat und Europäisches Parlament |
| Beschluss Nr. 1110/94/EG des Europäischen Parlaments und des Rates vom 26. April 1994 über das Vierte Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration (1994-1998): Artikel 4 | Beschluss Nr. 182/1999/EG des Europäischen Parlaments und des Rates vom 22. Dezember 1998 über das Fünfte Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration (1998-2002): Artikel 5 und 6 | Beschluss Nr. 1513/2002/EG des Europäischen Parlaments und des Rates vom 27. Juni 2002 über das Sechste Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration als Beitrag zur Verwirklichung des Europäischen Forschungsraums und zur Innovation (2002-2006): 20. Erwägungsgrund, Artikel 4 und 6 sowie Anhang III | Beschluss Nr. 1982/2006/EG des Europäischen Parlaments und des Rates vom 18. Dezember 2006 über das Siebte Rahmenprogramm der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007-2013): Artikel 7 |
| Überwachung |
| — | Ständige und systematische Überwachung der Durchführung mit angemessener Unterstützung seitens unabhängiger externer Sachverständiger im Hinblick auf die ursprünglichen Ziele (Artikel 4 Absatz 1) |

RP4 (1995-1998)
   (1)

RP5 (1999-2002)
   (2)

RP6 (2003-2006)
   (3)

RP7 (2007-2013)
   (4)

Beschlüsse und Entscheidungen zu den Rahmenprogrammen — Rat und Europäisches Parlament

Beschluss Nr. 1110/94/EG des Europäischen Parlaments und des Rates vom 26. April 1994 über das Vierte Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration (1994-1998): Artikel 4

Beschluss Nr. 182/1999/EG des Europäischen Parlaments und des Rates vom 22. Dezember 1998 über das Fünfte Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration (1998-2002): Artikel 5 und 6

Beschluss Nr. 1513/2002/EG des Europäischen Parlaments und des Rates vom 27. Juni 2002 über das Sechste Rahmenprogramm der Europäischen Gemeinschaft im Bereich der Forschung, technologischen Entwicklung und Demonstration als Beitrag zur Verwirklichung des Europäischen Forschungsraums und zur Innovation (2002-2006): 20. Erwägungsgrund, Artikel 4 und 6 sowie Anhang III

Beschluss Nr. 1982/2006/EG des Europäischen Parlaments und des Rates vom 18. Dezember 2006 über das Siebte Rahmenprogramm der Europäischen Gemeinschaft für Forschung, technologische Entwicklung und Demonstration (2007-2013): Artikel 7

Überwachung

—

Ständige und systematische Überwachung der Durchführung mit angemessener Unterstützung seitens unabhängiger externer Sachverständiger im Hinblick auf die ursprünglichen Ziele (Artikel 4 Absatz 1)

| — | In jedem Jahr mit Hilfe unabhängiger qualifizierter Sachverständiger ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme anhand der in Anhang I festgelegten Kriterien und der in Anhang II festgelegten wissenschaftlichen und technologischen Ziele (Artikel 5 Absatz 1) |
| --- | --- |

—

In jedem Jahr mit Hilfe unabhängiger qualifizierter Sachverständiger ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme anhand der in Anhang I festgelegten Kriterien und der in Anhang II festgelegten wissenschaftlichen und technologischen Ziele (Artikel 5 Absatz 1)

| — | Mithilfe unabhängiger, qualifizierter Sachverständiger [in jedem Jahr] ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme (Artikel 4 sowie Artikel 6 Absatz 1) |
| --- | --- |

—

Mithilfe unabhängiger, qualifizierter Sachverständiger [in jedem Jahr] ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme (Artikel 4 sowie Artikel 6 Absatz 1)

| — | Ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme (Artikel 7 Absatz 1) |
| --- | --- |

—

Ständige und systematische Überwachung der Durchführung des RP und seiner spezifischen Programme (Artikel 7 Absatz 1)

| — | Überprüfung, ob die Ziele, Prioritäten und Finanzmittel der jeweiligen Lage noch entsprechen, und erforderlichenfalls Vorlage von Vorschlägen zur Anpassung oder Ergänzung des RP und/oder der spezifischen Programme (Artikel 5 Absatz 1) |
| --- | --- |

—

Überprüfung, ob die Ziele, Prioritäten und Finanzmittel der jeweiligen Lage noch entsprechen, und erforderlichenfalls Vorlage von Vorschlägen zur Anpassung oder Ergänzung des RP und/oder der spezifischen Programme (Artikel 5 Absatz 1)

| — | Regelmäßige Überprüfung aller Forschungsmaßnahmen; dies beinhaltet insbesondere eine Kontrolle des Niveaus der forscherischen Spitzenleistung (Anhang III, Abschnitt 1 (Instrumente)) |
| --- | --- |

—

Regelmäßige Überprüfung aller Forschungsmaßnahmen; dies beinhaltet insbesondere eine Kontrolle des Niveaus der forscherischen Spitzenleistung (Anhang III, Abschnitt 1 (Instrumente))

| — | Regelmäßige Berichterstattung über diese Überwachung und Verbreitung der diesbezüglichen Ergebnisse (Artikel 7 Absatz 1) |
| --- | --- |

—

Regelmäßige Berichterstattung über diese Überwachung und Verbreitung der diesbezüglichen Ergebnisse (Artikel 7 Absatz 1)

Artikel 173 — Jährliche Berichte

| — | Ausführliche Berichterstattung über die Fortschritte bei der Durchführung des RP, insbesondere über die Verwirklichung seiner Ziele und Prioritäten, die in den einzelnen Kapiteln des Anhangs I niedergelegt sind; Informationen über finanzielle Aspekte und Verwendung der Instrumente sind ebenfalls einzubeziehen. Diese Angaben sind in den jährlichen Berichten enthalten, die die Kommission gemäß Artikel 173 des Vertrags vorzulegen hat (Artikel 4) |
| --- | --- |

—

Ausführliche Berichterstattung über die Fortschritte bei der Durchführung des RP, insbesondere über die Verwirklichung seiner Ziele und Prioritäten, die in den einzelnen Kapiteln des Anhangs I niedergelegt sind; Informationen über finanzielle Aspekte und Verwendung der Instrumente sind ebenfalls einzubeziehen. Diese Angaben sind in den jährlichen Berichten enthalten, die die Kommission gemäß Artikel 173 des Vertrags vorzulegen hat (Artikel 4)

Zwischenbewertung

| — | Überprüfung der mit dem Programm erzielten Fortschritte zur Mitte der Laufzeit des RP (Artikel 6) |
| --- | --- |

—

Überprüfung der mit dem Programm erzielten Fortschritte zur Mitte der Laufzeit des RP (Artikel 6)

| — | Auf der Grundlage der Evaluierungen der verschiedenen spezifischen Programme Unterbreitung einer Mitteilung an das Europäische Parlament und den Rat, gegebenenfalls zusammen mit einem Vorschlag zur Anpassung dieses Beschlusses (Artikel 6) |
| --- | --- |

—

Auf der Grundlage der Evaluierungen der verschiedenen spezifischen Programme Unterbreitung einer Mitteilung an das Europäische Parlament und den Rat, gegebenenfalls zusammen mit einem Vorschlag zur Anpassung dieses Beschlusses (Artikel 6)

| — | Bis 2010 mit Unterstützung externer Sachverständiger auf der Grundlage der nachträglichen Evaluierung des vorhergehenden RP Vornahme einer nachweisgestützten Zwischenbewertung dieses RP und seiner spezifischen Programme. Die Bewertung erstreckt sich insbesondere auf die Qualität der laufenden Forschungsmaßnahmen, die Qualität der Durchführung und der Verwaltung sowie auf die Fortschritte bei der Verwirklichung der Ziele (Artikel 7 Absatz 2) |
| --- | --- |

—

Bis 2010 mit Unterstützung externer Sachverständiger auf der Grundlage der nachträglichen Evaluierung des vorhergehenden RP Vornahme einer nachweisgestützten Zwischenbewertung dieses RP und seiner spezifischen Programme. Die Bewertung erstreckt sich insbesondere auf die Qualität der laufenden Forschungsmaßnahmen, die Qualität der Durchführung und der Verwaltung sowie auf die Fortschritte bei der Verwirklichung der Ziele (Artikel 7 Absatz 2)

| — | Übermittlung der Schlussfolgerungen der Bewertung zusammen mit den Bemerkungen der Kommission und etwaigen Vorschlägen für die Anpassung des RP an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 7 Absatz 2) |
| --- | --- |

—

Übermittlung der Schlussfolgerungen der Bewertung zusammen mit den Bemerkungen der Kommission und etwaigen Vorschlägen für die Anpassung des RP an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 7 Absatz 2)

| — | Regelmäßige Unterrichtung des Europäischen Parlaments und des Rates über die Gesamtfortschritte bei der Ausführung des RP und der spezifischen Programme (Artikel 5 Absatz 4) |
| --- | --- |

—

Regelmäßige Unterrichtung des Europäischen Parlaments und des Rates über die Gesamtfortschritte bei der Ausführung des RP und der spezifischen Programme (Artikel 5 Absatz 4)

| — | Regelmäßige Berichterstattung an das Europäische Parlament und den Rat über den Stand der Durchführung des RP (20. Erwägungsgrund) |
| --- | --- |

—

Regelmäßige Berichterstattung an das Europäische Parlament und den Rat über den Stand der Durchführung des RP (20. Erwägungsgrund)

| — | Vorlage eines Sachstandsberichts (vor der Zwischenbewertung), sobald genügend Daten vorhanden sind; der Bericht enthält erste Angaben zur Wirksamkeit der neuen Maßnahmen, die durch das RP7 eingeführt wurden, und zu den Bemühungen zur Vereinfachung (Artikel 7 Absatz 2) |
| --- | --- |

—

Vorlage eines Sachstandsberichts (vor der Zwischenbewertung), sobald genügend Daten vorhanden sind; der Bericht enthält erste Angaben zur Wirksamkeit der neuen Maßnahmen, die durch das RP7 eingeführt wurden, und zu den Bemühungen zur Vereinfachung (Artikel 7 Absatz 2)

| — | Im Jahr 2004 wird die Wirksamkeit der einzelnen Instrumente bei der Durchführung dieses Programms von unabhängigen Sachverständigen bewertet (Anhang III Abschnitt 1 (Instrumente)) |
| --- | --- |

—

Im Jahr 2004 wird die Wirksamkeit der einzelnen Instrumente bei der Durchführung dieses Programms von unabhängigen Sachverständigen bewertet (Anhang III Abschnitt 1 (Instrumente))

Fünfjahresbewertung

| — | Beauftragung unabhängiger qualifizierter Experten mit der externen Bewertung der Verwaltung und Durchführung der gemeinschaftlichen FTE-Maßnahmen während der letzten fünf Jahre vor dieser Bewertung (Artikel 4 Absatz 2) |
| --- | --- |

—

Beauftragung unabhängiger qualifizierter Experten mit der externen Bewertung der Verwaltung und Durchführung der gemeinschaftlichen FTE-Maßnahmen während der letzten fünf Jahre vor dieser Bewertung (Artikel 4 Absatz 2)

| — | Beauftragung unabhängiger hochqualifizierter Sachverständiger mit einer externen Bewertung der Durchführung und der Ergebnisse der gemeinschaftlichen Maßnahmen während der letzten fünf Jahre vor dieser Bewertung, wobei die Kriterien des Anhangs I und die wissenschaftlichen und technologischen Ziele des Anhangs II zugrunde gelegt werden (Artikel 5 Absatz 2) |
| --- | --- |

—

Beauftragung unabhängiger hochqualifizierter Sachverständiger mit einer externen Bewertung der Durchführung und der Ergebnisse der gemeinschaftlichen Maßnahmen während der letzten fünf Jahre vor dieser Bewertung, wobei die Kriterien des Anhangs I und die wissenschaftlichen und technologischen Ziele des Anhangs II zugrunde gelegt werden (Artikel 5 Absatz 2)

| — | Beauftragung unabhängiger, hochqualifizierter Sachverständiger mit einer externen Bewertung der Durchführung und der Ergebnisse der gemeinschaftlichen Maßnahmen in den fünf Jahren vor dieser Bewertung (Artikel 6 Absatz 2) (bzw. der durchgeführten Maßnahmen, wobei der Beitrag des RP6 zur Verwirklichung des Europäischen Forschungsraums berücksichtigt wird (20. Erwägungsgrund)) |
| --- | --- |

—

Beauftragung unabhängiger, hochqualifizierter Sachverständiger mit einer externen Bewertung der Durchführung und der Ergebnisse der gemeinschaftlichen Maßnahmen in den fünf Jahren vor dieser Bewertung (Artikel 6 Absatz 2) (bzw. der durchgeführten Maßnahmen, wobei der Beitrag des RP6 zur Verwirklichung des Europäischen Forschungsraums berücksichtigt wird (20. Erwägungsgrund))

| — | Übermittlung der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat und den Wirtschafts- und Sozialausschuss, bevor der Vorschlag für das nachfolgende RP vorgelegt wird (Artikel 4 Absatz 2) |
| --- | --- |

—

Übermittlung der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat und den Wirtschafts- und Sozialausschuss, bevor der Vorschlag für das nachfolgende RP vorgelegt wird (Artikel 4 Absatz 2)

| — | Übermittlung der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen, bevor der Vorschlag für das nachfolgende RP vorgelegt wird (Artikel 5 Absatz 2) |
| --- | --- |

—

Übermittlung der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen, bevor der Vorschlag für das nachfolgende RP vorgelegt wird (Artikel 5 Absatz 2)

| — | Übermittlung der Schlussfolgerungen dieser Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 6 Absatz 2) rechtzeitig und bevor der Vorschlag für das nachfolgende RP vorgelegt wird (20. Erwägungsgrund) |
| --- | --- |

—

Übermittlung der Schlussfolgerungen dieser Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 6 Absatz 2) rechtzeitig und bevor der Vorschlag für das nachfolgende RP vorgelegt wird (20. Erwägungsgrund)

Abschließende Bewertung

[Siehe Entscheidung über das entsprechende spezifische Programm]

| — | Durchführung einer externen Bewertung der Grundlagen, der Durchführung und der Ergebnisse des Programms zwei Jahre nach Abschluss des RP7 (d. h. 2015) von unabhängigen Sachverständigen (Artikel 7 Absatz 3) |
| --- | --- |

—

Durchführung einer externen Bewertung der Grundlagen, der Durchführung und der Ergebnisse des Programms zwei Jahre nach Abschluss des RP7 (d. h. 2015) von unabhängigen Sachverständigen (Artikel 7 Absatz 3)

| — | Übermittlung der Schlussfolgerungen der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 7 Absatz 3) |
| --- | --- |

—

Übermittlung der Schlussfolgerungen der Bewertung zusammen mit den Bemerkungen der Kommission an das Europäische Parlament, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen (Artikel 7 Absatz 3)

Unabhängige Sachverständige

| — | Gewährleistung bei der Auswahl der unabhängigen Sachverständigen, dass der Wissenschaftssektor, die Industrie und der Kreis der Nutzer ausgewogen berücksichtigt werden, und Bekanntmachung der Namen der Sachverständigen sowie der Qualifikation jedes einzelnen nach ihrer Ernennung (Artikel 5 Absatz 3)
  [Weitere Vorschriften für unabhängige Sachverständige sind Artikel 9 des Beschlusses 1999/65/EG des Rates zu entnehmen] |
| --- | --- |

—

Gewährleistung bei der Auswahl der unabhängigen Sachverständigen, dass der Wissenschaftssektor, die Industrie und der Kreis der Nutzer ausgewogen berücksichtigt werden, und Bekanntmachung der Namen der Sachverständigen sowie der Qualifikation jedes einzelnen nach ihrer Ernennung (Artikel 5 Absatz 3)

[Weitere Vorschriften für unabhängige Sachverständige sind Artikel 9 des Beschlusses 1999/65/EG des Rates zu entnehmen]

| — | Die Kommission bestellt unabhängige Sachverständige für die im sechsten Rahmenprogramm und in den spezifischen Programmen vorgesehenen Bewertungen sowie für die in Artikel 10 Absatz 6 und Artikel 18 Absatz 1 Unterabsatz 2 genannten Unterstützungsaufgaben. |
| --- | --- |

—

Die Kommission bestellt unabhängige Sachverständige für die im sechsten Rahmenprogramm und in den spezifischen Programmen vorgesehenen Bewertungen sowie für die in Artikel 10 Absatz 6 und Artikel 18 Absatz 1 Unterabsatz 2 genannten Unterstützungsaufgaben.

| — | Sie kann außerdem Gruppen unabhängiger Sachverständiger bilden, die sie bei der Umsetzung der gemeinschaftlichen Forschungspolitik in der Praxis beraten. |
| --- | --- |

—

Sie kann außerdem Gruppen unabhängiger Sachverständiger bilden, die sie bei der Umsetzung der gemeinschaftlichen Forschungspolitik in der Praxis beraten.

| — | [Vorschriften für unabhängige Sachverständige sind Artikel 11 der Verordnung (EG) Nr. 2321/2002 zu entnehmen] |
| --- | --- |

—

[Vorschriften für unabhängige Sachverständige sind Artikel 11 der Verordnung (EG) Nr. 2321/2002 zu entnehmen]

Beispiel für eine Entscheidung über ein spezifisches Programm — Rat

Entscheidung 94/801/EG des Rates vom 23. November 1994: Artikel 4

Entscheidung 1999/168/EG des Rates vom 25. Januar 1999: Artikel 4 und 6

Entscheidungen 2002/834/EG und 2002/835/EG des Rates vom 30. September 2002: Artikel 8

Entscheidung 2006/971/EG des Rates vom 19. Dezember 2006 über das spezifische Programm „Zusammenarbeit“: Artikel 8

Überwachung

| — | Mithilfe unabhängiger externer Experten kontinuierliche und systematische Überwachung der Fortschritte des Programms (Artikel 4 Absatz 1) |
| --- | --- |

—

Mithilfe unabhängiger externer Experten kontinuierliche und systematische Überwachung der Fortschritte des Programms (Artikel 4 Absatz 1)

| — | Mit entsprechender Unterstützung durch unabhängige externe Sachverständige Prüfung des Standes der Durchführung des spezifischen Programms und gegebenenfalls Vorlage von Anpassungsvorschlägen an den Rat gemäß Artikel 5 Absatz 1 des Beschlusses über das RP5 (Artikel 4 Buchstabe a) |
| --- | --- |

—

Mit entsprechender Unterstützung durch unabhängige externe Sachverständige Prüfung des Standes der Durchführung des spezifischen Programms und gegebenenfalls Vorlage von Anpassungsvorschlägen an den Rat gemäß Artikel 5 Absatz 1 des Beschlusses über das RP5 (Artikel 4 Buchstabe a)

| — | Veranlassung der in Artikel 6 des RP6 vorgesehenen unabhängigen Überwachung und Bewertung der Tätigkeiten auf den unter das spezifische Programm fallenden Gebieten (Artikel 8 Absatz 2) |
| --- | --- |

—

Veranlassung der in Artikel 6 des RP6 vorgesehenen unabhängigen Überwachung und Bewertung der Tätigkeiten auf den unter das spezifische Programm fallenden Gebieten (Artikel 8 Absatz 2)

| — | Veranlassung der in Artikel 7 des Rahmenprogramms vorgesehenen unabhängigen Überwachung, Bewertung und Überprüfung der Maßnahmen auf den unter das spezifische Programm fallenden Gebieten (Artikel 9) |
| --- | --- |

—

Veranlassung der in Artikel 7 des Rahmenprogramms vorgesehenen unabhängigen Überwachung, Bewertung und Überprüfung der Maßnahmen auf den unter das spezifische Programm fallenden Gebieten (Artikel 9)

| — | Dem Programmausschuss gemäß Artikel 8 Absatz 4 von der Kommission vorzulegende Angaben zur Überwachung sind in Anhang V aufgeführt |
| --- | --- |

—

Dem Programmausschuss gemäß Artikel 8 Absatz 4 von der Kommission vorzulegende Angaben zur Überwachung sind in Anhang V aufgeführt

Artikel 173 — Jährliche Berichte

| — | Regelmäßige Berichterstattung gemäß Artikel 4 des Beschlusses über das RP6 über die Durchführung des spezifischen Programms, einschließlich der Informationen über finanzielle Aspekte und der Verwendung der Instrumente (Artikel 8 Absatz 1) |
| --- | --- |

—

Regelmäßige Berichterstattung gemäß Artikel 4 des Beschlusses über das RP6 über die Durchführung des spezifischen Programms, einschließlich der Informationen über finanzielle Aspekte und der Verwendung der Instrumente (Artikel 8 Absatz 1)

| — | Aufnahme der wichtigsten Ergebnisse [in Bezug auf die Fazilität für Finanzierungen auf Risikoteilungsbasis] in den jährlichen Bericht über FTE-Tätigkeiten, den die Kommission dem Europäischen Parlament und dem Rat gemäß Artikel 173 des Vertrags unterbreitet (Anhang III) |
| --- | --- |

—

Aufnahme der wichtigsten Ergebnisse [in Bezug auf die Fazilität für Finanzierungen auf Risikoteilungsbasis] in den jährlichen Bericht über FTE-Tätigkeiten, den die Kommission dem Europäischen Parlament und dem Rat gemäß Artikel 173 des Vertrags unterbreitet (Anhang III)

Fünfjahresbewertung

| — | Beauftragung unabhängiger Experten mit der externen Bewertung der Maßnahmen in den unter das Programm fallenden Bereichen und deren Verwaltung während der letzten fünf Jahre vor der Bewertung (Artikel 4 Absatz 2) |
| --- | --- |

—

Beauftragung unabhängiger Experten mit der externen Bewertung der Maßnahmen in den unter das Programm fallenden Bereichen und deren Verwaltung während der letzten fünf Jahre vor der Bewertung (Artikel 4 Absatz 2)

| — | Veranlassung der in Artikel 5 Absatz 2 des Beschlusses über das RP5 vorgesehenen externen Bewertung der Maßnahmen in den Bereichen des spezifischen Programms (Artikel 4 Buchstabe b) |
| --- | --- |

—

Veranlassung der in Artikel 5 Absatz 2 des Beschlusses über das RP5 vorgesehenen externen Bewertung der Maßnahmen in den Bereichen des spezifischen Programms (Artikel 4 Buchstabe b)

Abschließende Bewertung

| — | Bei Abschluss der einzelnen spezifischen Programme Durchführung einer unabhängigen Endbewertung, bei der die erzielten Ergebnisse mit den festgelegten Zielen verglichen werden (Artikel 4 Absatz 3) |
| --- | --- |

—

Bei Abschluss der einzelnen spezifischen Programme Durchführung einer unabhängigen Endbewertung, bei der die erzielten Ergebnisse mit den festgelegten Zielen verglichen werden (Artikel 4 Absatz 3)

| — | Übermittlung dieser Bewertung an das Europäische Parlament, den Rat und den Wirtschafts- und Sozialausschuss (Artikel 4 Absatz 3) |
| --- | --- |

—

Übermittlung dieser Bewertung an das Europäische Parlament, den Rat und den Wirtschafts- und Sozialausschuss (Artikel 4 Absatz 3)

Unabhängige Sachverständige

| — | Ausarbeitung des Auftrags für die externe Bewertung gemäß Artikel 5 Absatz 2 des Beschlusses über das RP5 (Artikel 6 Absatz 2) |
| --- | --- |

—

Ausarbeitung des Auftrags für die externe Bewertung gemäß Artikel 5 Absatz 2 des Beschlusses über das RP5 (Artikel 6 Absatz 2)

Kerninformationen zur RP-Struktur

| — | RP4 (EG): 7 spezifische Programme mit 17 Teilprogrammen und zwei gebündelten Bereichen (Cluster) |
| --- | --- |

—

RP4 (EG): 7 spezifische Programme mit 17 Teilprogrammen und zwei gebündelten Bereichen (Cluster)

| — | RP5 (EG): 7 spezifische Programme, davon vier thematische und drei horizontale Programme |
| --- | --- |

—

RP5 (EG): 7 spezifische Programme, davon vier thematische und drei horizontale Programme

| — | RP6 (EG): 20 Programme, davon sind zehn unter sieben thematischen Prioritäten zusammengefasst, vier Programme beziehen sich auf übergreifende Forschungsmaßnahmen im Rahmen des spezifischen Programms „Bündelung und Integration der Gemeinschaftsforschung“. Das spezifische Programm „Ausgestaltung des Europäischen Forschungsraums“ umfasst vier Programme, das spezifische Programm „Stärkung der Grundpfeiler des Europäischen Forschungsraums“ umfasst zwei Programme. |
| --- | --- |

—

RP6 (EG): 20 Programme, davon sind zehn unter sieben thematischen Prioritäten zusammengefasst, vier Programme beziehen sich auf übergreifende Forschungsmaßnahmen im Rahmen des spezifischen Programms „Bündelung und Integration der Gemeinschaftsforschung“. Das spezifische Programm „Ausgestaltung des Europäischen Forschungsraums“ umfasst vier Programme, das spezifische Programm „Stärkung der Grundpfeiler des Europäischen Forschungsraums“ umfasst zwei Programme.

| — | RP7 (EG): 24 spezifische Teilprogramme, davon sind zehn im spezifischen Programm „Zusammenarbeit“ zusammengefasst, eines bezieht sich auf das spezifische Programm „Ideen“, fünf Teilprogramme fallen in das spezifische Programm „Menschen“ und acht Teilprogramme in das spezifische Programm „Kapazitäten“, wovon eines den Maßnahmen der GFS außerhalb des Nuklearbereichs gewidmet ist). |
| --- | --- |

—

RP7 (EG): 24 spezifische Teilprogramme, davon sind zehn im spezifischen Programm „Zusammenarbeit“ zusammengefasst, eines bezieht sich auf das spezifische Programm „Ideen“, fünf Teilprogramme fallen in das spezifische Programm „Menschen“ und acht Teilprogramme in das spezifische Programm „Kapazitäten“, wovon eines den Maßnahmen der GFS außerhalb des Nuklearbereichs gewidmet ist).

| — | Gesamtetat (EG): 11 046 Millionen Euro (d. h. 2 761 Millionen Euro/Jahr) |
| --- | --- |

—

Gesamtetat (EG): 11 046 Millionen Euro (d. h. 2 761 Millionen Euro/Jahr)

| — | Gesamtetat (EG): 13 700 Millionen Euro (d. h. 3 425 Millionen Euro/Jahr; +24 %) |
| --- | --- |

—

Gesamtetat (EG): 13 700 Millionen Euro (d. h. 3 425 Millionen Euro/Jahr; +24 %)

| — | Gesamtetat (EG): 16 270 Millionen Euro (d. h. 4 061 Millionen Euro/Jahr; +19 %) nach der Erweiterung auf 25 Mitgliedstaaten aufgestockt auf |
| --- | --- |

—

Gesamtetat (EG): 16 270 Millionen Euro (d. h. 4 061 Millionen Euro/Jahr; +19 %) nach der Erweiterung auf 25 Mitgliedstaaten aufgestockt auf

| — | Gesamtetat (EG): 17 883 Millionen Euro (d. h. 4 447 Millionen Euro/Jahr; +10 %) |
| --- | --- |

—

Gesamtetat (EG): 17 883 Millionen Euro (d. h. 4 447 Millionen Euro/Jahr; +10 %)

| — | Gesamtetat (EG): 50 521 Millionen Euro d. h. 7 217 Millionen Euro/Jahr; +62 %) |
| --- | --- |

—

Gesamtetat (EG): 50 521 Millionen Euro d. h. 7 217 Millionen Euro/Jahr; +62 %)

| — | 7 Generaldirektionen: Forschung, Informationsgesellschaft, Energie, Verkehr, Fischerei, Landwirtschaft, Unternehmen |
| --- | --- |

—

7 Generaldirektionen: Forschung, Informationsgesellschaft, Energie, Verkehr, Fischerei, Landwirtschaft, Unternehmen

| — | 5 Generaldirektionen: RTD, Informationsgesellschaft, Energie und Verkehr, Fischerei, Unternehmen |
| --- | --- |

—

5 Generaldirektionen: RTD, Informationsgesellschaft, Energie und Verkehr, Fischerei, Unternehmen

| — | 4 Generaldirektionen: RTD, Informationsgesellschaft, Energie und Verkehr, Unternehmen |
| --- | --- |

—

4 Generaldirektionen: RTD, Informationsgesellschaft, Energie und Verkehr, Unternehmen

| — | 5 Generaldirektionen: RTD, Informationsgesellschaft und Medien, Energie und Verkehr, Unternehmen und Industrie, Gemeinsame Forschungsstelle; hinzu kommen der Europäische Forschungsrat und Exekutivagenturen |
| --- | --- |

—

5 Generaldirektionen: RTD, Informationsgesellschaft und Medien, Energie und Verkehr, Unternehmen und Industrie, Gemeinsame Forschungsstelle; hinzu kommen der Europäische Forschungsrat und Exekutivagenturen

---

(1)  RP4: Informations- und Kommunikationstechnologien (Fortgeschrittene Kommunikationstechnologien und -dienstleistungen — Advanced Communications Technologies and Services (ACTS); Informationstechnologien (ESPRIT); Telematikanwendungen; Industrielle Technologien (industrielle und Werkstofftechnologien (BRITE/EURAM); Programm für Normung, Messtechnik und Prüfung (SMT)); Umwelt (Umwelt und Klima, Meereswissenschaften und -technologien (MAST III)); Biowissenschaften und -technologien (Biotechnologie BIOTECH 2), Biomedizin und Gesundheitswesen (BIOMED 2), Landwirtschaft und Fischerei (FAIR), Ethische, rechtliche und soziale Aspekte (ELSA)); Energie (Forschung und Entwicklung (JOULE), Demonstration (THERMIE)); Verkehr (Verkehrsforschungsprogramm), Sozioökonomische Schwerpunktforschung (Sozioökonomische Schwerpunktforschung (TSER), Europäisches Netz für Technologiebewertung (European Technology Assessment Network (ETAN)); Zusammenarbeit mit Drittländern und internationalen Organisationen (Internationale Zusammenarbeit (INCO)); Verbreitung und Nutzung von Ergebnissen (Programm Innovation); Förderung der Ausbildung und Mobilität von Forschern (Ausbildung und Mobilität der Forscher (TMR), Vereinigung der Marie-Curie-Stipendiaten).

(2)  RP5: Vier thematische Programme (Lebensqualität und Management lebender Ressourcen (Lebensqualität), Benutzerfreundliche Informationsgesellschaft (IST), Wettbewerbsorientiertes und nachhaltiges Wachstum (GROWTH), Energie, Umwelt und nachhaltige Entwicklung (EESD)); drei horizontale Programme (Sicherung der internationalen Stellung der Gemeinschaftsforschung (INCO 2), Förderung der Innovation und der Einbeziehung von KMU (Innovation/KMU), Ausbau des Potenzials an Humanressourcen in der Forschung und Verbesserung der sozioökonomischen Wissensgrundlage (Improving)).

(3)  RP6:„Bündelung und Integration der Forschung der Europäischen Gemeinschaft“

| — | sieben thematische Prioritäten, die auf zehn Programme verteilt sind: Biowissenschaften, Genomik und Biotechnologie im Dienste der Gesundheit (einschließlich Fortgeschrittene Genomik und ihre Anwendungen für die Gesundheit, Bekämpfung schwerer Krankheiten), Technologien für die Informationsgesellschaft, Nanotechnologien und -wissenschaften, wissensbasierte multifunktionale Werkstoffe sowie neue Produktionsverfahren und -anlagen, Luft- und Raumfahrt, Lebensmittelqualität und -sicherheit, nachhaltige Entwicklung, globale Veränderungen und Ökosysteme (einschließlich Nachhaltige Energiesysteme, Nachhaltiger Land- und Seeverkehr, Globale Veränderungen und Ökosysteme), Bürger und Staat in der Wissensgesellschaft; |
| --- | --- |

—

sieben thematische Prioritäten, die auf zehn Programme verteilt sind: Biowissenschaften, Genomik und Biotechnologie im Dienste der Gesundheit (einschließlich Fortgeschrittene Genomik und ihre Anwendungen für die Gesundheit, Bekämpfung schwerer Krankheiten), Technologien für die Informationsgesellschaft, Nanotechnologien und -wissenschaften, wissensbasierte multifunktionale Werkstoffe sowie neue Produktionsverfahren und -anlagen, Luft- und Raumfahrt, Lebensmittelqualität und -sicherheit, nachhaltige Entwicklung, globale Veränderungen und Ökosysteme (einschließlich Nachhaltige Energiesysteme, Nachhaltiger Land- und Seeverkehr, Globale Veränderungen und Ökosysteme), Bürger und Staat in der Wissensgesellschaft;

| — | Übergreifende Forschungsmaßnahmen auf einem breiteren Feld der Forschung, die auf vier Programme verteilt sind: Unterstützung der Politiken und Planung im Vorgriff auf den künftigen Wissenschafts- und Technologiebedarf, Horizontale Forschungstätigkeiten mit Beteiligung von KMU, Spezifische Maßnahmen zur Unterstützung der internationalen Zusammenarbeit; Maßnahmen der Gemeinsamen Forschungsstelle (GFS) außerhalb des Nuklearbereichs; „Ausgestaltung des Europäischen Forschungsraums“ mit vier Programmen: Forschung und Innovation, Humanressourcen, Forschungsinfrastrukturen, Wissenschaft und Gesellschaft; „Stärkung der Grundpfeiler des Europäischen Forschungsraums“ mit zwei Programmen: Förderung der Koordinierung der Tätigkeiten, Förderung einer kohärenten Entwicklung der Politik. |
| --- | --- |

—

Übergreifende Forschungsmaßnahmen auf einem breiteren Feld der Forschung, die auf vier Programme verteilt sind: Unterstützung der Politiken und Planung im Vorgriff auf den künftigen Wissenschafts- und Technologiebedarf, Horizontale Forschungstätigkeiten mit Beteiligung von KMU, Spezifische Maßnahmen zur Unterstützung der internationalen Zusammenarbeit; Maßnahmen der Gemeinsamen Forschungsstelle (GFS) außerhalb des Nuklearbereichs; „Ausgestaltung des Europäischen Forschungsraums“ mit vier Programmen: Forschung und Innovation, Humanressourcen, Forschungsinfrastrukturen, Wissenschaft und Gesellschaft; „Stärkung der Grundpfeiler des Europäischen Forschungsraums“ mit zwei Programmen: Förderung der Koordinierung der Tätigkeiten, Förderung einer kohärenten Entwicklung der Politik.

(4)  RP7: Spezifisches Programm „Zusammenarbeit“ mit zehn Teilprogrammen (Gesundheit; Lebensmittel, Landwirtschaft und Biotechnolgoie; Informations- und Kommunikationstechnologien; Nanowissenschaften, Nanotechnologien, Werkstoffe und neue Produktionstechnologien; Energie; Umwelt (einschließlich Klimawandel); Verkehr (einschließlich Luftfahrt); Sozial-, Wirtschafts- und Geisteswissenschaften; Sicherheit; Weltraum), spezifisches Programm „Ideen“ mit einem Teilprogramm (Europäischer Forschungsrat), spezifisches Programm „Menschen“ mit fünf Teilprogrammen (Erstausbildung; lebenslange Ausbildung; Industrie und Hochschulen; internationale Dimension; Spezielle Maßnahmen), spezifisches Programm „Kapazitäten“ mit acht Teilprogrammen (Forschungsinfrastrukturen, Forschung zugunsten der KMU, Wissensorientierte Regionen; Forschungspotenzial; Wissenschaft und Gesellschaft; Kohärente Entwicklung forschungspolitischer Konzepte; Internationale Zusammenarbeit; Maßnahmen der Gemeinsamen Forschungsstelle außerhalb des Nuklearbereichs).

---

ANHANG III

HAUPTUNTERSCHIEDE BEI DER EX-POST-EVALUIERUNG VON FORSCHUNGSPROGRAMMEN ZWISCHEN DER EU (RP4-RP6), DEN USA UND KANADA

| | EU (RP4–RP6) | USA | Kanada |
| --- | --- | --- | --- |
| Systematische Aspekte |
| Interventionslogik | nicht explizit | größtenteils vorhanden, implizit von PART (1) verlangt | von RMAF (2) als Teil des Programmvorschlags verlangt |
| Evaluierungsstrategie | nicht umfassend | von PART (1) verlangt | von RMAF (2) als Teil des Programmvorschlags verlangt |
| Spezifizierung der erwarteten Ergebnisse | nein | von PART (1) verlangt (u. a. mit quantifizierbaren Indikatoren) | von RMAF (2) als Teil des Programmvorschlags verlangt |
| Evaluierungsfragen gestellt von | Kommission als Programmverwalter | Agentur als Programmverwalter (Bewertung erfolgt im Rahmen des OMB) | Agentur als Programmverwalter
  (Bewertung erfolgt im Rahmen des TBS) |
| Organisatorische Aspekte |
| Konzeptionsphase | während des Planungszeitraums | während des Planungszeitraums | vor Programmstart abgeschlossen |
| Heranziehung von Gremien | „Ad-hoc“-Gremien für spezifische Evaluierungsrunden | bestimmt sich nach Agentur/Programm | Dauergremien als Ständige Ausschüsse |
| Periodizität | terminiert (an den Planungszeitraum geknüpft, erstreckt sich auf die vorangegangenen 5 Jahre) | 2- bis 3-Jahresturnus
  (abhängig vom Zeitpunkt der Mittelbewilligung) | bei Neuauflage des Programms |

EU (RP4–RP6)

USA

Kanada

Systematische Aspekte

Interventionslogik

nicht explizit

größtenteils vorhanden, implizit von PART (1) verlangt

von RMAF (2) als Teil des Programmvorschlags verlangt

Evaluierungsstrategie

nicht umfassend

von PART (1) verlangt

von RMAF (2) als Teil des Programmvorschlags verlangt

Spezifizierung der erwarteten Ergebnisse

nein

von PART (1) verlangt (u. a. mit quantifizierbaren Indikatoren)

von RMAF (2) als Teil des Programmvorschlags verlangt

Evaluierungsfragen gestellt von

Kommission als Programmverwalter

Agentur als Programmverwalter (Bewertung erfolgt im Rahmen des OMB)

Agentur als Programmverwalter

(Bewertung erfolgt im Rahmen des TBS)

Organisatorische Aspekte

Konzeptionsphase

während des Planungszeitraums

während des Planungszeitraums

vor Programmstart abgeschlossen

Heranziehung von Gremien

„Ad-hoc“-Gremien für spezifische Evaluierungsrunden

bestimmt sich nach Agentur/Programm

Dauergremien als Ständige Ausschüsse

Periodizität

terminiert (an den Planungszeitraum geknüpft, erstreckt sich auf die vorangegangenen 5 Jahre)

2- bis 3-Jahresturnus

(abhängig vom Zeitpunkt der Mittelbewilligung)

bei Neuauflage des Programms

---

(1)  Programme Assessment Rating Tool (PART) seit 2002: siehe Office of Management and Budget (OMB), Executive Office of the President, USA.

(2)  Results-based Management and Accountability Framework (RMAF): siehe Treasury Board of Canada Secretariat (TBS).

---

ANHANG IV

MÖGLICHE GREMIENSTRUKTUR FÜR DAS RP7

Image

---

ANTWORTEN DER KOMMISSION

| I. | Die FTE-Rahmenprogramme (RP) der Gemeinschaft haben sich in den letzten Jahrzehnten zu einem umfangreichen, aber kohärenten System von Mechanismen zur Förderung von Forschern in den 27 EU-Mitgliedstaaten, den assoziierten Ländern und darüber hinaus entwickelt.
  Die RP stellen heute das weltweit größte System der öffentlichen multinationalen Forschungsförderung dar.
  Auf die RP entfallen derzeit rund 5 % der gesamten öffentlichen Forschungsförderung der EU. Die finanzielle Beteiligung der Gemeinschaft wird beim RP7 um etwa 60 % über derjenigen des RP6 liegen.
  Die Bewertung eines derart komplexen Systems stellt für alle betroffenen Akteure eine besondere Herausforderung dar. In den letzten Jahren, und insbesondere in jüngster Zeit mit dem Anlaufen des RP7 im Jahr 2007, wurden die Bewertungs- und Überwachungsmodalitäten erheblich verändert.
  Das Bewertungs- und Überwachungssystem der Kommission stützt sich auf die unmittelbare Verantwortung der für die Durchführung zuständigen Kommissionsdienststellen, da diese über das meiste technische Know-how verfügen.
  Bei den Bewertungen auf der Ebene des Rahmenprogramms erfolgt eine enge Koordinierung zwischen allen Generaldirektionen (GDs). |
| --- | --- |

I.

Die FTE-Rahmenprogramme (RP) der Gemeinschaft haben sich in den letzten Jahrzehnten zu einem umfangreichen, aber kohärenten System von Mechanismen zur Förderung von Forschern in den 27 EU-Mitgliedstaaten, den assoziierten Ländern und darüber hinaus entwickelt.

Die RP stellen heute das weltweit größte System der öffentlichen multinationalen Forschungsförderung dar.

Auf die RP entfallen derzeit rund 5 % der gesamten öffentlichen Forschungsförderung der EU. Die finanzielle Beteiligung der Gemeinschaft wird beim RP7 um etwa 60 % über derjenigen des RP6 liegen.

Die Bewertung eines derart komplexen Systems stellt für alle betroffenen Akteure eine besondere Herausforderung dar. In den letzten Jahren, und insbesondere in jüngster Zeit mit dem Anlaufen des RP7 im Jahr 2007, wurden die Bewertungs- und Überwachungsmodalitäten erheblich verändert.

Das Bewertungs- und Überwachungssystem der Kommission stützt sich auf die unmittelbare Verantwortung der für die Durchführung zuständigen Kommissionsdienststellen, da diese über das meiste technische Know-how verfügen.

Bei den Bewertungen auf der Ebene des Rahmenprogramms erfolgt eine enge Koordinierung zwischen allen Generaldirektionen (GDs).

| IV. | Die Kommission begrüßt die Bemerkung des Hofes, wonach die für die Durchführung der RP zuständigen GDs („Forschungsgeneraldirektionen“) die Anforderungen der Kommission erfüllt haben, einschließlich derer, die in den Mitteilungen von 2000 und 2002 zum Thema Evaluierung enthalten sind.
  Die Bewertung der RP wurde erheblichen Veränderungen unterzogen, einschließlich einer umfassenden Umstrukturierung beim RP7.
  Die Kommission vertritt ferner die Ansicht:






  i) | Den RP liegt seit jeher eine solide Interventionslogik zugrunde. Im RP7 ist sie expliziter dargelegt, so dass das Bewertungs- und Überwachungssystem der Kommission weiter gestärkt wird. |
| --- | --- | --- |

IV.

Die Kommission begrüßt die Bemerkung des Hofes, wonach die für die Durchführung der RP zuständigen GDs („Forschungsgeneraldirektionen“) die Anforderungen der Kommission erfüllt haben, einschließlich derer, die in den Mitteilungen von 2000 und 2002 zum Thema Evaluierung enthalten sind.

Die Bewertung der RP wurde erheblichen Veränderungen unterzogen, einschließlich einer umfassenden Umstrukturierung beim RP7.

Die Kommission vertritt ferner die Ansicht:

i)

Den RP liegt seit jeher eine solide Interventionslogik zugrunde. Im RP7 ist sie expliziter dargelegt, so dass das Bewertungs- und Überwachungssystem der Kommission weiter gestärkt wird.

| ii) | Die wichtigsten strategischen Aspekte des Ansatzes der Kommission für die Bewertung und Überwachung wurden in den sukzessiven Rechtsakten für die RP seit Mitte der 1990er Jahre definiert.
  Seit die Kommission ihre letzte Mitteilung zur Forschungsbewertung im Jahr 1996 annahm, wurde ihr Ansatz für die RP-Bewertung kontinuierlich verbessert und die Evaluierung erheblich verändert.
  Während des vom Hof geprüften Zeitraums wurden die RP alle vier Jahre eingehenden Evaluierungen, den so genannten „Fünfjahresbewertungen“ unterzogen. |
| --- | --- |

ii)

Die wichtigsten strategischen Aspekte des Ansatzes der Kommission für die Bewertung und Überwachung wurden in den sukzessiven Rechtsakten für die RP seit Mitte der 1990er Jahre definiert.

Seit die Kommission ihre letzte Mitteilung zur Forschungsbewertung im Jahr 1996 annahm, wurde ihr Ansatz für die RP-Bewertung kontinuierlich verbessert und die Evaluierung erheblich verändert.

Während des vom Hof geprüften Zeitraums wurden die RP alle vier Jahre eingehenden Evaluierungen, den so genannten „Fünfjahresbewertungen“ unterzogen.

| iii) | Die RP werden gemeinsam von den „Forschungsgeneraldirektionen“ durchgeführt, die unabhängig handeln und erforderlichenfalls zusammenarbeiten. Die zentralen Dienststellen der Kommission, insbesondere die GD Haushalt, beteiligen sich aktiv an den verschiedenen Etappen der Bewertung.
  Wegen der dezentralen Organisation der Kommission und der besonderen Gegebenheiten der einzelnen Wissenschaftsbereiche müssen die Bewertungen von den zuständigen operationellen Dienststellen verwaltet werden.
  Das interne „Netz zur FTE-Evaluierung“ der Kommission hat sich für die Koordinierung als sehr nützlich erwiesen.
  Die Kommission stimmt zu, dass Gremien bei der Bewertung eine wichtige Rolle spielen sollten, und begrüßt die Prüfungsfeststellung, wonach die institutionellen Akteure ihre Gremien für die „Fünfjahresbewertungen“ und sonstigen wichtigen Evaluierungen als Garant für die Unabhängigkeit des Ansatzes der Kommission während des geprüften Zeitraums sehen. |
| --- | --- |

iii)

Die RP werden gemeinsam von den „Forschungsgeneraldirektionen“ durchgeführt, die unabhängig handeln und erforderlichenfalls zusammenarbeiten. Die zentralen Dienststellen der Kommission, insbesondere die GD Haushalt, beteiligen sich aktiv an den verschiedenen Etappen der Bewertung.

Wegen der dezentralen Organisation der Kommission und der besonderen Gegebenheiten der einzelnen Wissenschaftsbereiche müssen die Bewertungen von den zuständigen operationellen Dienststellen verwaltet werden.

Das interne „Netz zur FTE-Evaluierung“ der Kommission hat sich für die Koordinierung als sehr nützlich erwiesen.

Die Kommission stimmt zu, dass Gremien bei der Bewertung eine wichtige Rolle spielen sollten, und begrüßt die Prüfungsfeststellung, wonach die institutionellen Akteure ihre Gremien für die „Fünfjahresbewertungen“ und sonstigen wichtigen Evaluierungen als Garant für die Unabhängigkeit des Ansatzes der Kommission während des geprüften Zeitraums sehen.

| iv) | Der Bereitstellung methodischer Anleitungen für die Bewertungen steht die erforderliche Aufrechterhaltung der Unabhängigkeit der Bewerter entgegen. Die Kommission erkennt an, dass es früher bei der Datensammlung zu Schwierigkeiten gekommen ist, und räumt ein, dass über die längerfristigen Wirkungen und Auswirkungen der RP wenig bekannt ist, was für die meisten Bewertungen öffentlicher Maßnahmen im Forschungsbereich und darüber hinaus gilt. |
| --- | --- |

iv)

Der Bereitstellung methodischer Anleitungen für die Bewertungen steht die erforderliche Aufrechterhaltung der Unabhängigkeit der Bewerter entgegen. Die Kommission erkennt an, dass es früher bei der Datensammlung zu Schwierigkeiten gekommen ist, und räumt ein, dass über die längerfristigen Wirkungen und Auswirkungen der RP wenig bekannt ist, was für die meisten Bewertungen öffentlicher Maßnahmen im Forschungsbereich und darüber hinaus gilt.

| v) | Der Zeitplan der meisten Bewertungen ist in der vom Europäischen Parlament und vom Rat angenommenen Rechtsgrundlage für das RP festgelegt. Generell hält die Kommission ihr RP-Bewertungs- und Überwachungssystem für effizient. Diese Ansicht teilten das Europäische Parlament und der Rat, als sie die jüngsten Vorschläge der Kommission für die Rechtsgrundlage des RP7 im Jahr 2006 annahmen. |
| --- | --- |

v)

Der Zeitplan der meisten Bewertungen ist in der vom Europäischen Parlament und vom Rat angenommenen Rechtsgrundlage für das RP festgelegt. Generell hält die Kommission ihr RP-Bewertungs- und Überwachungssystem für effizient. Diese Ansicht teilten das Europäische Parlament und der Rat, als sie die jüngsten Vorschläge der Kommission für die Rechtsgrundlage des RP7 im Jahr 2006 annahmen.

| V. | Zu den Empfehlungen des Hofes nimmt die Kommission wie folgt Stellung:






  i) | Sie verweist darauf, dass in den (vom Europäischen Parlament und vom Rat 2006 angenommenen) Rechtsvorschriften für das RP7 die Interventionslogik expliziter dargelegt ist. Sie wird in ihren künftigen Vorschlägen für Rechtsakte den Rückgriff auf eine explizite Interventionslogik ausweiten. Zudem beabsichtigt die Kommission, ihre operationellen Ziele für das RP7 auf der Ebene der Arbeitsprogramme eingehender zu klären und ihren Ansatz für die Leistungsmessung weiterzuentwickeln. |
| --- | --- | --- |

V.

Zu den Empfehlungen des Hofes nimmt die Kommission wie folgt Stellung:

i)

Sie verweist darauf, dass in den (vom Europäischen Parlament und vom Rat 2006 angenommenen) Rechtsvorschriften für das RP7 die Interventionslogik expliziter dargelegt ist. Sie wird in ihren künftigen Vorschlägen für Rechtsakte den Rückgriff auf eine explizite Interventionslogik ausweiten. Zudem beabsichtigt die Kommission, ihre operationellen Ziele für das RP7 auf der Ebene der Arbeitsprogramme eingehender zu klären und ihren Ansatz für die Leistungsmessung weiterzuentwickeln.

| ii) | Sie wird ihre Bewertungsstrategie für das RP7 auf der Grundlage der in der RP7-Wirkungsevaluierung enthaltenen Vorschläge weiterentwickeln. Besonders achten wird sie auf die Sicherstellung von ausreichend Flexibilität, damit jede operationelle Dienststelle ihre speziellen Evaluierungserfordernisse selbst bestimmen kann. |
| --- | --- |

ii)

Sie wird ihre Bewertungsstrategie für das RP7 auf der Grundlage der in der RP7-Wirkungsevaluierung enthaltenen Vorschläge weiterentwickeln. Besonders achten wird sie auf die Sicherstellung von ausreichend Flexibilität, damit jede operationelle Dienststelle ihre speziellen Evaluierungserfordernisse selbst bestimmen kann.

| iii) | Sie hält zwar die Einrichtung eines gemeinsamen Evaluierungsamts nicht für erforderlich, ist aber bereit, andere Optionen zur Verbesserung der Koordinierung in Erwägung zu ziehen.
  Die Gremien sollten möglichst früh eingesetzt werden, um eine spezifische Bewertung unterstützen zu können. Vermutlich würden aber spezielle, für bestimmte Zwecke eingesetzte Gremien präzisere Ergebnisse liefern und gezielter zum Einsatz kommen. |
| --- | --- |

iii)

Sie hält zwar die Einrichtung eines gemeinsamen Evaluierungsamts nicht für erforderlich, ist aber bereit, andere Optionen zur Verbesserung der Koordinierung in Erwägung zu ziehen.

Die Gremien sollten möglichst früh eingesetzt werden, um eine spezifische Bewertung unterstützen zu können. Vermutlich würden aber spezielle, für bestimmte Zwecke eingesetzte Gremien präzisere Ergebnisse liefern und gezielter zum Einsatz kommen.

| iv) | Sie hat bereits Maßnahmen ergriffen, um vorhandene und neue Datenquellen bei ihren Evaluierungen besser zu nutzen.
  Die Berichterstattungsauflagen für das RP7 wurden unter Berücksichtigung der Bewertungs- und Überwachungserfordernisse teilweise überarbeitet.
  Zudem entwickelt die Kommission zurzeit ein neues IT-System für das RP7, um im Hinblick auf die Projektdaten eine solidere Grundlage zu schaffen.
  Die Kommission wird die Ausarbeitung eines neuen RP-Evaluierungshandbuchs unter Berücksichtigung der jüngsten Beispiele in Erwägung ziehen. |
| --- | --- |

iv)

Sie hat bereits Maßnahmen ergriffen, um vorhandene und neue Datenquellen bei ihren Evaluierungen besser zu nutzen.

Die Berichterstattungsauflagen für das RP7 wurden unter Berücksichtigung der Bewertungs- und Überwachungserfordernisse teilweise überarbeitet.

Zudem entwickelt die Kommission zurzeit ein neues IT-System für das RP7, um im Hinblick auf die Projektdaten eine solidere Grundlage zu schaffen.

Die Kommission wird die Ausarbeitung eines neuen RP-Evaluierungshandbuchs unter Berücksichtigung der jüngsten Beispiele in Erwägung ziehen.

| v) | Die Kommission beabsichtigt, ihre Vorausplanung der Bewertungen im Rahmen des RP7 weiterzuentwickeln und zu stärken, indem sie die möglichen Vorteile für die Kohärenz herausstellt und die Feststellungen einbezieht. |
| --- | --- |

v)

Die Kommission beabsichtigt, ihre Vorausplanung der Bewertungen im Rahmen des RP7 weiterzuentwickeln und zu stärken, indem sie die möglichen Vorteile für die Kohärenz herausstellt und die Feststellungen einbezieht.

| 1-13. | Die FTE-Rahmenprogramme (RP) der Gemeinschaft haben sich in den letzten Jahrzehnten zu einem umfangreichen, aber kohärenten System von Mechanismen zur Förderung von Forschern in den 27 EU-Mitgliedstaaten, den assoziierten Ländern und darüber hinaus entwickelt.
  Die RP stellen heute das weltweit größte System der öffentlichen multinationalen Forschungsförderung dar (siehe Ziffer 6 im Dokument des Hofes). Die finanzielle Beteiligung der Gemeinschaft wird beim RP7 um etwa. 60 % über derjenigen des RP6 liegen (siehe Abbildung 1 im Dokument des Hofes).
  Die Bewertung eines derart komplexen Systems stellt für alle betroffenen Akteure eine besondere Herausforderung dar. In den letzten Jahren (siehe Abbildung 2 im Dokument des Hofes) und in jüngster Zeit mit dem Anlaufen des RP7 im Jahr 2007 (siehe als Beispiele die Antworten auf die Ziffern 23, 30, 41, 46, 72, 76-78, 93) wurden die Bewertungsmodalitäten erheblich verändert. |
| --- | --- |

1-13.

Die FTE-Rahmenprogramme (RP) der Gemeinschaft haben sich in den letzten Jahrzehnten zu einem umfangreichen, aber kohärenten System von Mechanismen zur Förderung von Forschern in den 27 EU-Mitgliedstaaten, den assoziierten Ländern und darüber hinaus entwickelt.

Die RP stellen heute das weltweit größte System der öffentlichen multinationalen Forschungsförderung dar (siehe Ziffer 6 im Dokument des Hofes). Die finanzielle Beteiligung der Gemeinschaft wird beim RP7 um etwa. 60 % über derjenigen des RP6 liegen (siehe Abbildung 1 im Dokument des Hofes).

Die Bewertung eines derart komplexen Systems stellt für alle betroffenen Akteure eine besondere Herausforderung dar. In den letzten Jahren (siehe Abbildung 2 im Dokument des Hofes) und in jüngster Zeit mit dem Anlaufen des RP7 im Jahr 2007 (siehe als Beispiele die Antworten auf die Ziffern 23, 30, 41, 46, 72, 76-78, 93) wurden die Bewertungsmodalitäten erheblich verändert.

| 14. | Die für die Durchführung der FTE-Rahmenprogramme zuständigen GDs („Forschungsgeneraldirektionen“) haben die Evaluierungserfordernisse der Kommission formell befolgt, auch diejenigen, die in den Mitteilungen zum Thema Evaluierung enthalten sind (siehe Ziffer 54 im Dokument des Hofes). |
| --- | --- |

14.

Die für die Durchführung der FTE-Rahmenprogramme zuständigen GDs („Forschungsgeneraldirektionen“) haben die Evaluierungserfordernisse der Kommission formell befolgt, auch diejenigen, die in den Mitteilungen zum Thema Evaluierung enthalten sind (siehe Ziffer 54 im Dokument des Hofes).

| 22. | Die Kommission stimmt dem zu, dass eine solide Interventionslogik für die Programmkonzeption wichtig ist und dass die in Artikel 163 des Vertrags definierte Aufgabe diesbezüglich einen zentralen Aspekt darstellt. Außerdem ist der Beitrag, den die von der Kommission geförderten FTE-Tätigkeiten zu anderen Politiken und Zielen der Gemeinschaft leisten, von großer Bedeutung. In jüngster Zeit wurde die Ansicht der Kommission zur Rolle der FTE-Investitionen der EU sowohl in der erneuerten „Lissabon-Strategie“ als auch in der Strategie für „nachhaltige Entwicklung“ ausführlich erläutert (1). |
| --- | --- |

22.

Die Kommission stimmt dem zu, dass eine solide Interventionslogik für die Programmkonzeption wichtig ist und dass die in Artikel 163 des Vertrags definierte Aufgabe diesbezüglich einen zentralen Aspekt darstellt. Außerdem ist der Beitrag, den die von der Kommission geförderten FTE-Tätigkeiten zu anderen Politiken und Zielen der Gemeinschaft leisten, von großer Bedeutung. In jüngster Zeit wurde die Ansicht der Kommission zur Rolle der FTE-Investitionen der EU sowohl in der erneuerten „Lissabon-Strategie“ als auch in der Strategie für „nachhaltige Entwicklung“ ausführlich erläutert (1).

| 23. | Den RP liegt seit jeher eine solide Interventionslogik zugrunde. Im RP7 ist sie expliziter dargelegt (2), so dass das Bewertungs- und Überwachungssystem der Kommission weiter gestärkt wird. |
| --- | --- |

23.

Den RP liegt seit jeher eine solide Interventionslogik zugrunde. Im RP7 ist sie expliziter dargelegt (2), so dass das Bewertungs- und Überwachungssystem der Kommission weiter gestärkt wird.

| 25. | Etliche Länder, darunter einige Mitgliedstaaten, entwickeln diesen Ansatz; allerdings ist dies keineswegs ein einheitlicher Ansatz. Aus den USA und Kanada lassen sich Erfahrungen schwerer übertragen als aus den EU-Mitgliedstaaten. |
| --- | --- |

25.

Etliche Länder, darunter einige Mitgliedstaaten, entwickeln diesen Ansatz; allerdings ist dies keineswegs ein einheitlicher Ansatz. Aus den USA und Kanada lassen sich Erfahrungen schwerer übertragen als aus den EU-Mitgliedstaaten.

| 26. | Die Kommission vertritt die Ansicht, dass sie während des vom Hof geprüften Zeitraums über ein wirksames Bewertungs- und Überwachungssystem verfügte (siehe auch die Antwort auf Ziffer 23). |
| --- | --- |

26.

Die Kommission vertritt die Ansicht, dass sie während des vom Hof geprüften Zeitraums über ein wirksames Bewertungs- und Überwachungssystem verfügte (siehe auch die Antwort auf Ziffer 23).

| 28. | Insbesondere aufgrund der mit der Forschung verbundenen Unwägbarkeiten ist es schwierig sicherzustellen, dass alle Ziele die präzise definierten SMART-Kriterien (SMART: specific, measurable, achievable, relevant and timed) in vollem Umfang erfüllen. Alle Arbeitsprogramme des RP7 enthalten Erläuterungen der erwarteten Auswirkungen, die mit den in den spezifischen Programmen aufgeführten Zielen, Prinzipien und Tätigkeiten übereinstimmen. |
| --- | --- |

28.

Insbesondere aufgrund der mit der Forschung verbundenen Unwägbarkeiten ist es schwierig sicherzustellen, dass alle Ziele die präzise definierten SMART-Kriterien (SMART: specific, measurable, achievable, relevant and timed) in vollem Umfang erfüllen. Alle Arbeitsprogramme des RP7 enthalten Erläuterungen der erwarteten Auswirkungen, die mit den in den spezifischen Programmen aufgeführten Zielen, Prinzipien und Tätigkeiten übereinstimmen.

| 29. | Größere Beachtung wurde den kurzfristigen Ergebnissen während des vom Hof geprüften Zeitraums geschenkt; langfristige Analysen sind noch vermehrt durchzuführen. |
| --- | --- |

29.

Größere Beachtung wurde den kurzfristigen Ergebnissen während des vom Hof geprüften Zeitraums geschenkt; langfristige Analysen sind noch vermehrt durchzuführen.

| 30. | Auf RP-Ebene entwickelt die Kommission für das RP7 gegenwärtig ein Überwachungssystem, um eine kohärentere und systematischere Verwendung von Leistungsindikatoren zu gewährleisten. In den für die Durchführung des RP7 zuständigen Dienststellen laufen zudem mehrere voneinander unabhängige Initiativen, um Leistungsindikatoren zu entwickeln. |
| --- | --- |

30.

Auf RP-Ebene entwickelt die Kommission für das RP7 gegenwärtig ein Überwachungssystem, um eine kohärentere und systematischere Verwendung von Leistungsindikatoren zu gewährleisten. In den für die Durchführung des RP7 zuständigen Dienststellen laufen zudem mehrere voneinander unabhängige Initiativen, um Leistungsindikatoren zu entwickeln.

| 34. | Die Kommission hat bereits Maßnahmen ergriffen, um die Interventionslogik für das Programm unter Berücksichtigung der in den RP7-Rechtsvorschriften und in der Wirkungsevaluierung erzielten Fortschritte expliziter darzulegen, und wird der Empfehlung des Hofes bei künftigen Vorschlägen für Rechtsakte Rechnung tragen. |
| --- | --- |

34.

Die Kommission hat bereits Maßnahmen ergriffen, um die Interventionslogik für das Programm unter Berücksichtigung der in den RP7-Rechtsvorschriften und in der Wirkungsevaluierung erzielten Fortschritte expliziter darzulegen, und wird der Empfehlung des Hofes bei künftigen Vorschlägen für Rechtsakte Rechnung tragen.

| 35. | Die Kommission begrüßt die Empfehlung des Hofes, die Ziele des RP7 klarer darzulegen, und wird sich unter Beachtung der Erfordernisse der vom Europäischen Parlament und vom Rat angenommenen relevanten Basisrechtsakte weiterhin darum bemühen. |
| --- | --- |

35.

Die Kommission begrüßt die Empfehlung des Hofes, die Ziele des RP7 klarer darzulegen, und wird sich unter Beachtung der Erfordernisse der vom Europäischen Parlament und vom Rat angenommenen relevanten Basisrechtsakte weiterhin darum bemühen.

| 36-37. | Die Kommission begrüßt die Empfehlung des Hofes und wird Initiativen zur Weiterentwicklung der Leistungsmessung und zur Änderung der ABM/ABB-Nomenklatur ergreifen. |
| --- | --- |

36-37.

Die Kommission begrüßt die Empfehlung des Hofes und wird Initiativen zur Weiterentwicklung der Leistungsmessung und zur Änderung der ABM/ABB-Nomenklatur ergreifen.

| 38-39. | Nach Ansicht der Kommission sollte ihre Bewertungsstrategie für die RP auf gemeinsamen Grundsätzen für die Organisation und die Weiterentwicklung der Bewertung und Überwachung der RP beruhen. Die Strategie sollte eine Erläuterung des Zwecks und eine Definition der zentralen Komponenten des Systems einschließlich der wichtigsten Bewertungsrunden enthalten und eine Vision für die Zukunft vorgeben. Da das Bewertungssystem der Kommission für die RP dezentral angelegt ist, sollte sie sich weiterhin auf die strategische Ebene konzentrieren. |
| --- | --- |

38-39.

Nach Ansicht der Kommission sollte ihre Bewertungsstrategie für die RP auf gemeinsamen Grundsätzen für die Organisation und die Weiterentwicklung der Bewertung und Überwachung der RP beruhen. Die Strategie sollte eine Erläuterung des Zwecks und eine Definition der zentralen Komponenten des Systems einschließlich der wichtigsten Bewertungsrunden enthalten und eine Vision für die Zukunft vorgeben. Da das Bewertungssystem der Kommission für die RP dezentral angelegt ist, sollte sie sich weiterhin auf die strategische Ebene konzentrieren.

| 41. | Die wichtigsten strategischen Aspekte des Ansatzes der Kommission für die Bewertung und Überwachung wurden in den sukzessiven Rechtsakten für die RP seit Mitte der 1990er Jahre definiert (siehe Anhang II).
  Seit die Kommission ihre Mitteilung zur Forschungsbewertung im Jahr 1996 annahm, wurde ihr Ansatz für die RP-Bewertung kontinuierlich verbessert und die Evaluierung erheblich verändert (siehe Abbildung 2 im Dokument des Hofes).
  Für den laufenden Programmplanungszeitraum ist die vorgesehene Bewertungsstrategie der Kommission in der Ex-ante-Folgenabschätzung des RP7 (SEK(2005) 430) expliziter dargelegt. Sie bezieht sich auf die Konzeption des Evaluierungssystems, dessen Umsetzungsmodalitäten und enthält einen detaillierten Zeitplan für die vorgesehenen Bewertungen auf der RP-Ebene.
  Damit diese Strategie ihren Niederschlag in spezifischen Plänen findet, bedarf es weiterer Arbeiten; zu diesem Zweck wird die Kommission auf spezielle Koordinierungsstrukturen zurückgreifen. |
| --- | --- |

41.

Die wichtigsten strategischen Aspekte des Ansatzes der Kommission für die Bewertung und Überwachung wurden in den sukzessiven Rechtsakten für die RP seit Mitte der 1990er Jahre definiert (siehe Anhang II).

Seit die Kommission ihre Mitteilung zur Forschungsbewertung im Jahr 1996 annahm, wurde ihr Ansatz für die RP-Bewertung kontinuierlich verbessert und die Evaluierung erheblich verändert (siehe Abbildung 2 im Dokument des Hofes).

Für den laufenden Programmplanungszeitraum ist die vorgesehene Bewertungsstrategie der Kommission in der Ex-ante-Folgenabschätzung des RP7 (SEK(2005) 430) expliziter dargelegt. Sie bezieht sich auf die Konzeption des Evaluierungssystems, dessen Umsetzungsmodalitäten und enthält einen detaillierten Zeitplan für die vorgesehenen Bewertungen auf der RP-Ebene.

Damit diese Strategie ihren Niederschlag in spezifischen Plänen findet, bedarf es weiterer Arbeiten; zu diesem Zweck wird die Kommission auf spezielle Koordinierungsstrukturen zurückgreifen.

| 43. | Die Kommission stimmt zwar der Bemerkung des Hofes zu, weist aber darauf hin, dass die Situation in den USA und Kanada wesentlich nuancierter ist und nicht einzig und allein durch Bewertungsstrategien dargestellt werden kann. |
| --- | --- |

43.

Die Kommission stimmt zwar der Bemerkung des Hofes zu, weist aber darauf hin, dass die Situation in den USA und Kanada wesentlich nuancierter ist und nicht einzig und allein durch Bewertungsstrategien dargestellt werden kann.

| 44. | Unterschiede in Bezug auf die Durchführung der RP-Bewertung und deren Ansatz ergeben sich aus dem dezentralen System der Kommission, das Evaluierung und Beschlussfassung miteinander verknüpft. |
| --- | --- |

44.

Unterschiede in Bezug auf die Durchführung der RP-Bewertung und deren Ansatz ergeben sich aus dem dezentralen System der Kommission, das Evaluierung und Beschlussfassung miteinander verknüpft.

| 46. | Da die Kommission dezentral organisiert ist, müssen die zuständigen operationellen Dienststellen entscheiden, auf welcher Ebene die Tätigkeiten zu bewerten sind (siehe auch die Antworten zu den Ziffern 41 und 49).






  — | (Zweiter Gedankenstrich) Die von der GD Forschung koordinierte Fünfjahresbewertung von 2004 (1999-2003) bezog sich auf die gesamte RP-Ebene. Die Entscheidung, ob gesonderte Bewertungen auf der Ebene der spezifischen Programme durchgeführt werden sollen, hängt von den Erfordernissen der betroffenen Dienststellen und vom jeweiligen Kontext und Umfang der Tätigkeiten ab. |
| --- | --- | --- |

46.

Da die Kommission dezentral organisiert ist, müssen die zuständigen operationellen Dienststellen entscheiden, auf welcher Ebene die Tätigkeiten zu bewerten sind (siehe auch die Antworten zu den Ziffern 41 und 49).

—

(Zweiter Gedankenstrich) Die von der GD Forschung koordinierte Fünfjahresbewertung von 2004 (1999-2003) bezog sich auf die gesamte RP-Ebene. Die Entscheidung, ob gesonderte Bewertungen auf der Ebene der spezifischen Programme durchgeführt werden sollen, hängt von den Erfordernissen der betroffenen Dienststellen und vom jeweiligen Kontext und Umfang der Tätigkeiten ab.

| 47. | Die Fünfjahresbewertung von 2004 lieferte eine koordinierte, umfassende und zeitnahe Evaluierung auf der gesamten RP-Ebene im Einklang mit der Haushaltsordnung. Durchgeführt wurde sie von namhaften externen Sachverständigen, deren Bewertungsergebnisse weite Verbreitung fanden. |
| --- | --- |

47.

Die Fünfjahresbewertung von 2004 lieferte eine koordinierte, umfassende und zeitnahe Evaluierung auf der gesamten RP-Ebene im Einklang mit der Haushaltsordnung. Durchgeführt wurde sie von namhaften externen Sachverständigen, deren Bewertungsergebnisse weite Verbreitung fanden.

| 48. | Siehe die Antworten zu den Ziffern 41 und 46. |
| --- | --- |

48.

Siehe die Antworten zu den Ziffern 41 und 46.

| 49. | Für den laufenden Programmplanungszeitraum ist die vorgesehene Bewertungsstrategie der Kommission in der Ex-ante-Folgenabschätzung des RP7 (SEK(2005) 430) dargelegt. Sie bezieht sich auf die Konzeption des Evaluierungssystems, dessen Umsetzungsmodalitäten und enthält einen detaillierten Zeitplan für die vorgesehenen Bewertungen auf der RP-Ebene.
  Die Kommission räumt ein, dass es weiterer Arbeiten bedarf, damit diese Strategie ihren Niederschlag in spezifischen Plänen findet; zu diesem Zweck wird sie auf spezielle Koordinierungsstrukturen zurückgreifen.
  Nach Ansicht der Kommission können jedoch nicht immer Mindestanforderungen für detaillierte Bewertungen festgesetzt werden, da das Management bei der Ermittlung der Evaluierungserfordernisse über eine ausreichende Flexibilität verfügen muss. |
| --- | --- |

49.

Für den laufenden Programmplanungszeitraum ist die vorgesehene Bewertungsstrategie der Kommission in der Ex-ante-Folgenabschätzung des RP7 (SEK(2005) 430) dargelegt. Sie bezieht sich auf die Konzeption des Evaluierungssystems, dessen Umsetzungsmodalitäten und enthält einen detaillierten Zeitplan für die vorgesehenen Bewertungen auf der RP-Ebene.

Die Kommission räumt ein, dass es weiterer Arbeiten bedarf, damit diese Strategie ihren Niederschlag in spezifischen Plänen findet; zu diesem Zweck wird sie auf spezielle Koordinierungsstrukturen zurückgreifen.

Nach Ansicht der Kommission können jedoch nicht immer Mindestanforderungen für detaillierte Bewertungen festgesetzt werden, da das Management bei der Ermittlung der Evaluierungserfordernisse über eine ausreichende Flexibilität verfügen muss.

| 51. | Die RP werden gemeinsam von den „Forschungsgeneraldirektionen“ durchgeführt, die unabhängig handeln und erforderlichenfalls zusammenarbeiten. |
| --- | --- |

51.

Die RP werden gemeinsam von den „Forschungsgeneraldirektionen“ durchgeführt, die unabhängig handeln und erforderlichenfalls zusammenarbeiten.

| 52. | EuropeAid hat operationelle und Verwaltungszuständigkeiten, die es in Zusammenarbeit mit den Delegationen der Kommission und den Durchführungsstellen in Drittländern wahrnimmt. Dieser Teil der Kommission kann daher schwer als Beispiel angeführt werden, lässt er sich doch mit dem dezentralen System von Zuständigkeiten und Aufgaben im Forschungsbereich nicht vergleichen. |
| --- | --- |

52.

EuropeAid hat operationelle und Verwaltungszuständigkeiten, die es in Zusammenarbeit mit den Delegationen der Kommission und den Durchführungsstellen in Drittländern wahrnimmt. Dieser Teil der Kommission kann daher schwer als Beispiel angeführt werden, lässt er sich doch mit dem dezentralen System von Zuständigkeiten und Aufgaben im Forschungsbereich nicht vergleichen.

| 53. | Das interne „Netz zur FTE-Evaluierung“ der Kommission bietet informelle Mittel für die Entwicklung einer Bewertungsstrategie und die Koordinierung der Evaluierungsrunden auf RP-Ebene. Dieser flexible Mechanismus hat sich als sehr nützlich erwiesen. |
| --- | --- |

53.

Das interne „Netz zur FTE-Evaluierung“ der Kommission bietet informelle Mittel für die Entwicklung einer Bewertungsstrategie und die Koordinierung der Evaluierungsrunden auf RP-Ebene. Dieser flexible Mechanismus hat sich als sehr nützlich erwiesen.

| 55. | Die jüngste am 16. Oktober 2007 angenommene Überarbeitung der Normen der Kommission für die interne Kontrolle (SEK(2007) 1341) umfasst 21 Evaluierungsstandards, weshalb auf deren Befolgung in den künftigen Jährlichen Tätigkeitsberichten der Generaldirektionen eingegangen wird.
  Die zentralen Dienststellen der Kommission, insbesondere die GD Haushalt, beteiligen sich aktiv an den verschiedenen Etappen der Bewertung.
  Die Bewertungstätigkeiten der Dienststellen können von der Internen Audit-Stelle (IAC) und dem internen Auditdienst geprüft werden.
  Künftig wird die Einhaltung von Mindestanforderungen in Bezug auf die Qualität anhand des kürzlich entwickelten Instruments der Kommission zur Einschätzung von Evaluierungen „Quality Assessment Framework“ (3) bewertet. Die Qualitätskontrolle der prospektiven Folgenabschätzung wird seit 2007 vom „Ausschuss für Folgenabschätzung“ der Kommission unterstützt. |
| --- | --- |

55.

Die jüngste am 16. Oktober 2007 angenommene Überarbeitung der Normen der Kommission für die interne Kontrolle (SEK(2007) 1341) umfasst 21 Evaluierungsstandards, weshalb auf deren Befolgung in den künftigen Jährlichen Tätigkeitsberichten der Generaldirektionen eingegangen wird.

Die zentralen Dienststellen der Kommission, insbesondere die GD Haushalt, beteiligen sich aktiv an den verschiedenen Etappen der Bewertung.

Die Bewertungstätigkeiten der Dienststellen können von der Internen Audit-Stelle (IAC) und dem internen Auditdienst geprüft werden.

Künftig wird die Einhaltung von Mindestanforderungen in Bezug auf die Qualität anhand des kürzlich entwickelten Instruments der Kommission zur Einschätzung von Evaluierungen „Quality Assessment Framework“ (3) bewertet. Die Qualitätskontrolle der prospektiven Folgenabschätzung wird seit 2007 vom „Ausschuss für Folgenabschätzung“ der Kommission unterstützt.

| 56. | Der Vergleich in Anhang III bezieht sich auf den vom Hof geprüften Zeitraum, weshalb die erheblichen Verbesserungen im Rahmen des RP7 nicht berücksichtigt sind, insbesondere im Hinblick auf die neue Bewertungsstrategie, die explizitere Interventionslogik und die klaren Erläuterungen der erwarteten Ergebnisse in den Arbeitsprogrammen.
  Der Hof weist auf bestimmte Mitgliedstaaten hin, in denen für Bewertung und Förderung unterschiedliche Stellen zuständig sind. Es gibt aber auch andere Beispiele (wie das Vereinigte Königreich), wo die Bewertung Teil des Programmmanagements ist (was auch auf die Kommission zutrifft). Bei der zentralen Frage der Unabhängigkeit hat die Prüfung des Hofes ergeben, dass externe Akteure mit der Leistung der Kommission in diesem Punkt zufrieden sind (siehe Ziffer 58 und Abbildung 4 im Dokument des Hofes). |
| --- | --- |

56.

Der Vergleich in Anhang III bezieht sich auf den vom Hof geprüften Zeitraum, weshalb die erheblichen Verbesserungen im Rahmen des RP7 nicht berücksichtigt sind, insbesondere im Hinblick auf die neue Bewertungsstrategie, die explizitere Interventionslogik und die klaren Erläuterungen der erwarteten Ergebnisse in den Arbeitsprogrammen.

Der Hof weist auf bestimmte Mitgliedstaaten hin, in denen für Bewertung und Förderung unterschiedliche Stellen zuständig sind. Es gibt aber auch andere Beispiele (wie das Vereinigte Königreich), wo die Bewertung Teil des Programmmanagements ist (was auch auf die Kommission zutrifft). Bei der zentralen Frage der Unabhängigkeit hat die Prüfung des Hofes ergeben, dass externe Akteure mit der Leistung der Kommission in diesem Punkt zufrieden sind (siehe Ziffer 58 und Abbildung 4 im Dokument des Hofes).

| 59. | — | (Erster Gedankenstrich) Es ist schwer, hochrangige Sachverständige dazu zu bewegen, sich für einen längeren Zeitraum an den eingesetzten Gremien zu beteiligen. |
| --- | --- | --- |

59.

—

(Erster Gedankenstrich) Es ist schwer, hochrangige Sachverständige dazu zu bewegen, sich für einen längeren Zeitraum an den eingesetzten Gremien zu beteiligen.

| — | (Zweiter Gedankenstrich) Der Auftrag der Gremien auf RP-Ebene wird durch Beschluss der Kommission festgelegt, worauf eine umfassende informelle Konsultation der Akteure folgt und die formelle Stellungnahme des RP7-Programmausschusses, der sich aus Vertretern der Mitgliedstaaten und assoziierten Länder zusammensetzt, eingeholt wird. Auch bei der bevorstehenden Ex-post-Bewertung des RP6 im Jahr 2008 wird so verfahren. |
| --- | --- |

—

(Zweiter Gedankenstrich) Der Auftrag der Gremien auf RP-Ebene wird durch Beschluss der Kommission festgelegt, worauf eine umfassende informelle Konsultation der Akteure folgt und die formelle Stellungnahme des RP7-Programmausschusses, der sich aus Vertretern der Mitgliedstaaten und assoziierten Länder zusammensetzt, eingeholt wird. Auch bei der bevorstehenden Ex-post-Bewertung des RP6 im Jahr 2008 wird so verfahren.

| 62. | Der Prozentanteil von 0,5 % eines Programmbudgets, der für Bewertungszwecke vorzusehen ist, stellt den von der Kommission empfohlenen Durchschnittswert dar. Wie viele Mittel tatsächlich bereitgestellt werden, hängt weitgehend von der Art eines Programms ab. |
| --- | --- |

62.

Der Prozentanteil von 0,5 % eines Programmbudgets, der für Bewertungszwecke vorzusehen ist, stellt den von der Kommission empfohlenen Durchschnittswert dar. Wie viele Mittel tatsächlich bereitgestellt werden, hängt weitgehend von der Art eines Programms ab.

| 66. | Die Kommission hält zwar die Einrichtung eines gemeinsamen Evaluierungsamts nicht für erforderlich, ist aber bereit, andere Optionen zur Verbesserung der Koordinierung in Erwägung zu ziehen.
  Ein Bezug zwischen den Evaluierungs- und den Managementsbeschlüssen lässt sich am besten herstellen, indem auf die in den einzelnen GDs vorhandenen Bewertungsfunktionen zurückgegriffen wird und dem bestehenden internen „Netz zur FTE-Evaluierung“ der Kommission mit Unterstützung der zentralen Dienststellen ein neuer Impuls verliehen wird. Dies steht auch im Einklang mit den in der Haushaltsordnung vorgeschriebenen Rechtsetzungs- und Haushaltsverfahren, der Mitteilung der Kommission zum Thema Evaluierung des Jahres 2007 und den ABM-Verfahren. |
| --- | --- |

66.

Die Kommission hält zwar die Einrichtung eines gemeinsamen Evaluierungsamts nicht für erforderlich, ist aber bereit, andere Optionen zur Verbesserung der Koordinierung in Erwägung zu ziehen.

Ein Bezug zwischen den Evaluierungs- und den Managementsbeschlüssen lässt sich am besten herstellen, indem auf die in den einzelnen GDs vorhandenen Bewertungsfunktionen zurückgegriffen wird und dem bestehenden internen „Netz zur FTE-Evaluierung“ der Kommission mit Unterstützung der zentralen Dienststellen ein neuer Impuls verliehen wird. Dies steht auch im Einklang mit den in der Haushaltsordnung vorgeschriebenen Rechtsetzungs- und Haushaltsverfahren, der Mitteilung der Kommission zum Thema Evaluierung des Jahres 2007 und den ABM-Verfahren.

| 67. | Die Kommission stimmt dem zu, dass Gremien bei der Bewertung eine wichtige Rolle spielen können. Sie räumt auch ein, dass die Gremien möglichst früh eingesetzt werden sollten, um eine spezifische Bewertung unterstützen zu können, hält aber die Einsetzung ständiger Gremien für den gesamten Planungszeitraum nicht für sinnvoll.
  Ein spezielles, für bestimmte Zwecke eingesetztes Gremium würde vermutlich präzisere Ergebnisse liefern und gezielter zum Einsatz kommen. |
| --- | --- |

67.

Die Kommission stimmt dem zu, dass Gremien bei der Bewertung eine wichtige Rolle spielen können. Sie räumt auch ein, dass die Gremien möglichst früh eingesetzt werden sollten, um eine spezifische Bewertung unterstützen zu können, hält aber die Einsetzung ständiger Gremien für den gesamten Planungszeitraum nicht für sinnvoll.

Ein spezielles, für bestimmte Zwecke eingesetztes Gremium würde vermutlich präzisere Ergebnisse liefern und gezielter zum Einsatz kommen.

| 68. | Die Kommission wird sorgfältig prüfen, welche Ressourcen für die Bewertungen der RP in den kommenden Jahren erforderlich sind. |
| --- | --- |

68.

Die Kommission wird sorgfältig prüfen, welche Ressourcen für die Bewertungen der RP in den kommenden Jahren erforderlich sind.

| 70-71. | Die methodischen Anleitungen für die Bewertungstätigkeiten sowie die verfügbaren Instrumente und das Glossar der Begriffe enthält der Leitfaden der GD Haushalt (4), den die Dienststellen, einschließlich der „Forschungsgeneraldirektionen“ regelmäßig aktualisieren.
  Zudem erarbeitete die GD Unternehmen 2002 spezielle Evaluierungsleitlinien für alle Tätigkeiten, für die diese GD zuständig ist, einschließlich der RP.
  Weitere Unterstützungsmaßnahmen werden für das reaktivierte „Europäische Netz zur FTE-Evaluierung“ (bestehend aus Sachverständigen der Mitgliedstaaten und assoziierten Länder) und für das interne „Netz zur FTE-Evaluierung“ der Kommission in Erwägung gezogen. Die Kommission wird auch künftig unabhängige Studien und Workshops über die Evaluierungsmethoden unterstützen. |
| --- | --- |

70-71.

Die methodischen Anleitungen für die Bewertungstätigkeiten sowie die verfügbaren Instrumente und das Glossar der Begriffe enthält der Leitfaden der GD Haushalt (4), den die Dienststellen, einschließlich der „Forschungsgeneraldirektionen“ regelmäßig aktualisieren.

Zudem erarbeitete die GD Unternehmen 2002 spezielle Evaluierungsleitlinien für alle Tätigkeiten, für die diese GD zuständig ist, einschließlich der RP.

Weitere Unterstützungsmaßnahmen werden für das reaktivierte „Europäische Netz zur FTE-Evaluierung“ (bestehend aus Sachverständigen der Mitgliedstaaten und assoziierten Länder) und für das interne „Netz zur FTE-Evaluierung“ der Kommission in Erwägung gezogen. Die Kommission wird auch künftig unabhängige Studien und Workshops über die Evaluierungsmethoden unterstützen.

| 72. | Die Kommission räumt ein, dass das Verfahren für die routinemäßige Sammlung von Daten über Projekte nur zum Teil wirksam funktionierte. Die Verfahren für die Projektberichterstattung wurden für das RP6 überarbeitet und werden für das RP7 weiter verbessert (d. h. die regelmäßige Berichterstattung wird vereinfacht; die Fragebögen für die Zwischenbewertung wurden abgeschafft; die Endberichte werden von größerem Nutzen sein, insbesondere im Hinblick auf die Sammlung von Daten über die Durchführung von Projekten und deren Ergebnisse). |
| --- | --- |

72.

Die Kommission räumt ein, dass das Verfahren für die routinemäßige Sammlung von Daten über Projekte nur zum Teil wirksam funktionierte. Die Verfahren für die Projektberichterstattung wurden für das RP6 überarbeitet und werden für das RP7 weiter verbessert (d. h. die regelmäßige Berichterstattung wird vereinfacht; die Fragebögen für die Zwischenbewertung wurden abgeschafft; die Endberichte werden von größerem Nutzen sein, insbesondere im Hinblick auf die Sammlung von Daten über die Durchführung von Projekten und deren Ergebnisse).

| 74. | Mit Unterstützung der GD Informatik entwickeln die „Forschungsgeneraldirektionen“ zurzeit ein neues IT-System für das RP7. Diese verbesserte IT-Unterstützung soll eine solidere Grundlage für die Bewertung und Überwachung schaffen. |
| --- | --- |

74.

Mit Unterstützung der GD Informatik entwickeln die „Forschungsgeneraldirektionen“ zurzeit ein neues IT-System für das RP7. Diese verbesserte IT-Unterstützung soll eine solidere Grundlage für die Bewertung und Überwachung schaffen.

| 76-78. | Der Ansatz für die Erhebung bewertungsrelevanter Daten war während des vom Hof geprüften Zeitraums nur zum Teil wirksam. Die Kommission wird beim RP7 die erforderlichen Verbesserungen vornehmen (siehe die Antwort zu Ziffer 72). |
| --- | --- |

76-78.

Der Ansatz für die Erhebung bewertungsrelevanter Daten war während des vom Hof geprüften Zeitraums nur zum Teil wirksam. Die Kommission wird beim RP7 die erforderlichen Verbesserungen vornehmen (siehe die Antwort zu Ziffer 72).

| 79. | Die Kommission wird die Durchführung der vom Hof vorgeschlagenen quantitativen Studien fördern. |
| --- | --- |

79.

Die Kommission wird die Durchführung der vom Hof vorgeschlagenen quantitativen Studien fördern.

| 81. | Nach Ansicht der Kommission wurden in jüngster Zeit viele in methodischer Hinsicht interessantere Bewertungen durchgeführt (siehe Ziffer 84); zu unterscheiden ist zwischen umfassenden Evaluierungen und routinemäßigeren Bewertungen. |
| --- | --- |

81.

Nach Ansicht der Kommission wurden in jüngster Zeit viele in methodischer Hinsicht interessantere Bewertungen durchgeführt (siehe Ziffer 84); zu unterscheiden ist zwischen umfassenden Evaluierungen und routinemäßigeren Bewertungen.

| 82. | Die Kommission räumt ein, dass bei den Evaluierungen die kurzfristigen Ergebnisse generell im Vordergrund standen und im Hinblick auf die Wirkungen und Auswirkungen weitere Analysen durchzuführen sind. Ein solcher Ansatz erfordert aber eine längerfristige Perspektive, weshalb die Bewertungen der Kommission mit ähnlichen Arbeiten anderer Stellen verglichen werden können. |
| --- | --- |

82.

Die Kommission räumt ein, dass bei den Evaluierungen die kurzfristigen Ergebnisse generell im Vordergrund standen und im Hinblick auf die Wirkungen und Auswirkungen weitere Analysen durchzuführen sind. Ein solcher Ansatz erfordert aber eine längerfristige Perspektive, weshalb die Bewertungen der Kommission mit ähnlichen Arbeiten anderer Stellen verglichen werden können.

| 83. | Die Kommission bemüht sich, die Unabhängigkeit der Evaluierungssachverständigen zu wahren, insbesondere bei der Wahl angemessener Bewertungsmethoden.
  Für die bevorstehende Ex-post-Bewertung des RP6 im Jahr 2008 wird die Durchführung von Studien über die Verhaltensadditionalität, die Netzwerk-Analysen und die Verwendung szientometrischer Konzepte vorgeschlagen. |
| --- | --- |

83.

Die Kommission bemüht sich, die Unabhängigkeit der Evaluierungssachverständigen zu wahren, insbesondere bei der Wahl angemessener Bewertungsmethoden.

Für die bevorstehende Ex-post-Bewertung des RP6 im Jahr 2008 wird die Durchführung von Studien über die Verhaltensadditionalität, die Netzwerk-Analysen und die Verwendung szientometrischer Konzepte vorgeschlagen.

| 84. | Eine Metaanalyse vorausgegangener Bewertungsstudien wurde von einem unabhängigen Sachverständigen für die Fünfjahresbewertung von 2004 (1999-2003) vorgenommen (5).






  — | (Zweiter Gedankenstrich) Zusätzlich zu den vom Hof genannten Studien wurden 2007 eingehendere Untersuchungen in die Wege geleitet (6). |
| --- | --- | --- |

84.

Eine Metaanalyse vorausgegangener Bewertungsstudien wurde von einem unabhängigen Sachverständigen für die Fünfjahresbewertung von 2004 (1999-2003) vorgenommen (5).

—

(Zweiter Gedankenstrich) Zusätzlich zu den vom Hof genannten Studien wurden 2007 eingehendere Untersuchungen in die Wege geleitet (6).

| 85. | Die Kommission räumt ein, dass neue methodische Konzepte entwickelt werden müssen, um dem Wandel der RP Rechnung zu tragen. Die Kommission unterstützt eine solche Weiterentwicklung der Methoden und wird dies auch künftig tun. |
| --- | --- |

85.

Die Kommission räumt ein, dass neue methodische Konzepte entwickelt werden müssen, um dem Wandel der RP Rechnung zu tragen. Die Kommission unterstützt eine solche Weiterentwicklung der Methoden und wird dies auch künftig tun.

| 86. | Da die Fragestellungen im Auftrag für die Fünfjahresbewertung von 2004 (1999-2003) lediglich indikativen Charakter hatten, konnte das Gremium die Schwerpunktbereiche und seine Arbeitsmodalitäten frei wählen. Die Mitglieder des Gremiums stuften die Evaluierung als hervorragend ein (7). |
| --- | --- |

86.

Da die Fragestellungen im Auftrag für die Fünfjahresbewertung von 2004 (1999-2003) lediglich indikativen Charakter hatten, konnte das Gremium die Schwerpunktbereiche und seine Arbeitsmodalitäten frei wählen. Die Mitglieder des Gremiums stuften die Evaluierung als hervorragend ein (7).

| 87. | Da ein Forschungsprogramm mit Unwägbarkeiten verbunden ist, können quantifizierbare Ziele nicht in begrenztem Umfang festgelegt werden. |
| --- | --- |

87.

Da ein Forschungsprogramm mit Unwägbarkeiten verbunden ist, können quantifizierbare Ziele nicht in begrenztem Umfang festgelegt werden.

| 90. | Im Jahr 2007 reaktivierte die Kommission ihr „Europäisches Netz zur FTE-Evaluierung“, das sich aus Beamten und Evaluierungssachverständigen der Mitgliedstaaten zusammensetzt und mit dessen Hilfe sie für mehr Kohärenz bei der Bewertung der EU-Forschungstätigkeit sorgen möchte, insbesondere im Hinblick auf die Folgenabschätzungen auf der Ebene der Mitgliedstaaten. |
| --- | --- |

90.

Im Jahr 2007 reaktivierte die Kommission ihr „Europäisches Netz zur FTE-Evaluierung“, das sich aus Beamten und Evaluierungssachverständigen der Mitgliedstaaten zusammensetzt und mit dessen Hilfe sie für mehr Kohärenz bei der Bewertung der EU-Forschungstätigkeit sorgen möchte, insbesondere im Hinblick auf die Folgenabschätzungen auf der Ebene der Mitgliedstaaten.

| 91. | Die Kommission wird die Ausarbeitung eines neuen RP-Evaluierungshandbuchs unter Berücksichtigung der jüngsten Beispiele in Erwägung ziehen (8). |
| --- | --- |

91.

Die Kommission wird die Ausarbeitung eines neuen RP-Evaluierungshandbuchs unter Berücksichtigung der jüngsten Beispiele in Erwägung ziehen (8).

| 92. | Die Verfahren für die Projektberichterstattung wurden für das RP6 überarbeitet und werden für das RP7 weiter verbessert (siehe die Antwort zu Ziffer 72). |
| --- | --- |

92.

Die Verfahren für die Projektberichterstattung wurden für das RP6 überarbeitet und werden für das RP7 weiter verbessert (siehe die Antwort zu Ziffer 72).

| 93. | Auf RP-Ebene entwickelt die Kommission für das RP7 gegenwärtig ein Überwachungssystem, um eine kohärentere und systematischere Verwendung von Leistungsindikatoren zu gewährleisten. (siehe die Antwort zu Ziffer 30).
  Mit Unterstützung der GD Informatik entwickeln die „Forschungsgeneraldirektionen“ zurzeit ein neues IT-System für das RP7. Diese verbesserte IT-Unterstützung soll eine solidere Grundlage für die Bewertung und Überwachung schaffen. |
| --- | --- |

93.

Auf RP-Ebene entwickelt die Kommission für das RP7 gegenwärtig ein Überwachungssystem, um eine kohärentere und systematischere Verwendung von Leistungsindikatoren zu gewährleisten. (siehe die Antwort zu Ziffer 30).

Mit Unterstützung der GD Informatik entwickeln die „Forschungsgeneraldirektionen“ zurzeit ein neues IT-System für das RP7. Diese verbesserte IT-Unterstützung soll eine solidere Grundlage für die Bewertung und Überwachung schaffen.

| 94. | Die Kommission teilt die Bedenken des Hofes in Bezug auf den mit der Berichterstattung verbundenen Aufwand und hat dies bei der Festlegung der Berichterstattungsauflagen für das RP7 besonders berücksichtigt (siehe die Antwort zu Ziffer 72). |
| --- | --- |

94.

Die Kommission teilt die Bedenken des Hofes in Bezug auf den mit der Berichterstattung verbundenen Aufwand und hat dies bei der Festlegung der Berichterstattungsauflagen für das RP7 besonders berücksichtigt (siehe die Antwort zu Ziffer 72).

| 95. | Die Kommission hat bereits Maßnahmen ergriffen, um vorhandene und neue Datenquellen bei der Bewertung und Überwachung zu nutzen (siehe die Antwort zu Ziffer 72). |
| --- | --- |

95.

Die Kommission hat bereits Maßnahmen ergriffen, um vorhandene und neue Datenquellen bei der Bewertung und Überwachung zu nutzen (siehe die Antwort zu Ziffer 72).

| 96. | Im Rahmen des RP7 sind spezifische Maßnahmen im Themenbereich 8 (Sozial- und Geisteswissenschaften) vorgesehen, um die Entwicklung innovativer Konzepte für die Bewertung und Überwachung zu fördern. |
| --- | --- |

96.

Im Rahmen des RP7 sind spezifische Maßnahmen im Themenbereich 8 (Sozial- und Geisteswissenschaften) vorgesehen, um die Entwicklung innovativer Konzepte für die Bewertung und Überwachung zu fördern.

| 97. | Im Jahr 2007 reaktivierte die Kommission ihr „Europäisches Netz zur FTE-Evaluierung“ (siehe die Antworten zu den Ziffern 70-71 und 90), mit dessen Hilfe sie für mehr Kohärenz bei der Bewertung der EU-Forschungstätigkeit sorgen möchte, insbesondere im Hinblick auf die Folgenabschätzungen auf der Ebene der Mitgliedstaaten.
  Die Kommission möchte bei der Unterstützung internationaler Netzwerke und beim Austausch bewährter Verfahren zur Forschungsevaluierung im Rahmen von Workshops und sonstigen Veranstaltungen auch weiterhin eine Vorreiterrolle spielen. |
| --- | --- |

97.

Im Jahr 2007 reaktivierte die Kommission ihr „Europäisches Netz zur FTE-Evaluierung“ (siehe die Antworten zu den Ziffern 70-71 und 90), mit dessen Hilfe sie für mehr Kohärenz bei der Bewertung der EU-Forschungstätigkeit sorgen möchte, insbesondere im Hinblick auf die Folgenabschätzungen auf der Ebene der Mitgliedstaaten.

Die Kommission möchte bei der Unterstützung internationaler Netzwerke und beim Austausch bewährter Verfahren zur Forschungsevaluierung im Rahmen von Workshops und sonstigen Veranstaltungen auch weiterhin eine Vorreiterrolle spielen.

| 99. | Die zeitliche Planung der Bewertungen hängt von den Auflagen ab, die in den vom Europäischen Parlament und vom Rat angenommenen Basisrechtsakten enthalten sind. Die Kommission räumt ein, dass über die langfristigen Auswirkungen wenig bekannt ist und es in diesem Bereich weiterer Arbeiten bedarf. |
| --- | --- |

99.

Die zeitliche Planung der Bewertungen hängt von den Auflagen ab, die in den vom Europäischen Parlament und vom Rat angenommenen Basisrechtsakten enthalten sind. Die Kommission räumt ein, dass über die langfristigen Auswirkungen wenig bekannt ist und es in diesem Bereich weiterer Arbeiten bedarf.

| 100. | Die Kommission stimmt dem zu, dass bei den Fünfjahresbewertungen der Schwerpunkt bislang eher auf den kurzfristigen als auf den langfristigen Ergebnissen lag. Zurückzuführen ist dies unter anderem auf das Interesse externer Akteure wie des Europäischen Parlaments und des Rates an einem raschen Feedback über die Leistung der RP, auf die Schwierigkeit, die Auswirkungen von Forschungstätigkeiten langfristig vorauszubestimmen, sowie auf die Schwerpunkte, welche die unabhängigen Gremien bei der Evaluierung setzen. Die Kommission räumt jedoch ein, dass die Bewertung längerfristiger Auswirkungen einen größeren Stellenwert einnehmen sollte. |
| --- | --- |

100.

Die Kommission stimmt dem zu, dass bei den Fünfjahresbewertungen der Schwerpunkt bislang eher auf den kurzfristigen als auf den langfristigen Ergebnissen lag. Zurückzuführen ist dies unter anderem auf das Interesse externer Akteure wie des Europäischen Parlaments und des Rates an einem raschen Feedback über die Leistung der RP, auf die Schwierigkeit, die Auswirkungen von Forschungstätigkeiten langfristig vorauszubestimmen, sowie auf die Schwerpunkte, welche die unabhängigen Gremien bei der Evaluierung setzen. Die Kommission räumt jedoch ein, dass die Bewertung längerfristiger Auswirkungen einen größeren Stellenwert einnehmen sollte.

| 108. | Die Kommission legt gegenwärtig den Zeitplan für die wichtigsten RP7-Bewertungen fest und wird die Empfehlung des Hofes gebührend berücksichtigen. Sie erkennt an, dass über die langfristigen Auswirkungen wenig bekannt ist und es in diesem Bereich weiterer Arbeiten bedarf. |
| --- | --- |

108.

Die Kommission legt gegenwärtig den Zeitplan für die wichtigsten RP7-Bewertungen fest und wird die Empfehlung des Hofes gebührend berücksichtigen. Sie erkennt an, dass über die langfristigen Auswirkungen wenig bekannt ist und es in diesem Bereich weiterer Arbeiten bedarf.

| 109. | Wie vom Hof unter Ziffer 107 angemerkt, enthält die Jährliche Evaluierung (Annual Evaluation Review) der Kommission eine Zusammenfassung aller Feststellungen und aller zur Bewertung der Forschungstätigkeiten ergriffenen Maßnahmen. Die Kommission legt großen Wert auf vollständige Transparenz ihrer Bewertungen und wird — wie vom Hof empfohlen — ihre Verfahren zur Vermittlung und Verbreitung der Bewertungsergebnisse prüfen. |
| --- | --- |

109.

Wie vom Hof unter Ziffer 107 angemerkt, enthält die Jährliche Evaluierung (Annual Evaluation Review) der Kommission eine Zusammenfassung aller Feststellungen und aller zur Bewertung der Forschungstätigkeiten ergriffenen Maßnahmen. Die Kommission legt großen Wert auf vollständige Transparenz ihrer Bewertungen und wird — wie vom Hof empfohlen — ihre Verfahren zur Vermittlung und Verbreitung der Bewertungsergebnisse prüfen.

| 110-111. | Die Kommission stimmt mit dem Hof darin überein, dass die Bewertung von Forschungstätigkeiten, insbesondere eines umfassenden Programms wie des RP, sehr schwierig ist.
  Sie weist darauf hin, dass das System in den letzten 25 Jahren erheblich verbessert wurde und das System für politische Entscheidungsträger, Forschungsdirektoren und sonstige Akteure insgesamt effizient funktionierte. |
| --- | --- |

110-111.

Die Kommission stimmt mit dem Hof darin überein, dass die Bewertung von Forschungstätigkeiten, insbesondere eines umfassenden Programms wie des RP, sehr schwierig ist.

Sie weist darauf hin, dass das System in den letzten 25 Jahren erheblich verbessert wurde und das System für politische Entscheidungsträger, Forschungsdirektoren und sonstige Akteure insgesamt effizient funktionierte.

| 112. | Die Kommission begrüßt die Bemerkung des Hofes, wonach die für die Durchführung der RP zuständigen GDs die Anforderungen der Kommission erfüllt haben, einschließlich derer, die in den Mitteilungen von 2000 und 2002 zum Thema Evaluierung enthalten sind.
  Die Bewertung der RP wurde erheblichen Veränderungen unterzogen, einschließlich einer umfassenden Umstrukturierung beim RP7, wie der Strategie für die Folgenabschätzung (SEK(2005) 430) zu entnehmen ist. |
| --- | --- |

112.

Die Kommission begrüßt die Bemerkung des Hofes, wonach die für die Durchführung der RP zuständigen GDs die Anforderungen der Kommission erfüllt haben, einschließlich derer, die in den Mitteilungen von 2000 und 2002 zum Thema Evaluierung enthalten sind.

Die Bewertung der RP wurde erheblichen Veränderungen unterzogen, einschließlich einer umfassenden Umstrukturierung beim RP7, wie der Strategie für die Folgenabschätzung (SEK(2005) 430) zu entnehmen ist.

| 113. | Was die Aussagekraft und die Nützlichkeit der Bewertungen anbelangt, so kann die Kommission auf das generell positive Feedback verweisen, das sie erhalten hat, insbesondere bei wichtigen Evaluierungen wie der Fünfjahresbewertung von 2004 (1999-2003). Die Feststellungen der Fünfjahresbewertung wurden umfassend verbreitet; erläutert wurden sie auch wichtigen Gremien wie dem Europäischen Parlament, dem Rat, dem CREST und dem RP-Programmausschuss. Da diese Evaluierung vor der Vorlage eines Kommissionsvorschlags für ein neues Rahmenprogramm (in diesem Fall für das RP7) zwingend erforderlich ist, bedeutet die etwaige Annahme des RP7 ihre allgemeine Billigung.
  Das soll nicht heißen, dass keine Verbesserungen vorgenommen werden könnten; die Kommission akzeptiert durchaus, dass wohlüberlegte Änderungen auf der Grundlage der bereits gut funktionierenden Elemente des derzeitigen Ansatzes erforderlich sind. |
| --- | --- |

113.

Was die Aussagekraft und die Nützlichkeit der Bewertungen anbelangt, so kann die Kommission auf das generell positive Feedback verweisen, das sie erhalten hat, insbesondere bei wichtigen Evaluierungen wie der Fünfjahresbewertung von 2004 (1999-2003). Die Feststellungen der Fünfjahresbewertung wurden umfassend verbreitet; erläutert wurden sie auch wichtigen Gremien wie dem Europäischen Parlament, dem Rat, dem CREST und dem RP-Programmausschuss. Da diese Evaluierung vor der Vorlage eines Kommissionsvorschlags für ein neues Rahmenprogramm (in diesem Fall für das RP7) zwingend erforderlich ist, bedeutet die etwaige Annahme des RP7 ihre allgemeine Billigung.

Das soll nicht heißen, dass keine Verbesserungen vorgenommen werden könnten; die Kommission akzeptiert durchaus, dass wohlüberlegte Änderungen auf der Grundlage der bereits gut funktionierenden Elemente des derzeitigen Ansatzes erforderlich sind.

| 114. | Die Kommission begrüßt, dass der Hof die Bedeutung der Bewertung und Überwachung anerkennt, und wird ausgehend von den bereits erfolgten erheblichen Verbesserungen ihre derzeitigen Verfahren unter Berücksichtigung der neuen politischen und praktischen Gegebenheiten weiter aktualisieren. |
| --- | --- |

114.

Die Kommission begrüßt, dass der Hof die Bedeutung der Bewertung und Überwachung anerkennt, und wird ausgehend von den bereits erfolgten erheblichen Verbesserungen ihre derzeitigen Verfahren unter Berücksichtigung der neuen politischen und praktischen Gegebenheiten weiter aktualisieren.

| 115. | Die Kommission hat bereits Maßnahmen ergriffen, um die Interventionslogik für das Programm unter Berücksichtigung der in den RP7-Rechtsvorschriften und in der Wirkungsevaluierung erzielten Fortschritte expliziter darzulegen, und wird der Empfehlung des Hofes bei künftigen Vorschlägen für Rechtsakte Rechnung tragen. |
| --- | --- |

115.

Die Kommission hat bereits Maßnahmen ergriffen, um die Interventionslogik für das Programm unter Berücksichtigung der in den RP7-Rechtsvorschriften und in der Wirkungsevaluierung erzielten Fortschritte expliziter darzulegen, und wird der Empfehlung des Hofes bei künftigen Vorschlägen für Rechtsakte Rechnung tragen.

| 116. | Die Kommission räumt ein, dass trotz der erheblichen Verbesserungen, die bei der RP7-Bewertung bereits erfolgten, ein weiterer Bedarf an Verbesserungen besteht, einschließlich einer engeren Koordinierung auf operationeller Ebene zwischen den betroffenen Dienststellen. Die Kommission wird sich auch künftig bemühen, die Weiterentwicklungen der Bewertungsmethoden zu unterstützen. |
| --- | --- |

116.

Die Kommission räumt ein, dass trotz der erheblichen Verbesserungen, die bei der RP7-Bewertung bereits erfolgten, ein weiterer Bedarf an Verbesserungen besteht, einschließlich einer engeren Koordinierung auf operationeller Ebene zwischen den betroffenen Dienststellen. Die Kommission wird sich auch künftig bemühen, die Weiterentwicklungen der Bewertungsmethoden zu unterstützen.

| 117. | Was den organisatorischen Rahmen anbelangt, so vertritt die Kommission folgende Ansicht:






  — | (Erster Gedankenstrich) Die Gremien sollten möglichst früh eingesetzt werden, um eine spezifische Bewertung unterstützen zu können. Vermutlich würden aber spezielle, für bestimmte Zwecke eingesetzte Gremien präzisere Ergebnisse liefern und gezielter zum Einsatz kommen. |
| --- | --- | --- |

117.

Was den organisatorischen Rahmen anbelangt, so vertritt die Kommission folgende Ansicht:

—

(Erster Gedankenstrich) Die Gremien sollten möglichst früh eingesetzt werden, um eine spezifische Bewertung unterstützen zu können. Vermutlich würden aber spezielle, für bestimmte Zwecke eingesetzte Gremien präzisere Ergebnisse liefern und gezielter zum Einsatz kommen.

| — | (Zweiter Gedankenstrich) Die Koordinierung zwischen den für die Durchführung der RP zuständigen GDs muss intensiviert werden. Neben der neuen Bewertungsstrategie für das RP7 kann hierzu eher der Rückgriff auf spezielle Koordinierungsstrukturen zur Ergänzung des internen „Netzes zur FTE-Evaluierung“ der Kommission als die Einrichtung eines gemeinsamen Evaluierungsamts beitragen. |
| --- | --- |

—

(Zweiter Gedankenstrich) Die Koordinierung zwischen den für die Durchführung der RP zuständigen GDs muss intensiviert werden. Neben der neuen Bewertungsstrategie für das RP7 kann hierzu eher der Rückgriff auf spezielle Koordinierungsstrukturen zur Ergänzung des internen „Netzes zur FTE-Evaluierung“ der Kommission als die Einrichtung eines gemeinsamen Evaluierungsamts beitragen.

---

(1)  Mitteilung der Kommission für die Frühjahrstagung des Europäischen Rates — Umsetzung der erneuerten Lissabon-Strategie für Wachstum und Beschäftigung (KOM(2006) 816).

(2)  Der Vorschlag der Kommission für das RP7 wurde beispielsweise auf der Grundlage einer detaillierten Ex-Ante-Bewertung der Auswirkungen erarbeitet, die eine ökonometrische Modellierung der potenziellen Auswirkungen der Forschungstätigkeiten bei Themen wie Wachstum und Schaffung von Arbeitsplätzen umfasste (siehe Europäische Kommission, Arbeitspapier, „Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)“ SEC(2005) 430). Die RP7-Beschlüsse enthalten eine klare Struktur, die Ziele, Prinzipien und Tätigkeiten miteinander verknüpft. In den Beschlüssen betreffend das spezifische Programm des RP7 sind überdies Ziele, Ansatz und Tätigkeiten festgelegt.

(3)  Der „Quality Assessment Framework“ ist abrufbar über: http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Europäische Kommission, GD Haushalt, „Evaluating EU Activities — A Practical Guide for the Commission services“, Juli 2004, abrufbar über http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance“, 2004.

(6)  GD Forschung, „Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation“, 2007; GD Informationsgesellschaft und Medien „Effectiveness of IST-RTD Impacts on the EU Innovation System“, 2007.

(7)  Siehe C. Mandl, „Evaluating Evaluations or The Case for Action Research“, Plattform Forschungs- und Technologieevaluierung, Österreich, Nr. 30, Juni 2007.

(8)  Siehe beispielsweise Europäische Kommission, Gemeinsame Forschungsstelle, „Assessing the Socio-Economic Impact of RTD-Policies“ (EPUB), 2002, und Universität Manchester, „Assessing the Socio-economic Impacts of the Framework Programme“ (ASIF), 2002; beide Berichte sind abrufbar über: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Diese Berichte wurden umfassend verbreitet und den Auftragnehmern und Sachverständigen, die im Namen der Kommission Evaluierungsstudien durchführen, zur Verfügung gestellt.

---