# Publicatieblad C 26/2008

| | ISSN 1725-2474 |
| --- | --- |
| Publicatieblad
  van de Europese Unie | C 26 |
| | |
| Uitgave in de Nederlandse taal | Mededelingen en bekendmakingen | 51e jaargang30 januari 2008 |

ISSN 1725-2474

Publicatieblad

van de Europese Unie

C 26

Uitgave in de Nederlandse taal

Mededelingen en bekendmakingen

51e jaargang30 januari 2008

---

| Nummer | Inhoud | Bladzijde |
| --- | --- | --- |
| | IV   Informatie |
| | INFORMATIE AFKOMSTIG VAN DE INSTELLINGEN EN ORGANEN VAN DE EUROPESE UNIE |
| | Rekenkamer |
| 2008/C 026/01 | Speciaal verslag nr. 9/2007 over De evaluatie van de Europese kaderprogramma's voor onderzoek en technologische ontwikkeling (OTO): kan de aanpak van de Commissie worden verbeterd?, vergezeld van de antwoorden van de Commissie | 1 |

Nummer

Inhoud

Bladzijde

IV   Informatie

INFORMATIE AFKOMSTIG VAN DE INSTELLINGEN EN ORGANEN VAN DE EUROPESE UNIE

Rekenkamer

2008/C 026/01

Speciaal verslag nr. 9/2007 over De evaluatie van de Europese kaderprogramma's voor onderzoek en technologische ontwikkeling (OTO): kan de aanpak van de Commissie worden verbeterd?, vergezeld van de antwoorden van de Commissie

1

| NL | |
| --- | --- |

NL

---

IV Informatie

INFORMATIE AFKOMSTIG VAN DE INSTELLINGEN EN ORGANEN VAN DE EUROPESE UNIE

Rekenkamer

| 30.1.2008 | NL | Publicatieblad van de Europese Unie | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

NL

Publicatieblad van de Europese Unie

C 26/1

---

SPECIAAL VERSLAG Nr. 9/2007

over „De evaluatie van de Europese kaderprogramma's voor onderzoek en technologische ontwikkeling (OTO): kan de aanpak van de Commissie worden verbeterd?”, vergezeld van de antwoorden van de Commissie

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2008/C 26/01)

INHOUD

| I-V | SAMENVATTING |
| --- | --- |

I-V

| 1-14 | INLEIDING |
| --- | --- |

1-14

| 1-7 | De ondersteunende rol van de Europese Unie bij OTO-werkzaamheden |
| --- | --- |

1-7

| 8-14 | Evaluatie van en toezicht op de KP's |
| --- | --- |

8-14

| 15-18 | REIKWIJDTE EN AANPAK VAN DE CONTROLE |
| --- | --- |

15-18

| 19-109 | CONTROLEBEVINDINGEN |
| --- | --- |

19-109

| 19-37 | Interventielogica, keuze van doelstellingen en prestatie-indicatoren |
| --- | --- |

19-37

| 38-49 | De evaluatiestrategie |
| --- | --- |

38-49

| 50-68 | Opzet van de evaluatie van de KP's |
| --- | --- |

50-68

| 69-97 | Evaluatiemethodologieën en -technieken |
| --- | --- |

69-97

| 98-109 | Verspreiding en benutting van de evaluatiebevindingen |
| --- | --- |

98-109

| 110-118 | ALGEMENE CONCLUSIE |
| --- | --- |

110-118

Bijlage I: Meten van de impact en resultaten van de overheidsinterventie in OTO

Bijlage II: Bepalingen inzake toezicht en evaluatie in de regelgevende besluiten voor KP4-KP7

Bijlage III: Voornaamste verschillen tussen de EU (KP4-KP6), de VS en Canada bij de evaluatie achteraf van onderzoeksprogramma's

Bijlage IV: Mogelijke panelstructuur voor KP7

Antwoorden van de Commissie

SAMENVATTING

| I. | De communautaire kaderprogramma's (KP's) voor onderzoek en technologische ontwikkeling (OTO) vormen de grootste publieke financieringsbron voor onderzoek in de Europese Unie. De Commissie is verantwoordelijk voor het beheer van de KP's en de beoordeling van de resultaten ervan. |
| --- | --- |

I.

De communautaire kaderprogramma's (KP's) voor onderzoek en technologische ontwikkeling (OTO) vormen de grootste publieke financieringsbron voor onderzoek in de Europese Unie. De Commissie is verantwoordelijk voor het beheer van de KP's en de beoordeling van de resultaten ervan.

| II. | De controle bestreek de sinds 1995 bestaande toezicht- en evaluatieregelingen voor de laatste drie programmeringsperioden (KP4, KP5, KP6) en schetst de vooruitzichten voor KP7 (2007-2013). De controle werd verricht in samenwerking met de accountantscommissie van de EVA en met medewerking van externe deskundigen. |
| --- | --- |

II.

De controle bestreek de sinds 1995 bestaande toezicht- en evaluatieregelingen voor de laatste drie programmeringsperioden (KP4, KP5, KP6) en schetst de vooruitzichten voor KP7 (2007-2013). De controle werd verricht in samenwerking met de accountantscommissie van de EVA en met medewerking van externe deskundigen.

| III. | De controle was gericht op de vraag of de Commissie de beoordeling van de resultaten van de KP's op de juiste wijze aanpakte. In dit kader onderzocht de Rekenkamer of de Commissie voldeed aan de voorschriften inzake evaluatie en verifieerde zij of het evaluatie- en toezichtsysteem van de Commissie voldeed aan de verwachtingen van de betrokkenen. De Rekenkamer vroeg zich met name het volgende af:






  i) | berusten de KP's en de programma's waaruit ze bestaan op een interventielogica die evaluatie en toezicht een stevige basis kan geven; |
| --- | --- | --- |

III.

De controle was gericht op de vraag of de Commissie de beoordeling van de resultaten van de KP's op de juiste wijze aanpakte. In dit kader onderzocht de Rekenkamer of de Commissie voldeed aan de voorschriften inzake evaluatie en verifieerde zij of het evaluatie- en toezichtsysteem van de Commissie voldeed aan de verwachtingen van de betrokkenen. De Rekenkamer vroeg zich met name het volgende af:

i)

berusten de KP's en de programma's waaruit ze bestaan op een interventielogica die evaluatie en toezicht een stevige basis kan geven;

| ii) | heeft de Commissie een evaluatiestrategie bepaald voor de KP's; |
| --- | --- |

ii)

heeft de Commissie een evaluatiestrategie bepaald voor de KP's;

| iii) | zorgt de organisatorische structuur van het evaluatiesysteem van de Commissie voor de KP's ervoor dat de evaluatie behoorlijk wordt gecoördineerd, van toereikende middelen wordt voorzien en door de betrokkenen voldoende onafhankelijk wordt geacht; |
| --- | --- |

iii)

zorgt de organisatorische structuur van het evaluatiesysteem van de Commissie voor de KP's ervoor dat de evaluatie behoorlijk wordt gecoördineerd, van toereikende middelen wordt voorzien en door de betrokkenen voldoende onafhankelijk wordt geacht;

| iv) | zijn de toegepaste methodologieën bevredigend, en |
| --- | --- |

iv)

zijn de toegepaste methodologieën bevredigend, en

| v) | leveren de evaluatie- en toezichtsactiviteiten gegevens en analyses op die kunnen worden gebruikt om de lopende programma's te verbeteren en toekomstige KP's voor te bereiden? |
| --- | --- |

v)

leveren de evaluatie- en toezichtsactiviteiten gegevens en analyses op die kunnen worden gebruikt om de lopende programma's te verbeteren en toekomstige KP's voor te bereiden?

| IV. | De bevindingen en conclusies van de Rekenkamer luidden als volgt:






  i) | doeltreffend toezicht en evaluatie werd belemmerd door het ontbreken van een expliciete interventielogica, de slechte definitie van de programmadoelstellingen en de zwakke prestatiemeting; |
| --- | --- | --- |

IV.

De bevindingen en conclusies van de Rekenkamer luidden als volgt:

i)

doeltreffend toezicht en evaluatie werd belemmerd door het ontbreken van een expliciete interventielogica, de slechte definitie van de programmadoelstellingen en de zwakke prestatiemeting;

| ii) | het ontbreken van een complete evaluatiestrategie, overeengekomen tussen de „onderzoeks-DG's” die de KP's uitvoeren, leidde tot een inconsistente aanpak van de verschillende diensten van de Commissie. Dit blijkt onder meer uit het feit dat grote delen van de KP's te weinig werden geëvalueerd; |
| --- | --- |

ii)

het ontbreken van een complete evaluatiestrategie, overeengekomen tussen de „onderzoeks-DG's” die de KP's uitvoeren, leidde tot een inconsistente aanpak van de verschillende diensten van de Commissie. Dit blijkt onder meer uit het feit dat grote delen van de KP's te weinig werden geëvalueerd;

| iii) | de evaluatie van de KP's was gedecentraliseerd en de bestaande coördinatiemechanismen tussen de DG's die de KP's uitvoeren, waren niet doeltreffend; de centrale diensten van de Commissie hadden geen handhavende rol. Toch hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften van de Commissie betreffende evaluatie. Het gebruik van panels met externe topdeskundigen die door de Commissie werden aangesteld voor de grote evaluatierondes paste goed in de communautaire context. Deze tijdelijke panels werden echter niet vroeg genoeg bij het proces betrokken om invloed te kunnen hebben op het verzamelen van bewijzen en ze hadden slechts beperkte mogelijkheden tot follow-up van relevante thema's in de loop van de tijd. Doordat er alleen een algemeen KP-panel was (naast een panel voor één specifiek programma) werd onvoldoende aandacht besteed aan specifieke thema's in verband met de verschillende wetenschappelijke terreinen binnen de KP's; |
| --- | --- |

iii)

de evaluatie van de KP's was gedecentraliseerd en de bestaande coördinatiemechanismen tussen de DG's die de KP's uitvoeren, waren niet doeltreffend; de centrale diensten van de Commissie hadden geen handhavende rol. Toch hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften van de Commissie betreffende evaluatie. Het gebruik van panels met externe topdeskundigen die door de Commissie werden aangesteld voor de grote evaluatierondes paste goed in de communautaire context. Deze tijdelijke panels werden echter niet vroeg genoeg bij het proces betrokken om invloed te kunnen hebben op het verzamelen van bewijzen en ze hadden slechts beperkte mogelijkheden tot follow-up van relevante thema's in de loop van de tijd. Doordat er alleen een algemeen KP-panel was (naast een panel voor één specifiek programma) werd onvoldoende aandacht besteed aan specifieke thema's in verband met de verschillende wetenschappelijke terreinen binnen de KP's;

| iv) | er waren te weinig methodologische instructies, de beoordelaars hadden moeite om relevante gegevens te verzamelen en er waren geen evaluatiestudies die uitkomsten en impact van de KP's op langere termijn betroffen in plaats van aspecten van programma-uitvoering op korte termijn; |
| --- | --- |

iv)

er waren te weinig methodologische instructies, de beoordelaars hadden moeite om relevante gegevens te verzamelen en er waren geen evaluatiestudies die uitkomsten en impact van de KP's op langere termijn betroffen in plaats van aspecten van programma-uitvoering op korte termijn;

| v) | als gevolg hiervan en omdat de evaluaties vaak te vroeg kwamen om de belangrijkste kwesties te kunnen behandelen, was het evaluatiesysteem van de Commissie voor de KP's van beperkt nut voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf. Tenslotte is er weinig bekend over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's. |
| --- | --- |

v)

als gevolg hiervan en omdat de evaluaties vaak te vroeg kwamen om de belangrijkste kwesties te kunnen behandelen, was het evaluatiesysteem van de Commissie voor de KP's van beperkt nut voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf. Tenslotte is er weinig bekend over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's.

| V. | De Rekenkamer doet de volgende aanbevelingen:






  i) | in toekomstige regelgeving moet de interventielogica uitdrukkelijk aan de orde komen. Hypotheses moeten worden uitgelegd, het verband tussen wetenschappelijke en sociaaleconomische doelstellingen moet worden verduidelijkt en passende prestatie-indicatoren moeten worden ontwikkeld; |
| --- | --- | --- |

V.

De Rekenkamer doet de volgende aanbevelingen:

i)

in toekomstige regelgeving moet de interventielogica uitdrukkelijk aan de orde komen. Hypotheses moeten worden uitgelegd, het verband tussen wetenschappelijke en sociaaleconomische doelstellingen moet worden verduidelijkt en passende prestatie-indicatoren moeten worden ontwikkeld;

| ii) | de DG's die de KP's uitvoeren, moeten een complete evaluatiestrategie ontwikkelen (en afspreken). Dit moet met name zorgen voor een consistente aanpak inzake het minimumniveau waarop gedetailleerde evaluatie moet plaatsvinden om rekening te houden met de specifieke kenmerken van elk wetenschappelijk terrein; |
| --- | --- |

ii)

de DG's die de KP's uitvoeren, moeten een complete evaluatiestrategie ontwikkelen (en afspreken). Dit moet met name zorgen voor een consistente aanpak inzake het minimumniveau waarop gedetailleerde evaluatie moet plaatsvinden om rekening te houden met de specifieke kenmerken van elk wetenschappelijk terrein;

| iii) | er moet worden overwogen een gemeenschappelijk evaluatiebureau op te richten om de evaluatiewerkzaamheden van de „onderzoeks-DG's” voor het gehele KP te coördineren en een systeem van panels (en subpanels) met externe deskundigen op te zetten. Die panels moeten vroeg genoeg worden samengesteld om de Commissie doeltreffende assistentie te kunnen verlenen en wel tijdens de hele programmeringsperiode en daarna; |
| --- | --- |

iii)

er moet worden overwogen een gemeenschappelijk evaluatiebureau op te richten om de evaluatiewerkzaamheden van de „onderzoeks-DG's” voor het gehele KP te coördineren en een systeem van panels (en subpanels) met externe deskundigen op te zetten. Die panels moeten vroeg genoeg worden samengesteld om de Commissie doeltreffende assistentie te kunnen verlenen en wel tijdens de hele programmeringsperiode en daarna;

| iv) | de informatiebehoeften voor evaluatie en toezicht moeten behoorlijk worden geanalyseerd en andere bestaande gegevensbronnen moeten uitgebreider worden benut. De Commissie moet ook de rapportageregels voor de deelnemers rationaliseren. Ten slotte moet zij een uitvoerige evaluatiehandleiding opstellen voor de KP's en een ruimer scala van evaluatiemethodologieën en -technieken ontwikkelen voor toepassing bij de evaluatie op dit terrein, en |
| --- | --- |

iv)

de informatiebehoeften voor evaluatie en toezicht moeten behoorlijk worden geanalyseerd en andere bestaande gegevensbronnen moeten uitgebreider worden benut. De Commissie moet ook de rapportageregels voor de deelnemers rationaliseren. Ten slotte moet zij een uitvoerige evaluatiehandleiding opstellen voor de KP's en een ruimer scala van evaluatiemethodologieën en -technieken ontwikkelen voor toepassing bij de evaluatie op dit terrein, en

| v) | de Commissie moet de aard en reikwijdte bepalen van de evaluatie die redelijkerwijs kan worden verwacht op de in de regelgeving voor KP7 genoemde tijdstippen en verduidelijken hoe evaluaties kunnen worden benut om programma's aan te passen („lerende” programma's) en hoe zij kunnen bijdragen aan beleidsbeslissingen. |
| --- | --- |

v)

de Commissie moet de aard en reikwijdte bepalen van de evaluatie die redelijkerwijs kan worden verwacht op de in de regelgeving voor KP7 genoemde tijdstippen en verduidelijken hoe evaluaties kunnen worden benut om programma's aan te passen („lerende” programma's) en hoe zij kunnen bijdragen aan beleidsbeslissingen.

INLEIDING

De ondersteunende rol van de Europese Unie bij OTO-werkzaamheden

| 1. | Onderzoek en technologische ontwikkeling (OTO) (1) vormt de grootste drijvende kracht achter de wetenschappelijke en technologische vooruitgang en innovatie en draagt als zodanig sterk bij tot verbetering van de levensstandaard. Overheidsinterventie in OTO wordt doorgaans gerechtvaardigd als een correctie van zogenaamde „marktgebreken”: de overheidssteun vermindert de onzekerheid en zorgt voor investeringen wanneer het onderzoek van algemeen nut is of belangrijke externe effecten heeft. |
| --- | --- |

1.

Onderzoek en technologische ontwikkeling (OTO) (1) vormt de grootste drijvende kracht achter de wetenschappelijke en technologische vooruitgang en innovatie en draagt als zodanig sterk bij tot verbetering van de levensstandaard. Overheidsinterventie in OTO wordt doorgaans gerechtvaardigd als een correctie van zogenaamde „marktgebreken”: de overheidssteun vermindert de onzekerheid en zorgt voor investeringen wanneer het onderzoek van algemeen nut is of belangrijke externe effecten heeft.

| 2. | Artikel 163 van het Verdrag omschrijft de rol van de Gemeenschappen ter ondersteuning van OTO als volgt: „De Gemeenschap heeft als doelstelling de wetenschappelijke en technologische grondslagen van de industrie van de Gemeenschap te versterken en de ontwikkeling van haar internationale concurrentiepositie te bevorderen, alsmede de onderzoeksactiviteiten te bevorderen die ... nodig worden geacht.”. De artikelen 164-173 beschrijven de activiteiten die in dit verband zullen worden verricht alsook de reikwijdte en tenuitvoerlegging van de meerjarenkaderprogramma's (KP's) voor OTO. De Commissie is belast met het doen van voorstellen voor KP's, maar de besluiten en regels inzake deelname en verspreiding worden gezamenlijk vastgesteld door het Europees Parlement en de Raad. Laatstgenoemde stelt alleen de specifieke programma's vast. De KP's worden door zes directoraten-generaal (DG's) — de zogeheten „onderzoeks-DG's” — gezamenlijk uitgevoerd (2). |
| --- | --- |

2.

Artikel 163 van het Verdrag omschrijft de rol van de Gemeenschappen ter ondersteuning van OTO als volgt: „De Gemeenschap heeft als doelstelling de wetenschappelijke en technologische grondslagen van de industrie van de Gemeenschap te versterken en de ontwikkeling van haar internationale concurrentiepositie te bevorderen, alsmede de onderzoeksactiviteiten te bevorderen die ... nodig worden geacht.”. De artikelen 164-173 beschrijven de activiteiten die in dit verband zullen worden verricht alsook de reikwijdte en tenuitvoerlegging van de meerjarenkaderprogramma's (KP's) voor OTO. De Commissie is belast met het doen van voorstellen voor KP's, maar de besluiten en regels inzake deelname en verspreiding worden gezamenlijk vastgesteld door het Europees Parlement en de Raad. Laatstgenoemde stelt alleen de specifieke programma's vast. De KP's worden door zes directoraten-generaal (DG's) — de zogeheten „onderzoeks-DG's” — gezamenlijk uitgevoerd (2).

| 3. | Binnen het ruime scala van in de Europese Unie uitgevoerd beleid ter versterking van innovatie en concurrentievermogen zijn de KP's het belangrijkste financiële instrument dat op communautair niveau bijdraagt tot de Lissabon-strategie (3) en de doelstelling van Barcelona (4). |
| --- | --- |

3.

Binnen het ruime scala van in de Europese Unie uitgevoerd beleid ter versterking van innovatie en concurrentievermogen zijn de KP's het belangrijkste financiële instrument dat op communautair niveau bijdraagt tot de Lissabon-strategie (3) en de doelstelling van Barcelona (4).

Image

| 4. | Via de KP's verstrekt de Gemeenschap financiering aan onderzoekers in de Europese Unie, in geassocieerde landen en internationale organisaties. De uitgetrokken bedragen zijn in de loop der jaren aanzienlijk gestegen, en wel van 2 761 miljoen euro per jaar bij KP4 tot 7 217 miljoen euro bij KP7 (zie figuur 1). In termen van begrotingsmiddelen vormen de KP's de grootste sector onder direct gecentraliseerd beheer van de Commissie (5). |
| --- | --- |

4.

Via de KP's verstrekt de Gemeenschap financiering aan onderzoekers in de Europese Unie, in geassocieerde landen en internationale organisaties. De uitgetrokken bedragen zijn in de loop der jaren aanzienlijk gestegen, en wel van 2 761 miljoen euro per jaar bij KP4 tot 7 217 miljoen euro bij KP7 (zie figuur 1). In termen van begrotingsmiddelen vormen de KP's de grootste sector onder direct gecentraliseerd beheer van de Commissie (5).

| 5. | De KP's verschillen van vele nationale programma's omdat ze fundamenteel en toegepast onderzoek betreffen, en industrie en openbare onderzoeksinstellingen eraan meewerken (6). Ze zijn samengesteld uit specifieke programma's (en subprogramma's) op brede wetenschappelijke terreinen. Deze programma's omvatten doorgaans een aantal rubrieken die zijn toegespitst op meer specifieke wetenschappelijke gebieden. De rubrieken worden dan na een oproep tot het indienen van voorstellen uitgevoerd door middel van projecten, „werkzaamheden onder contract” genoemd. Op deze manier worden per rubriek honderden afzonderlijke projecten gefinancierd. |
| --- | --- |

5.

De KP's verschillen van vele nationale programma's omdat ze fundamenteel en toegepast onderzoek betreffen, en industrie en openbare onderzoeksinstellingen eraan meewerken (6). Ze zijn samengesteld uit specifieke programma's (en subprogramma's) op brede wetenschappelijke terreinen. Deze programma's omvatten doorgaans een aantal rubrieken die zijn toegespitst op meer specifieke wetenschappelijke gebieden. De rubrieken worden dan na een oproep tot het indienen van voorstellen uitgevoerd door middel van projecten, „werkzaamheden onder contract” genoemd. Op deze manier worden per rubriek honderden afzonderlijke projecten gefinancierd.

| 6. | Het aandeel van de KP's in de totale overheidsfinanciering voor OTO binnen de Europese Unie en haar lidstaten bedraagt in totaal 4 à 5 %. De impact ervan op het soort onderzoekswerkzaamheden dat binnen Europa wordt uitgevoerd, is echter veel groter. De subsidies van de Gemeenschap vormen namelijk meestal slechts een deel van de totale financiering voor een project. Bovendien moeten de onderzoekers in de financieringsaanvraag aantonen dat hun projecten gericht zijn op de doelstellingen die in de oproep tot het indienen van voorstellen werden beschreven. Op deze manier vormen de KP's een stimulans om de OTO-werkzaamheden toe te spitsen op specifieke EU-doelstellingen. |
| --- | --- |

6.

Het aandeel van de KP's in de totale overheidsfinanciering voor OTO binnen de Europese Unie en haar lidstaten bedraagt in totaal 4 à 5 %. De impact ervan op het soort onderzoekswerkzaamheden dat binnen Europa wordt uitgevoerd, is echter veel groter. De subsidies van de Gemeenschap vormen namelijk meestal slechts een deel van de totale financiering voor een project. Bovendien moeten de onderzoekers in de financieringsaanvraag aantonen dat hun projecten gericht zijn op de doelstellingen die in de oproep tot het indienen van voorstellen werden beschreven. Op deze manier vormen de KP's een stimulans om de OTO-werkzaamheden toe te spitsen op specifieke EU-doelstellingen.

| 7. | De laatste jaren werden er aanzienlijke wijzigingen aangebracht in de KP's op grond van de volgende factoren:






  — | nieuwe politieke uitdagingen (Lissabon-strategie en doelstellingen van Barcelona), de instelling van een „Europese Onderzoeksruimte” (EOR) en de toenemende toepassing van de open coördinatiemethode (7) in het beleid inzake onderzoek en innovatie; |
| --- | --- | --- |

7.

De laatste jaren werden er aanzienlijke wijzigingen aangebracht in de KP's op grond van de volgende factoren:

—

nieuwe politieke uitdagingen (Lissabon-strategie en doelstellingen van Barcelona), de instelling van een „Europese Onderzoeksruimte” (EOR) en de toenemende toepassing van de open coördinatiemethode (7) in het beleid inzake onderzoek en innovatie;

| — | de veranderende oriëntatie van de KP's, van het eenvoudig oplossen van technische problemen in KP4 en het aanpakken van specifieke sociale problemen in KP5 naar het stimuleren van samenwerking tussen onderzoeksinstellingen binnen de EOR en het meewerken aan de vestiging van een kenniseconomie en -maatschappij in KP6 en KP7; |
| --- | --- |

—

de veranderende oriëntatie van de KP's, van het eenvoudig oplossen van technische problemen in KP4 en het aanpakken van specifieke sociale problemen in KP5 naar het stimuleren van samenwerking tussen onderzoeksinstellingen binnen de EOR en het meewerken aan de vestiging van een kenniseconomie en -maatschappij in KP6 en KP7;

| — | langere programmeringsperioden (voorheen vier jaar, nu zeven jaar voor KP7, overeenkomstig de financiële vooruitzichten voor 2007-2013); |
| --- | --- |

—

langere programmeringsperioden (voorheen vier jaar, nu zeven jaar voor KP7, overeenkomstig de financiële vooruitzichten voor 2007-2013);

| — | meer lidstaten en deelnemende landen; |
| --- | --- |

—

meer lidstaten en deelnemende landen;

| — | verhoogde financiering, met name in het kader van de huidige financiële vooruitzichten; |
| --- | --- |

—

verhoogde financiering, met name in het kader van de huidige financiële vooruitzichten;

| — | de oprichting van de Europese Raad voor Onderzoek (ERO) en de delegatie van het programmabeheer aan uitvoerende agentschappen vanaf KP7, en |
| --- | --- |

—

de oprichting van de Europese Raad voor Onderzoek (ERO) en de delegatie van het programmabeheer aan uitvoerende agentschappen vanaf KP7, en

| — | de toenemende toepassing van grootschalige financieringsinstrumenten (zoals Networks of Excellence, Integrated Projects, Artikel 169-projecten, gezamenlijke technologie-initiatieven). |
| --- | --- |

—

de toenemende toepassing van grootschalige financieringsinstrumenten (zoals Networks of Excellence, Integrated Projects, Artikel 169-projecten, gezamenlijke technologie-initiatieven).

Evaluatie van en toezicht op de KP's

| 8. | De Commissie is verantwoordelijk voor de uitvoering van de programma's en de beoordeling van de programmaresultaten (8). Binnen de Commissie is de evaluatie gedecentraliseerd aan de DG's en de centrale diensten (vooral DG Begroting en het Secretariaat-generaal) zorgen voor steun en coördinatie. |
| --- | --- |

8.

De Commissie is verantwoordelijk voor de uitvoering van de programma's en de beoordeling van de programmaresultaten (8). Binnen de Commissie is de evaluatie gedecentraliseerd aan de DG's en de centrale diensten (vooral DG Begroting en het Secretariaat-generaal) zorgen voor steun en coördinatie.

| 9. | In dit verslag worden de door de Commissie zelf gebezigde definities gehanteerd van evaluatie (beoordeling van de acties aan de hand van hun resultaten, hun impact en de behoeften waaraan zij beogen te voldoen) (9) en toezicht (informatie verstrekken over de uitvoering van lopende programma's en projecten om te voldoen aan de behoeften van het management) (10). Datzelfde onderscheid tussen die twee activiteiten wordt in de bestaande regelgeving voor KP7 gemaakt. |
| --- | --- |

9.

In dit verslag worden de door de Commissie zelf gebezigde definities gehanteerd van evaluatie (beoordeling van de acties aan de hand van hun resultaten, hun impact en de behoeften waaraan zij beogen te voldoen) (9) en toezicht (informatie verstrekken over de uitvoering van lopende programma's en projecten om te voldoen aan de behoeften van het management) (10). Datzelfde onderscheid tussen die twee activiteiten wordt in de bestaande regelgeving voor KP7 gemaakt.

| 10. | Hierna worden de volgende termen gehanteerd om de resultaten van OTO-werkzaamheden te beschrijven:






  — | „output”: kennis, goederen en diensten die rechtstreeks worden geproduceerd als gevolg van de overheidsinterventie (publicaties, patenten, licenties, prototypes, normen, opgeleide wetenschappers, conferentiestukken, enz.); |
| --- | --- | --- |

10.

Hierna worden de volgende termen gehanteerd om de resultaten van OTO-werkzaamheden te beschrijven:

—

„output”: kennis, goederen en diensten die rechtstreeks worden geproduceerd als gevolg van de overheidsinterventie (publicaties, patenten, licenties, prototypes, normen, opgeleide wetenschappers, conferentiestukken, enz.);

| — | „uitkomst”: het latere resultaat van de benutting van de output door de gebruikers, en |
| --- | --- |

—

„uitkomst”: het latere resultaat van de benutting van de output door de gebruikers, en

| — | „impact”: sociaaleconomische en politieke veranderingen op langere termijn die door de overheidsinterventie worden teweeggebracht. |
| --- | --- |

—

„impact”: sociaaleconomische en politieke veranderingen op langere termijn die door de overheidsinterventie worden teweeggebracht.

Tekstvak 1Wereldwijd systeem voor mobiele communicatie (GSM)In dit voorbeeld bestond de output van de communautaire financiering uit de directe projectresultaten zoals de ontwikkeling van een GSM-norm. De uitkomst was het feit dat deze binnen en buiten Europa werd geaccepteerd als dé norm voor digitale mobiele telefonie, hetgeen sterk bijdroeg tot de ontwikkeling van de telecommunicatiesector. De impact, tenslotte, waren de economische, sociale en politieke gevolgen van het internationale gebruik van deze technologie. Die omvatten ook het scheppen van werkgelegenheid in de telecommunicatie en aanverwante sectoren, alsmede het toegenomen belang van deze industriesector voor de Europese economie. Uiteindelijk heeft GSM mensen een nieuwe manier geboden om met elkaar te communiceren.

| 11. | Het beoordelen van die resultaten brengt echter een aantal problemen van methodologische aard met zich (zie bijlage I). Sociaaleconomische wijzigingen zijn complex en met name het verband tussen een onderzoeksactiviteit en de vastgestelde uitkomsten en impact is vaak moeilijk traceerbaar. Die methodologische problemen vormen wel een aanzienlijke uitdaging, maar maken een doeltreffende evaluatie niet per se onmogelijk. |
| --- | --- |

11.

Het beoordelen van die resultaten brengt echter een aantal problemen van methodologische aard met zich (zie bijlage I). Sociaaleconomische wijzigingen zijn complex en met name het verband tussen een onderzoeksactiviteit en de vastgestelde uitkomsten en impact is vaak moeilijk traceerbaar. Die methodologische problemen vormen wel een aanzienlijke uitdaging, maar maken een doeltreffende evaluatie niet per se onmogelijk.

| 12. | Sinds de jaren 1980 beschikt de Commissie over een systeem voor toezicht op en evaluatie van de KP's (11). Vanaf KP4 halverwege de jaren 1990 bestond dat systeem uit een aantal deels gekoppelde activiteiten, waaronder:






  — | jaarlijkse monitoring, hoofdzakelijk van de programma-uitvoering, en |
| --- | --- | --- |

12.

Sinds de jaren 1980 beschikt de Commissie over een systeem voor toezicht op en evaluatie van de KP's (11). Vanaf KP4 halverwege de jaren 1990 bestond dat systeem uit een aantal deels gekoppelde activiteiten, waaronder:

—

jaarlijkse monitoring, hoofdzakelijk van de programma-uitvoering, en

| — | vijfjaarlijkse beoordelingen (VJB's) van de KP-activiteiten (en vanaf KP6 bijkomende beoordelingen op specifieke punten). |
| --- | --- |

—

vijfjaarlijkse beoordelingen (VJB's) van de KP-activiteiten (en vanaf KP6 bijkomende beoordelingen op specifieke punten).

Voor beide activiteiten was assistentie van externe deskundigen vereist (zie figuur 2 en bijlage II).

Figuur 2

KP4 t/m KP7 — Voornaamste vereisten inzake toezicht en evaluatie

| KP4 (1995-1998) | KP5 (1999-2002) | KP6 (2003-2006) | KP7 (2007-2013) |
| --- | --- | --- | --- |
| twee evaluatierondes (tussentijdse en eindevaluatie) voor elk van de 20 subprogramma's en het KP; eindevaluatie valt samen met tussentijdse evaluatie van KP5 | twee gelijktijdige evaluatierondes (tussentijds) voor elk van de zeven specifieke programma's en het KP | een evaluatieronde voor het KP en zijn drie specifieke programma's (tussentijds) maar niet specifiek voor alle 20 subprogramma's, plus specifieke evaluatie en regelmatige voortgangs- (dus toezichts-) verslagen | ten minste vijf evaluatierondes (vooraf, tussentijds en eind) plus specifiek voortgangsverslag vóór de interimevaluatie |
| 1. | Vooraf: nee |

KP4 (1995-1998)

KP5 (1999-2002)

KP6 (2003-2006)

KP7 (2007-2013)

twee evaluatierondes (tussentijdse en eindevaluatie) voor elk van de 20 subprogramma's en het KP; eindevaluatie valt samen met tussentijdse evaluatie van KP5

twee gelijktijdige evaluatierondes (tussentijds) voor elk van de zeven specifieke programma's en het KP

een evaluatieronde voor het KP en zijn drie specifieke programma's (tussentijds) maar niet specifiek voor alle 20 subprogramma's, plus specifieke evaluatie en regelmatige voortgangs- (dus toezichts-) verslagen

ten minste vijf evaluatierondes (vooraf, tussentijds en eind) plus specifiek voortgangsverslag vóór de interimevaluatie

1.

Vooraf: nee

| 1. | Vooraf: nee |
| --- | --- |

1.

Vooraf: nee

| 1. | Vooraf: nee |
| --- | --- |

1.

Vooraf: nee

| 1. | Vooraf:
  opgenomen in de impactbeoordeling van het Commissievoorstel voor KP7 (2005) |
| --- | --- |

1.

opgenomen in de impactbeoordeling van het Commissievoorstel voor KP7 (2005)

| 2. | Tussentijds:






  — | VJB halverwege het KP, vóór het volgende KP (1997) |
| --- | --- | --- |

2.

—

VJB halverwege het KP, vóór het volgende KP (1997)

| 2. | Tussentijds:






  — | VJB vóór de indiening van het voorstel voor het volgende KP (2000) |
| --- | --- | --- |

2.

—

VJB vóór de indiening van het voorstel voor het volgende KP (2000)

| — | voortgangsverslag halverwege het KP (2001) |
| --- | --- |

—

voortgangsverslag halverwege het KP (2001)

| 2. | Tussentijds:






  — | evaluatie van doeltreffendheid van instrumenten (2004) |
| --- | --- | --- |

2.

—

evaluatie van doeltreffendheid van instrumenten (2004)

| — | VJB vóór de indiening van het voorstel voor het volgende KP (2004) |
| --- | --- |

—

VJB vóór de indiening van het voorstel voor het volgende KP (2004)

| — | regelmatige voortgangs- (dus toezichts-)verslagen |
| --- | --- |

—

regelmatige voortgangs- (dus toezichts-)verslagen

| 2. | Tussentijds:






  — | achteraf, twee jaar na het einde van het vorige KP (2008) |
| --- | --- | --- |

2.

—

achteraf, twee jaar na het einde van het vorige KP (2008)

| — | voortgangsverslag vóór de interimevaluatie (vóór 2010) |
| --- | --- |

—

voortgangsverslag vóór de interimevaluatie (vóór 2010)

| — | interimevaluatie (2010) |
| --- | --- |

—

interimevaluatie (2010)

| 3. | Eind:






  — | na voltooiing van het KP (1999) |
| --- | --- | --- |

3.

—

na voltooiing van het KP (1999)

| 3. | Eind:
  nee |
| --- | --- |

3.

nee

| 3. | Eind:
  nee

  [gewijzigd in besluit betreffende KP7] |
| --- | --- |

3.

nee

[gewijzigd in besluit betreffende KP7]

| 3. | Eind:
  twee jaar na voltooiing van het KP (2015), ondersteund door specifieke studies, de interimevaluatie en andere evaluaties gedurende de looptijd van het KP |
| --- | --- |

3.

twee jaar na voltooiing van het KP (2015), ondersteund door specifieke studies, de interimevaluatie en andere evaluaties gedurende de looptijd van het KP

Bron: zie bijlage II.

| 13. | Tot op heden zijn drie VJB's verricht (12), die uitmondden in de verslagen van Davignon, Majó en Ormala (in respectievelijk 1997, 2000 en 2004). Daarnaast ging DG Informatiemaatschappij over tot gerichte evaluaties van zijn specifieke programma. Opgemerkt zij dat de VJB's op grond van de regelgeving voor KP7 niet werden voortgezet, waarmee het probleem werd verholpen dat de grote evaluatierondes betrekking moesten hebben op de voorgaande vijf jaren en dus delen van twee opeenvolgende programmeringsperioden moesten bestrijken. In 2004 werd ook het Marimón-verslag (13) uitgebracht, een specifieke evaluatie van de doeltreffendheid van de nieuwe instrumenten die met KP6 waren ingevoerd. |
| --- | --- |

13.

Tot op heden zijn drie VJB's verricht (12), die uitmondden in de verslagen van Davignon, Majó en Ormala (in respectievelijk 1997, 2000 en 2004). Daarnaast ging DG Informatiemaatschappij over tot gerichte evaluaties van zijn specifieke programma. Opgemerkt zij dat de VJB's op grond van de regelgeving voor KP7 niet werden voortgezet, waarmee het probleem werd verholpen dat de grote evaluatierondes betrekking moesten hebben op de voorgaande vijf jaren en dus delen van twee opeenvolgende programmeringsperioden moesten bestrijken. In 2004 werd ook het Marimón-verslag (13) uitgebracht, een specifieke evaluatie van de doeltreffendheid van de nieuwe instrumenten die met KP6 waren ingevoerd.

| 14. | Het kader voor de evaluatiewerkzaamheden van de Commissie werd in 2000 en 2002 onderzocht (14). Die mededelingen werden in 2007 bijgewerkt om rekening te houden met de gevolgen van de administratieve hervorming van de Commissie en het nieuwe Financieel Reglement (15). In deze documenten wordt de rol en functie van de evaluatie beschreven in het kader van de algemene plannings-, programmerings- en verslagleggingscyclus van de Commissie en wordt een pakket van 21 evaluatienormen en 18 modellen van „goede praktijken” uitgewerkt. Tevens behandelen deze documenten de gebruikmaking van evaluatie bij de voorbereiding en vereenvoudiging van EU-wetgeving. |
| --- | --- |

14.

Het kader voor de evaluatiewerkzaamheden van de Commissie werd in 2000 en 2002 onderzocht (14). Die mededelingen werden in 2007 bijgewerkt om rekening te houden met de gevolgen van de administratieve hervorming van de Commissie en het nieuwe Financieel Reglement (15). In deze documenten wordt de rol en functie van de evaluatie beschreven in het kader van de algemene plannings-, programmerings- en verslagleggingscyclus van de Commissie en wordt een pakket van 21 evaluatienormen en 18 modellen van „goede praktijken” uitgewerkt. Tevens behandelen deze documenten de gebruikmaking van evaluatie bij de voorbereiding en vereenvoudiging van EU-wetgeving.

REIKWIJDTE EN AANPAK VAN DE CONTROLE

15.

| 15. | De voornaamste doelstelling van de controle bestond erin, te bepalen of de Commissie de beoordeling van de resultaten van de OTO-kaderprogramma's goed aanpakte. |
| --- | --- |

De voornaamste doelstelling van de controle bestond erin, te bepalen of de Commissie de beoordeling van de resultaten van de OTO-kaderprogramma's goed aanpakte.

| 16. | Hiertoe onderzocht de Rekenkamer in welke mate:






  — | de KP's en de programma's waaruit ze bestaan, berusten op een expliciete interventielogica die geschikt is om de output, de uitkomsten en de impact te meten en te beoordelen, en zo een solide grondslag vormt voor evaluatie en toezicht; |
| --- | --- | --- |

16.

Hiertoe onderzocht de Rekenkamer in welke mate:

—

de KP's en de programma's waaruit ze bestaan, berusten op een expliciete interventielogica die geschikt is om de output, de uitkomsten en de impact te meten en te beoordelen, en zo een solide grondslag vormt voor evaluatie en toezicht;

| — | voor de KP's een evaluatiestrategie is bepaald die bevorderlijk is voor een doeltreffende en consistente evaluatie; |
| --- | --- |

—

voor de KP's een evaluatiestrategie is bepaald die bevorderlijk is voor een doeltreffende en consistente evaluatie;

| — | het evaluatiesysteem een zodanige organisatiestructuur heeft dat het systeem binnen het gehele KP behoorlijk gecoördineerd wordt, over toereikende middelen beschikt en door de belanghebbenden ook voldoende onafhankelijk wordt geacht; |
| --- | --- |

—

het evaluatiesysteem een zodanige organisatiestructuur heeft dat het systeem binnen het gehele KP behoorlijk gecoördineerd wordt, over toereikende middelen beschikt en door de belanghebbenden ook voldoende onafhankelijk wordt geacht;

| — | de toegepaste evaluatiemethodologieën ervoor zorgen dat relevante thema's op een passende wijze aan de orde komen zodat de evaluatie geloofwaardig overkomt, en |
| --- | --- |

—

de toegepaste evaluatiemethodologieën ervoor zorgen dat relevante thema's op een passende wijze aan de orde komen zodat de evaluatie geloofwaardig overkomt, en

| — | de evaluatie- en toezichtsactiviteiten gegevens en analyses opleveren die kunnen worden gebruikt om de lopende programma's te verbeteren („lerende” programma's) en toekomstige KP's voor te bereiden. |
| --- | --- |

—

de evaluatie- en toezichtsactiviteiten gegevens en analyses opleveren die kunnen worden gebruikt om de lopende programma's te verbeteren („lerende” programma's) en toekomstige KP's voor te bereiden.

| 17. | Dit verslag behandelt de regelingen betreffende KP4 (1995-1998), KP5 (1999-2002) en KP6 (2003-2006). Ook worden de van kracht zijnde wettelijke voorschriften van KP7 (2007-2013) aan de orde gesteld; het document „FP7 Impact assessment and ex-ante evaluation” (16) van de Commissie wordt echter niet beoordeeld. Het is gericht op het toezicht op en de evaluatie achteraf van de programma's, niet op de evaluatie vooraf van de projectvoorstellen of de evaluatie achteraf van de projecten zelf. |
| --- | --- |

17.

Dit verslag behandelt de regelingen betreffende KP4 (1995-1998), KP5 (1999-2002) en KP6 (2003-2006). Ook worden de van kracht zijnde wettelijke voorschriften van KP7 (2007-2013) aan de orde gesteld; het document „FP7 Impact assessment and ex-ante evaluation” (16) van de Commissie wordt echter niet beoordeeld. Het is gericht op het toezicht op en de evaluatie achteraf van de programma's, niet op de evaluatie vooraf van de projectvoorstellen of de evaluatie achteraf van de projecten zelf.

| 18. | De controle werd verricht met de medewerking van de accountantscommissie van de EVA en met de hulp van externe deskundigen. De controle-informatie werd verzameld door middel van:






  — | controlewerkzaamheden bij de Commissie (beoordeling van stukken en interviews met het personeel), inclusief de vaststelling van de voorschriften uit de wet- en regelgeving, onderzoek van de doelstellingen en prestatiecriteria, analyse van meer dan 80 toezichts- en evaluatieverslagen en analyse van de organisatie van de evaluatiewerkzaamheden binnen de Commissie; |
| --- | --- | --- |

18.

De controle werd verricht met de medewerking van de accountantscommissie van de EVA en met de hulp van externe deskundigen. De controle-informatie werd verzameld door middel van:

—

controlewerkzaamheden bij de Commissie (beoordeling van stukken en interviews met het personeel), inclusief de vaststelling van de voorschriften uit de wet- en regelgeving, onderzoek van de doelstellingen en prestatiecriteria, analyse van meer dan 80 toezichts- en evaluatieverslagen en analyse van de organisatie van de evaluatiewerkzaamheden binnen de Commissie;

| — | interviews met meer dan 90 deskundigen die werden beschouwd als betrokkenen in de lidstaten en geassocieerde landen (Tsjechische Republiek, Duitsland, Estland, Spanje, Frankrijk, Italië, Luxemburg, Nederland, Oostenrijk, Finland, Zweden, Verenigd Koninkrijk en Noorwegen); |
| --- | --- |

—

interviews met meer dan 90 deskundigen die werden beschouwd als betrokkenen in de lidstaten en geassocieerde landen (Tsjechische Republiek, Duitsland, Estland, Spanje, Frankrijk, Italië, Luxemburg, Nederland, Oostenrijk, Finland, Zweden, Verenigd Koninkrijk en Noorwegen);

| — | onderzoek onder institutionele betrokkenen in het comité ITRE (17) van het Europees Parlement en het CREST (18) van de Raad; |
| --- | --- |

—

onderzoek onder institutionele betrokkenen in het comité ITRE (17) van het Europees Parlement en het CREST (18) van de Raad;

| — | raadpleging van meer dan 65 deskundigen op het gebied van onderzoeksevaluatie in de Verenigde Staten en Canada als internationale toetsingsgroep; |
| --- | --- |

—

raadpleging van meer dan 65 deskundigen op het gebied van onderzoeksevaluatie in de Verenigde Staten en Canada als internationale toetsingsgroep;

| — | bestudering van academische teksten over de huidige trends in de onderzoeksevaluatie, en |
| --- | --- |

—

bestudering van academische teksten over de huidige trends in de onderzoeksevaluatie, en

| — | bespreking van de controlebevindingen, conclusies en aanbevelingen met deskundigen op het gebied van onderzoeksevaluatie uit Europa en Noord-Amerika tijdens een reeks begeleide vergaderingen van focusgroepen in februari 2007. |
| --- | --- |

—

bespreking van de controlebevindingen, conclusies en aanbevelingen met deskundigen op het gebied van onderzoeksevaluatie uit Europa en Noord-Amerika tijdens een reeks begeleide vergaderingen van focusgroepen in februari 2007.

CONTROLEBEVINDINGEN

Interventielogica, keuze van doelstellingen en prestatie-indicatoren

| 19. | Doeltreffendheid bij evaluatie en toezicht vergt duidelijke doelstellingen en relevante prestatie-indicatoren op beleids-, programma- en projectniveau, waaraan de resultaten van de overheidsinterventie kunnen worden getoetst. Uit goede praktijken op andere EU-begrotingsterreinen en buiten de EU blijkt dat die doelstellingen en indicatoren moeten worden vastgesteld in het kader van een interventielogica. |
| --- | --- |

19.

Doeltreffendheid bij evaluatie en toezicht vergt duidelijke doelstellingen en relevante prestatie-indicatoren op beleids-, programma- en projectniveau, waaraan de resultaten van de overheidsinterventie kunnen worden getoetst. Uit goede praktijken op andere EU-begrotingsterreinen en buiten de EU blijkt dat die doelstellingen en indicatoren moeten worden vastgesteld in het kader van een interventielogica.

| 20. | Interventielogica kan worden gedefinieerd als een geheel van hypothetische causale verbanden die duidelijk maken op welke wijze de algemene doelstellingen van een interventie naar verwachting worden verwezenlijkt (19). In de evaluatierichtlijnen van de Commissie staat dat de interventielogica de conceptuele weg toont van de input van de interventie naar de geproduceerde output en van daar naar zijn impact op de maatschappij in termen van resultaten en uitkomsten (20). In dit verslag wordt deze definitie systematisch gehanteerd. |
| --- | --- |

20.

Interventielogica kan worden gedefinieerd als een geheel van hypothetische causale verbanden die duidelijk maken op welke wijze de algemene doelstellingen van een interventie naar verwachting worden verwezenlijkt (19). In de evaluatierichtlijnen van de Commissie staat dat de interventielogica de conceptuele weg toont van de input van de interventie naar de geproduceerde output en van daar naar zijn impact op de maatschappij in termen van resultaten en uitkomsten (20). In dit verslag wordt deze definitie systematisch gehanteerd.

| 21. | De Rekenkamer onderzocht in hoeverre een interventielogica was vastgesteld voor de KP's en hun deelprogramma's om in een deugdelijke grondslag voor evaluatie en toezicht te voorzien. |
| --- | --- |

21.

De Rekenkamer onderzocht in hoeverre een interventielogica was vastgesteld voor de KP's en hun deelprogramma's om in een deugdelijke grondslag voor evaluatie en toezicht te voorzien.

De interventielogica voor de KP's was niet expliciet

| 22. | Het bepalen van de interventielogica zou vanaf het begin een essentieel onderdeel van het programmaontwerp moeten zijn. Artikel 163 van het Verdrag, dat wijst op de noodzaak de wetenschappelijke en technologische grondslagen te versterken en de concurrentiepositie te verbeteren, zou het uitgangspunt moeten zijn voor een dergelijke interventielogica van de KP's (zie paragraaf 2). Deze zou dan moeten worden gespecificeerd voor de diverse wetenschappelijke gebieden die worden bestreken door de KP's en de verschillende toegepaste instrumenten. |
| --- | --- |

22.

Het bepalen van de interventielogica zou vanaf het begin een essentieel onderdeel van het programmaontwerp moeten zijn. Artikel 163 van het Verdrag, dat wijst op de noodzaak de wetenschappelijke en technologische grondslagen te versterken en de concurrentiepositie te verbeteren, zou het uitgangspunt moeten zijn voor een dergelijke interventielogica van de KP's (zie paragraaf 2). Deze zou dan moeten worden gespecificeerd voor de diverse wetenschappelijke gebieden die worden bestreken door de KP's en de verschillende toegepaste instrumenten.

| 23. | Toch ontbreekt op alle niveaus een expliciet logisch model dat verduidelijkt hoe de KP's en hun deelprogramma's bijdragen aan de wetenschappelijke en technologische vooruitgang en de innovatie. |
| --- | --- |

23.

Toch ontbreekt op alle niveaus een expliciet logisch model dat verduidelijkt hoe de KP's en hun deelprogramma's bijdragen aan de wetenschappelijke en technologische vooruitgang en de innovatie.

| 24. | Het gebrek aan interventielogica voor de KP's werd ook onderstreept door de VJB-werkgroep van 2004, die verklaarde dat aan zulke groepen wordt gevraagd het hiaat op te vullen tussen de bewijzen die vooral op projectniveau worden verzameld en de hogere sociaaleconomische doelstellingen van het onderzoeksbeleid, maar dat dit verband moeilijk kan worden gelegd door de wijze waarop het KP is gepland, zonder expliciete logica die de hoogste doelstellingen koppelt aan specifieke streefdoelen op het gebied van onderzoek en kennis (21). |
| --- | --- |

24.

Het gebrek aan interventielogica voor de KP's werd ook onderstreept door de VJB-werkgroep van 2004, die verklaarde dat aan zulke groepen wordt gevraagd het hiaat op te vullen tussen de bewijzen die vooral op projectniveau worden verzameld en de hogere sociaaleconomische doelstellingen van het onderzoeksbeleid, maar dat dit verband moeilijk kan worden gelegd door de wijze waarop het KP is gepland, zonder expliciete logica die de hoogste doelstellingen koppelt aan specifieke streefdoelen op het gebied van onderzoek en kennis (21).

| 25. | Een andere aanpak wordt gevolgd in sommige lidstaten (zoals Nederland en Finland), in de Verenigde Staten (zie figuur 3), waar het vaststellen van een interventielogica veel gebruikelijker is, en in Canada, waar het verplicht is voor alle programma's (zie bijlage III). En inderdaad leidt de toepassing van interventielogica in het programmaontwerp daar tot beter gerichte en gestructureerde programma's. De Commissie begint deze ook toe te passen op andere communautaire beleidsterreinen (bijvoorbeeld externe steun) (22).
  Figuur 3
  Definitie van een rangorde van doelstellingen op basis van logische modellen — een voorbeeld: landbouwonderzoek in de VS








  Beleid | Programma | Project |
| --- | --- | --- | --- |
| Beleidsdoelstelling
  : bijdragen aan de verbetering van de levensomstandigheden van agrarische gezinnen | | |
| Streefdoel
  : grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens | Programmadoelstelling
  : bijdragen tot een grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens | |
| Verwacht resultaat
  : toegenomen gebruik van betere landbouwtechnieken door de landbouwers in de doelgroep | Streefdoel
  : toegenomen gebruik van verbeterde landbouwtechnieken door de landbouwers (bijv. rijst) | Projectdoelstelling
  : bijdragen tot een toegenomen gebruik van de aanbevolen verbeterde landbouwtechnieken |
| | Verwacht resultaat
  : doen en verspreiden van aanbevelingen voor de landbouwers in de doelgroep | Streefdoel
  : aanbevelingen formuleren voor verbeterde technologieën die geschikt zijn voor de landbouwers in de doelgroep |
| | | Verwachte resultaten (bijv.):








  1. | technologieën gekozen op basis van de prioriteiten van de landbouwers |

25.

Een andere aanpak wordt gevolgd in sommige lidstaten (zoals Nederland en Finland), in de Verenigde Staten (zie figuur 3), waar het vaststellen van een interventielogica veel gebruikelijker is, en in Canada, waar het verplicht is voor alle programma's (zie bijlage III). En inderdaad leidt de toepassing van interventielogica in het programmaontwerp daar tot beter gerichte en gestructureerde programma's. De Commissie begint deze ook toe te passen op andere communautaire beleidsterreinen (bijvoorbeeld externe steun) (22).

Figuur 3

Definitie van een rangorde van doelstellingen op basis van logische modellen — een voorbeeld: landbouwonderzoek in de VS

Beleid

Programma

Project

Beleidsdoelstelling
  : bijdragen aan de verbetering van de levensomstandigheden van agrarische gezinnen

Streefdoel
  : grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens

Programmadoelstelling
  : bijdragen tot een grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens

Verwacht resultaat
  : toegenomen gebruik van betere landbouwtechnieken door de landbouwers in de doelgroep

Streefdoel
  : toegenomen gebruik van verbeterde landbouwtechnieken door de landbouwers (bijv. rijst)

Projectdoelstelling
  : bijdragen tot een toegenomen gebruik van de aanbevolen verbeterde landbouwtechnieken

Verwacht resultaat
  : doen en verspreiden van aanbevelingen voor de landbouwers in de doelgroep

Streefdoel
  : aanbevelingen formuleren voor verbeterde technologieën die geschikt zijn voor de landbouwers in de doelgroep

Verwachte resultaten (bijv.):

1.

technologieën gekozen op basis van de prioriteiten van de landbouwers

| 2. | technologieën ingevoerd en aangepast |
| --- | --- |

2.

technologieën ingevoerd en aangepast

| 3. | technologieën gecontroleerd op het veld |
| --- | --- |

3.

technologieën gecontroleerd op het veld

Bron: Amerikaanse raad voor nationaal landbouwkundig onderzoek.

| 26. | Het niet vastleggen van de grondgedachte achter de overheidsinterventie en van de veronderstelde causaliteit (op grond waarvan het programma vervolgens in detail wordt gepland, wordt uitgevoerd en beoordeeld) ondermijnt bij de KP's de doeltreffendheid van evaluatie en toezicht. Dit is meer bepaald een gevolg van de wijze waarop de programmadoelstellingen en de prestatie-indicatoren zijn gedefinieerd. |
| --- | --- |

26.

Het niet vastleggen van de grondgedachte achter de overheidsinterventie en van de veronderstelde causaliteit (op grond waarvan het programma vervolgens in detail wordt gepland, wordt uitgevoerd en beoordeeld) ondermijnt bij de KP's de doeltreffendheid van evaluatie en toezicht. Dit is meer bepaald een gevolg van de wijze waarop de programmadoelstellingen en de prestatie-indicatoren zijn gedefinieerd.

Zonder expliciet logisch model is het moeilijker coherente programmadoelstellingen te bepalen

| 27. | Als de grondgedachte achter de overheidsinterventie niet expliciet is aangegeven, wordt het moeilijker de programmadoelstellingen coherent te bepalen en te structureren. Dat blijkt uit het feit dat:






  — | het verband tussen de programmadoelstellingen van de KP's en de beleidsdoelstellingen, zoals de algemene doelstellingen in artikel 163 van het Verdrag, die in de Lissabon-strategie en in de verklaring van Barcelona (zie de paragrafen 2 en 7), niet duidelijk is; |
| --- | --- | --- |

27.

Als de grondgedachte achter de overheidsinterventie niet expliciet is aangegeven, wordt het moeilijker de programmadoelstellingen coherent te bepalen en te structureren. Dat blijkt uit het feit dat:

—

het verband tussen de programmadoelstellingen van de KP's en de beleidsdoelstellingen, zoals de algemene doelstellingen in artikel 163 van het Verdrag, die in de Lissabon-strategie en in de verklaring van Barcelona (zie de paragrafen 2 en 7), niet duidelijk is;

| — | de verhouding tussen de afzonderlijke programmadoelstellingen op de verschillende niveaus van regelgeving (KP-besluit, specifiek programmabesluit en regels inzake deelname en verspreiding), maar ook tussen de basisteksten en de werkprogramma's van de Commissie, niet altijd zichtbaar is. |
| --- | --- |

—

de verhouding tussen de afzonderlijke programmadoelstellingen op de verschillende niveaus van regelgeving (KP-besluit, specifiek programmabesluit en regels inzake deelname en verspreiding), maar ook tussen de basisteksten en de werkprogramma's van de Commissie, niet altijd zichtbaar is.

| 28. | De Commissie heeft getracht de werkprogramma's te voorzien van operationele doelstellingen op basis van de in de KP-regelgeving genoemde programmadoelstellingen. Die acties hebben echter vrijwel nergens de onderliggende logica van de programma's kunnen verduidelijken en de in de werkprogramma's genoemde doelstellingen waren niet specifiek, meetbaar, haalbaar, relevant en van een datum voorzien (SMART — specific, measurable, achievable, relevant, timed). Sinds 2003 is dit wel een wettelijke vereiste op grond van het Financieel Reglement (23). |
| --- | --- |

28.

De Commissie heeft getracht de werkprogramma's te voorzien van operationele doelstellingen op basis van de in de KP-regelgeving genoemde programmadoelstellingen. Die acties hebben echter vrijwel nergens de onderliggende logica van de programma's kunnen verduidelijken en de in de werkprogramma's genoemde doelstellingen waren niet specifiek, meetbaar, haalbaar, relevant en van een datum voorzien (SMART — specific, measurable, achievable, relevant, timed). Sinds 2003 is dit wel een wettelijke vereiste op grond van het Financieel Reglement (23).

| 29. | Het is niet duidelijk in hoeverre de beleidsdoelstellingen traceerbaar blijven via de specifieke programma's, de werkprogramma's en de oproepen tot het indienen van voorstellen, tot de afzonderlijke projecten die de Gemeenschap medefinanciert. Tenzij dit traject wordt verduidelijkt, valt niet te beoordelen in welke mate de KP's en hun deelprogramma's bijdragen tot de verwezenlijking van die beleidsdoelstellingen. Uit de controle bleek dat de Commissie in haar evaluaties weinig of geen overtuigende bewijzen leverde voor de realisatie van de doelstellingen op langere termijn op het niveau van de programma's of van de projecten (zie paragraaf 82). |
| --- | --- |

29.

Het is niet duidelijk in hoeverre de beleidsdoelstellingen traceerbaar blijven via de specifieke programma's, de werkprogramma's en de oproepen tot het indienen van voorstellen, tot de afzonderlijke projecten die de Gemeenschap medefinanciert. Tenzij dit traject wordt verduidelijkt, valt niet te beoordelen in welke mate de KP's en hun deelprogramma's bijdragen tot de verwezenlijking van die beleidsdoelstellingen. Uit de controle bleek dat de Commissie in haar evaluaties weinig of geen overtuigende bewijzen leverde voor de realisatie van de doelstellingen op langere termijn op het niveau van de programma's of van de projecten (zie paragraaf 82).

Het ontbreken van een expliciete interventielogica en van duidelijke doelstellingen maakt het moeilijker prestatie-indicatoren te ontwikkelen

| 30. | Doordat het ontbrak aan een expliciet logisch model en duidelijk geformuleerde programmadoelstellingen, werd ook verhinderd dat prestatie-indicatoren voor het toezicht op de realisatie van de programmadoelstellingen in termen van output, uitkomsten en impact werden vastgesteld, en wel zodanig dat dergelijke indicatoren van de doeltreffendheid tot op heden voor de KP's nog helemaal niet zijn bepaald (zie paragraaf 73). |
| --- | --- |

30.

Doordat het ontbrak aan een expliciet logisch model en duidelijk geformuleerde programmadoelstellingen, werd ook verhinderd dat prestatie-indicatoren voor het toezicht op de realisatie van de programmadoelstellingen in termen van output, uitkomsten en impact werden vastgesteld, en wel zodanig dat dergelijke indicatoren van de doeltreffendheid tot op heden voor de KP's nog helemaal niet zijn bepaald (zie paragraaf 73).

| 31. | In deze omstandigheden worden ook het onderzoek van de lopende uit die programma's gefinancierde projecten en de evaluatie ex post van de voltooide projecten gehinderd, zodat het nog moeilijker wordt de evaluaties van een project samen te voegen op programmaniveau (zie bijlage I en paragraaf 84). |
| --- | --- |

31.

In deze omstandigheden worden ook het onderzoek van de lopende uit die programma's gefinancierde projecten en de evaluatie ex post van de voltooide projecten gehinderd, zodat het nog moeilijker wordt de evaluaties van een project samen te voegen op programmaniveau (zie bijlage I en paragraaf 84).

Het thans toegepaste ABB/ABM is geen geschikt middel om de prestaties van de KP's te meten

| 32. | Bepaalde indicatoren die de doeltreffendheid van de uitvoering van een programma in kaart brengen, zoals het tijdsverloop tot de contractsluiting of tot de betaling, zijn terug te vinden in de jaarlijkse toezichtverslagen van de Commissie en ook binnen het systeem van de Commissie voor activiteitengeoriënteerd management (activity-based management — ABM). |
| --- | --- |

32.

Bepaalde indicatoren die de doeltreffendheid van de uitvoering van een programma in kaart brengen, zoals het tijdsverloop tot de contractsluiting of tot de betaling, zijn terug te vinden in de jaarlijkse toezichtverslagen van de Commissie en ook binnen het systeem van de Commissie voor activiteitengeoriënteerd management (activity-based management — ABM).

| 33. | Maar tot nu toe hebben de „onderzoeks-DG's”, zelfs wanneer ze eenzelfde specifiek programma (of subprogramma) uitvoeren, geen gestandaardiseerde of vergelijkbare nomenclatuur en desbetreffende indicatoren voor activiteitengeoriënteerd begroten (activity-based budgeting — ABB) toegepast. Daarom kunnen die indicatoren niet worden gebruikt om de prestaties tussen en binnen de programma's te vergelijken.

  Tekstvak 2ABB/ABM zoals de „onderzoeks-DG's” het thans toepassen:In het ABB/ABM-systeem vallen de KP's onder twee verschillende beleidsterreinen, waarbij de KP-werkzaamheden worden gepresenteerd volgens de specifieke terminologie van elk DG (24). Dat geldt zelfs voor specifieke programma's en subprogramma's die door meer dan één DG worden uitgevoerd. De ABM-doelstellingen waren gebaseerd op andere beginselen (25) en — zoals de Dienst interne audit van de Commissie aangaf (26) — werden doorgaans uitgedrukt in algemene termen die bedoelingen of activiteiten beschreven. De indicatoren waren meestal op de input gericht (aantal vergaderingen, enz.). Sommige betroffen de doeltreffendheid van het proces (bijvoorbeeld het tijdsverloop tot de contractsluiting of tot de betaling), maar waren niet vergelijkbaar tussen programma's en tussen DG's wegens de verschillen in de ABB-nomenclatuur, specifieke uitgangspunten van elk DG (bijvoorbeeld begin en einde van specifieke administratieve procedures) en in de populatie (soort subsidieovereenkomst, soort betaling) die werd gekozen voor de berekening ervan. |
| --- | --- |

33.

Maar tot nu toe hebben de „onderzoeks-DG's”, zelfs wanneer ze eenzelfde specifiek programma (of subprogramma) uitvoeren, geen gestandaardiseerde of vergelijkbare nomenclatuur en desbetreffende indicatoren voor activiteitengeoriënteerd begroten (activity-based budgeting — ABB) toegepast. Daarom kunnen die indicatoren niet worden gebruikt om de prestaties tussen en binnen de programma's te vergelijken.

Tekstvak 2ABB/ABM zoals de „onderzoeks-DG's” het thans toepassen:In het ABB/ABM-systeem vallen de KP's onder twee verschillende beleidsterreinen, waarbij de KP-werkzaamheden worden gepresenteerd volgens de specifieke terminologie van elk DG (24). Dat geldt zelfs voor specifieke programma's en subprogramma's die door meer dan één DG worden uitgevoerd. De ABM-doelstellingen waren gebaseerd op andere beginselen (25) en — zoals de Dienst interne audit van de Commissie aangaf (26) — werden doorgaans uitgedrukt in algemene termen die bedoelingen of activiteiten beschreven. De indicatoren waren meestal op de input gericht (aantal vergaderingen, enz.). Sommige betroffen de doeltreffendheid van het proces (bijvoorbeeld het tijdsverloop tot de contractsluiting of tot de betaling), maar waren niet vergelijkbaar tussen programma's en tussen DG's wegens de verschillen in de ABB-nomenclatuur, specifieke uitgangspunten van elk DG (bijvoorbeeld begin en einde van specifieke administratieve procedures) en in de populatie (soort subsidieovereenkomst, soort betaling) die werd gekozen voor de berekening ervan.

Aanbevelingen

34.

| 34. | In toekomstige wetsvoorstellen aan de Raad en het Europees Parlement moet de Commissie een duidelijke interventielogica beschrijven voor het KP als geheel en voor de onderdelen ervan. |
| --- | --- |

In toekomstige wetsvoorstellen aan de Raad en het Europees Parlement moet de Commissie een duidelijke interventielogica beschrijven voor het KP als geheel en voor de onderdelen ervan.

| 35. | Voor KP7 moet de Commissie:






  — | duidelijk beschrijven welke de doelstellingen van het KP en de bijbehorende specifieke programma's (en subprogramma's) zijn en hoe die moeten worden gerealiseerd; |
| --- | --- | --- |

35.

Voor KP7 moet de Commissie:

—

duidelijk beschrijven welke de doelstellingen van het KP en de bijbehorende specifieke programma's (en subprogramma's) zijn en hoe die moeten worden gerealiseerd;

| — | het verband tussen de wetenschappelijke en sociaaleconomische doelstellingen voor elk specifiek programma (en subprogramma) verduidelijken, en |
| --- | --- |

—

het verband tussen de wetenschappelijke en sociaaleconomische doelstellingen voor elk specifiek programma (en subprogramma) verduidelijken, en

| — | relevante operationele doelstellingen bepalen. |
| --- | --- |

—

relevante operationele doelstellingen bepalen.

| 36. | Bij het KP7-toezichtsysteem moet de Commissie voor elk specifiek programma (en subprogramma) een beperkt maar evenwichtig pakket van prestatie-indicatoren invoeren om de „efficiency” en de „doeltreffendheid” van de programmauitvoering te meten. |
| --- | --- |

36.

Bij het KP7-toezichtsysteem moet de Commissie voor elk specifiek programma (en subprogramma) een beperkt maar evenwichtig pakket van prestatie-indicatoren invoeren om de „efficiency” en de „doeltreffendheid” van de programmauitvoering te meten.

| 37. | De „onderzoeks-DG's” moeten hun ABM/ABB-nomenclatuur harmoniseren zodat de prestatie-indicatoren vergelijkbaar zijn in de tijd en, waar mogelijk, ook tussen de specifieke programma's (en subprogramma's). |
| --- | --- |

37.

De „onderzoeks-DG's” moeten hun ABM/ABB-nomenclatuur harmoniseren zodat de prestatie-indicatoren vergelijkbaar zijn in de tijd en, waar mogelijk, ook tussen de specifieke programma's (en subprogramma's).

De evaluatiestrategie

| 38. | Een evaluatiestrategie vormt het conceptuele kader waarbinnen de evaluatiewerkzaamheden worden bedacht, gepland, uitgevoerd en benut. Goede praktijken op andere EU-begrotingsterreinen en daarbuiten geven aan dat bij een dergelijke strategie de voornaamste wettelijke, organisatorische en methodologische aspecten van de programmabeoordeling in aanmerking moeten worden genomen. Daaronder valt onder meer: wie wanneer welke evaluaties verricht, hoe gegevens worden verzameld, welke methodologische aanpak wordt toegepast en hoe de bevindingen worden meegedeeld en follow-up krijgen. |
| --- | --- |

38.

Een evaluatiestrategie vormt het conceptuele kader waarbinnen de evaluatiewerkzaamheden worden bedacht, gepland, uitgevoerd en benut. Goede praktijken op andere EU-begrotingsterreinen en daarbuiten geven aan dat bij een dergelijke strategie de voornaamste wettelijke, organisatorische en methodologische aspecten van de programmabeoordeling in aanmerking moeten worden genomen. Daaronder valt onder meer: wie wanneer welke evaluaties verricht, hoe gegevens worden verzameld, welke methodologische aanpak wordt toegepast en hoe de bevindingen worden meegedeeld en follow-up krijgen.

| 39. | Om de evaluatie te kunnen integreren in de organisatiecultuur en het besluitvormingsproces van de Commissie is het een absolute voorwaarde, over een dergelijke strategie te beschikken en te zorgen dat deze wordt toegepast. De Rekenkamer erkent echter dat die strategie, gezien de diversiteit van de wetenschappelijke terreinen die onder de KP's vallen, elk van de bevoegde DG's voldoende vrijheid moet bieden en niet al te beperkend mag zijn. |
| --- | --- |

39.

Om de evaluatie te kunnen integreren in de organisatiecultuur en het besluitvormingsproces van de Commissie is het een absolute voorwaarde, over een dergelijke strategie te beschikken en te zorgen dat deze wordt toegepast. De Rekenkamer erkent echter dat die strategie, gezien de diversiteit van de wetenschappelijke terreinen die onder de KP's vallen, elk van de bevoegde DG's voldoende vrijheid moet bieden en niet al te beperkend mag zijn.

| 40. | De Rekenkamer onderzocht in hoeverre de Commissie voor de KP's een dergelijke evaluatiestrategie had ingevoerd. |
| --- | --- |

40.

De Rekenkamer onderzocht in hoeverre de Commissie voor de KP's een dergelijke evaluatiestrategie had ingevoerd.

Een complete evaluatiestrategie voor de KP's ontbreekt

| 41. | Voor de KP's maakte de Commissie haar aanpak van de evaluatie voor het eerst bekend in de jaren 1980 (27). Dat werd bijgewerkt in 1996, toen de Commissie het Europees Parlement en de Raad informeerde over hetgeen zij toen beschouwde als de relevante grondbeginselen voor toezicht en evaluatie, en haar voorgenomen aanpak na de vaststelling van KP4 beschreef (28). Dit vormde echter geen complete evaluatiestrategie als in het bovenstaande bedoeld (zie de paragrafen 38 en 39). Bovendien heeft de Commissie van 1996 tot 2006 haar evaluatieaanpak voor KP5 en KP6 niet fundamenteel herzien, ondanks het feit dat zowel de inhoud als de oriëntatie van de KP's veranderden (zie paragraaf 7). Met name hebben de „onderzoeks-DG's” geen consistente benadering van de evaluatie van de KP's en de bijbehorende programma's afgesproken die verder gaat dan de wettelijke voorschriften die zijn vastgesteld in 1999 (voor KP5), in 2002 (voor KP6) en in 2006 (voor KP7) (29). |
| --- | --- |

41.

Voor de KP's maakte de Commissie haar aanpak van de evaluatie voor het eerst bekend in de jaren 1980 (27). Dat werd bijgewerkt in 1996, toen de Commissie het Europees Parlement en de Raad informeerde over hetgeen zij toen beschouwde als de relevante grondbeginselen voor toezicht en evaluatie, en haar voorgenomen aanpak na de vaststelling van KP4 beschreef (28). Dit vormde echter geen complete evaluatiestrategie als in het bovenstaande bedoeld (zie de paragrafen 38 en 39). Bovendien heeft de Commissie van 1996 tot 2006 haar evaluatieaanpak voor KP5 en KP6 niet fundamenteel herzien, ondanks het feit dat zowel de inhoud als de oriëntatie van de KP's veranderden (zie paragraaf 7). Met name hebben de „onderzoeks-DG's” geen consistente benadering van de evaluatie van de KP's en de bijbehorende programma's afgesproken die verder gaat dan de wettelijke voorschriften die zijn vastgesteld in 1999 (voor KP5), in 2002 (voor KP6) en in 2006 (voor KP7) (29).

| 42. | Voor de lopende programmeringsperiode is het ontbreken van een strategische evaluatieaanpak op dit gebied bijzonder problematisch, aangezien KP7 door meerdere DG's, de ERO en de uitvoerende agentschappen gezamenlijk wordt uitgevoerd, en aangezien het Financieel Reglement voorschrijft dat het personeel rouleert voor gevoelige posten. Het staat ook in contrast met de huidige praktijk op het gebied van externe steunmaatregelen, het op één na grootste gebied dat rechtstreeks door de Commissie wordt beheerd. Op dit gebied hebben de bevoegde DG's sinds 2002 gemeenschappelijke meerjaren-evaluatiestrategieën afgesproken die zijn gekoppeld aan de programmeringsperioden (zie paragraaf 52). |
| --- | --- |

42.

Voor de lopende programmeringsperiode is het ontbreken van een strategische evaluatieaanpak op dit gebied bijzonder problematisch, aangezien KP7 door meerdere DG's, de ERO en de uitvoerende agentschappen gezamenlijk wordt uitgevoerd, en aangezien het Financieel Reglement voorschrijft dat het personeel rouleert voor gevoelige posten. Het staat ook in contrast met de huidige praktijk op het gebied van externe steunmaatregelen, het op één na grootste gebied dat rechtstreeks door de Commissie wordt beheerd. Op dit gebied hebben de bevoegde DG's sinds 2002 gemeenschappelijke meerjaren-evaluatiestrategieën afgesproken die zijn gekoppeld aan de programmeringsperioden (zie paragraaf 52).

| 43. | Dit ontbreken van een duidelijk geformuleerde evaluatiestrategie vormt ook een sterke tegenstelling met de situatie in de Verenigde Staten en Canada, waar het hebben van een strategie in de regelgeving is voorgeschreven (zie bijlage III). |
| --- | --- |

43.

Dit ontbreken van een duidelijk geformuleerde evaluatiestrategie vormt ook een sterke tegenstelling met de situatie in de Verenigde Staten en Canada, waar het hebben van een strategie in de regelgeving is voorgeschreven (zie bijlage III).

| 44. | Zoals hierna wordt geïllustreerd, zijn er tussen de KP's grote verschillen in dekking en intensiteit van de evaluatie. Ook deden zich andere gebreken voor, zoals coördinatieproblemen, verschillen in methodologische aanpak, problemen met de timing en de tekortschietende bekendmaking en follow-up van de evaluatiebevindingen, die verderop in dit verslag worden besproken. Hieruit blijkt dat het ontbreekt aan een complete evaluatiestrategie voor de KP's. |
| --- | --- |

44.

Zoals hierna wordt geïllustreerd, zijn er tussen de KP's grote verschillen in dekking en intensiteit van de evaluatie. Ook deden zich andere gebreken voor, zoals coördinatieproblemen, verschillen in methodologische aanpak, problemen met de timing en de tekortschietende bekendmaking en follow-up van de evaluatiebevindingen, die verderop in dit verslag worden besproken. Hieruit blijkt dat het ontbreekt aan een complete evaluatiestrategie voor de KP's.

Verschillen in dekking en intensiteit van de evaluatie binnen het KP

| 45. | De KP's bestaan uit een aantal specifieke programma's (en subprogramma's) die sterk kunnen verschillen wat betreft hun doel, onderliggende tendensen en begrotingsmiddelen (zie voor KP7 bijlage IV). De specifieke bepalingen van de verschillende KP-besluiten in combinatie met het Financieel Reglement (30) — dat evaluatie voorschrijft voor programma's en activiteiten die grote uitgaven meebrengen — houden in dat evaluatie van het KP als geheel en van de meeste specifieke programma's waaruit het bestaat reeds sinds KP4 een wettelijke vereiste is. |
| --- | --- |

45.

De KP's bestaan uit een aantal specifieke programma's (en subprogramma's) die sterk kunnen verschillen wat betreft hun doel, onderliggende tendensen en begrotingsmiddelen (zie voor KP7 bijlage IV). De specifieke bepalingen van de verschillende KP-besluiten in combinatie met het Financieel Reglement (30) — dat evaluatie voorschrijft voor programma's en activiteiten die grote uitgaven meebrengen — houden in dat evaluatie van het KP als geheel en van de meeste specifieke programma's waaruit het bestaat reeds sinds KP4 een wettelijke vereiste is.

| 46. | De Commissie heeft niet geregeld wanneer de specifieke programma's of subprogramma's moeten worden geëvalueerd en heeft ook geen gemeenschappelijke drempelwaarde bepaald waarboven dit verplicht is. Dat heeft geleid tot uiteenlopende opvattingen over hetgeen moet worden geëvalueerd en hoe uitvoerig dat moet gebeuren.






  — | DG Informatiemaatschappij vond dat het IST-programma op zichzelf al een groot uitgavenprogramma was en organiseerde in 2004 een volledige VJB naast die van het KP als geheel; |
| --- | --- | --- |

46.

De Commissie heeft niet geregeld wanneer de specifieke programma's of subprogramma's moeten worden geëvalueerd en heeft ook geen gemeenschappelijke drempelwaarde bepaald waarboven dit verplicht is. Dat heeft geleid tot uiteenlopende opvattingen over hetgeen moet worden geëvalueerd en hoe uitvoerig dat moet gebeuren.

—

DG Informatiemaatschappij vond dat het IST-programma op zichzelf al een groot uitgavenprogramma was en organiseerde in 2004 een volledige VJB naast die van het KP als geheel;

| — | DG Onderzoek organiseerde niet systematisch dergelijke beoordelingen van specifieke programma's, hoewel het verantwoordelijk was voor verscheidene programma's met budgetten van vergelijkbare grootte. |
| --- | --- |

—

DG Onderzoek organiseerde niet systematisch dergelijke beoordelingen van specifieke programma's, hoewel het verantwoordelijk was voor verscheidene programma's met budgetten van vergelijkbare grootte.

| 47. | Het gevolg was dat bij de VJB 2004 aanzienlijke delen van programma's van KP4 en KP5 helemaal niet werden geëvalueerd (dit gold voor 30 % van alle begrotingskredieten voor KP4 en 50 % van die voor KP5). Dat betekent dat de Commissie niet heeft voldaan aan de evaluatievoorschriften in artikel 27, lid 4, van het Financieel Reglement. |
| --- | --- |

47.

Het gevolg was dat bij de VJB 2004 aanzienlijke delen van programma's van KP4 en KP5 helemaal niet werden geëvalueerd (dit gold voor 30 % van alle begrotingskredieten voor KP4 en 50 % van die voor KP5). Dat betekent dat de Commissie niet heeft voldaan aan de evaluatievoorschriften in artikel 27, lid 4, van het Financieel Reglement.

| 48. | Deze uiteenlopende interpretaties van de minimumvereisten betreffende evaluatie en de daaruit voortvloeiende ondermaatse evaluatie van de KP's in het verleden illustreren het gebrek aan coördinatie en de gevolgen van het ontbreken van een strategische aanpak van de evaluatie van de KP's door de Commissie. |
| --- | --- |

48.

Deze uiteenlopende interpretaties van de minimumvereisten betreffende evaluatie en de daaruit voortvloeiende ondermaatse evaluatie van de KP's in het verleden illustreren het gebrek aan coördinatie en de gevolgen van het ontbreken van een strategische aanpak van de evaluatie van de KP's door de Commissie.

Aanbevelingen

49.

| 49. | De „onderzoeks-DG's” moeten dringend een gemeenschappelijke evaluatiestrategie voor de KP's ontwikkelen en overeenkomen. Die strategie mag niet al te prescriptief zijn maar moet toch zorgen voor een consistente aanpak met betrekking tot de evaluatie van de KP's en hun deelprogramma's. Tevens moet zij aangeven vanaf welk minimum een gedetailleerde evaluatie moet plaatsvinden, zodat rekening kan worden gehouden met de specifieke aspecten van elk wetenschappelijk terrein. |
| --- | --- |

De „onderzoeks-DG's” moeten dringend een gemeenschappelijke evaluatiestrategie voor de KP's ontwikkelen en overeenkomen. Die strategie mag niet al te prescriptief zijn maar moet toch zorgen voor een consistente aanpak met betrekking tot de evaluatie van de KP's en hun deelprogramma's. Tevens moet zij aangeven vanaf welk minimum een gedetailleerde evaluatie moet plaatsvinden, zodat rekening kan worden gehouden met de specifieke aspecten van elk wetenschappelijk terrein.

Opzet van de evaluatie van de KP's

| 50. | De evaluatie van de KP's moet worden ondersteund door passende organisatorische regelingen die voortvloeien uit de strategische oriëntatie van de Commissie voor de evaluatie van de KP's. De Rekenkamer onderzocht in welke mate de organisatiestructuur waarborgde dat het evaluatiesysteem behoorlijk werd gecoördineerd, beschikte over voldoende middelen en door de betrokkenen ook als voldoende onafhankelijk werd beschouwd. |
| --- | --- |

50.

De evaluatie van de KP's moet worden ondersteund door passende organisatorische regelingen die voortvloeien uit de strategische oriëntatie van de Commissie voor de evaluatie van de KP's. De Rekenkamer onderzocht in welke mate de organisatiestructuur waarborgde dat het evaluatiesysteem behoorlijk werd gecoördineerd, beschikte over voldoende middelen en door de betrokkenen ook als voldoende onafhankelijk werd beschouwd.

Commissie

De KP's worden wel gemeenschappelijk uitgevoerd door meerdere DG's, maar de verantwoordelijkheid voor de evaluatie is gedecentraliseerd

| 51. | Binnen de Commissie ligt de verantwoordelijkheid voor het evalueren van de uitgavenprogramma's bij de afzonderlijke DG's (zie paragraaf 8) en binnen elk DG werd een eigen evaluatiedienst opgericht. Die diensten zijn belast met het plannen, coördineren en uitvoeren van evaluaties. |
| --- | --- |

51.

Binnen de Commissie ligt de verantwoordelijkheid voor het evalueren van de uitgavenprogramma's bij de afzonderlijke DG's (zie paragraaf 8) en binnen elk DG werd een eigen evaluatiedienst opgericht. Die diensten zijn belast met het plannen, coördineren en uitvoeren van evaluaties.

| 52. | Anders dan op andere beleidsterreinen ontbreekt het hier aan een specifiek coördinatieorgaan of één dienst voor de evaluatie van het gehele KP, bijvoorbeeld een gemeenschappelijke evaluatiedienst voor alle „onderzoeks-DG's”. Op het gebied van de externe steun is er een gemeenschappelijke evaluatiedienst opgericht voor drie DG's (Ontwikkeling, Buitenlandse betrekkingen en EuropeAid), die belast is met de evaluatie van de ontwikkelingsprogramma's van de Commissie in derde landen (zie paragraaf 42). |
| --- | --- |

52.

Anders dan op andere beleidsterreinen ontbreekt het hier aan een specifiek coördinatieorgaan of één dienst voor de evaluatie van het gehele KP, bijvoorbeeld een gemeenschappelijke evaluatiedienst voor alle „onderzoeks-DG's”. Op het gebied van de externe steun is er een gemeenschappelijke evaluatiedienst opgericht voor drie DG's (Ontwikkeling, Buitenlandse betrekkingen en EuropeAid), die belast is met de evaluatie van de ontwikkelingsprogramma's van de Commissie in derde landen (zie paragraaf 42).

| 53. | DG Onderzoek zorgt via het interne OTO-evaluatienetwerk van de Commissie voor uitwisseling van informatie tussen de evaluatiediensten van de verschillende DG's, maar heeft niet de bevoegdheid om op dit gebied minimumeisen te stellen. Dit mechanisme is echter ontoereikend voor een deugdelijke coördinatie van de KP-evaluatie door de Commissie. |
| --- | --- |

53.

DG Onderzoek zorgt via het interne OTO-evaluatienetwerk van de Commissie voor uitwisseling van informatie tussen de evaluatiediensten van de verschillende DG's, maar heeft niet de bevoegdheid om op dit gebied minimumeisen te stellen. Dit mechanisme is echter ontoereikend voor een deugdelijke coördinatie van de KP-evaluatie door de Commissie.

| 54. | De Commissie heeft haar algemene aanpak van de evaluatie herzien in 2000 en in 2002, en nogmaals in 2007 (zie paragraaf 14). Hoewel er geen sterke verbetering werd waargenomen in de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de gehele Commissie. |
| --- | --- |

54.

De Commissie heeft haar algemene aanpak van de evaluatie herzien in 2000 en in 2002, en nogmaals in 2007 (zie paragraaf 14). Hoewel er geen sterke verbetering werd waargenomen in de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de gehele Commissie.

De centrale diensten van de Commissie: normgeving, geen handhavende rol

| 55. | De centrale diensten van de Commissie (vooral DG Begroting en het Secretariaat-generaal) verstrekken methodologisch advies, bepalen gemeenschappelijke normen voor de Commissie als geheel en houden toezicht op de wijze waarop de DG's en diensten de normen toepassen (zie de paragrafen 14 en 70). Zij kunnen niet voorschrijven hoe de praktische uitvoering van de evaluaties moet verlopen. |
| --- | --- |

55.

De centrale diensten van de Commissie (vooral DG Begroting en het Secretariaat-generaal) verstrekken methodologisch advies, bepalen gemeenschappelijke normen voor de Commissie als geheel en houden toezicht op de wijze waarop de DG's en diensten de normen toepassen (zie de paragrafen 14 en 70). Zij kunnen niet voorschrijven hoe de praktische uitvoering van de evaluaties moet verlopen.

| 56. | De ervaring in de Verenigde Staten en Canada leert dat de handhaving door regelgevende organen daar zeer nuttig is om het evaluatiesysteem doeltreffend te laten functioneren. In beide landen bepalen en handhaven federale diensten het kader waarbinnen het succes van een programma uiteindelijk wordt beoordeeld (zie bijlage III). De achtergrond is wel verschillend, maar de systemen berusten toch op hetzelfde principe dat een ander orgaan dan hetgeen het programma uitvoert het ontwerp van het evaluatiesysteem vrij gedetailleerd moet beoordelen en de doeltreffendheid ervan moet onderzoeken. Hetzelfde kan worden vastgesteld in bepaalde lidstaten (zoals Frankrijk (31), Spanje (32) en Duitsland (33)), waar externe organen toezicht houden op de evaluaties door de financieringsorganen of die evaluaties zelf verrichten. |
| --- | --- |

56.

De ervaring in de Verenigde Staten en Canada leert dat de handhaving door regelgevende organen daar zeer nuttig is om het evaluatiesysteem doeltreffend te laten functioneren. In beide landen bepalen en handhaven federale diensten het kader waarbinnen het succes van een programma uiteindelijk wordt beoordeeld (zie bijlage III). De achtergrond is wel verschillend, maar de systemen berusten toch op hetzelfde principe dat een ander orgaan dan hetgeen het programma uitvoert het ontwerp van het evaluatiesysteem vrij gedetailleerd moet beoordelen en de doeltreffendheid ervan moet onderzoeken. Hetzelfde kan worden vastgesteld in bepaalde lidstaten (zoals Frankrijk (31), Spanje (32) en Duitsland (33)), waar externe organen toezicht houden op de evaluaties door de financieringsorganen of die evaluaties zelf verrichten.

Panels

Panels van externe deskundigen: voorgeschreven in KP-regelgeving sinds KP4

| 57. | Sinds KP4 moesten alle grote evaluatierondes (en het jaarlijkse toezicht) op de KP's worden verricht door (of met de hulp van) panels van externe deskundigen (zie bijlage II). Het vinden van de geschikte deskundigen is weliswaar problematisch, maar dergelijke panels kunnen zorgen voor transparantie, een zekere mate van onafhankelijkheid bieden, de deelname van betrokkenen vergemakkelijken en gebruik maken van kennis van de KP's zelf, van evaluatie en van de onderliggende wetenschappelijke thema's. |
| --- | --- |

57.

Sinds KP4 moesten alle grote evaluatierondes (en het jaarlijkse toezicht) op de KP's worden verricht door (of met de hulp van) panels van externe deskundigen (zie bijlage II). Het vinden van de geschikte deskundigen is weliswaar problematisch, maar dergelijke panels kunnen zorgen voor transparantie, een zekere mate van onafhankelijkheid bieden, de deelname van betrokkenen vergemakkelijken en gebruik maken van kennis van de KP's zelf, van evaluatie en van de onderliggende wetenschappelijke thema's.

| 58. | Dit werd bevestigd in de onderzoeken van de Rekenkamer, die uitwezen dat de ondervraagden vonden dat het op panels gebaseerde evaluatiesysteem van de Commissie onafhankelijkheid garandeerde (zie figuur 4). |
| --- | --- |

58.

Dit werd bevestigd in de onderzoeken van de Rekenkamer, die uitwezen dat de ondervraagden vonden dat het op panels gebaseerde evaluatiesysteem van de Commissie onafhankelijkheid garandeerde (zie figuur 4).

Image

Zwakke punten in de door de Commissie toegepaste aanpak met panels

| 59. | Ondanks dit positieve beeld werd de inschakeling door de Commissie van panels ter evaluatie van de KP's gekenmerkt door de volgende zwakke punten, zoals panelleden en betrokkenen de Rekenkamer tijdens de controle duidelijk maakten:






  — | de evaluatiepanels worden gewoonlijk pas minder dan een jaar vóór hun rapportagedatum gevormd en houden slechts een beperkt aantal vergaderingen. Daardoor is het voor de panelleden moeilijk mede te bepalen welke gegevens en analyses nodig zijn voor hun werk. Doordat panels een „ad hoc”- en tijdelijk karakter hebben, is het bovendien niet gemakkelijk kennis te verzamelen over de programma's en is follow-up op langere termijn van relevante onderwerpen niet mogelijk. Dit is vooral een tekortkoming wanneer (zoals bij KP7) in de loop van de programmeringsperiode een aantal grote evaluatierondes zijn gepland (zie bijlage II). Daar tegenover staat de praktijk van de Commissie met de adviesgroepen van deskundigen (AGD) voor de KP's, die permanente organen zijn (34). Ook in Canada (35) zijn de evaluatiepanels permanente organen die als zodanig een consistente en coherente aanpak kunnen garanderen (zie bijlage III); |
| --- | --- | --- |

59.

Ondanks dit positieve beeld werd de inschakeling door de Commissie van panels ter evaluatie van de KP's gekenmerkt door de volgende zwakke punten, zoals panelleden en betrokkenen de Rekenkamer tijdens de controle duidelijk maakten:

—

de evaluatiepanels worden gewoonlijk pas minder dan een jaar vóór hun rapportagedatum gevormd en houden slechts een beperkt aantal vergaderingen. Daardoor is het voor de panelleden moeilijk mede te bepalen welke gegevens en analyses nodig zijn voor hun werk. Doordat panels een „ad hoc”- en tijdelijk karakter hebben, is het bovendien niet gemakkelijk kennis te verzamelen over de programma's en is follow-up op langere termijn van relevante onderwerpen niet mogelijk. Dit is vooral een tekortkoming wanneer (zoals bij KP7) in de loop van de programmeringsperiode een aantal grote evaluatierondes zijn gepland (zie bijlage II). Daar tegenover staat de praktijk van de Commissie met de adviesgroepen van deskundigen (AGD) voor de KP's, die permanente organen zijn (34). Ook in Canada (35) zijn de evaluatiepanels permanente organen die als zodanig een consistente en coherente aanpak kunnen garanderen (zie bijlage III);

| — | wanneer de Commissie de opdracht van de panels bepaalt en de evaluatievragen formuleert, raadpleegt zij geen externe betrokkenen zoals bedrijven en grote onderzoeksinstellingen die deelnemen aan de KP's. Het toezichtspanel van 2004 heeft dit probleem eveneens opgemerkt en verklaard dat potentiële gebruikers al vroeg bij het proces moeten worden betrokken (36), en |
| --- | --- |

—

wanneer de Commissie de opdracht van de panels bepaalt en de evaluatievragen formuleert, raadpleegt zij geen externe betrokkenen zoals bedrijven en grote onderzoeksinstellingen die deelnemen aan de KP's. Het toezichtspanel van 2004 heeft dit probleem eveneens opgemerkt en verklaard dat potentiële gebruikers al vroeg bij het proces moeten worden betrokken (36), en

| — | de panels gaan anders te werk dan bij een „peer review”. De leden hebben geen tijd om zelf evaluaties te verrichten; zij brengen doorgaans advies uit op basis van de gegevens en bewijzen die hun uit andere bronnen ter beschikking zijn gesteld. Als gevolg van de tijdsdruk hebben de panels slechts beperkte mogelijkheden om opdracht te geven voor de bijkomende onderzoeken die nodig zijn om de in hun opdracht vermelde kwesties te kunnen oplossen. Op enkele uitzonderingen na beschikten de VJB-panels in de praktijk alleen over door de Commissie verstrekte informatie. |
| --- | --- |

—

de panels gaan anders te werk dan bij een „peer review”. De leden hebben geen tijd om zelf evaluaties te verrichten; zij brengen doorgaans advies uit op basis van de gegevens en bewijzen die hun uit andere bronnen ter beschikking zijn gesteld. Als gevolg van de tijdsdruk hebben de panels slechts beperkte mogelijkheden om opdracht te geven voor de bijkomende onderzoeken die nodig zijn om de in hun opdracht vermelde kwesties te kunnen oplossen. Op enkele uitzonderingen na beschikten de VJB-panels in de praktijk alleen over door de Commissie verstrekte informatie.

Middelen

Er zijn geen middelen specifiek bestemd voor de KP-evaluatie

| 60. | De financiering voor de evaluatie wordt elk jaar toegekend op basis van de behoeften, omschreven door de DG's die de KP's uitvoeren. Momenteel is deze afkomstig van Commissiebrede kredieten van DG Begroting in combinatie met kredieten uit het administratieve deel van de begroting op het niveau van de betrokken DG's. Bovendien worden specifieke maatregelen gefinancierd als indirecte maatregelen uit de operationele begroting van de KP's. Dat betekent dat geen enkel bedrag specifiek wordt uitgetrokken voor evaluatie. |
| --- | --- |

60.

De financiering voor de evaluatie wordt elk jaar toegekend op basis van de behoeften, omschreven door de DG's die de KP's uitvoeren. Momenteel is deze afkomstig van Commissiebrede kredieten van DG Begroting in combinatie met kredieten uit het administratieve deel van de begroting op het niveau van de betrokken DG's. Bovendien worden specifieke maatregelen gefinancierd als indirecte maatregelen uit de operationele begroting van de KP's. Dat betekent dat geen enkel bedrag specifiek wordt uitgetrokken voor evaluatie.

| 61. | In 2006 werd het gemiddelde voor de gehele Commissie van personeel dat werkt aan evaluatie en activiteitengeoriënteerd management geschat op ongeveer 1 % van het totale personeelsbestand (37). Voor toezicht- en evaluatiewerkzaamheden bij DG Onderzoek en DG Informatiemaatschappij bedroeg dit 1,2, respectievelijk 1,3 %. In het geval van DG Onderzoek werd echter ruim tweederde van die personele middelen ingezet voor de diensten voor operationele programma's en niet voor de evaluatiedienst, en evaluatie was slechts één van hun vele taken. |
| --- | --- |

61.

In 2006 werd het gemiddelde voor de gehele Commissie van personeel dat werkt aan evaluatie en activiteitengeoriënteerd management geschat op ongeveer 1 % van het totale personeelsbestand (37). Voor toezicht- en evaluatiewerkzaamheden bij DG Onderzoek en DG Informatiemaatschappij bedroeg dit 1,2, respectievelijk 1,3 %. In het geval van DG Onderzoek werd echter ruim tweederde van die personele middelen ingezet voor de diensten voor operationele programma's en niet voor de evaluatiedienst, en evaluatie was slechts één van hun vele taken.

Financiering voor de KP-evaluatie lager dan de Commissie aanbeveelt

| 62. | De voor evaluatie uitgetrokken middelen kunnen ook worden uitgedrukt als percentage van de totale begrotingskredieten die aan het programma zijn toegewezen. Tijdens de controle verkregen cijfers wijzen uit dat dit in de praktijk voor onderzoeksprogramma's binnen de lidstaten van de EU tussen 0,1 en 2 % ligt. Volgens de richtlijnen van de Commissie moet 0,5 % van de begroting voor een programma worden besteed aan evaluatie (38). Bij grotere programma's kan dankzij schaalvoordelen echter een kleiner deel van hun begroting volstaan. |
| --- | --- |

62.

De voor evaluatie uitgetrokken middelen kunnen ook worden uitgedrukt als percentage van de totale begrotingskredieten die aan het programma zijn toegewezen. Tijdens de controle verkregen cijfers wijzen uit dat dit in de praktijk voor onderzoeksprogramma's binnen de lidstaten van de EU tussen 0,1 en 2 % ligt. Volgens de richtlijnen van de Commissie moet 0,5 % van de begroting voor een programma worden besteed aan evaluatie (38). Bij grotere programma's kan dankzij schaalvoordelen echter een kleiner deel van hun begroting volstaan.

| 63. | Vergelijking tussen de cijfers van de Commissie betreffende de uitgaven voor evaluatie in de periode 2003-2006 en de begrotingskredieten voor elk directoraat-generaal levert een algemeen gemiddelde van ongeveer 0,15 % op, hetgeen ver onder het door de Commissie gesuggereerde niveau ligt. Nader onderzoek voor het jaar 2006 wijst uit dat DG Informatiemaatschappij ongeveer vier maal meer uitgaf voor evaluatie dan DG Onderzoek, gelet op de kredieten waarvoor ze respectievelijk verantwoordelijk zijn. Bovendien wordt bij DG Onderzoek per miljoen euro jaarlijkse begroting slechts 0,7 % van een volledige dagtaak besteed aan evaluatie. In vergelijking daarmee geeft DG Informatiemaatschappij dubbel zoveel uit. |
| --- | --- |

63.

Vergelijking tussen de cijfers van de Commissie betreffende de uitgaven voor evaluatie in de periode 2003-2006 en de begrotingskredieten voor elk directoraat-generaal levert een algemeen gemiddelde van ongeveer 0,15 % op, hetgeen ver onder het door de Commissie gesuggereerde niveau ligt. Nader onderzoek voor het jaar 2006 wijst uit dat DG Informatiemaatschappij ongeveer vier maal meer uitgaf voor evaluatie dan DG Onderzoek, gelet op de kredieten waarvoor ze respectievelijk verantwoordelijk zijn. Bovendien wordt bij DG Onderzoek per miljoen euro jaarlijkse begroting slechts 0,7 % van een volledige dagtaak besteed aan evaluatie. In vergelijking daarmee geeft DG Informatiemaatschappij dubbel zoveel uit.

| 64. | Zoals dit verslag aantoont, heeft de extra inspanning van DG Informatiemaatschappij geleid tot een verder reikende evaluatie (zie de paragrafen 13 en 46) en tot het gebruik van methodologieën die beter geschikt zijn om in te spelen op de evaluatiebehoeften, zoals blijkt uit de door de Rekenkamer onderzochte steekproef van evaluatiestudies (zie paragraaf 84). |
| --- | --- |

64.

Zoals dit verslag aantoont, heeft de extra inspanning van DG Informatiemaatschappij geleid tot een verder reikende evaluatie (zie de paragrafen 13 en 46) en tot het gebruik van methodologieën die beter geschikt zijn om in te spelen op de evaluatiebehoeften, zoals blijkt uit de door de Rekenkamer onderzochte steekproef van evaluatiestudies (zie paragraaf 84).

| 65. | Aan de hand van gegevens van de Commissie maakte de Rekenkamer een kostenraming die uitwijst dat een op de voorstellen in dit verslag gebaseerd evaluatiesysteem gemiddeld minder dan 0,4 % van de begrotingskredieten voor KP7 zou uitmaken. Dit zou de kosten dekken van panels, uitbestede studies, personeel voor zowel de gemeenschappelijke evaluatiedienst als de bestaande evaluatie-eenheden van de DG's zelf alsook andere diverse kosten (39). |
| --- | --- |

65.

Aan de hand van gegevens van de Commissie maakte de Rekenkamer een kostenraming die uitwijst dat een op de voorstellen in dit verslag gebaseerd evaluatiesysteem gemiddeld minder dan 0,4 % van de begrotingskredieten voor KP7 zou uitmaken. Dit zou de kosten dekken van panels, uitbestede studies, personeel voor zowel de gemeenschappelijke evaluatiedienst als de bestaande evaluatie-eenheden van de DG's zelf alsook andere diverse kosten (39).

Aanbevelingen

66.

| 66. | De „onderzoeks-DG's” moeten overwegen, naast de bestaande evaluatie-eenheden in elk DG een gemeenschappelijke evaluatiedienst op te zetten. Zoals gebruikelijk is op andere beleidsterreinen, zou deze de evaluatiewerkzaamheden van de Commissie voor het gehele KP kunnen coördineren. Dergelijke gemeenschappelijke ondersteunende functies werden al eerder aanbevolen voor de DG's die de KP's uitvoeren (40) en kunnen in de toekomst nog belangrijker worden door de instelling van de EOR en de delegatie van de programma-uitvoering aan uitvoerende agentschappen. |
| --- | --- |

De „onderzoeks-DG's” moeten overwegen, naast de bestaande evaluatie-eenheden in elk DG een gemeenschappelijke evaluatiedienst op te zetten. Zoals gebruikelijk is op andere beleidsterreinen, zou deze de evaluatiewerkzaamheden van de Commissie voor het gehele KP kunnen coördineren. Dergelijke gemeenschappelijke ondersteunende functies werden al eerder aanbevolen voor de DG's die de KP's uitvoeren (40) en kunnen in de toekomst nog belangrijker worden door de instelling van de EOR en de delegatie van de programma-uitvoering aan uitvoerende agentschappen.

| 67. | De Commissie moet gebruik blijven maken van evaluatiepanels als hulp bij haar evaluatiewerkzaamheden. Zij moet echter nagaan hoe de panelstructuur kan worden ingepast in de algemene programmastructuur van de KP's. Dat kan door te werken met panels voor specifieke programma's en zo mogelijk voor subprogramma's (zie bijlage IV). Bovendien moeten die panels tijdig genoeg worden opgezet om de Commissie op doeltreffende wijze te steunen tijdens de hele programmeringsperiode en daarna. |
| --- | --- |

67.

De Commissie moet gebruik blijven maken van evaluatiepanels als hulp bij haar evaluatiewerkzaamheden. Zij moet echter nagaan hoe de panelstructuur kan worden ingepast in de algemene programmastructuur van de KP's. Dat kan door te werken met panels voor specifieke programma's en zo mogelijk voor subprogramma's (zie bijlage IV). Bovendien moeten die panels tijdig genoeg worden opgezet om de Commissie op doeltreffende wijze te steunen tijdens de hele programmeringsperiode en daarna.

| 68. | De Commissie dient opnieuw te bekijken hoeveel middelen worden besteed aan de evaluatie van de KP's en hun deelprogramma's. |
| --- | --- |

68.

De Commissie dient opnieuw te bekijken hoeveel middelen worden besteed aan de evaluatie van de KP's en hun deelprogramma's.

Evaluatiemethodologieën en -technieken

| 69. | Doeltreffende evaluatie vergt toepassing van de juiste methodologieën en technieken. De Rekenkamer onderzocht in hoeverre specifieke richtlijnen waren gegeven voor de evaluatie van de KP's, of de behoeften aan informatie tijdig en behoorlijk werden onderzocht en of de beoordelaars relevante gegevens ter beschikking werden gesteld. Met betrekking tot de door (of voor) de Commissie verrichte evaluatiestudies controleerde de Rekenkamer of de in de afzonderlijke studies toegepaste technieken voldoende basis vormden om de bij de VJB's gestelde vragen te kunnen beantwoorden. Tevens werd bekeken welke bijdrage evaluaties op nationaal niveau kunnen leveren voor de evaluatie van de KP's. |
| --- | --- |

69.

Doeltreffende evaluatie vergt toepassing van de juiste methodologieën en technieken. De Rekenkamer onderzocht in hoeverre specifieke richtlijnen waren gegeven voor de evaluatie van de KP's, of de behoeften aan informatie tijdig en behoorlijk werden onderzocht en of de beoordelaars relevante gegevens ter beschikking werden gesteld. Met betrekking tot de door (of voor) de Commissie verrichte evaluatiestudies controleerde de Rekenkamer of de in de afzonderlijke studies toegepaste technieken voldoende basis vormden om de bij de VJB's gestelde vragen te kunnen beantwoorden. Tevens werd bekeken welke bijdrage evaluaties op nationaal niveau kunnen leveren voor de evaluatie van de KP's.

Invoering van specifieke normen en richtlijnen voor de KP's

| 70. | DG Begroting heeft verscheidene mededelingen doen uitgaan met de beschrijving van en de uitvoeringsvoorschriften voor zijn evaluatiebeleid, en dit DG heeft ook een pakket Commissiebrede normen opgesteld (zie de paragrafen 14 en 55) (41). Op andere beleidsterreinen hebben de bevoegde DG's ook specifieke evaluatiehandleidingen samengesteld (42). |
| --- | --- |

70.

DG Begroting heeft verscheidene mededelingen doen uitgaan met de beschrijving van en de uitvoeringsvoorschriften voor zijn evaluatiebeleid, en dit DG heeft ook een pakket Commissiebrede normen opgesteld (zie de paragrafen 14 en 55) (41). Op andere beleidsterreinen hebben de bevoegde DG's ook specifieke evaluatiehandleidingen samengesteld (42).

| 71. | Dat geldt echter niet voor de KP's. Er is een aantal methodologische handleidingen en instrumenten voor evaluatiewerkzaamheden op het gebied van onderzoek gepubliceerd of gefinancierd door de Commissie (43). Deze geven echter geen specifieke instructies voor het verrichten van KP-evaluaties en bepalen ook niet welke basisbegrippen of terminologie het Commissiepersoneel of de externe deskundigen moeten hanteren. Dit heeft bijgedragen tot de problemen die hierna worden besproken. |
| --- | --- |

71.

Dat geldt echter niet voor de KP's. Er is een aantal methodologische handleidingen en instrumenten voor evaluatiewerkzaamheden op het gebied van onderzoek gepubliceerd of gefinancierd door de Commissie (43). Deze geven echter geen specifieke instructies voor het verrichten van KP-evaluaties en bepalen ook niet welke basisbegrippen of terminologie het Commissiepersoneel of de externe deskundigen moeten hanteren. Dit heeft bijgedragen tot de problemen die hierna worden besproken.

Gegevensbehoeften en -verzameling

Onvoldoende analyse van de informatiebehoeften

| 72. | De „onderzoeks-DG's” hebben te weinig aandacht besteed aan de vraag welke gegevens nodig zijn voor evaluatie en toezicht. De informatiebehoeften werden niet systematisch en uitvoerig geanalyseerd; welke gegevens nodig waren heeft de Commissie pas laat in de programmeringsperiode bepaald en dan zonder te letten op de algemene evaluatiebehoeften. De sociaaleconomische vragenlijst voor KP6 was de enige gemeenschappelijke poging van de DG's om het eens te worden over dergelijke gegevens (zie paragraaf 76). Deze werd echter voltooid in 2004 (drie jaar na het begin van de programmeringsperiode) en betreft vooral aspecten als de deelname van mannen en vrouwen of milieu-effecten, niet de wetenschappelijke output (bijvoorbeeld kwesties als intellectuele eigendom, publicaties, enz.), de uitkomsten of de impact. |
| --- | --- |

72.

De „onderzoeks-DG's” hebben te weinig aandacht besteed aan de vraag welke gegevens nodig zijn voor evaluatie en toezicht. De informatiebehoeften werden niet systematisch en uitvoerig geanalyseerd; welke gegevens nodig waren heeft de Commissie pas laat in de programmeringsperiode bepaald en dan zonder te letten op de algemene evaluatiebehoeften. De sociaaleconomische vragenlijst voor KP6 was de enige gemeenschappelijke poging van de DG's om het eens te worden over dergelijke gegevens (zie paragraaf 76). Deze werd echter voltooid in 2004 (drie jaar na het begin van de programmeringsperiode) en betreft vooral aspecten als de deelname van mannen en vrouwen of milieu-effecten, niet de wetenschappelijke output (bijvoorbeeld kwesties als intellectuele eigendom, publicaties, enz.), de uitkomsten of de impact.

| 73. | De beoordeling van de programma's is sterk afhankelijk van de beschikbaarheid van drie soorten gegevens:






  — | gegevens die zijn verzameld volgens „doeltreffendheidsindicatoren”, waarvan de analyse inzicht geeft in de vorderingen in de richting van de doelstellingen van het programma. Door het reeds eerder besproken ontbreken van interventielogica was het moeilijk dergelijke indicatoren te definiëren (zie paragraaf 30). In de praktijk waren de verzamelde gegevens weinig relevant voor het meten van de realisatie van de programmadoelstellingen; |
| --- | --- | --- |

73.

De beoordeling van de programma's is sterk afhankelijk van de beschikbaarheid van drie soorten gegevens:

—

gegevens die zijn verzameld volgens „doeltreffendheidsindicatoren”, waarvan de analyse inzicht geeft in de vorderingen in de richting van de doelstellingen van het programma. Door het reeds eerder besproken ontbreken van interventielogica was het moeilijk dergelijke indicatoren te definiëren (zie paragraaf 30). In de praktijk waren de verzamelde gegevens weinig relevant voor het meten van de realisatie van de programmadoelstellingen;

| — | gegevens over het programmabeheer (volgens „doelmatigheidsindicatoren”), en |
| --- | --- |

—

gegevens over het programmabeheer (volgens „doelmatigheidsindicatoren”), en

| — | gegevens over deelnemers (bijvoorbeeld de mate van deelname door grote onderzoeksinstellingen). |
| --- | --- |

—

gegevens over deelnemers (bijvoorbeeld de mate van deelname door grote onderzoeksinstellingen).

| 74. | Vooral de laatste twee soorten gegevens zouden beschikbaar moeten zijn bij de Commissie. Maar door moeilijkheden in verband met de interne IT-systemen van de Commissie — de bron van de meeste gegevens over programmabeheer en deelnemers (44) — bleek dit in de praktijk bijzonder problematisch (45). |
| --- | --- |

74.

Vooral de laatste twee soorten gegevens zouden beschikbaar moeten zijn bij de Commissie. Maar door moeilijkheden in verband met de interne IT-systemen van de Commissie — de bron van de meeste gegevens over programmabeheer en deelnemers (44) — bleek dit in de praktijk bijzonder problematisch (45).

| 75. | Een illustratie hiervan is de aanzienlijke vertraging in het beschikbaar stellen van de verslagen krachtens artikel 173 en de jaarlijkse toezichtsverslagen (tot 16 (46), respectievelijk 7 maanden in de periode 2002-2005). Aangezien deze informatie telkens weer te laat kwam, had ze weinig nut. |
| --- | --- |

75.

Een illustratie hiervan is de aanzienlijke vertraging in het beschikbaar stellen van de verslagen krachtens artikel 173 en de jaarlijkse toezichtsverslagen (tot 16 (46), respectievelijk 7 maanden in de periode 2002-2005). Aangezien deze informatie telkens weer te laat kwam, had ze weinig nut.

Ondoeltreffende aanpak van het inwinnen van evaluatiegegevens bij de deelnemers

| 76. | Sinds KP5 heeft de Commissie de deelnemers systematisch contractueel verplicht de nodige gegevens te verstrekken om de verwezenlijking van de programmadoelstellingen te kunnen meten in termen van output, uitkomsten en impact, en wel als volgt:






  — | in het kader van KP5 moesten de deelnemers een „technologisch uitvoeringsplan” indienen alsook een eindverslag na de voltooiing van het project. Die documenten waren vaak van matige kwaliteit of werden helemaal niet ingediend; |
| --- | --- | --- |

76.

Sinds KP5 heeft de Commissie de deelnemers systematisch contractueel verplicht de nodige gegevens te verstrekken om de verwezenlijking van de programmadoelstellingen te kunnen meten in termen van output, uitkomsten en impact, en wel als volgt:

—

in het kader van KP5 moesten de deelnemers een „technologisch uitvoeringsplan” indienen alsook een eindverslag na de voltooiing van het project. Die documenten waren vaak van matige kwaliteit of werden helemaal niet ingediend;

| — | in het kader van KP6 moeten ze een „plan voor de verspreiding en benutting van kennis” overleggen en bij de indiening van hun jaarlijkse technische verslagen een standaardvragenlijst beantwoorden over sociaaleconomische thema's. |
| --- | --- |

—

in het kader van KP6 moeten ze een „plan voor de verspreiding en benutting van kennis” overleggen en bij de indiening van hun jaarlijkse technische verslagen een standaardvragenlijst beantwoorden over sociaaleconomische thema's.

| 77. | Deze contractuele verplichting tot gegevensverstrekking hield een onnodig administratief karwei in voor de deelnemers. Zo worden voor de jaarlijkse vragenlijst van KP6 veel vaker dan nodig gegevens verzameld uit de gehele populatie van projecten, terwijl een representatieve steekproef zou volstaan. Dit zal allicht leiden tot „evaluatiemoeheid”. Bovendien werd die informatie niet op het juiste moment verzameld; vele vraagstukken waarover gegevens worden verzameld, spelen op middellange of lange termijn, zodat gegevensverzameling binnen de contractuele looptijd van het project per definitie voorbarig is (47). De met deze middelen verzamelde informatie heeft derhalve weinig praktisch nut gehad voor de evaluaties van KP5 en KP6. |
| --- | --- |

77.

Deze contractuele verplichting tot gegevensverstrekking hield een onnodig administratief karwei in voor de deelnemers. Zo worden voor de jaarlijkse vragenlijst van KP6 veel vaker dan nodig gegevens verzameld uit de gehele populatie van projecten, terwijl een representatieve steekproef zou volstaan. Dit zal allicht leiden tot „evaluatiemoeheid”. Bovendien werd die informatie niet op het juiste moment verzameld; vele vraagstukken waarover gegevens worden verzameld, spelen op middellange of lange termijn, zodat gegevensverzameling binnen de contractuele looptijd van het project per definitie voorbarig is (47). De met deze middelen verzamelde informatie heeft derhalve weinig praktisch nut gehad voor de evaluaties van KP5 en KP6.

| 78. | Geen van de bestaande systemen regelt echter dat er op gestandaardiseerde wijze informatie wordt verzameld aan het einde van (of kort na) de looptijd van een project. Bij navraag suggereerden betrokkenen dat dergelijke informatie onder meer de realisatie van projectdoelstellingen kon omvatten, alsmede de beoogde (en onvoorziene) resultaten en de indruk bij de deelnemers dat de Gemeenschap een toegevoegde waarde oplevert. Die informatie kan ook dienen als basis voor externe onderzoeken van voltooide projecten (48). |
| --- | --- |

78.

Geen van de bestaande systemen regelt echter dat er op gestandaardiseerde wijze informatie wordt verzameld aan het einde van (of kort na) de looptijd van een project. Bij navraag suggereerden betrokkenen dat dergelijke informatie onder meer de realisatie van projectdoelstellingen kon omvatten, alsmede de beoogde (en onvoorziene) resultaten en de indruk bij de deelnemers dat de Gemeenschap een toegevoegde waarde oplevert. Die informatie kan ook dienen als basis voor externe onderzoeken van voltooide projecten (48).

| 79. | Samen met een uitgebreidere toepassing van scientometrische methoden (zoals de citatie-analyse) om de projectresultaten te beoordelen (zie paragraaf 83) zou dit de Commissie een basis kunnen geven om te komen tot een meer resultaatgeoriënteerd systeem voor de cofinanciering van OTO-werkzaamheden door de Gemeenschap (49). |
| --- | --- |

79.

Samen met een uitgebreidere toepassing van scientometrische methoden (zoals de citatie-analyse) om de projectresultaten te beoordelen (zie paragraaf 83) zou dit de Commissie een basis kunnen geven om te komen tot een meer resultaatgeoriënteerd systeem voor de cofinanciering van OTO-werkzaamheden door de Gemeenschap (49).

Andere gegevensbronnen worden niet behoorlijk benut

| 80. | Er wordt onvoldoende gebruik gemaakt van andere bestaande gegevensbronnen binnen de Commissie en in de lidstaten (bijvoorbeeld de databanken van nationale OTO-programma's en financieringsorganen en de Informatiedienst betreffende communautaire onderzoek- en ontwikkelingswerkzaamheden (Cordis), die wordt gerund door het Publicatiebureau van de Commissie (50)). |
| --- | --- |

80.

Er wordt onvoldoende gebruik gemaakt van andere bestaande gegevensbronnen binnen de Commissie en in de lidstaten (bijvoorbeeld de databanken van nationale OTO-programma's en financieringsorganen en de Informatiedienst betreffende communautaire onderzoek- en ontwikkelingswerkzaamheden (Cordis), die wordt gerund door het Publicatiebureau van de Commissie (50)).

Door de Commissie verrichte evaluatiestudies

Door de Rekenkamer onderzochte verslagen

| 81. | De Rekenkamer onderzocht 86 evaluatiestudies die sinds 2000 door (of voor) de Commissie werden uitgevoerd. Hieronder vallen alle 36 studies waarop de in 2004 gepubliceerde VJB berustte en de 50 andere studies die sindsdien werden voltooid. Daarvan kunnen slechts 23 studies worden beschouwd als echte evaluaties van het KP en zijn programma's (zie figuur 5).
  Figuur 5
  Overzicht van de door (of voor) de Commissie in de periode 2000-2006 verrichte evaluatiestudies








  Soort studie | Aantal | Beschrijving |
| --- | --- | --- | --- |
| Evaluaties van KP-werkzaamheden | 23 | Evaluatiestudies






  — | die zijn gebaseerd op erkende methodologieën (51), en |

81.

De Rekenkamer onderzocht 86 evaluatiestudies die sinds 2000 door (of voor) de Commissie werden uitgevoerd. Hieronder vallen alle 36 studies waarop de in 2004 gepubliceerde VJB berustte en de 50 andere studies die sindsdien werden voltooid. Daarvan kunnen slechts 23 studies worden beschouwd als echte evaluaties van het KP en zijn programma's (zie figuur 5).

Figuur 5

Overzicht van de door (of voor) de Commissie in de periode 2000-2006 verrichte evaluatiestudies

Soort studie

Aantal

Beschrijving

Evaluaties van KP-werkzaamheden

23

Evaluatiestudies

—

die zijn gebaseerd op erkende methodologieën (51), en

| — | specifiek verwijzen naar programmadoelstellingen en aangeven in hoeverre de programmadoelstellingen zijn gerealiseerd. |
| --- | --- |

—

specifiek verwijzen naar programmadoelstellingen en aangeven in hoeverre de programmadoelstellingen zijn gerealiseerd.

Nationale impactbeoordelingen op lidstaatniveau

12

Door lidstaten verrichte studies die vooral gericht zijn op de nationale participatiegraad en geen conclusies trekken inzake de programmadoelstellingen.

Methodologische studies

5

Door de Commissie georganiseerde studies als bijdrage aan de ontwikkeling van evaluatiemethodologieën.

Studies van de stand van het OTO in Europa

2

Studies die gericht zijn op de contextuele analyse van de onderzoekswereld in Europa, niet op de KP's. Met name wordt niet expliciet verwezen naar het effect dat de KP's hebben op de nationale systemen voor onderzoek en innovatie.

Niet-analytische beschrijvende en statistische documenten

33

Documenten gekenmerkt door een zeer indirecte benadering van de KP-activiteiten, die vaak beschreven maar niet geanalyseerd worden.

Andere documenten

11

Een reeks documenten betreffende algemene beleidsaspecten waarin de KP's niet in deze context worden onderzocht.

De evaluaties zijn toegespitst op aspecten van toezicht maar niet op uitkomsten en impact

| 82. | De meta-analyse van deze specifieke evaluatiestudies door de Rekenkamer levert twee belangrijke bevindingen op:






  — | hoewel in vele van de studies wordt getracht conclusies te trekken over de programmadoelstellingen, zijn deze conclusies vaag zodat de lezer niet overtuigd is dat de evaluatie daarop werkelijk betrekking heeft. Dat komt vaak doordat het ontbreken van duidelijke programmadoelstellingen het hele proces ernstig ondermijnt (zie paragraaf 28); |
| --- | --- | --- |

82.

De meta-analyse van deze specifieke evaluatiestudies door de Rekenkamer levert twee belangrijke bevindingen op:

—

hoewel in vele van de studies wordt getracht conclusies te trekken over de programmadoelstellingen, zijn deze conclusies vaag zodat de lezer niet overtuigd is dat de evaluatie daarop werkelijk betrekking heeft. Dat komt vaak doordat het ontbreken van duidelijke programmadoelstellingen het hele proces ernstig ondermijnt (zie paragraaf 28);

| — | in plaats van de uitkomsten en impact van de KP's of de specifieke programma's (en subprogramma's) daarvan te evalueren, zijn vele van die documenten beschrijvend en in het beste geval gericht op directe output en aspecten van projectbeheer. Deze verslagen kunnen geen overtuigend bewijs leveren met betrekking tot uitkomsten of impact. |
| --- | --- |

—

in plaats van de uitkomsten en impact van de KP's of de specifieke programma's (en subprogramma's) daarvan te evalueren, zijn vele van die documenten beschrijvend en in het beste geval gericht op directe output en aspecten van projectbeheer. Deze verslagen kunnen geen overtuigend bewijs leveren met betrekking tot uitkomsten of impact.

Onvoldoende aandacht voor de ontwikkeling van innovatieve methodologieën

| 83. | Voor de evaluaties in de periode 2000-2006 wordt overwegend gebruik gemaakt van traditionele methodologieën en technieken (met name onderzoeken, beoordeling van stukken en interviews) (zie figuur 6). Verder werd een aantal andere geavanceerde maar gevestigde evaluatiemethodologieën en -technieken niet of zeer zelden toegepast, met name:






  — | scientometrische methoden (zoals de citatie-analyse) (52), |
| --- | --- | --- |

83.

Voor de evaluaties in de periode 2000-2006 wordt overwegend gebruik gemaakt van traditionele methodologieën en technieken (met name onderzoeken, beoordeling van stukken en interviews) (zie figuur 6). Verder werd een aantal andere geavanceerde maar gevestigde evaluatiemethodologieën en -technieken niet of zeer zelden toegepast, met name:

—

scientometrische methoden (zoals de citatie-analyse) (52),

| — | kwantitatieve modellen (kostenefficiëntie, kosteneffectiviteit, kosten/baten) (53), of |
| --- | --- |

—

kwantitatieve modellen (kostenefficiëntie, kosteneffectiviteit, kosten/baten) (53), of

| — | actor- of gedragsmodellen (gericht op de zienswijze van de betrokkenen bij een interventie, bijvoorbeeld de kenmerken van onderzoeksnetwerken en de wijzigingen daarvan in de loop der tijd). |
| --- | --- |

—

actor- of gedragsmodellen (gericht op de zienswijze van de betrokkenen bij een interventie, bijvoorbeeld de kenmerken van onderzoeksnetwerken en de wijzigingen daarvan in de loop der tijd).

Image

| 84. | Slechts in een beperkt aantal gevallen werd bij evaluatiestudies getracht in te gaan op methodologische problemen bij de beoordeling van de overheidsinterventie in onderzoeksactiviteiten (zie bijlage I):






  — | onlangs werden twee studies omtrent interventielogica voltooid (54); |
| --- | --- | --- |

84.

Slechts in een beperkt aantal gevallen werd bij evaluatiestudies getracht in te gaan op methodologische problemen bij de beoordeling van de overheidsinterventie in onderzoeksactiviteiten (zie bijlage I):

—

onlangs werden twee studies omtrent interventielogica voltooid (54);

| — | er werden slechts drie studies aangetroffen waarin wordt getracht te meten welk effect de communautaire financiering had op de pan-Europese netwerkvorming tussen onderzoeksorganisaties (55), hoewel de veronderstelling van een positief effect de kern van het EOR-concept vormt; |
| --- | --- |

—

er werden slechts drie studies aangetroffen waarin wordt getracht te meten welk effect de communautaire financiering had op de pan-Europese netwerkvorming tussen onderzoeksorganisaties (55), hoewel de veronderstelling van een positief effect de kern van het EOR-concept vormt;

| — | slechts in één geval werd getracht te komen tot conclusies over de bereikte impact op het niveau van de programma's (of subprogramma's) door de samenvoeging van analyses van de evaluaties op projectniveau te combineren met andere evaluatietechnieken (56), en |
| --- | --- |

—

slechts in één geval werd getracht te komen tot conclusies over de bereikte impact op het niveau van de programma's (of subprogramma's) door de samenvoeging van analyses van de evaluaties op projectniveau te combineren met andere evaluatietechnieken (56), en

| — | er was geen bewijs voor het gebruik van andere methodologieën zoals feitentoetsing (of controlegroepen). Een dergelijke aanpak zou bijzonder nuttig zijn ter illustratie van de toegevoegde waarde van programma's op communautair niveau, in vergelijking met het achterwege blijven van interventie (of interventie op nationaal of regionaal niveau). |
| --- | --- |

—

er was geen bewijs voor het gebruik van andere methodologieën zoals feitentoetsing (of controlegroepen). Een dergelijke aanpak zou bijzonder nuttig zijn ter illustratie van de toegevoegde waarde van programma's op communautair niveau, in vergelijking met het achterwege blijven van interventie (of interventie op nationaal of regionaal niveau).

| 85. | Door de Rekenkamer ondervraagde betrokkenen waren van mening dat het nut en de relevantie van de evaluaties van de Commissie vatbaar waren voor verbetering. Dit wijst op de noodzaak van verdere methodologische ontwikkeling om te komen tot een evaluatiesysteem dat rekening houdt met de veranderende aard van de KP's (zie paragraaf 7) (57). |
| --- | --- |

85.

Door de Rekenkamer ondervraagde betrokkenen waren van mening dat het nut en de relevantie van de evaluaties van de Commissie vatbaar waren voor verbetering. Dit wijst op de noodzaak van verdere methodologische ontwikkeling om te komen tot een evaluatiesysteem dat rekening houdt met de veranderende aard van de KP's (zie paragraaf 7) (57).

Belangrijke kwesties die in de VJB's aan de orde werden gesteld konden niet worden aangepakt op basis van de specifieke evaluatiestudies van de Commissie

| 86. | Dat blijkt ook uit de grote problemen die het panel voor de VJB 2004 (58) ondervond bij het beantwoorden van de in de opdracht voorgestelde evaluatievragen. Vele van deze uitdagende vragen konden helemaal niet worden behandeld omdat eerder door (of voor) de Commissie uitgevoerde en relevante studies ontbraken en omdat de panelleden niet de mogelijkheid hadden tijdig opdracht te geven voor dergelijke studies (zie figuur 7).
  Figuur 7
  Beantwoording van evaluatievragen in de VJB van 2004 | Evaluatievraag | Beantwoord in verslag? |
| --- | --- | --- | --- |
| UITVOERING | Werden de activiteiten efficiënt uitgevoerd? | gedeeltelijk |
| Waren de activiteiten kostenefficiënt? | gedeeltelijk |
| Waren de activiteiten de beste manier om de gekozen doelstellingen te bereiken? | nee |
| Waren de algemene regelgeving (inclusief regels inzake deelname en contracten), de beleidsinstrumenten en de uitvoeringsvoorschriften duidelijk, adequaat en doeltreffend? | nee |
| Waren de financiering en de andere beschikbare middelen toereikend? | nee |
| Waren de beoogde industriële en wetenschapswereld, waaronder het MKB, in staat behoorlijk te reageren? | ja |
| VERWEZENLIJKING | Zijn met de activiteiten hun respectieve doelstellingen bereikt en in hoeverre waren er onverwachte resultaten? | nee |
| Wat zijn de voornaamste resultaten, vooral in termen van wetenschappelijke, technologische, sociaaleconomische en milieu-output, in termen van internationale samenwerking, kennisoverdracht en innovatie, normerende activiteiten, toegankelijkheid, verspreiding en begrip van onderzoek, ontwikkeling van personele middelen, mobiliteit en opleiding, en in termen van ondersteuning en versterking van de coördinatie van de onderzoeksactiviteiten? | nee |
| Waren de resultaten, effecten en impact in het algemeen bevredigend uit het oogpunt van de directe of indirecte begunstigden en betrokkenen? | nee |
| Werd de betrokken industriële en wetenschapswereld, waaronder het MKB, voldoende aangesproken? | ja |
| Hoe en in welke mate hebben de activiteiten bijgedragen tot een beter concurrentievermogen van het Europees onderzoek op internationaal niveau? Heeft het Europees onderzoek op specifieke terreinen een leidende positie ingenomen? | gedeeltelijk |
| Hoe en in welke mate hebben de activiteiten bijgedragen aan het EU-beleid in het algemeen en aan de EU-strategie voor duurzame ontwikkeling? | nee |
| Zijn er bewijzen dat er ten gevolge van de communautaire onderzoeksactiviteiten op nationaal of internationaal niveau structurele veranderingen plaatsvonden, met name ook op het gebied van netwerken, integratie en coördinatie van het onderzoek? | nee |
| Waren de programma's kosteneffectief? Hadden de acties een blijvende impact? | nee |
| EVOLUTIE EN VOORUITZICHTEN | Hoe evolueerden de kaderprogramma's in termen van grondgedachte, doelstellingen, thematische prioriteiten, evenwicht tussen opwaartse en neerwaartse prioriteiten en tussen fundamenteel en toegepast onderzoek, instrumenten, Europese toegevoegde waarde en andere soorten impact, vooral in het licht van het ontstaan van het EOR-concept, de doelstellingen van Lissabon en de grote internationale economische en onderzoeksijkpunten? | ja |
| Hoe zorgde het kaderprogramma voor een Europese toegevoegde waarde? | ja |
| Kan de Europese toegevoegde waarde worden bereikt met andere internationale of nationale mechanismen? | nee |
| Zijn de beleidsdoelstellingen, prioriteiten, instrumenten en looptijd van de programma's berekend op de toekomst? | ja |

86.

Dat blijkt ook uit de grote problemen die het panel voor de VJB 2004 (58) ondervond bij het beantwoorden van de in de opdracht voorgestelde evaluatievragen. Vele van deze uitdagende vragen konden helemaal niet worden behandeld omdat eerder door (of voor) de Commissie uitgevoerde en relevante studies ontbraken en omdat de panelleden niet de mogelijkheid hadden tijdig opdracht te geven voor dergelijke studies (zie figuur 7).

Figuur 7

Beantwoording van evaluatievragen in de VJB van 2004

Evaluatievraag

Beantwoord in verslag?

UITVOERING

Werden de activiteiten efficiënt uitgevoerd?

gedeeltelijk

Waren de activiteiten kostenefficiënt?

gedeeltelijk

Waren de activiteiten de beste manier om de gekozen doelstellingen te bereiken?

nee

Waren de algemene regelgeving (inclusief regels inzake deelname en contracten), de beleidsinstrumenten en de uitvoeringsvoorschriften duidelijk, adequaat en doeltreffend?

nee

Waren de financiering en de andere beschikbare middelen toereikend?

nee

Waren de beoogde industriële en wetenschapswereld, waaronder het MKB, in staat behoorlijk te reageren?

ja

VERWEZENLIJKING

Zijn met de activiteiten hun respectieve doelstellingen bereikt en in hoeverre waren er onverwachte resultaten?

nee

Wat zijn de voornaamste resultaten, vooral in termen van wetenschappelijke, technologische, sociaaleconomische en milieu-output, in termen van internationale samenwerking, kennisoverdracht en innovatie, normerende activiteiten, toegankelijkheid, verspreiding en begrip van onderzoek, ontwikkeling van personele middelen, mobiliteit en opleiding, en in termen van ondersteuning en versterking van de coördinatie van de onderzoeksactiviteiten?

nee

Waren de resultaten, effecten en impact in het algemeen bevredigend uit het oogpunt van de directe of indirecte begunstigden en betrokkenen?

nee

Werd de betrokken industriële en wetenschapswereld, waaronder het MKB, voldoende aangesproken?

ja

Hoe en in welke mate hebben de activiteiten bijgedragen tot een beter concurrentievermogen van het Europees onderzoek op internationaal niveau? Heeft het Europees onderzoek op specifieke terreinen een leidende positie ingenomen?

gedeeltelijk

Hoe en in welke mate hebben de activiteiten bijgedragen aan het EU-beleid in het algemeen en aan de EU-strategie voor duurzame ontwikkeling?

nee

Zijn er bewijzen dat er ten gevolge van de communautaire onderzoeksactiviteiten op nationaal of internationaal niveau structurele veranderingen plaatsvonden, met name ook op het gebied van netwerken, integratie en coördinatie van het onderzoek?

nee

Waren de programma's kosteneffectief? Hadden de acties een blijvende impact?

nee

EVOLUTIE EN VOORUITZICHTEN

Hoe evolueerden de kaderprogramma's in termen van grondgedachte, doelstellingen, thematische prioriteiten, evenwicht tussen opwaartse en neerwaartse prioriteiten en tussen fundamenteel en toegepast onderzoek, instrumenten, Europese toegevoegde waarde en andere soorten impact, vooral in het licht van het ontstaan van het EOR-concept, de doelstellingen van Lissabon en de grote internationale economische en onderzoeksijkpunten?

ja

Hoe zorgde het kaderprogramma voor een Europese toegevoegde waarde?

ja

Kan de Europese toegevoegde waarde worden bereikt met andere internationale of nationale mechanismen?

nee

Zijn de beleidsdoelstellingen, prioriteiten, instrumenten en looptijd van de programma's berekend op de toekomst?

ja

| 87. | Bovendien werd opgemerkt dat de panelleden de in de opdracht vermelde vragen alleen konden beantwoorden voor aspecten waarvoor in de programma's duidelijke en kwantificeerbare doelstellingen waren aangegeven (zoals het aandeel van de deelnemende kleine en middelgrote ondernemingen). |
| --- | --- |

87.

Bovendien werd opgemerkt dat de panelleden de in de opdracht vermelde vragen alleen konden beantwoorden voor aspecten waarvoor in de programma's duidelijke en kwantificeerbare doelstellingen waren aangegeven (zoals het aandeel van de deelnemende kleine en middelgrote ondernemingen).

Evaluaties op nationaal niveau voor de KP's

| 88. | Verscheidene lidstaten en geassocieerde landen verrichten hun eigen nationale evaluaties van de KP's, waarbij ze relevante en interessante vragen onderzoeken vanuit hun eigen perspectief (59). De afgelopen acht jaar werden 14 van deze studies verricht voor negen lidstaten en één geassocieerd land. |
| --- | --- |

88.

Verscheidene lidstaten en geassocieerde landen verrichten hun eigen nationale evaluaties van de KP's, waarbij ze relevante en interessante vragen onderzoeken vanuit hun eigen perspectief (59). De afgelopen acht jaar werden 14 van deze studies verricht voor negen lidstaten en één geassocieerd land.

| 89. | Hoewel de Commissie een gestandaardiseerde aanpak — waar mogelijk — aanmoedigde, waren deze nationale impactstudies zeer heterogeen (60). Aangezien hierbij geen geharmoniseerde methodologie werd toegepast, zijn er weinig mogelijkheden om de resultaten samen te voegen, te combineren of te vergelijken. Door hun nationaal karakter kunnen die studies ook slechts ten dele de dimensie van de Europese samenwerking weergeven. |
| --- | --- |

89.

Hoewel de Commissie een gestandaardiseerde aanpak — waar mogelijk — aanmoedigde, waren deze nationale impactstudies zeer heterogeen (60). Aangezien hierbij geen geharmoniseerde methodologie werd toegepast, zijn er weinig mogelijkheden om de resultaten samen te voegen, te combineren of te vergelijken. Door hun nationaal karakter kunnen die studies ook slechts ten dele de dimensie van de Europese samenwerking weergeven.

| 90. | In het „Groenboek” van de EOR uit 2007 wees de Commissie erop hoe belangrijk het was dat op EOR-niveau accurate analyses beschikbaar waren van de impact en doeltreffendheid van onderzoeksacties en -beleid, ook van de lidstaten en de EU. Tevens erkende zij dat de bestaande regelingen ontoereikend waren om dat te realiseren doordat op elk interventieniveau apart evaluaties werden uitgevoerd (61). |
| --- | --- |

90.

In het „Groenboek” van de EOR uit 2007 wees de Commissie erop hoe belangrijk het was dat op EOR-niveau accurate analyses beschikbaar waren van de impact en doeltreffendheid van onderzoeksacties en -beleid, ook van de lidstaten en de EU. Tevens erkende zij dat de bestaande regelingen ontoereikend waren om dat te realiseren doordat op elk interventieniveau apart evaluaties werden uitgevoerd (61).

Aanbevelingen

91.

| 91. | De Commissie dient een handleiding op te stellen voor de evaluatie van de met de KP's gefinancierde acties; deze moet de voornaamste begrippen en terminologie definiëren en een aantal geschikte methodologieën vastleggen voor bepaalde evaluatiewerkzaamheden. De handleiding moet voortbouwen op bestaande richtlijnen en instrumenten, en regelmatig worden bijgewerkt. |
| --- | --- |

De Commissie dient een handleiding op te stellen voor de evaluatie van de met de KP's gefinancierde acties; deze moet de voornaamste begrippen en terminologie definiëren en een aantal geschikte methodologieën vastleggen voor bepaalde evaluatiewerkzaamheden. De handleiding moet voortbouwen op bestaande richtlijnen en instrumenten, en regelmatig worden bijgewerkt.

| 92. | De Commissie moet haar informatiebehoeften vaststellen, rekening houdend met de noodzaak de administratieve last voor de deelnemers te beperken. |
| --- | --- |

92.

De Commissie moet haar informatiebehoeften vaststellen, rekening houdend met de noodzaak de administratieve last voor de deelnemers te beperken.

| 93. | De Commissie moet tijdig toezichtinformatie verstrekken inzake de uitvoering van de KP's. Zoals de deelnameregels voor KP7 voorschrijven, moeten problemen in verband met de IT-systemen van de Commissie voor het beheer van de gegevens inzake programmabeheer en deelnemers dringend worden aangepakt. |
| --- | --- |

93.

De Commissie moet tijdig toezichtinformatie verstrekken inzake de uitvoering van de KP's. Zoals de deelnameregels voor KP7 voorschrijven, moeten problemen in verband met de IT-systemen van de Commissie voor het beheer van de gegevens inzake programmabeheer en deelnemers dringend worden aangepakt.

| 94. | De plicht van de deelnemers tot rapportage aan de Commissie moet sterk worden beperkt en er mogen alleen steekproefsgewijs enquêtes worden verricht. De contractuele verplichting, voor elk project op indicatoren gebaseerde impactgegevens voor te leggen, moet worden vervangen door een verplichte korte zelfevaluatie na afronding van het project. |
| --- | --- |

94.

De plicht van de deelnemers tot rapportage aan de Commissie moet sterk worden beperkt en er mogen alleen steekproefsgewijs enquêtes worden verricht. De contractuele verplichting, voor elk project op indicatoren gebaseerde impactgegevens voor te leggen, moet worden vervangen door een verplichte korte zelfevaluatie na afronding van het project.

| 95. | De Commissie moet voor haar evaluaties uitgebreider gebruik maken van de bestaande aanvullende bronnen van relevante gegevens (binnen de Commissie en in de lidstaten). |
| --- | --- |

95.

De Commissie moet voor haar evaluaties uitgebreider gebruik maken van de bestaande aanvullende bronnen van relevante gegevens (binnen de Commissie en in de lidstaten).

| 96. | De Commissie moet het hele gamma van beschikbare evaluatietechnieken benutten. Bovendien moet zij de ontwikkeling van innovatieve benaderingen steunen om zo de methodologische problemen aan te pakken die inherent zijn aan het evalueren van overheidsinterventies in onderzoek (zie bijlage I); zij moet die benaderingen ook volgen bij haar eigen evaluaties. |
| --- | --- |

96.

De Commissie moet het hele gamma van beschikbare evaluatietechnieken benutten. Bovendien moet zij de ontwikkeling van innovatieve benaderingen steunen om zo de methodologische problemen aan te pakken die inherent zijn aan het evalueren van overheidsinterventies in onderzoek (zie bijlage I); zij moet die benaderingen ook volgen bij haar eigen evaluaties.

| 97. | De Commissie moet met de lidstaten overleggen hoe de nationale evaluaties van de KP's optimaal kunnen worden benut. |
| --- | --- |

97.

De Commissie moet met de lidstaten overleggen hoe de nationale evaluaties van de KP's optimaal kunnen worden benut.

Verspreiding en benutting van de evaluatiebevindingen

| 98. | De evaluatie moet relevante informatie en analyses opleveren die doeltreffend kunnen worden gebruikt voor programmabeheer en beleidsvorming. Meer bepaald moet de evaluatie dienen als basis voor een welgeïnformeerde afweging van de sterke en zwakke punten van een overheidsinterventie die nodig is om bij te leren. De Rekenkamer onderzocht in hoeverre de evaluaties goed getimed waren, de bevindingen werden verspreid en meegedeeld aan de betrokkenen buiten de Commissie en aanbevelingen ter harte werden genomen door de Commissie om lopende programma's bij te sturen („lerende” programma's). |
| --- | --- |

98.

De evaluatie moet relevante informatie en analyses opleveren die doeltreffend kunnen worden gebruikt voor programmabeheer en beleidsvorming. Meer bepaald moet de evaluatie dienen als basis voor een welgeïnformeerde afweging van de sterke en zwakke punten van een overheidsinterventie die nodig is om bij te leren. De Rekenkamer onderzocht in hoeverre de evaluaties goed getimed waren, de bevindingen werden verspreid en meegedeeld aan de betrokkenen buiten de Commissie en aanbevelingen ter harte werden genomen door de Commissie om lopende programma's bij te sturen („lerende” programma's).

Bij de timing van de evaluaties werd geen rekening gehouden met het soort informatie dat realistisch gezien kon worden verwacht

| 99. | De Rekenkamer onderkent dat bepaalde soorten analyse een langetermijnperspectief vereisen (bijvoorbeeld de evaluatie van de uitkomsten en de sociaaleconomische impact) en dat sommige aspecten een specifieke programmeringsperiode betreffen (bijvoorbeeld de programmadoelstellingen, zelfs binnen een bepaald wetenschappelijk terrein), terwijl dat bij andere niet het geval is (zie figuur 8). De Commissie heeft voor haar evaluatiewerkzaamheden echter niet voor een aanpak gekozen die dit tijdsaspect in aanmerking neemt. |
| --- | --- |

99.

De Rekenkamer onderkent dat bepaalde soorten analyse een langetermijnperspectief vereisen (bijvoorbeeld de evaluatie van de uitkomsten en de sociaaleconomische impact) en dat sommige aspecten een specifieke programmeringsperiode betreffen (bijvoorbeeld de programmadoelstellingen, zelfs binnen een bepaald wetenschappelijk terrein), terwijl dat bij andere niet het geval is (zie figuur 8). De Commissie heeft voor haar evaluatiewerkzaamheden echter niet voor een aanpak gekozen die dit tijdsaspect in aanmerking neemt.

| 100. | De regelgeving bepaalt dat de Commissie bij haar voornaamste evaluatiewerkzaamheden uitsluitend moet kijken naar de vijf jaar die voorafgaan aan een VJB, zodat delen van twee opeenvolgende programmeringsperioden worden bestreken. Dit brengt mee dat de uitkomsten en impact op middellange en lange termijn nauwelijks aan de orde zijn gekomen. Dat heeft weer tot gevolg dat de VJB's vooral aandacht hebben besteed aan monitoring-aspecten, kortetermijnvraagstukken omtrent programmaontwerp en algemene opmerkingen over de oriëntatie van de KP's. De Rekenkamer is ingenomen met het feit dat de regelgeving betreffende KP7 niet langer VJB's voorschrijft en ook geen andere vooraf vastgelegde te bestrijken periode.
  Figuur 8
  Aspecten van toezicht en evaluatie vanuit verschillend tijdsperspectief







  Toezicht op de programma-uitvoering

  (lopend) | — | Aspecten van programmabeheer (zoals de tijd tot contractsluiting, de tijd tot betaling, inschrijvings- en slaagpercentages, begrotingsuitvoering, financieringspercentages, enz.) |
| --- | --- | --- | --- |

100.

De regelgeving bepaalt dat de Commissie bij haar voornaamste evaluatiewerkzaamheden uitsluitend moet kijken naar de vijf jaar die voorafgaan aan een VJB, zodat delen van twee opeenvolgende programmeringsperioden worden bestreken. Dit brengt mee dat de uitkomsten en impact op middellange en lange termijn nauwelijks aan de orde zijn gekomen. Dat heeft weer tot gevolg dat de VJB's vooral aandacht hebben besteed aan monitoring-aspecten, kortetermijnvraagstukken omtrent programmaontwerp en algemene opmerkingen over de oriëntatie van de KP's. De Rekenkamer is ingenomen met het feit dat de regelgeving betreffende KP7 niet langer VJB's voorschrijft en ook geen andere vooraf vastgelegde te bestrijken periode.

Figuur 8

Aspecten van toezicht en evaluatie vanuit verschillend tijdsperspectief

Toezicht op de programma-uitvoering

(lopend)

—

Aspecten van programmabeheer (zoals de tijd tot contractsluiting, de tijd tot betaling, inschrijvings- en slaagpercentages, begrotingsuitvoering, financieringspercentages, enz.)

Evaluatie

op korte termijn

(ten vroegste na een à twee jaar)

| — | Aspecten van programmabeheer (zoals de doelmatigheid van de administratieve procedures) |
| --- | --- |

—

Aspecten van programmabeheer (zoals de doelmatigheid van de administratieve procedures)

| — | Aspecten van programmaontwerp (zoals de toegankelijkheid en soepelheid van de instrumenten, belemmeringen voor deelname, gevolgen van het niet slagen van uitnodigingen tot het indienen van voorstellen, enz.) |
| --- | --- |

—

Aspecten van programmaontwerp (zoals de toegankelijkheid en soepelheid van de instrumenten, belemmeringen voor deelname, gevolgen van het niet slagen van uitnodigingen tot het indienen van voorstellen, enz.)

| — | Analyse van deelnameprofielen (in deze fase vooral kwantitatief) |
| --- | --- |

—

Analyse van deelnameprofielen (in deze fase vooral kwantitatief)

Evaluatie

op middellange termijn

(na ongeveer zeven jaar)

| — | Aspecten van programmaontwerp (zoals de doeltreffendheid van de instrumenten) |
| --- | --- |

—

Aspecten van programmaontwerp (zoals de doeltreffendheid van de instrumenten)

| — | Analyse van deelname (die kwalitatieve en kwantitatieve aspecten combineren, zoals analyse van onderzoeksnetwerken, impact op het gedrag van de onderzoekers, enz.) |
| --- | --- |

—

Analyse van deelname (die kwalitatieve en kwantitatieve aspecten combineren, zoals analyse van onderzoeksnetwerken, impact op het gedrag van de onderzoekers, enz.)

| — | Analyse van projectoutput
   (62) (zoals publicaties, verhandelingen, octrooien, licenties, normen, prototypes, getrainde wetenschappers, enz.) |
| --- | --- |

—

Analyse van projectoutput
   (62) (zoals publicaties, verhandelingen, octrooien, licenties, normen, prototypes, getrainde wetenschappers, enz.)

Evaluatie

op lange termijn

(na meer dan tien jaar)

| — | Beoordeling van uitkomsten en impact |
| --- | --- |

—

Beoordeling van uitkomsten en impact

Bron: Europese Rekenkamer.

| 101. | De tekortkomingen van de VJB's wat betreft de beoordeling van de uitkomsten en impact van de KP's werden ook opgemerkt door de deskundigen van de Commissie:






  — | het VJB-panel van 2004 merkte op dat bij evaluatie lange- en kortetermijnvraagstukken moeten worden bekeken en voldoende aandacht moeten krijgen en dat middelen kunnen worden ingezet voor ambitieuzere evaluatiestudies op lange termijn die op meer systematische wijze structurele en bredere sociaaleconomische thema's kunnen onderzoeken (63); |
| --- | --- | --- |

101.

De tekortkomingen van de VJB's wat betreft de beoordeling van de uitkomsten en impact van de KP's werden ook opgemerkt door de deskundigen van de Commissie:

—

het VJB-panel van 2004 merkte op dat bij evaluatie lange- en kortetermijnvraagstukken moeten worden bekeken en voldoende aandacht moeten krijgen en dat middelen kunnen worden ingezet voor ambitieuzere evaluatiestudies op lange termijn die op meer systematische wijze structurele en bredere sociaaleconomische thema's kunnen onderzoeken (63);

| — | in een studie in opdracht van DG Onderzoek werd vastgesteld dat de bestaande EU-praktijken inzake OTO-evaluatie (waaronder voortdurend toezicht, vijfjaarlijkse beoordelingen en evaluatie halverwege de looptijd) worden gekenmerkt door meer aandacht voor toezicht dan voor impactbeoordeling, alsook dat, om de vraag en de verwachtingen te richten op de sociaaleconomische impact, een nieuw evaluatie- en toezichtskader nodig is dat ertoe verplicht de inspanningen te verleggen van toezicht op outputs naar werken op impactniveau (64). |
| --- | --- |

—

in een studie in opdracht van DG Onderzoek werd vastgesteld dat de bestaande EU-praktijken inzake OTO-evaluatie (waaronder voortdurend toezicht, vijfjaarlijkse beoordelingen en evaluatie halverwege de looptijd) worden gekenmerkt door meer aandacht voor toezicht dan voor impactbeoordeling, alsook dat, om de vraag en de verwachtingen te richten op de sociaaleconomische impact, een nieuw evaluatie- en toezichtskader nodig is dat ertoe verplicht de inspanningen te verleggen van toezicht op outputs naar werken op impactniveau (64).

| 102. | Het tijdigheidsaspect speelt ook een rol bij de specifieke evaluaties, voorgeschreven in de regelgeving. Zo werd het Marimón-rapport 2004, dat de nieuwe instrumenten van KP6 (2003-2006) onderzocht, te vroeg verwacht, met het resultaat dat er weinig of geen praktijkervaring en empirisch bewijs was waarop de conclusies konden worden gebaseerd (65). |
| --- | --- |

102.

Het tijdigheidsaspect speelt ook een rol bij de specifieke evaluaties, voorgeschreven in de regelgeving. Zo werd het Marimón-rapport 2004, dat de nieuwe instrumenten van KP6 (2003-2006) onderzocht, te vroeg verwacht, met het resultaat dat er weinig of geen praktijkervaring en empirisch bewijs was waarop de conclusies konden worden gebaseerd (65).

Mededeling en verspreiding

| 103. | De Commissie kan zelfstandig de operationele werkprogramma's ontwikkelen en aanpassen in korte termijncycli, mits dit door het bevoegde programmacomité wordt goedgekeurd. Dit kan de gelegenheid bieden om het programmabeheer bij te stellen en de aan subprogramma's toegewezen middelen te herschikken. Er was geen bewijs dat de Commissie deze mogelijkheid benut (zie paragraaf 107). |
| --- | --- |

103.

De Commissie kan zelfstandig de operationele werkprogramma's ontwikkelen en aanpassen in korte termijncycli, mits dit door het bevoegde programmacomité wordt goedgekeurd. Dit kan de gelegenheid bieden om het programmabeheer bij te stellen en de aan subprogramma's toegewezen middelen te herschikken. Er was geen bewijs dat de Commissie deze mogelijkheid benut (zie paragraaf 107).

| 104. | Gezien de wijze waarop de KP's worden opgezet en goedgekeurd is het bovendien voor de Commissie nagenoeg onmogelijk grote veranderingen aan te brengen zoals een wijziging van de programmadoelstellingen of een herverdeling van budgetten over de subprogramma's. Alleen de wetgever kan zulke ingrijpende wijzigingen doorvoeren bij een herziening van de KP-regelgeving (bijvoorbeeld in 2010 voor KP7) of bij de vaststelling van het volgende KP. Om die reden is juist in de regelgeving bepaald dat de grote evaluatierondes zo moeten worden geprogrammeerd dat de resultaten ervan zo goed mogelijk in aanmerking kunnen worden genomen bij de beleidsvorming. |
| --- | --- |

104.

Gezien de wijze waarop de KP's worden opgezet en goedgekeurd is het bovendien voor de Commissie nagenoeg onmogelijk grote veranderingen aan te brengen zoals een wijziging van de programmadoelstellingen of een herverdeling van budgetten over de subprogramma's. Alleen de wetgever kan zulke ingrijpende wijzigingen doorvoeren bij een herziening van de KP-regelgeving (bijvoorbeeld in 2010 voor KP7) of bij de vaststelling van het volgende KP. Om die reden is juist in de regelgeving bepaald dat de grote evaluatierondes zo moeten worden geprogrammeerd dat de resultaten ervan zo goed mogelijk in aanmerking kunnen worden genomen bij de beleidsvorming.

| 105. | Om die reden maken onder meer de „onderzoeks-DG's” zelf intensief gebruik van de evaluaties van de Commissie (66). De regelgeving voor de KP's bepaalt echter uitdrukkelijk dat de evaluaties ook moeten worden meegedeeld aan het Europees Parlement en de Raad. |
| --- | --- |

105.

Om die reden maken onder meer de „onderzoeks-DG's” zelf intensief gebruik van de evaluaties van de Commissie (66). De regelgeving voor de KP's bepaalt echter uitdrukkelijk dat de evaluaties ook moeten worden meegedeeld aan het Europees Parlement en de Raad.

| 106. | Toch verklaren de meeste respondenten op de enquête van de Rekenkamer bij de commissie ITRE van het Europees Parlement en het comité CREST van de Raad dat zij menen onvoldoende te worden geïnformeerd over de uitvoering en de resultaten van de KP's (zie figuur 9) (67). |
| --- | --- |

106.

Toch verklaren de meeste respondenten op de enquête van de Rekenkamer bij de commissie ITRE van het Europees Parlement en het comité CREST van de Raad dat zij menen onvoldoende te worden geïnformeerd over de uitvoering en de resultaten van de KP's (zie figuur 9) (67).

Image

Follow-up van de evaluatiebevindingen

| 107. | In haar jaarlijkse evaluatieverslagen geeft de Commissie een overzicht van de bevindingen en van de op grond van haar evaluaties getroffen maatregelen (68). Bij wijze van follow-up heeft de Commissie ook formeel geantwoord op de bevindingen en aanbevelingen van de VJB's en de wettelijk voorgeschreven specifieke evaluaties; voor zover mogelijk heeft zij ook passende maatregelen getroffen om de daarin genoemde tekortkomingen aan te pakken. Dat was echter niet het geval voor vele van de andere bestudeerde evaluatieverslagen en er werd geen bewijs gevonden dat op basis van hun bevindingen en aanbevelingen de werkprogramma's werden gewijzigd. Evenmin blijkt uit de ABB-begrotingsstaten en jaarlijkse activiteitenverslagen van de DG's in hoeverre actie werd ondernomen naar aanleiding van de evaluatiebevindingen. |
| --- | --- |

107.

In haar jaarlijkse evaluatieverslagen geeft de Commissie een overzicht van de bevindingen en van de op grond van haar evaluaties getroffen maatregelen (68). Bij wijze van follow-up heeft de Commissie ook formeel geantwoord op de bevindingen en aanbevelingen van de VJB's en de wettelijk voorgeschreven specifieke evaluaties; voor zover mogelijk heeft zij ook passende maatregelen getroffen om de daarin genoemde tekortkomingen aan te pakken. Dat was echter niet het geval voor vele van de andere bestudeerde evaluatieverslagen en er werd geen bewijs gevonden dat op basis van hun bevindingen en aanbevelingen de werkprogramma's werden gewijzigd. Evenmin blijkt uit de ABB-begrotingsstaten en jaarlijkse activiteitenverslagen van de DG's in hoeverre actie werd ondernomen naar aanleiding van de evaluatiebevindingen.

Aanbevelingen

108.

| 108. | De Commissie dient de aard en reikwijdte te bepalen van de evaluatie die redelijkerwijs mag worden verwacht op de wettelijk voorgeschreven tijdstippen (in 2008, 2010 en 2015), te verklaren hoe de evaluaties kunnen worden benut om de programma's aan te passen („lerende” programma's) en aan te geven wat de evaluaties kunnen bijdragen aan beleidsbeslissingen. Meer bepaald moet de Commissie verduidelijken welke aanpak zij wil volgen betreffende de evaluatie van de resultaten op lange termijn van de vroegere en lopende KP's, aangezien het zeven tot tien jaar kan duren voordat die resultaten worden gerealiseerd (zie figuur 8). |
| --- | --- |

De Commissie dient de aard en reikwijdte te bepalen van de evaluatie die redelijkerwijs mag worden verwacht op de wettelijk voorgeschreven tijdstippen (in 2008, 2010 en 2015), te verklaren hoe de evaluaties kunnen worden benut om de programma's aan te passen („lerende” programma's) en aan te geven wat de evaluaties kunnen bijdragen aan beleidsbeslissingen. Meer bepaald moet de Commissie verduidelijken welke aanpak zij wil volgen betreffende de evaluatie van de resultaten op lange termijn van de vroegere en lopende KP's, aangezien het zeven tot tien jaar kan duren voordat die resultaten worden gerealiseerd (zie figuur 8).

| 109. | De Commissie moet haar praktijken inzake het mededelen en verspreiden van haar evaluatiebevindingen herzien om ervoor te zorgen dat de betrokkenen de nodige informatie ontvangen. Meer bepaald moeten de „onderzoeks-DG's” formeel antwoorden op alle evaluaties en die studies tijdig bekendmaken, samen met hun antwoorden. De „onderzoeks-DG's” moeten ook in hun ABB-begrotingsstaten en hun jaarlijkse activiteitenverslagen de gegeven follow-up melden en aanbevelingen doen wanneer zij werkprogramma's bijwerken en nieuwe programma's ontwerpen. |
| --- | --- |

109.

De Commissie moet haar praktijken inzake het mededelen en verspreiden van haar evaluatiebevindingen herzien om ervoor te zorgen dat de betrokkenen de nodige informatie ontvangen. Meer bepaald moeten de „onderzoeks-DG's” formeel antwoorden op alle evaluaties en die studies tijdig bekendmaken, samen met hun antwoorden. De „onderzoeks-DG's” moeten ook in hun ABB-begrotingsstaten en hun jaarlijkse activiteitenverslagen de gegeven follow-up melden en aanbevelingen doen wanneer zij werkprogramma's bijwerken en nieuwe programma's ontwerpen.

ALGEMENE CONCLUSIE

| 110. | De Rekenkamer erkent dat het evalueren van de OTO-programma's, en dan vooral het beoordelen van de langetermijnresultaten ervan, op zichzelf al een moeilijke taak is en dat moeilijk te bepalen is welke de beste praktijken zijn. |
| --- | --- |

110.

De Rekenkamer erkent dat het evalueren van de OTO-programma's, en dan vooral het beoordelen van de langetermijnresultaten ervan, op zichzelf al een moeilijke taak is en dat moeilijk te bepalen is welke de beste praktijken zijn.

| 111. | Naar het oordeel van de Rekenkamer is evaluatie van essentieel belang voor het programmabeheer, voor de verdere planning en voor de beleidsvorming. Evaluatie biedt ook een basis voor verantwoording. Ze biedt waardevolle informatie over welke beoogde (of onvoorziene) resultaten werden bereikt, over de mate waarin de programmadoelstellingen werden gerealiseerd, over nut en relevantie van de programma's en over de efficiëntie en doeltreffendheid van de programma-uitvoering. Aangezien het Europees Parlement en de Raad beslissen over de algemene oriëntatie, de begroting en het programmaontwerp van de KP's, is een doorzichtig, geloofwaardig en degelijk evaluatiesysteem vereist om hun de juiste informatie te bezorgen. |
| --- | --- |

111.

Naar het oordeel van de Rekenkamer is evaluatie van essentieel belang voor het programmabeheer, voor de verdere planning en voor de beleidsvorming. Evaluatie biedt ook een basis voor verantwoording. Ze biedt waardevolle informatie over welke beoogde (of onvoorziene) resultaten werden bereikt, over de mate waarin de programmadoelstellingen werden gerealiseerd, over nut en relevantie van de programma's en over de efficiëntie en doeltreffendheid van de programma-uitvoering. Aangezien het Europees Parlement en de Raad beslissen over de algemene oriëntatie, de begroting en het programmaontwerp van de KP's, is een doorzichtig, geloofwaardig en degelijk evaluatiesysteem vereist om hun de juiste informatie te bezorgen.

| 112. | De Commissie zette een globaal evaluatiekader op in 2000 en 2002, dat vervolgens werd herzien in 2007. Hoewel tijdens de door de Rekenkamer gecontroleerde periode geen sterke verbetering werd opgemerkt van de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de hele Commissie. |
| --- | --- |

112.

De Commissie zette een globaal evaluatiekader op in 2000 en 2002, dat vervolgens werd herzien in 2007. Hoewel tijdens de door de Rekenkamer gecontroleerde periode geen sterke verbetering werd opgemerkt van de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de hele Commissie.

| 113. | Voor de door dit verslag bestreken periode beschikten de „onderzoeks-DG's” over een evaluatiesysteem, zoals de KP-regelgeving voorschrijft, en kan de Commissie bogen op een aanzienlijk aantal evaluatiestudies. Toch blijft het feit dat weinig tot niets bekend is over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's. Dit komt doordat de evaluaties doorgaans op de programma-uitvoering op korte termijn zijn gericht. Het gevolg daarvan was dat de evaluaties van de Commissie van beperkt nut waren voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf. |
| --- | --- |

113.

Voor de door dit verslag bestreken periode beschikten de „onderzoeks-DG's” over een evaluatiesysteem, zoals de KP-regelgeving voorschrijft, en kan de Commissie bogen op een aanzienlijk aantal evaluatiestudies. Toch blijft het feit dat weinig tot niets bekend is over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's. Dit komt doordat de evaluaties doorgaans op de programma-uitvoering op korte termijn zijn gericht. Het gevolg daarvan was dat de evaluaties van de Commissie van beperkt nut waren voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf.

| 114. | Gezien het belang van de evaluatie voor het programmabeheer en de beleidsvorming moet de wijze waarop de Commissie de evaluatie van de KP's en hun deelprogramma's aanpakt opnieuw worden bekeken in het licht van de nieuwe politieke uitdagingen, de verhoogde financiering, een verbrede oriëntatie van het communautaire onderzoeksbeleid en de recente hervorming van de Commissie. Ook de EURAB heeft dit aanbevolen in zijn rapport van 2007. |
| --- | --- |

114.

Gezien het belang van de evaluatie voor het programmabeheer en de beleidsvorming moet de wijze waarop de Commissie de evaluatie van de KP's en hun deelprogramma's aanpakt opnieuw worden bekeken in het licht van de nieuwe politieke uitdagingen, de verhoogde financiering, een verbrede oriëntatie van het communautaire onderzoeksbeleid en de recente hervorming van de Commissie. Ook de EURAB heeft dit aanbevolen in zijn rapport van 2007.

| 115. | De Rekenkamer is van mening dat het toepassen van een expliciete interventielogica bij het ontwerpen van de volgende KP's zou leiden tot beter gerichte en gestructureerde programma's. Het zou ook bijdragen aan het beleid van de Commissie strekkende tot een „betere regelgeving”, dat gericht is op een beter opgesteld, eenvoudiger, doeltreffender en beter begrepen regelgevingskader (69). |
| --- | --- |

115.

De Rekenkamer is van mening dat het toepassen van een expliciete interventielogica bij het ontwerpen van de volgende KP's zou leiden tot beter gerichte en gestructureerde programma's. Het zou ook bijdragen aan het beleid van de Commissie strekkende tot een „betere regelgeving”, dat gericht is op een beter opgesteld, eenvoudiger, doeltreffender en beter begrepen regelgevingskader (69).

| 116. | De evaluatie van de KP's en hun deelprogramma's zou doeltreffender zijn wanneer de programmadoelstellingen en indicatoren van meet af aan duidelijker waren, de „onderzoeks-DG's” die de KP's uitvoeren een degelijke maar niet al te prescriptieve dwingende evaluatiestrategie afspraken en meer geavanceerde evaluatiemethodologieën, met onder meer kwantitatieve benaderingen, werden toegepast. |
| --- | --- |

116.

De evaluatie van de KP's en hun deelprogramma's zou doeltreffender zijn wanneer de programmadoelstellingen en indicatoren van meet af aan duidelijker waren, de „onderzoeks-DG's” die de KP's uitvoeren een degelijke maar niet al te prescriptieve dwingende evaluatiestrategie afspraken en meer geavanceerde evaluatiemethodologieën, met onder meer kwantitatieve benaderingen, werden toegepast.

| 117. | De Rekenkamer stelde ook vast dat de bestaande organisatorische regelingen van de Commissie voor de evaluatie van de KP's nog op een aantal punten kunnen worden herzien. Het kan nuttig zijn:






  — | eerder in het evaluatieproces panels in te zetten, zodat de Commissie tijdens de hele programmeringsperiode en ook daarna assistentie krijgt en de specialisatie wordt versterkt door te werken met panels voor specifieke programma's en eventueel subprogramma's; |
| --- | --- | --- |

117.

De Rekenkamer stelde ook vast dat de bestaande organisatorische regelingen van de Commissie voor de evaluatie van de KP's nog op een aantal punten kunnen worden herzien. Het kan nuttig zijn:

—

eerder in het evaluatieproces panels in te zetten, zodat de Commissie tijdens de hele programmeringsperiode en ook daarna assistentie krijgt en de specialisatie wordt versterkt door te werken met panels voor specifieke programma's en eventueel subprogramma's;

| — | naast de bestaande DG-specifieke evaluatie-eenheden te voorzien in een gemeenschappelijk evaluatiebureau dat de KP-evaluaties moet coördineren. |
| --- | --- |

—

naast de bestaande DG-specifieke evaluatie-eenheden te voorzien in een gemeenschappelijk evaluatiebureau dat de KP-evaluaties moet coördineren.

| 118. | De in dit verslag opgenomen aanbevelingen berusten op bestaande praktijken binnen de Commissie, dan wel op internationale goede praktijken. Wat betreft de middelen is duidelijk dat de invoering van de voorgestelde benadering van programma-evaluatie hogere kosten met zich zou brengen. Niettemin is de Rekenkamer van oordeel dat deze hoogstwaarschijnlijk ten minste zouden worden terugverdiend. |
| --- | --- |

118.

De in dit verslag opgenomen aanbevelingen berusten op bestaande praktijken binnen de Commissie, dan wel op internationale goede praktijken. Wat betreft de middelen is duidelijk dat de invoering van de voorgestelde benadering van programma-evaluatie hogere kosten met zich zou brengen. Niettemin is de Rekenkamer van oordeel dat deze hoogstwaarschijnlijk ten minste zouden worden terugverdiend.

Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld op haar vergadering van 22 november 2007.

Voor de Rekenkamer

Hubert WEBER

President

---

(1)  Volgens de OESO kan onderzoek en ontwikkeling worden gedefinieerd als: „creatief werk dat op systematische basis verricht wordt ter vergroting van de hoeveelheid kennis, met inbegrip van de kennis van de mens, de cultuur en de samenleving, alsmede het gebruik van deze hoeveelheid kennis voor het ontwerpen van nieuwe toepassingen” (OESO, Frascati-handleiding, „Proposed standard practice for surveys on research and experimental development”, Parijs, 2002, blz. 30). In communautair verband wordt het letterwoord OTO gebruikt, dat zowel technologie als onderzoek en ontwikkeling omvat.

1

(2)  De voornaamste beheerder en coördinator van de KP's is DG Onderzoek. Vijf andere DG's beheren eveneens (delen van) specifieke programma's, met als belangrijkste DG Informatiemaatschappij en Media (de overige zijn DG Energie en vervoer, DG Ondernemingen en industrie, DG Visserij en het Gemeenschappelijk Centrum voor Onderzoek van de Commissie).

2

(3)  In 2000 lanceerde de Europese Raad van Lissabon het streven om de EU tegen 2010 uit te bouwen tot de meest op kennis gebaseerde markt met de meeste dynamiek en het grootste concurrentievermogen, met volledige werkgelegenheid en een versterkte economische en sociale samenhang.

3

(4)  In 2002 kwam de Europese Raad overeen dat de totale investeringen in OTO en innovatie binnen de Europese Unie moesten stijgen om tegen 2010 3 % van het BBP te bereiken. Tevens verklaarde de Raad dat tweederde van deze nieuwe investeringen afkomstig zou moeten zijn van het bedrijfsleven (Europese Commissie, „Investeren in onderzoek: een actieplan voor Europa”, mededeling van de Commissie aan de Raad, het Europees Parlement, het Europees Economisch en Sociaal Comité en het Comité van de Regio's, COM(2003) 226 def., blz. 7).

4

(5)  Bij direct beheer verricht de Commissie de handelingen in verband met haar werkzaamheden ter uitvoering van de begroting zonder enige betrokkenheid van de lidstaten of van de derde landen waar de begunstigden van de uitgaven verblijven.

5

(6)  Sinds 2006 hebben meer dan 22 000 publieke en private rechtspersonen deelgenomen aan KP6, meestal in consortia van meerdere partners.

6

(7)  Deze samenwerkingsmethode berust op het principe van vrijwillige intergouvernementele samenwerking. Ze bestaat hoofdzakelijk uit het leren van elkaar, „benchmarking” en het delen van beste praktijken.

7

(8)  Verordening (EG, Euratom) nr. 1605/2002 van de Raad van 25 juni 2002 (PB L 248 van 16.9.2002, blz. 1), artikelen 27, 48, 59 en 60.

8

(9)  Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Grybauskaitė, in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007; Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Schreyer, „Focus on Results: Strengthening Evaluation of Commission Activities”, SEC(2000) 1051 van 26 juli 2000.

9

(10)  Besluit nr. 1982/2006/EG van het Europees Parlement en de Raad van 18 december 2006 betreffende het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013) (PB L 412 van 30.12.2006, blz. 1), artikel 7, lid 1; de toezichtsinformatie die de Commissie de programmacomités moet verstrekken, wordt aangegeven in specifieke programmabeschikkingen, bijvoorbeeld Beschikking 2006/971/EG van de Raad van 19 december 2006 betreffende het specifieke programma Samenwerking tot uitvoering van het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013) (PB L 400 van 30.12.2006, blz. 86), artikel 8, lid 4, en bijlage V.

10

(11)  Europese Commissie, Mededeling aan de Raad betreffende een communautair actieprogramma voor de evaluatie van de onderzoek- en ontwikkelingsactiviteiten van de Gemeenschap voor de periode 1987-1991; COM(86) 660 def. van 20 november 1986, in antwoord op de resolutie van de Raad van 28 juni 1983.

11

(12)  Europese Commissie, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van burggraaf Davignon (1997); Europese Commissie, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van Joan Majó (juli 2000); Europese Commissie, „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004).

12

(13)  Europese Commissie, „Evaluation of the effectiveness of the New instruments of Framework Programme VI”, 21 juni 2004, verslag van de hoge werkgroep van deskundigen onder voorzitterschap van professor Ramón Marimón.

13

(14)  Europese Commissie, DG Begroting, mededeling aan de Commissie van mevr. Schreyer, „Focus on Results: Strengthening Evaluation of Commission Activities”, juli 2000, SEC(2000) 1051; Europese Commissie, DG Begroting, mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation Standards and Good Practice”, C(2002) 5267 van 23.12.2002.

14

(15)  Europese Commissie, DG Begroting, mededeling aan de Commissie van mevr. Grybauskaitė in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007.

15

(16)  Werkdocument van de diensten van de Europese Commissie, „FP7 Impact assessment and ex-ante evaluation”, SEC(2005) 430.

16

(17)  De Commissie industrie, onderzoek en energie (ITRE) van het Europees Parlement is (in het bijzonder) bevoegd voor het beleid inzake industrie, onderzoek (inclusief de verspreiding en toepassing van de onderzoeksresultaten) en de ruimte, alsook voor de activiteiten van het Gemeenschappelijk Centrum voor Onderzoek, het Euratom-Verdrag en de informatiemaatschappij en -technologie.

17

(18)  Het CREST (Comité voor wetenschappelijk en technisch onderzoek) werd opgericht bij een resolutie van de Raad van 14 januari 1974 en bestaat uit vertegenwoordigers van de nationale instanties die bevoegd zijn voor het wetenschappelijk en technologiebeleid van de lidstaten. Het CREST heeft een adviserende rol en informeert de Commissie en de Raad met name over onderwerpen in verband met de coördinatie van de nationale OTO-beleidslijnen en het toezicht op en de evaluatie van de KP's.

18

(19)  Logische modellen die aangeven hoe input in de diverse activiteiten leidt tot de verwachte resultaten, zijn het best geschikt om de interventielogica te illustreren. Ze vormen een duidelijke toelichting op de veronderstellingen waarop het programma is gebaseerd en op de wijze waarop de algemene doelstellingen worden uitgewerkt tot operationele doelstellingen.

19

(20)  Europese Commissie, DG Begroting, „Evaluating EU activities: a practical guide for the Commission services”, juli 2004, blz. 87 en blz. 106.

20

(21)  „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003”, verslag van het onafhankelijk panel van deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004): deel 6 „Evaluating the Framework Programme”, blz. 19.

21

(22)  De begunstigde landen van de externe steun dienen logische modellen te presenteren voor hun communautaire steun (Europese Commissie, „Aid delivery methods”, volume 1, „Project cycle management guidelines”, maart 2004, deel 5, „The logical framework approach”).

22

(23)  Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 3.

23

(24)  In 2006 werd beleidsterrein „08 onderzoek” gestructureerd op basis van de specifieke programma's (en subprogramma's) van de lopende KP6-programmeringsperiode (en dus vervangen door een andere structuur in 2007), maar voor beleidsterrein „09 informatiemaatschappij” werd het lopende specifieke programma met het voorgaande samengevoegd tot één ABB-activiteit (Europese Commissie, DG Onderzoek, Directoraat A: coördinatie van de communautaire activiteiten, planning, programmering, evaluatie, Jaarlijks managementplan 2006, 20.12.2005; Europese Commissie, DG Informatiemaatschappij en media, Jaarlijks managementplan 2006, 23.12.2005).

24

(25)  In het geval van DG Onderzoek veranderden de ABM-doelstellingen (en de indicatoren ter meting van hun realisatie) van het ene op het andere jaar. DG Informatiemaatschappij koos voor meerjarendoelstellingen, die echter niet gelijk waren aan de programmadoelstellingen (of aan de in de werkprogramma's genoemde doelstellingen).

25

(26)  Europese Commissie, Dienst interne audit, „Evaluatie van effectiviteit en efficiëntie van de SPP/ABM-cyclus”, SG & DG Begroting, 2005, punt 4.1, blz. 31.

26

(27)  Europese Commissie, Mededeling van de Commissie aan de Raad houdende een communautair actieprogramma voor de evaluatie van communautaire onderzoek- en ontwikkelingsprogramma's (COM(83) 1 def. van 19 januari 1983).

27

(28)  Mededeling van de Commissie aan de Raad en het Europees Parlement betreffende onafhankelijk extern toezicht en evaluatie van communautaire activiteiten op het gebied van onderzoek en technologische ontwikkeling, 22.5.1996 (COM(1996) 220 def.).

28

(29)  Elk DG dat KP's uitvoert, documenteert de geplande evaluaties in jaarlijkse (en meerjaren-) evaluatieplannen. Deze kunnen echter niet worden geacht een werkelijke evaluatiestrategie voor te stellen.

29

(30)  Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 4.

30

(31)  „Loi de programme pour la recherche no 2006-450” van 18.4.2006 en „Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” van 3.11.2006.

31

o

o

(32)  Agencia Nacional de Evaluación y Prospectiva, ressorterend onder het Ministerio de Educación y Ciencia, Orden ECI/1252/2005 van 4 mei 2005 tot oprichting van de „Comisión Asesora de Evaluación y Prospectiva” (adviescomité voor evaluaties en vooruitzichten).

32

(33)  In 2004 heeft de „Deutsche Forschungsgemeinschaft” (DFG) een gespecialiseerd instituut opgericht, „Institut für Forschungsinformation und Qualitätssicherung” (IFQ), en dit verantwoordelijk gemaakt voor het ontwikkelen en normeren van evaluatiemethodologieën, de kwaliteitsborging en het verrichten van beoordelingen van de door de DFG gefinancierde OTO-werkzaamheden.

33

(34)  Voor KP7 heeft de Commissie 15 AGD's gevormd, tegen 12 voor KP6 en 17 voor KP5. Zij adviseren de Commissie over beleids- en programmapunten in verband met de KP's. Niettemin zij opgemerkt dat deze AGD's niet volledig aansluiten bij de programmastructuur van de KP's: er is geen AGD voor elk specifiek programma (of subprogramma).

34

(35)  In Canada hebben bijna alle federale overheidsdiensten permanente evaluatiecomités gevormd, waarin ervaren ambtenaren en meestal ook externe betrokkenen toezicht houden op het evaluatiesysteem („Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

35

(36)  Europese Commissie, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, augustus 2005, blz. 5.

36

(37)  Europese Commissie, „Planning and Optimising Commission human resources to serve EU priorities”, SEC(2007) 530 van 24 april 2007.

37

(38)  Europese Commissie, Mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation Standards and good practice”, C(2002) 5267 van 23.12.2002; werkdocument van de diensten van de Europese Commissie, „FP7 Impact assessment and ex-ante evaluation”, SEC(2005) 430 van 6 april 2005, Bijlage 1, noot 209.

38

(39)  In 2007 heeft de Europese Adviesraad voor Onderzoek (EURAB) eveneens aanbevolen meer middelen in te zetten voor de evaluatie van de KP's (EURAB, „Recommendations on Ex-post Impact Assessment”, juli 2007).

39

(40)  Speciaal verslag nr. 1/2004 over het beheer van de OTO-werkzaamheden onder contract binnen het vijfde kaderprogramma (KP5) op het gebied van onderzoek en technologische ontwikkeling (1998-2002) (PB C 99 van 23.4.2004), paragrafen 116 en 122.

40

(41)  Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Grybauskaitė in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007; Europese Commissie, Mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation standards and good practice”, C(2002) 5267 van 23.12.2002.

41

(42)  14 DG's hebben dergelijke evaluatiehandleidingen voor de beleidsterreinen en -programma's onder hun bevoegdheid (Europese Commissie, DG Begroting — Evaluatiedienst, „Overview of Evaluation Guides in the Commission”, oktober 2004).

42

(43)  Fahrenkrog G. et al., „RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, IPTS-JRC, 2002; Prest et al., „Assessing the Socio-economic Impacts of the Framework Programme”, Universiteit van Manchester, 2002.

43

(44)  Hoewel die informatie over de deelnemers meestal wel beschikbaar is bij de Commissie, is deze vaak niet eenvoudig te gebruiken voor gedetailleerde analyses omdat de gegevens per deelnemer niet op één plaats en ook niet altijd in een compatibele opmaak worden bewaard. Zo wordt het moeilijk de betrokkenheid van een deelnemer door de tijd heen te volgen, bijvoorbeeld om redenen voor niet-deelneming te onderzoeken, of de relaties tussen deelnemers te volgen, bijvoorbeeld om netwerkeffecten te bestuderen (zie paragraaf 84).

44

(45)  Jaarverslag over het begrotingsjaar 2006, tabel 2.3; Jaarverslag over het begrotingsjaar 2005, paragraaf 7.13; Jaarverslag over het begrotingsjaar 2004, paragrafen 6.8 en 6.10; Jaarverslag over het begrotingsjaar 2003, paragrafen 6.9 en 6.70; Speciaal verslag nr. 1/2004, paragrafen 105-108; Advies nr. 1/2006 over het voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van de regels voor de deelname van ondernemingen, onderzoekscentra en universiteiten aan acties op grond van het zevende kaderprogramma, en voor de verspreiding van onderzoeksresultaten (2007-2013) (PB C 203 van 25.8.2006), paragraaf 57.

45

(46)  Verdrag tot oprichting van de Europese Gemeenschap, artikel 173: „Aan het begin van elk jaar legt de Commissie aan het Europees Parlement en de Raad een verslag voor. Dit verslag heeft met name betrekking op de activiteiten inzake onderzoek en technologische ontwikkeling en verspreiding van de resultaten in het voorafgaande jaar alsmede op het werkprogramma van het lopende jaar.”

46

(47)  Er is niet systematisch getracht bij de deelnemers gegevens te verzamelen na de voltooiing van het project, behalve met specifieke onderzoeken in het kader van de evaluaties. Het nut van die onderzoeken is beperkt doordat deelnemers niet wettelijk verplicht zijn zulke analytische gegevens te verstrekken, hetgeen wel het geval is bij een aantal nationale OTO-programma's, bijvoorbeeld in Duitsland.

47

(48)  Speciaal verslag nr. 1/2004, paragraaf 94; Advies nr. 1/2006, paragraaf 56.

48

(49)  Jaarverslag over het begrotingsjaar 2006, paragraaf 7.33; Jaarverslag over het begrotingsjaar 2005, paragrafen 7.8 en 7.29; Advies nr. 1/2006, paragrafen 58-61.

49

(50)  Cordis is de enige databank met informatie over voorstellen, projecten en resultaten die het gehele KP en verscheidene programmeringsperioden bestrijkt en die van buiten de Commissie toegankelijk is. De gegevens over afzonderlijke projecten in Cordis worden echter vaak niet meer bijgewerkt na de selectie van het voorstel. Tot en met KP6 waren de uit de publieke en particuliere sector afkomstige deelnemers aan de KP's niet verplicht hun resultaten te publiceren (European Research Advisory Board (EURAB), „Scientific publication: policy on open access”, december 2006).

50

(51)  Hanne Foss Hansen, „Choosing evaluation models. A discussion on evaluation design”, Evaluation, vol. 11, nr. 4, 2005, blz. 447-462.

51

(52)  Tot en met KP6 waren de deelnemers aan de KP's uit de publieke en particuliere sector niet verplicht hun wetenschappelijke resultaten te publiceren. Vrije toegang van het publiek tot het door de Gemeenschap gefinancierde onderzoek door verplichte publicatie werd in december 2006 aanbevolen door de EURAB. Tevens werd voorgesteld dat de Commissie op het internet een bewaarplaats voor gepubliceerde projectresultaten zou inrichten (EURAB, „Scientific publication: policy on open access”, december 2006).

52

(53)  Opgemerkt wordt dat dergelijke modellen werden gebruikt om de micro- en macro-economische effecten van het geplande KP7 te voorspellen (Europese Commissie, „Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, augustus 2005, blz. 23-25). Er is echter geen bewijs dat deze beoordeling van de mogelijke economische impact van de KP's gekoppeld is aan enig plan voor evaluatie achteraf.

53

(54)  DG Informatiemaatschappij en Media: „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

54

(55)  DG Informatiemaatschappij en Media: „ERAnets — Evaluation of Networks of Collaboration between Participants in IST Research and their Evolution to Collaborations in the European Research Area”, eindverslag, 2005; „Evaluation of progress towards a European Research Area for information society technologies”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

55

(56)  DG Informatiemaatschappij en Media: Framework contract for Impact assessments for research in the field of Information Society Technologies.

56

(57)  EURAB, „Recommendations on Ex-post Impact Assessment”, juli 2007.

57

(58)  Europese Commissie, „Five-year assessment of the European Union Research Framework Programmes 1999-2003”, verslag van het panel van onafhankelijke deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004), bijlage 1.

58

(59)  Europese Commissie, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

59

(60)  Europese Commissie, „Design of a harmonized impact study methodology for the R&D EU Framework Programmes” (1992).

60

(61)  Werkdocument SEC(2007) 412/2 van de diensten van de Europese Commissie, „The European Research Area: new perspectives” van 4 april 2007, paragraaf 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation”, blz. 93.

61

(62)  Opgemerkt zij dat subsidieovereenkomsten voor projecten gedurende de hele programmeringsperiode worden ondertekend; de eerste worden doorgaans van kracht aan het einde van het eerste programmajaar. Ze hebben meestal een looptijd van drie tot vijf jaar, met het gevolg dat de definitieve output ten vroegste kan worden verwacht na vier à zes jaar.

62

Bron: Europese Rekenkamer.

Bron:

(63)  Europese Commissie, „Five-year assessment of the European Union Research Framework Programmes 1999-2003”, rapport van het panel van onafhankelijke deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004): deel 6 „Evaluating the Framework Programme”, blz. 19.

63

(64)  Europese Commissie, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, de zogenaamde „EPUB Toolbox” uitgegeven door het Gemeenschappelijk Centrum voor Onderzoek (GCO) — Instituut voor Prospectieve Technologische Studies (IPTS) en Joanneum Research (augustus 2002), samenvatting, blz. 9 en 12.

64

(65)  Europese Commissie, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21 juni 2004, rapport van een groep deskundigen op hoog niveau onder voorzitterschap van professor Ramón Marimón, blz. 20.

65

(66)  European Policy Evaluation Consortium (EPEC), Technopolis France, „Study on the use of evaluation results in the Commission: Final report”, dossier nr. 1, Synthesis report and Annexes, mei 2005.

66

(67)  Dat de respondenten van CREST, die vaak ook lid zijn van de programmacomités, een grotere tevredenheid betuigen, kan te maken hebben met hun formele rol bij het toezicht op de programma-uitvoering.

67

(68)  Werkdocument van de diensten van de Europese Commissie, „Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities”, SEC(2005) 587 van 28 april 2005.

68

(69)  Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Grybauskaitė in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007, blz. 4.

69

---

BIJLAGE I

METEN VAN DE IMPACT EN RESULTATEN VAN DE OVERHEIDSINTERVENTIE IN OTO

Hierna volgen enkele van de voornaamste methodologische problemen bij het meten van de impact en resultaten van de overheidsinterventie in OTO:

| — | „toewijzingsproblemen”: deze zijn merkbaar bij de evaluaties en de prestatiemeting. Ze houden nauw verband met de additionaliteit, dat wil zeggen de vraag of veranderingen anders niet hadden plaatsgevonden. Het feit dat resultaten moeilijk met een specifieke overheidsinterventie in verband kunnen worden gebracht, hangt ook samen met een groot aantal externe factoren (zoals de impact van andere beleidslijnen of programma's, wijzigingen in de regelgeving, maatschappelijke ontwikkelingen, enz.). Bovendien kan het niet bereiken van de verwachte resultaten in de onderzoekssector ook een succes zijn. Een extra complicatie is het feit dat het blijkbaar moeilijk is de outputs van onderzoek — en dus zeker de uitkomsten en impact — duidelijk in verband te brengen met specifieke aspecten van het OTO-proces en zelfs met de afzonderlijke betrokkenen bij een onderzoeksactiviteit. |
| --- | --- |

—

„toewijzingsproblemen”: deze zijn merkbaar bij de evaluaties en de prestatiemeting. Ze houden nauw verband met de additionaliteit, dat wil zeggen de vraag of veranderingen anders niet hadden plaatsgevonden. Het feit dat resultaten moeilijk met een specifieke overheidsinterventie in verband kunnen worden gebracht, hangt ook samen met een groot aantal externe factoren (zoals de impact van andere beleidslijnen of programma's, wijzigingen in de regelgeving, maatschappelijke ontwikkelingen, enz.). Bovendien kan het niet bereiken van de verwachte resultaten in de onderzoekssector ook een succes zijn. Een extra complicatie is het feit dat het blijkbaar moeilijk is de outputs van onderzoek — en dus zeker de uitkomsten en impact — duidelijk in verband te brengen met specifieke aspecten van het OTO-proces en zelfs met de afzonderlijke betrokkenen bij een onderzoeksactiviteit.

| — | „metingsproblemen”:







  — | „beschikbaarheid van gegevens”: in het algemeen betreffen de meeste beschikbare gegevens, in het bijzonder de door middel van toezichtsystemen verzamelde gegevens, de input en output van de OTO-werkzaamheden, maar niet de uitkomsten of de impact; |
| --- | --- | --- |

—

„metingsproblemen”:

—

„beschikbaarheid van gegevens”: in het algemeen betreffen de meeste beschikbare gegevens, in het bijzonder de door middel van toezichtsystemen verzamelde gegevens, de input en output van de OTO-werkzaamheden, maar niet de uitkomsten of de impact;

| — | „inzicht in dynamiek”: daar het blijkbaar moeilijk is het causale verband tussen de input en de output in een model weer te geven, is de interne werking van het onderzoeksproces onduidelijk, en omdat een expliciete interventielogica ontbreekt, wordt het proces zelf gewoonlijk als een „zwarte doos” gezien; |
| --- | --- |

—

„inzicht in dynamiek”: daar het blijkbaar moeilijk is het causale verband tussen de input en de output in een model weer te geven, is de interne werking van het onderzoeksproces onduidelijk, en omdat een expliciete interventielogica ontbreekt, wordt het proces zelf gewoonlijk als een „zwarte doos” gezien;

| — | „vergelijkbaarheid van resultaten”: de resultaten op verschillende wetenschapsgebieden zijn slechts in beperkte mate vergelijkbaar, zodat ze doorgaans moeten worden geïnterpreteerd in het licht van specifieke programma's en subprogramma's. Bovendien zijn de resultaten moeilijker te evalueren voor basisonderzoek (fundamenteel onderzoek) dan voor toegepast onderzoek of technologische ontwikkeling. De hoofdreden hiervoor is het feit dat basisonderzoek gewoonlijk verloopt volgens unieke, niet herhaalbare procedures. Zelfs bij toegepast onderzoek zijn de resultaten sterk uiteenlopend en dus niet gemakkelijk te vergelijken; |
| --- | --- |

—

„vergelijkbaarheid van resultaten”: de resultaten op verschillende wetenschapsgebieden zijn slechts in beperkte mate vergelijkbaar, zodat ze doorgaans moeten worden geïnterpreteerd in het licht van specifieke programma's en subprogramma's. Bovendien zijn de resultaten moeilijker te evalueren voor basisonderzoek (fundamenteel onderzoek) dan voor toegepast onderzoek of technologische ontwikkeling. De hoofdreden hiervoor is het feit dat basisonderzoek gewoonlijk verloopt volgens unieke, niet herhaalbare procedures. Zelfs bij toegepast onderzoek zijn de resultaten sterk uiteenlopend en dus niet gemakkelijk te vergelijken;

| — | „aggregatie”: het is moeilijk uit de evaluatieresultaten met betrekking tot de output, uitkomsten en impact op een lager niveau conclusies te trekken voor het hogere niveau (bijvoorbeeld de aggregatie van projectresultaten, eerst voor projectgroepen, dan voor sectoren binnen een programma en tenslotte voor het programma zelf); |
| --- | --- |

—

„aggregatie”: het is moeilijk uit de evaluatieresultaten met betrekking tot de output, uitkomsten en impact op een lager niveau conclusies te trekken voor het hogere niveau (bijvoorbeeld de aggregatie van projectresultaten, eerst voor projectgroepen, dan voor sectoren binnen een programma en tenslotte voor het programma zelf);

| — | „geschiktheid van de indicatoren”: een andere vraag is of de beoordelaars het juiste aspect meten. De meeteenheden moeten eenvoudig meetbaar en moeilijk manipuleerbaar zijn en het gewenste gedrag sturen. Een „meetbare” indicator voor de output betekent echter niet noodzakelijkerwijs dat conclusies kunnen worden getrokken over uitkomsten of impact. |
| --- | --- |

—

„geschiktheid van de indicatoren”: een andere vraag is of de beoordelaars het juiste aspect meten. De meeteenheden moeten eenvoudig meetbaar en moeilijk manipuleerbaar zijn en het gewenste gedrag sturen. Een „meetbare” indicator voor de output betekent echter niet noodzakelijkerwijs dat conclusies kunnen worden getrokken over uitkomsten of impact.

| — | „Problemen in verband met de timing”: een andere hinderpaal is het grote tijdsverloop tussen de onderzoeksactiviteit en het genereren van outputs en uitkomsten, het moment waarop de impact kan worden beoordeeld. Gegevens moeten over langere tijd worden verzameld, zodat zinvolle en steekhoudende conclusies kunnen worden getrokken. Dergelijke tijdschema's voor de evaluatie beantwoorden vaak niet aan de verwachtingen en behoeften van de beleidsmakers en er moet een compromis worden gevonden tussen snelle resultaten ten behoeve van de beleidsvorming en het nemen van voldoende tijd om effecten te laten uitkomen. |
| --- | --- |

—

„Problemen in verband met de timing”: een andere hinderpaal is het grote tijdsverloop tussen de onderzoeksactiviteit en het genereren van outputs en uitkomsten, het moment waarop de impact kan worden beoordeeld. Gegevens moeten over langere tijd worden verzameld, zodat zinvolle en steekhoudende conclusies kunnen worden getrokken. Dergelijke tijdschema's voor de evaluatie beantwoorden vaak niet aan de verwachtingen en behoeften van de beleidsmakers en er moet een compromis worden gevonden tussen snelle resultaten ten behoeve van de beleidsvorming en het nemen van voldoende tijd om effecten te laten uitkomen.

| — | „Projectonvolkomenheden”: bij de evaluatie van de uitkomsten en impact van afzonderlijke projecten binnen een programma moet rekening worden gehouden met het feit dat de technologische en wetenschappelijke resultaten gewoonlijk zijn bereikt met gebruikmaking van eerder werk; evenzo kunnen de projectresultaten door de deelnemer worden benut voor ander werk voordat de wetenschappelijke resultaten worden gepubliceerd en geëxploiteerd. Daarom vormt een project niet noodzakelijk het meest geschikte beoordelingskader, vooral voor uitkomsten en impact op langere termijn. |
| --- | --- |

—

„Projectonvolkomenheden”: bij de evaluatie van de uitkomsten en impact van afzonderlijke projecten binnen een programma moet rekening worden gehouden met het feit dat de technologische en wetenschappelijke resultaten gewoonlijk zijn bereikt met gebruikmaking van eerder werk; evenzo kunnen de projectresultaten door de deelnemer worden benut voor ander werk voordat de wetenschappelijke resultaten worden gepubliceerd en geëxploiteerd. Daarom vormt een project niet noodzakelijk het meest geschikte beoordelingskader, vooral voor uitkomsten en impact op langere termijn.

| — | „Geloofwaardigheid, integriteit en onafhankelijkheid”: de kwaliteit van een evaluatie hangt sterk af van de mate van betrokkenheid van de beoordelaars bij het thema, waarbij een evenwicht moet worden gezocht tussen inzicht en deskundigheid enerzijds, en onafhankelijkheid en objectiviteit anderzijds. Een andere factor vormen de uitgangspunten en belangen van de beleidsmakers en de grondgedachte en het oogmerk van de evaluatie. |
| --- | --- |

—

„Geloofwaardigheid, integriteit en onafhankelijkheid”: de kwaliteit van een evaluatie hangt sterk af van de mate van betrokkenheid van de beoordelaars bij het thema, waarbij een evenwicht moet worden gezocht tussen inzicht en deskundigheid enerzijds, en onafhankelijkheid en objectiviteit anderzijds. Een andere factor vormen de uitgangspunten en belangen van de beleidsmakers en de grondgedachte en het oogmerk van de evaluatie.

---

BIJLAGE II

BEPALINGEN INZAKE TOEZICHT EN EVALUATIE IN DE REGELGEVENDE BESLUITEN VOOR KP4-KP7

| KP4 (1995-1998)
   (1) | KP5 (1999-2002)
   (2) | KP6 (2003-2006)
   (3) | KP7 (2007-2013)
   (4) |
| --- | --- | --- | --- |
| Kaderprogrammabesluit — Raad en EP |
| Besluit nr. 1110/1994/EG van het Europees Parlement en de Raad van 26 april 1994 betreffende het vierde kaderprogramma van de Europese Gemeenschap van communautaire werkzaamheden op het gebied van onderzoek, technische ontwikkeling en demonstratie (1994-1998): artikel 4 | Besluit nr. 182/1999/EG van het Europees Parlement en de Raad van 22 december 1998 betreffende het vijfde kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (1998-2002): artikelen 5 en 6 | Besluit nr. 1513/2002/EG van het Europees Parlement en de Raad van 27 juni 2002 betreffende het zesde kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie, ter bevordering van de totstandbrenging van de Europese onderzoeksruimte en van innovatie (2002-2006): 20e overweging, artikelen 4 en 6, bijlage III | Besluit nr. 1982/2006/EG van het Europees Parlement en de Raad van 18 december 2006 betreffende het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013): artikel 7 |
| Toezicht |
| — | op passende wijze bijgestaan door onafhankelijke externe deskundigen permanent en systematisch de stand van zaken in verband met de oorspronkelijke doelstellingen volgen (artikel 4, lid 1) |

KP4 (1995-1998)
   (1)

KP5 (1999-2002)
   (2)

KP6 (2003-2006)
   (3)

KP7 (2007-2013)
   (4)

Kaderprogrammabesluit — Raad en EP

Besluit nr. 1110/1994/EG van het Europees Parlement en de Raad van 26 april 1994 betreffende het vierde kaderprogramma van de Europese Gemeenschap van communautaire werkzaamheden op het gebied van onderzoek, technische ontwikkeling en demonstratie (1994-1998): artikel 4

Besluit nr. 182/1999/EG van het Europees Parlement en de Raad van 22 december 1998 betreffende het vijfde kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (1998-2002): artikelen 5 en 6

Besluit nr. 1513/2002/EG van het Europees Parlement en de Raad van 27 juni 2002 betreffende het zesde kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie, ter bevordering van de totstandbrenging van de Europese onderzoeksruimte en van innovatie (2002-2006): 20e overweging, artikelen 4 en 6, bijlage III

Besluit nr. 1982/2006/EG van het Europees Parlement en de Raad van 18 december 2006 betreffende het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013): artikel 7

Toezicht

—

op passende wijze bijgestaan door onafhankelijke externe deskundigen permanent en systematisch de stand van zaken in verband met de oorspronkelijke doelstellingen volgen (artikel 4, lid 1)

| — | ieder jaar, bijgestaan door onafhankelijke gekwalificeerde deskundigen, doorlopend en systematisch de uitvoering van het KP en zijn specifieke programma's toetsen aan de hand van de in bijlage I vermelde criteria en de in bijlage II vermelde wetenschappelijke en technologische doelstellingen (artikel 5, lid 1) |
| --- | --- |

—

ieder jaar, bijgestaan door onafhankelijke gekwalificeerde deskundigen, doorlopend en systematisch de uitvoering van het KP en zijn specifieke programma's toetsen aan de hand van de in bijlage I vermelde criteria en de in bijlage II vermelde wetenschappelijke en technologische doelstellingen (artikel 5, lid 1)

| — | [ieder jaar] bijgestaan door onafhankelijke gekwalificeerde deskundigen voortdurend en systematisch toezicht houden op de uitvoering van het KP en de specifieke programma's (artikel 4 en artikel 6, lid 1) |
| --- | --- |

—

[ieder jaar] bijgestaan door onafhankelijke gekwalificeerde deskundigen voortdurend en systematisch toezicht houden op de uitvoering van het KP en de specifieke programma's (artikel 4 en artikel 6, lid 1)

| — | voortdurend en systematisch toezicht houden op de uitvoering van het KP en de specifieke programma's ervan (artikel 7, lid 1) |
| --- | --- |

—

voortdurend en systematisch toezicht houden op de uitvoering van het KP en de specifieke programma's ervan (artikel 7, lid 1)

| — | beoordelen of de doelstellingen, prioriteiten en financiële middelen nog steeds beantwoorden aan de situatie zoals die zich heeft ontwikkeld en zo niet voorstellen indienen hoe het KP en/of de specifieke programma's aan te passen of aan te vullen (artikel 5, lid 1) |
| --- | --- |

—

beoordelen of de doelstellingen, prioriteiten en financiële middelen nog steeds beantwoorden aan de situatie zoals die zich heeft ontwikkeld en zo niet voorstellen indienen hoe het KP en/of de specifieke programma's aan te passen of aan te vullen (artikel 5, lid 1)

| — | alle onderzoeksactiviteiten regelmatig toetsen en met name het niveau van de onderzoeksexpertise verifiëren (bijlage III, 1. Instrumenten) |
| --- | --- |

—

alle onderzoeksactiviteiten regelmatig toetsen en met name het niveau van de onderzoeksexpertise verifiëren (bijlage III, 1. Instrumenten)

| — | regelmatig verslag uitbrengen en de resultaten van dit toezicht verspreiden (artikel 7, lid 1) |
| --- | --- |

—

regelmatig verslag uitbrengen en de resultaten van dit toezicht verspreiden (artikel 7, lid 1)

Artikel 173 — Jaarverslag

| — | uitvoerig verslag uitbrengen over de vorderingen bij de uitvoering van het KP en met name de vorderingen met het bereiken van de doelstellingen en het nastreven van de prioriteiten daarvan als aangegeven onder elke titel van bijlage I, alsmede het verstrekken van informatie over de financiële aspecten en het gebruik van de instrumenten, in het kader van het door de Commissie uit hoofde van artikel 173 van het Verdrag voor te leggen jaarlijkse verslag (artikel 4) |
| --- | --- |

—

uitvoerig verslag uitbrengen over de vorderingen bij de uitvoering van het KP en met name de vorderingen met het bereiken van de doelstellingen en het nastreven van de prioriteiten daarvan als aangegeven onder elke titel van bijlage I, alsmede het verstrekken van informatie over de financiële aspecten en het gebruik van de instrumenten, in het kader van het door de Commissie uit hoofde van artikel 173 van het Verdrag voor te leggen jaarlijkse verslag (artikel 4)

Tussentijdse beoordeling

| — | de vooruitgang met het programma bezien halverwege de looptijd van het KP (artikel 6) |
| --- | --- |

—

de vooruitgang met het programma bezien halverwege de looptijd van het KP (artikel 6)

| — | op grond van de evaluaties van de verschillende specifieke programma's aan het EP en de Raad een mededeling overleggen die, zo nodig, vergezeld gaat van een voorstel tot aanpassing van dit besluit (artikel 6) |
| --- | --- |

—

op grond van de evaluaties van de verschillende specifieke programma's aan het EP en de Raad een mededeling overleggen die, zo nodig, vergezeld gaat van een voorstel tot aanpassing van dit besluit (artikel 6)

| — | in 2010, bijgestaan door externe deskundigen, een op feitenmateriaal gebaseerde tussentijdse evaluatie hebben verricht van dit KP en van de specifieke programma's ervan, voortbouwend op de evaluatie achteraf van het vorige KP en met name ingaand op de kwaliteit van de lopende onderzoeksactiviteiten, de kwaliteit van de uitvoering en het beheer en de vorderingen bij de verwezenlijking van de doelstellingen (artikel 7, lid 2) |
| --- | --- |

—

in 2010, bijgestaan door externe deskundigen, een op feitenmateriaal gebaseerde tussentijdse evaluatie hebben verricht van dit KP en van de specifieke programma's ervan, voortbouwend op de evaluatie achteraf van het vorige KP en met name ingaand op de kwaliteit van de lopende onderzoeksactiviteiten, de kwaliteit van de uitvoering en het beheer en de vorderingen bij de verwezenlijking van de doelstellingen (artikel 7, lid 2)

| — | de desbetreffende conclusies samen met haar opmerkingen en, in voorkomend geval, voorstellen voor de aanpassing van het KP, toezenden aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (artikel 7, lid 2) |
| --- | --- |

—

de desbetreffende conclusies samen met haar opmerkingen en, in voorkomend geval, voorstellen voor de aanpassing van het KP, toezenden aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (artikel 7, lid 2)

| — | het Europees Parlement en de Raad regelmatig op de hoogte brengen van alle vorderingen bij de uitvoering van het KP en de specifieke programma's (artikel 5, lid 4) |
| --- | --- |

—

het Europees Parlement en de Raad regelmatig op de hoogte brengen van alle vorderingen bij de uitvoering van het KP en de specifieke programma's (artikel 5, lid 4)

| — | regelmatig een voortgangsverslag over de uitvoering van het KP indienen bij het Europees Parlement en de Raad (20e overweging) |
| --- | --- |

—

regelmatig een voortgangsverslag over de uitvoering van het KP indienen bij het Europees Parlement en de Raad (20e overweging)

| — | zodra er voldoende gegevens beschikbaar zijn een voortgangsverslag uitbrengen (voorafgaand aan de tussentijdse evaluatie) waarin de eerste bevindingen over de doeltreffendheid van de nieuwe activiteiten uit hoofde van KP7 en van de vereenvoudigingsinspanningen zullen worden meegedeeld (artikel 7, lid 2) |
| --- | --- |

—

zodra er voldoende gegevens beschikbaar zijn een voortgangsverslag uitbrengen (voorafgaand aan de tussentijdse evaluatie) waarin de eerste bevindingen over de doeltreffendheid van de nieuwe activiteiten uit hoofde van KP7 en van de vereenvoudigingsinspanningen zullen worden meegedeeld (artikel 7, lid 2)

| — | door onafhankelijke deskundigen de doeltreffendheid van ieder van de instrumenten bij de uitvoering van dit programma laten evalueren in 2004 (bijlage III, 1. Instrumenten) |
| --- | --- |

—

door onafhankelijke deskundigen de doeltreffendheid van ieder van de instrumenten bij de uitvoering van dit programma laten evalueren in 2004 (bijlage III, 1. Instrumenten)

Vijfjaarlijkse beoordeling (VJB)

| — | door onafhankelijke bevoegde deskundigen een externe evaluatie laten uitvoeren van het beheer en van de resultaten van de activiteiten van de Gemeenschap in de loop van de vijf aan deze evaluatie voorafgaande jaren (artikel 4, lid 2) |
| --- | --- |

—

door onafhankelijke bevoegde deskundigen een externe evaluatie laten uitvoeren van het beheer en van de resultaten van de activiteiten van de Gemeenschap in de loop van de vijf aan deze evaluatie voorafgaande jaren (artikel 4, lid 2)

| — | door hooggekwalificeerde onafhankelijke deskundigen een externe evaluatie laten verrichten van de uitvoering en de resultaten van de communautaire activiteiten in de loop van de vijf aan deze evaluatie voorafgaande jaren aan de hand van de in bijlage I vermelde criteria en de in bijlage II vermelde wetenschappelijke en technologische doelstellingen (artikel 5, lid 2) |
| --- | --- |

—

door hooggekwalificeerde onafhankelijke deskundigen een externe evaluatie laten verrichten van de uitvoering en de resultaten van de communautaire activiteiten in de loop van de vijf aan deze evaluatie voorafgaande jaren aan de hand van de in bijlage I vermelde criteria en de in bijlage II vermelde wetenschappelijke en technologische doelstellingen (artikel 5, lid 2)

| — | door hooggekwalificeerde onafhankelijke deskundigen een externe evaluatie laten verrichten van de uitvoering en de resultaten van de activiteiten van de Gemeenschap in de vijf jaar die aan deze evaluatie vooraf zijn gegaan (artikel 6, lid 2), (respectievelijk van de uitgevoerde activiteiten, met inachtneming van de bijdrage van KP6 aan de totstandbrenging van de Europese onderzoeksruimte (20e overweging)) |
| --- | --- |

—

door hooggekwalificeerde onafhankelijke deskundigen een externe evaluatie laten verrichten van de uitvoering en de resultaten van de activiteiten van de Gemeenschap in de vijf jaar die aan deze evaluatie vooraf zijn gegaan (artikel 6, lid 2), (respectievelijk van de uitgevoerde activiteiten, met inachtneming van de bijdrage van KP6 aan de totstandbrenging van de Europese onderzoeksruimte (20e overweging))

| — | het Europees Parlement, de Raad en het Economisch en Sociaal Comité in kennis stellen van de evaluatie en van de opmerkingen van de Commissie alvorens een voorstel voor het volgende KP in te dienen (artikel 4, lid 2) |
| --- | --- |

—

het Europees Parlement, de Raad en het Economisch en Sociaal Comité in kennis stellen van de evaluatie en van de opmerkingen van de Commissie alvorens een voorstel voor het volgende KP in te dienen (artikel 4, lid 2)

| — | het Europees Parlement, de Raad, het Economisch en Sociaal Comité en het Comité van de Regio's in kennis stellen van de evaluatie en de opmerkingen van de Commissie alvorens een voorstel voor het volgende KP in te dienen (artikel 5, lid 2) |
| --- | --- |

—

het Europees Parlement, de Raad, het Economisch en Sociaal Comité en het Comité van de Regio's in kennis stellen van de evaluatie en de opmerkingen van de Commissie alvorens een voorstel voor het volgende KP in te dienen (artikel 5, lid 2)

| — | de conclusies van die evaluatie tezamen met de opmerkingen van de Commissie meedelen aan het Europees Parlement, de Raad, het Economisch en Sociaal Comité en het Comité van de Regio's (artikel 6, lid 2), en wel tijdig en voordat een voorstel voor het volgende KP wordt ingediend (20e overweging) |
| --- | --- |

—

de conclusies van die evaluatie tezamen met de opmerkingen van de Commissie meedelen aan het Europees Parlement, de Raad, het Economisch en Sociaal Comité en het Comité van de Regio's (artikel 6, lid 2), en wel tijdig en voordat een voorstel voor het volgende KP wordt ingediend (20e overweging)

Eindevaluatie

[zie besluit specifiek programma]

| — | twee jaar na de voltooiing van KP7 (2015) een externe evaluatie van de achtergronden, de uitvoering en de resultaten ervan laten uitvoeren door onafhankelijke deskundigen (artikel 7, lid 3) |
| --- | --- |

—

twee jaar na de voltooiing van KP7 (2015) een externe evaluatie van de achtergronden, de uitvoering en de resultaten ervan laten uitvoeren door onafhankelijke deskundigen (artikel 7, lid 3)

| — | de conclusies ervan samen met haar opmerkingen toezenden aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (artikel 7, lid 3) |
| --- | --- |

—

de conclusies ervan samen met haar opmerkingen toezenden aan het Europees Parlement, de Raad, het Europees Economisch en Sociaal Comité en het Comité van de Regio's (artikel 7, lid 3)

Onafhankelijke deskundigen

| — | bij de selectie van de onafhankelijke deskundigen op evenwichtige wijze rekening houden met de verschillende groepen wetenschappers, industriëlen en gebruikers en de lijst van deskundigen met hun individuele kwalificaties bekendmaken na hun aanstelling (artikel 5, lid 3)
  [bijkomende bepalingen ten aanzien van de onafhankelijke deskundigen in Besluit 1999/65/EG van de Raad, artikel 9] |
| --- | --- |

—

bij de selectie van de onafhankelijke deskundigen op evenwichtige wijze rekening houden met de verschillende groepen wetenschappers, industriëlen en gebruikers en de lijst van deskundigen met hun individuele kwalificaties bekendmaken na hun aanstelling (artikel 5, lid 3)

[bijkomende bepalingen ten aanzien van de onafhankelijke deskundigen in Besluit 1999/65/EG van de Raad, artikel 9]

| — | De Commissie moet onafhankelijke deskundigen aanstellen om te helpen bij de evaluatie die is voorgeschreven in het zesde kaderprogramma en de specifieke programma's, en voor de bijstand bedoeld in artikel 10, lid 6, en in artikel 18, lid 1, tweede alinea. |
| --- | --- |

—

De Commissie moet onafhankelijke deskundigen aanstellen om te helpen bij de evaluatie die is voorgeschreven in het zesde kaderprogramma en de specifieke programma's, en voor de bijstand bedoeld in artikel 10, lid 6, en in artikel 18, lid 1, tweede alinea.

| — | Bovendien kan zij groepen van onafhankelijke deskundigen vormen om advies uit te brengen over de uitvoering van het communautaire beleid inzake onderzoek. |
| --- | --- |

—

Bovendien kan zij groepen van onafhankelijke deskundigen vormen om advies uit te brengen over de uitvoering van het communautaire beleid inzake onderzoek.

| — | [bepalingen ten aanzien van de onafhankelijke deskundigen in Verordening (EG) nr. 2321/2002, artikel 11] |
| --- | --- |

—

[bepalingen ten aanzien van de onafhankelijke deskundigen in Verordening (EG) nr. 2321/2002, artikel 11]

Voorbeeld van een specifiek programma — Raad

Beschikking 94/801/EG van de Raad van 23 november 1994: artikel 4

Beschikking 1999/168/EG van de Raad van 25 januari 1999: artikelen 4 en 6

Beschikkingen 2002/834/EG en 2002/835/EG van de Raad van 30 september 2002 — artikel 8

Beschikking 2006/971/EG van de Raad van 19 december 2006 betreffende het specifieke programma „Samenwerking”: artikel 8

Toezicht

| — | voortdurend en systematisch, met passende hulp van onafhankelijke externe deskundigen, de voortgang van het programma bekijken (artikel 4, lid 1) |
| --- | --- |

—

voortdurend en systematisch, met passende hulp van onafhankelijke externe deskundigen, de voortgang van het programma bekijken (artikel 4, lid 1)

| — | bijgestaan door onafhankelijke externe deskundigen de uitvoering van het specifieke programma toetsen en in voorkomend geval bij de Raad voorstellen indienen tot aanpassing ervan overeenkomstig artikel 5, lid 1, van het KP5-besluit (artikel 4, sub a) |
| --- | --- |

—

bijgestaan door onafhankelijke externe deskundigen de uitvoering van het specifieke programma toetsen en in voorkomend geval bij de Raad voorstellen indienen tot aanpassing ervan overeenkomstig artikel 5, lid 1, van het KP5-besluit (artikel 4, sub a)

| — | ervoor zorgen dat de in artikel 6 van KP6 bedoelde onafhankelijke monitoring en beoordeling plaatsvindt met betrekking tot de activiteiten die vallen onder het specifieke programma (artikel 8, lid 2) |
| --- | --- |

—

ervoor zorgen dat de in artikel 6 van KP6 bedoelde onafhankelijke monitoring en beoordeling plaatsvindt met betrekking tot de activiteiten die vallen onder het specifieke programma (artikel 8, lid 2)

| — | ervoor zorgen dat de in artikel 7 van het kaderprogramma bedoelde onafhankelijke voortgangscontrole en evaluatie plaatsvinden met betrekking tot de activiteiten die worden uitgevoerd op de onder het specifieke programma vallende gebieden (artikel 9) |
| --- | --- |

—

ervoor zorgen dat de in artikel 7 van het kaderprogramma bedoelde onafhankelijke voortgangscontrole en evaluatie plaatsvinden met betrekking tot de activiteiten die worden uitgevoerd op de onder het specifieke programma vallende gebieden (artikel 9)

| — | de toezichtsinformatie die de Commissie krachtens artikel 8, lid 4, aan het programmacomité moet verstrekken, is opgesomd in bijlage V |
| --- | --- |

—

de toezichtsinformatie die de Commissie krachtens artikel 8, lid 4, aan het programmacomité moet verstrekken, is opgesomd in bijlage V

Artikel 173 — Jaarverslag

| — | regelmatig verslag uitbrengen over de uitvoering van het specifieke programma overeenkomstig artikel 4 van het KP6-besluit, inclusief informatie over financiële aspecten en het gebruik van instrumenten (artikel 8, lid 1) |
| --- | --- |

—

regelmatig verslag uitbrengen over de uitvoering van het specifieke programma overeenkomstig artikel 4 van het KP6-besluit, inclusief informatie over financiële aspecten en het gebruik van instrumenten (artikel 8, lid 1)

| — | de belangrijkste bevindingen [inzake de faciliteit financiële risicodeling] opnemen in het jaarverslag over de OTO-werkzaamheden dat zij overeenkomstig artikel 173 van het Verdrag aan het Europees Parlement en de Raad toezendt (bijlage III) |
| --- | --- |

—

de belangrijkste bevindingen [inzake de faciliteit financiële risicodeling] opnemen in het jaarverslag over de OTO-werkzaamheden dat zij overeenkomstig artikel 173 van het Verdrag aan het Europees Parlement en de Raad toezendt (bijlage III)

Vijfjaarlijkse beoordeling (VJB)

| — | onafhankelijke gekwalificeerde deskundigen een externe evaluatie laten uitvoeren van de werkzaamheden die in de loop van de vijf aan deze evaluatie voorafgaande jaren op het onder het programma vallende gebied zijn uitgevoerd, en van het beheer ervan (artikel 4, lid 2) |
| --- | --- |

—

onafhankelijke gekwalificeerde deskundigen een externe evaluatie laten uitvoeren van de werkzaamheden die in de loop van de vijf aan deze evaluatie voorafgaande jaren op het onder het programma vallende gebied zijn uitgevoerd, en van het beheer ervan (artikel 4, lid 2)

| — | de in artikel 5, lid 2, van het KP5-besluit bedoelde externe evaluatie laten verrichten van de activiteiten op de onder het specifieke programma vallende gebieden (artikel 4, sub b) |
| --- | --- |

—

de in artikel 5, lid 2, van het KP5-besluit bedoelde externe evaluatie laten verrichten van de activiteiten op de onder het specifieke programma vallende gebieden (artikel 4, sub b)

Eindevaluatie

| — | na afloop van elk specifiek programma een onafhankelijke eindevaluatie van de verkregen resultaten uitvoeren in het licht van de doelstellingen (artikel 4, lid 3) |
| --- | --- |

—

na afloop van elk specifiek programma een onafhankelijke eindevaluatie van de verkregen resultaten uitvoeren in het licht van de doelstellingen (artikel 4, lid 3)

| — | deze evaluatie toezenden aan het Europees Parlement, de Raad en het Economisch en Sociaal Comité (artikel 4, lid 3) |
| --- | --- |

—

deze evaluatie toezenden aan het Europees Parlement, de Raad en het Economisch en Sociaal Comité (artikel 4, lid 3)

Onafhankelijke deskundigen

| — | het mandaat voor de externe evaluatie als bedoeld in artikel 5, lid 2, van het KP5-besluit opstellen (artikel 6, lid 2) |
| --- | --- |

—

het mandaat voor de externe evaluatie als bedoeld in artikel 5, lid 2, van het KP5-besluit opstellen (artikel 6, lid 2)

Basisinformatie over de KP-structuur

| — | KP4 (EG): 7 specifieke programma's met daarin 17 subprogramma's en twee activiteitenpakketten |
| --- | --- |

—

KP4 (EG): 7 specifieke programma's met daarin 17 subprogramma's en twee activiteitenpakketten

| — | KP5 (EG): 7 specifieke programma's waarvan 4 thematische en 3 horizontale programma's |
| --- | --- |

—

KP5 (EG): 7 specifieke programma's waarvan 4 thematische en 3 horizontale programma's

| — | KP6 (EG): 20 programma's waarvan er 10 vallen onder 7 thematische prioriteiten en er 4 horizontale onderzoeksactiviteiten betreffen in het specifieke programma „Bundeling en integratie van het onderzoek van de Europese Gemeenschap”. Het specifieke programma „Structureren van de Europese onderzoekruimte” telt 4 programma's en het specifieke programma „Versterking van de grondslagen van de Europese onderzoeksruimte” 2 specifieke programma's |
| --- | --- |

—

KP6 (EG): 20 programma's waarvan er 10 vallen onder 7 thematische prioriteiten en er 4 horizontale onderzoeksactiviteiten betreffen in het specifieke programma „Bundeling en integratie van het onderzoek van de Europese Gemeenschap”. Het specifieke programma „Structureren van de Europese onderzoekruimte” telt 4 programma's en het specifieke programma „Versterking van de grondslagen van de Europese onderzoeksruimte” 2 specifieke programma's

| — | KP7 (EG): 24 specifieke subprogramma's, waarvan er 10 zijn samengevoegd tot het specifieke programma „Samenwerking”, één is het specifieke programma „Ideeën”, 5 subprogramma's vallen onder het specifieke programma „Mensen” en 8 subprogramma's behoren tot het specifieke programma „Capaciteiten”; (één daarvan betreft de niet-nucleaire werkzaamheden van het GCO) |
| --- | --- |

—

KP7 (EG): 24 specifieke subprogramma's, waarvan er 10 zijn samengevoegd tot het specifieke programma „Samenwerking”, één is het specifieke programma „Ideeën”, 5 subprogramma's vallen onder het specifieke programma „Mensen” en 8 subprogramma's behoren tot het specifieke programma „Capaciteiten”; (één daarvan betreft de niet-nucleaire werkzaamheden van het GCO)

| — | Totaal budget (EG): 11 046 miljoen euro (2 761 miljoen euro p.j.) |
| --- | --- |

—

Totaal budget (EG): 11 046 miljoen euro (2 761 miljoen euro p.j.)

| — | Totaal budget (EG): 13 700 miljoen euro (3 425 miljoen euro p.j.; +24 %) |
| --- | --- |

—

Totaal budget (EG): 13 700 miljoen euro (3 425 miljoen euro p.j.; +24 %)

| — | Totaal budget (EG): 16 270 miljoen euro (4 061 miljoen euro p.j.; +19 %) na de EU-25-uitbreiding verhoogd tot |
| --- | --- |

—

Totaal budget (EG): 16 270 miljoen euro (4 061 miljoen euro p.j.; +19 %) na de EU-25-uitbreiding verhoogd tot

| — | Totaal budget (EG): 17 883 miljoen euro (4 447 miljoen euro p.j.; +10 %) |
| --- | --- |

—

Totaal budget (EG): 17 883 miljoen euro (4 447 miljoen euro p.j.; +10 %)

| — | Totaal budget (EG): 50 521 miljoen euro (7 217 miljoen euro p.j.; +62 %) |
| --- | --- |

—

Totaal budget (EG): 50 521 miljoen euro (7 217 miljoen euro p.j.; +62 %)

| — | 7 Directoraten-generaal: Onderzoek, Informatiemaatschappij, Energie, Vervoer, Visserij, Landbouw, Ondernemingen |
| --- | --- |

—

7 Directoraten-generaal: Onderzoek, Informatiemaatschappij, Energie, Vervoer, Visserij, Landbouw, Ondernemingen

| — | 5 Directoraten-generaal: OTO, Informatiemaatschappij, Energie en vervoer, Visserij, Ondernemingen |
| --- | --- |

—

5 Directoraten-generaal: OTO, Informatiemaatschappij, Energie en vervoer, Visserij, Ondernemingen

| — | 4 Directoraten-generaal: OTO, Informatiemaatschappij, Energie en vervoer, Ondernemingen |
| --- | --- |

—

4 Directoraten-generaal: OTO, Informatiemaatschappij, Energie en vervoer, Ondernemingen

| — | 5 Directoraten-generaal: OTO, Informatiemaatschappij en media, Energie en vervoer, Ondernemingen en industrie, Gemeenschappelijk Centrum voor Onderzoek (GCO), plus de „Europese Raad voor onderzoek” (ERO) en de uitvoerende agentschappen |
| --- | --- |

—

5 Directoraten-generaal: OTO, Informatiemaatschappij en media, Energie en vervoer, Ondernemingen en industrie, Gemeenschappelijk Centrum voor Onderzoek (GCO), plus de „Europese Raad voor onderzoek” (ERO) en de uitvoerende agentschappen

---

(1)  KP4: Informatie- en communicatietechnologie (geavanceerde communicatietechnologie en diensten (ACTS); Informatietechnologie (ESPRIT); Telematicatoepassingen); Industriële technologieën (Industrie- en materiaaltechnologie (BRITE/EURAM); Normen, metingen en tests (SMT)); Milieu (milieu en klimaat, mariene wetenschappen en technologieën (MAST III)); Biowetenschappen en technologie (Biotechnologie BIOTECH 2), Biomedisch onderzoek en gezondheid (BIOMED 2), Landbouw en visserij (FAIR), Ethische, juridische en sociale aspecten (ELSA)); Energie (Onderzoek en ontwikkeling (JOULE), Demonstratie (THERMIE)); Transport (Onderzoeksprogramma op het gebied van vervoer), Gericht sociaaleconomisch onderzoek (TSER), Europees netwerk voor technologiebeoordeling (ETAN); Samenwerking met derde landen en internationale organisaties (internationale samenwerking (INCO)); Verspreiding en benutting van resultaten (Innovatieprogramma); Bevordering van opleiding en mobiliteit van onderzoekers (opleiding en mobiliteit van onderzoekers (TMR), Marie Curie Fellowship Association).

(2)  KP5: 4 Thematische programma's (Kwaliteit van het bestaan en beheer van biologische hulpbronnen (Kwaliteit van het bestaan), Gebruiksvriendelijke informatiemaatschappij (IST), Concurrerende en duurzame groei (GROWTH), Energie, milieu en duurzame ontwikkeling (EESD)); 3 horizontale programma's (Bevestiging van de internationale rol van het communautair onderzoek (INCO 2), Bevordering van innovatie en aanmoediging van participatie door het MKB (Innovatie/MKB), Verbetering van het menselijke onderzoekspotentieel en de sociaaleconomische kennisbasis (Improving)).

(3)  KP6:„Bundeling en integratie van het onderzoek van de Europese Gemeenschap”

| — | 7 thematische prioriteiten met 10 programma's: Biowetenschappen, genomica en biotechnologie voor de gezondheid (incl. Geavanceerde genomica en de toepassingen ervan in de gezondheidszorg, bestrijding van ernstige ziekten), Technologie van de informatiemaatschappij, Nanotechnologie en nanowetenschappen, op kennis gebaseerde multifunctionele materialen en nieuwe productieprocessen en apparaten, Luchtvaart en ruimte, Voedselkwaliteit en -veiligheid, Duurzame ontwikkeling, wereldwijde verandering en ecosystemen (incl. duurzame energiesystemen, duurzaam oppervlaktetransport, mondiale verandering en ecosystemen), Burger en bestuur in een op kennis gebaseerde samenleving, |
| --- | --- |

—

7 thematische prioriteiten met 10 programma's: Biowetenschappen, genomica en biotechnologie voor de gezondheid (incl. Geavanceerde genomica en de toepassingen ervan in de gezondheidszorg, bestrijding van ernstige ziekten), Technologie van de informatiemaatschappij, Nanotechnologie en nanowetenschappen, op kennis gebaseerde multifunctionele materialen en nieuwe productieprocessen en apparaten, Luchtvaart en ruimte, Voedselkwaliteit en -veiligheid, Duurzame ontwikkeling, wereldwijde verandering en ecosystemen (incl. duurzame energiesystemen, duurzaam oppervlaktetransport, mondiale verandering en ecosystemen), Burger en bestuur in een op kennis gebaseerde samenleving,

| — | horizontale onderzoeksactiviteiten op een ruimer onderzoeksgebied en passend in 4 programma's: Beleidsondersteuning en anticipatie op wetenschappelijke en technologische behoeften, Horizontaal onderzoek betreffende het MKB, Specifieke maatregelen ter ondersteuning van de internationale samenwerking, Niet-nucleaire werkzaamheden van het Gemeenschappelijk Centrum voor Onderzoek; „Structurering van de Europese Onderzoeksruimte” met 4 programma's: Onderzoek en innovatie, Personele middelen, Onderzoeksinfrastructuur, Wetenschap en maatschappij; „Versterking van de grondslagen van de Europese Onderzoeksruimte” met 2 programma's: Steun voor de coördinatie van de activiteiten, Steun voor een coherente beleidsontwikkeling. |
| --- | --- |

—

horizontale onderzoeksactiviteiten op een ruimer onderzoeksgebied en passend in 4 programma's: Beleidsondersteuning en anticipatie op wetenschappelijke en technologische behoeften, Horizontaal onderzoek betreffende het MKB, Specifieke maatregelen ter ondersteuning van de internationale samenwerking, Niet-nucleaire werkzaamheden van het Gemeenschappelijk Centrum voor Onderzoek; „Structurering van de Europese Onderzoeksruimte” met 4 programma's: Onderzoek en innovatie, Personele middelen, Onderzoeksinfrastructuur, Wetenschap en maatschappij; „Versterking van de grondslagen van de Europese Onderzoeksruimte” met 2 programma's: Steun voor de coördinatie van de activiteiten, Steun voor een coherente beleidsontwikkeling.

(4)  KP7: Specifiek programma „Samenwerking” met 10 subprogramma's (Gezondheid, Voedsel, landbouw en biotechnologie, Informatie- en communicatietechnologieën; Nanowetenschap en nanotechnologie, materialen en nieuwe productietechnologieën, Energie, Milieu (inclusief klimaatverandering), Vervoer (inclusief luchtvaart), Sociaaleconomische en menswetenschappen, Veiligheid en Ruimte); Specifiek programma „Ideeën” met 1 subprogramma (Europese Raad voor onderzoek); Specifiek programma „Mensen” met 5 subprogramma's (Basisopleiding, Levenslang leren, Bedrijfsleven en academische wereld, Internationale dimensie, Specifieke acties); Specifiek programma „Capaciteiten” met 8 subprogramma's (Onderzoeksinfrastructuren, Onderzoek ten bate van het MKB, Kennisregio's, Onderzoekspotentieel, Wetenschap in de maatschappij, Coherente ontwikkeling van onderzoeksbeleid, Internationale samenwerking, „Niet-nucleaire werkzaamheden van het GCO”).

---

BIJLAGE III

VOORNAAMSTE VERSCHILLEN TUSSEN DE EU (KP4-KP6), DE VS EN CANADA BIJ DE EVALUATIE ACHTERAF VAN ONDERZOEKSPROGRAMMA'S

| | EU (KP4-KP6) | VS | Canada |
| --- | --- | --- | --- |
| Systemische aspecten |
| Interventielogica | niet expliciet | meestal voorhanden, impliciet vereist door PART (1) | vereist door RMAF (2) als onderdeel van programmavoorstel |
| Evaluatiestrategie | niet compleet | vereist door PART (1) | vereist door RMAF (2) als onderdeel van programmavoorstel |
| Beschrijving verwachte resultaten | nee | vereist door PART (1) (incl. gebruik van kwantificeerbare indicatoren) | vereist door RMAF (2) als onderdeel van programmavoorstel |
| Evaluatievragen gesteld door | Commissie als programmabeheerder | agentschap als programmabeheerder (beoordeeld i.h. kader van OMB) | agentschap als programmabeheerder
  (beoordeeld i.h. kader van TBS) |
| Organisatorische aspecten |
| Ontwerpfase | tijdens programmeringsperiode | tijdens programmeringsperiode | afgerond voordat programma start |
| Gebruikmaking van panels | „Ad hoc”-panels voor specifieke evaluatierondes | Volgens agentschap/programma | Permanente panels als vaste comités |
| Periodiciteit | vaste data (gekoppeld aan programmeringsperiode, betreft vijf voorgaande jaren) | twee/driejarencyclus
  (gekoppeld aan goedkeuring van budget) | bij verlenging van programma |

EU (KP4-KP6)

VS

Canada

Systemische aspecten

Interventielogica

niet expliciet

meestal voorhanden, impliciet vereist door PART (1)

vereist door RMAF (2) als onderdeel van programmavoorstel

Evaluatiestrategie

niet compleet

vereist door PART (1)

vereist door RMAF (2) als onderdeel van programmavoorstel

Beschrijving verwachte resultaten

nee

vereist door PART (1) (incl. gebruik van kwantificeerbare indicatoren)

vereist door RMAF (2) als onderdeel van programmavoorstel

Evaluatievragen gesteld door

Commissie als programmabeheerder

agentschap als programmabeheerder (beoordeeld i.h. kader van OMB)

agentschap als programmabeheerder

(beoordeeld i.h. kader van TBS)

Organisatorische aspecten

Ontwerpfase

tijdens programmeringsperiode

tijdens programmeringsperiode

afgerond voordat programma start

Gebruikmaking van panels

„Ad hoc”-panels voor specifieke evaluatierondes

Volgens agentschap/programma

Permanente panels als vaste comités

Periodiciteit

vaste data (gekoppeld aan programmeringsperiode, betreft vijf voorgaande jaren)

twee/driejarencyclus

(gekoppeld aan goedkeuring van budget)

bij verlenging van programma

---

(1)  Programme Assessment Rating Tool (PART) since 2002: zie Office of Management and Budget (OMB), Executive Office of the President, USA.

(2)  Results-based Management and Accountability Framework (RMAF): zie Treasury Board of Canada Secretariat (TBS).

---

BIJLAGE IV

MOGELIJKE PANELSTRUCTUUR VOOR KP7

Image

---

ANTWOORDEN VAN DE COMMISSIE

| I. | De OTO-kaderprogramma's van de Gemeenschap (KP's) zijn de laatste decennia uitgegroeid tot een breed, maar coherent system van steunmechanismen voor onderzoekers in de 27 EU-lidstaten, de geassocieerde landen en daarbuiten.
  De KP's zijn thans wereldwijd het grootste multinationale publieke financieringssysteem voor onderzoek.
  De KP's zijn momenteel goed voor circa 5 % van de totale overheidsfinanciering van onderzoek door de EU. In termen van de jaarlijkse financiële bijdrage door de Gemeenschap zal KP7 ongeveer 60 % groter zijn dan KP6.
  De beoordeling van een bijzondere regeling als deze stelt alle betrokkenen voor een bijzondere uitdaging. De regelingen voor evaluatie en follow-up zijn de laatste jaren aanzienlijk veranderd, het laatst met de start van KP7 in 2007.
  Het door de Commissie gebruikte systeem voor evaluatie en follow-up is gebaseerd op de directe verantwoordelijkheid van de uitvoerende diensten van de Commissie. Hier is de grootste technische deskundigheid beschikbaar.
  De evaluaties worden op het niveau van het kaderprogramma verricht door gecoördineerde inspanningen van alle directoraten-generaal (DG's). |
| --- | --- |

I.

De OTO-kaderprogramma's van de Gemeenschap (KP's) zijn de laatste decennia uitgegroeid tot een breed, maar coherent system van steunmechanismen voor onderzoekers in de 27 EU-lidstaten, de geassocieerde landen en daarbuiten.

De KP's zijn thans wereldwijd het grootste multinationale publieke financieringssysteem voor onderzoek.

De KP's zijn momenteel goed voor circa 5 % van de totale overheidsfinanciering van onderzoek door de EU. In termen van de jaarlijkse financiële bijdrage door de Gemeenschap zal KP7 ongeveer 60 % groter zijn dan KP6.

De beoordeling van een bijzondere regeling als deze stelt alle betrokkenen voor een bijzondere uitdaging. De regelingen voor evaluatie en follow-up zijn de laatste jaren aanzienlijk veranderd, het laatst met de start van KP7 in 2007.

Het door de Commissie gebruikte systeem voor evaluatie en follow-up is gebaseerd op de directe verantwoordelijkheid van de uitvoerende diensten van de Commissie. Hier is de grootste technische deskundigheid beschikbaar.

De evaluaties worden op het niveau van het kaderprogramma verricht door gecoördineerde inspanningen van alle directoraten-generaal (DG's).

| IV. | De Commissie is ingenomen met de vaststelling van de Rekenkamer dat de DG's die uitvoering geven aan de KP's („onderzoeks-DG's”) hebben voldaan aan de vereisten van de Commissie, met inbegrip van de in de mededelingen over evaluatie uit 2000 en 2002 vastgelegde vereisten.
  De evaluatie van KP's is aan belangrijke wijzigingen onderworpen, waaronder een forse herstructurering van KP7.
  Ook is de Commissie het volgende van mening:






  i) | de KP's zijn altijd op een sluitende interventielogica gebaseerd. In KP7 wordt dit nog duidelijker gemaakt, hetgeen het evaluatie- en follow-upsysteem van de Commissie verder zal versterken; |
| --- | --- | --- |

IV.

De Commissie is ingenomen met de vaststelling van de Rekenkamer dat de DG's die uitvoering geven aan de KP's („onderzoeks-DG's”) hebben voldaan aan de vereisten van de Commissie, met inbegrip van de in de mededelingen over evaluatie uit 2000 en 2002 vastgelegde vereisten.

De evaluatie van KP's is aan belangrijke wijzigingen onderworpen, waaronder een forse herstructurering van KP7.

Ook is de Commissie het volgende van mening:

i)

de KP's zijn altijd op een sluitende interventielogica gebaseerd. In KP7 wordt dit nog duidelijker gemaakt, hetgeen het evaluatie- en follow-upsysteem van de Commissie verder zal versterken;

| ii) | de belangrijkste strategische elementen van de aanpak van evaluatie en follow-up door de Commissie zijn gedefinieerd in de achtereenvolgende wetgevingsbesluiten die sinds de helft van de jaren negentig voor de KP's zijn vastgesteld.
  Sinds de Commissie haar laatste mededeling over de evaluatie van onderzoek in 1996 vaststelde, heeft zij haar aanpak van de evaluatie van KP's voortdurend verfijnd, en zijn er in de evaluatieprocedures belangrijke wijzigingen aangebracht.
  In de door de Rekenkamer gecontroleerde periode werden de KP's om de vier jaar onderworpen aan grote evaluatieprocedures, de zogenaamde „vijfjaarlijkse beoordelingen”; |
| --- | --- |

ii)

de belangrijkste strategische elementen van de aanpak van evaluatie en follow-up door de Commissie zijn gedefinieerd in de achtereenvolgende wetgevingsbesluiten die sinds de helft van de jaren negentig voor de KP's zijn vastgesteld.

Sinds de Commissie haar laatste mededeling over de evaluatie van onderzoek in 1996 vaststelde, heeft zij haar aanpak van de evaluatie van KP's voortdurend verfijnd, en zijn er in de evaluatieprocedures belangrijke wijzigingen aangebracht.

In de door de Rekenkamer gecontroleerde periode werden de KP's om de vier jaar onderworpen aan grote evaluatieprocedures, de zogenaamde „vijfjaarlijkse beoordelingen”;

| iii) | de KP's worden gezamenlijk uitgevoerd door de „onderzoeks-DG's”, die onafhankelijk optreden en zo nodig samenwerken. De centrale diensten van de Commissie, en met name DG Begroting, nemen actief deel aan de verschillende fasen van het evaluatieproces.
  Gelet op de gedecentraliseerde organisatie van de Commissie en de specifieke kenmerken van elk wetenschappelijk terrein, dienen evaluaties door de leidinggevende operationele diensten te worden beheerd.
  Het OTO-beoordelingsnetwerk binnen de Commissie is bijzonder nuttig gebleken voor coördinatiedoeleinden.
  De Commissie meent ook dat de panels een belangrijke rol moeten spelen bij de evaluatie en zij is verheugd over de controlebevinding dat de institutionele betrokkenen haar panels voor de „vijfjaarlijkse beoordelingen” en andere grote evaluaties als een waarborg zagen voor de onafhankelijkheid van de aanpak die de Commissie in de controleperiode volgde; |
| --- | --- |

iii)

de KP's worden gezamenlijk uitgevoerd door de „onderzoeks-DG's”, die onafhankelijk optreden en zo nodig samenwerken. De centrale diensten van de Commissie, en met name DG Begroting, nemen actief deel aan de verschillende fasen van het evaluatieproces.

Gelet op de gedecentraliseerde organisatie van de Commissie en de specifieke kenmerken van elk wetenschappelijk terrein, dienen evaluaties door de leidinggevende operationele diensten te worden beheerd.

Het OTO-beoordelingsnetwerk binnen de Commissie is bijzonder nuttig gebleken voor coördinatiedoeleinden.

De Commissie meent ook dat de panels een belangrijke rol moeten spelen bij de evaluatie en zij is verheugd over de controlebevinding dat de institutionele betrokkenen haar panels voor de „vijfjaarlijkse beoordelingen” en andere grote evaluaties als een waarborg zagen voor de onafhankelijkheid van de aanpak die de Commissie in de controleperiode volgde;

| iv) | het verschaffen van rechtstreekse methodologische richtsnoeren voor evaluaties wordt beperkt door de noodzaak onafhankelijkheid van de beoordelaars te handhaven. De Commissie erkent dat er zich problemen hebben voorgedaan in verband met gegevensverzameling en dat er minder bekend is over de resultaten en effecten van KP's op langere termijn, hetgeen geldt voor de meeste evaluaties van publieke bijstandsmaatregelen op onderzoeksgebied en daarbuiten; |
| --- | --- |

iv)

het verschaffen van rechtstreekse methodologische richtsnoeren voor evaluaties wordt beperkt door de noodzaak onafhankelijkheid van de beoordelaars te handhaven. De Commissie erkent dat er zich problemen hebben voorgedaan in verband met gegevensverzameling en dat er minder bekend is over de resultaten en effecten van KP's op langere termijn, hetgeen geldt voor de meeste evaluaties van publieke bijstandsmaatregelen op onderzoeksgebied en daarbuiten;

| v) | de termijnen voor de meeste evaluaties worden gespecificeerd in de door het Europees Parlement en de Raad vastgestelde KP-wetgeving. Over het geheel genomen acht de Commissie haar evaluatie- en follow-upsysteem van de KP's doeltreffend. Het Europees Parlement en de Raad deelden dit standpunt, blijkens de goedkeuring die zij hechtten aan de recente wetsvoorstellen van de Commissie voor KP7 in 2006. |
| --- | --- |

v)

de termijnen voor de meeste evaluaties worden gespecificeerd in de door het Europees Parlement en de Raad vastgestelde KP-wetgeving. Over het geheel genomen acht de Commissie haar evaluatie- en follow-upsysteem van de KP's doeltreffend. Het Europees Parlement en de Raad deelden dit standpunt, blijkens de goedkeuring die zij hechtten aan de recente wetsvoorstellen van de Commissie voor KP7 in 2006.

| V. | In het licht van de aanbevelingen van de Rekenkamer:






  i) | wijst de Commissie op de explicietere interventielogica die is vervat in de KP7-wetgeving (vastgesteld door het Europees Parlement en de Raad in 2006) en zal zij het gebruik van een explicietere interventielogica in haar toekomstige wetgevingsvoorstellen versterken. Bovendien is de Commissie van plan haar operationele doelstellingen voor KP7 nader toe te lichten op het niveau van werkprogramma's en haar aanpak van prestatiemeting verder te ontwikkelen. |
| --- | --- | --- |

V.

In het licht van de aanbevelingen van de Rekenkamer:

i)

wijst de Commissie op de explicietere interventielogica die is vervat in de KP7-wetgeving (vastgesteld door het Europees Parlement en de Raad in 2006) en zal zij het gebruik van een explicietere interventielogica in haar toekomstige wetgevingsvoorstellen versterken. Bovendien is de Commissie van plan haar operationele doelstellingen voor KP7 nader toe te lichten op het niveau van werkprogramma's en haar aanpak van prestatiemeting verder te ontwikkelen.

| ii) | zal de Commissie haar evaluatiestrategie voor KP7 verder ontwikkelen op basis van de voorstellen in de effectbeoordeling van KP7. Er zal worden gezorgd voor voldoende flexibiliteit, zodat elke operationele dienst zijn eigen behoeften op het gebied van evaluatie kan bepalen. |
| --- | --- |

ii)

zal de Commissie haar evaluatiestrategie voor KP7 verder ontwikkelen op basis van de voorstellen in de effectbeoordeling van KP7. Er zal worden gezorgd voor voldoende flexibiliteit, zodat elke operationele dienst zijn eigen behoeften op het gebied van evaluatie kan bepalen.

| iii) | acht de Commissie het weliswaar niet nodig om een gemeenschappelijke evaluatiedienst op te zetten, maar zal zij zich wel over andere opties buigen om de coördinatie te verbeteren.
  Panels moeten zo snel mogelijk bijeen worden geroepen ter ondersteuning van een specifieke beoordeling. Maar waarschijnlijk leveren bijzondere, voor specifieke doeleinden bijeengeroepen panels beter werk in termen van duidelijkheid en focus. |
| --- | --- |

iii)

acht de Commissie het weliswaar niet nodig om een gemeenschappelijke evaluatiedienst op te zetten, maar zal zij zich wel over andere opties buigen om de coördinatie te verbeteren.

Panels moeten zo snel mogelijk bijeen worden geroepen ter ondersteuning van een specifieke beoordeling. Maar waarschijnlijk leveren bijzondere, voor specifieke doeleinden bijeengeroepen panels beter werk in termen van duidelijkheid en focus.

| iv) | heeft de Commissie reeds actie ondernomen om voor haar evaluaties beter gebruik te maken van bestaande en nieuwe gegevensbronnen.
  De rapportageverplichtingen van KP7 werden gedeeltelijk herzien op basis van de behoeften op het gebied van evaluatie en toezicht.
  Voorts ontwikkelt de Commissie momenteel voor KP7 een nieuw IT-systeem, dat voor een steviger basis moet zorgen wat betreft projectgegevens.
  De Commissie zal de mogelijkheid overwegen een nieuw handboek voor de evaluatie van KP's samen te stellen en daarbij de onlangs uitgebrachte versies in aanmerking nemen; |
| --- | --- |

iv)

heeft de Commissie reeds actie ondernomen om voor haar evaluaties beter gebruik te maken van bestaande en nieuwe gegevensbronnen.

De rapportageverplichtingen van KP7 werden gedeeltelijk herzien op basis van de behoeften op het gebied van evaluatie en toezicht.

Voorts ontwikkelt de Commissie momenteel voor KP7 een nieuw IT-systeem, dat voor een steviger basis moet zorgen wat betreft projectgegevens.

De Commissie zal de mogelijkheid overwegen een nieuw handboek voor de evaluatie van KP's samen te stellen en daarbij de onlangs uitgebrachte versies in aanmerking nemen;

| v) | de Commissie wil de planning van evaluaties in het kader van KP7 ontwikkelen en versterken, rekening houdend met mogelijke voordelen op het gebied van consistentie en de verwerking van bevindingen. |
| --- | --- |

v)

de Commissie wil de planning van evaluaties in het kader van KP7 ontwikkelen en versterken, rekening houdend met mogelijke voordelen op het gebied van consistentie en de verwerking van bevindingen.

| 1-13. | De OTO-kaderprogramma's van de Gemeenschap (KP's) hebben zich de laatste decennia ontwikkeld tot een breed, maar coherent systeem van steunmechanismen voor onderzoekers in de 27 EU-lidstaten, de geassocieerde landen en daarbuiten.
  De KP's vormen thans wereldwijd het grootste multinationale financieringssysteem voor onderzoek (zie paragraaf 6 van de tekst van de Rekenkamer). In termen van de jaarlijkse financiële bijdrage door de Gemeenschap zal KP7 ongeveer 60 % groter zijn dan KP6 (zie figuur 1 van de tekst van de Rekenkamer).
  De beoordeling van een bijzondere regeling als deze stelt alle betrokken actoren voor een bijzondere uitdaging. De evaluatiemodaliteiten zijn de laatste jaren ingrijpend veranderd (zie figuur 2 van de tekst van de Rekenkamer), het laatst met de start van KP7 in 2007 (zie bv. de antwoorden op de paragrafen 23, 30, 41, 46, 72, 76-78 en 93). |
| --- | --- |

1-13.

De OTO-kaderprogramma's van de Gemeenschap (KP's) hebben zich de laatste decennia ontwikkeld tot een breed, maar coherent systeem van steunmechanismen voor onderzoekers in de 27 EU-lidstaten, de geassocieerde landen en daarbuiten.

De KP's vormen thans wereldwijd het grootste multinationale financieringssysteem voor onderzoek (zie paragraaf 6 van de tekst van de Rekenkamer). In termen van de jaarlijkse financiële bijdrage door de Gemeenschap zal KP7 ongeveer 60 % groter zijn dan KP6 (zie figuur 1 van de tekst van de Rekenkamer).

De beoordeling van een bijzondere regeling als deze stelt alle betrokken actoren voor een bijzondere uitdaging. De evaluatiemodaliteiten zijn de laatste jaren ingrijpend veranderd (zie figuur 2 van de tekst van de Rekenkamer), het laatst met de start van KP7 in 2007 (zie bv. de antwoorden op de paragrafen 23, 30, 41, 46, 72, 76-78 en 93).

| 14. | De DG's die de KP's voor OTO uitvoeren („onderzoeks-DG's”) hebben formeel voldaan aan de evaluatievereisten van de Commissie, met inbegrip van die uit de mededelingen over evaluatie van 2000 en 2002 (zie paragraaf 54 van de tekst van de Rekenkamer). |
| --- | --- |

14.

De DG's die de KP's voor OTO uitvoeren („onderzoeks-DG's”) hebben formeel voldaan aan de evaluatievereisten van de Commissie, met inbegrip van die uit de mededelingen over evaluatie van 2000 en 2002 (zie paragraaf 54 van de tekst van de Rekenkamer).

| 22. | De Commissie onderschrijft het belang van een sluitende interventielogica voor de opzet van het programma en is ook van mening dat de in artikel 163 van het Verdrag vervatte opdracht in dit opzicht een essentieel element is. Bovendien is de bijdrage van de door de Commissie gefinancierde OTO-activiteiten van groot belang voor andere beleidssectoren en doelstellingen van de Gemeenschap. Onlangs heeft de Commissie haar visie op de rol van OTO-investeringen door de EU gedetailleerd uiteengezet in de hernieuwde Lissabon-strategie en de strategie voor duurzame ontwikkeling (1). |
| --- | --- |

22.

De Commissie onderschrijft het belang van een sluitende interventielogica voor de opzet van het programma en is ook van mening dat de in artikel 163 van het Verdrag vervatte opdracht in dit opzicht een essentieel element is. Bovendien is de bijdrage van de door de Commissie gefinancierde OTO-activiteiten van groot belang voor andere beleidssectoren en doelstellingen van de Gemeenschap. Onlangs heeft de Commissie haar visie op de rol van OTO-investeringen door de EU gedetailleerd uiteengezet in de hernieuwde Lissabon-strategie en de strategie voor duurzame ontwikkeling (1).

| 23. | De KP's worden altijd gebaseerd op een sluitende interventielogica. Voor KP7 is dit nog explicieter gemaakt (2), hetgeen het evaluatie- en toezichtsysteem van de Commissie verder zal versterken. |
| --- | --- |

23.

De KP's worden altijd gebaseerd op een sluitende interventielogica. Voor KP7 is dit nog explicieter gemaakt (2), hetgeen het evaluatie- en toezichtsysteem van de Commissie verder zal versterken.

| 25. | Een aantal landen, waaronder bepaalde lidstaten, ontwikkelen deze aanpak, maar van een uniforme aanpak is beslist geen sprake. Lessen uit de VS en Canada zijn wellicht minder toepasselijk dan die uit EU-lidstaten. |
| --- | --- |

25.

Een aantal landen, waaronder bepaalde lidstaten, ontwikkelen deze aanpak, maar van een uniforme aanpak is beslist geen sprake. Lessen uit de VS en Canada zijn wellicht minder toepasselijk dan die uit EU-lidstaten.

| 26. | De Commissie meent dat zij in de door de Rekenkamer gecontroleerde periode over een doeltreffend evaluatie- en toezichtsysteem beschikte (zie ook het antwoord op paragraaf 23). |
| --- | --- |

26.

De Commissie meent dat zij in de door de Rekenkamer gecontroleerde periode over een doeltreffend evaluatie- en toezichtsysteem beschikte (zie ook het antwoord op paragraaf 23).

| 28. | Het is, in het bijzonder gelet op de onzekerheid van onderzoek, een opgave om te waarborgen dat alle doelstellingen precies voldoen aan de strikte definities van SMART-criteria. Alle werkprogramma's van KP7 bevatten een vermelding van de beoogde effecten, die overeenkomen met de in de specifieke programma's vastgelegde doelstellingen, basisreden en activiteiten. |
| --- | --- |

28.

Het is, in het bijzonder gelet op de onzekerheid van onderzoek, een opgave om te waarborgen dat alle doelstellingen precies voldoen aan de strikte definities van SMART-criteria. Alle werkprogramma's van KP7 bevatten een vermelding van de beoogde effecten, die overeenkomen met de in de specifieke programma's vastgelegde doelstellingen, basisreden en activiteiten.

| 29. | Er is gedurende de door de Rekenkamer gecontroleerde periode meer aandacht gegeven aan resultaten op korte termijn; er is ruimte voor meer langetermijnanalyses. |
| --- | --- |

29.

Er is gedurende de door de Rekenkamer gecontroleerde periode meer aandacht gegeven aan resultaten op korte termijn; er is ruimte voor meer langetermijnanalyses.

| 30. | Op KP-niveau ontwikkelt de Commissie momenteel een toezichtsysteem voor KP7 met het oog op een coherenter en systematischer gebruik van prestatie-indicatoren. Ook werken de verschillende diensten die KP7 uitvoeren aan meerdere afzonderlijke initiatieven voor de ontwikkeling van prestatie-indicatoren. |
| --- | --- |

30.

Op KP-niveau ontwikkelt de Commissie momenteel een toezichtsysteem voor KP7 met het oog op een coherenter en systematischer gebruik van prestatie-indicatoren. Ook werken de verschillende diensten die KP7 uitvoeren aan meerdere afzonderlijke initiatieven voor de ontwikkeling van prestatie-indicatoren.

| 34. | De Commissie streeft reeds naar meer duidelijkheid in de interventielogica voor programma's, voortbouwend op de sterke punten uit de wetgeving en effectbeoordeling van KP7, en zal bij toekomstige wetgevingsvoorstellen rekening houden met de aanbeveling van de Rekenkamer. |
| --- | --- |

34.

De Commissie streeft reeds naar meer duidelijkheid in de interventielogica voor programma's, voortbouwend op de sterke punten uit de wetgeving en effectbeoordeling van KP7, en zal bij toekomstige wetgevingsvoorstellen rekening houden met de aanbeveling van de Rekenkamer.

| 35. | De Commissie staat gunstig tegenover de aanbeveling van de Rekenkamer om de programmadoelstellingen van KP7 te verduidelijken en zal zich hiervoor binnen de grenzen van de toepasselijke basisbesluiten van het Europees Parlement en de Raad inzetten. |
| --- | --- |

35.

De Commissie staat gunstig tegenover de aanbeveling van de Rekenkamer om de programmadoelstellingen van KP7 te verduidelijken en zal zich hiervoor binnen de grenzen van de toepasselijke basisbesluiten van het Europees Parlement en de Raad inzetten.

| 36-37. | De Commissie staat gunstig tegenover de aanbevelingen van de Rekenkamer en neemt initiatieven voor de verdere ontwikkeling van prestatiemeting en de wijziging van de ABM/ABB-nomenclatuur. |
| --- | --- |

36-37.

De Commissie staat gunstig tegenover de aanbevelingen van de Rekenkamer en neemt initiatieven voor de verdere ontwikkeling van prestatiemeting en de wijziging van de ABM/ABB-nomenclatuur.

| 38-39. | De Commissie meent dat haar evaluatiestrategie voor de KP's gemeenschappelijke beginselen moet bevatten voor de wijze waarop de evaluatie van en het toezicht op KP's worden geëvalueerd en ontwikkeld. De strategie moet het doel toelichten, de belangrijkste elementen van het systeem benoemen, waaronder sleutelprocedures, en een toekomstvisie schetsen. Deze dient op het strategisch niveau gericht te blijven, met het oog op het gedecentraliseerde evaluatiesysteem voor de KP's van de Commissie. |
| --- | --- |

38-39.

De Commissie meent dat haar evaluatiestrategie voor de KP's gemeenschappelijke beginselen moet bevatten voor de wijze waarop de evaluatie van en het toezicht op KP's worden geëvalueerd en ontwikkeld. De strategie moet het doel toelichten, de belangrijkste elementen van het systeem benoemen, waaronder sleutelprocedures, en een toekomstvisie schetsen. Deze dient op het strategisch niveau gericht te blijven, met het oog op het gedecentraliseerde evaluatiesysteem voor de KP's van de Commissie.

| 41. | De belangrijkste strategische elementen van de wijze waarop de Commissie evaluatie en toezicht aanpakt zijn sinds het midden van de jaren negentig vastgelegd in de achtereenvolgende basisbesluiten voor de KP's (zie bijlage II).
  Sinds de Commissie in 1996 haar mededeling over onderzoeksevaluatie uitbracht, heeft zij haar aanpak van de evaluatie van KP's voortdurend verfijnd en zijn er belangrijke veranderingen aangebracht in de evaluatieprocedures (zie figuur 2 van de tekst van de Rekenkamer).
  Voor de huidige programmeringsperiode heeft de Commissie haar geplande evaluatiestrategie explicieter uiteengezet in de voorafgaande effectbeoordeling van KP7 (SEC(2005) 430). Deze bestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoering en een gedetailleerd tijdsschema voor op KP-niveau te verrichten evaluaties.
  Er zal meer werk nodig zijn om deze strategie in specifieke plannen om te zetten en de Commissie zal hiervoor specifieke coördinatiestructuren gebruiken. |
| --- | --- |

41.

De belangrijkste strategische elementen van de wijze waarop de Commissie evaluatie en toezicht aanpakt zijn sinds het midden van de jaren negentig vastgelegd in de achtereenvolgende basisbesluiten voor de KP's (zie bijlage II).

Sinds de Commissie in 1996 haar mededeling over onderzoeksevaluatie uitbracht, heeft zij haar aanpak van de evaluatie van KP's voortdurend verfijnd en zijn er belangrijke veranderingen aangebracht in de evaluatieprocedures (zie figuur 2 van de tekst van de Rekenkamer).

Voor de huidige programmeringsperiode heeft de Commissie haar geplande evaluatiestrategie explicieter uiteengezet in de voorafgaande effectbeoordeling van KP7 (SEC(2005) 430). Deze bestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoering en een gedetailleerd tijdsschema voor op KP-niveau te verrichten evaluaties.

Er zal meer werk nodig zijn om deze strategie in specifieke plannen om te zetten en de Commissie zal hiervoor specifieke coördinatiestructuren gebruiken.

| 43. | De Commissie gaat akkoord met de constatering van de Rekenkamer, maar wijst erop dat de situatie in de VS en Canada beduidend genuanceerder is dan kan worden weergegeven met evaluatiestrategieën alleen. |
| --- | --- |

43.

De Commissie gaat akkoord met de constatering van de Rekenkamer, maar wijst erop dat de situatie in de VS en Canada beduidend genuanceerder is dan kan worden weergegeven met evaluatiestrategieën alleen.

| 44. | Verschillen in het gebruik en de aanpak van evaluatie binnen het KP weerspiegelen het gedecentraliseerde systeem van de Commissie, waarbij evaluatie aan besluitvorming is gelinkt. |
| --- | --- |

44.

Verschillen in het gebruik en de aanpak van evaluatie binnen het KP weerspiegelen het gedecentraliseerde systeem van de Commissie, waarbij evaluatie aan besluitvorming is gelinkt.

| 46. | Gelet op de gedecentraliseerde organisatie van de Commissie, is het aan de betrokken operationele diensten om te bepalen op welk niveau evaluatie moet plaatsvinden (zie ook de antwoorden op de paragrafen 41 en 49).






  — | (tweede streepje) de vijfjaarlijkse beoordeling van 2004 (1999-2003), gecoördineerd door DG Onderzoek, omvatte een evaluatie op het niveau van het KP als geheel. Het besluit om afzonderlijke procedures op programmaniveau uit te voeren, was afhankelijk van de behoeften van de betrokken diensten en de verschillende contexten en schaal van de betreffende activiteiten. |
| --- | --- | --- |

46.

Gelet op de gedecentraliseerde organisatie van de Commissie, is het aan de betrokken operationele diensten om te bepalen op welk niveau evaluatie moet plaatsvinden (zie ook de antwoorden op de paragrafen 41 en 49).

—

(tweede streepje) de vijfjaarlijkse beoordeling van 2004 (1999-2003), gecoördineerd door DG Onderzoek, omvatte een evaluatie op het niveau van het KP als geheel. Het besluit om afzonderlijke procedures op programmaniveau uit te voeren, was afhankelijk van de behoeften van de betrokken diensten en de verschillende contexten en schaal van de betreffende activiteiten.

| 47. | De vijfjaarlijkse beoordeling van 2004 omvatte een gecoördineerde, alomvattende, tijdige evaluatie op het niveau van het KP als geheel, conform het Financieel Reglement. Zij werd uitgevoerd door gerenommeerde externe deskundigen en aan de resultaten is brede verspreiding gegeven. |
| --- | --- |

47.

De vijfjaarlijkse beoordeling van 2004 omvatte een gecoördineerde, alomvattende, tijdige evaluatie op het niveau van het KP als geheel, conform het Financieel Reglement. Zij werd uitgevoerd door gerenommeerde externe deskundigen en aan de resultaten is brede verspreiding gegeven.

| 48. | Zie de antwoorden op de paragrafen 41 en 46. |
| --- | --- |

48.

Zie de antwoorden op de paragrafen 41 en 46.

| 49. | De Commissie heeft haar geplande evaluatiestrategie voor de huidige programmeringsperiode uiteengezet in de voorafgaande effectbeoordeling van KP7 (SEC(2005) 430). Deze bestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoering en een gedetailleerd tijdsschema voor op KP-niveau te verrichten evaluaties.
  De Commissie erkent dat er meer werk nodig is om deze strategie om te zetten in specifieke plannen en zij zal hiervoor specifieke coördinatiestructuren gebruiken.
  De Commissie meent evenwel dat er niet altijd een minimumniveau voor gedetailleerde evaluatie kan worden bepaald, aangezien het management voldoende marges moeten houden om de gepaste evaluatiebehoeften te kunnen vaststellen. |
| --- | --- |

49.

De Commissie heeft haar geplande evaluatiestrategie voor de huidige programmeringsperiode uiteengezet in de voorafgaande effectbeoordeling van KP7 (SEC(2005) 430). Deze bestrijkt de opzet van het evaluatiesysteem, de wijze van uitvoering en een gedetailleerd tijdsschema voor op KP-niveau te verrichten evaluaties.

De Commissie erkent dat er meer werk nodig is om deze strategie om te zetten in specifieke plannen en zij zal hiervoor specifieke coördinatiestructuren gebruiken.

De Commissie meent evenwel dat er niet altijd een minimumniveau voor gedetailleerde evaluatie kan worden bepaald, aangezien het management voldoende marges moeten houden om de gepaste evaluatiebehoeften te kunnen vaststellen.

| 51. | KP's worden gezamenlijk uitgevoerd door de „onderzoeks-DG's”, die onafhankelijk optreden en zo nodig samenwerken. |
| --- | --- |

51.

KP's worden gezamenlijk uitgevoerd door de „onderzoeks-DG's”, die onafhankelijk optreden en zo nodig samenwerken.

| 52. | EuropeAid heeft operationele en beheersverantwoordelijkheden die het uitoefent in samenwerking met delegaties van de Commissies en uitvoeringsorganen in derde landen. Hierdoor leent dit onderdeel van de Commissie zich moeilijk als voorbeeld, aangezien het niet vergelijkbaar is met het gedecentraliseerde systeem van verantwoordelijkheden en rollen op het gebied van onderzoek. |
| --- | --- |

52.

EuropeAid heeft operationele en beheersverantwoordelijkheden die het uitoefent in samenwerking met delegaties van de Commissies en uitvoeringsorganen in derde landen. Hierdoor leent dit onderdeel van de Commissie zich moeilijk als voorbeeld, aangezien het niet vergelijkbaar is met het gedecentraliseerde systeem van verantwoordelijkheden en rollen op het gebied van onderzoek.

| 53. | Het interne OTO-evaluatienetwerk van de Commissie reikt informele middelen aan voor de ontwikkeling van een evaluatiestrategie en de coördinatie van evaluatieprocedures op KP-niveau. Dit flexibele mechanisme is bijzonder nuttig gebleken. |
| --- | --- |

53.

Het interne OTO-evaluatienetwerk van de Commissie reikt informele middelen aan voor de ontwikkeling van een evaluatiestrategie en de coördinatie van evaluatieprocedures op KP-niveau. Dit flexibele mechanisme is bijzonder nuttig gebleken.

| 55. | De meest recentelijk herziene versie van de internecontrolenormen van de Commissie, vastgesteld op 16 oktober 2007 (SEC(2007) 1341), omvat de 21 evaluatienormen; in de jaarlijkse activiteitenverslagen van de DG's zal derhalve worden vermeld of aan deze normen is voldaan.
  De centrale diensten van de Commissie, DG Begroting in het bijzonder, zijn actief betrokken bij de verschillende fasen van het evaluatieproces.
  De evaluatieactiviteiten van de diensten kunnen aan controle worden onderworpen door hun eigen controle-units en door de dienst Interne audit (DIA).
  In de toekomst zal bij de beoordeling van de minimumkwaliteitseisen gebruik worden gemaakt van de onlangs door de Commissie ontwikkelde „kader voor de kwaliteitsbeoordeling” (3). Sinds 2007 wordt de kwaliteitscontrole voor prospectieve effectbeoordeling ondersteund door de „Raad voor effectbeoordeling” van de Commissie. |
| --- | --- |

55.

De meest recentelijk herziene versie van de internecontrolenormen van de Commissie, vastgesteld op 16 oktober 2007 (SEC(2007) 1341), omvat de 21 evaluatienormen; in de jaarlijkse activiteitenverslagen van de DG's zal derhalve worden vermeld of aan deze normen is voldaan.

De centrale diensten van de Commissie, DG Begroting in het bijzonder, zijn actief betrokken bij de verschillende fasen van het evaluatieproces.

De evaluatieactiviteiten van de diensten kunnen aan controle worden onderworpen door hun eigen controle-units en door de dienst Interne audit (DIA).

In de toekomst zal bij de beoordeling van de minimumkwaliteitseisen gebruik worden gemaakt van de onlangs door de Commissie ontwikkelde „kader voor de kwaliteitsbeoordeling” (3). Sinds 2007 wordt de kwaliteitscontrole voor prospectieve effectbeoordeling ondersteund door de „Raad voor effectbeoordeling” van de Commissie.

| 56. | De vergelijking in bijlage III heeft betrekking op de door de Rekenkamer gecontroleerde periode. De belangrijke verbeteringen in het kader van KP7 zijn derhalve niet in aanmerking genomen, met name wat betreft een nieuwe evaluatiestrategie, een explicietere interventielogica en duidelijke opgave van de verwachte resultaten in de werkprogramma's.
  De Rekenkamer wijst op dat bepaalde lidstaten die de verantwoordelijkheden voor evaluatie en voor financiering scheiden. Zo zijn er ook landen (bv. het VK) waar evaluatie deel uitmaakt van het programmabeheer (zoals het geval is bij de Commissie). De controle van de Rekenkamer heeft uitgewezen dat externe betrokkenen tevreden zijn over de prestatie die de Commissie levert op het cruciale element van de onafhankelijkheid (zie paragraaf 58 en figuur 4 van de tekst van de Rekenkamer). |
| --- | --- |

56.

De vergelijking in bijlage III heeft betrekking op de door de Rekenkamer gecontroleerde periode. De belangrijke verbeteringen in het kader van KP7 zijn derhalve niet in aanmerking genomen, met name wat betreft een nieuwe evaluatiestrategie, een explicietere interventielogica en duidelijke opgave van de verwachte resultaten in de werkprogramma's.

De Rekenkamer wijst op dat bepaalde lidstaten die de verantwoordelijkheden voor evaluatie en voor financiering scheiden. Zo zijn er ook landen (bv. het VK) waar evaluatie deel uitmaakt van het programmabeheer (zoals het geval is bij de Commissie). De controle van de Rekenkamer heeft uitgewezen dat externe betrokkenen tevreden zijn over de prestatie die de Commissie levert op het cruciale element van de onafhankelijkheid (zie paragraaf 58 en figuur 4 van de tekst van de Rekenkamer).

| 59. | — | (eerste streepje) Bij panels die voor langere perioden bijeen worden geroepen is het moeilijk in voldoende mate vooraanstaande leden te betrekken. |
| --- | --- | --- |

59.

—

(eerste streepje) Bij panels die voor langere perioden bijeen worden geroepen is het moeilijk in voldoende mate vooraanstaande leden te betrekken.

| — | (tweede streepje) De opdrachten voor KP-panels worden vastgelegd bij besluit van de Commissie, na uitgebreid informeel overleg met betrokkenen, met inbegrip van het formele advies van de programmacomités van KP7, die bestaan uit vertegenwoordigers van de lidstaten en geassocieerde landen. Dit zal ook het geval zijn voor de evaluatie achteraf van KP6 in 2008. |
| --- | --- |

—

(tweede streepje) De opdrachten voor KP-panels worden vastgelegd bij besluit van de Commissie, na uitgebreid informeel overleg met betrokkenen, met inbegrip van het formele advies van de programmacomités van KP7, die bestaan uit vertegenwoordigers van de lidstaten en geassocieerde landen. Dit zal ook het geval zijn voor de evaluatie achteraf van KP6 in 2008.

| 62. | De richtlijn om 0,5 % van een programmabudget aan evaluatie te besteden betreft een door de Commissie aanbevolen gemiddelde. De feitelijk toegewezen middelen zijn bijzonder afhankelijk van de aard van een programma. |
| --- | --- |

62.

De richtlijn om 0,5 % van een programmabudget aan evaluatie te besteden betreft een door de Commissie aanbevolen gemiddelde. De feitelijk toegewezen middelen zijn bijzonder afhankelijk van de aard van een programma.

| 66. | Ofschoon de Commissie het niet nodig acht een gemeenschappelijke evaluatiedienst op te zetten, stemt zij ermee in andere opties ter verbetering van de coördinatie in overweging te nemen.
  De link tussen evaluatie en besluitvorming door het management wordt het best gelegd door de evaluatiefuncties van elk DG en door met ondersteuning van de centrale diensten een nieuwe impuls te geven aan het bestaande interne „OTO-beoordelingsnetwerk” van de Commissie. Dit komt ook overeen met de procedures voor de totstandkoming van wetgeving en begroting, zoals vereist in het Financieel Reglement, de mededeling van de Commissie uit 2007 over evaluatie, en de ABM-procedures. |
| --- | --- |

66.

Ofschoon de Commissie het niet nodig acht een gemeenschappelijke evaluatiedienst op te zetten, stemt zij ermee in andere opties ter verbetering van de coördinatie in overweging te nemen.

De link tussen evaluatie en besluitvorming door het management wordt het best gelegd door de evaluatiefuncties van elk DG en door met ondersteuning van de centrale diensten een nieuwe impuls te geven aan het bestaande interne „OTO-beoordelingsnetwerk” van de Commissie. Dit komt ook overeen met de procedures voor de totstandkoming van wetgeving en begroting, zoals vereist in het Financieel Reglement, de mededeling van de Commissie uit 2007 over evaluatie, en de ABM-procedures.

| 67. | De Commissie onderschrijft dat panels een belangrijke rol kunnen spelen bij evaluatie. Hoewel zij ook beaamt dat panels ter ondersteuning van een specifieke evaluatie zo vroeg mogelijk moeten worden bijeengeroepen, acht zij het niet aangewezen om permanente panels te vormen voor de hele programmeringsperiode.
  Een ad-hocpanel, dat voor een specifiek doel bijeengeroepen is, levert waarschijnlijk beter werk in termen van duidelijkheid en focus. |
| --- | --- |

67.

De Commissie onderschrijft dat panels een belangrijke rol kunnen spelen bij evaluatie. Hoewel zij ook beaamt dat panels ter ondersteuning van een specifieke evaluatie zo vroeg mogelijk moeten worden bijeengeroepen, acht zij het niet aangewezen om permanente panels te vormen voor de hele programmeringsperiode.

Een ad-hocpanel, dat voor een specifiek doel bijeengeroepen is, levert waarschijnlijk beter werk in termen van duidelijkheid en focus.

| 68. | De Commissie zal zorgvuldig de middelen ramen die de komende jaren zijn vereist voor de evaluatie van de KP's. |
| --- | --- |

68.

De Commissie zal zorgvuldig de middelen ramen die de komende jaren zijn vereist voor de evaluatie van de KP's.

| 70-71. | Methodologische richtsnoeren voor evaluatie, zoals de beschikbare instrumenten en een begrippenlijst, zijn opgenomen in de handleiding van DG Begroting (4), die momenteel wordt bijgewerkt door de verantwoordelijke diensten, waaronder de „onderzoeks-DG's”.
  Voorts heeft DG Ondernemingen in 2002 specifieke evaluatievoorschriften ontwikkeld voor alle activiteiten waarvoor dit DG verantwoordelijk is, met inbegrip van de KP's.
  Andere ondersteunende initiatieven zullen in aanmerking worden genomen voor het heropgestarte „Europese OTO-beoordelingsnetwerk” (dat bestaat uit deskundigen uit de lidstaten en geassocieerde landen) en het interne OTO-beoordelingsnetwerk van de Commissie. De Commissie blijft ook onafhankelijke onderzoeken naar evaluatiemethoden en -workshops ondersteunen. |
| --- | --- |

70-71.

Methodologische richtsnoeren voor evaluatie, zoals de beschikbare instrumenten en een begrippenlijst, zijn opgenomen in de handleiding van DG Begroting (4), die momenteel wordt bijgewerkt door de verantwoordelijke diensten, waaronder de „onderzoeks-DG's”.

Voorts heeft DG Ondernemingen in 2002 specifieke evaluatievoorschriften ontwikkeld voor alle activiteiten waarvoor dit DG verantwoordelijk is, met inbegrip van de KP's.

Andere ondersteunende initiatieven zullen in aanmerking worden genomen voor het heropgestarte „Europese OTO-beoordelingsnetwerk” (dat bestaat uit deskundigen uit de lidstaten en geassocieerde landen) en het interne OTO-beoordelingsnetwerk van de Commissie. De Commissie blijft ook onafhankelijke onderzoeken naar evaluatiemethoden en -workshops ondersteunen.

| 72. | De Commissie beaamt dat de procedure voor de vaste verzameling van projectgegevens slechts ten dele doeltreffend is geweest. De procedures voor projectrapportage zijn herzien in het kader van KP6 en zullen verder worden verbeterd voor KP7 (zo wordt de periodieke rapportage vereenvoudigd, zijn tussentijdse vragenlijsten afgeschaft en worden eindverslagen nuttiger, met name wat betreft de verzameling van gegevens over de uitvoering en resultaten van projecten). |
| --- | --- |

72.

De Commissie beaamt dat de procedure voor de vaste verzameling van projectgegevens slechts ten dele doeltreffend is geweest. De procedures voor projectrapportage zijn herzien in het kader van KP6 en zullen verder worden verbeterd voor KP7 (zo wordt de periodieke rapportage vereenvoudigd, zijn tussentijdse vragenlijsten afgeschaft en worden eindverslagen nuttiger, met name wat betreft de verzameling van gegevens over de uitvoering en resultaten van projecten).

| 74. | Momenteel ontwikkelen de „onderzoeks-DG's” met hulp van DG Informatica een nieuw IT-systeem voor KP7. Een dergelijke versterkte IT-ondersteuning moet evaluatie- en toezichttaken van een steviger basis voorzien. |
| --- | --- |

74.

Momenteel ontwikkelen de „onderzoeks-DG's” met hulp van DG Informatica een nieuw IT-systeem voor KP7. Een dergelijke versterkte IT-ondersteuning moet evaluatie- en toezichttaken van een steviger basis voorzien.

| 76-78. | Het inwinnen van evaluatiegegevens was gedurende de controleperiode slechts ten dele doeltreffend. De Commissie brengt verbeteringen aan in het kader van KP7 (zie het antwoord op paragraaf 72). |
| --- | --- |

76-78.

Het inwinnen van evaluatiegegevens was gedurende de controleperiode slechts ten dele doeltreffend. De Commissie brengt verbeteringen aan in het kader van KP7 (zie het antwoord op paragraaf 72).

| 79. | De Commissie streeft ernaar de door de Rekenkamer voorgestelde soorten kwantitatieve onderzoeken te stimuleren. |
| --- | --- |

79.

De Commissie streeft ernaar de door de Rekenkamer voorgestelde soorten kwantitatieve onderzoeken te stimuleren.

| 81. | De Commissie is van mening dat er recentelijk veel evaluaties zijn verricht die in methodologisch opzicht interessanter zijn (zie paragraaf 84) en dat er onderscheid dient te worden gemaakt tussen grootschalige evaluaties en routineprocedures. |
| --- | --- |

81.

De Commissie is van mening dat er recentelijk veel evaluaties zijn verricht die in methodologisch opzicht interessanter zijn (zie paragraaf 84) en dat er onderscheid dient te worden gemaakt tussen grootschalige evaluaties en routineprocedures.

| 82. | De Commissie erkent dat bij evaluatiewerkzaamheden over het algemeen meer aandacht is geschonken aan kortetermijnresultaten en beaamt dat er ruimte is voor meer analyse van uitkomsten en impact. Een dergelijke aanpak vereist echter een langetermijnperspectief, en in de regel zijn de evaluaties van de Commissie dan ook vergelijkbaar met soortgelijk werk elders. |
| --- | --- |

82.

De Commissie erkent dat bij evaluatiewerkzaamheden over het algemeen meer aandacht is geschonken aan kortetermijnresultaten en beaamt dat er ruimte is voor meer analyse van uitkomsten en impact. Een dergelijke aanpak vereist echter een langetermijnperspectief, en in de regel zijn de evaluaties van de Commissie dan ook vergelijkbaar met soortgelijk werk elders.

| 83. | De Commissie tracht de onafhankelijkheid van de evaluatiedeskundigen te eerbiedigen, met name wat betreft de keuze van de aangewezen methoden.
  Voor de naderende evaluatie achteraf van KP6 in 2008 wordt voorgesteld studie te maken van gedragsgerelateerde addionaliteit, netwerkanalyse en het gebruik van scientometrische methoden. |
| --- | --- |

83.

De Commissie tracht de onafhankelijkheid van de evaluatiedeskundigen te eerbiedigen, met name wat betreft de keuze van de aangewezen methoden.

Voor de naderende evaluatie achteraf van KP6 in 2008 wordt voorgesteld studie te maken van gedragsgerelateerde addionaliteit, netwerkanalyse en het gebruik van scientometrische methoden.

| 84. | Een meta-analyse van eerdere evaluatieonderzoeken is door een onafhankelijk deskundige verricht voor de vijfjaarlijkse beoordeling van 2004 (1999-2003) (5).






  — | (tweede streepje) Naast de door de Rekenkamer bedoelde studies is er in 2007 nog een aantal belangrijke studies gestart (6). |
| --- | --- | --- |

84.

Een meta-analyse van eerdere evaluatieonderzoeken is door een onafhankelijk deskundige verricht voor de vijfjaarlijkse beoordeling van 2004 (1999-2003) (5).

—

(tweede streepje) Naast de door de Rekenkamer bedoelde studies is er in 2007 nog een aantal belangrijke studies gestart (6).

| 85. | De Commissie beaamt dat er nog steeds nieuwe methodologische benaderingen moeten worden ontwikkeld om aan te sluiten bij de zich wijzigende aard van de KP's. Een dergelijke methodologische ontwikkeling wordt — ook in de toekomst — door de Commissie gesteund. |
| --- | --- |

85.

De Commissie beaamt dat er nog steeds nieuwe methodologische benaderingen moeten worden ontwikkeld om aan te sluiten bij de zich wijzigende aard van de KP's. Een dergelijke methodologische ontwikkeling wordt — ook in de toekomst — door de Commissie gesteund.

| 86. | Aangezien de vragen in de opdracht voor de vijfjaarlijkse beoordeling van 2004 (1999-2003) slechts van indicatieve aard waren, stond het het panel vrij om zich op enkele gebieden van zijn keus te richten en zijn werkwijze te bepalen. Deze procedure is door panelleden geroemd (7). |
| --- | --- |

86.

Aangezien de vragen in de opdracht voor de vijfjaarlijkse beoordeling van 2004 (1999-2003) slechts van indicatieve aard waren, stond het het panel vrij om zich op enkele gebieden van zijn keus te richten en zijn werkwijze te bepalen. Deze procedure is door panelleden geroemd (7).

| 87. | Onderzoeksprogramma's zijn naar hun aard onzekere ondernemingen en dit betekent dat er grenzen zijn aan de mate waarin er kwantificeerbare doelstellingen kunnen worden geformuleerd. |
| --- | --- |

87.

Onderzoeksprogramma's zijn naar hun aard onzekere ondernemingen en dit betekent dat er grenzen zijn aan de mate waarin er kwantificeerbare doelstellingen kunnen worden geformuleerd.

| 90. | In 2007 heeft de Commissie haar „Europese OTO-beoordelingsnetwerk” heropgestart, dat bestaat uit ambtenaren uit de lidstaten en evaluatiedeskundigen. Zij wil dit netwerk inzetten om de samenhang tussen de evaluatieactiviteiten op het gebied van EU-onderzoek te bevorderen, met name met betrekking tot de impactstudies op lidstaatniveau. |
| --- | --- |

90.

In 2007 heeft de Commissie haar „Europese OTO-beoordelingsnetwerk” heropgestart, dat bestaat uit ambtenaren uit de lidstaten en evaluatiedeskundigen. Zij wil dit netwerk inzetten om de samenhang tussen de evaluatieactiviteiten op het gebied van EU-onderzoek te bevorderen, met name met betrekking tot de impactstudies op lidstaatniveau.

| 91. | De Commissie zal zich beraden op de mogelijkheid een nieuwe handleiding voor KP-evaluatie uit te brengen en hierbij rekening houden met onlangs verschenen voorbeelden (8). |
| --- | --- |

91.

De Commissie zal zich beraden op de mogelijkheid een nieuwe handleiding voor KP-evaluatie uit te brengen en hierbij rekening houden met onlangs verschenen voorbeelden (8).

| 92. | De procedures voor projectrapportage werden in het kader van KP6 herzien en zullen voor KP7 verder worden verbeterd (zie antwoord op paragraaf 72). |
| --- | --- |

92.

De procedures voor projectrapportage werden in het kader van KP6 herzien en zullen voor KP7 verder worden verbeterd (zie antwoord op paragraaf 72).

| 93. | Op KP-niveau ontwikkelt de Commissie momenteel voor KP7 een toezichtsysteem dat moet leiden tot coherenter en systematischer gebruik van prestatie-indicatoren (zie antwoord op paragraaf 30).
  De „onderzoeks-DG's” ontwikkelen momenteel met hulp van DG Informatica een nieuw IT-systeem voor KP7. Een dergelijke verbeterde IT-ondersteuning moet evaluatie en toezicht van een steviger basis voorzien. |
| --- | --- |

93.

Op KP-niveau ontwikkelt de Commissie momenteel voor KP7 een toezichtsysteem dat moet leiden tot coherenter en systematischer gebruik van prestatie-indicatoren (zie antwoord op paragraaf 30).

De „onderzoeks-DG's” ontwikkelen momenteel met hulp van DG Informatica een nieuw IT-systeem voor KP7. Een dergelijke verbeterde IT-ondersteuning moet evaluatie en toezicht van een steviger basis voorzien.

| 94. | De Commissie deelt de zorgen van de Rekenkamer over het probleem van de rapportagelast en heeft hier uitdrukkelijk rekening mee gehouden bij de vaststelling van de rapportageverplichtingen voor KP7 (zie antwoord op paragraaf 72). |
| --- | --- |

94.

De Commissie deelt de zorgen van de Rekenkamer over het probleem van de rapportagelast en heeft hier uitdrukkelijk rekening mee gehouden bij de vaststelling van de rapportageverplichtingen voor KP7 (zie antwoord op paragraaf 72).

| 95. | De Commissie streeft er momenteel naar bestaande en nieuwe gegevensbronnen te gebruiken voor evaluatie en toezicht (zie antwoord op paragraaf 72). |
| --- | --- |

95.

De Commissie streeft er momenteel naar bestaande en nieuwe gegevensbronnen te gebruiken voor evaluatie en toezicht (zie antwoord op paragraaf 72).

| 96. | KP7 bevat een specifieke actielijn onder thema 8 (sociale wetenschappen en geesteswetenschappen) ter bevordering van innovatie op het gebied van evaluatie en toezicht. |
| --- | --- |

96.

KP7 bevat een specifieke actielijn onder thema 8 (sociale wetenschappen en geesteswetenschappen) ter bevordering van innovatie op het gebied van evaluatie en toezicht.

| 97. | De Commissie heeft in 2007 haar OTO-beoordelingsnetwerk heropgestart (zie antwoorden op de paragrafen 70, 71 en 90). Zij wil dit netwerk inzetten om de samenhang te bevorderen tussen de evaluatieactiviteiten op het gebied van EU-onderzoek, met name de impactstudies van de lidstaten.
  De Commissie wil ook haar voorhoedepositie behouden wat betreft de ondersteuning van internationale netwerkactiviteiten en de uitwisseling van evaluatiepraktijken door middel van workshops en andere bijeenkomsten. |
| --- | --- |

97.

De Commissie heeft in 2007 haar OTO-beoordelingsnetwerk heropgestart (zie antwoorden op de paragrafen 70, 71 en 90). Zij wil dit netwerk inzetten om de samenhang te bevorderen tussen de evaluatieactiviteiten op het gebied van EU-onderzoek, met name de impactstudies van de lidstaten.

De Commissie wil ook haar voorhoedepositie behouden wat betreft de ondersteuning van internationale netwerkactiviteiten en de uitwisseling van evaluatiepraktijken door middel van workshops en andere bijeenkomsten.

| 99. | De timing van evaluaties wordt bepaald door de vereisten in de basisbesluiten van het Europees Parlement en de Raad. De Commissie erkent dat er minder bekend is over de langetermijneffecten en beaamt dat er op dit gebied meer werk te verrichten valt. |
| --- | --- |

99.

De timing van evaluaties wordt bepaald door de vereisten in de basisbesluiten van het Europees Parlement en de Raad. De Commissie erkent dat er minder bekend is over de langetermijneffecten en beaamt dat er op dit gebied meer werk te verrichten valt.

| 100. | De Commissie meent ook dat de vijfjaarlijkse beoordelingen meer op de korte dan op de lange termijn gericht waren. Dit valt onder meer te verklaren door het belang dat externe belanghebbenden, zoals het Europees Parlement en de Raad, stellen in snelle feedback over KP-prestaties, het feit dat de langetermijneffecten van onderzoek moeilijk specifiek zijn toe te rekenen, en de focus die wordt gekozen door de onafhankelijke panels die de procedures uitvoeren. De Commissie erkent evenwel dat er meer aandacht moet worden geschonken aan de beoordeling van de effecten op langere termijn. |
| --- | --- |

100.

De Commissie meent ook dat de vijfjaarlijkse beoordelingen meer op de korte dan op de lange termijn gericht waren. Dit valt onder meer te verklaren door het belang dat externe belanghebbenden, zoals het Europees Parlement en de Raad, stellen in snelle feedback over KP-prestaties, het feit dat de langetermijneffecten van onderzoek moeilijk specifiek zijn toe te rekenen, en de focus die wordt gekozen door de onafhankelijke panels die de procedures uitvoeren. De Commissie erkent evenwel dat er meer aandacht moet worden geschonken aan de beoordeling van de effecten op langere termijn.

| 108. | De Commissie plant momenteel de belangrijkste evaluatieactiviteiten in het kader van KP7 en zij zal de aanbeveling van de Rekenkamer zorgvuldig overwegen. De Commissie erkent dat er minder bekend is over de effecten op langere termijn en beaamt dat er op dit gebied meer werk te verrichten valt. |
| --- | --- |

108.

De Commissie plant momenteel de belangrijkste evaluatieactiviteiten in het kader van KP7 en zij zal de aanbeveling van de Rekenkamer zorgvuldig overwegen. De Commissie erkent dat er minder bekend is over de effecten op langere termijn en beaamt dat er op dit gebied meer werk te verrichten valt.

| 109. | Zoals de Rekenkamer opmerkt in paragraaf 107 verschaft de Commissie in haar jaarlijks evaluatieverslag een overzicht van alle bevindingen en maatregelen in het kader van onderzoeksevaluaties. De Commissie streeft bij haar evaluatiewerkzaamheden naar volledige doorzichtigheid en zal gevolg geven aan de aanbeveling van de Rekenkamer om de middelen voor het mededelen en verspreiden van haar bevindingen te herzien. |
| --- | --- |

109.

Zoals de Rekenkamer opmerkt in paragraaf 107 verschaft de Commissie in haar jaarlijks evaluatieverslag een overzicht van alle bevindingen en maatregelen in het kader van onderzoeksevaluaties. De Commissie streeft bij haar evaluatiewerkzaamheden naar volledige doorzichtigheid en zal gevolg geven aan de aanbeveling van de Rekenkamer om de middelen voor het mededelen en verspreiden van haar bevindingen te herzien.

| 110-111. | De Commissie is het met de Rekenkamer eens dat de evaluatie van onderzoek, zeker voor omvangrijke programma's als de KP's, een bijzonder moeilijke taak is.
  Zij stelt vast dat het systeem de laatste 25 jaar zeer belangrijke verbeteringen heeft ondergaan en voor beleidsmakers, onderzoeksmanagers en andere belanghebbenden over het geheel genomen doeltreffend is. |
| --- | --- |

110-111.

De Commissie is het met de Rekenkamer eens dat de evaluatie van onderzoek, zeker voor omvangrijke programma's als de KP's, een bijzonder moeilijke taak is.

Zij stelt vast dat het systeem de laatste 25 jaar zeer belangrijke verbeteringen heeft ondergaan en voor beleidsmakers, onderzoeksmanagers en andere belanghebbenden over het geheel genomen doeltreffend is.

| 112. | De Commissie is ingenomen met de vaststelling van de Rekenkamer dat de DG's die de KP's uitvoeren, hebben voldaan aan de vereisten van de Commissie, met inbegrip van de in de mededelingen over evaluatie uit 2000 en 2002 vastgelegde vereisten.
  Er zijn belangrijke wijzigingen aangebracht in de evaluatie van KP's, waaronder een omvangrijke herstructurering voor KP7, overeenkomstig de strategie uit de effectbeoordeling (SEC(2005)430). |
| --- | --- |

112.

De Commissie is ingenomen met de vaststelling van de Rekenkamer dat de DG's die de KP's uitvoeren, hebben voldaan aan de vereisten van de Commissie, met inbegrip van de in de mededelingen over evaluatie uit 2000 en 2002 vastgelegde vereisten.

Er zijn belangrijke wijzigingen aangebracht in de evaluatie van KP's, waaronder een omvangrijke herstructurering voor KP7, overeenkomstig de strategie uit de effectbeoordeling (SEC(2005)430).

| 113. | Wat betreft de relevantie en het nut van evaluaties kan de Commissie wijzen op de doorgaans positieve feedback die zij heeft ontvangen, vooral naar aanleiding van essentiële procedures zoals de vijfjaarlijkse beoordeling van 2004 (1999-2003). De bevindingen van de vijfjaarlijkse beoordeling zijn op brede schaal verspreid; zo werden zij onder meer aangeboden aan belangrijke organen als het Europees Parlement, de Raad, het CREST en het KP-programmacomité. Aangezien het een dwingende eis was dat deze procedure werd uitgevoerd vóór het voorstel van de Commissie voor een nieuw kaderprogramma (in dit geval KP7), blijkt uit de uiteindelijke goedkeuring van KP7 dat de beoordeling over het geheel genomen aanvaardbaar was.
  Dit wil niet zeggen dat er niets voor verbetering vatbaar is; de Commissie erkent volledig dat, uitgaande van de reeds goed functionerende elementen van de huidige aanpak, zorgvuldig overwogen veranderingen geboden zijn. |
| --- | --- |

113.

Wat betreft de relevantie en het nut van evaluaties kan de Commissie wijzen op de doorgaans positieve feedback die zij heeft ontvangen, vooral naar aanleiding van essentiële procedures zoals de vijfjaarlijkse beoordeling van 2004 (1999-2003). De bevindingen van de vijfjaarlijkse beoordeling zijn op brede schaal verspreid; zo werden zij onder meer aangeboden aan belangrijke organen als het Europees Parlement, de Raad, het CREST en het KP-programmacomité. Aangezien het een dwingende eis was dat deze procedure werd uitgevoerd vóór het voorstel van de Commissie voor een nieuw kaderprogramma (in dit geval KP7), blijkt uit de uiteindelijke goedkeuring van KP7 dat de beoordeling over het geheel genomen aanvaardbaar was.

Dit wil niet zeggen dat er niets voor verbetering vatbaar is; de Commissie erkent volledig dat, uitgaande van de reeds goed functionerende elementen van de huidige aanpak, zorgvuldig overwogen veranderingen geboden zijn.

| 114. | De Commissie waardeert dat de Rekenkamer het belang van evaluatie en toezicht erkent en zal, voortbouwend op de belangrijke verbeteringen die reeds zijn verwezenlijkt, haar huidige praktijken blijven aanpassen in het licht van nieuwe politieke en praktische omstandigheden. |
| --- | --- |

114.

De Commissie waardeert dat de Rekenkamer het belang van evaluatie en toezicht erkent en zal, voortbouwend op de belangrijke verbeteringen die reeds zijn verwezenlijkt, haar huidige praktijken blijven aanpassen in het licht van nieuwe politieke en praktische omstandigheden.

| 115. | De Commissie streeft reeds naar meer duidelijkheid in de interventielogica voor programma's, voortbouwend op de sterke punten uit de wetgeving en effectbeoordeling van KP7, en zal bij toekomstige wetgevingsvoorstellen rekening houden met de aanbeveling van de Rekenkamer. |
| --- | --- |

115.

De Commissie streeft reeds naar meer duidelijkheid in de interventielogica voor programma's, voortbouwend op de sterke punten uit de wetgeving en effectbeoordeling van KP7, en zal bij toekomstige wetgevingsvoorstellen rekening houden met de aanbeveling van de Rekenkamer.

| 116. | Voortbouwend op de belangrijke verbeteringen die reeds zijn aangebracht in de evaluatie van KP's, erkent de Commissie dat er nog zaken voor verbetering vatbaar zijn; zo kan op operationeel niveau de coördinatie tussen de betrokken diensten worden versterkt. De Commissie blijft zich inspannen om ontwikkelingen in evaluatiemethoden te ondersteunen. |
| --- | --- |

116.

Voortbouwend op de belangrijke verbeteringen die reeds zijn aangebracht in de evaluatie van KP's, erkent de Commissie dat er nog zaken voor verbetering vatbaar zijn; zo kan op operationeel niveau de coördinatie tussen de betrokken diensten worden versterkt. De Commissie blijft zich inspannen om ontwikkelingen in evaluatiemethoden te ondersteunen.

| 117. | Met betrekking tot de organisatiestructuur is de Commissie van mening dat:






  — | (eerste streepje) panels zo vroeg mogelijk moeten worden bijeengeroepen ter ondersteuning van een specifieke evaluatie. Ad-hocpanels, die voor een specifiek doel bijeengeroepen worden, leveren waarschijnlijk beter werk in termen van duidelijkheid en focus; |
| --- | --- | --- |

117.

Met betrekking tot de organisatiestructuur is de Commissie van mening dat:

—

(eerste streepje) panels zo vroeg mogelijk moeten worden bijeengeroepen ter ondersteuning van een specifieke evaluatie. Ad-hocpanels, die voor een specifiek doel bijeengeroepen worden, leveren waarschijnlijk beter werk in termen van duidelijkheid en focus;

| — | (tweede streepje) de coördinatie tussen de DG's die de KP's uitvoeren dient te worden versterkt. Dit zal worden bereikt middels de nieuwe evaluatiestrategie voor KP7, maar ook door het interne „OTO-beoordelingsnetwerk” van de Commissie aan te vullen met specifieke coördinatiestructuren, in plaats van een gemeenschappelijke evaluatiedienst op te zetten. |
| --- | --- |

—

(tweede streepje) de coördinatie tussen de DG's die de KP's uitvoeren dient te worden versterkt. Dit zal worden bereikt middels de nieuwe evaluatiestrategie voor KP7, maar ook door het interne „OTO-beoordelingsnetwerk” van de Commissie aan te vullen met specifieke coördinatiestructuren, in plaats van een gemeenschappelijke evaluatiedienst op te zetten.

---

(1)  Mededeling van de Commissie aan de Europese Voorjaarsraad — Uitvoering van de hernieuwde Lissabonstrategie voor groei en werkgelegenheid (COM(2006) 816 def.).

(2)  Zo ontwikkelde de Commissie het voorstel voor KP7 op basis van een gedetailleerde effectbeoordeling vooraf, die econometrische modellen bevatte van de potentiële effecten van de onderzoeksactiviteit op zaken als economische groei en werkgelegenheid (zie het werkdocument van de diensten van de Europese Commissie „Impact Assessment and Ex Ante Evaluation for the proposals for the Council and European Parliament decision on the 7th Framework Programme (EC and Euratom)”, SEC(2005) 430). De besluiten inzake KP7 voorzien in een duidelijke structuur die doelstellingen, basisreden en activiteiten verbindt. Voorts worden in de beschikkingen tot vaststelling van de specifieke programma’s de doelstellingen, benadering en activiteiten geformuleerd.

(3)  Het „Quality Assessment Framework” (kader voor de kwaliteitsbeoordeling) is beschikbaar via: http://ec.europa.eu/budget/documents/evaluation_en.htm.

(4)  Europese Commissie, DG Begroting, „Evaluating EU Activities — A Practical Guide for the Commission services”, juli 2004, is beschikbaar via: http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, „What the Evaluation Record tells us about the Framework Programme Performance”, 2004.

(6)  DG Onderzoek, „Structuring Effects of Community Research — The Impact of The Framework Programme on Research & Technological Development (RTD) Network Formation”, 2007; DG Informatiemaatschappij en media, „Effectiveness of IST-RTD Impacts on the EU Innovation System”, 2007.

(7)  Zie C. Mandl, „Evaluating Evaluations or The Case for Action Research”, Austrian Platform Newsletter, nr. 30, juni 2007.

(8)  Zie bv. Europese Commissie, Gemeenschappelijk Centrum voor Onderzoek, „Assessing the Socio-Economic Impact of RTD-Policies” (EPUB), 2002, en University of Manchester, „Assessing the Socio-economic Impacts of the Framework Programme” (ASIF), 2002, beide beschikbaar via: http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?l=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Deze verslagen zijn op brede schaal verspreid en ter beschikking gesteld van contractanten en deskundigen die namens de Commissie evaluatiestudies verrichten.

---