NL Publicatieblad van de Europese Unie C 26/1

SPECIAAL VERSLAG Nr. 9/2007

over „De evaluatie van de Europese kaderprogramma's voor onderzoek en technologische ontwikkeling (OTO): kan de aanpak van de Commissie worden verbeterd?”, vergezeld van de antwoorden van de Commissie

(uitgebracht krachtens artikel 248, lid 4, tweede alinea, van het EG-Verdrag)

(2008/C 26/01)

INHOUD

I-V SAMENVATTING

1-14 INLEIDING

1-7 De ondersteunende rol van de Europese Unie bij OTO-werkzaamheden

8-14 Evaluatie van en toezicht op de KP's

15-18 REIKWIJDTE EN AANPAK VAN DE CONTROLE

19-109 CONTROLEBEVINDINGEN

19-37 Interventielogica, keuze van doelstellingen en prestatie-indicatoren

38-49 De evaluatiestrategie

50-68 Opzet van de evaluatie van de KP's

69-97 Evaluatiemethodologieën en -technieken

98-109 Verspreiding en benutting van de evaluatiebevindingen

110-118 ALGEMENE CONCLUSIE

Bijlage I: Meten van de impact en resultaten van de overheidsinterventie in OTO

Bijlage II: Bepalingen inzake toezicht en evaluatie in de regelgevende besluiten voor KP4-KP7

Bijlage III: Voornaamste verschillen tussen de EU (KP4-KP6), de VS en Canada bij de evaluatie achteraf van onderzoeksprogramma's

Bijlage IV: Mogelijke panelstructuur voor KP7

Antwoorden van de Commissie

SAMENVATTING

I. De communautaire kaderprogramma's (KP's) voor onderzoek en technologische ontwikkeling (OTO) vormen de grootste publieke financieringsbron voor onderzoek in de Europese Unie. De Commissie is verantwoordelijk voor het beheer van de KP's en de beoordeling van de resultaten ervan.

II. De controle bestreek de sinds 1995 bestaande toezicht- en evaluatieregelingen voor de laatste drie programmeringsperioden (KP4, KP5, KP6) en schetst de vooruitzichten voor KP7 (2007-2013). De controle werd verricht in samenwerking met de accountantscommissie van de EVA en met medewerking van externe deskundigen.

III. De controle was gericht op de vraag of de Commissie de beoordeling van de resultaten van de KP's op de juiste wijze aanpakte. In dit kader onderzocht de Rekenkamer of de Commissie voldeed aan de voorschriften inzake evaluatie en verifieerde zij of het evaluatie- en toezichtsysteem van de Commissie voldeed aan de verwachtingen van de betrokkenen. De Rekenkamer vroeg zich met name het volgende af: i) berusten de KP's en de programma's waaruit ze bestaan op een interventielogica die evaluatie en toezicht een stevige basis kan geven; ii) heeft de Commissie een evaluatiestrategie bepaald voor de KP's; iii) zorgt de organisatorische structuur van het evaluatiesysteem van de Commissie voor de KP's ervoor dat de evaluatie behoorlijk wordt gecoördineerd, van toereikende middelen wordt voorzien en door de betrokkenen voldoende onafhankelijk wordt geacht; iv) zijn de toegepaste methodologieën bevredigend, en v) leveren de evaluatie- en toezichtsactiviteiten gegevens en analyses op die kunnen worden gebruikt om de lopende programma's te verbeteren en toekomstige KP's voor te bereiden?

IV. De bevindingen en conclusies van de Rekenkamer luidden als volgt: i) doeltreffend toezicht en evaluatie werd belemmerd door het ontbreken van een expliciete interventielogica, de slechte definitie van de programmadoelstellingen en de zwakke prestatiemeting; ii) het ontbreken van een complete evaluatiestrategie, overeengekomen tussen de „onderzoeks-DG's” die de KP's uitvoeren, leidde tot een inconsistente aanpak van de verschillende diensten van de Commissie. Dit blijkt onder meer uit het feit dat grote delen van de KP's te weinig werden geëvalueerd; iii) de evaluatie van de KP's was gedecentraliseerd en de bestaande coördinatiemechanismen tussen de DG's die de KP's uitvoeren, waren niet doeltreffend; de centrale diensten van de Commissie hadden geen handhavende rol. Toch hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften van de Commissie betreffende evaluatie. Het gebruik van panels met externe topdeskundigen die door de Commissie werden aangesteld voor de grote evaluatierondes paste goed in de communautaire context. Deze tijdelijke panels werden echter niet vroeg genoeg bij het proces betrokken om invloed te kunnen hebben op het verzamelen van bewijzen en ze hadden slechts beperkte mogelijkheden tot follow-up van relevante thema's in de loop van de tijd. Doordat er alleen een algemeen KP-panel was (naast een panel voor één specifiek programma) werd onvoldoende aandacht besteed aan specifieke thema's in verband met de verschillende wetenschappelijke terreinen binnen de KP's; iv) er waren te weinig methodologische instructies, de beoordelaars hadden moeite om relevante gegevens te verzamelen en er waren geen evaluatiestudies die uitkomsten en impact van de KP's op langere termijn betroffen in plaats van aspecten van programma-uitvoering op korte termijn; v) als gevolg hiervan en omdat de evaluaties vaak te vroeg kwamen om de belangrijkste kwesties te kunnen behandelen, was het evaluatiesysteem van de Commissie voor de KP's van beperkt nut voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf. Tenslotte is er weinig bekend over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's.

V. De Rekenkamer doet de volgende aanbevelingen: i) in toekomstige regelgeving moet de interventielogica uitdrukkelijk aan de orde komen. Hypotheses moeten worden uitgelegd, het verband tussen wetenschappelijke en sociaaleconomische doelstellingen moet worden verduidelijkt en passende prestatie-indicatoren moeten worden ontwikkeld; ii) de DG's die de KP's uitvoeren, moeten een complete evaluatiestrategie ontwikkelen (en afspreken). Dit moet met name zorgen voor een consistente aanpak inzake het minimumniveau waarop gedetailleerde evaluatie moet plaatsvinden om rekening te houden met de specifieke kenmerken van elk wetenschappelijk terrein; iii) er moet worden overwogen een gemeenschappelijk evaluatiebureau op te richten om de evaluatiewerkzaamheden van de „onderzoeks-DG's” voor het gehele KP te coördineren en een systeem van panels (en subpanels) met externe deskundigen op te zetten. Die panels moeten vroeg genoeg worden samengesteld om de Commissie doeltreffende assistentie te kunnen verlenen en wel tijdens de hele programmeringsperiode en daarna; iv) de informatiebehoeften voor evaluatie en toezicht moeten behoorlijk worden geanalyseerd en andere bestaande gegevensbronnen moeten uitgebreider worden benut. De Commissie moet ook de rapportageregels voor de deelnemers rationaliseren. Ten slotte moet zij een uitvoerige evaluatiehandleiding opstellen voor de KP's en een ruimer scala van evaluatiemethodologieën en -technieken ontwikkelen voor toepassing bij de evaluatie op dit terrein, en v) de Commissie moet de aard en reikwijdte bepalen van de evaluatie die redelijkerwijs kan worden verwacht op de in de regelgeving voor KP7 genoemde tijdstippen en verduidelijken hoe evaluaties kunnen worden benut om programma's aan te passen („lerende” programma's) en hoe zij kunnen bijdragen aan beleidsbeslissingen.

INLEIDING

De ondersteunende rol van de Europese Unie bij OTO-werkzaamheden

1. Onderzoek en technologische ontwikkeling (OTO) (1) vormt de grootste drijvende kracht achter de wetenschappelijke en technologische vooruitgang en innovatie en draagt als zodanig sterk bij tot verbetering van de levensstandaard. Overheidsinterventie in OTO wordt doorgaans gerechtvaardigd als een correctie van zogenaamde „marktgebreken”: de overheidssteun vermindert de onzekerheid en zorgt voor investeringen wanneer het onderzoek van algemeen nut is of belangrijke externe effecten heeft.

2. Artikel 163 van het Verdrag omschrijft de rol van de Gemeenschappen ter ondersteuning van OTO als volgt: „De Gemeenschap heeft als doelstelling de wetenschappelijke en technologische grondslagen van de industrie van de Gemeenschap te versterken en de ontwikkeling van haar internationale concurrentiepositie te bevorderen, alsmede de onderzoeksactiviteiten te bevorderen die … nodig worden geacht.”. De artikelen 164-173 beschrijven de activiteiten die in dit verband zullen worden verricht alsook de reikwijdte en tenuitvoerlegging van de meerjarenkaderprogramma's (KP's) voor OTO. De Commissie is belast met het doen van voorstellen voor KP's, maar de besluiten en regels inzake deelname en verspreiding worden gezamenlijk vastgesteld door het Europees Parlement en de Raad. Laatstgenoemde stelt alleen de specifieke programma's vast. De KP's worden door zes directoraten-generaal (DG's) — de zogeheten „onderzoeks-DG's” — gezamenlijk uitgevoerd (2).

3. Binnen het ruime scala van in de Europese Unie uitgevoerd beleid ter versterking van innovatie en concurrentievermogen zijn de KP's het belangrijkste financiële instrument dat op communautair niveau bijdraagt tot de Lissabon-strategie (3) en de doelstelling van Barcelona (4).

4. Via de KP's verstrekt de Gemeenschap financiering aan onderzoekers in de Europese Unie, in geassocieerde landen en internationale organisaties. De uitgetrokken bedragen zijn in de loop der jaren aanzienlijk gestegen, en wel van 2 761 miljoen euro per jaar bij KP4 tot 7 217 miljoen euro bij KP7 (zie figuur 1). In termen van begrotingsmiddelen vormen de KP's de grootste sector onder direct gecentraliseerd beheer van de Commissie (5).

5. De KP's verschillen van vele nationale programma's omdat ze fundamenteel en toegepast onderzoek betreffen, en industrie en openbare onderzoeksinstellingen eraan meewerken (6). Ze zijn samengesteld uit specifieke programma's (en subprogramma's) op brede wetenschappelijke terreinen. Deze programma's omvatten doorgaans een aantal rubrieken die zijn toegespitst op meer specifieke wetenschappelijke gebieden. De rubrieken worden dan na een oproep tot het indienen van voorstellen uitgevoerd door middel van projecten, „werkzaamheden onder contract” genoemd. Op deze manier worden per rubriek honderden afzonderlijke projecten gefinancierd.

6. Het aandeel van de KP's in de totale overheidsfinanciering voor OTO binnen de Europese Unie en haar lidstaten bedraagt in totaal 4 à 5 %. De impact ervan op het soort onderzoekswerkzaamheden dat binnen Europa wordt uitgevoerd, is echter veel groter. De subsidies van de Gemeenschap vormen namelijk meestal slechts een deel van de totale financiering voor een project. Bovendien moeten de onderzoekers in de financieringsaanvraag aantonen dat hun projecten gericht zijn op de doelstellingen die in de oproep tot het indienen van voorstellen werden beschreven. Op deze manier vormen de KP's een stimulans om de OTO-werkzaamheden toe te spitsen op specifieke EU-doelstellingen.

7. De laatste jaren werden er aanzienlijke wijzigingen aangebracht in de KP's op grond van de volgende factoren: — nieuwe politieke uitdagingen (Lissabon-strategie en doelstellingen van Barcelona), de instelling van een „Europese Onderzoeksruimte” (EOR) en de toenemende toepassing van de open coördinatiemethode (7) in het beleid inzake onderzoek en innovatie; — de veranderende oriëntatie van de KP's, van het eenvoudig oplossen van technische problemen in KP4 en het aanpakken van specifieke sociale problemen in KP5 naar het stimuleren van samenwerking tussen onderzoeksinstellingen binnen de EOR en het meewerken aan de vestiging van een kenniseconomie en -maatschappij in KP6 en KP7; — langere programmeringsperioden (voorheen vier jaar, nu zeven jaar voor KP7, overeenkomstig de financiële vooruitzichten voor 2007-2013); — meer lidstaten en deelnemende landen; — verhoogde financiering, met name in het kader van de huidige financiële vooruitzichten; — de oprichting van de Europese Raad voor Onderzoek (ERO) en de delegatie van het programmabeheer aan uitvoerende agentschappen vanaf KP7, en — de toenemende toepassing van grootschalige financieringsinstrumenten (zoals Networks of Excellence, Integrated Projects, Artikel 169-projecten, gezamenlijke technologie-initiatieven).

Evaluatie van en toezicht op de KP's

8. De Commissie is verantwoordelijk voor de uitvoering van de programma's en de beoordeling van de programmaresultaten (8). Binnen de Commissie is de evaluatie gedecentraliseerd aan de DG's en de centrale diensten (vooral DG Begroting en het Secretariaat-generaal) zorgen voor steun en coördinatie.

9. In dit verslag worden de door de Commissie zelf gebezigde definities gehanteerd van evaluatie (beoordeling van de acties aan de hand van hun resultaten, hun impact en de behoeften waaraan zij beogen te voldoen) (9) en toezicht (informatie verstrekken over de uitvoering van lopende programma's en projecten om te voldoen aan de behoeften van het management) (10). Datzelfde onderscheid tussen die twee activiteiten wordt in de bestaande regelgeving voor KP7 gemaakt.

10. Hierna worden de volgende termen gehanteerd om de resultaten van OTO-werkzaamheden te beschrijven: — „output”: kennis, goederen en diensten die rechtstreeks worden geproduceerd als gevolg van de overheidsinterventie (publicaties, patenten, licenties, prototypes, normen, opgeleide wetenschappers, conferentiestukken, enz.); — „uitkomst”: het latere resultaat van de benutting van de output door de gebruikers, en — „impact”: sociaaleconomische en politieke veranderingen op langere termijn die door de overheidsinterventie worden teweeggebracht. Tekstvak 1Wereldwijd systeem voor mobiele communicatie (GSM)In dit voorbeeld bestond de output van de communautaire financiering uit de directe projectresultaten zoals de ontwikkeling van een GSM-norm. De uitkomst was het feit dat deze binnen en buiten Europa werd geaccepteerd als dé norm voor digitale mobiele telefonie, hetgeen sterk bijdroeg tot de ontwikkeling van de telecommunicatiesector. De impact, tenslotte, waren de economische, sociale en politieke gevolgen van het internationale gebruik van deze technologie. Die omvatten ook het scheppen van werkgelegenheid in de telecommunicatie en aanverwante sectoren, alsmede het toegenomen belang van deze industriesector voor de Europese economie. Uiteindelijk heeft GSM mensen een nieuwe manier geboden om met elkaar te communiceren.

11. Het beoordelen van die resultaten brengt echter een aantal problemen van methodologische aard met zich (zie bijlage I). Sociaaleconomische wijzigingen zijn complex en met name het verband tussen een onderzoeksactiviteit en de vastgestelde uitkomsten en impact is vaak moeilijk traceerbaar. Die methodologische problemen vormen wel een aanzienlijke uitdaging, maar maken een doeltreffende evaluatie niet per se onmogelijk.

12. Sinds de jaren 1980 beschikt de Commissie over een systeem voor toezicht op en evaluatie van de KP's (11). Vanaf KP4 halverwege de jaren 1990 bestond dat systeem uit een aantal deels gekoppelde activiteiten, waaronder: — jaarlijkse monitoring, hoofdzakelijk van de programma-uitvoering, en — vijfjaarlijkse beoordelingen (VJB's) van de KP-activiteiten (en vanaf KP6 bijkomende beoordelingen op specifieke punten). Voor beide activiteiten was assistentie van externe deskundigen vereist (zie figuur 2 en bijlage II). Figuur 2 KP4 t/m KP7 — Voornaamste vereisten inzake toezicht en evaluatie KP4 (1995-1998) KP5 (1999-2002) KP6 (2003-2006) KP7 (2007-2013) twee evaluatierondes (tussentijdse en eindevaluatie) voor elk van de 20 subprogramma's en het KP; eindevaluatie valt samen met tussentijdse evaluatie van KP5 twee gelijktijdige evaluatierondes (tussentijds) voor elk van de zeven specifieke programma's en het KP een evaluatieronde voor het KP en zijn drie specifieke programma's (tussentijds) maar niet specifiek voor alle 20 subprogramma's, plus specifieke evaluatie en regelmatige voortgangs- (dus toezichts-) verslagen ten minste vijf evaluatierondes (vooraf, tussentijds en eind) plus specifiek voortgangsverslag vóór de interimevaluatie 1. Vooraf: nee 1. Vooraf: nee 1. Vooraf: nee 1. Vooraf: opgenomen in de impactbeoordeling van het Commissievoorstel voor KP7 (2005) 2. Tussentijds: — VJB halverwege het KP, vóór het volgende KP (1997) 2. Tussentijds: — VJB vóór de indiening van het voorstel voor het volgende KP (2000) — voortgangsverslag halverwege het KP (2001) 2. Tussentijds: — evaluatie van doeltreffendheid van instrumenten (2004) — VJB vóór de indiening van het voorstel voor het volgende KP (2004) — regelmatige voortgangs- (dus toezichts-)verslagen 2. Tussentijds: — achteraf, twee jaar na het einde van het vorige KP (2008) — voortgangsverslag vóór de interimevaluatie (vóór 2010) — interimevaluatie (2010) 3. Eind: — na voltooiing van het KP (1999) 3. Eind: nee 3. Eind: nee [gewijzigd in besluit betreffende KP7] 3. Eind: twee jaar na voltooiing van het KP (2015), ondersteund door specifieke studies, de interimevaluatie en andere evaluaties gedurende de looptijd van het KP Bron: zie bijlage II.

13. Tot op heden zijn drie VJB's verricht (12), die uitmondden in de verslagen van Davignon, Majó en Ormala (in respectievelijk 1997, 2000 en 2004). Daarnaast ging DG Informatiemaatschappij over tot gerichte evaluaties van zijn specifieke programma. Opgemerkt zij dat de VJB's op grond van de regelgeving voor KP7 niet werden voortgezet, waarmee het probleem werd verholpen dat de grote evaluatierondes betrekking moesten hebben op de voorgaande vijf jaren en dus delen van twee opeenvolgende programmeringsperioden moesten bestrijken. In 2004 werd ook het Marimón-verslag (13) uitgebracht, een specifieke evaluatie van de doeltreffendheid van de nieuwe instrumenten die met KP6 waren ingevoerd.

14. Het kader voor de evaluatiewerkzaamheden van de Commissie werd in 2000 en 2002 onderzocht (14). Die mededelingen werden in 2007 bijgewerkt om rekening te houden met de gevolgen van de administratieve hervorming van de Commissie en het nieuwe Financieel Reglement (15). In deze documenten wordt de rol en functie van de evaluatie beschreven in het kader van de algemene plannings-, programmerings- en verslagleggingscyclus van de Commissie en wordt een pakket van 21 evaluatienormen en 18 modellen van „goede praktijken” uitgewerkt. Tevens behandelen deze documenten de gebruikmaking van evaluatie bij de voorbereiding en vereenvoudiging van EU-wetgeving.

REIKWIJDTE EN AANPAK VAN DE CONTROLE

15. De voornaamste doelstelling van de controle bestond erin, te bepalen of de Commissie de beoordeling van de resultaten van de OTO-kaderprogramma's goed aanpakte.

16. Hiertoe onderzocht de Rekenkamer in welke mate: — de KP's en de programma's waaruit ze bestaan, berusten op een expliciete interventielogica die geschikt is om de output, de uitkomsten en de impact te meten en te beoordelen, en zo een solide grondslag vormt voor evaluatie en toezicht; — voor de KP's een evaluatiestrategie is bepaald die bevorderlijk is voor een doeltreffende en consistente evaluatie; — het evaluatiesysteem een zodanige organisatiestructuur heeft dat het systeem binnen het gehele KP behoorlijk gecoördineerd wordt, over toereikende middelen beschikt en door de belanghebbenden ook voldoende onafhankelijk wordt geacht; — de toegepaste evaluatiemethodologieën ervoor zorgen dat relevante thema's op een passende wijze aan de orde komen zodat de evaluatie geloofwaardig overkomt, en — de evaluatie- en toezichtsactiviteiten gegevens en analyses opleveren die kunnen worden gebruikt om de lopende programma's te verbeteren („lerende” programma's) en toekomstige KP's voor te bereiden.

17. Dit verslag behandelt de regelingen betreffende KP4 (1995-1998), KP5 (1999-2002) en KP6 (2003-2006). Ook worden de van kracht zijnde wettelijke voorschriften van KP7 (2007-2013) aan de orde gesteld; het document „FP7 Impact assessment and ex-ante evaluation” (16) van de Commissie wordt echter niet beoordeeld. Het is gericht op het toezicht op en de evaluatie achteraf van de programma's, niet op de evaluatie vooraf van de projectvoorstellen of de evaluatie achteraf van de projecten zelf.

18. De controle werd verricht met de medewerking van de accountantscommissie van de EVA en met de hulp van externe deskundigen. De controle-informatie werd verzameld door middel van: — controlewerkzaamheden bij de Commissie (beoordeling van stukken en interviews met het personeel), inclusief de vaststelling van de voorschriften uit de wet- en regelgeving, onderzoek van de doelstellingen en prestatiecriteria, analyse van meer dan 80 toezichts- en evaluatieverslagen en analyse van de organisatie van de evaluatiewerkzaamheden binnen de Commissie; — interviews met meer dan 90 deskundigen die werden beschouwd als betrokkenen in de lidstaten en geassocieerde landen (Tsjechische Republiek, Duitsland, Estland, Spanje, Frankrijk, Italië, Luxemburg, Nederland, Oostenrijk, Finland, Zweden, Verenigd Koninkrijk en Noorwegen); — onderzoek onder institutionele betrokkenen in het comité ITRE (17) van het Europees Parlement en het CREST (18) van de Raad; — raadpleging van meer dan 65 deskundigen op het gebied van onderzoeksevaluatie in de Verenigde Staten en Canada als internationale toetsingsgroep; — bestudering van academische teksten over de huidige trends in de onderzoeksevaluatie, en — bespreking van de controlebevindingen, conclusies en aanbevelingen met deskundigen op het gebied van onderzoeksevaluatie uit Europa en Noord-Amerika tijdens een reeks begeleide vergaderingen van focusgroepen in februari 2007.

CONTROLEBEVINDINGEN

Interventielogica, keuze van doelstellingen en prestatie-indicatoren

19. Doeltreffendheid bij evaluatie en toezicht vergt duidelijke doelstellingen en relevante prestatie-indicatoren op beleids-, programma- en projectniveau, waaraan de resultaten van de overheidsinterventie kunnen worden getoetst. Uit goede praktijken op andere EU-begrotingsterreinen en buiten de EU blijkt dat die doelstellingen en indicatoren moeten worden vastgesteld in het kader van een interventielogica.

20. Interventielogica kan worden gedefinieerd als een geheel van hypothetische causale verbanden die duidelijk maken op welke wijze de algemene doelstellingen van een interventie naar verwachting worden verwezenlijkt (19). In de evaluatierichtlijnen van de Commissie staat dat de interventielogica de conceptuele weg toont van de input van de interventie naar de geproduceerde output en van daar naar zijn impact op de maatschappij in termen van resultaten en uitkomsten (20). In dit verslag wordt deze definitie systematisch gehanteerd.

21. De Rekenkamer onderzocht in hoeverre een interventielogica was vastgesteld voor de KP's en hun deelprogramma's om in een deugdelijke grondslag voor evaluatie en toezicht te voorzien.

De interventielogica voor de KP's was niet expliciet

22. Het bepalen van de interventielogica zou vanaf het begin een essentieel onderdeel van het programmaontwerp moeten zijn. Artikel 163 van het Verdrag, dat wijst op de noodzaak de wetenschappelijke en technologische grondslagen te versterken en de concurrentiepositie te verbeteren, zou het uitgangspunt moeten zijn voor een dergelijke interventielogica van de KP's (zie paragraaf 2). Deze zou dan moeten worden gespecificeerd voor de diverse wetenschappelijke gebieden die worden bestreken door de KP's en de verschillende toegepaste instrumenten.

23. Toch ontbreekt op alle niveaus een expliciet logisch model dat verduidelijkt hoe de KP's en hun deelprogramma's bijdragen aan de wetenschappelijke en technologische vooruitgang en de innovatie.

24. Het gebrek aan interventielogica voor de KP's werd ook onderstreept door de VJB-werkgroep van 2004, die verklaarde dat aan zulke groepen wordt gevraagd het hiaat op te vullen tussen de bewijzen die vooral op projectniveau worden verzameld en de hogere sociaaleconomische doelstellingen van het onderzoeksbeleid, maar dat dit verband moeilijk kan worden gelegd door de wijze waarop het KP is gepland, zonder expliciete logica die de hoogste doelstellingen koppelt aan specifieke streefdoelen op het gebied van onderzoek en kennis (21).

25. Een andere aanpak wordt gevolgd in sommige lidstaten (zoals Nederland en Finland), in de Verenigde Staten (zie figuur 3), waar het vaststellen van een interventielogica veel gebruikelijker is, en in Canada, waar het verplicht is voor alle programma's (zie bijlage III). En inderdaad leidt de toepassing van interventielogica in het programmaontwerp daar tot beter gerichte en gestructureerde programma's. De Commissie begint deze ook toe te passen op andere communautaire beleidsterreinen (bijvoorbeeld externe steun) (22). Figuur 3 Definitie van een rangorde van doelstellingen op basis van logische modellen — een voorbeeld: landbouwonderzoek in de VS Beleid Programma Project Beleidsdoelstelling : bijdragen aan de verbetering van de levensomstandigheden van agrarische gezinnen Streefdoel : grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens Programmadoelstelling : bijdragen tot een grotere landbouwproductie, productiviteit en inkomsten voor agrarische huishoudens Verwacht resultaat : toegenomen gebruik van betere landbouwtechnieken door de landbouwers in de doelgroep Streefdoel : toegenomen gebruik van verbeterde landbouwtechnieken door de landbouwers (bijv. rijst) Projectdoelstelling : bijdragen tot een toegenomen gebruik van de aanbevolen verbeterde landbouwtechnieken Verwacht resultaat : doen en verspreiden van aanbevelingen voor de landbouwers in de doelgroep Streefdoel : aanbevelingen formuleren voor verbeterde technologieën die geschikt zijn voor de landbouwers in de doelgroep Verwachte resultaten (bijv.): 1. technologieën gekozen op basis van de prioriteiten van de landbouwers 2. technologieën ingevoerd en aangepast 3. technologieën gecontroleerd op het veld Bron: Amerikaanse raad voor nationaal landbouwkundig onderzoek.

26. Het niet vastleggen van de grondgedachte achter de overheidsinterventie en van de veronderstelde causaliteit (op grond waarvan het programma vervolgens in detail wordt gepland, wordt uitgevoerd en beoordeeld) ondermijnt bij de KP's de doeltreffendheid van evaluatie en toezicht. Dit is meer bepaald een gevolg van de wijze waarop de programmadoelstellingen en de prestatie-indicatoren zijn gedefinieerd.

Zonder expliciet logisch model is het moeilijker coherente programmadoelstellingen te bepalen

27. Als de grondgedachte achter de overheidsinterventie niet expliciet is aangegeven, wordt het moeilijker de programmadoelstellingen coherent te bepalen en te structureren. Dat blijkt uit het feit dat: — het verband tussen de programmadoelstellingen van de KP's en de beleidsdoelstellingen, zoals de algemene doelstellingen in artikel 163 van het Verdrag, die in de Lissabon-strategie en in de verklaring van Barcelona (zie de paragrafen 2 en 7), niet duidelijk is; — de verhouding tussen de afzonderlijke programmadoelstellingen op de verschillende niveaus van regelgeving (KP-besluit, specifiek programmabesluit en regels inzake deelname en verspreiding), maar ook tussen de basisteksten en de werkprogramma's van de Commissie, niet altijd zichtbaar is.

28. De Commissie heeft getracht de werkprogramma's te voorzien van operationele doelstellingen op basis van de in de KP-regelgeving genoemde programmadoelstellingen. Die acties hebben echter vrijwel nergens de onderliggende logica van de programma's kunnen verduidelijken en de in de werkprogramma's genoemde doelstellingen waren niet specifiek, meetbaar, haalbaar, relevant en van een datum voorzien (SMART — specific, measurable, achievable, relevant, timed). Sinds 2003 is dit wel een wettelijke vereiste op grond van het Financieel Reglement (23).

29. Het is niet duidelijk in hoeverre de beleidsdoelstellingen traceerbaar blijven via de specifieke programma's, de werkprogramma's en de oproepen tot het indienen van voorstellen, tot de afzonderlijke projecten die de Gemeenschap medefinanciert. Tenzij dit traject wordt verduidelijkt, valt niet te beoordelen in welke mate de KP's en hun deelprogramma's bijdragen tot de verwezenlijking van die beleidsdoelstellingen. Uit de controle bleek dat de Commissie in haar evaluaties weinig of geen overtuigende bewijzen leverde voor de realisatie van de doelstellingen op langere termijn op het niveau van de programma's of van de projecten (zie paragraaf 82).

Het ontbreken van een expliciete interventielogica en van duidelijke doelstellingen maakt het moeilijker prestatie-indicatoren te ontwikkelen

30. Doordat het ontbrak aan een expliciet logisch model en duidelijk geformuleerde programmadoelstellingen, werd ook verhinderd dat prestatie-indicatoren voor het toezicht op de realisatie van de programmadoelstellingen in termen van output, uitkomsten en impact werden vastgesteld, en wel zodanig dat dergelijke indicatoren van de doeltreffendheid tot op heden voor de KP's nog helemaal niet zijn bepaald (zie paragraaf 73).

31. In deze omstandigheden worden ook het onderzoek van de lopende uit die programma's gefinancierde projecten en de evaluatie ex post van de voltooide projecten gehinderd, zodat het nog moeilijker wordt de evaluaties van een project samen te voegen op programmaniveau (zie bijlage I en paragraaf 84).

Het thans toegepaste ABB/ABM is geen geschikt middel om de prestaties van de KP's te meten

32. Bepaalde indicatoren die de doeltreffendheid van de uitvoering van een programma in kaart brengen, zoals het tijdsverloop tot de contractsluiting of tot de betaling, zijn terug te vinden in de jaarlijkse toezichtverslagen van de Commissie en ook binnen het systeem van de Commissie voor activiteitengeoriënteerd management (activity-based management — ABM).

33. Maar tot nu toe hebben de „onderzoeks-DG's”, zelfs wanneer ze eenzelfde specifiek programma (of subprogramma) uitvoeren, geen gestandaardiseerde of vergelijkbare nomenclatuur en desbetreffende indicatoren voor activiteitengeoriënteerd begroten (activity-based budgeting — ABB) toegepast. Daarom kunnen die indicatoren niet worden gebruikt om de prestaties tussen en binnen de programma's te vergelijken. Tekstvak 2ABB/ABM zoals de „onderzoeks-DG's” het thans toepassen:In het ABB/ABM-systeem vallen de KP's onder twee verschillende beleidsterreinen, waarbij de KP-werkzaamheden worden gepresenteerd volgens de specifieke terminologie van elk DG (24). Dat geldt zelfs voor specifieke programma's en subprogramma's die door meer dan één DG worden uitgevoerd. De ABM-doelstellingen waren gebaseerd op andere beginselen (25) en — zoals de Dienst interne audit van de Commissie aangaf (26) — werden doorgaans uitgedrukt in algemene termen die bedoelingen of activiteiten beschreven. De indicatoren waren meestal op de input gericht (aantal vergaderingen, enz.). Sommige betroffen de doeltreffendheid van het proces (bijvoorbeeld het tijdsverloop tot de contractsluiting of tot de betaling), maar waren niet vergelijkbaar tussen programma's en tussen DG's wegens de verschillen in de ABB-nomenclatuur, specifieke uitgangspunten van elk DG (bijvoorbeeld begin en einde van specifieke administratieve procedures) en in de populatie (soort subsidieovereenkomst, soort betaling) die werd gekozen voor de berekening ervan.

Aanbevelingen

34. In toekomstige wetsvoorstellen aan de Raad en het Europees Parlement moet de Commissie een duidelijke interventielogica beschrijven voor het KP als geheel en voor de onderdelen ervan. 35. Voor KP7 moet de Commissie: — duidelijk beschrijven welke de doelstellingen van het KP en de bijbehorende specifieke programma's (en subprogramma's) zijn en hoe die moeten worden gerealiseerd; — het verband tussen de wetenschappelijke en sociaaleconomische doelstellingen voor elk specifiek programma (en subprogramma) verduidelijken, en — relevante operationele doelstellingen bepalen. 36. Bij het KP7-toezichtsysteem moet de Commissie voor elk specifiek programma (en subprogramma) een beperkt maar evenwichtig pakket van prestatie-indicatoren invoeren om de „efficiency” en de „doeltreffendheid” van de programmauitvoering te meten. 37. De „onderzoeks-DG's” moeten hun ABM/ABB-nomenclatuur harmoniseren zodat de prestatie-indicatoren vergelijkbaar zijn in de tijd en, waar mogelijk, ook tussen de specifieke programma's (en subprogramma's).

De evaluatiestrategie

38. Een evaluatiestrategie vormt het conceptuele kader waarbinnen de evaluatiewerkzaamheden worden bedacht, gepland, uitgevoerd en benut. Goede praktijken op andere EU-begrotingsterreinen en daarbuiten geven aan dat bij een dergelijke strategie de voornaamste wettelijke, organisatorische en methodologische aspecten van de programmabeoordeling in aanmerking moeten worden genomen. Daaronder valt onder meer: wie wanneer welke evaluaties verricht, hoe gegevens worden verzameld, welke methodologische aanpak wordt toegepast en hoe de bevindingen worden meegedeeld en follow-up krijgen.

39. Om de evaluatie te kunnen integreren in de organisatiecultuur en het besluitvormingsproces van de Commissie is het een absolute voorwaarde, over een dergelijke strategie te beschikken en te zorgen dat deze wordt toegepast. De Rekenkamer erkent echter dat die strategie, gezien de diversiteit van de wetenschappelijke terreinen die onder de KP's vallen, elk van de bevoegde DG's voldoende vrijheid moet bieden en niet al te beperkend mag zijn.

40. De Rekenkamer onderzocht in hoeverre de Commissie voor de KP's een dergelijke evaluatiestrategie had ingevoerd.

Een complete evaluatiestrategie voor de KP's ontbreekt

41. Voor de KP's maakte de Commissie haar aanpak van de evaluatie voor het eerst bekend in de jaren 1980 (27). Dat werd bijgewerkt in 1996, toen de Commissie het Europees Parlement en de Raad informeerde over hetgeen zij toen beschouwde als de relevante grondbeginselen voor toezicht en evaluatie, en haar voorgenomen aanpak na de vaststelling van KP4 beschreef (28). Dit vormde echter geen complete evaluatiestrategie als in het bovenstaande bedoeld (zie de paragrafen 38 en 39). Bovendien heeft de Commissie van 1996 tot 2006 haar evaluatieaanpak voor KP5 en KP6 niet fundamenteel herzien, ondanks het feit dat zowel de inhoud als de oriëntatie van de KP's veranderden (zie paragraaf 7). Met name hebben de „onderzoeks-DG's” geen consistente benadering van de evaluatie van de KP's en de bijbehorende programma's afgesproken die verder gaat dan de wettelijke voorschriften die zijn vastgesteld in 1999 (voor KP5), in 2002 (voor KP6) en in 2006 (voor KP7) (29).

42. Voor de lopende programmeringsperiode is het ontbreken van een strategische evaluatieaanpak op dit gebied bijzonder problematisch, aangezien KP7 door meerdere DG's, de ERO en de uitvoerende agentschappen gezamenlijk wordt uitgevoerd, en aangezien het Financieel Reglement voorschrijft dat het personeel rouleert voor gevoelige posten. Het staat ook in contrast met de huidige praktijk op het gebied van externe steunmaatregelen, het op één na grootste gebied dat rechtstreeks door de Commissie wordt beheerd. Op dit gebied hebben de bevoegde DG's sinds 2002 gemeenschappelijke meerjaren-evaluatiestrategieën afgesproken die zijn gekoppeld aan de programmeringsperioden (zie paragraaf 52).

43. Dit ontbreken van een duidelijk geformuleerde evaluatiestrategie vormt ook een sterke tegenstelling met de situatie in de Verenigde Staten en Canada, waar het hebben van een strategie in de regelgeving is voorgeschreven (zie bijlage III).

44. Zoals hierna wordt geïllustreerd, zijn er tussen de KP's grote verschillen in dekking en intensiteit van de evaluatie. Ook deden zich andere gebreken voor, zoals coördinatieproblemen, verschillen in methodologische aanpak, problemen met de timing en de tekortschietende bekendmaking en follow-up van de evaluatiebevindingen, die verderop in dit verslag worden besproken. Hieruit blijkt dat het ontbreekt aan een complete evaluatiestrategie voor de KP's.

Verschillen in dekking en intensiteit van de evaluatie binnen het KP

45. De KP's bestaan uit een aantal specifieke programma's (en subprogramma's) die sterk kunnen verschillen wat betreft hun doel, onderliggende tendensen en begrotingsmiddelen (zie voor KP7 bijlage IV). De specifieke bepalingen van de verschillende KP-besluiten in combinatie met het Financieel Reglement (30) — dat evaluatie voorschrijft voor programma's en activiteiten die grote uitgaven meebrengen — houden in dat evaluatie van het KP als geheel en van de meeste specifieke programma's waaruit het bestaat reeds sinds KP4 een wettelijke vereiste is.

46. De Commissie heeft niet geregeld wanneer de specifieke programma's of subprogramma's moeten worden geëvalueerd en heeft ook geen gemeenschappelijke drempelwaarde bepaald waarboven dit verplicht is. Dat heeft geleid tot uiteenlopende opvattingen over hetgeen moet worden geëvalueerd en hoe uitvoerig dat moet gebeuren. — DG Informatiemaatschappij vond dat het IST-programma op zichzelf al een groot uitgavenprogramma was en organiseerde in 2004 een volledige VJB naast die van het KP als geheel; — DG Onderzoek organiseerde niet systematisch dergelijke beoordelingen van specifieke programma's, hoewel het verantwoordelijk was voor verscheidene programma's met budgetten van vergelijkbare grootte.

47. Het gevolg was dat bij de VJB 2004 aanzienlijke delen van programma's van KP4 en KP5 helemaal niet werden geëvalueerd (dit gold voor 30 % van alle begrotingskredieten voor KP4 en 50 % van die voor KP5). Dat betekent dat de Commissie niet heeft voldaan aan de evaluatievoorschriften in artikel 27, lid 4, van het Financieel Reglement.

48. Deze uiteenlopende interpretaties van de minimumvereisten betreffende evaluatie en de daaruit voortvloeiende ondermaatse evaluatie van de KP's in het verleden illustreren het gebrek aan coördinatie en de gevolgen van het ontbreken van een strategische aanpak van de evaluatie van de KP's door de Commissie.

Aanbevelingen

49. De „onderzoeks-DG's” moeten dringend een gemeenschappelijke evaluatiestrategie voor de KP's ontwikkelen en overeenkomen. Die strategie mag niet al te prescriptief zijn maar moet toch zorgen voor een consistente aanpak met betrekking tot de evaluatie van de KP's en hun deelprogramma's. Tevens moet zij aangeven vanaf welk minimum een gedetailleerde evaluatie moet plaatsvinden, zodat rekening kan worden gehouden met de specifieke aspecten van elk wetenschappelijk terrein.

Opzet van de evaluatie van de KP's

50. De evaluatie van de KP's moet worden ondersteund door passende organisatorische regelingen die voortvloeien uit de strategische oriëntatie van de Commissie voor de evaluatie van de KP's. De Rekenkamer onderzocht in welke mate de organisatiestructuur waarborgde dat het evaluatiesysteem behoorlijk werd gecoördineerd, beschikte over voldoende middelen en door de betrokkenen ook als voldoende onafhankelijk werd beschouwd.

Commissie

De KP's worden wel gemeenschappelijk uitgevoerd door meerdere DG's, maar de verantwoordelijkheid voor de evaluatie is gedecentraliseerd

51. Binnen de Commissie ligt de verantwoordelijkheid voor het evalueren van de uitgavenprogramma's bij de afzonderlijke DG's (zie paragraaf 8) en binnen elk DG werd een eigen evaluatiedienst opgericht. Die diensten zijn belast met het plannen, coördineren en uitvoeren van evaluaties.

52. Anders dan op andere beleidsterreinen ontbreekt het hier aan een specifiek coördinatieorgaan of één dienst voor de evaluatie van het gehele KP, bijvoorbeeld een gemeenschappelijke evaluatiedienst voor alle „onderzoeks-DG's”. Op het gebied van de externe steun is er een gemeenschappelijke evaluatiedienst opgericht voor drie DG's (Ontwikkeling, Buitenlandse betrekkingen en EuropeAid), die belast is met de evaluatie van de ontwikkelingsprogramma's van de Commissie in derde landen (zie paragraaf 42).

53. DG Onderzoek zorgt via het interne OTO-evaluatienetwerk van de Commissie voor uitwisseling van informatie tussen de evaluatiediensten van de verschillende DG's, maar heeft niet de bevoegdheid om op dit gebied minimumeisen te stellen. Dit mechanisme is echter ontoereikend voor een deugdelijke coördinatie van de KP-evaluatie door de Commissie.

54. De Commissie heeft haar algemene aanpak van de evaluatie herzien in 2000 en in 2002, en nogmaals in 2007 (zie paragraaf 14). Hoewel er geen sterke verbetering werd waargenomen in de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de gehele Commissie.

De centrale diensten van de Commissie: normgeving, geen handhavende rol

55. De centrale diensten van de Commissie (vooral DG Begroting en het Secretariaat-generaal) verstrekken methodologisch advies, bepalen gemeenschappelijke normen voor de Commissie als geheel en houden toezicht op de wijze waarop de DG's en diensten de normen toepassen (zie de paragrafen 14 en 70). Zij kunnen niet voorschrijven hoe de praktische uitvoering van de evaluaties moet verlopen.

56. De ervaring in de Verenigde Staten en Canada leert dat de handhaving door regelgevende organen daar zeer nuttig is om het evaluatiesysteem doeltreffend te laten functioneren. In beide landen bepalen en handhaven federale diensten het kader waarbinnen het succes van een programma uiteindelijk wordt beoordeeld (zie bijlage III). De achtergrond is wel verschillend, maar de systemen berusten toch op hetzelfde principe dat een ander orgaan dan hetgeen het programma uitvoert het ontwerp van het evaluatiesysteem vrij gedetailleerd moet beoordelen en de doeltreffendheid ervan moet onderzoeken. Hetzelfde kan worden vastgesteld in bepaalde lidstaten (zoals Frankrijk (31), Spanje (32) en Duitsland (33)), waar externe organen toezicht houden op de evaluaties door de financieringsorganen of die evaluaties zelf verrichten.

Panels

Panels van externe deskundigen: voorgeschreven in KP-regelgeving sinds KP4

57. Sinds KP4 moesten alle grote evaluatierondes (en het jaarlijkse toezicht) op de KP's worden verricht door (of met de hulp van) panels van externe deskundigen (zie bijlage II). Het vinden van de geschikte deskundigen is weliswaar problematisch, maar dergelijke panels kunnen zorgen voor transparantie, een zekere mate van onafhankelijkheid bieden, de deelname van betrokkenen vergemakkelijken en gebruik maken van kennis van de KP's zelf, van evaluatie en van de onderliggende wetenschappelijke thema's.

58. Dit werd bevestigd in de onderzoeken van de Rekenkamer, die uitwezen dat de ondervraagden vonden dat het op panels gebaseerde evaluatiesysteem van de Commissie onafhankelijkheid garandeerde (zie figuur 4).

Zwakke punten in de door de Commissie toegepaste aanpak met panels

59. Ondanks dit positieve beeld werd de inschakeling door de Commissie van panels ter evaluatie van de KP's gekenmerkt door de volgende zwakke punten, zoals panelleden en betrokkenen de Rekenkamer tijdens de controle duidelijk maakten: — de evaluatiepanels worden gewoonlijk pas minder dan een jaar vóór hun rapportagedatum gevormd en houden slechts een beperkt aantal vergaderingen. Daardoor is het voor de panelleden moeilijk mede te bepalen welke gegevens en analyses nodig zijn voor hun werk. Doordat panels een „ad hoc”- en tijdelijk karakter hebben, is het bovendien niet gemakkelijk kennis te verzamelen over de programma's en is follow-up op langere termijn van relevante onderwerpen niet mogelijk. Dit is vooral een tekortkoming wanneer (zoals bij KP7) in de loop van de programmeringsperiode een aantal grote evaluatierondes zijn gepland (zie bijlage II). Daar tegenover staat de praktijk van de Commissie met de adviesgroepen van deskundigen (AGD) voor de KP's, die permanente organen zijn (34). Ook in Canada (35) zijn de evaluatiepanels permanente organen die als zodanig een consistente en coherente aanpak kunnen garanderen (zie bijlage III); — wanneer de Commissie de opdracht van de panels bepaalt en de evaluatievragen formuleert, raadpleegt zij geen externe betrokkenen zoals bedrijven en grote onderzoeksinstellingen die deelnemen aan de KP's. Het toezichtspanel van 2004 heeft dit probleem eveneens opgemerkt en verklaard dat potentiële gebruikers al vroeg bij het proces moeten worden betrokken (36), en — de panels gaan anders te werk dan bij een „peer review”. De leden hebben geen tijd om zelf evaluaties te verrichten; zij brengen doorgaans advies uit op basis van de gegevens en bewijzen die hun uit andere bronnen ter beschikking zijn gesteld. Als gevolg van de tijdsdruk hebben de panels slechts beperkte mogelijkheden om opdracht te geven voor de bijkomende onderzoeken die nodig zijn om de in hun opdracht vermelde kwesties te kunnen oplossen. Op enkele uitzonderingen na beschikten de VJB-panels in de praktijk alleen over door de Commissie verstrekte informatie.

Middelen

Er zijn geen middelen specifiek bestemd voor de KP-evaluatie

60. De financiering voor de evaluatie wordt elk jaar toegekend op basis van de behoeften, omschreven door de DG's die de KP's uitvoeren. Momenteel is deze afkomstig van Commissiebrede kredieten van DG Begroting in combinatie met kredieten uit het administratieve deel van de begroting op het niveau van de betrokken DG's. Bovendien worden specifieke maatregelen gefinancierd als indirecte maatregelen uit de operationele begroting van de KP's. Dat betekent dat geen enkel bedrag specifiek wordt uitgetrokken voor evaluatie.

61. In 2006 werd het gemiddelde voor de gehele Commissie van personeel dat werkt aan evaluatie en activiteitengeoriënteerd management geschat op ongeveer 1 % van het totale personeelsbestand (37). Voor toezicht- en evaluatiewerkzaamheden bij DG Onderzoek en DG Informatiemaatschappij bedroeg dit 1,2, respectievelijk 1,3 %. In het geval van DG Onderzoek werd echter ruim tweederde van die personele middelen ingezet voor de diensten voor operationele programma's en niet voor de evaluatiedienst, en evaluatie was slechts één van hun vele taken.

Financiering voor de KP-evaluatie lager dan de Commissie aanbeveelt

62. De voor evaluatie uitgetrokken middelen kunnen ook worden uitgedrukt als percentage van de totale begrotingskredieten die aan het programma zijn toegewezen. Tijdens de controle verkregen cijfers wijzen uit dat dit in de praktijk voor onderzoeksprogramma's binnen de lidstaten van de EU tussen 0,1 en 2 % ligt. Volgens de richtlijnen van de Commissie moet 0,5 % van de begroting voor een programma worden besteed aan evaluatie (38). Bij grotere programma's kan dankzij schaalvoordelen echter een kleiner deel van hun begroting volstaan.

63. Vergelijking tussen de cijfers van de Commissie betreffende de uitgaven voor evaluatie in de periode 2003-2006 en de begrotingskredieten voor elk directoraat-generaal levert een algemeen gemiddelde van ongeveer 0,15 % op, hetgeen ver onder het door de Commissie gesuggereerde niveau ligt. Nader onderzoek voor het jaar 2006 wijst uit dat DG Informatiemaatschappij ongeveer vier maal meer uitgaf voor evaluatie dan DG Onderzoek, gelet op de kredieten waarvoor ze respectievelijk verantwoordelijk zijn. Bovendien wordt bij DG Onderzoek per miljoen euro jaarlijkse begroting slechts 0,7 % van een volledige dagtaak besteed aan evaluatie. In vergelijking daarmee geeft DG Informatiemaatschappij dubbel zoveel uit.

64. Zoals dit verslag aantoont, heeft de extra inspanning van DG Informatiemaatschappij geleid tot een verder reikende evaluatie (zie de paragrafen 13 en 46) en tot het gebruik van methodologieën die beter geschikt zijn om in te spelen op de evaluatiebehoeften, zoals blijkt uit de door de Rekenkamer onderzochte steekproef van evaluatiestudies (zie paragraaf 84).

65. Aan de hand van gegevens van de Commissie maakte de Rekenkamer een kostenraming die uitwijst dat een op de voorstellen in dit verslag gebaseerd evaluatiesysteem gemiddeld minder dan 0,4 % van de begrotingskredieten voor KP7 zou uitmaken. Dit zou de kosten dekken van panels, uitbestede studies, personeel voor zowel de gemeenschappelijke evaluatiedienst als de bestaande evaluatie-eenheden van de DG's zelf alsook andere diverse kosten (39).

Aanbevelingen

66. De „onderzoeks-DG's” moeten overwegen, naast de bestaande evaluatie-eenheden in elk DG een gemeenschappelijke evaluatiedienst op te zetten. Zoals gebruikelijk is op andere beleidsterreinen, zou deze de evaluatiewerkzaamheden van de Commissie voor het gehele KP kunnen coördineren. Dergelijke gemeenschappelijke ondersteunende functies werden al eerder aanbevolen voor de DG's die de KP's uitvoeren (40) en kunnen in de toekomst nog belangrijker worden door de instelling van de EOR en de delegatie van de programma-uitvoering aan uitvoerende agentschappen. 67. De Commissie moet gebruik blijven maken van evaluatiepanels als hulp bij haar evaluatiewerkzaamheden. Zij moet echter nagaan hoe de panelstructuur kan worden ingepast in de algemene programmastructuur van de KP's. Dat kan door te werken met panels voor specifieke programma's en zo mogelijk voor subprogramma's (zie bijlage IV). Bovendien moeten die panels tijdig genoeg worden opgezet om de Commissie op doeltreffende wijze te steunen tijdens de hele programmeringsperiode en daarna. 68. De Commissie dient opnieuw te bekijken hoeveel middelen worden besteed aan de evaluatie van de KP's en hun deelprogramma's.

Evaluatiemethodologieën en -technieken

69. Doeltreffende evaluatie vergt toepassing van de juiste methodologieën en technieken. De Rekenkamer onderzocht in hoeverre specifieke richtlijnen waren gegeven voor de evaluatie van de KP's, of de behoeften aan informatie tijdig en behoorlijk werden onderzocht en of de beoordelaars relevante gegevens ter beschikking werden gesteld. Met betrekking tot de door (of voor) de Commissie verrichte evaluatiestudies controleerde de Rekenkamer of de in de afzonderlijke studies toegepaste technieken voldoende basis vormden om de bij de VJB's gestelde vragen te kunnen beantwoorden. Tevens werd bekeken welke bijdrage evaluaties op nationaal niveau kunnen leveren voor de evaluatie van de KP's.

Invoering van specifieke normen en richtlijnen voor de KP's

70. DG Begroting heeft verscheidene mededelingen doen uitgaan met de beschrijving van en de uitvoeringsvoorschriften voor zijn evaluatiebeleid, en dit DG heeft ook een pakket Commissiebrede normen opgesteld (zie de paragrafen 14 en 55) (41). Op andere beleidsterreinen hebben de bevoegde DG's ook specifieke evaluatiehandleidingen samengesteld (42).

71. Dat geldt echter niet voor de KP's. Er is een aantal methodologische handleidingen en instrumenten voor evaluatiewerkzaamheden op het gebied van onderzoek gepubliceerd of gefinancierd door de Commissie (43). Deze geven echter geen specifieke instructies voor het verrichten van KP-evaluaties en bepalen ook niet welke basisbegrippen of terminologie het Commissiepersoneel of de externe deskundigen moeten hanteren. Dit heeft bijgedragen tot de problemen die hierna worden besproken.

Gegevensbehoeften en -verzameling

Onvoldoende analyse van de informatiebehoeften

72. De „onderzoeks-DG's” hebben te weinig aandacht besteed aan de vraag welke gegevens nodig zijn voor evaluatie en toezicht. De informatiebehoeften werden niet systematisch en uitvoerig geanalyseerd; welke gegevens nodig waren heeft de Commissie pas laat in de programmeringsperiode bepaald en dan zonder te letten op de algemene evaluatiebehoeften. De sociaaleconomische vragenlijst voor KP6 was de enige gemeenschappelijke poging van de DG's om het eens te worden over dergelijke gegevens (zie paragraaf 76). Deze werd echter voltooid in 2004 (drie jaar na het begin van de programmeringsperiode) en betreft vooral aspecten als de deelname van mannen en vrouwen of milieu-effecten, niet de wetenschappelijke output (bijvoorbeeld kwesties als intellectuele eigendom, publicaties, enz.), de uitkomsten of de impact.

73. De beoordeling van de programma's is sterk afhankelijk van de beschikbaarheid van drie soorten gegevens: — gegevens die zijn verzameld volgens „doeltreffendheidsindicatoren”, waarvan de analyse inzicht geeft in de vorderingen in de richting van de doelstellingen van het programma. Door het reeds eerder besproken ontbreken van interventielogica was het moeilijk dergelijke indicatoren te definiëren (zie paragraaf 30). In de praktijk waren de verzamelde gegevens weinig relevant voor het meten van de realisatie van de programmadoelstellingen; — gegevens over het programmabeheer (volgens „doelmatigheidsindicatoren”), en — gegevens over deelnemers (bijvoorbeeld de mate van deelname door grote onderzoeksinstellingen).

74. Vooral de laatste twee soorten gegevens zouden beschikbaar moeten zijn bij de Commissie. Maar door moeilijkheden in verband met de interne IT-systemen van de Commissie — de bron van de meeste gegevens over programmabeheer en deelnemers (44) — bleek dit in de praktijk bijzonder problematisch (45).

75. Een illustratie hiervan is de aanzienlijke vertraging in het beschikbaar stellen van de verslagen krachtens artikel 173 en de jaarlijkse toezichtsverslagen (tot 16 (46), respectievelijk 7 maanden in de periode 2002-2005). Aangezien deze informatie telkens weer te laat kwam, had ze weinig nut.

Ondoeltreffende aanpak van het inwinnen van evaluatiegegevens bij de deelnemers

76. Sinds KP5 heeft de Commissie de deelnemers systematisch contractueel verplicht de nodige gegevens te verstrekken om de verwezenlijking van de programmadoelstellingen te kunnen meten in termen van output, uitkomsten en impact, en wel als volgt: — in het kader van KP5 moesten de deelnemers een „technologisch uitvoeringsplan” indienen alsook een eindverslag na de voltooiing van het project. Die documenten waren vaak van matige kwaliteit of werden helemaal niet ingediend; — in het kader van KP6 moeten ze een „plan voor de verspreiding en benutting van kennis” overleggen en bij de indiening van hun jaarlijkse technische verslagen een standaardvragenlijst beantwoorden over sociaaleconomische thema's.

77. Deze contractuele verplichting tot gegevensverstrekking hield een onnodig administratief karwei in voor de deelnemers. Zo worden voor de jaarlijkse vragenlijst van KP6 veel vaker dan nodig gegevens verzameld uit de gehele populatie van projecten, terwijl een representatieve steekproef zou volstaan. Dit zal allicht leiden tot „evaluatiemoeheid”. Bovendien werd die informatie niet op het juiste moment verzameld; vele vraagstukken waarover gegevens worden verzameld, spelen op middellange of lange termijn, zodat gegevensverzameling binnen de contractuele looptijd van het project per definitie voorbarig is (47). De met deze middelen verzamelde informatie heeft derhalve weinig praktisch nut gehad voor de evaluaties van KP5 en KP6.

78. Geen van de bestaande systemen regelt echter dat er op gestandaardiseerde wijze informatie wordt verzameld aan het einde van (of kort na) de looptijd van een project. Bij navraag suggereerden betrokkenen dat dergelijke informatie onder meer de realisatie van projectdoelstellingen kon omvatten, alsmede de beoogde (en onvoorziene) resultaten en de indruk bij de deelnemers dat de Gemeenschap een toegevoegde waarde oplevert. Die informatie kan ook dienen als basis voor externe onderzoeken van voltooide projecten (48).

79. Samen met een uitgebreidere toepassing van scientometrische methoden (zoals de citatie-analyse) om de projectresultaten te beoordelen (zie paragraaf 83) zou dit de Commissie een basis kunnen geven om te komen tot een meer resultaatgeoriënteerd systeem voor de cofinanciering van OTO-werkzaamheden door de Gemeenschap (49).

Andere gegevensbronnen worden niet behoorlijk benut

80. Er wordt onvoldoende gebruik gemaakt van andere bestaande gegevensbronnen binnen de Commissie en in de lidstaten (bijvoorbeeld de databanken van nationale OTO-programma's en financieringsorganen en de Informatiedienst betreffende communautaire onderzoek- en ontwikkelingswerkzaamheden (Cordis), die wordt gerund door het Publicatiebureau van de Commissie (50)).

Door de Commissie verrichte evaluatiestudies

Door de Rekenkamer onderzochte verslagen

81. De Rekenkamer onderzocht 86 evaluatiestudies die sinds 2000 door (of voor) de Commissie werden uitgevoerd. Hieronder vallen alle 36 studies waarop de in 2004 gepubliceerde VJB berustte en de 50 andere studies die sindsdien werden voltooid. Daarvan kunnen slechts 23 studies worden beschouwd als echte evaluaties van het KP en zijn programma's (zie figuur 5). Figuur 5 Overzicht van de door (of voor) de Commissie in de periode 2000-2006 verrichte evaluatiestudies Soort studie Aantal Beschrijving Evaluaties van KP-werkzaamheden 23 Evaluatiestudies — die zijn gebaseerd op erkende methodologieën (51), en — specifiek verwijzen naar programmadoelstellingen en aangeven in hoeverre de programmadoelstellingen zijn gerealiseerd. Nationale impactbeoordelingen op lidstaatniveau 12 Door lidstaten verrichte studies die vooral gericht zijn op de nationale participatiegraad en geen conclusies trekken inzake de programmadoelstellingen. Methodologische studies 5 Door de Commissie georganiseerde studies als bijdrage aan de ontwikkeling van evaluatiemethodologieën. Studies van de stand van het OTO in Europa 2 Studies die gericht zijn op de contextuele analyse van de onderzoekswereld in Europa, niet op de KP's. Met name wordt niet expliciet verwezen naar het effect dat de KP's hebben op de nationale systemen voor onderzoek en innovatie. Niet-analytische beschrijvende en statistische documenten 33 Documenten gekenmerkt door een zeer indirecte benadering van de KP-activiteiten, die vaak beschreven maar niet geanalyseerd worden. Andere documenten 11 Een reeks documenten betreffende algemene beleidsaspecten waarin de KP's niet in deze context worden onderzocht.

De evaluaties zijn toegespitst op aspecten van toezicht maar niet op uitkomsten en impact

82. De meta-analyse van deze specifieke evaluatiestudies door de Rekenkamer levert twee belangrijke bevindingen op: — hoewel in vele van de studies wordt getracht conclusies te trekken over de programmadoelstellingen, zijn deze conclusies vaag zodat de lezer niet overtuigd is dat de evaluatie daarop werkelijk betrekking heeft. Dat komt vaak doordat het ontbreken van duidelijke programmadoelstellingen het hele proces ernstig ondermijnt (zie paragraaf 28); — in plaats van de uitkomsten en impact van de KP's of de specifieke programma's (en subprogramma's) daarvan te evalueren, zijn vele van die documenten beschrijvend en in het beste geval gericht op directe output en aspecten van projectbeheer. Deze verslagen kunnen geen overtuigend bewijs leveren met betrekking tot uitkomsten of impact.

Onvoldoende aandacht voor de ontwikkeling van innovatieve methodologieën

83. Voor de evaluaties in de periode 2000-2006 wordt overwegend gebruik gemaakt van traditionele methodologieën en technieken (met name onderzoeken, beoordeling van stukken en interviews) (zie figuur 6). Verder werd een aantal andere geavanceerde maar gevestigde evaluatiemethodologieën en -technieken niet of zeer zelden toegepast, met name: — scientometrische methoden (zoals de citatie-analyse) (52), — kwantitatieve modellen (kostenefficiëntie, kosteneffectiviteit, kosten/baten) (53), of — actor- of gedragsmodellen (gericht op de zienswijze van de betrokkenen bij een interventie, bijvoorbeeld de kenmerken van onderzoeksnetwerken en de wijzigingen daarvan in de loop der tijd).

84. Slechts in een beperkt aantal gevallen werd bij evaluatiestudies getracht in te gaan op methodologische problemen bij de beoordeling van de overheidsinterventie in onderzoeksactiviteiten (zie bijlage I): — onlangs werden twee studies omtrent interventielogica voltooid (54); — er werden slechts drie studies aangetroffen waarin wordt getracht te meten welk effect de communautaire financiering had op de pan-Europese netwerkvorming tussen onderzoeksorganisaties (55), hoewel de veronderstelling van een positief effect de kern van het EOR-concept vormt; — slechts in één geval werd getracht te komen tot conclusies over de bereikte impact op het niveau van de programma's (of subprogramma's) door de samenvoeging van analyses van de evaluaties op projectniveau te combineren met andere evaluatietechnieken (56), en — er was geen bewijs voor het gebruik van andere methodologieën zoals feitentoetsing (of controlegroepen). Een dergelijke aanpak zou bijzonder nuttig zijn ter illustratie van de toegevoegde waarde van programma's op communautair niveau, in vergelijking met het achterwege blijven van interventie (of interventie op nationaal of regionaal niveau).

85. Door de Rekenkamer ondervraagde betrokkenen waren van mening dat het nut en de relevantie van de evaluaties van de Commissie vatbaar waren voor verbetering. Dit wijst op de noodzaak van verdere methodologische ontwikkeling om te komen tot een evaluatiesysteem dat rekening houdt met de veranderende aard van de KP's (zie paragraaf 7) (57).

Belangrijke kwesties die in de VJB's aan de orde werden gesteld konden niet worden aangepakt op basis van de specifieke evaluatiestudies van de Commissie

86. Dat blijkt ook uit de grote problemen die het panel voor de VJB 2004 (58) ondervond bij het beantwoorden van de in de opdracht voorgestelde evaluatievragen. Vele van deze uitdagende vragen konden helemaal niet worden behandeld omdat eerder door (of voor) de Commissie uitgevoerde en relevante studies ontbraken en omdat de panelleden niet de mogelijkheid hadden tijdig opdracht te geven voor dergelijke studies (zie figuur 7). Figuur 7 Beantwoording van evaluatievragen in de VJB van 2004 Evaluatievraag Beantwoord in verslag? UITVOERING Werden de activiteiten efficiënt uitgevoerd? gedeeltelijk Waren de activiteiten kostenefficiënt? gedeeltelijk Waren de activiteiten de beste manier om de gekozen doelstellingen te bereiken? nee Waren de algemene regelgeving (inclusief regels inzake deelname en contracten), de beleidsinstrumenten en de uitvoeringsvoorschriften duidelijk, adequaat en doeltreffend? nee Waren de financiering en de andere beschikbare middelen toereikend? nee Waren de beoogde industriële en wetenschapswereld, waaronder het MKB, in staat behoorlijk te reageren? ja VERWEZENLIJKING Zijn met de activiteiten hun respectieve doelstellingen bereikt en in hoeverre waren er onverwachte resultaten? nee Wat zijn de voornaamste resultaten, vooral in termen van wetenschappelijke, technologische, sociaaleconomische en milieu-output, in termen van internationale samenwerking, kennisoverdracht en innovatie, normerende activiteiten, toegankelijkheid, verspreiding en begrip van onderzoek, ontwikkeling van personele middelen, mobiliteit en opleiding, en in termen van ondersteuning en versterking van de coördinatie van de onderzoeksactiviteiten? nee Waren de resultaten, effecten en impact in het algemeen bevredigend uit het oogpunt van de directe of indirecte begunstigden en betrokkenen? nee Werd de betrokken industriële en wetenschapswereld, waaronder het MKB, voldoende aangesproken? ja Hoe en in welke mate hebben de activiteiten bijgedragen tot een beter concurrentievermogen van het Europees onderzoek op internationaal niveau? Heeft het Europees onderzoek op specifieke terreinen een leidende positie ingenomen? gedeeltelijk Hoe en in welke mate hebben de activiteiten bijgedragen aan het EU-beleid in het algemeen en aan de EU-strategie voor duurzame ontwikkeling? nee Zijn er bewijzen dat er ten gevolge van de communautaire onderzoeksactiviteiten op nationaal of internationaal niveau structurele veranderingen plaatsvonden, met name ook op het gebied van netwerken, integratie en coördinatie van het onderzoek? nee Waren de programma's kosteneffectief? Hadden de acties een blijvende impact? nee EVOLUTIE EN VOORUITZICHTEN Hoe evolueerden de kaderprogramma's in termen van grondgedachte, doelstellingen, thematische prioriteiten, evenwicht tussen opwaartse en neerwaartse prioriteiten en tussen fundamenteel en toegepast onderzoek, instrumenten, Europese toegevoegde waarde en andere soorten impact, vooral in het licht van het ontstaan van het EOR-concept, de doelstellingen van Lissabon en de grote internationale economische en onderzoeksijkpunten? ja Hoe zorgde het kaderprogramma voor een Europese toegevoegde waarde? ja Kan de Europese toegevoegde waarde worden bereikt met andere internationale of nationale mechanismen? nee Zijn de beleidsdoelstellingen, prioriteiten, instrumenten en looptijd van de programma's berekend op de toekomst? ja

87. Bovendien werd opgemerkt dat de panelleden de in de opdracht vermelde vragen alleen konden beantwoorden voor aspecten waarvoor in de programma's duidelijke en kwantificeerbare doelstellingen waren aangegeven (zoals het aandeel van de deelnemende kleine en middelgrote ondernemingen).

Evaluaties op nationaal niveau voor de KP's

88. Verscheidene lidstaten en geassocieerde landen verrichten hun eigen nationale evaluaties van de KP's, waarbij ze relevante en interessante vragen onderzoeken vanuit hun eigen perspectief (59). De afgelopen acht jaar werden 14 van deze studies verricht voor negen lidstaten en één geassocieerd land.

89. Hoewel de Commissie een gestandaardiseerde aanpak — waar mogelijk — aanmoedigde, waren deze nationale impactstudies zeer heterogeen (60). Aangezien hierbij geen geharmoniseerde methodologie werd toegepast, zijn er weinig mogelijkheden om de resultaten samen te voegen, te combineren of te vergelijken. Door hun nationaal karakter kunnen die studies ook slechts ten dele de dimensie van de Europese samenwerking weergeven.

90. In het „Groenboek” van de EOR uit 2007 wees de Commissie erop hoe belangrijk het was dat op EOR-niveau accurate analyses beschikbaar waren van de impact en doeltreffendheid van onderzoeksacties en -beleid, ook van de lidstaten en de EU. Tevens erkende zij dat de bestaande regelingen ontoereikend waren om dat te realiseren doordat op elk interventieniveau apart evaluaties werden uitgevoerd (61).

Aanbevelingen

91. De Commissie dient een handleiding op te stellen voor de evaluatie van de met de KP's gefinancierde acties; deze moet de voornaamste begrippen en terminologie definiëren en een aantal geschikte methodologieën vastleggen voor bepaalde evaluatiewerkzaamheden. De handleiding moet voortbouwen op bestaande richtlijnen en instrumenten, en regelmatig worden bijgewerkt. 92. De Commissie moet haar informatiebehoeften vaststellen, rekening houdend met de noodzaak de administratieve last voor de deelnemers te beperken. 93. De Commissie moet tijdig toezichtinformatie verstrekken inzake de uitvoering van de KP's. Zoals de deelnameregels voor KP7 voorschrijven, moeten problemen in verband met de IT-systemen van de Commissie voor het beheer van de gegevens inzake programmabeheer en deelnemers dringend worden aangepakt. 94. De plicht van de deelnemers tot rapportage aan de Commissie moet sterk worden beperkt en er mogen alleen steekproefsgewijs enquêtes worden verricht. De contractuele verplichting, voor elk project op indicatoren gebaseerde impactgegevens voor te leggen, moet worden vervangen door een verplichte korte zelfevaluatie na afronding van het project. 95. De Commissie moet voor haar evaluaties uitgebreider gebruik maken van de bestaande aanvullende bronnen van relevante gegevens (binnen de Commissie en in de lidstaten). 96. De Commissie moet het hele gamma van beschikbare evaluatietechnieken benutten. Bovendien moet zij de ontwikkeling van innovatieve benaderingen steunen om zo de methodologische problemen aan te pakken die inherent zijn aan het evalueren van overheidsinterventies in onderzoek (zie bijlage I); zij moet die benaderingen ook volgen bij haar eigen evaluaties. 97. De Commissie moet met de lidstaten overleggen hoe de nationale evaluaties van de KP's optimaal kunnen worden benut.

Verspreiding en benutting van de evaluatiebevindingen

98. De evaluatie moet relevante informatie en analyses opleveren die doeltreffend kunnen worden gebruikt voor programmabeheer en beleidsvorming. Meer bepaald moet de evaluatie dienen als basis voor een welgeïnformeerde afweging van de sterke en zwakke punten van een overheidsinterventie die nodig is om bij te leren. De Rekenkamer onderzocht in hoeverre de evaluaties goed getimed waren, de bevindingen werden verspreid en meegedeeld aan de betrokkenen buiten de Commissie en aanbevelingen ter harte werden genomen door de Commissie om lopende programma's bij te sturen („lerende” programma's).

Bij de timing van de evaluaties werd geen rekening gehouden met het soort informatie dat realistisch gezien kon worden verwacht

99. De Rekenkamer onderkent dat bepaalde soorten analyse een langetermijnperspectief vereisen (bijvoorbeeld de evaluatie van de uitkomsten en de sociaaleconomische impact) en dat sommige aspecten een specifieke programmeringsperiode betreffen (bijvoorbeeld de programmadoelstellingen, zelfs binnen een bepaald wetenschappelijk terrein), terwijl dat bij andere niet het geval is (zie figuur 8). De Commissie heeft voor haar evaluatiewerkzaamheden echter niet voor een aanpak gekozen die dit tijdsaspect in aanmerking neemt.

100. De regelgeving bepaalt dat de Commissie bij haar voornaamste evaluatiewerkzaamheden uitsluitend moet kijken naar de vijf jaar die voorafgaan aan een VJB, zodat delen van twee opeenvolgende programmeringsperioden worden bestreken. Dit brengt mee dat de uitkomsten en impact op middellange en lange termijn nauwelijks aan de orde zijn gekomen. Dat heeft weer tot gevolg dat de VJB's vooral aandacht hebben besteed aan monitoring-aspecten, kortetermijnvraagstukken omtrent programmaontwerp en algemene opmerkingen over de oriëntatie van de KP's. De Rekenkamer is ingenomen met het feit dat de regelgeving betreffende KP7 niet langer VJB's voorschrijft en ook geen andere vooraf vastgelegde te bestrijken periode. Figuur 8 Aspecten van toezicht en evaluatie vanuit verschillend tijdsperspectief Toezicht op de programma-uitvoering (lopend) — Aspecten van programmabeheer (zoals de tijd tot contractsluiting, de tijd tot betaling, inschrijvings- en slaagpercentages, begrotingsuitvoering, financieringspercentages, enz.) Evaluatie op korte termijn (ten vroegste na een à twee jaar) — Aspecten van programmabeheer (zoals de doelmatigheid van de administratieve procedures) — Aspecten van programmaontwerp (zoals de toegankelijkheid en soepelheid van de instrumenten, belemmeringen voor deelname, gevolgen van het niet slagen van uitnodigingen tot het indienen van voorstellen, enz.) — Analyse van deelnameprofielen (in deze fase vooral kwantitatief) Evaluatie op middellange termijn (na ongeveer zeven jaar) — Aspecten van programmaontwerp (zoals de doeltreffendheid van de instrumenten) — Analyse van deelname (die kwalitatieve en kwantitatieve aspecten combineren, zoals analyse van onderzoeksnetwerken, impact op het gedrag van de onderzoekers, enz.) — Analyse van projectoutput (62) (zoals publicaties, verhandelingen, octrooien, licenties, normen, prototypes, getrainde wetenschappers, enz.) Evaluatie op lange termijn (na meer dan tien jaar) — Beoordeling van uitkomsten en impact Bron: Europese Rekenkamer.

101. De tekortkomingen van de VJB's wat betreft de beoordeling van de uitkomsten en impact van de KP's werden ook opgemerkt door de deskundigen van de Commissie: — het VJB-panel van 2004 merkte op dat bij evaluatie lange- en kortetermijnvraagstukken moeten worden bekeken en voldoende aandacht moeten krijgen en dat middelen kunnen worden ingezet voor ambitieuzere evaluatiestudies op lange termijn die op meer systematische wijze structurele en bredere sociaaleconomische thema's kunnen onderzoeken (63); — in een studie in opdracht van DG Onderzoek werd vastgesteld dat de bestaande EU-praktijken inzake OTO-evaluatie (waaronder voortdurend toezicht, vijfjaarlijkse beoordelingen en evaluatie halverwege de looptijd) worden gekenmerkt door meer aandacht voor toezicht dan voor impactbeoordeling, alsook dat, om de vraag en de verwachtingen te richten op de sociaaleconomische impact, een nieuw evaluatie- en toezichtskader nodig is dat ertoe verplicht de inspanningen te verleggen van toezicht op outputs naar werken op impactniveau (64).

102. Het tijdigheidsaspect speelt ook een rol bij de specifieke evaluaties, voorgeschreven in de regelgeving. Zo werd het Marimón-rapport 2004, dat de nieuwe instrumenten van KP6 (2003-2006) onderzocht, te vroeg verwacht, met het resultaat dat er weinig of geen praktijkervaring en empirisch bewijs was waarop de conclusies konden worden gebaseerd (65).

Mededeling en verspreiding

103. De Commissie kan zelfstandig de operationele werkprogramma's ontwikkelen en aanpassen in korte termijncycli, mits dit door het bevoegde programmacomité wordt goedgekeurd. Dit kan de gelegenheid bieden om het programmabeheer bij te stellen en de aan subprogramma's toegewezen middelen te herschikken. Er was geen bewijs dat de Commissie deze mogelijkheid benut (zie paragraaf 107).

104. Gezien de wijze waarop de KP's worden opgezet en goedgekeurd is het bovendien voor de Commissie nagenoeg onmogelijk grote veranderingen aan te brengen zoals een wijziging van de programmadoelstellingen of een herverdeling van budgetten over de subprogramma's. Alleen de wetgever kan zulke ingrijpende wijzigingen doorvoeren bij een herziening van de KP-regelgeving (bijvoorbeeld in 2010 voor KP7) of bij de vaststelling van het volgende KP. Om die reden is juist in de regelgeving bepaald dat de grote evaluatierondes zo moeten worden geprogrammeerd dat de resultaten ervan zo goed mogelijk in aanmerking kunnen worden genomen bij de beleidsvorming.

105. Om die reden maken onder meer de „onderzoeks-DG's” zelf intensief gebruik van de evaluaties van de Commissie (66). De regelgeving voor de KP's bepaalt echter uitdrukkelijk dat de evaluaties ook moeten worden meegedeeld aan het Europees Parlement en de Raad.

106. Toch verklaren de meeste respondenten op de enquête van de Rekenkamer bij de commissie ITRE van het Europees Parlement en het comité CREST van de Raad dat zij menen onvoldoende te worden geïnformeerd over de uitvoering en de resultaten van de KP's (zie figuur 9) (67).

Follow-up van de evaluatiebevindingen

107. In haar jaarlijkse evaluatieverslagen geeft de Commissie een overzicht van de bevindingen en van de op grond van haar evaluaties getroffen maatregelen (68). Bij wijze van follow-up heeft de Commissie ook formeel geantwoord op de bevindingen en aanbevelingen van de VJB's en de wettelijk voorgeschreven specifieke evaluaties; voor zover mogelijk heeft zij ook passende maatregelen getroffen om de daarin genoemde tekortkomingen aan te pakken. Dat was echter niet het geval voor vele van de andere bestudeerde evaluatieverslagen en er werd geen bewijs gevonden dat op basis van hun bevindingen en aanbevelingen de werkprogramma's werden gewijzigd. Evenmin blijkt uit de ABB-begrotingsstaten en jaarlijkse activiteitenverslagen van de DG's in hoeverre actie werd ondernomen naar aanleiding van de evaluatiebevindingen.

Aanbevelingen

108. De Commissie dient de aard en reikwijdte te bepalen van de evaluatie die redelijkerwijs mag worden verwacht op de wettelijk voorgeschreven tijdstippen (in 2008, 2010 en 2015), te verklaren hoe de evaluaties kunnen worden benut om de programma's aan te passen („lerende” programma's) en aan te geven wat de evaluaties kunnen bijdragen aan beleidsbeslissingen. Meer bepaald moet de Commissie verduidelijken welke aanpak zij wil volgen betreffende de evaluatie van de resultaten op lange termijn van de vroegere en lopende KP's, aangezien het zeven tot tien jaar kan duren voordat die resultaten worden gerealiseerd (zie figuur 8). 109. De Commissie moet haar praktijken inzake het mededelen en verspreiden van haar evaluatiebevindingen herzien om ervoor te zorgen dat de betrokkenen de nodige informatie ontvangen. Meer bepaald moeten de „onderzoeks-DG's” formeel antwoorden op alle evaluaties en die studies tijdig bekendmaken, samen met hun antwoorden. De „onderzoeks-DG's” moeten ook in hun ABB-begrotingsstaten en hun jaarlijkse activiteitenverslagen de gegeven follow-up melden en aanbevelingen doen wanneer zij werkprogramma's bijwerken en nieuwe programma's ontwerpen.

ALGEMENE CONCLUSIE

110. De Rekenkamer erkent dat het evalueren van de OTO-programma's, en dan vooral het beoordelen van de langetermijnresultaten ervan, op zichzelf al een moeilijke taak is en dat moeilijk te bepalen is welke de beste praktijken zijn.

111. Naar het oordeel van de Rekenkamer is evaluatie van essentieel belang voor het programmabeheer, voor de verdere planning en voor de beleidsvorming. Evaluatie biedt ook een basis voor verantwoording. Ze biedt waardevolle informatie over welke beoogde (of onvoorziene) resultaten werden bereikt, over de mate waarin de programmadoelstellingen werden gerealiseerd, over nut en relevantie van de programma's en over de efficiëntie en doeltreffendheid van de programma-uitvoering. Aangezien het Europees Parlement en de Raad beslissen over de algemene oriëntatie, de begroting en het programmaontwerp van de KP's, is een doorzichtig, geloofwaardig en degelijk evaluatiesysteem vereist om hun de juiste informatie te bezorgen.

112. De Commissie zette een globaal evaluatiekader op in 2000 en 2002, dat vervolgens werd herzien in 2007. Hoewel tijdens de door de Rekenkamer gecontroleerde periode geen sterke verbetering werd opgemerkt van de manier waarop de evaluaties van de KP's en hun deelprogramma's worden gepland, ontworpen en uitgevoerd, hebben de „onderzoeks-DG's” in het algemeen voldaan aan de formele voorschriften voor de hele Commissie.

113. Voor de door dit verslag bestreken periode beschikten de „onderzoeks-DG's” over een evaluatiesysteem, zoals de KP-regelgeving voorschrijft, en kan de Commissie bogen op een aanzienlijk aantal evaluatiestudies. Toch blijft het feit dat weinig tot niets bekend is over de verwezenlijking van de programmadoelstellingen en de resultaten van de KP's. Dit komt doordat de evaluaties doorgaans op de programma-uitvoering op korte termijn zijn gericht. Het gevolg daarvan was dat de evaluaties van de Commissie van beperkt nut waren voor de beleidsmakers, de betrokkenen en zelfs voor de Commissie zelf.

114. Gezien het belang van de evaluatie voor het programmabeheer en de beleidsvorming moet de wijze waarop de Commissie de evaluatie van de KP's en hun deelprogramma's aanpakt opnieuw worden bekeken in het licht van de nieuwe politieke uitdagingen, de verhoogde financiering, een verbrede oriëntatie van het communautaire onderzoeksbeleid en de recente hervorming van de Commissie. Ook de EURAB heeft dit aanbevolen in zijn rapport van 2007.

115. De Rekenkamer is van mening dat het toepassen van een expliciete interventielogica bij het ontwerpen van de volgende KP's zou leiden tot beter gerichte en gestructureerde programma's. Het zou ook bijdragen aan het beleid van de Commissie strekkende tot een „betere regelgeving”, dat gericht is op een beter opgesteld, eenvoudiger, doeltreffender en beter begrepen regelgevingskader (69).

116. De evaluatie van de KP's en hun deelprogramma's zou doeltreffender zijn wanneer de programmadoelstellingen en indicatoren van meet af aan duidelijker waren, de „onderzoeks-DG's” die de KP's uitvoeren een degelijke maar niet al te prescriptieve dwingende evaluatiestrategie afspraken en meer geavanceerde evaluatiemethodologieën, met onder meer kwantitatieve benaderingen, werden toegepast.

117. De Rekenkamer stelde ook vast dat de bestaande organisatorische regelingen van de Commissie voor de evaluatie van de KP's nog op een aantal punten kunnen worden herzien. Het kan nuttig zijn: — eerder in het evaluatieproces panels in te zetten, zodat de Commissie tijdens de hele programmeringsperiode en ook daarna assistentie krijgt en de specialisatie wordt versterkt door te werken met panels voor specifieke programma's en eventueel subprogramma's; — naast de bestaande DG-specifieke evaluatie-eenheden te voorzien in een gemeenschappelijk evaluatiebureau dat de KP-evaluaties moet coördineren.

118. De in dit verslag opgenomen aanbevelingen berusten op bestaande praktijken binnen de Commissie, dan wel op internationale goede praktijken. Wat betreft de middelen is duidelijk dat de invoering van de voorgestelde benadering van programma-evaluatie hogere kosten met zich zou brengen. Niettemin is de Rekenkamer van oordeel dat deze hoogstwaarschijnlijk ten minste zouden worden terugverdiend.

Dit verslag werd door de Rekenkamer te Luxemburg vastgesteld op haar vergadering van 22 november 2007. Voor de Rekenkamer Hubert WEBER President

(1) Volgens de OESO kan onderzoek en ontwikkeling worden gedefinieerd als: „creatief werk dat op systematische basis verricht wordt ter vergroting van de hoeveelheid kennis, met inbegrip van de kennis van de mens, de cultuur en de samenleving, alsmede het gebruik van deze hoeveelheid kennis voor het ontwerpen van nieuwe toepassingen” (OESO, Frascati-handleiding, „Proposed standard practice for surveys on research and experimental development”, Parijs, 2002, blz. 30). In communautair verband wordt het letterwoord OTO gebruikt, dat zowel technologie als onderzoek en ontwikkeling omvat.

(2) De voornaamste beheerder en coördinator van de KP's is DG Onderzoek. Vijf andere DG's beheren eveneens (delen van) specifieke programma's, met als belangrijkste DG Informatiemaatschappij en Media (de overige zijn DG Energie en vervoer, DG Ondernemingen en industrie, DG Visserij en het Gemeenschappelijk Centrum voor Onderzoek van de Commissie).

(3) In 2000 lanceerde de Europese Raad van Lissabon het streven om de EU tegen 2010 uit te bouwen tot de meest op kennis gebaseerde markt met de meeste dynamiek en het grootste concurrentievermogen, met volledige werkgelegenheid en een versterkte economische en sociale samenhang.

(4) In 2002 kwam de Europese Raad overeen dat de totale investeringen in OTO en innovatie binnen de Europese Unie moesten stijgen om tegen 2010 3 % van het BBP te bereiken. Tevens verklaarde de Raad dat tweederde van deze nieuwe investeringen afkomstig zou moeten zijn van het bedrijfsleven (Europese Commissie, „Investeren in onderzoek: een actieplan voor Europa”, mededeling van de Commissie aan de Raad, het Europees Parlement, het Europees Economisch en Sociaal Comité en het Comité van de Regio's, COM(2003) 226 def., blz. 7).

(5) Bij direct beheer verricht de Commissie de handelingen in verband met haar werkzaamheden ter uitvoering van de begroting zonder enige betrokkenheid van de lidstaten of van de derde landen waar de begunstigden van de uitgaven verblijven.

(6) Sinds 2006 hebben meer dan 22 000 publieke en private rechtspersonen deelgenomen aan KP6, meestal in consortia van meerdere partners.

(7) Deze samenwerkingsmethode berust op het principe van vrijwillige intergouvernementele samenwerking. Ze bestaat hoofdzakelijk uit het leren van elkaar, „benchmarking” en het delen van beste praktijken.

(8) Verordening (EG, Euratom) nr. 1605/2002 van de Raad van 25 juni 2002 (PB L 248 van 16.9.2002, blz. 1), artikelen 27, 48, 59 en 60.

(9) Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Grybauskaitė, in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007; Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Schreyer, „Focus on Results: Strengthening Evaluation of Commission Activities”, SEC(2000) 1051 van 26 juli 2000.

(10) Besluit nr. 1982/2006/EG van het Europees Parlement en de Raad van 18 december 2006 betreffende het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013) (PB L 412 van 30.12.2006, blz. 1), artikel 7, lid 1; de toezichtsinformatie die de Commissie de programmacomités moet verstrekken, wordt aangegeven in specifieke programmabeschikkingen, bijvoorbeeld Beschikking 2006/971/EG van de Raad van 19 december 2006 betreffende het specifieke programma Samenwerking tot uitvoering van het zevende kaderprogramma van de Europese Gemeenschap voor activiteiten op het gebied van onderzoek, technologische ontwikkeling en demonstratie (2007-2013) (PB L 400 van 30.12.2006, blz. 86), artikel 8, lid 4, en bijlage V.

(11) Europese Commissie, Mededeling aan de Raad betreffende een communautair actieprogramma voor de evaluatie van de onderzoek- en ontwikkelingsactiviteiten van de Gemeenschap voor de periode 1987-1991; COM(86) 660 def. van 20 november 1986, in antwoord op de resolutie van de Raad van 28 juni 1983.

(12) Europese Commissie, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1992-1996”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van burggraaf Davignon (1997); Europese Commissie, „Five-year Assessment of the European Union Research and Technological Development Programmes, 1995-1999”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van Joan Majó (juli 2000); Europese Commissie, „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003”, verslag van de onafhankelijke werkgroep van deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004).

(13) Europese Commissie, „Evaluation of the effectiveness of the New instruments of Framework Programme VI”, 21 juni 2004, verslag van de hoge werkgroep van deskundigen onder voorzitterschap van professor Ramón Marimón.

(14) Europese Commissie, DG Begroting, mededeling aan de Commissie van mevr. Schreyer, „Focus on Results: Strengthening Evaluation of Commission Activities”, juli 2000, SEC(2000) 1051; Europese Commissie, DG Begroting, mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation Standards and Good Practice”, C(2002) 5267 van 23.12.2002.

(15) Europese Commissie, DG Begroting, mededeling aan de Commissie van mevr. Grybauskaitė in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007.

(16) Werkdocument van de diensten van de Europese Commissie, „FP7 Impact assessment and ex-ante evaluation”, SEC(2005) 430.

(17) De Commissie industrie, onderzoek en energie (ITRE) van het Europees Parlement is (in het bijzonder) bevoegd voor het beleid inzake industrie, onderzoek (inclusief de verspreiding en toepassing van de onderzoeksresultaten) en de ruimte, alsook voor de activiteiten van het Gemeenschappelijk Centrum voor Onderzoek, het Euratom-Verdrag en de informatiemaatschappij en -technologie.

(18) Het CREST (Comité voor wetenschappelijk en technisch onderzoek) werd opgericht bij een resolutie van de Raad van 14 januari 1974 en bestaat uit vertegenwoordigers van de nationale instanties die bevoegd zijn voor het wetenschappelijk en technologiebeleid van de lidstaten. Het CREST heeft een adviserende rol en informeert de Commissie en de Raad met name over onderwerpen in verband met de coördinatie van de nationale OTO-beleidslijnen en het toezicht op en de evaluatie van de KP's.

(19) Logische modellen die aangeven hoe input in de diverse activiteiten leidt tot de verwachte resultaten, zijn het best geschikt om de interventielogica te illustreren. Ze vormen een duidelijke toelichting op de veronderstellingen waarop het programma is gebaseerd en op de wijze waarop de algemene doelstellingen worden uitgewerkt tot operationele doelstellingen.

(20) Europese Commissie, DG Begroting, „Evaluating EU activities: a practical guide for the Commission services”, juli 2004, blz. 87 en blz. 106.

(21) „Five-year Assessment of the European Union Research Framework Programmes, 1999-2003”, verslag van het onafhankelijk panel van deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004): deel 6 „Evaluating the Framework Programme”, blz. 19.

(22) De begunstigde landen van de externe steun dienen logische modellen te presenteren voor hun communautaire steun (Europese Commissie, „Aid delivery methods”, volume 1, „Project cycle management guidelines”, maart 2004, deel 5, „The logical framework approach”).

(23) Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 3.

(24) In 2006 werd beleidsterrein „08 onderzoek” gestructureerd op basis van de specifieke programma's (en subprogramma's) van de lopende KP6-programmeringsperiode (en dus vervangen door een andere structuur in 2007), maar voor beleidsterrein „09 informatiemaatschappij” werd het lopende specifieke programma met het voorgaande samengevoegd tot één ABB-activiteit (Europese Commissie, DG Onderzoek, Directoraat A: coördinatie van de communautaire activiteiten, planning, programmering, evaluatie, Jaarlijks managementplan 2006, 20.12.2005; Europese Commissie, DG Informatiemaatschappij en media, Jaarlijks managementplan 2006, 23.12.2005).

(25) In het geval van DG Onderzoek veranderden de ABM-doelstellingen (en de indicatoren ter meting van hun realisatie) van het ene op het andere jaar. DG Informatiemaatschappij koos voor meerjarendoelstellingen, die echter niet gelijk waren aan de programmadoelstellingen (of aan de in de werkprogramma's genoemde doelstellingen).

(26) Europese Commissie, Dienst interne audit, „Evaluatie van effectiviteit en efficiëntie van de SPP/ABM-cyclus”, SG & DG Begroting, 2005, punt 4.1, blz. 31.

(27) Europese Commissie, Mededeling van de Commissie aan de Raad houdende een communautair actieprogramma voor de evaluatie van communautaire onderzoek- en ontwikkelingsprogramma's (COM(83) 1 def. van 19 januari 1983).

(28) Mededeling van de Commissie aan de Raad en het Europees Parlement betreffende onafhankelijk extern toezicht en evaluatie van communautaire activiteiten op het gebied van onderzoek en technologische ontwikkeling, 22.5.1996 (COM(1996) 220 def.).

(29) Elk DG dat KP's uitvoert, documenteert de geplande evaluaties in jaarlijkse (en meerjaren-) evaluatieplannen. Deze kunnen echter niet worden geacht een werkelijke evaluatiestrategie voor te stellen.

(30) Verordening (EG, Euratom) nr. 1605/2002, artikel 27, lid 4.

(31) „Loi de programme pour la recherche no 2006-450” van 18.4.2006 en „Décret no 2006-1334 relatif à l'organisation et au fonctionnement de l'Agence d'évaluation de la recherche et de l'enseignement supérieur (AERES)” van 3.11.2006.

(32) Agencia Nacional de Evaluación y Prospectiva, ressorterend onder het Ministerio de Educación y Ciencia, Orden ECI/1252/2005 van 4 mei 2005 tot oprichting van de „Comisión Asesora de Evaluación y Prospectiva” (adviescomité voor evaluaties en vooruitzichten).

(33) In 2004 heeft de „Deutsche Forschungsgemeinschaft” (DFG) een gespecialiseerd instituut opgericht, „Institut für Forschungsinformation und Qualitätssicherung” (IFQ), en dit verantwoordelijk gemaakt voor het ontwikkelen en normeren van evaluatiemethodologieën, de kwaliteitsborging en het verrichten van beoordelingen van de door de DFG gefinancierde OTO-werkzaamheden.

(34) Voor KP7 heeft de Commissie 15 AGD's gevormd, tegen 12 voor KP6 en 17 voor KP5. Zij adviseren de Commissie over beleids- en programmapunten in verband met de KP's. Niettemin zij opgemerkt dat deze AGD's niet volledig aansluiten bij de programmastructuur van de KP's: er is geen AGD voor elk specifiek programma (of subprogramma).

(35) In Canada hebben bijna alle federale overheidsdiensten permanente evaluatiecomités gevormd, waarin ervaren ambtenaren en meestal ook externe betrokkenen toezicht houden op het evaluatiesysteem („Social Sciences and Humanities Research Council of Canada”: Evaluation Standing Committee — Mandate and Membership).

(36) Europese Commissie, „Monitoring Report 2004: Implementation of Activities under the EC and Euratom framework and corresponding specific programmes”, augustus 2005, blz. 5.

(37) Europese Commissie, „Planning and Optimising Commission human resources to serve EU priorities”, SEC(2007) 530 van 24 april 2007.

(38) Europese Commissie, Mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation Standards and good practice”, C(2002) 5267 van 23.12.2002; werkdocument van de diensten van de Europese Commissie, „FP7 Impact assessment and ex-ante evaluation”, SEC(2005) 430 van 6 april 2005, Bijlage 1, noot 209.

(39) In 2007 heeft de Europese Adviesraad voor Onderzoek (EURAB) eveneens aanbevolen meer middelen in te zetten voor de evaluatie van de KP's (EURAB, „Recommendations on Ex-post Impact Assessment”, juli 2007).

(40) Speciaal verslag nr. 1/2004 over het beheer van de OTO-werkzaamheden onder contract binnen het vijfde kaderprogramma (KP5) op het gebied van onderzoek en technologische ontwikkeling (1998-2002) (PB C 99 van 23.4.2004), paragrafen 116 en 122.

(41) Europese Commissie, DG Begroting, Mededeling aan de Commissie van mevr. Grybauskaitė in overeenstemming met de Voorzitter, „Responding to strategic needs: reinforcing the use of evaluation”, SEC(2007) 213 van 21 februari 2007; Europese Commissie, Mededeling aan de Commissie van de Voorzitter en mevr. Schreyer, „Evaluation standards and good practice”, C(2002) 5267 van 23.12.2002.

(42) 14 DG's hebben dergelijke evaluatiehandleidingen voor de beleidsterreinen en -programma's onder hun bevoegdheid (Europese Commissie, DG Begroting — Evaluatiedienst, „Overview of Evaluation Guides in the Commission”, oktober 2004).

(43) Fahrenkrog G. et al., „RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, IPTS-JRC, 2002; Prest et al., „Assessing the Socio-economic Impacts of the Framework Programme”, Universiteit van Manchester, 2002.

(44) Hoewel die informatie over de deelnemers meestal wel beschikbaar is bij de Commissie, is deze vaak niet eenvoudig te gebruiken voor gedetailleerde analyses omdat de gegevens per deelnemer niet op één plaats en ook niet altijd in een compatibele opmaak worden bewaard. Zo wordt het moeilijk de betrokkenheid van een deelnemer door de tijd heen te volgen, bijvoorbeeld om redenen voor niet-deelneming te onderzoeken, of de relaties tussen deelnemers te volgen, bijvoorbeeld om netwerkeffecten te bestuderen (zie paragraaf 84).

(45) Jaarverslag over het begrotingsjaar 2006, tabel 2.3; Jaarverslag over het begrotingsjaar 2005, paragraaf 7.13; Jaarverslag over het begrotingsjaar 2004, paragrafen 6.8 en 6.10; Jaarverslag over het begrotingsjaar 2003, paragrafen 6.9 en 6.70; Speciaal verslag nr. 1/2004, paragrafen 105-108; Advies nr. 1/2006 over het voorstel voor een verordening van het Europees Parlement en de Raad tot vaststelling van de regels voor de deelname van ondernemingen, onderzoekscentra en universiteiten aan acties op grond van het zevende kaderprogramma, en voor de verspreiding van onderzoeksresultaten (2007-2013) (PB C 203 van 25.8.2006), paragraaf 57.

(46) Verdrag tot oprichting van de Europese Gemeenschap, artikel 173: „Aan het begin van elk jaar legt de Commissie aan het Europees Parlement en de Raad een verslag voor. Dit verslag heeft met name betrekking op de activiteiten inzake onderzoek en technologische ontwikkeling en verspreiding van de resultaten in het voorafgaande jaar alsmede op het werkprogramma van het lopende jaar.”

(47) Er is niet systematisch getracht bij de deelnemers gegevens te verzamelen na de voltooiing van het project, behalve met specifieke onderzoeken in het kader van de evaluaties. Het nut van die onderzoeken is beperkt doordat deelnemers niet wettelijk verplicht zijn zulke analytische gegevens te verstrekken, hetgeen wel het geval is bij een aantal nationale OTO-programma's, bijvoorbeeld in Duitsland.

(48) Speciaal verslag nr. 1/2004, paragraaf 94; Advies nr. 1/2006, paragraaf 56.

(49) Jaarverslag over het begrotingsjaar 2006, paragraaf 7.33; Jaarverslag over het begrotingsjaar 2005, paragrafen 7.8 en 7.29; Advies nr. 1/2006, paragrafen 58-61.

(50) Cordis is de enige databank met informatie over voorstellen, projecten en resultaten die het gehele KP en verscheidene programmeringsperioden bestrijkt en die van buiten de Commissie toegankelijk is. De gegevens over afzonderlijke projecten in Cordis worden echter vaak niet meer bijgewerkt na de selectie van het voorstel. Tot en met KP6 waren de uit de publieke en particuliere sector afkomstige deelnemers aan de KP's niet verplicht hun resultaten te publiceren (European Research Advisory Board (EURAB), „Scientific publication: policy on open access”, december 2006).

(51) Hanne Foss Hansen, „Choosing evaluation models. A discussion on evaluation design”, Evaluation, vol. 11, nr. 4, 2005, blz. 447-462.

(52) Tot en met KP6 waren de deelnemers aan de KP's uit de publieke en particuliere sector niet verplicht hun wetenschappelijke resultaten te publiceren. Vrije toegang van het publiek tot het door de Gemeenschap gefinancierde onderzoek door verplichte publicatie werd in december 2006 aanbevolen door de EURAB. Tevens werd voorgesteld dat de Commissie op het internet een bewaarplaats voor gepubliceerde projectresultaten zou inrichten (EURAB, „Scientific publication: policy on open access”, december 2006).

(53) Opgemerkt wordt dat dergelijke modellen werden gebruikt om de micro- en macro-economische effecten van het geplande KP7 te voorspellen (Europese Commissie, „Monitoring Report 2004: implementation of activities under the EC and Euratom framework and corresponding specific programmes”, augustus 2005, blz. 23-25). Er is echter geen bewijs dat deze beoordeling van de mogelijke economische impact van de KP's gekoppeld is aan enig plan voor evaluatie achteraf.

(54) DG Informatiemaatschappij en Media: „IST-RTD Monitoring and Evaluation: Results and impact indicators (2003-2004)”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

(55) DG Informatiemaatschappij en Media: „ERAnets — Evaluation of Networks of Collaboration between Participants in IST Research and their Evolution to Collaborations in the European Research Area”, eindverslag, 2005; „Evaluation of progress towards a European Research Area for information society technologies”, 2005; „Networks of innovation in information society development and deployment in Europe”, 2006.

(56) DG Informatiemaatschappij en Media: Framework contract for Impact assessments for research in the field of Information Society Technologies.

(57) EURAB, „Recommendations on Ex-post Impact Assessment”, juli 2007.

(58) Europese Commissie, „Five-year assessment of the European Union Research Framework Programmes 1999-2003”, verslag van het panel van onafhankelijke deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004), bijlage 1.

(59) Europese Commissie, „The impact of EC R&D policy on the European science and technology community; National impact studies synthesis final report” (1995).

(60) Europese Commissie, „Design of a harmonized impact study methodology for the R&D EU Framework Programmes” (1992).

(61) Werkdocument SEC(2007) 412/2 van de diensten van de Europese Commissie, „The European Research Area: new perspectives” van 4 april 2007, paragraaf 3.3.3 „ERA and the implications for evidence-based monitoring and evaluation”, blz. 93.

(62) Opgemerkt zij dat subsidieovereenkomsten voor projecten gedurende de hele programmeringsperiode worden ondertekend; de eerste worden doorgaans van kracht aan het einde van het eerste programmajaar. Ze hebben meestal een looptijd van drie tot vijf jaar, met het gevolg dat de definitieve output ten vroegste kan worden verwacht na vier à zes jaar.

Bron: Europese Rekenkamer.

(63) Europese Commissie, „Five-year assessment of the European Union Research Framework Programmes 1999-2003”, rapport van het panel van onafhankelijke deskundigen onder voorzitterschap van Erkki Ormala (15 december 2004): deel 6 „Evaluating the Framework Programme”, blz. 19.

(64) Europese Commissie, „Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies”, de zogenaamde „EPUB Toolbox” uitgegeven door het Gemeenschappelijk Centrum voor Onderzoek (GCO) — Instituut voor Prospectieve Technologische Studies (IPTS) en Joanneum Research (augustus 2002), samenvatting, blz. 9 en 12.

(65) Europese Commissie, „Evaluation of the effectiveness of the New Instruments of Framework Programme VI”, 21 juni 2004, rapport van een groep deskundigen op hoog niveau onder voorzitterschap van professor Ramón Marimón, blz. 20.

(66) European Policy Evaluation Consortium (EPEC), Technopolis France, „Study on the use of evaluation results in the Commission: Final report”, dossier nr. 1, Synthesis report and Annexes, mei 2005.

(67) Dat de respondenten van CREST, die vaa