FR Journal officiel de l’Union européenne C 26/1

RAPPORT SPÉCIAL N o 9/2007

relatif à «l’évaluation des programmes-cadres de recherche et de développement technologique (RDT) de l’UE: l’approche de la Commission peut-elle être améliorée?», accompagné des réponses de la Commission

(présenté en vertu de l’article 248, paragraphe 4, deuxième alinéa, du traité CE)

(2008/C 26/01)

TABLE DES MATIÈRES

I-V SYNTHÈSE

1-14 INTRODUCTION

1-7 Le rôle de l’Union européenne dans le soutien des activités de RDT

8-14 Évaluation et suivi des programmes-cadres

15-18 ÉTENDUE ET APPROCHE DE L’AUDIT

19-109 OBSERVATIONS

19-37 Logique d’intervention, définition des objectifs et indicateurs de performance

38-49 Stratégie d’évaluation

50-68 Organisation de l’évaluation des programmes-cadres

69-97 Méthodologies et techniques d’évaluation

98-109 Diffusion et exploitation des constatations résultant des évaluations

110-118 CONCLUSION GÉNÉRALE

Annexe I: Détermination de l’impact et des résultats de l’intervention publique dans le domaine de la RDT

Annexe II: Dispositions en matière de suivi et d’évaluation figurant dans les décisions législatives relatives aux quatrième, cinquième, sixième et septième programmes-cadres

Annexe III: Principales différences de l’évaluation ex post des programmes de recherche entre l’UE (quatrième, cinquième et sixième programmes-cadres), les États-Unis et le Canada

Annexe IV: Structure possible du groupe d’experts pour le septième programme-cadre

Réponses de la Commission

SYNTHÈSE

I. Les programmes-cadres (PC) communautaires de RDT sont la plus importante source de financement public en matière de recherche dans l’Union européenne. La Commission est chargée de la gestion des PC et de l’évaluation de leurs résultats.

II. L’audit a porté sur les dispositions en matière de suivi et d’évaluation en vigueur depuis 1995 pour les trois dernières périodes de programmation (quatrième, cinquième et sixième PC) et traite également des perspectives concernant le 7e PC (2007-2013). Il a été réalisé avec la commission de vérification des comptes de l’AELE et l’assistance d’experts externes.

III. L’audit avait pour objectif de déterminer si l’approche adoptée par la Commission pour évaluer les PC était adéquate. Dans ce contexte, la Cour a vérifié si la Commission respectait les obligations légales relatives à l’évaluation et si son système d’évaluation et de suivi répondait aux attentes des parties prenantes. La Cour a notamment examiné si: i) une logique d’intervention sous-jacente aux PC et à leurs programmes constitutifs existait et offrait une base solide pour l’évaluation et le suivi; ii) la Commission avait défini une stratégie d’évaluation pour les PC; iii) la structure organisationnelle du système d’évaluation de la Commission était telle que l’évaluation était correctement coordonnée, qu’elle bénéficiait de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes; iv) les méthodologies utilisées pour l’évaluation étaient satisfaisantes; v) les activités d’évaluation et de suivi fournissaient des informations et une analyse permettant d’améliorer les programmes en cours et d’élaborer les futurs PC.

IV. La Cour formule les constatations et les conclusions suivantes: i) l’absence d’une logique d’intervention explicite, des objectifs de programme mal définis et une faible appréciation des performances ont nui à l’efficacité du suivi et de l’évaluation; ii) l’absence d’une stratégie intégrée d’évaluation, approuvée par les «DG Recherche» qui mettent en œuvre les PC, a entraîné l’adoption d’approches incohérentes entre les différents services de la Commission. Cette faiblesse est illustrée notamment par une sous-évaluation de parties importantes des PC; iii) l’évaluation des PC était décentralisée, les mécanismes existants de coordination des DG chargées de la mise en œuvre des PC n’étaient pas efficaces et les services centraux de la Commission ne jouaient aucun rôle dans l’application des normes. En règle générale, les «DG Recherche» ont toutefois respecté les exigences formelles de la Commission en matière d’évaluation. Le recours à des groupes d’experts externes de haut niveau désignés par la Commission pour les principaux travaux d’évaluation est bien adapté au contexte communautaire. Toutefois, ces groupes temporaires n’ont pas été impliqués assez tôt dans le processus pour pouvoir influencer la collecte d’éléments probants et n’ont guère eu la possibilité de suivre les questions importantes dans le temps. En utilisant seulement un groupe d’experts pour le PC général (en plus d’un groupe pour un programme spécifique), les questions particulières aux différents domaines scientifiques relevant des PC n’ont pas reçu toute l’attention nécessaire; iv) les orientations méthodologiques fournies étaient inadéquates; les évaluateurs ont éprouvé des difficultés à réunir les données pertinentes et aucune étude d’évaluation n’a traité des effets et des impacts à long terme des PC plutôt que des questions de mise en œuvre du programme à court terme; v) en raison des déficiences mentionnées ci-dessus et du fait que les évaluations ont souvent été effectuées trop tôt pour aborder les questions les plus importantes, le système utilisé par la Commission pour évaluer les PC n’a guère été utile aux décideurs politiques, aux parties prenantes ou à la Commission elle-même. En définitive, on dispose de peu d’informations concernant la réalisation des objectifs du programme et les résultats des PC.

V. La Cour formule les recommandations suivantes: i) il convient de rendre la logique d’intervention plus explicite dans la future législation. Les hypothèses sous-jacentes doivent être expliquées, le lien entre objectifs scientifiques et objectifs socio-économiques doit être clarifié et des indicateurs de performance appropriés doivent être élaborés; ii) une stratégie intégrée d’évaluation devrait être élaborée (et approuvée) par les DG chargées de la mise en œuvre des PC. Elle devrait comporter notamment une approche cohérente concernant le niveau minimal auquel une évaluation détaillée doit être entreprise, afin de tenir compte des particularités de chaque domaine scientifique; iii) il conviendrait d’envisager la mise en place d’un bureau d’évaluation conjoint, chargé de coordonner les activités d’évaluation des «DG Recherche» pour l’ensemble du PC, et de créer un système de groupes (et de sous-groupes) composés d’experts externes. Ces groupes devraient être mis en place suffisamment tôt pour assister efficacement la Commission et continuer de le faire pendant toute la période de programmation et ultérieurement; iv) il faudrait effectuer une analyse approfondie des besoins en matière de données pour l’évaluation et le suivi et exploiter davantage d’autres sources de données existantes. La Commission devrait également rationaliser les exigences imposées aux participants en ce qui concerne l’établissement et la présentation de rapports. Enfin, elle devrait élaborer un manuel détaillé pour l’évaluation des PC et développer un plus large éventail de méthodologies et de techniques à utiliser dans le cadre des évaluations dans ce domaine; v) la Commission devrait définir le type et l’étendue de l’évaluation qui peuvent être raisonnablement escomptés pour les dates prévues par la législation relative au septième PC; elle devrait également clarifier la façon dont les évaluations peuvent être utilisées pour adapter les programmes (learning programmes) et dont elles peuvent contribuer aux décisions politiques.

INTRODUCTION

Le rôle de l’Union européenne dans le soutien des activités de RDT

1. La recherche et le développement technologique (RDT) (1) sont le principal moteur du progrès scientifique et technologique ainsi que de l’innovation; c’est pourquoi ils contribuent fortement à améliorer le niveau de vie. L’intervention publique dans le domaine de la RDT est généralement justifiée comme une mesure correctrice en vue de pallier ce qu’il est convenu d’appeler des «défaillances du marché». En effet, les aides publiques contribuent à réduire les incertitudes et fournissent des investissements lorsque la recherche est un bien public ou quand il y a des externalités importantes.

2. L’article 163 du traité CE définit le rôle des Communautés concernant le soutien à la RDT, en disposant que «la Communauté a pour objectif de renforcer les bases scientifiques et technologiques de l’industrie de la Communauté et de favoriser le développement de sa compétitivité internationale, ainsi que de promouvoir les actions de recherche jugées nécessaires». Les articles 164 à 173 définissent les actions à mener dans ce domaine ainsi que le champ d’application et la mise en œuvre des programmes-cadres pluriannuels de RDT. La Commission est chargée de présenter des propositions de PC, tandis que les décisions de programmes-cadres et les règles de participation et de diffusion sont arrêtées selon la procédure de codécision par le Parlement européen et par le Conseil. Ce dernier adopte seul les programmes spécifiques. Les PC sont mis en œuvre conjointement par six directions générales (DG), communément appelées «DG Recherche» (2).

3. Parmi le large éventail de politiques mises en œuvre dans l’Union européenne afin de renforcer l’innovation et la compétitivité, les programmes-cadres sont l’instrument financier le plus important qui contribue à la stratégie de Lisbonne (3) et à l’objectif de Barcelone (4) au niveau communautaire.

4. Par le biais des PC, la Communauté octroie des fonds à des chercheurs de l’Union européenne, de pays associés et d’organisations internationales. Les budgets de ces programmes ont connu une forte augmentation au fil des ans pour atteindre 7 217 millions d’euros par an avec le septième PC, alors qu’ils s’élevaient seulement à 2 761 millions d’euros par an sous le quatrième, PC (voir graphique 1). En termes de crédits budgétaires, les PC représentent le plus grand domaine de gestion directe et centralisée au sein de la Commission (5).

5. Les PC diffèrent de nombreux programmes nationaux car ils couvrent aussi bien la recherche fondamentale que la recherche appliquée, avec la participation d’entreprises et d’organismes publics de recherche (6). Ils sont composés de plusieurs programmes (et sous-programmes) spécifiques portant sur des domaines scientifiques assez larges. Ces programmes sont généralement constitués d’un certain nombre de segments centrés sur une branche scientifique plus précise. Ces segments font ensuite l’objet d’appels d’offres visant à mettre en œuvre des projets (appelés «actions indirectes»). Pour chaque segment, des centaines de projets sont financés de cette manière.

6. La part globale des PC dans l’ensemble des financements publics en matière de RDT dans l’Union européenne et dans ses États membres se situe entre 4 % et 5 %. Toutefois, leur incidence sur la nature des recherches qui sont réalisées en Europe est beaucoup plus importante. En effet, généralement, les subventions communautaires ne couvrent qu’une partie du financement total du projet. De plus, lorsqu’ils demandent un financement, les chercheurs doivent démontrer que leurs projets poursuivent les objectifs spécifiés dans les appels d’offres. De cette façon, les PC incitent à orienter les activités de RDT vers des objectifs communautaires particuliers.

7. Ces dernières années, d’importants changements sont intervenus en ce qui concerne les programmes-cadres, pour les raisons suivantes: — le lancement de nouveaux défis politiques [la stratégie de Lisbonne et les objectifs de Barcelone, la création d’un «espace européen de la recherche» (EER) et le recours plus fréquent à la méthode ouverte de coordination (7) pour les politiques en matière de recherche et d’innovation], — le changement d’orientation des programmes-cadres: de la simple solution de problèmes techniques pour le quatrième PC à l’encouragement de la coopération entre organismes de recherche au sein de l’EER ainsi qu’à la contribution au développement d’une économie et d’une société de la connaissance pour les sixième et septième PC, en passant par le traitement de problèmes sociaux spécifiques dans le cadre du 5e PC, — l’allongement de la période de programmation (de 4 ans auparavant, elle est passée à 7 ans pour le septième PC, afin de correspondre aux perspectives financières 2007-2013), — un plus grand nombre d’États membres et de pays participants, — l’augmentation du financement, notamment dans le cadre des perspectives financières actuelles, — la mise en place du Conseil européen de la recherche (CER) et la délégation des actes de gestion des programmes aux agences exécutives à partir du septième PC, — l’utilisation accrue d’instruments de financement à grande échelle (par exemple, les réseaux d’excellence, les projets intégrés, les projets mis en place au titre de l’article 169, les initiatives technologiques conjointes).

Évaluation et suivi des programmes-cadres

8. La Commission est chargée de la mise en œuvre des programmes et de l’évaluation de leurs résultats (8). Au sein de la Commission, l’évaluation est décentralisée au niveau des DG, tandis que les services centraux (en particulier la DG Budget et le secrétariat général) assurent l’appui et la coordination.

9. Les définitions utilisées dans le présent rapport sont celles de la Commission, à savoir: par «évaluation», on entend une «appréciation des interventions en fonction de leurs résultats, de leur impact et des besoins qu’elles visent à satisfaire» (9); par «suivi», on entend la fourniture d’informations sur la mise en œuvre des programmes et des projets en cours afin de répondre aux besoins liés à la gestion (10). Les deux activités sont définies de la sorte dans la législation régissant actuellement le 7e PC.

10. La terminologie utilisée pour décrire ci-après les résultats des activités de RDT est la suivante: — «les réalisations» sont les connaissances, les biens et les services directement produits à la suite de l’intervention publique (publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.), — «les effets» sont les résultats différés de l’exploitation des réalisations par les utilisateurs, — «les impacts» sont les modifications socio-économiques et politiques à long terme entraînées par l’intervention publique. Encadré 1L’exemple du «système mondial de communications mobiles» (GSM)Dans ce cas, les «réalisations» du financement communautaire ont été les résultats immédiats du projet, tels que l’élaboration de la norme GSM. L’«effet» a consisté en son acceptation en tant que norme pour la téléphonie cellulaire numérique en Europe et au-delà, ce qui a fortement contribué au développement du secteur des télécommunications. Enfin, les «impacts» ont été les conséquences économiques, sociales et politiques de l’utilisation de cette technologie au niveau international. Parmi ceux-ci figurent la contribution à la création d’emplois dans le secteur des télécommunications et dans les secteurs connexes et l’importance accrue de ce secteur pour l’économie européenne. À terme, le système GSM a également fourni un nouveau moyen de communication entre les personnes.

11. L’appréciation de ces résultats pose toutefois un certain nombre de problèmes d’ordre méthodologique (voir annexe I). Les changements socio-économiques sont un phénomène complexe et, plus particulièrement, il est souvent difficile de relier l’activité de recherche aux effets et aux impacts observés. Bien qu’elles représentent un défi considérable, ces difficultés méthodologiques n’empêchent pas nécessairement une évaluation efficace.

12. La Commission a mis en place un système pour suivre et évaluer les PC depuis les années 1980 (11). À partir du quatrième PC, au milieu des années 1990, le système de suivi et d’évaluation a consisté en un certain nombre d’activités en partie interconnectées, notamment: — un suivi annuel (portant surtout sur la mise en œuvre des programmes), — des évaluations quinquennales des activités des programmes-cadres (et, à partir du sixième PC, des évaluations complémentaires portant sur des questions spécifiques). Ces deux types d’activités ont dû être mises en œuvre avec l’aide d’experts externes (voir graphique 2 et annexe II). Graphique 2 Principales dispositions concernant le suivi et l’évaluation des quatrième, cinquième, sixième et septième PC 4e PC (1995-1998) 5e PC (1999-2002) 6e PC (2003-2006) 7e PC (2007-2013) Deux exercices d’évaluation (à mi-parcours et finale), dans chaque cas pour ses 20 sous-programmes plus le PC; l’évaluation finale et l’évaluation à mi-parcours du cinquième PC se chevauchent. Deux exercices d’évaluation simultanés (à mi-parcours), dans chaque cas pour ses sept programmes spécifiques plus le PC. Un exercice d’évaluation pour le PC et ses trois programmes spécifiques (à mi-parcours), mais pas pour chacun des 20 sous-programmes, complété par une évaluation spécifique et des rapports réguliers sur l’état d’avancement (rapports de suivi). Au moins cinq exercices d’évaluation (ex ante, à mi-parcours et finale) comprenant des rapports d’activité spécifiques avant l’évaluation intermédiaire. 1. Ex ante: Non. 1. Ex ante: Non. 1. Ex ante: Non. 1. Ex ante: intégrée dans l’évaluation de l’impact de la proposition de la Commission relative au septième PC (2005). 2. À mi-parcours: — «évaluation quinquennale»: à mi-parcours du PC, avant le PC suivant (1997). 2. À mi-parcours: — évaluation quinquennale: avant présentation de la proposition relative au PC suivant (2000) — examen de l’état d’avancement à mi-parcours du PC (2001). 2. À mi-parcours: — évaluation de l’efficacité des instruments (2004) — évaluation quinquennale avant présentation de la proposition relative au PC suivant (2004) — rapports réguliers sur l’état d’avancement (rapports de suivi). 2. À mi-parcours: — ex post, 2 ans après la fin du PC précédent (2008) — rapport d’activité avant l’évaluation intermédiaire (avant 2010) — évaluation intermédiaire (2010). 3. Finale: — à la fin du PC (1999). 3. Finale: Non. 3. Finale: Non (modifiée par la décision relative au septième PC). 3. Finale: deux ans après la fin du PC (2015), étayée par des études spécifiques, l’évaluation intermédiaire et les autres activités d’évaluation pendant toute la période du PC. Source: Voir annexe II.

13. À ce jour, trois évaluations quinquennales ont été réalisées (12) et ont produit les rapports Davignon, Majó et Ormala (respectivement en 1997, en 2000 et en 2004). En outre, la DG Société de l’information a effectué des évaluations ciblées de son programme spécifique. Il convient de noter que les évaluations quinquennales ont été abandonnées avec la législation relative au septième PC, qui supprime la contrainte qui pesait sur les principales actions d’évaluation, à savoir l’obligation de se concentrer sur les cinq années précédentes, et donc de porter en partie sur deux périodes de programmation successives. En 2004, le rapport Marimón (13) — évaluation spécifique de l’effectivité des nouveaux instruments introduits au cours du sixième PC — a aussi été publié.

14. Le cadre dont dispose la Commission pour ses activités d’évaluation a été réexaminé en 2000 et en 2002 (14). Les communications correspondantes ont été mises à jour en 2007 en tenant compte de la réforme administrative de la Commission et du nouveau règlement financier (15). Ces documents décrivent le rôle et la fonction de l’évaluation dans le contexte du cycle de planification générale, de programmation et de présentation de rapports de la Commission, et établissent un ensemble incluant 21 standards d’évaluation et 18 modèles de «bonnes pratiques». De plus, ces documents évoquent le recours à l’évaluation pour élaborer et pour simplifier la législation de l’UE.

ÉTENDUE ET APPROCHE DE L’AUDIT

15. Le principal objectif de l’audit a consisté à déterminer si la Commission dispose d’une approche adéquate pour apprécier les résultats des programmes-cadres de RDT.

16. À cette fin, la Cour a évalué dans quelle mesure: — une logique d’intervention explicite sous-tend les PC et leurs programmes constitutifs, ce qui permettrait de mesurer et d’apprécier les réalisations, les effets et les impacts, en offrant une base solide pour l’évaluation et pour le suivi, — une stratégie d’évaluation a été définie pour les PC afin de promouvoir une évaluation efficace et cohérente, — la structure organisationnelle adoptée pour le système d’évaluation fait que celui-ci est bien coordonné dans l’ensemble du PC, qu’il bénéficie de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes, — les méthodologies utilisées pour l’évaluation garantissent que les questions importantes sont abordées de façon appropriée, de sorte que l’évaluation soit considérée comme crédible, — les activités de suivi et d’évaluation fournissent des informations et une analyse susceptibles d’être utilisées pour améliorer les programmes en cours (learning programmes) et pour élaborer les futurs PC.

17. Le présent rapport porte sur les dispositions applicables relatives aux quatrième PC (1995-1998), cinquième PC (1999-2002) et sixième PC (2003-2006). Il a également trait aux obligations légales actuellement en vigueur pour le septième PC (2007-2013) mais ne contient pas d’évaluation du document «Impact assessment and ex-ante evaluation» (16). Il est axé principalement sur le suivi et sur l’évaluation ex post des programmes, et non sur l’évaluation ex ante des propositions de projet ni sur l’évaluation ex post des projets proprement dits.

18. L’audit a été réalisé avec la participation de la commission de vérification des comptes de l’AELE et avec l’aide d’experts externes. Les éléments probants ont été recueillis moyennant: — des travaux d’audit réalisés à la Commission (contrôle documentaire et entretiens avec le personnel), notamment l’identification des obligations légales et réglementaires, un examen des objectifs et des critères de performance, l’analyse de plus de 80 rapports de suivi et d’évaluation ainsi qu’une analyse de l’organisation des activités d’évaluation au sein de la Commission, — des entretiens avec plus de 90 experts identifiés comme parties prenantes dans les États membres et les pays associés (République tchèque, Allemagne, Estonie, Espagne, France, Italie, Luxembourg, Pays-Bas, Autriche, Finlande, Suède, Royaume-Uni et Norvège), — des enquêtes auprès des parties prenantes institutionnelles à la commission ITRE (17) du Parlement européen et au comité CREST (18) du Conseil, — la consultation aux États-Unis et au Canada de plus de 65 experts dans le domaine de l’évaluation de la recherche, afin de constituer un groupe de comparaison international, — un examen de la littérature spécialisée concernant les tendances actuelles en matière d’évaluation de la recherche, — l’examen des constatations, des conclusions et des recommandations d’audit, en collaboration avec des experts européens et nord-américains en évaluation de la recherche dans le cadre de plusieurs réunions de groupe cible pilotées par un consultant indépendant qui ont eu lieu en février 2007.

OBSERVATIONS

Logique d’intervention, définition des objectifs et indicateurs de performance

19. Pour que l’évaluation et le suivi soient efficaces, il convient de définir, aux niveaux de la politique, du programme et du projet, des objectifs clairs et des indicateurs de performance pertinents en fonction desquels les résultats d’une intervention publique puissent être évalués. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et dans des pays tiers permettent de penser que ces objectifs et indicateurs devraient être définis dans le cadre d’une logique d’intervention.

20. La logique d’intervention peut se définir comme un ensemble de relations hypothétiques de cause à effet qui décrivent comment une intervention est supposée pouvoir atteindre ses objectifs globaux (19). Les lignes directrices de la Commission en matière d’évaluation indiquent que la logique d’intervention établit «le lien conceptuel entre les moyens d’une intervention et la production de ses réalisations et, par voie de conséquence, ses impacts sur la société en termes de résultats et de conséquences» (20). Cette définition est utilisée dans l’ensemble du présent rapport.

21. La Cour a évalué dans quelle mesure une logique d’intervention a été mise en place pour les PC et leurs programmes constitutifs, fournissant de la sorte une base solide pour l’évaluation et le suivi.

La logique d’intervention pour les PC n’était pas explicite

22. Dès le début, la définition d’une logique d’intervention devrait être un élément clé de la conception d’un programme. L’article 163 du traité prévoit la nécessité de renforcer les bases scientifiques et technologiques et de favoriser le développement de la compétitivité. Il devrait servir de point de départ pour cette logique d’intervention dans le cadre des PC (voir point 2). Celle-ci devrait ensuite devenir plus spécifique et être adaptée aux différents domaines scientifiques couverts par les PC, ainsi qu’aux différents instruments utilisés.

23. Cependant, les PC et leurs programmes constitutifs ne disposent à aucun niveau d’un cadre logique explicite indiquant comment ils contribuent au progrès scientifique et technologique ainsi qu’à l’innovation.

24. Le groupe d’experts chargé de l’évaluation quinquennale de 2004 a également souligné l’absence de logique d’intervention et a affirmé que «les groupes comme le nôtre sont sollicités afin de combler le fossé entre, d’une part, les informations probantes collectées principalement au niveau du projet et, d’autre part, les objectifs socio-économiques de haut niveau visés par la politique en matière de recherche. Cependant, à l’heure actuelle, il est difficile d’établir ce lien en raison des modalités de planification des PC. Aucune logique explicite ne relie les objectifs au plus haut niveau aux objectifs spécifiques en termes de recherche et de connaissances» (21).

25. Une approche différente est adoptée dans plusieurs États membres (par exemple aux Pays-Bas et en Finlande) et aux États-Unis (voir graphique 3), où la définition d’une logique d’intervention est beaucoup plus fréquente, ainsi qu’au Canada, où elle est obligatoire pour tous les programmes (voir annexe III). De fait, dans ces pays, le recours à la logique d’intervention au stade de la conception a permis de mieux cibler et de mieux structurer les programmes. La Commission intègre également cette logique dans d’autres domaines communautaires (par exemple l’aide extérieure) (22). Graphique 3 Définition d’une hiérarchie des objectifs fondée sur des cadres logiques — Exemple: la recherche dans le secteur agricole aux États-Unis Politique Programme Projet Objectif de la politique: contribuer à l’amélioration des moyens de subsistance des familles d’exploitants. But: amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants. Objectif du programme: contribuer à l’amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants. Résultat escompté: utilisation accrue de techniques agricoles plus efficaces parmi les exploitants ciblés. But: utilisation accrue de techniques agricoles plus efficaces par les exploitants (par ex. culture du riz). Objectif du projet: contribuer à une utilisation accrue des techniques agricoles recommandées. Résultat escompté: recommandations fournies/diffusées aux exploitants ciblés. But: recommandations fournies concernant des techniques plus efficaces et adaptées aux exploitants ciblés. Résultats escomptés (par ex.): 1. Techniques identifiées en fonction des priorités des exploitants agricoles. 2. Techniques créées et adaptées. 3. Techniques contrôlées sur le terrain. Source: US National Agricultural Research Council.

26. L’efficacité de l’évaluation et du suivi des PC est affectée par la non-formulation du raisonnement sous-jacent à l’intervention publique ainsi que des liens de causalité supposés (qui servent ensuite de base pour planifier en détail, exécuter et évaluer le programme). Cette déficience est due en particulier à la manière de définir les objectifs des programmes et les indicateurs de performance.

Sans un cadre logique explicite, il est plus difficile d’établir des objectifs de programme cohérents

27. Si le raisonnement sous-jacent à l’intervention publique n’est pas clarifié, il est plus difficile de définir et de structurer de façon cohérente des objectifs de programme. Plusieurs éléments illustrent cette constatation: — il n’y a pas de lien clair entre les objectifs des PC et les objectifs politiques, comme les objectifs généraux fixés par l’article 163 du traité et ceux de la stratégie de Lisbonne et de la déclaration de Barcelone (voir points 2 et 7), — la relation entre les différents objectifs des programmes, à tous les niveaux de la législation (comme les décisions en matière de PC, celles concernant les programmes spécifiques, les règles de participation et de diffusion), de même que le lien entre les actes de base et les programmes de travail de la Commission, ne sont pas toujours évidents.

28. La Commission a essayé de formuler des objectifs opérationnels dans les programmes de travail, sur la base des objectifs de programme définis dans la législation relative aux PC. Dans la plupart des cas, ces initiatives n’ont cependant pas permis de clarifier la logique sous-jacente à ces programmes et les objectifs énoncés dans les programmes de travail n’étaient pas spécifiques, mesurables, réalisables, pertinents et datés (SMART). En 2003, cette condition est devenue une obligation juridique en vertu du règlement financier (23).

29. Il est difficile de retrouver les objectifs politiques au travers des programmes spécifiques, des programmes de travail et des appels à propositions pour aboutir aux différents projets cofinancés par la Communauté. À moins que ces liens ne soient clarifiés, il est impossible d’évaluer la contribution des PC et de leurs programmes constitutifs à la réalisation de ces objectifs politiques. Au niveau des projets ou des programmes, l’audit a relevé que la Commission n’a guère apporté, dans ses évaluations, d’éléments attestant la réalisation des objectifs à long terme, voire aucun (voir point 82).

L’absence d’une logique d’intervention explicite et d’objectifs clairs rend plus difficile l’élaboration d’indicateurs de performance

30. L’absence de cadre logique et explicite et d’objectifs de programme clairement formulés a aussi entravé l’élaboration d’indicateurs de performance permettant de suivre la mise en œuvre des objectifs des programmes en termes de réalisations, d’effets et d’impacts, dans la mesure où, à ce jour, ces indicateurs «d’efficacité» n’ont pas du tout été définis pour les PC (voir point 73).

31. Dans ce contexte, l’examen des projets en cours financés par ces programmes et l’évaluation ex post des projets terminés sont également plus complexes, et permettent difficilement d’agréger les évaluations entre le niveau du projet et celui du programme (voir annexe I et point 84).

Tel que mis en œuvre actuellement, le système EBA/GPA n’est pas un outil approprié pour apprécier la performance des PC

32. Plusieurs indicateurs relatifs à l’efficience de la mise en œuvre des programmes (par exemple, les délais de signature des contrats et les délais de paiement) figurent dans les rapports de suivi annuels de la Commission et sont présents dans le système de gestion par activités (GPA) de la Commission.

33. Cependant, les «DG Recherche», y compris lorsqu’elles mettent en œuvre le même programme (ou sous-programme) spécifique, n’ont jusqu’à présent appliqué aucune nomenclature uniformisée ou comparable pour l’établissement du budget par activités (EBA), ni aucun indicateur connexe. Dès lors, ces indicateurs ne peuvent être utilisés pour comparer la performance entre les programmes et au sein de ceux-ci. Encadré 2Le système EBA/GPA, tel qu’appliqué actuellement par les «DG Recherche»Dans le cadre du système EBA/GPA, les PC relèvent de deux domaines politiques distincts dans lesquels les activités des PC sont présentées en fonction d’une nomenclature différente, spécifique aux DG (24). Cette présentation s’applique également aux programmes et aux sous-programmes spécifiques mis en œuvre par plusieurs DG. Les objectifs de la GPA ont été définis à partir de différents principes sous-jacents (25) et, comme l’a indiqué le service d’audit interne de la Commission (26), ont été essentiellement formulés en termes généraux, par la description d’aspirations ou d’activités. Les indicateurs étaient généralement axés sur les moyens mis en œuvre (par exemple, le nombre de réunions, etc.). Certains indicateurs concernaient l’efficience du processus (par exemple, les délais de signature des contrats et les délais de paiement) mais n’offraient pas de point de comparaison entre les programmes d’une DG à l’autre, en raison des différences dans la nomenclature EBA, dans les hypothèses propres aux DG (comme le début et la fin de procédures administratives spécifiques) et dans la population sous-jacente prise en considération pour leur calcul (par exemple, le type de convention de subvention et le type de paiement).

Recommandations

34. Dans ses futures propositions législatives au Conseil et au Parlement européen, la Commission devrait définir une logique d’intervention explicite pour l’ensemble du PC, ainsi que pour ses éléments constitutifs. 35. Pour le septième PC, la Commission devrait: — décrire clairement les objectifs du PC et de ses programmes (et sous-programmes) spécifiques constitutifs, de même que les modalités de leur réalisation, — clarifier le lien entre les objectifs scientifiques et socio-économiques pour chaque programme (et sous-programme) spécifique, — définir des objectifs opérationnels pertinents. 36. Dans le cadre de son système de suivi du septième PC, la Commission devrait mettre en place un ensemble limité, mais équilibré, d’indicateurs de performance, afin de mesurer l’efficience et l’efficacité de la mise en œuvre pour chaque programme (et sous-programme) spécifique. 37. Les «DG Recherche» devraient harmoniser leur nomenclature GPA/EBA afin que les indicateurs de performance puissent faire l’objet de comparaisons dans le temps et, si possible, entre programmes (et sous-programmes) spécifiques.

Stratégie d’évaluation

38. La stratégie d’évaluation est le cadre conceptuel dans lequel les activités d’évaluation sont conçues, planifiées, exécutées et utilisées. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et ailleurs semblent indiquer qu’une telle stratégie devrait tenir compte des principales questions légales, organisationnelles et méthodologiques propres à l’évaluation des programmes. Ces questions incluent la nature de l’évaluation à réaliser, son calendrier, son responsable, les modalités de collecte des données, les approches méthodologiques à utiliser et les modalités de communication et de suivi des constatations.

39. Disposer d’une telle stratégie et s’assurer de sa mise en œuvre sont les conditions préalables à l’intégration de l’évaluation dans la culture d’organisation et dans le processus décisionnel de la Commission. En raison de la diversité des domaines scientifiques couverts par les PC, la Cour reconnaît cependant que cette stratégie doit offrir à chaque DG responsable un niveau de flexibilité suffisant et qu’elle ne doit pas être trop contraignante.

40. La Cour a vérifié si la Commission dispose d’une telle stratégie d’évaluation pour les PC.

Absence de stratégie intégrée d’évaluation des PC

41. S’agissant des PC, la Commission a pour la première fois rendu publique son approche pour l’évaluation au cours des années 1980 (27). Celle-ci a été actualisée en 1996, quand la Commission a communiqué au Parlement européen et au Conseil ce qu’elle considérait comme les principes pertinents sous-jacents au suivi et à l’évaluation et lorsqu’elle a défini l’approche qu’elle entendait suivre après l’adoption du quatrième PC (28). Cette approche ne constituait toutefois pas une stratégie intégrée d’évaluation telle que définie plus haut (voir points 38 et 39). Par ailleurs, de 1996 à 2006, la Commission n’a pas revu en profondeur son approche de l’évaluation pour les cinquième et sixième PC, bien que la portée et l’orientation des PC aient changé (voir point 7). La Cour relève notamment qu’au-delà des dispositions législatives adoptées en 1999 (pour le cinquième PC), en 2002 (pour le sixième PC) et en 2006 (pour le septième PC) (29), les «DG Recherche» n’ont adopté aucune approche cohérente pour l’évaluation des PC et de leurs programmes constitutifs.

42. En ce qui concerne la période de programmation actuelle, l’absence d’approche stratégique pour l’évaluation dans ce domaine constitue un problème spécifique compte tenu de la mise en œuvre conjointe du septième PC par plusieurs DG, par le CER et par les agences exécutives, ainsi que de la rotation obligatoire du personnel aux postes sensibles imposée par le règlement financier. De plus, cette absence contraste avec les pratiques actuelles dans le domaine de l’aide extérieure (le second par ordre d’importance relevant de la gestion directe de la Commission). Dans ce secteur, les DG compétentes ont, depuis 2002, adopté des stratégies d’évaluation pluriannuelles articulées en fonction des périodes de programmation (voir point 52).

43. Cette absence de stratégie d’évaluation clairement formulée contraste aussi fortement avec la situation aux États-Unis et au Canada, où le cadre réglementaire impose l’établissement d’une stratégie (voir annexe III).

44. Comme cela est illustré ci-après, l’étendue et l’intensité des évaluations accusent des différences sensibles d’un PC à l’autre. D’autres déficiences ont également été relevées et sont examinées plus loin dans le présent rapport (comme des difficultés de coordination, des approches méthodologiques différentes, des problèmes de calendrier et des insuffisances affectant la communication et le suivi des constatations résultant de l’évaluation). Ces faiblesses illustrent l’absence de stratégie intégrée d’évaluation pour les PC.

Différences concernant l’étendue et l’intensité des évaluations des divers PC

45. Les PC sont composés d’un certain nombre de programmes (et de sous-programmes) spécifiques qui peuvent présenter des différences notables de finalité, de dynamique sous-jacente et de dotation budgétaire (pour le septième PC, voir annexe IV). L’ensemble des dispositions particulières aux différentes décisions relatives aux PC d’une part, et le règlement financier (30) d’autre part (qui impose l’évaluation des programmes et activités qui entraînent des dépenses importantes), font que, depuis le quatrième PC, il existe une obligation légale d’évaluation, aussi bien de l’ensemble du PC que de la plupart des programmes spécifiques constitutifs.

46. La Commission n’a pas établi de règle concernant le moment où les programmes (ou sous-programmes) spécifiques du PC doivent être évalués. Elle n’a pas non plus défini de seuil commun au-delà duquel cette évaluation serait obligatoire. Ces lacunes ont entraîné des interprétations incohérentes concernant l’objet et le niveau de détail des évaluations: — la DG Société de l’information a considéré que le programme TSI était l’un des principaux programmes de dépenses à part entière et a organisé en 2004 une évaluation quinquennale complète, parallèle à celle qui était réalisée pour l’ensemble du PC, — la DG Recherche n’a pas systématiquement organisé une évaluation au niveau du programme spécifique alors que les budgets de plusieurs programmes de son ressort étaient d’un volume comparable.

47. Dès lors, pour l’évaluation quinquennale de 2004, des volets importants des quatrième et cinquième PC n’ont absolument pas été évalués (ils représentent 30 % de l’ensemble de la dotation budgétaire du quatrième PC et 50 % pour le cinquième PC). Cela montre que la Commission n’a pas respecté les dispositions en matière d’évaluation prévues par l’article 27 du règlement financier.

48. Ces interprétations divergentes des exigences légales minimales concernant l’évaluation, ainsi que la sous-évaluation des PC qui en a découlé par le passé, illustrent le manque de coordination et sont les conséquences de la non-adoption, par la Commission, d’une approche stratégique pour l’évaluation des PC.

Recommandations

49. Les «DG Recherche» devraient de toute urgence élaborer et adopter une stratégie d’évaluation commune pour les PC. Sans être contraignante à l’excès, cette stratégie d’évaluation devrait comporter une approche cohérente concernant l’évaluation des PC et de leurs programmes constitutifs. Cette stratégie devrait aussi donner une orientation concernant le niveau minimal auquel l’évaluation détaillée devient obligatoire, afin de tenir compte des particularités de chaque domaine scientifique.

Organisation de l’évaluation des programmes-cadres

50. L’évaluation des PC doit s’appuyer sur des dispositions organisationnelles appropriées. Celles-ci devraient être adaptées à l’orientation stratégique de la Commission en matière d’évaluation des PC. La Cour a vérifié dans quelle mesure la structure organisationnelle garantissait que le système d’évaluation était correctement coordonné, que les ressources étaient suffisantes et que le degré d’indépendance satisfaisait les parties prenantes.

Commission

Les PC sont mis en œuvre conjointement par plusieurs DG, alors que leur évaluation est décentralisée

51. Au sein de la Commission, l’évaluation des programmes de dépenses relève des différentes DG (voir point 8), et une unité «Évaluation» a été créée au sein de chacune d’entre elles, avec pour but de planifier, de coordonner et d’exécuter les évaluations.

52. L’absence d’un organe de coordination spécifique ou d’une entité unique pour l’évaluation de l’ensemble des PC, tel qu’un bureau d’évaluation conjoint pour les «DG Recherche», contraste avec la situation que connaissent d’autres domaines politiques. Dans le cas de l’aide extérieure, une unité «Évaluation» conjointe a été mise en place pour trois DG (Développement, Relations extérieures et EuropeAid) afin de prendre en charge l’évaluation des programmes de développement de la Commission dans les pays tiers (voir point 42).

53. Au moyen du «réseau d’évaluation RDT» interne de la Commission, la DG Recherche assure un échange de connaissances entre les unités chargées de l’évaluation au sein des différentes DG, mais n’a pas le pouvoir de définir des exigences minimales pour l’évaluation. Ce mécanisme s’est toutefois révélé insuffisant pour garantir une coordination appropriée de l’évaluation des PC réalisée par la Commission.

54. En 2000, en 2002 et à nouveau en 2007, la Commission a revu son approche générale en matière d’évaluation (voir point 14). Bien qu’aucune amélioration sensible n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les PC et leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission.

Les services centraux de la Commission: établissement de normes, mais sans contrôle de leur application

55. Les services centraux de la Commission (notamment la DG Budget et le secrétariat général) fournissent une assistance méthodologique, définissent des normes communes pour l’ensemble de la Commission et examinent comment elles sont appliquées par les DG et par les différents services (voir points 14 et 70). Ils ne peuvent imposer aucune modalité pratique pour réaliser les évaluations.

56. L’expérience aux États-Unis et au Canada montre que le contrôle du respect des normes par les organismes chargés de les définir y contribue activement à garantir le fonctionnement efficace du système d’évaluation. Dans ces deux pays, des départements fédéraux établissent et font respecter le cadre dans lequel le succès d’un programme est finalement apprécié (voir annexe III). Les contextes sont certes différents, mais leurs systèmes n’en sont pas moins fondés sur le même principe sous-jacent en vertu duquel une instance différente de celle qui met en œuvre le programme devrait évaluer certains aspects de la conception du système d’évaluation et examiner de façon détaillée son efficacité. Une situation analogue a pu être observée dans certains États membres [par exemple, la France (31), l’Espagne (32) et l’Allemagne (33)], où des organes externes supervisent les évaluations réalisées par les agences de financement ou effectuent eux-mêmes ces évaluations.

Groupes d’experts

Groupes d’experts externes: obligatoires depuis le quatrième PC en vertu de la législation relative aux programmes-cadres

57. Depuis le quatrième PC, l’ensemble des principales activités d’évaluation (et de suivi annuel) des PC a dû être réalisé par des (ou avec l’aide de) groupes d’experts externes (voir annexe II). Malgré leurs difficultés pour trouver des experts compétents, ces groupes peuvent apporter une certaine transparence, offrir un certain degré d’indépendance, faciliter la participation des parties prenantes et exploiter les connaissances tirées des programmes-cadres, de l’évaluation et des travaux scientifiques sous-jacents.

58. Ce potentiel a été confirmé par les enquêtes de la Cour, à l’occasion desquelles les personnes interrogées considéraient que le système d’évaluation de la Commission fondé sur les groupes d’experts offrait une garantie d’indépendance (voir graphique 4).

Faiblesses de l’approche fondée sur les groupes d’experts mise en œuvre par la Commission

59. Malgré cette impression positive, comme l’ont indiqué à la Cour les membres des groupes et les parties prenantes pendant l’audit, le recours de la Commission à des groupes d’experts pour évaluer les PC a été caractérisé par les insuffisances suivantes: — les groupes d’évaluation sont généralement mis en place moins d’un an avant la date prévue pour la remise de leur rapport et leurs réunions sont peu nombreuses. Dès lors, il est difficile pour les membres du groupe d’influencer la définition des données et des analyses nécessaires pour effectuer leurs travaux. Par ailleurs, en raison du caractère ad hoc et temporaire des groupes, les connaissances sur les programmes peuvent difficilement être accumulées et les questions importantes faire l’objet d’un suivi dans le temps. Cette faiblesse revêt une importance particulière lorsqu’une partie des principales actions d’évaluation est planifiée sur l’ensemble de la période de programmation (comme c’est le cas pour le septième PC) (voir annexe II). Cette situation contraste également avec la pratique de la Commission à l’égard de ses groupes consultatifs d’experts (GCE) pour les PC, qui sont des organes permanents (34). Au Canada (35) également, les groupes d’évaluation sont permanents afin de garantir une approche systématique et cohérente (voir annexe III), — lorsqu’elle définit le mandat des groupes d’experts et les questions de l’évaluation, la Commission ne consulte pas les parties prenantes externes, comme les industriels et les principaux organismes de recherche qui participent aux PC. Le groupe chargé du suivi 2004 a également observé ce problème et noté que «les utilisateurs potentiels devraient être impliqués dans le processus au cours des premières phases» (36), — les groupes d’experts utilisent un mode opératoire différent de celui qui est suivi lors des «examens par les pairs». Leurs membres n’ont pas le temps de réaliser seuls des évaluations; ils formulent généralement leurs conseils à partir de données et d’éléments probants tirés d’autres sources. En raison d’impératifs de calendrier, les groupes n’ont eu que rarement l’occasion de commander les études complémentaires nécessaires pour traiter les questions spécifiées dans leur mandat. Dans la pratique, hormis quelques exceptions, les groupes chargés de l’évaluation quinquennale ne disposaient que d’informations fournies par la Commission.

Ressources

Aucune ressource n’est spécialement affectée à l’évaluation des PC

60. Les fonds nécessaires à l’évaluation sont fournis annuellement, en fonction des besoins formulés par les DG chargées de la mise en œuvre des PC. Actuellement, ce financement est assuré par une combinaison de ressources pour l’ensemble de la Commission, provenant de la DG Budget et de ressources de la partie fonctionnement du budget des DG concernées. Par ailleurs, les mesures spécifiques sont financées comme des actions indirectes, à partir du budget opérationnel des PC. Cela signifie qu’il n’y a pas de montant spécialement affecté à l’évaluation.

61. En 2006, le pourcentage d’agents travaillant dans les secteurs de l’évaluation et de la gestion par activités était estimé, en moyenne, à environ 1 % du personnel de l’ensemble de la Commission (37). Les pourcentages correspondants pour les agents chargés du suivi et de l’évaluation des programmes-cadres de RDT à la DG Recherche et à la DG Société de l’information étaient respectivement de 1,2 % et 1,3 %. Dans le cas de la DG Recherche, plus des deux tiers de ces agents étaient cependant affectés aux services opérationnels chargés des programmes, et non aux unités chargées de l’évaluation. Celle-ci n’était donc que l’une des multiples tâches dont ils avaient la responsabilité.

Le financement de l’évaluation des PC est inférieur au niveau recommandé par la Commission

62. Les ressources consacrées à l’évaluation peuvent aussi être exprimées en pourcentage de l’ensemble des crédits budgétaires affectés au programme. Les chiffres obtenus pendant l’audit indiquent que, pour les programmes de recherche dans les États membres de l’UE, la pratique se situe entre 0,1 % et 2 %. Les lignes directrices de la Commission suggèrent que 0,5 % du budget d’un programme devrait être consacré à l’évaluation (38). Toutefois, dans le cas des programmes de grande envergure, une part plus modeste du budget correspondant pourrait suffire grâce aux économies d’échelle.

63. Une comparaison entre les chiffres de la Commission relatifs aux dépenses consacrées à l’évaluation au cours de la période 2003-2006 et les crédits budgétaires de chaque direction générale montre que la moyenne générale oscille autour de 0,15 %, soit un niveau nettement inférieur aux suggestions de la Commission. Une analyse plus approfondie pour l’exercice 2006 révèle que la DG Société de l’information a dépensé pour l’évaluation environ quatre fois plus que la DG Recherche, si l’on se réfère au montant des crédits dont elles disposent. Par ailleurs, à la DG Recherche, 0,7 % seulement d’un fonctionnaire à temps plein est consacré à l’évaluation par million d’euros du budget annuel. À titre comparatif, la DG Société de l’information y consacre un pourcentage double.

64. Comme l’illustre le présent rapport, les efforts supplémentaires de la DG Société de l’information se sont traduits par une évaluation plus complète (voir points 13 et 46) et, comme l’indique l’échantillon d’études d’évaluation examiné par la Cour, par le recours à des méthodologies mieux adaptées aux besoins d’évaluation (voir point 84).

65. Une estimation des coûts réalisée par la Cour, sur la base des données fournies par la Commission, montre qu’un système d’évaluation fondé sur les propositions formulées dans le présent rapport représenterait, en moyenne, moins de 0,4 % de la dotation budgétaire du septième PC. Ce financement couvrirait les coûts des groupes de travail et des études sous-traitées, les dépenses relatives au personnel du bureau d’évaluation conjoint et aux unités actuellement chargées de l’évaluation au sein des DG, ainsi que d’autres frais divers (39).

Recommandations

66. Les «DG Recherche» devraient envisager la création d’un bureau d’évaluation conjoint en plus des unités «Évaluation» existant au sein de chaque DG. Conformément aux pratiques actuellement en vigueur dans d’autres domaines politiques, ce bureau pourrait coordonner les activités d’évaluation de la Commission pour l’ensemble du PC. Ces fonctions communes d’appui ont été recommandées par le passé pour les DG chargées de la mise en œuvre des PC (40). Elles peuvent devenir encore plus importantes à l’avenir avec la création du CER et la délégation de la mise en œuvre des programmes aux agences exécutives. 67. La Commission devrait continuer de recourir aux groupes d’évaluation pour être assistée dans ses activités d’évaluation. Cependant, elle devrait trouver un moyen d’adapter la structure du groupe à la structure générale du PC. Pour ce faire, il est recommandé de mettre en place un groupe pour chaque programme spécifique, et le cas échéant pour chaque sous-programme (voir annexe IV). Par ailleurs, ces groupes devraient être créés suffisamment tôt pour fournir un appui efficace à la Commission et pour poursuivre cet effort pendant toute la période de programmation et au-delà. 68. La Commission devrait réexaminer les ressources consacrées à l’évaluation des PC et de leurs programmes constitutifs.

Méthodologies et techniques d’évaluation

69. Pour obtenir une évaluation efficace, il est nécessaire d’utiliser des méthodologies et des techniques appropriées. La Cour a vérifié si des lignes directrices spécifiques existaient pour l’évaluation des PC, si les besoins d’information étaient analysés correctement et en temps opportun, et si des données pertinentes étaient mises à la disposition des évaluateurs. Compte tenu des études d’évaluation réalisées par (ou pour le compte de) la Commission, la Cour a examiné si les techniques utilisées pour les différentes études offraient une base suffisante pour répondre aux questions définies pour les évaluations quinquennales. La Cour a également pris en considération la contribution potentielle des évaluations nationales à l’évaluation des PC.

Mise en place de standards et de lignes directrices spécifiques aux PC

70. La DG Budget a publié plusieurs communications visant à présenter sa politique d’évaluation et à fournir des règles pour sa mise en œuvre. Elle a établi une série de standards pour toute la Commission (voir points 14 et 55) (41). S’agissant des autres domaines politiques, les DG compétentes ont également élaboré des guides spécifiques d’évaluation (42).

71. Ces dispositions ne concernent toutefois pas les PC. La Commission a publié (ou financé) plusieurs guides et boîtes à outils méthodologiques pour les activités d’évaluation dans le domaine de la recherche (43). Cependant, ces documents ne donnent pas d’orientation spécifique sur la manière d’évaluer les PC et n’indiquent pas comment les concepts clés ou la terminologie doivent être utilisés par les agents de la Commission ou par les experts externes. Ces déficiences ont contribué aux difficultés évoquées ci-après.

Besoins et collecte de données

Analyse insuffisante des besoins d’informations

72. Les «DG Recherche» n’ont pas accordé une attention suffisante à la définition des données nécessaires à l’évaluation et au suivi. Alors qu’une analyse systématique et approfondie des besoins d’informations eût été utile, la Commission a formulé les exigences en matière de données tardivement au cours de la période de programmation et sans tenir dûment compte des besoins généraux de l’évaluation. Le questionnaire socio-économique du sixième PC a été la seule tentative commune à toutes les DG pour se mettre d’accord sur ces données (voir point 76). Or, ce questionnaire a été définitivement établi en 2004 (trois ans après le début de la période de programmation) et couvrait essentiellement des aspects tels que la participation de chercheurs des deux sexes et l’incidence sur l’environnement plutôt que les réalisations scientifiques (telles que les questions de propriété intellectuelle, les publications, etc.), les effets ou les impacts.

73. L’évaluation des programmes reposait en grande partie sur la disponibilité de trois types de données: — données collectées en fonction d’indicateurs d’efficacité, dont l’analyse fournit des renseignements sur l’état d’avancement de la réalisation des objectifs du programme. L’absence susmentionnée de toute logique d’intervention fait qu’il a été difficile de définir ces indicateurs (voir point 30). Dans la pratique, les données collectées présentaient un intérêt limité pour apprécier la réalisation des objectifs du programme, — données concernant la gestion du programme (en fonction d’indicateurs d’efficience), — données concernant les participants (comme les taux de participation des principaux organismes de recherche).

74. Les deux derniers types de données devraient être en particulier disponibles au sein de la Commission. Toutefois, en raison de problèmes au niveau des systèmes informatiques internes de la Commission, qui sont la principale source d’information sur la gestion des programmes et sur les participants (44), d’importantes difficultés à cet égard sont survenues dans la pratique (45).

75. Ces difficultés sont illustrées par les retards considérables affectant la remise des rapports prévus par l’article 173 (46) et des rapports annuels de suivi (jusqu’à 16 mois de retard pour les premiers et jusqu’à 7 mois pour les seconds, au cours de la période 2002-2005). Étant donné que ces informations étaient toujours fournies avec un retard considérable, leur utilité était limitée.

Approche inefficace pour l’obtention de données d’évaluation auprès des participants

76. À partir du cinquième PC, la Commission a systématiquement obligé, par contrat, les participants à fournir les données nécessaires pour mesurer le degré d’accomplissement des objectifs de programme en termes de réalisations, d’effets et d’impacts. Les participants devaient donc: — dans le cadre du cinquième PC, soumettre un «plan de mise en œuvre technologique» et, à l’issue du projet, un rapport final. Ces documents étaient souvent de piètre qualité ou n’étaient même pas produits, — dans le cadre du sixième PC, présenter un «plan pour la valorisation et pour la diffusion des connaissances» et, lors de la remise de leurs rapports techniques annuels, répondre à un questionnaire type concernant les questions socio-économiques.

77. Ces obligations contractuelles pour la communication de données ont imposé des charges administratives superflues aux participants. S’agissant, par exemple, du questionnaire annuel du sixième PC, les données ont été collectées beaucoup trop fréquemment et auprès de l’ensemble des participants aux projets, alors qu’un échantillon représentatif aurait suffi. Cette situation risque de provoquer une certaine «lassitude due à l’évaluation». Par ailleurs, ces données ont été collectées à un mauvais moment: comme beaucoup de questions sous-jacentes pour lesquelles des données ont été recueillies portaient sur le moyen ou le long terme, toute collecte de données pendant la durée contractuelle du projet était, par définition, prématurée (47). C’est pourquoi, dans la pratique, les résultats produits par ces instruments ont été fort peu utiles pour les évaluations des cinquième et sixième PC.

78. Cependant, aucun des systèmes en vigueur ne prévoit que des informations soient collectées selon des modalités uniformes à l’issue d’un projet (ou peu après sa réalisation). Les parties prenantes interrogées ont suggéré que ces informations pourraient porter aussi sur la réalisation des objectifs du projet, sur les résultats escomptés (et non escomptés), ainsi que sur la perception qu’ont les participants de la valeur ajoutée communautaire. Ces informations pourraient également servir de base à l’examen externe des projets achevés (48).

79. En outre, elles pourraient permettre d’intensifier le recours aux approches scientométriques (comme l’analyse de citations) pour évaluer les résultats des projets (voir point 83) et fournir une base à la Commission en vue du passage à un système de financement fondé sur les résultats pour les activités de RDT cofinancées par la Communauté (49).

Autres sources de données insuffisamment utilisées

80. D’autres sources de données existent à la Commission et dans les États membres et ne sont pas suffisamment utilisées (par exemple les bases de données des programmes nationaux de RDT et des organismes de financement, ainsi que le «Service communautaire d’information sur la recherche et sur le développement» (CORDIS) mis en œuvre par l’Office des publications officielles des Communautés européennes (50).

Études d’évaluation réalisées par la Commission

Rapports examinés par la Cour

81. La Cour a examiné 86 études d’évaluation effectuées par (ou pour le compte de) la Commission depuis 2000. Elles comprenaient l’ensemble des 36 études qui formaient la base de l’évaluation quinquennale publiée en 2004, ainsi que les 50 autres études terminées depuis lors. Parmi ces dernières, seules 23 peuvent être considérées comme de véritables évaluations des PC et de leurs programmes (voir graphique 5). Graphique 5 Vue d’ensemble des études d’évaluation réalisées par (ou pour le compte de) la Commission de 2000 à 2006 Type d’études Nombre Description Évaluations des activités des PC 23 Études d’évaluation — fondées sur des méthodologies reconnues (51), — se référant explicitement aux objectifs des programmes et au degré de réalisation de ces objectifs. Analyses d’impact nationales entreprises au niveau des États membres 12 Études réalisées par les États membres qui portent principalement sur les taux de participation nationaux, sans formuler des conclusions relatives aux objectifs du programme. Études méthodologiques 5 Études organisées par la Commission afin de soutenir l’élaboration de méthodologies d’évaluation. Études du paysage européen de la RDT 2 Études portant sur les analyses contextuelles relatives au secteur de la recherche européenne, sans aborder les PC. Elles ne font notamment aucune référence explicite à l’incidence des PC sur les systèmes nationaux de recherche et d’innovation. Documents statistiques descriptifs et non analytiques 33 Documents qui traitent normalement des activités des PC d’une manière très indirecte, en décrivant les activités plutôt qu’en les analysant. Autres documents 11 Série de documents qui abordent les questions présentant un intérêt politique général, sans examiner les PC dans ce contexte.

Évaluations centrées sur des questions de suivi plutôt que sur les effets et sur les impacts

82. La Cour a effectué une méta-analyse de ces études d’évaluation spécifiques qui a permis de dégager deux observations principales: — alors que beaucoup d’études essayent de formuler des conclusions sur les objectifs du programme, les conclusions en question sont présentées de manière vague, si bien que le lecteur reste sceptique quant au traitement réel de cet aspect dans l’évaluation. Cette insuffisance découle souvent du fait que l’absence d’objectifs de programme clairement définis compromet gravement le processus (voir point 28), — au lieu d’évaluer les effets et les impacts des PC sur leurs programmes (et sous-programmes) spécifiques, nombre de documents sont de nature simplement descriptive et, au mieux, se concentrent sur les réalisations immédiates et sur des questions de gestion du projet. Ces rapports ne peuvent donc fournir aucun élément probant concernant les effets ou les impacts.

L’élaboration de nouvelles méthodologies n’a pas fait l’objet d’une attention suffisante

83. Le recours aux méthodologies et aux techniques traditionnelles (notamment les enquêtes, les contrôles documentaires et les entretiens) prévaut pour les évaluations réalisées entre 2000 et 2006 (voir graphique 6). Par ailleurs, un certain nombre d’autres méthodologies et techniques d’évaluation, avancées mais néanmoins bien rôdées, n’ont pas (ou ont très rarement) été utilisées, à savoir: — les approches scientométriques (telles que l’analyse de citations) (52), — les modèles quantitatifs (tels que les analyses de coûts/efficience, de coûts/efficacité et de coûts/avantages) (53), — les modèles d’acteur (ou de comportement) (qui sont axés sur les points de vue des personnes impliquées dans une intervention, comme les caractéristiques des réseaux de recherche et les changements qui les affectent dans le temps).

84. Les études d’évaluation qui tentent de résoudre les difficultés méthodologiques liées à l’appréciation de l’intervention publique en matière de recherche (voir annexe I) n’ont été utilisées que dans un nombre limité de cas: — deux études sur la logique d’intervention ont été achevées récemment (54), — seules trois études ont été mises en évidence qui tentent d’évaluer l’effet du financement communautaire sur l’action en réseau des organismes de recherche au niveau paneuropéen (55), alors que l’hypothèse des effets de réseau positifs figure au cœur du concept d’EER, — une seule tentative a été faite pour tirer des conclusions concernant l’impact atteint au niveau du programme (ou du sous-programme) en combinant le regroupement des analyses d’évaluation au niveau du projet à d’autres techniques d’évaluation (56), — aucun élément n’atteste le recours à d’autres méthodologies, telles l’approche «contrefactuelle» (ou approche «du groupe de contrôle»). Celle-ci serait particulièrement utile pour illustrer la valeur ajoutée des programmes au niveau communautaire par rapport à la non-intervention (ou à la seule intervention au niveau national ou régional).

85. Les parties prenantes interrogées par la Cour étaient d’avis que l’utilité et la pertinence des évaluations de la Commission pourraient être améliorées. Cette constatation démontre que la méthodologie doit être davantage élaborée afin que le système d’évaluation évolue et tienne compte des modifications apportées aux PC (voir point 7) (57).

Les questions majeures soulevées par les évaluations quinquennales n’ont pu être traitées à partir des études d’évaluation spécifique de la Commission

86. Cette constatation est également illustrée par les difficultés non négligeables auxquelles le groupe d’experts chargé de l’évaluation quinquennale de 2004 (58) a dû faire face pour répondre aux questions suggérées dans son mandat d’évaluation. Plusieurs de ces questions difficiles n’ont absolument pas pu être examinées, aucune étude appropriée n’ayant été réalisée préalablement par (ou pour le compte de) la Commission et les membres du groupe d’experts n’ayant pas eu la possibilité de commander ces études en temps utile (voir graphique 7). Graphique 7 Questions traitées dans le cadre de l’évaluation quinquennale de 2004 Question Abordée dans le rapport? MISE EN ŒUVRE Les actions ont-elles été mises en œuvre efficacement? en partie Les actions ont-elles été d’un bon rapport coût/efficacité? en partie Les actions constituaient-elles la meilleure manière d’atteindre les objectifs fixés? non Le cadre légal global (y compris les règles relatives à la participation et aux contrats), les instruments politiques et les modalités d’exécution étaient-ils clairs, appropriés et efficaces? non Le niveau de financement et les autres ressources disponibles étaient-ils adéquats? non Les milieux industriels et de recherche visés, y compris les PME, étaient-ils en mesure de répondre de façon appropriée? oui RÉALISATIONS Les actions ont-elles atteint leurs objectifs respectifs et dans quelle mesure des résultats inattendus ont-ils été enregistrés? non Quels sont les principaux résultats, notamment en termes de réalisations scientifiques, technologiques, socio-économiques et environnementales, en termes de coopération internationale, de transfert de connaissances et d’innovation, d’activités prénormatives, d’accessibilité, de diffusion et d’exploitation des résultats de la recherche, de développement des ressources humaines, de mobilité et de formation, ainsi qu'en termes de soutien et de renforcement de la coordination des activités de recherche? non Les résultats et leurs effets et impacts ont-ils été globalement satisfaisants du point de vue des bénéficiaires directs ou indirects, ainsi que des parties prenantes? non A-t-il été tenu compte de façon satisfaisante des milieux industriels et de recherche concernés, y compris les PME? oui Comment et dans quelle mesure les actions ont-elles contribué à améliorer la compétitivité de la recherche dans l’UE au niveau international? La recherche dans l’UE a-t-elle acquis une position dominante dans des domaines spécifiques? en partie Comment et dans quelle mesure les actions ont-elles contribué aux politiques communautaires en général et à la stratégie de l’UE en matière de développement durable? non Existe-t-il des preuves d’une modification structurelle, notamment une mise en réseau, une intégration et une coordination de la recherche, à un niveau national ou international, suite aux actions communautaires en matière de recherche? non Les programmes ont-ils permis une optimisation des ressources? Les activités ont-elles des impacts durables? non ÉVOLUTION ET PERSPECTIVES Comment les programmes-cadres ont-ils évolué en termes de logique, d’objectifs, de priorités thématiques, d’équilibre entre les priorités du bas vers le haut et du haut vers le bas et entre recherche fondamentale et recherche appliquée, d’instruments, de valeur ajoutée européenne et d’autres impacts, notamment au regard de l’émergence du concept de l’Espace européen de la recherche (EER), des objectifs de Lisbonne et des principaux critères de référence internationaux en matière économique et en matière de recherche? oui Comment le programme-cadre a t-il produit une valeur ajoutée européenne? oui La valeur ajoutée européenne pouvait-elle être obtenue par le biais d’autres mécanismes internationaux ou nationaux? non Les objectifs politiques, les priorités, les instruments et le cycle de vie des programmes sont-ils appropriés pour l’avenir? oui

87. De plus, il a été constaté que les membres du groupe d’experts n’ont été en mesure de répondre aux questions inscrites dans leur mandat que lorsqu’elles portaient sur des volets pour lesquels des objectifs clairs et quantifiables avaient été définis dans les programmes (par exemple, le nombre de petites et moyennes entreprises participantes).

Évaluations des PC réalisées au niveau national

88. Plusieurs États membres et pays associés réalisent leurs propres évaluations nationales des PC, en abordant des questions pertinentes et intéressantes de leur point de vue (59). Au cours des huit dernières années, 14 études de ce type ont été produites pour neuf États membres et un pays associé.

89. La Commission encourageait le recours, dans la mesure du possible, à des approches normalisées. Or, ces études d’impact réalisées au niveau national sont très hétérogènes (60). Dès lors, puisqu’elles ne suivent pas une méthodologie harmonisée, les possibilités d’agréger, de combiner ou de comparer les résultats sont limitées. Par ailleurs, en raison de leur caractère national, ces études ne peuvent saisir que partiellement la dimension de la coopération européenne.

90. Dans son livre vert de 2007 sur l’Espace européen de la recherche, la Commission a affirmé l’importance de disposer, au niveau de l’Espace européen de la recherche, d’analyses rigoureuses réalisées tant par les États membres que par l’UE concernant l’impact et l’efficacité des activités et des politiques de recherche. La Commission reconnaissait également que les dispositions actuelles n’étaient pas suffisantes pour relever ce défi, car chaque niveau d’intervention réalisait ses évaluations séparément (61).

Recommandations

91. La Commission devrait élaborer un manuel pour l’évaluation des activités financées par les PC. Il devra contenir des définitions des concepts clés et de la terminologie et mettre en lumière toute une série de méthodologies appropriées pour certaines activités d’évaluation. Ce manuel devrait être fondé sur les guides et boîtes à outils existants et être mis à jour régulièrement. 92. La Commission devrait définir ses besoins d’informations, en tenant compte de la nécessité de limiter la charge administrative pesant sur les participants. 93. La Commission devrait fournir, en temps utile, des informations concernant le suivi de la mise en œuvre des PC. Comme le prévoient les «règles de participation» du septième PC, il faut résoudre de toute urgence les problèmes concernant les systèmes informatiques de la Commission permettant d’exploiter les données relatives à la gestion des programmes et aux participants. 94. Il convient de réduire considérablement les obligations des participants concernant l’établissement de rapports à remettre à la Commission. Les enquêtes devraient être réalisées seulement sur la base d’échantillons représentatifs. L’obligation contractuelle qui veut que soient présentées, pour chaque projet, des données sur l’impact fondées sur des indicateurs, devrait être remplacée par une brève autoévaluation à l’issue du projet. 95. Pour ses évaluations, la Commission devrait exploiter davantage les sources complémentaires existantes qui contiennent des données pertinentes (qu’elle peut trouver à la fois en son sein et dans les États membres). 96. La Commission devrait utiliser toute la gamme des techniques d’évaluation disponibles. De plus, elle devrait soutenir l’élaboration de nouvelles approches pour résoudre les difficultés méthodologiques inhérentes à l’évaluation de l’intervention publique en matière de recherche (voir annexe I) et recourir à ces approches pour ses propres évaluations. 97. La Commission devrait chercher, en collaboration avec les États membres, le moyen de maximiser les bénéfices des évaluations des PC effectuées au niveau national.

Diffusion et exploitation des constatations résultant des évaluations

98. L’évaluation devrait fournir des informations et une analyse pertinentes susceptibles d’être utilisées efficacement pour la gestion des programmes et l’élaboration de politiques. L’évaluation devrait notamment alimenter une réflexion approfondie sur les points forts et les insuffisances de l’intervention publique. Cette réflexion est nécessaire pour que l’apprentissage puisse avoir lieu. La Cour a vérifié si les évaluations étaient effectuées en temps utile, si les constatations étaient communiquées et diffusées aux parties prenantes à l’extérieur de la Commission, et si cette dernière tenait compte des recommandations afin de réviser les programmes en cours (learning programmes).

La programmation des évaluations n’a pas tenu compte du type d’informations pouvant raisonnablement être escomptées

99. La Cour reconnaît que certains types d’analyse exigent une perspective à long terme (par exemple, l’évaluation des effets et des impacts socio-économiques) et que certains aspects sont liés à une période de programmation spécifique (par exemple, les objectifs des programmes, même au sein d’un domaine scientifique donné), alors que d’autres ne le sont pas (voir graphique 8). Toutefois, la Commission, n’a pas adopté, pour ses activités d’évaluation, une approche prenant ces horizons temporels en considération.

100. Conformément à la législation, les activités principales d’évaluation de la Commission devaient être exclusivement centrées sur les cinq ans précédant l’évaluation quinquennale et portaient dès lors sur des volets relatifs à deux périodes de programmation successives. Aussi, les effets et les impacts à moyen et à long terme ont-ils à peine été pris en considération. En conséquence, les évaluations quinquennales ont été le plus souvent essentiellement centrées sur des aspects de suivi, des questions de conception des programmes à court terme et des observations générales relatives à l’orientation des programmes-cadres. La Cour note avec satisfaction que la législation relative au septième PC ne prévoit plus d’évaluations quinquennales ni d’autre période prédéfinie sur laquelle l’évaluation devrait porter. Graphique 8 Questions de suivi et d’évaluation examinées en fonction de différents horizons temporels Suivi de la mise en œuvre du programme (en cours) — Aspects relatifs à la gestion du programme (par exemple, délai de passation des marchés, délai de paiement, taux de propositions soumises et taux de propositions retenues, exécution budgétaire, taux de financement, etc.) Évaluation à court terme (par exemple, au plus tôt après un à deux ans) — Aspects relatifs à la gestion du programme (par exemple, efficacité des procédures administratives) — Aspects relatifs à la conception du programme (par exemple, accessibilité et flexibilité des instruments, entraves à la participation, conséquences de l’échec de l’appel à propositions, etc.) — Analyse du profil de participation (sous l’angle essentiellement quantitatif à ce stade) Évaluation à moyen terme (par exemple, après sept ans) — Aspects relatifs à la conception du programme (par exemple, efficacité des instruments) — Analyse de la participation (combinant les aspects qualitatifs et quantitatifs, par exemple analyse des réseaux de recherche, impacts sur le comportement des chercheurs, etc.) — Analyse des réalisations des projets (62) (par exemple, publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.) Évaluation à long terme (par exemple, après plus de 10 ans) — Évaluation des effets et des impacts Source: Cour des comptes européenne.

101. Les experts de la Commission ont également relevé les insuffisances de l’évaluation quinquennale en ce qui concerne l’appréciation des effets et des impacts des PC: — le comité chargé de l’évaluation quinquennale en 2004 a observé que «l’évaluation devrait porter tant sur les aspects à court qu’à long terme et leur accorder suffisamment d’attention» et que «des ressources pourraient être dégagées […] afin de permettre des études d’évaluation plus ambitieuses qui pourraient porter plus systématiquement sur les aspects structurels et les aspects socio-économiques plus larges» (63), — une étude commandée par la DG Recherche a relevé les éléments suivants: «les pratiques d’évaluation actuelles des actions de RDT de l’UE — comprenant un suivi continu, des évaluations quinquennales et une évaluation à mi-parcours — se caractérisent par la place importante qu’elles attribuent au suivi par rapport à l’évaluation de l’impact» et «afin de déplacer la demande et les attentes […] vers l’impact socio-économique, il faudrait un nouveau cadre d’évaluation et de suivi contraignant à prendre plus fortement en considération le niveau de l’impact plutôt que de suivre les réalisations» (64).

102. Les problèmes de calendrier des exercices d’évaluation affectent aussi les évaluations spécifiques imposées par la législation. C’est ainsi que le rapport Marimón de 2004, dans lequel les nouveaux instruments mis en place dans le cadre du sixième PC (2003-2006) ont été analysés, a été commandé trop tôt, ce qui a eu pour effet que les experts n’ont pas disposé de suffisamment d’expérience pratique et de preuves empiriques, voire d’aucune, pour étayer leurs conclusions (65).

Communication et diffusion

103. La Commission peut, de sa propre initiative, élaborer et adapter des programmes de travail opérationnels selon des cycles de courte durée, sous réserve d’approbation par le comité de programme concerné. Cela pourrait être l’occasion de procéder à des ajustements de la gestion du programme et également de réaffecter des budgets au sein de sous-programmes. Il ne semble pas que la Commission ait utilisé cette possibilité (voir point 107).

104. À part cela et, compte tenu de la manière dont les PC sont conçus et adoptés, il est quasiment impossible pour la Commission d’apporter des changements importants, tels que des modifications des objectifs des programmes ou la réaffectation de budgets entre des sous-programmes. Seul le législateur peut promulguer des modifications d’une telle ampleur dans le cadre d’une révision de la législation relative aux PC (comme en 2010 pour le septième PC) ou de l’adoption du PC suivant. C’est pourquoi la législation a généralement prévu que les principales opérations d’évaluation doivent être programmées de manière telle que leurs résultats puissent être pris en compte le plus utilement possible pour élaborer les politiques.

105. Les «DG Recherche» elles-mêmes figurent donc parmi les principaux utilisateurs des évaluations de la Commission (66). Cependant, la législation en matière de PC impose aussi expressément que ces évaluations soient communiquées au Parlement européen et au Conseil.

106. Dans le cadre de l’enquête menée par la Cour auprès de la commission ITRE du Parlement européen et du comité CREST du Conseil, une majorité des répondants ont toutefois indiqué qu’ils ne s’estimaient pas suffisamment informés de la mise en œuvre et des résultats des programmes-cadres (voir graphique 9) (67).

Suivi des constatations résultant des évaluations

107. Dans ses bilans annuels d’évaluation, la Commission présente une synthèse des constatations et des actions entreprises sur la base de ses évaluations (68). S’agissant du suivi, la Commission a également donné des réponses formelles aux constatations et aux recommandations formulées dans les évaluations quinquennales et des évaluations spécifiques imposées par la législation. Elle a également, dans la mesure du possible, pris les mesures adéquates pour combler les lacunes relevées lors de ces évaluations. Cela n’a toutefois pas été le cas pour bon nombre d’autres rapports d’évaluation examinés, aucun élément n’attestant que leurs constatations et recommandations aient été prises en considération pour modifier les programmes de travail. Les déclarations relatives à l’EBA et les rapports annuels d’activité des directions générales n’indiquent pas non plus dans quelle mesure les constatations dont il est fait état dans les évaluations ont été suivies d’effet.

Recommandations

108. La Commission devrait définir le type et l’ampleur de l’évaluation qui pourraient être raisonnablement attendus pour les dates mentionnées dans la législation (2008, 2010 et 2015), expliquer la manière dont les évaluations pourraient être utilisées pour adapter les programmes (learning programmes), et préciser la contribution que les évaluations pourraient apporter aux décisions politiques. La Commission devrait notamment clarifier l’approche qu’elle entend adopter concernant l’évaluation des résultats à plus long terme des PC actuels et précédents, étant donné qu’il faut parfois attendre 7 à 10 ans avant que ces résultats ne portent leurs fruits (voir graphique 8). 109. La Commission devrait revoir ses pratiques en matière de communication et de diffusion des constatations faites dans le cadre de ses évaluations, afin que les parties prenantes reçoivent les informations nécessaires. En particulier, les «DG Recherche» devraient réagir formellement à toutes les évaluations et publier ces études sans retard, en même temps que leurs réponses. Elles devraient également rendre compte de leur suivi des constatations dans leurs déclarations relatives à l’EBA et dans leurs rapports annuels d’activité et s’inspirer des recommandations pour actualiser les programmes de travail et concevoir les futurs programmes.

CONCLUSION GÉNÉRALE

110. La Cour reconnaît que l’évaluation des programmes de RDT, notamment l’examen de leurs résultats à long terme, est difficile en soi et qu’il est malaisé de définir les meilleures pratiques en la matière.

111. La Cour estime que l’évaluation est essentielle pour la gestion des programmes, pour la planification future et pour l’élaboration des politiques. L’évaluation fournit également une base pour l’obligation de rendre compte. Elle est une source d’informations précieuses sur les points suivants: quels résultats escomptés (ou non) ont été atteints, dans quelle mesure les objectifs du programme ont été réalisés, quelles étaient l’utilité et la pertinence des programmes et quelles ont été l’efficience et l’efficacité de leur mise en œuvre. Étant donné que l’orientation générale, les décisions budgétaires et la conception des programmes sont arrêtées par le Parlement européen et par le Conseil, un système d’évaluation transparent, crédible et solide est nécessaire pour fournir à ces derniers des informations pertinentes.

112. En 2000 et en 2002, la Commission a mis en place un cadre général d’évaluation qu’elle a ensuite considérablement remanié en 2007. Bien qu’au cours de la période couverte par l’audit de la Cour aucune amélioration significative n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les évaluations des PC et de leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission.

113. Au cours de la période couverte par le présent rapport, les «DG Recherche» disposaient d’un système d’évaluation, comme l’exigeait la législation relative aux PC. La Commission est donc en mesure de présenter un ensemble non négligeable d’études d’évaluation. Il n’en reste pas moins que les éléments concernant la réalisation des objectifs des programmes et les résultats des PC sont peu nombreux ou inexistants. Cela est dû au fait que les évaluations ont généralement été axées sur des questions de mise en œuvre des programmes à court terme. Les évaluations effectuées par la Commission n’ont dès lors guère été utiles aux décideurs politiques, aux parties prenantes et à la Commission elle-même.

114. Compte tenu de l’importance de l’évaluation pour la gestion des programmes et l’élaboration des politiques, l’approche de l’évaluation des programmes-cadres et de leurs programmes constitutifs adoptée par la Commission doit être réexaminée en tenant compte des nouveaux défis politiques, du financement accru, de l’élargissement de l’orientation de la politique de recherche de la Communauté et de la réforme récente de la Commission. Cette recommandation figure également dans le rapport de 2007 du Comité consultatif européen pour la recherche (EURAB).

115. La Cour estime que l’utilisation d’une logique d’intervention explicite pour la future conception de programmes relevant des PC se traduirait par des programmes mieux ciblés et orientés. Elle contribuerait également à la réussite de l’initiative de la Commission intitulée «Mieux légiférer», qui vise à créer un environnement réglementaire mieux conçu, plus simple, plus efficace et qui soit mieux compris (69).

116. L’évaluation des programmes-cadres et de leurs programmes constitutifs serait plus efficace si les objectifs des programmes et les indicateurs étaient plus clairs dès le départ, si les «DG Recherche» s’accordaient sur une stratégie d’évaluation solide sans être trop contraignante, et si des méthodologies d’évaluation plus élaborées étaient utilisées.

117. La Cour a également observé que, dans une certaine mesure, la Commission pourrait revoir ses dispositions organisationnelles actuelles relatives à l’évaluation des programmes-cadres. Plusieurs avantages pourraient être obtenus en procédant aux modifications suivantes: — impliquer les groupes d’évaluation plus tôt dans le processus d’évaluation, en fournissant ainsi une assistance à la Commission tout au long de la période de programmation et au-delà, et rehausser le degré de spécialisation en mettant en place des groupes d’experts pour les programmes spécifiques et, le cas échéant, pour les sous-programmes, — compléter les unités «Évaluation» de chaque DG par un bureau d’évaluation conjoint chargé de coordonner les évaluations de PC.

118. Les recommandations formulées dans le présent rapport sont fondées sur les pratiques existantes au sein de la Commission ou sur les bonnes pratiques au niveau international. S’agissant des ressources, il est évident que l’approche suggérée pour l’évaluation des programmes entraînerait une augmentation des coûts. Cependant, la Cour estime qu’il y a de fortes chances que ce surcoût produise une contrepartie financière positive d’une valeur au moins égale.

Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 22 novembre 2007. Par la Cour des comptes Hubert WEBER Président

(1) Selon l’OCDE, la recherche et le développement peuvent être définis comme «les travaux de création entrepris de façon systématique en vue d’accroître la somme des connaissances, y compris la connaissance de l’homme, de la culture et de la société, ainsi que l’utilisation de cette somme de connaissances pour concevoir de nouvelles applications» (voir OCDE, Manuel de Frascati — Méthode type pour les enquêtes sur la recherche et le développement expérimental, Paris, 2002, p. 30). Dans le contexte communautaire, l’acronyme RDT est utilisé pour se référer à la technologie ainsi qu’à la recherche et au développement.

(2) La DG Recherche est la principale direction générale chargée de la gestion et de la coordination des PC. Cinq autres DG prennent également en charge la gestion (partielle) de programmes spécifiques, la plus importante étant la DG Société de l’information et médias (les autres sont la DG Énergie et transports, la DG Entreprises et industrie, la DG Pêche et le Centre commun de recherche de la Commission).

(3) En 2000, le Conseil européen de Lisbonne s’est fixé l’objectif de faire de l’UE, en dix ans, l’économie de la connaissance la plus dynamique, la plus compétitive et la plus viable, caractérisée par le plein emploi et une cohésion économique et sociale accrue.

(4) En 2002, le Conseil européen a considéré que l’ensemble des dépenses en matière de RDT et d’innovation dans l’Union européenne devrait augmenter pour approcher 3 % du PIB d’ici à 2010. Il a précisé également que les deux tiers de ce nouvel investissement devraient provenir du secteur privé [voir le document de la Commission européenne «Investir dans la recherche: un plan d’action pour l’Europe», communication de la Commission au Conseil, au Parlement européen, au Comité économique et social européen et au Comité des régions, COM(2003) 226 final, p. 7].

(5) Dans le cas de la gestion directe, la Commission effectue les opérations nécessaires à sa mise en œuvre du budget, sans intervention des États membres ou des pays tiers dans lesquels résident les destinataires des dépenses.

(6) À partir de 2006, plus de 22 000 entités légales publiques et privées ont participé au seul sixième PC, en général au sein de consortiums réunissant plusieurs partenaires.

(7) Il s’agit d’une méthode de coopération fondée sur le principe de la coopération intergouvernementale volontaire. Elle repose notamment sur l’apprentissage mutuel, la comparaison et l’échange des meilleures pratiques.

(8) Articles 27, 48, 59 et 60 du règlement (CE, Euratom) no 1605/2002 du Conseil du 25 juin 2002 (JO L 248 du 16.9.2002, p. 1).

(9) Commission européenne, DG Budget, «Répondre aux besoins stratégiques: renforcer l’usage de l’évaluation», communication à la Commission de Mme Grybauskaitė, en accord avec M. le Président, SEC(2007) 213 du 21 février 2007; Commission européenne, DG Budget, «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission», communication à la Commission de Mme Schreyer, SEC(2000) 1051 du 26 juillet 2000.

(10) Article 7, paragraphe 1, de la décision no 1982/2006/CE du Parlement européen et du Conseil du 18 décembre 2006 relative au septième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (2007-2013) (JO L 412 du 30.12.2006, p. 1); les informations concernant le suivi que la Commission doit fournir aux comités de programme sont définies dans les décisions concernant les programmes spécifiques [voir, à titre d’exemple, l’article 8, paragraphe 4, et l’annexe V de la décision 2006/971/CE du Conseil du 19 décembre 2006 relative au programme spécifique «Coopération» mettant en œuvre le septième programme-cadre de la Communauté européenne pour les activités de recherche, de développement technologique et de démonstration (2007-2013) (JO L 400 du 30.12.2006, p. 86)].

(11) Commission européenne, «Communication au Conseil relative à un plan d’action communautaire concernant l’évaluation des activités de recherche et de développement communautaires pour les années 1987 à 1991», COM(86) 660 final du 20 novembre 1986, en réponse à la résolution du Conseil du 28 juin 1983.

(12) Commission européenne, «Évaluation quinquennale des programmes de recherche et de développement technologique de l’Union européenne, 1992-1996», rapport du groupe d’experts indépendants présidé par le vicomte Davignon (1997); Commission européenne, «Évaluation quinquennale des programmes de recherche et de développement technologique de l’Union européenne, 1995-1999», rapport du groupe d’experts indépendants présidé par Joan Majó (juillet 2000); Commission européenne, «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004).

(13) Commission européenne, «Évaluation de l’effectivité des nouveaux instruments du sixième programme-cadre», rapport d’expertise du groupe de haut niveau présidé par le professeur Ramon Marimón, 21 juin 2004.

(14) Commission européenne, DG Budget, «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission», communication à la Commission de Mme Schreyer, SEC(2000) 1051 du 26 juillet 2000; Commission européenne, DG Budget, «Standards et bonnes pratiques d’évaluation», communication à la Commission de M. le Président et de Mme Schreyer, C(2002) 5267 du 23 décembre 2002.

(15) Commission européenne, DG Budget, «Répondre aux besoins stratégiques: renforcer l’usage de l’évaluation», communication à la Commission de Mme Grybauskaitė, en accord avec M. le Président, SEC(2007) 213 du 21 février 2007.

(16) «Impact assessment and ex-ante evaluation», document de travail des services de la Commission européenne, SEC(2005) 430.

(17) La commission «Industrie, recherche et énergie» (ITRE) du Parlement européen est (notamment) compétente pour les questions ayant trait à la politique industrielle, à la politique de recherche (y compris la diffusion et l’exploitation des résultats de la recherche), à la politique spatiale, aux activités du Centre commun de recherche, au traité Euratom, à la société de l’information et aux technologies de l’information.

(18) Le Comité de la recherche scientifique et technique (CREST) a été créé par une résolution du Conseil du 14 janvier 1974 et est composé de représentants des autorités nationales en charge des politiques scientifiques et technologiques des États membres. Le CREST joue un rôle consultatif; il fournit des informations à la Commission et au Conseil, notamment sur des sujets relatifs à la coordination des politiques nationales en matière de recherche et de développement ainsi que sur le suivi et sur l’évaluation des programmes-cadres.

(19) Les cadres logiques qui montrent comment les moyens mis en œuvre pour les différentes activités aboutissent aux résultats souhaités sont la meilleure manière d’illustrer la logique d’intervention. Ces cadres permettent d’expliquer de façon claire les hypothèses sous-jacentes à la manière de concevoir un programme et de subdiviser les objectifs généraux en objectifs opérationnels.

(20) Commission européenne, DG Budget, «L’évaluation des activités de l’UE: guide pratique pour les services de la Commission», juillet 2004, p. 87 et 106.

(21) «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004), section 6 — Evaluating the Framework Programme, p. 19.

(22) Les pays bénéficiaires de l’aide extérieure sont tenus de présenter des cadres logiques pour leur financement communautaire (Commission européenne, «Méthodes de l’aide», volume I — Gestion du cycle de projets, mars 2004, section 5 — L’approche du cadre logique).

(23) Article 27, paragraphe 3, du règlement (CE, Euratom) no 1605/2002.

(24) En 2006, le domaine politique «08 recherche» a été structuré sur la base des programmes (et des sous-programmes) spécifiques de la période de programmation actuelle du sixième PC (par conséquent, cette organisation a été remplacée par une structure différente en 2007). En revanche, s’agissant du domaine politique «09 société de l’information», les programmes spécifiques précédents et actuels ont été rassemblés en une seule approche EBA (Commission européenne, DG Recherche, Direction A, «Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006», 20 décembre 2005; Commission européenne, DG Société de l’information et médias, «2006 — Plan de gestion annuel», 23 décembre 2005).

(25) Dans le cas de la DG Recherche, les objectifs de la GPA (et les indicateurs utilisés pour mesurer leur réalisation) changeaient chaque année. Par contre, la DG Société de l’information disposait d’objectifs pluriannuels, qui n’étaient cependant pas identiques aux objectifs du programme (ou à ceux qui étaient spécifiés au niveau du programme de travail).

(26) Commission européenne, Service d’audit interne, SG et DG Budget, «Review of effectiveness and efficiency of the SPP/ABM cycle», 2005, point 4.1, p. 31.

(27) Commission européenne, «Communication de la Commission au Conseil relative à un plan d’action communautaire concernant l’évaluation des programmes de recherche et de développement communautaires», COM(83) 1 final du 19 janvier 1983.

(28) Communication de la Commission au Conseil et au Parlement européen, «Suivi et évaluation externes et indépendants des activités communautaires dans le domaine de la recherche et du développement technologique», COM(1996) 220 final du 22 mai 1996.

(29) Chaque DG mettant en œuvre les PC consigne ses évaluations planifiées dans des plans annuels (et pluriannuels) d’évaluation des PC. Cependant, ces documents de planification ne peuvent être considérés comme une véritable stratégie d’évaluation.

(30) Article 27, paragraphe 4, du règlement (CE, Euratom) no 1605/2002.

(31) Loi de programme pour la recherche no 2006-450 datée du 18 avril 2006 et décret no 2006-1334 relatif à l’organisation et au fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) daté du 3 novembre 2006.

(32) Il s’agit de l’Agencia Nacional de Evaluación y Prospectiva qui dépend du ministère de l’éducation et des sciences [orden ECI/1252/2005 du 4 mai 2005 créant la commission consultative d’évaluation et de prospective (Comisión Asesora de Evaluación y Prospectiva)].

(33) En 2004, le Deutsche Forschungsgemeinschaft (DFG) a créé un institut spécialisé, l’Institut für Forschungsinformation und Qualitätssicherung (IFQ), en lui confiant la responsabilité de développer et de normaliser les méthodologies d’évaluation, l’assurance qualité ainsi que de réaliser l’évaluation des activités de RDT financées par le DFG.

(34) Pour le septième PC, 15 groupes consultatifs d’experts ont été créés par la Commission; ils étaient au nombre de 12 pour le sixième PC et de 17 dans le cadre du cinquième PC. Ces groupes fournissent des conseils à la Commission sur les questions liées à la politique et aux programmes dans le contexte des PC. Il convient toutefois de noter que le nombre de ces groupes consultatifs ne correspond pas à celui des PC. Cela signifie qu’il n’y a pas un groupe consultatif pour chaque programme (ou sous-programme) spécifique.

(35) Au Canada, presque tous les ministères du gouvernement fédéral ont créé des comités permanents chargés de l’évaluation, incluant des hauts fonctionnaires ainsi que des parties prenantes externes, afin de superviser le système d’évaluation (Conseil de recherches en sciences humaines du Cana