# Journal officiel C 26/2008

| | ISSN 1725-2431 |
| --- | --- |
| Journal officiel
  de l’Union européenne | C 26 |
| | |
| Édition de langue française | Communications et informations | 51e année30 janvier 2008 |

ISSN 1725-2431

Journal officiel

de l’Union européenne

C 26

Édition de langue française

Communications et informations

51e année30 janvier 2008

---

| Numéro d'information | Sommaire | page |
| --- | --- | --- |
| | IV   Informations |
| | INFORMATIONS PROVENANT DES INSTITUTIONS ET ORGANES DE L’UNION EUROPÉENNE |
| | Cour des comptes |
| 2008/C 026/01 | Rapport spécial no 9/2007 relatif à l’évaluation des programmes-cadres de recherche et de développement technologique (RDT) de l’UE: l’approche de la Commission peut-elle être améliorée?, accompagné des réponses de la Commission | 1 |

Numéro d'information

Sommaire

page

IV   Informations

INFORMATIONS PROVENANT DES INSTITUTIONS ET ORGANES DE L’UNION EUROPÉENNE

Cour des comptes

2008/C 026/01

Rapport spécial no 9/2007 relatif à l’évaluation des programmes-cadres de recherche et de développement technologique (RDT) de l’UE: l’approche de la Commission peut-elle être améliorée?, accompagné des réponses de la Commission

o

1

| FR | |
| --- | --- |

FR

---

IV Informations

INFORMATIONS PROVENANT DES INSTITUTIONS ET ORGANES DE L’UNION EUROPÉENNE

Cour des comptes

| 30.1.2008 | FR | Journal officiel de l’Union européenne | C 26/1 |
| --- | --- | --- | --- |

30.1.2008

FR

Journal officiel de l’Union européenne

C 26/1

---

RAPPORT SPÉCIAL N
  o 9/2007

relatif à «l’évaluation des programmes-cadres de recherche et de développement technologique (RDT) de l’UE: l’approche de la Commission peut-elle être améliorée?», accompagné des réponses de la Commission

(présenté en vertu de l’article 248, paragraphe 4, deuxième alinéa, du traité CE)

(2008/C 26/01)

TABLE DES MATIÈRES

| I-V | SYNTHÈSE |
| --- | --- |

I-V

| 1-14 | INTRODUCTION |
| --- | --- |

1-14

| 1-7 | Le rôle de l’Union européenne dans le soutien des activités de RDT |
| --- | --- |

1-7

| 8-14 | Évaluation et suivi des programmes-cadres |
| --- | --- |

8-14

| 15-18 | ÉTENDUE ET APPROCHE DE L’AUDIT |
| --- | --- |

15-18

| 19-109 | OBSERVATIONS |
| --- | --- |

19-109

| 19-37 | Logique d’intervention, définition des objectifs et indicateurs de performance |
| --- | --- |

19-37

| 38-49 | Stratégie d’évaluation |
| --- | --- |

38-49

| 50-68 | Organisation de l’évaluation des programmes-cadres |
| --- | --- |

50-68

| 69-97 | Méthodologies et techniques d’évaluation |
| --- | --- |

69-97

| 98-109 | Diffusion et exploitation des constatations résultant des évaluations |
| --- | --- |

98-109

| 110-118 | CONCLUSION GÉNÉRALE |
| --- | --- |

110-118

Annexe I: Détermination de l’impact et des résultats de l’intervention publique dans le domaine de la RDT

Annexe II: Dispositions en matière de suivi et d’évaluation figurant dans les décisions législatives relatives aux quatrième, cinquième, sixième et septième programmes-cadres

Annexe III: Principales différences de l’évaluation ex post des programmes de recherche entre l’UE (quatrième, cinquième et sixième programmes-cadres), les États-Unis et le Canada

Annexe IV: Structure possible du groupe d’experts pour le septième programme-cadre

Réponses de la Commission

SYNTHÈSE

| I. | Les programmes-cadres (PC) communautaires de RDT sont la plus importante source de financement public en matière de recherche dans l’Union européenne. La Commission est chargée de la gestion des PC et de l’évaluation de leurs résultats. |
| --- | --- |

I.

Les programmes-cadres (PC) communautaires de RDT sont la plus importante source de financement public en matière de recherche dans l’Union européenne. La Commission est chargée de la gestion des PC et de l’évaluation de leurs résultats.

| II. | L’audit a porté sur les dispositions en matière de suivi et d’évaluation en vigueur depuis 1995 pour les trois dernières périodes de programmation (quatrième, cinquième et sixième PC) et traite également des perspectives concernant le 7e PC (2007-2013). Il a été réalisé avec la commission de vérification des comptes de l’AELE et l’assistance d’experts externes. |
| --- | --- |

II.

L’audit a porté sur les dispositions en matière de suivi et d’évaluation en vigueur depuis 1995 pour les trois dernières périodes de programmation (quatrième, cinquième et sixième PC) et traite également des perspectives concernant le 7e PC (2007-2013). Il a été réalisé avec la commission de vérification des comptes de l’AELE et l’assistance d’experts externes.

| III. | L’audit avait pour objectif de déterminer si l’approche adoptée par la Commission pour évaluer les PC était adéquate. Dans ce contexte, la Cour a vérifié si la Commission respectait les obligations légales relatives à l’évaluation et si son système d’évaluation et de suivi répondait aux attentes des parties prenantes. La Cour a notamment examiné si:






  i) | une logique d’intervention sous-jacente aux PC et à leurs programmes constitutifs existait et offrait une base solide pour l’évaluation et le suivi; |
| --- | --- | --- |

III.

L’audit avait pour objectif de déterminer si l’approche adoptée par la Commission pour évaluer les PC était adéquate. Dans ce contexte, la Cour a vérifié si la Commission respectait les obligations légales relatives à l’évaluation et si son système d’évaluation et de suivi répondait aux attentes des parties prenantes. La Cour a notamment examiné si:

i)

une logique d’intervention sous-jacente aux PC et à leurs programmes constitutifs existait et offrait une base solide pour l’évaluation et le suivi;

| ii) | la Commission avait défini une stratégie d’évaluation pour les PC; |
| --- | --- |

ii)

la Commission avait défini une stratégie d’évaluation pour les PC;

| iii) | la structure organisationnelle du système d’évaluation de la Commission était telle que l’évaluation était correctement coordonnée, qu’elle bénéficiait de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes; |
| --- | --- |

iii)

la structure organisationnelle du système d’évaluation de la Commission était telle que l’évaluation était correctement coordonnée, qu’elle bénéficiait de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes;

| iv) | les méthodologies utilisées pour l’évaluation étaient satisfaisantes; |
| --- | --- |

iv)

les méthodologies utilisées pour l’évaluation étaient satisfaisantes;

| v) | les activités d’évaluation et de suivi fournissaient des informations et une analyse permettant d’améliorer les programmes en cours et d’élaborer les futurs PC. |
| --- | --- |

v)

les activités d’évaluation et de suivi fournissaient des informations et une analyse permettant d’améliorer les programmes en cours et d’élaborer les futurs PC.

| IV. | La Cour formule les constatations et les conclusions suivantes:






  i) | l’absence d’une logique d’intervention explicite, des objectifs de programme mal définis et une faible appréciation des performances ont nui à l’efficacité du suivi et de l’évaluation; |
| --- | --- | --- |

IV.

La Cour formule les constatations et les conclusions suivantes:

i)

l’absence d’une logique d’intervention explicite, des objectifs de programme mal définis et une faible appréciation des performances ont nui à l’efficacité du suivi et de l’évaluation;

| ii) | l’absence d’une stratégie intégrée d’évaluation, approuvée par les «DG Recherche» qui mettent en œuvre les PC, a entraîné l’adoption d’approches incohérentes entre les différents services de la Commission. Cette faiblesse est illustrée notamment par une sous-évaluation de parties importantes des PC; |
| --- | --- |

ii)

l’absence d’une stratégie intégrée d’évaluation, approuvée par les «DG Recherche» qui mettent en œuvre les PC, a entraîné l’adoption d’approches incohérentes entre les différents services de la Commission. Cette faiblesse est illustrée notamment par une sous-évaluation de parties importantes des PC;

| iii) | l’évaluation des PC était décentralisée, les mécanismes existants de coordination des DG chargées de la mise en œuvre des PC n’étaient pas efficaces et les services centraux de la Commission ne jouaient aucun rôle dans l’application des normes. En règle générale, les «DG Recherche» ont toutefois respecté les exigences formelles de la Commission en matière d’évaluation. Le recours à des groupes d’experts externes de haut niveau désignés par la Commission pour les principaux travaux d’évaluation est bien adapté au contexte communautaire. Toutefois, ces groupes temporaires n’ont pas été impliqués assez tôt dans le processus pour pouvoir influencer la collecte d’éléments probants et n’ont guère eu la possibilité de suivre les questions importantes dans le temps. En utilisant seulement un groupe d’experts pour le PC général (en plus d’un groupe pour un programme spécifique), les questions particulières aux différents domaines scientifiques relevant des PC n’ont pas reçu toute l’attention nécessaire; |
| --- | --- |

iii)

l’évaluation des PC était décentralisée, les mécanismes existants de coordination des DG chargées de la mise en œuvre des PC n’étaient pas efficaces et les services centraux de la Commission ne jouaient aucun rôle dans l’application des normes. En règle générale, les «DG Recherche» ont toutefois respecté les exigences formelles de la Commission en matière d’évaluation. Le recours à des groupes d’experts externes de haut niveau désignés par la Commission pour les principaux travaux d’évaluation est bien adapté au contexte communautaire. Toutefois, ces groupes temporaires n’ont pas été impliqués assez tôt dans le processus pour pouvoir influencer la collecte d’éléments probants et n’ont guère eu la possibilité de suivre les questions importantes dans le temps. En utilisant seulement un groupe d’experts pour le PC général (en plus d’un groupe pour un programme spécifique), les questions particulières aux différents domaines scientifiques relevant des PC n’ont pas reçu toute l’attention nécessaire;

| iv) | les orientations méthodologiques fournies étaient inadéquates; les évaluateurs ont éprouvé des difficultés à réunir les données pertinentes et aucune étude d’évaluation n’a traité des effets et des impacts à long terme des PC plutôt que des questions de mise en œuvre du programme à court terme; |
| --- | --- |

iv)

les orientations méthodologiques fournies étaient inadéquates; les évaluateurs ont éprouvé des difficultés à réunir les données pertinentes et aucune étude d’évaluation n’a traité des effets et des impacts à long terme des PC plutôt que des questions de mise en œuvre du programme à court terme;

| v) | en raison des déficiences mentionnées ci-dessus et du fait que les évaluations ont souvent été effectuées trop tôt pour aborder les questions les plus importantes, le système utilisé par la Commission pour évaluer les PC n’a guère été utile aux décideurs politiques, aux parties prenantes ou à la Commission elle-même. En définitive, on dispose de peu d’informations concernant la réalisation des objectifs du programme et les résultats des PC. |
| --- | --- |

v)

en raison des déficiences mentionnées ci-dessus et du fait que les évaluations ont souvent été effectuées trop tôt pour aborder les questions les plus importantes, le système utilisé par la Commission pour évaluer les PC n’a guère été utile aux décideurs politiques, aux parties prenantes ou à la Commission elle-même. En définitive, on dispose de peu d’informations concernant la réalisation des objectifs du programme et les résultats des PC.

| V. | La Cour formule les recommandations suivantes:






  i) | il convient de rendre la logique d’intervention plus explicite dans la future législation. Les hypothèses sous-jacentes doivent être expliquées, le lien entre objectifs scientifiques et objectifs socio-économiques doit être clarifié et des indicateurs de performance appropriés doivent être élaborés; |
| --- | --- | --- |

V.

La Cour formule les recommandations suivantes:

i)

il convient de rendre la logique d’intervention plus explicite dans la future législation. Les hypothèses sous-jacentes doivent être expliquées, le lien entre objectifs scientifiques et objectifs socio-économiques doit être clarifié et des indicateurs de performance appropriés doivent être élaborés;

| ii) | une stratégie intégrée d’évaluation devrait être élaborée (et approuvée) par les DG chargées de la mise en œuvre des PC. Elle devrait comporter notamment une approche cohérente concernant le niveau minimal auquel une évaluation détaillée doit être entreprise, afin de tenir compte des particularités de chaque domaine scientifique; |
| --- | --- |

ii)

une stratégie intégrée d’évaluation devrait être élaborée (et approuvée) par les DG chargées de la mise en œuvre des PC. Elle devrait comporter notamment une approche cohérente concernant le niveau minimal auquel une évaluation détaillée doit être entreprise, afin de tenir compte des particularités de chaque domaine scientifique;

| iii) | il conviendrait d’envisager la mise en place d’un bureau d’évaluation conjoint, chargé de coordonner les activités d’évaluation des «DG Recherche» pour l’ensemble du PC, et de créer un système de groupes (et de sous-groupes) composés d’experts externes. Ces groupes devraient être mis en place suffisamment tôt pour assister efficacement la Commission et continuer de le faire pendant toute la période de programmation et ultérieurement; |
| --- | --- |

iii)

il conviendrait d’envisager la mise en place d’un bureau d’évaluation conjoint, chargé de coordonner les activités d’évaluation des «DG Recherche» pour l’ensemble du PC, et de créer un système de groupes (et de sous-groupes) composés d’experts externes. Ces groupes devraient être mis en place suffisamment tôt pour assister efficacement la Commission et continuer de le faire pendant toute la période de programmation et ultérieurement;

| iv) | il faudrait effectuer une analyse approfondie des besoins en matière de données pour l’évaluation et le suivi et exploiter davantage d’autres sources de données existantes. La Commission devrait également rationaliser les exigences imposées aux participants en ce qui concerne l’établissement et la présentation de rapports. Enfin, elle devrait élaborer un manuel détaillé pour l’évaluation des PC et développer un plus large éventail de méthodologies et de techniques à utiliser dans le cadre des évaluations dans ce domaine; |
| --- | --- |

iv)

il faudrait effectuer une analyse approfondie des besoins en matière de données pour l’évaluation et le suivi et exploiter davantage d’autres sources de données existantes. La Commission devrait également rationaliser les exigences imposées aux participants en ce qui concerne l’établissement et la présentation de rapports. Enfin, elle devrait élaborer un manuel détaillé pour l’évaluation des PC et développer un plus large éventail de méthodologies et de techniques à utiliser dans le cadre des évaluations dans ce domaine;

| v) | la Commission devrait définir le type et l’étendue de l’évaluation qui peuvent être raisonnablement escomptés pour les dates prévues par la législation relative au septième PC; elle devrait également clarifier la façon dont les évaluations peuvent être utilisées pour adapter les programmes (learning programmes) et dont elles peuvent contribuer aux décisions politiques. |
| --- | --- |

v)

la Commission devrait définir le type et l’étendue de l’évaluation qui peuvent être raisonnablement escomptés pour les dates prévues par la législation relative au septième PC; elle devrait également clarifier la façon dont les évaluations peuvent être utilisées pour adapter les programmes (learning programmes) et dont elles peuvent contribuer aux décisions politiques.

INTRODUCTION

Le rôle de l’Union européenne dans le soutien des activités de RDT

| 1. | La recherche et le développement technologique (RDT) (1) sont le principal moteur du progrès scientifique et technologique ainsi que de l’innovation; c’est pourquoi ils contribuent fortement à améliorer le niveau de vie. L’intervention publique dans le domaine de la RDT est généralement justifiée comme une mesure correctrice en vue de pallier ce qu’il est convenu d’appeler des «défaillances du marché». En effet, les aides publiques contribuent à réduire les incertitudes et fournissent des investissements lorsque la recherche est un bien public ou quand il y a des externalités importantes. |
| --- | --- |

1.

La recherche et le développement technologique (RDT) (1) sont le principal moteur du progrès scientifique et technologique ainsi que de l’innovation; c’est pourquoi ils contribuent fortement à améliorer le niveau de vie. L’intervention publique dans le domaine de la RDT est généralement justifiée comme une mesure correctrice en vue de pallier ce qu’il est convenu d’appeler des «défaillances du marché». En effet, les aides publiques contribuent à réduire les incertitudes et fournissent des investissements lorsque la recherche est un bien public ou quand il y a des externalités importantes.

| 2. | L’article 163 du traité CE définit le rôle des Communautés concernant le soutien à la RDT, en disposant que «la Communauté a pour objectif de renforcer les bases scientifiques et technologiques de l’industrie de la Communauté et de favoriser le développement de sa compétitivité internationale, ainsi que de promouvoir les actions de recherche jugées nécessaires». Les articles 164 à 173 définissent les actions à mener dans ce domaine ainsi que le champ d’application et la mise en œuvre des programmes-cadres pluriannuels de RDT. La Commission est chargée de présenter des propositions de PC, tandis que les décisions de programmes-cadres et les règles de participation et de diffusion sont arrêtées selon la procédure de codécision par le Parlement européen et par le Conseil. Ce dernier adopte seul les programmes spécifiques. Les PC sont mis en œuvre conjointement par six directions générales (DG), communément appelées «DG Recherche» (2). |
| --- | --- |

2.

L’article 163 du traité CE définit le rôle des Communautés concernant le soutien à la RDT, en disposant que «la Communauté a pour objectif de renforcer les bases scientifiques et technologiques de l’industrie de la Communauté et de favoriser le développement de sa compétitivité internationale, ainsi que de promouvoir les actions de recherche jugées nécessaires». Les articles 164 à 173 définissent les actions à mener dans ce domaine ainsi que le champ d’application et la mise en œuvre des programmes-cadres pluriannuels de RDT. La Commission est chargée de présenter des propositions de PC, tandis que les décisions de programmes-cadres et les règles de participation et de diffusion sont arrêtées selon la procédure de codécision par le Parlement européen et par le Conseil. Ce dernier adopte seul les programmes spécifiques. Les PC sont mis en œuvre conjointement par six directions générales (DG), communément appelées «DG Recherche» (2).

| 3. | Parmi le large éventail de politiques mises en œuvre dans l’Union européenne afin de renforcer l’innovation et la compétitivité, les programmes-cadres sont l’instrument financier le plus important qui contribue à la stratégie de Lisbonne (3) et à l’objectif de Barcelone (4) au niveau communautaire. |
| --- | --- |

3.

Parmi le large éventail de politiques mises en œuvre dans l’Union européenne afin de renforcer l’innovation et la compétitivité, les programmes-cadres sont l’instrument financier le plus important qui contribue à la stratégie de Lisbonne (3) et à l’objectif de Barcelone (4) au niveau communautaire.

Image

| 4. | Par le biais des PC, la Communauté octroie des fonds à des chercheurs de l’Union européenne, de pays associés et d’organisations internationales. Les budgets de ces programmes ont connu une forte augmentation au fil des ans pour atteindre 7 217 millions d’euros par an avec le septième PC, alors qu’ils s’élevaient seulement à 2 761 millions d’euros par an sous le quatrième, PC (voir graphique 1). En termes de crédits budgétaires, les PC représentent le plus grand domaine de gestion directe et centralisée au sein de la Commission (5). |
| --- | --- |

4.

Par le biais des PC, la Communauté octroie des fonds à des chercheurs de l’Union européenne, de pays associés et d’organisations internationales. Les budgets de ces programmes ont connu une forte augmentation au fil des ans pour atteindre 7 217 millions d’euros par an avec le septième PC, alors qu’ils s’élevaient seulement à 2 761 millions d’euros par an sous le quatrième, PC (voir graphique 1). En termes de crédits budgétaires, les PC représentent le plus grand domaine de gestion directe et centralisée au sein de la Commission (5).

| 5. | Les PC diffèrent de nombreux programmes nationaux car ils couvrent aussi bien la recherche fondamentale que la recherche appliquée, avec la participation d’entreprises et d’organismes publics de recherche (6). Ils sont composés de plusieurs programmes (et sous-programmes) spécifiques portant sur des domaines scientifiques assez larges. Ces programmes sont généralement constitués d’un certain nombre de segments centrés sur une branche scientifique plus précise. Ces segments font ensuite l’objet d’appels d’offres visant à mettre en œuvre des projets (appelés «actions indirectes»). Pour chaque segment, des centaines de projets sont financés de cette manière. |
| --- | --- |

5.

Les PC diffèrent de nombreux programmes nationaux car ils couvrent aussi bien la recherche fondamentale que la recherche appliquée, avec la participation d’entreprises et d’organismes publics de recherche (6). Ils sont composés de plusieurs programmes (et sous-programmes) spécifiques portant sur des domaines scientifiques assez larges. Ces programmes sont généralement constitués d’un certain nombre de segments centrés sur une branche scientifique plus précise. Ces segments font ensuite l’objet d’appels d’offres visant à mettre en œuvre des projets (appelés «actions indirectes»). Pour chaque segment, des centaines de projets sont financés de cette manière.

| 6. | La part globale des PC dans l’ensemble des financements publics en matière de RDT dans l’Union européenne et dans ses États membres se situe entre 4 % et 5 %. Toutefois, leur incidence sur la nature des recherches qui sont réalisées en Europe est beaucoup plus importante. En effet, généralement, les subventions communautaires ne couvrent qu’une partie du financement total du projet. De plus, lorsqu’ils demandent un financement, les chercheurs doivent démontrer que leurs projets poursuivent les objectifs spécifiés dans les appels d’offres. De cette façon, les PC incitent à orienter les activités de RDT vers des objectifs communautaires particuliers. |
| --- | --- |

6.

La part globale des PC dans l’ensemble des financements publics en matière de RDT dans l’Union européenne et dans ses États membres se situe entre 4 % et 5 %. Toutefois, leur incidence sur la nature des recherches qui sont réalisées en Europe est beaucoup plus importante. En effet, généralement, les subventions communautaires ne couvrent qu’une partie du financement total du projet. De plus, lorsqu’ils demandent un financement, les chercheurs doivent démontrer que leurs projets poursuivent les objectifs spécifiés dans les appels d’offres. De cette façon, les PC incitent à orienter les activités de RDT vers des objectifs communautaires particuliers.

| 7. | Ces dernières années, d’importants changements sont intervenus en ce qui concerne les programmes-cadres, pour les raisons suivantes:






  — | le lancement de nouveaux défis politiques [la stratégie de Lisbonne et les objectifs de Barcelone, la création d’un «espace européen de la recherche» (EER) et le recours plus fréquent à la méthode ouverte de coordination (7) pour les politiques en matière de recherche et d’innovation], |
| --- | --- | --- |

7.

Ces dernières années, d’importants changements sont intervenus en ce qui concerne les programmes-cadres, pour les raisons suivantes:

—

le lancement de nouveaux défis politiques [la stratégie de Lisbonne et les objectifs de Barcelone, la création d’un «espace européen de la recherche» (EER) et le recours plus fréquent à la méthode ouverte de coordination (7) pour les politiques en matière de recherche et d’innovation],

| — | le changement d’orientation des programmes-cadres: de la simple solution de problèmes techniques pour le quatrième PC à l’encouragement de la coopération entre organismes de recherche au sein de l’EER ainsi qu’à la contribution au développement d’une économie et d’une société de la connaissance pour les sixième et septième PC, en passant par le traitement de problèmes sociaux spécifiques dans le cadre du 5e PC, |
| --- | --- |

—

le changement d’orientation des programmes-cadres: de la simple solution de problèmes techniques pour le quatrième PC à l’encouragement de la coopération entre organismes de recherche au sein de l’EER ainsi qu’à la contribution au développement d’une économie et d’une société de la connaissance pour les sixième et septième PC, en passant par le traitement de problèmes sociaux spécifiques dans le cadre du 5e PC,

| — | l’allongement de la période de programmation (de 4 ans auparavant, elle est passée à 7 ans pour le septième PC, afin de correspondre aux perspectives financières 2007-2013), |
| --- | --- |

—

l’allongement de la période de programmation (de 4 ans auparavant, elle est passée à 7 ans pour le septième PC, afin de correspondre aux perspectives financières 2007-2013),

| — | un plus grand nombre d’États membres et de pays participants, |
| --- | --- |

—

un plus grand nombre d’États membres et de pays participants,

| — | l’augmentation du financement, notamment dans le cadre des perspectives financières actuelles, |
| --- | --- |

—

l’augmentation du financement, notamment dans le cadre des perspectives financières actuelles,

| — | la mise en place du Conseil européen de la recherche (CER) et la délégation des actes de gestion des programmes aux agences exécutives à partir du septième PC, |
| --- | --- |

—

la mise en place du Conseil européen de la recherche (CER) et la délégation des actes de gestion des programmes aux agences exécutives à partir du septième PC,

| — | l’utilisation accrue d’instruments de financement à grande échelle (par exemple, les réseaux d’excellence, les projets intégrés, les projets mis en place au titre de l’article 169, les initiatives technologiques conjointes). |
| --- | --- |

—

l’utilisation accrue d’instruments de financement à grande échelle (par exemple, les réseaux d’excellence, les projets intégrés, les projets mis en place au titre de l’article 169, les initiatives technologiques conjointes).

Évaluation et suivi des programmes-cadres

| 8. | La Commission est chargée de la mise en œuvre des programmes et de l’évaluation de leurs résultats (8). Au sein de la Commission, l’évaluation est décentralisée au niveau des DG, tandis que les services centraux (en particulier la DG Budget et le secrétariat général) assurent l’appui et la coordination. |
| --- | --- |

8.

La Commission est chargée de la mise en œuvre des programmes et de l’évaluation de leurs résultats (8). Au sein de la Commission, l’évaluation est décentralisée au niveau des DG, tandis que les services centraux (en particulier la DG Budget et le secrétariat général) assurent l’appui et la coordination.

| 9. | Les définitions utilisées dans le présent rapport sont celles de la Commission, à savoir: par «évaluation», on entend une «appréciation des interventions en fonction de leurs résultats, de leur impact et des besoins qu’elles visent à satisfaire» (9); par «suivi», on entend la fourniture d’informations sur la mise en œuvre des programmes et des projets en cours afin de répondre aux besoins liés à la gestion (10). Les deux activités sont définies de la sorte dans la législation régissant actuellement le 7e PC. |
| --- | --- |

9.

Les définitions utilisées dans le présent rapport sont celles de la Commission, à savoir: par «évaluation», on entend une «appréciation des interventions en fonction de leurs résultats, de leur impact et des besoins qu’elles visent à satisfaire» (9); par «suivi», on entend la fourniture d’informations sur la mise en œuvre des programmes et des projets en cours afin de répondre aux besoins liés à la gestion (10). Les deux activités sont définies de la sorte dans la législation régissant actuellement le 7e PC.

| 10. | La terminologie utilisée pour décrire ci-après les résultats des activités de RDT est la suivante:






  — | «les réalisations» sont les connaissances, les biens et les services directement produits à la suite de l’intervention publique (publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.), |
| --- | --- | --- |

10.

La terminologie utilisée pour décrire ci-après les résultats des activités de RDT est la suivante:

—

«les réalisations» sont les connaissances, les biens et les services directement produits à la suite de l’intervention publique (publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.),

| — | «les effets» sont les résultats différés de l’exploitation des réalisations par les utilisateurs, |
| --- | --- |

—

«les effets» sont les résultats différés de l’exploitation des réalisations par les utilisateurs,

| — | «les impacts» sont les modifications socio-économiques et politiques à long terme entraînées par l’intervention publique. |
| --- | --- |

—

«les impacts» sont les modifications socio-économiques et politiques à long terme entraînées par l’intervention publique.

Encadré 1L’exemple du «système mondial de communications mobiles» (GSM)Dans ce cas, les «réalisations» du financement communautaire ont été les résultats immédiats du projet, tels que l’élaboration de la norme GSM. L’«effet» a consisté en son acceptation en tant que norme pour la téléphonie cellulaire numérique en Europe et au-delà, ce qui a fortement contribué au développement du secteur des télécommunications. Enfin, les «impacts» ont été les conséquences économiques, sociales et politiques de l’utilisation de cette technologie au niveau international. Parmi ceux-ci figurent la contribution à la création d’emplois dans le secteur des télécommunications et dans les secteurs connexes et l’importance accrue de ce secteur pour l’économie européenne. À terme, le système GSM a également fourni un nouveau moyen de communication entre les personnes.

| 11. | L’appréciation de ces résultats pose toutefois un certain nombre de problèmes d’ordre méthodologique (voir annexe I). Les changements socio-économiques sont un phénomène complexe et, plus particulièrement, il est souvent difficile de relier l’activité de recherche aux effets et aux impacts observés. Bien qu’elles représentent un défi considérable, ces difficultés méthodologiques n’empêchent pas nécessairement une évaluation efficace. |
| --- | --- |

11.

L’appréciation de ces résultats pose toutefois un certain nombre de problèmes d’ordre méthodologique (voir annexe I). Les changements socio-économiques sont un phénomène complexe et, plus particulièrement, il est souvent difficile de relier l’activité de recherche aux effets et aux impacts observés. Bien qu’elles représentent un défi considérable, ces difficultés méthodologiques n’empêchent pas nécessairement une évaluation efficace.

| 12. | La Commission a mis en place un système pour suivre et évaluer les PC depuis les années 1980 (11). À partir du quatrième PC, au milieu des années 1990, le système de suivi et d’évaluation a consisté en un certain nombre d’activités en partie interconnectées, notamment:






  — | un suivi annuel (portant surtout sur la mise en œuvre des programmes), |
| --- | --- | --- |

12.

La Commission a mis en place un système pour suivre et évaluer les PC depuis les années 1980 (11). À partir du quatrième PC, au milieu des années 1990, le système de suivi et d’évaluation a consisté en un certain nombre d’activités en partie interconnectées, notamment:

—

un suivi annuel (portant surtout sur la mise en œuvre des programmes),

| — | des évaluations quinquennales des activités des programmes-cadres (et, à partir du sixième PC, des évaluations complémentaires portant sur des questions spécifiques). |
| --- | --- |

—

des évaluations quinquennales des activités des programmes-cadres (et, à partir du sixième PC, des évaluations complémentaires portant sur des questions spécifiques).

Ces deux types d’activités ont dû être mises en œuvre avec l’aide d’experts externes (voir graphique 2 et annexe II).

Graphique 2

Principales dispositions concernant le suivi et l’évaluation des quatrième, cinquième, sixième et septième PC

| 4e PC (1995-1998) | 5e PC (1999-2002) | 6e PC (2003-2006) | 7e PC (2007-2013) |
| --- | --- | --- | --- |
| Deux exercices d’évaluation (à mi-parcours et finale), dans chaque cas pour ses 20 sous-programmes plus le PC; l’évaluation finale et l’évaluation à mi-parcours du cinquième PC se chevauchent. | Deux exercices d’évaluation simultanés (à mi-parcours), dans chaque cas pour ses sept programmes spécifiques plus le PC. | Un exercice d’évaluation pour le PC et ses trois programmes spécifiques (à mi-parcours), mais pas pour chacun des 20 sous-programmes, complété par une évaluation spécifique et des rapports réguliers sur l’état d’avancement (rapports de suivi). | Au moins cinq exercices d’évaluation
  (ex ante, à mi-parcours et finale) comprenant des rapports d’activité spécifiques avant l’évaluation intermédiaire. |
| 1. | Ex ante: Non. |

4e PC (1995-1998)

5e PC (1999-2002)

6e PC (2003-2006)

7e PC (2007-2013)

Deux exercices d’évaluation (à mi-parcours et finale), dans chaque cas pour ses 20 sous-programmes plus le PC; l’évaluation finale et l’évaluation à mi-parcours du cinquième PC se chevauchent.

Deux exercices d’évaluation simultanés (à mi-parcours), dans chaque cas pour ses sept programmes spécifiques plus le PC.

Un exercice d’évaluation pour le PC et ses trois programmes spécifiques (à mi-parcours), mais pas pour chacun des 20 sous-programmes, complété par une évaluation spécifique et des rapports réguliers sur l’état d’avancement (rapports de suivi).

Au moins cinq exercices d’évaluation
  (ex ante, à mi-parcours et finale) comprenant des rapports d’activité spécifiques avant l’évaluation intermédiaire.

1.

Ex ante: Non.

| 1. | Ex ante: Non. |
| --- | --- |

1.

Ex ante: Non.

| 1. | Ex ante: Non. |
| --- | --- |

1.

Ex ante: Non.

| 1. | Ex ante:
  intégrée dans l’évaluation de l’impact de la proposition de la Commission relative au septième PC (2005). |
| --- | --- |

1.

intégrée dans l’évaluation de l’impact de la proposition de la Commission relative au septième PC (2005).

| 2. | À mi-parcours:






  — | «évaluation quinquennale»: à mi-parcours du PC, avant le PC suivant (1997). |
| --- | --- | --- |

2.

—

«évaluation quinquennale»: à mi-parcours du PC, avant le PC suivant (1997).

| 2. | À mi-parcours:






  — | évaluation quinquennale: avant présentation de la proposition relative au PC suivant (2000) |
| --- | --- | --- |

2.

—

évaluation quinquennale: avant présentation de la proposition relative au PC suivant (2000)

| — | examen de l’état d’avancement à mi-parcours du PC (2001). |
| --- | --- |

—

examen de l’état d’avancement à mi-parcours du PC (2001).

| 2. | À mi-parcours:






  — | évaluation de l’efficacité des instruments (2004) |
| --- | --- | --- |

2.

—

évaluation de l’efficacité des instruments (2004)

| — | évaluation quinquennale avant présentation de la proposition relative au PC suivant (2004) |
| --- | --- |

—

évaluation quinquennale avant présentation de la proposition relative au PC suivant (2004)

| — | rapports réguliers sur l’état d’avancement (rapports de suivi). |
| --- | --- |

—

rapports réguliers sur l’état d’avancement (rapports de suivi).

| 2. | À mi-parcours:






  — | ex post, 2 ans après la fin du PC précédent (2008) |
| --- | --- | --- |

2.

—

ex post, 2 ans après la fin du PC précédent (2008)

| — | rapport d’activité avant l’évaluation intermédiaire (avant 2010) |
| --- | --- |

—

rapport d’activité avant l’évaluation intermédiaire (avant 2010)

| — | évaluation intermédiaire (2010). |
| --- | --- |

—

évaluation intermédiaire (2010).

| 3. | Finale:






  — | à la fin du PC (1999). |
| --- | --- | --- |

3.

—

à la fin du PC (1999).

| 3. | Finale:
  Non. |
| --- | --- |

3.

Non.

| 3. | Finale:
  Non

  (modifiée par la décision relative au septième PC). |
| --- | --- |

3.

Non

(modifiée par la décision relative au septième PC).

| 3. | Finale:
  deux ans après la fin du PC (2015), étayée par des études spécifiques, l’évaluation intermédiaire et les autres activités d’évaluation pendant toute la période du PC. |
| --- | --- |

3.

deux ans après la fin du PC (2015), étayée par des études spécifiques, l’évaluation intermédiaire et les autres activités d’évaluation pendant toute la période du PC.

Source: Voir annexe II.

| 13. | À ce jour, trois évaluations quinquennales ont été réalisées (12) et ont produit les rapports Davignon, Majó et Ormala (respectivement en 1997, en 2000 et en 2004). En outre, la DG Société de l’information a effectué des évaluations ciblées de son programme spécifique. Il convient de noter que les évaluations quinquennales ont été abandonnées avec la législation relative au septième PC, qui supprime la contrainte qui pesait sur les principales actions d’évaluation, à savoir l’obligation de se concentrer sur les cinq années précédentes, et donc de porter en partie sur deux périodes de programmation successives. En 2004, le rapport Marimón (13) — évaluation spécifique de l’effectivité des nouveaux instruments introduits au cours du sixième PC — a aussi été publié. |
| --- | --- |

13.

À ce jour, trois évaluations quinquennales ont été réalisées (12) et ont produit les rapports Davignon, Majó et Ormala (respectivement en 1997, en 2000 et en 2004). En outre, la DG Société de l’information a effectué des évaluations ciblées de son programme spécifique. Il convient de noter que les évaluations quinquennales ont été abandonnées avec la législation relative au septième PC, qui supprime la contrainte qui pesait sur les principales actions d’évaluation, à savoir l’obligation de se concentrer sur les cinq années précédentes, et donc de porter en partie sur deux périodes de programmation successives. En 2004, le rapport Marimón (13) — évaluation spécifique de l’effectivité des nouveaux instruments introduits au cours du sixième PC — a aussi été publié.

| 14. | Le cadre dont dispose la Commission pour ses activités d’évaluation a été réexaminé en 2000 et en 2002 (14). Les communications correspondantes ont été mises à jour en 2007 en tenant compte de la réforme administrative de la Commission et du nouveau règlement financier (15). Ces documents décrivent le rôle et la fonction de l’évaluation dans le contexte du cycle de planification générale, de programmation et de présentation de rapports de la Commission, et établissent un ensemble incluant 21 standards d’évaluation et 18 modèles de «bonnes pratiques». De plus, ces documents évoquent le recours à l’évaluation pour élaborer et pour simplifier la législation de l’UE. |
| --- | --- |

14.

Le cadre dont dispose la Commission pour ses activités d’évaluation a été réexaminé en 2000 et en 2002 (14). Les communications correspondantes ont été mises à jour en 2007 en tenant compte de la réforme administrative de la Commission et du nouveau règlement financier (15). Ces documents décrivent le rôle et la fonction de l’évaluation dans le contexte du cycle de planification générale, de programmation et de présentation de rapports de la Commission, et établissent un ensemble incluant 21 standards d’évaluation et 18 modèles de «bonnes pratiques». De plus, ces documents évoquent le recours à l’évaluation pour élaborer et pour simplifier la législation de l’UE.

ÉTENDUE ET APPROCHE DE L’AUDIT

15.

| 15. | Le principal objectif de l’audit a consisté à déterminer si la Commission dispose d’une approche adéquate pour apprécier les résultats des programmes-cadres de RDT. |
| --- | --- |

Le principal objectif de l’audit a consisté à déterminer si la Commission dispose d’une approche adéquate pour apprécier les résultats des programmes-cadres de RDT.

| 16. | À cette fin, la Cour a évalué dans quelle mesure:






  — | une logique d’intervention explicite sous-tend les PC et leurs programmes constitutifs, ce qui permettrait de mesurer et d’apprécier les réalisations, les effets et les impacts, en offrant une base solide pour l’évaluation et pour le suivi, |
| --- | --- | --- |

16.

À cette fin, la Cour a évalué dans quelle mesure:

—

une logique d’intervention explicite sous-tend les PC et leurs programmes constitutifs, ce qui permettrait de mesurer et d’apprécier les réalisations, les effets et les impacts, en offrant une base solide pour l’évaluation et pour le suivi,

| — | une stratégie d’évaluation a été définie pour les PC afin de promouvoir une évaluation efficace et cohérente, |
| --- | --- |

—

une stratégie d’évaluation a été définie pour les PC afin de promouvoir une évaluation efficace et cohérente,

| — | la structure organisationnelle adoptée pour le système d’évaluation fait que celui-ci est bien coordonné dans l’ensemble du PC, qu’il bénéficie de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes, |
| --- | --- |

—

la structure organisationnelle adoptée pour le système d’évaluation fait que celui-ci est bien coordonné dans l’ensemble du PC, qu’il bénéficie de ressources suffisantes et d’un degré d’indépendance jugé satisfaisant par les parties prenantes,

| — | les méthodologies utilisées pour l’évaluation garantissent que les questions importantes sont abordées de façon appropriée, de sorte que l’évaluation soit considérée comme crédible, |
| --- | --- |

—

les méthodologies utilisées pour l’évaluation garantissent que les questions importantes sont abordées de façon appropriée, de sorte que l’évaluation soit considérée comme crédible,

| — | les activités de suivi et d’évaluation fournissent des informations et une analyse susceptibles d’être utilisées pour améliorer les programmes en cours (learning programmes) et pour élaborer les futurs PC. |
| --- | --- |

—

les activités de suivi et d’évaluation fournissent des informations et une analyse susceptibles d’être utilisées pour améliorer les programmes en cours (learning programmes) et pour élaborer les futurs PC.

| 17. | Le présent rapport porte sur les dispositions applicables relatives aux quatrième PC (1995-1998), cinquième PC (1999-2002) et sixième PC (2003-2006). Il a également trait aux obligations légales actuellement en vigueur pour le septième PC (2007-2013) mais ne contient pas d’évaluation du document «Impact assessment and ex-ante evaluation» (16). Il est axé principalement sur le suivi et sur l’évaluation ex post des programmes, et non sur l’évaluation ex ante des propositions de projet ni sur l’évaluation ex post des projets proprement dits. |
| --- | --- |

17.

Le présent rapport porte sur les dispositions applicables relatives aux quatrième PC (1995-1998), cinquième PC (1999-2002) et sixième PC (2003-2006). Il a également trait aux obligations légales actuellement en vigueur pour le septième PC (2007-2013) mais ne contient pas d’évaluation du document «Impact assessment and ex-ante evaluation» (16). Il est axé principalement sur le suivi et sur l’évaluation ex post des programmes, et non sur l’évaluation ex ante des propositions de projet ni sur l’évaluation ex post des projets proprement dits.

| 18. | L’audit a été réalisé avec la participation de la commission de vérification des comptes de l’AELE et avec l’aide d’experts externes. Les éléments probants ont été recueillis moyennant:






  — | des travaux d’audit réalisés à la Commission (contrôle documentaire et entretiens avec le personnel), notamment l’identification des obligations légales et réglementaires, un examen des objectifs et des critères de performance, l’analyse de plus de 80 rapports de suivi et d’évaluation ainsi qu’une analyse de l’organisation des activités d’évaluation au sein de la Commission, |
| --- | --- | --- |

18.

L’audit a été réalisé avec la participation de la commission de vérification des comptes de l’AELE et avec l’aide d’experts externes. Les éléments probants ont été recueillis moyennant:

—

des travaux d’audit réalisés à la Commission (contrôle documentaire et entretiens avec le personnel), notamment l’identification des obligations légales et réglementaires, un examen des objectifs et des critères de performance, l’analyse de plus de 80 rapports de suivi et d’évaluation ainsi qu’une analyse de l’organisation des activités d’évaluation au sein de la Commission,

| — | des entretiens avec plus de 90 experts identifiés comme parties prenantes dans les États membres et les pays associés (République tchèque, Allemagne, Estonie, Espagne, France, Italie, Luxembourg, Pays-Bas, Autriche, Finlande, Suède, Royaume-Uni et Norvège), |
| --- | --- |

—

des entretiens avec plus de 90 experts identifiés comme parties prenantes dans les États membres et les pays associés (République tchèque, Allemagne, Estonie, Espagne, France, Italie, Luxembourg, Pays-Bas, Autriche, Finlande, Suède, Royaume-Uni et Norvège),

| — | des enquêtes auprès des parties prenantes institutionnelles à la commission ITRE (17) du Parlement européen et au comité CREST (18) du Conseil, |
| --- | --- |

—

des enquêtes auprès des parties prenantes institutionnelles à la commission ITRE (17) du Parlement européen et au comité CREST (18) du Conseil,

| — | la consultation aux États-Unis et au Canada de plus de 65 experts dans le domaine de l’évaluation de la recherche, afin de constituer un groupe de comparaison international, |
| --- | --- |

—

la consultation aux États-Unis et au Canada de plus de 65 experts dans le domaine de l’évaluation de la recherche, afin de constituer un groupe de comparaison international,

| — | un examen de la littérature spécialisée concernant les tendances actuelles en matière d’évaluation de la recherche, |
| --- | --- |

—

un examen de la littérature spécialisée concernant les tendances actuelles en matière d’évaluation de la recherche,

| — | l’examen des constatations, des conclusions et des recommandations d’audit, en collaboration avec des experts européens et nord-américains en évaluation de la recherche dans le cadre de plusieurs réunions de groupe cible pilotées par un consultant indépendant qui ont eu lieu en février 2007. |
| --- | --- |

—

l’examen des constatations, des conclusions et des recommandations d’audit, en collaboration avec des experts européens et nord-américains en évaluation de la recherche dans le cadre de plusieurs réunions de groupe cible pilotées par un consultant indépendant qui ont eu lieu en février 2007.

OBSERVATIONS

Logique d’intervention, définition des objectifs et indicateurs de performance

| 19. | Pour que l’évaluation et le suivi soient efficaces, il convient de définir, aux niveaux de la politique, du programme et du projet, des objectifs clairs et des indicateurs de performance pertinents en fonction desquels les résultats d’une intervention publique puissent être évalués. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et dans des pays tiers permettent de penser que ces objectifs et indicateurs devraient être définis dans le cadre d’une logique d’intervention. |
| --- | --- |

19.

Pour que l’évaluation et le suivi soient efficaces, il convient de définir, aux niveaux de la politique, du programme et du projet, des objectifs clairs et des indicateurs de performance pertinents en fonction desquels les résultats d’une intervention publique puissent être évalués. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et dans des pays tiers permettent de penser que ces objectifs et indicateurs devraient être définis dans le cadre d’une logique d’intervention.

| 20. | La logique d’intervention peut se définir comme un ensemble de relations hypothétiques de cause à effet qui décrivent comment une intervention est supposée pouvoir atteindre ses objectifs globaux (19). Les lignes directrices de la Commission en matière d’évaluation indiquent que la logique d’intervention établit «le lien conceptuel entre les moyens d’une intervention et la production de ses réalisations et, par voie de conséquence, ses impacts sur la société en termes de résultats et de conséquences» (20). Cette définition est utilisée dans l’ensemble du présent rapport. |
| --- | --- |

20.

La logique d’intervention peut se définir comme un ensemble de relations hypothétiques de cause à effet qui décrivent comment une intervention est supposée pouvoir atteindre ses objectifs globaux (19). Les lignes directrices de la Commission en matière d’évaluation indiquent que la logique d’intervention établit «le lien conceptuel entre les moyens d’une intervention et la production de ses réalisations et, par voie de conséquence, ses impacts sur la société en termes de résultats et de conséquences» (20). Cette définition est utilisée dans l’ensemble du présent rapport.

| 21. | La Cour a évalué dans quelle mesure une logique d’intervention a été mise en place pour les PC et leurs programmes constitutifs, fournissant de la sorte une base solide pour l’évaluation et le suivi. |
| --- | --- |

21.

La Cour a évalué dans quelle mesure une logique d’intervention a été mise en place pour les PC et leurs programmes constitutifs, fournissant de la sorte une base solide pour l’évaluation et le suivi.

La logique d’intervention pour les PC n’était pas explicite

| 22. | Dès le début, la définition d’une logique d’intervention devrait être un élément clé de la conception d’un programme. L’article 163 du traité prévoit la nécessité de renforcer les bases scientifiques et technologiques et de favoriser le développement de la compétitivité. Il devrait servir de point de départ pour cette logique d’intervention dans le cadre des PC (voir point 2). Celle-ci devrait ensuite devenir plus spécifique et être adaptée aux différents domaines scientifiques couverts par les PC, ainsi qu’aux différents instruments utilisés. |
| --- | --- |

22.

Dès le début, la définition d’une logique d’intervention devrait être un élément clé de la conception d’un programme. L’article 163 du traité prévoit la nécessité de renforcer les bases scientifiques et technologiques et de favoriser le développement de la compétitivité. Il devrait servir de point de départ pour cette logique d’intervention dans le cadre des PC (voir point 2). Celle-ci devrait ensuite devenir plus spécifique et être adaptée aux différents domaines scientifiques couverts par les PC, ainsi qu’aux différents instruments utilisés.

| 23. | Cependant, les PC et leurs programmes constitutifs ne disposent à aucun niveau d’un cadre logique explicite indiquant comment ils contribuent au progrès scientifique et technologique ainsi qu’à l’innovation. |
| --- | --- |

23.

Cependant, les PC et leurs programmes constitutifs ne disposent à aucun niveau d’un cadre logique explicite indiquant comment ils contribuent au progrès scientifique et technologique ainsi qu’à l’innovation.

| 24. | Le groupe d’experts chargé de l’évaluation quinquennale de 2004 a également souligné l’absence de logique d’intervention et a affirmé que «les groupes comme le nôtre sont sollicités afin de combler le fossé entre, d’une part, les informations probantes collectées principalement au niveau du projet et, d’autre part, les objectifs socio-économiques de haut niveau visés par la politique en matière de recherche. Cependant, à l’heure actuelle, il est difficile d’établir ce lien en raison des modalités de planification des PC. Aucune logique explicite ne relie les objectifs au plus haut niveau aux objectifs spécifiques en termes de recherche et de connaissances» (21). |
| --- | --- |

24.

Le groupe d’experts chargé de l’évaluation quinquennale de 2004 a également souligné l’absence de logique d’intervention et a affirmé que «les groupes comme le nôtre sont sollicités afin de combler le fossé entre, d’une part, les informations probantes collectées principalement au niveau du projet et, d’autre part, les objectifs socio-économiques de haut niveau visés par la politique en matière de recherche. Cependant, à l’heure actuelle, il est difficile d’établir ce lien en raison des modalités de planification des PC. Aucune logique explicite ne relie les objectifs au plus haut niveau aux objectifs spécifiques en termes de recherche et de connaissances» (21).

| 25. | Une approche différente est adoptée dans plusieurs États membres (par exemple aux Pays-Bas et en Finlande) et aux États-Unis (voir graphique 3), où la définition d’une logique d’intervention est beaucoup plus fréquente, ainsi qu’au Canada, où elle est obligatoire pour tous les programmes (voir annexe III). De fait, dans ces pays, le recours à la logique d’intervention au stade de la conception a permis de mieux cibler et de mieux structurer les programmes. La Commission intègre également cette logique dans d’autres domaines communautaires (par exemple l’aide extérieure) (22).
  Graphique 3
  Définition d’une hiérarchie des objectifs fondée sur des cadres logiques — Exemple: la recherche dans le secteur agricole aux États-Unis








  Politique | Programme | Projet |
| --- | --- | --- | --- |
| Objectif de la politique:
  contribuer à l’amélioration des moyens de subsistance des familles d’exploitants. | | |
| But:
  amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants. | Objectif du programme:
  contribuer à l’amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants. | |
| Résultat escompté:
  utilisation accrue de techniques agricoles plus efficaces parmi les exploitants ciblés. | But:
  utilisation accrue de techniques agricoles plus efficaces par les exploitants (par ex. culture du riz). | Objectif du projet:
  contribuer à une utilisation accrue des techniques agricoles recommandées. |
| | Résultat escompté:
  recommandations fournies/diffusées aux exploitants ciblés. | But:
  recommandations fournies concernant des techniques plus efficaces et adaptées aux exploitants ciblés. |
| | | Résultats escomptés (par ex.):








  1. | Techniques identifiées en fonction des priorités des exploitants agricoles. |

25.

Une approche différente est adoptée dans plusieurs États membres (par exemple aux Pays-Bas et en Finlande) et aux États-Unis (voir graphique 3), où la définition d’une logique d’intervention est beaucoup plus fréquente, ainsi qu’au Canada, où elle est obligatoire pour tous les programmes (voir annexe III). De fait, dans ces pays, le recours à la logique d’intervention au stade de la conception a permis de mieux cibler et de mieux structurer les programmes. La Commission intègre également cette logique dans d’autres domaines communautaires (par exemple l’aide extérieure) (22).

Graphique 3

Définition d’une hiérarchie des objectifs fondée sur des cadres logiques — Exemple: la recherche dans le secteur agricole aux États-Unis

Politique

Programme

Projet

Objectif de la politique:
  contribuer à l’amélioration des moyens de subsistance des familles d’exploitants.

But:
  amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants.

Objectif du programme:
  contribuer à l’amélioration de la production, de la productivité et des revenus agricoles parmi les ménages d’exploitants.

Résultat escompté:
  utilisation accrue de techniques agricoles plus efficaces parmi les exploitants ciblés.

But:
  utilisation accrue de techniques agricoles plus efficaces par les exploitants (par ex. culture du riz).

Objectif du projet:
  contribuer à une utilisation accrue des techniques agricoles recommandées.

Résultat escompté:
  recommandations fournies/diffusées aux exploitants ciblés.

But:
  recommandations fournies concernant des techniques plus efficaces et adaptées aux exploitants ciblés.

Résultats escomptés (par ex.):

1.

Techniques identifiées en fonction des priorités des exploitants agricoles.

| 2. | Techniques créées et adaptées. |
| --- | --- |

2.

Techniques créées et adaptées.

| 3. | Techniques contrôlées sur le terrain. |
| --- | --- |

3.

Techniques contrôlées sur le terrain.

Source: US National Agricultural Research Council.

| 26. | L’efficacité de l’évaluation et du suivi des PC est affectée par la non-formulation du raisonnement sous-jacent à l’intervention publique ainsi que des liens de causalité supposés (qui servent ensuite de base pour planifier en détail, exécuter et évaluer le programme). Cette déficience est due en particulier à la manière de définir les objectifs des programmes et les indicateurs de performance. |
| --- | --- |

26.

L’efficacité de l’évaluation et du suivi des PC est affectée par la non-formulation du raisonnement sous-jacent à l’intervention publique ainsi que des liens de causalité supposés (qui servent ensuite de base pour planifier en détail, exécuter et évaluer le programme). Cette déficience est due en particulier à la manière de définir les objectifs des programmes et les indicateurs de performance.

Sans un cadre logique explicite, il est plus difficile d’établir des objectifs de programme cohérents

| 27. | Si le raisonnement sous-jacent à l’intervention publique n’est pas clarifié, il est plus difficile de définir et de structurer de façon cohérente des objectifs de programme. Plusieurs éléments illustrent cette constatation:






  — | il n’y a pas de lien clair entre les objectifs des PC et les objectifs politiques, comme les objectifs généraux fixés par l’article 163 du traité et ceux de la stratégie de Lisbonne et de la déclaration de Barcelone (voir points 2 et 7), |
| --- | --- | --- |

27.

Si le raisonnement sous-jacent à l’intervention publique n’est pas clarifié, il est plus difficile de définir et de structurer de façon cohérente des objectifs de programme. Plusieurs éléments illustrent cette constatation:

—

il n’y a pas de lien clair entre les objectifs des PC et les objectifs politiques, comme les objectifs généraux fixés par l’article 163 du traité et ceux de la stratégie de Lisbonne et de la déclaration de Barcelone (voir points 2 et 7),

| — | la relation entre les différents objectifs des programmes, à tous les niveaux de la législation (comme les décisions en matière de PC, celles concernant les programmes spécifiques, les règles de participation et de diffusion), de même que le lien entre les actes de base et les programmes de travail de la Commission, ne sont pas toujours évidents. |
| --- | --- |

—

la relation entre les différents objectifs des programmes, à tous les niveaux de la législation (comme les décisions en matière de PC, celles concernant les programmes spécifiques, les règles de participation et de diffusion), de même que le lien entre les actes de base et les programmes de travail de la Commission, ne sont pas toujours évidents.

| 28. | La Commission a essayé de formuler des objectifs opérationnels dans les programmes de travail, sur la base des objectifs de programme définis dans la législation relative aux PC. Dans la plupart des cas, ces initiatives n’ont cependant pas permis de clarifier la logique sous-jacente à ces programmes et les objectifs énoncés dans les programmes de travail n’étaient pas spécifiques, mesurables, réalisables, pertinents et datés (SMART). En 2003, cette condition est devenue une obligation juridique en vertu du règlement financier (23). |
| --- | --- |

28.

La Commission a essayé de formuler des objectifs opérationnels dans les programmes de travail, sur la base des objectifs de programme définis dans la législation relative aux PC. Dans la plupart des cas, ces initiatives n’ont cependant pas permis de clarifier la logique sous-jacente à ces programmes et les objectifs énoncés dans les programmes de travail n’étaient pas spécifiques, mesurables, réalisables, pertinents et datés (SMART). En 2003, cette condition est devenue une obligation juridique en vertu du règlement financier (23).

| 29. | Il est difficile de retrouver les objectifs politiques au travers des programmes spécifiques, des programmes de travail et des appels à propositions pour aboutir aux différents projets cofinancés par la Communauté. À moins que ces liens ne soient clarifiés, il est impossible d’évaluer la contribution des PC et de leurs programmes constitutifs à la réalisation de ces objectifs politiques. Au niveau des projets ou des programmes, l’audit a relevé que la Commission n’a guère apporté, dans ses évaluations, d’éléments attestant la réalisation des objectifs à long terme, voire aucun (voir point 82). |
| --- | --- |

29.

Il est difficile de retrouver les objectifs politiques au travers des programmes spécifiques, des programmes de travail et des appels à propositions pour aboutir aux différents projets cofinancés par la Communauté. À moins que ces liens ne soient clarifiés, il est impossible d’évaluer la contribution des PC et de leurs programmes constitutifs à la réalisation de ces objectifs politiques. Au niveau des projets ou des programmes, l’audit a relevé que la Commission n’a guère apporté, dans ses évaluations, d’éléments attestant la réalisation des objectifs à long terme, voire aucun (voir point 82).

L’absence d’une logique d’intervention explicite et d’objectifs clairs rend plus difficile l’élaboration d’indicateurs de performance

| 30. | L’absence de cadre logique et explicite et d’objectifs de programme clairement formulés a aussi entravé l’élaboration d’indicateurs de performance permettant de suivre la mise en œuvre des objectifs des programmes en termes de réalisations, d’effets et d’impacts, dans la mesure où, à ce jour, ces indicateurs «d’efficacité» n’ont pas du tout été définis pour les PC (voir point 73). |
| --- | --- |

30.

L’absence de cadre logique et explicite et d’objectifs de programme clairement formulés a aussi entravé l’élaboration d’indicateurs de performance permettant de suivre la mise en œuvre des objectifs des programmes en termes de réalisations, d’effets et d’impacts, dans la mesure où, à ce jour, ces indicateurs «d’efficacité» n’ont pas du tout été définis pour les PC (voir point 73).

| 31. | Dans ce contexte, l’examen des projets en cours financés par ces programmes et l’évaluation ex post des projets terminés sont également plus complexes, et permettent difficilement d’agréger les évaluations entre le niveau du projet et celui du programme (voir annexe I et point 84). |
| --- | --- |

31.

Dans ce contexte, l’examen des projets en cours financés par ces programmes et l’évaluation ex post des projets terminés sont également plus complexes, et permettent difficilement d’agréger les évaluations entre le niveau du projet et celui du programme (voir annexe I et point 84).

Tel que mis en œuvre actuellement, le système EBA/GPA n’est pas un outil approprié pour apprécier la performance des PC

| 32. | Plusieurs indicateurs relatifs à l’efficience de la mise en œuvre des programmes (par exemple, les délais de signature des contrats et les délais de paiement) figurent dans les rapports de suivi annuels de la Commission et sont présents dans le système de gestion par activités (GPA) de la Commission. |
| --- | --- |

32.

Plusieurs indicateurs relatifs à l’efficience de la mise en œuvre des programmes (par exemple, les délais de signature des contrats et les délais de paiement) figurent dans les rapports de suivi annuels de la Commission et sont présents dans le système de gestion par activités (GPA) de la Commission.

| 33. | Cependant, les «DG Recherche», y compris lorsqu’elles mettent en œuvre le même programme (ou sous-programme) spécifique, n’ont jusqu’à présent appliqué aucune nomenclature uniformisée ou comparable pour l’établissement du budget par activités (EBA), ni aucun indicateur connexe. Dès lors, ces indicateurs ne peuvent être utilisés pour comparer la performance entre les programmes et au sein de ceux-ci.

  Encadré 2Le système EBA/GPA, tel qu’appliqué actuellement par les «DG Recherche»Dans le cadre du système EBA/GPA, les PC relèvent de deux domaines politiques distincts dans lesquels les activités des PC sont présentées en fonction d’une nomenclature différente, spécifique aux DG (24). Cette présentation s’applique également aux programmes et aux sous-programmes spécifiques mis en œuvre par plusieurs DG. Les objectifs de la GPA ont été définis à partir de différents principes sous-jacents (25) et, comme l’a indiqué le service d’audit interne de la Commission (26), ont été essentiellement formulés en termes généraux, par la description d’aspirations ou d’activités. Les indicateurs étaient généralement axés sur les moyens mis en œuvre (par exemple, le nombre de réunions, etc.). Certains indicateurs concernaient l’efficience du processus (par exemple, les délais de signature des contrats et les délais de paiement) mais n’offraient pas de point de comparaison entre les programmes d’une DG à l’autre, en raison des différences dans la nomenclature EBA, dans les hypothèses propres aux DG (comme le début et la fin de procédures administratives spécifiques) et dans la population sous-jacente prise en considération pour leur calcul (par exemple, le type de convention de subvention et le type de paiement). |
| --- | --- |

33.

Cependant, les «DG Recherche», y compris lorsqu’elles mettent en œuvre le même programme (ou sous-programme) spécifique, n’ont jusqu’à présent appliqué aucune nomenclature uniformisée ou comparable pour l’établissement du budget par activités (EBA), ni aucun indicateur connexe. Dès lors, ces indicateurs ne peuvent être utilisés pour comparer la performance entre les programmes et au sein de ceux-ci.

Encadré 2Le système EBA/GPA, tel qu’appliqué actuellement par les «DG Recherche»Dans le cadre du système EBA/GPA, les PC relèvent de deux domaines politiques distincts dans lesquels les activités des PC sont présentées en fonction d’une nomenclature différente, spécifique aux DG (24). Cette présentation s’applique également aux programmes et aux sous-programmes spécifiques mis en œuvre par plusieurs DG. Les objectifs de la GPA ont été définis à partir de différents principes sous-jacents (25) et, comme l’a indiqué le service d’audit interne de la Commission (26), ont été essentiellement formulés en termes généraux, par la description d’aspirations ou d’activités. Les indicateurs étaient généralement axés sur les moyens mis en œuvre (par exemple, le nombre de réunions, etc.). Certains indicateurs concernaient l’efficience du processus (par exemple, les délais de signature des contrats et les délais de paiement) mais n’offraient pas de point de comparaison entre les programmes d’une DG à l’autre, en raison des différences dans la nomenclature EBA, dans les hypothèses propres aux DG (comme le début et la fin de procédures administratives spécifiques) et dans la population sous-jacente prise en considération pour leur calcul (par exemple, le type de convention de subvention et le type de paiement).

Recommandations

34.

| 34. | Dans ses futures propositions législatives au Conseil et au Parlement européen, la Commission devrait définir une logique d’intervention explicite pour l’ensemble du PC, ainsi que pour ses éléments constitutifs. |
| --- | --- |

Dans ses futures propositions législatives au Conseil et au Parlement européen, la Commission devrait définir une logique d’intervention explicite pour l’ensemble du PC, ainsi que pour ses éléments constitutifs.

| 35. | Pour le septième PC, la Commission devrait:






  — | décrire clairement les objectifs du PC et de ses programmes (et sous-programmes) spécifiques constitutifs, de même que les modalités de leur réalisation, |
| --- | --- | --- |

35.

Pour le septième PC, la Commission devrait:

—

décrire clairement les objectifs du PC et de ses programmes (et sous-programmes) spécifiques constitutifs, de même que les modalités de leur réalisation,

| — | clarifier le lien entre les objectifs scientifiques et socio-économiques pour chaque programme (et sous-programme) spécifique, |
| --- | --- |

—

clarifier le lien entre les objectifs scientifiques et socio-économiques pour chaque programme (et sous-programme) spécifique,

| — | définir des objectifs opérationnels pertinents. |
| --- | --- |

—

définir des objectifs opérationnels pertinents.

| 36. | Dans le cadre de son système de suivi du septième PC, la Commission devrait mettre en place un ensemble limité, mais équilibré, d’indicateurs de performance, afin de mesurer l’efficience et l’efficacité de la mise en œuvre pour chaque programme (et sous-programme) spécifique. |
| --- | --- |

36.

Dans le cadre de son système de suivi du septième PC, la Commission devrait mettre en place un ensemble limité, mais équilibré, d’indicateurs de performance, afin de mesurer l’efficience et l’efficacité de la mise en œuvre pour chaque programme (et sous-programme) spécifique.

| 37. | Les «DG Recherche» devraient harmoniser leur nomenclature GPA/EBA afin que les indicateurs de performance puissent faire l’objet de comparaisons dans le temps et, si possible, entre programmes (et sous-programmes) spécifiques. |
| --- | --- |

37.

Les «DG Recherche» devraient harmoniser leur nomenclature GPA/EBA afin que les indicateurs de performance puissent faire l’objet de comparaisons dans le temps et, si possible, entre programmes (et sous-programmes) spécifiques.

Stratégie d’évaluation

| 38. | La stratégie d’évaluation est le cadre conceptuel dans lequel les activités d’évaluation sont conçues, planifiées, exécutées et utilisées. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et ailleurs semblent indiquer qu’une telle stratégie devrait tenir compte des principales questions légales, organisationnelles et méthodologiques propres à l’évaluation des programmes. Ces questions incluent la nature de l’évaluation à réaliser, son calendrier, son responsable, les modalités de collecte des données, les approches méthodologiques à utiliser et les modalités de communication et de suivi des constatations. |
| --- | --- |

38.

La stratégie d’évaluation est le cadre conceptuel dans lequel les activités d’évaluation sont conçues, planifiées, exécutées et utilisées. Les bonnes pratiques dans d’autres domaines budgétaires de l’UE et ailleurs semblent indiquer qu’une telle stratégie devrait tenir compte des principales questions légales, organisationnelles et méthodologiques propres à l’évaluation des programmes. Ces questions incluent la nature de l’évaluation à réaliser, son calendrier, son responsable, les modalités de collecte des données, les approches méthodologiques à utiliser et les modalités de communication et de suivi des constatations.

| 39. | Disposer d’une telle stratégie et s’assurer de sa mise en œuvre sont les conditions préalables à l’intégration de l’évaluation dans la culture d’organisation et dans le processus décisionnel de la Commission. En raison de la diversité des domaines scientifiques couverts par les PC, la Cour reconnaît cependant que cette stratégie doit offrir à chaque DG responsable un niveau de flexibilité suffisant et qu’elle ne doit pas être trop contraignante. |
| --- | --- |

39.

Disposer d’une telle stratégie et s’assurer de sa mise en œuvre sont les conditions préalables à l’intégration de l’évaluation dans la culture d’organisation et dans le processus décisionnel de la Commission. En raison de la diversité des domaines scientifiques couverts par les PC, la Cour reconnaît cependant que cette stratégie doit offrir à chaque DG responsable un niveau de flexibilité suffisant et qu’elle ne doit pas être trop contraignante.

| 40. | La Cour a vérifié si la Commission dispose d’une telle stratégie d’évaluation pour les PC. |
| --- | --- |

40.

La Cour a vérifié si la Commission dispose d’une telle stratégie d’évaluation pour les PC.

Absence de stratégie intégrée d’évaluation des PC

| 41. | S’agissant des PC, la Commission a pour la première fois rendu publique son approche pour l’évaluation au cours des années 1980 (27). Celle-ci a été actualisée en 1996, quand la Commission a communiqué au Parlement européen et au Conseil ce qu’elle considérait comme les principes pertinents sous-jacents au suivi et à l’évaluation et lorsqu’elle a défini l’approche qu’elle entendait suivre après l’adoption du quatrième PC (28). Cette approche ne constituait toutefois pas une stratégie intégrée d’évaluation telle que définie plus haut (voir points 38 et 39). Par ailleurs, de 1996 à 2006, la Commission n’a pas revu en profondeur son approche de l’évaluation pour les cinquième et sixième PC, bien que la portée et l’orientation des PC aient changé (voir point 7). La Cour relève notamment qu’au-delà des dispositions législatives adoptées en 1999 (pour le cinquième PC), en 2002 (pour le sixième PC) et en 2006 (pour le septième PC) (29), les «DG Recherche» n’ont adopté aucune approche cohérente pour l’évaluation des PC et de leurs programmes constitutifs. |
| --- | --- |

41.

S’agissant des PC, la Commission a pour la première fois rendu publique son approche pour l’évaluation au cours des années 1980 (27). Celle-ci a été actualisée en 1996, quand la Commission a communiqué au Parlement européen et au Conseil ce qu’elle considérait comme les principes pertinents sous-jacents au suivi et à l’évaluation et lorsqu’elle a défini l’approche qu’elle entendait suivre après l’adoption du quatrième PC (28). Cette approche ne constituait toutefois pas une stratégie intégrée d’évaluation telle que définie plus haut (voir points 38 et 39). Par ailleurs, de 1996 à 2006, la Commission n’a pas revu en profondeur son approche de l’évaluation pour les cinquième et sixième PC, bien que la portée et l’orientation des PC aient changé (voir point 7). La Cour relève notamment qu’au-delà des dispositions législatives adoptées en 1999 (pour le cinquième PC), en 2002 (pour le sixième PC) et en 2006 (pour le septième PC) (29), les «DG Recherche» n’ont adopté aucune approche cohérente pour l’évaluation des PC et de leurs programmes constitutifs.

| 42. | En ce qui concerne la période de programmation actuelle, l’absence d’approche stratégique pour l’évaluation dans ce domaine constitue un problème spécifique compte tenu de la mise en œuvre conjointe du septième PC par plusieurs DG, par le CER et par les agences exécutives, ainsi que de la rotation obligatoire du personnel aux postes sensibles imposée par le règlement financier. De plus, cette absence contraste avec les pratiques actuelles dans le domaine de l’aide extérieure (le second par ordre d’importance relevant de la gestion directe de la Commission). Dans ce secteur, les DG compétentes ont, depuis 2002, adopté des stratégies d’évaluation pluriannuelles articulées en fonction des périodes de programmation (voir point 52). |
| --- | --- |

42.

En ce qui concerne la période de programmation actuelle, l’absence d’approche stratégique pour l’évaluation dans ce domaine constitue un problème spécifique compte tenu de la mise en œuvre conjointe du septième PC par plusieurs DG, par le CER et par les agences exécutives, ainsi que de la rotation obligatoire du personnel aux postes sensibles imposée par le règlement financier. De plus, cette absence contraste avec les pratiques actuelles dans le domaine de l’aide extérieure (le second par ordre d’importance relevant de la gestion directe de la Commission). Dans ce secteur, les DG compétentes ont, depuis 2002, adopté des stratégies d’évaluation pluriannuelles articulées en fonction des périodes de programmation (voir point 52).

| 43. | Cette absence de stratégie d’évaluation clairement formulée contraste aussi fortement avec la situation aux États-Unis et au Canada, où le cadre réglementaire impose l’établissement d’une stratégie (voir annexe III). |
| --- | --- |

43.

Cette absence de stratégie d’évaluation clairement formulée contraste aussi fortement avec la situation aux États-Unis et au Canada, où le cadre réglementaire impose l’établissement d’une stratégie (voir annexe III).

| 44. | Comme cela est illustré ci-après, l’étendue et l’intensité des évaluations accusent des différences sensibles d’un PC à l’autre. D’autres déficiences ont également été relevées et sont examinées plus loin dans le présent rapport (comme des difficultés de coordination, des approches méthodologiques différentes, des problèmes de calendrier et des insuffisances affectant la communication et le suivi des constatations résultant de l’évaluation). Ces faiblesses illustrent l’absence de stratégie intégrée d’évaluation pour les PC. |
| --- | --- |

44.

Comme cela est illustré ci-après, l’étendue et l’intensité des évaluations accusent des différences sensibles d’un PC à l’autre. D’autres déficiences ont également été relevées et sont examinées plus loin dans le présent rapport (comme des difficultés de coordination, des approches méthodologiques différentes, des problèmes de calendrier et des insuffisances affectant la communication et le suivi des constatations résultant de l’évaluation). Ces faiblesses illustrent l’absence de stratégie intégrée d’évaluation pour les PC.

Différences concernant l’étendue et l’intensité des évaluations des divers PC

| 45. | Les PC sont composés d’un certain nombre de programmes (et de sous-programmes) spécifiques qui peuvent présenter des différences notables de finalité, de dynamique sous-jacente et de dotation budgétaire (pour le septième PC, voir annexe IV). L’ensemble des dispositions particulières aux différentes décisions relatives aux PC d’une part, et le règlement financier (30) d’autre part (qui impose l’évaluation des programmes et activités qui entraînent des dépenses importantes), font que, depuis le quatrième PC, il existe une obligation légale d’évaluation, aussi bien de l’ensemble du PC que de la plupart des programmes spécifiques constitutifs. |
| --- | --- |

45.

Les PC sont composés d’un certain nombre de programmes (et de sous-programmes) spécifiques qui peuvent présenter des différences notables de finalité, de dynamique sous-jacente et de dotation budgétaire (pour le septième PC, voir annexe IV). L’ensemble des dispositions particulières aux différentes décisions relatives aux PC d’une part, et le règlement financier (30) d’autre part (qui impose l’évaluation des programmes et activités qui entraînent des dépenses importantes), font que, depuis le quatrième PC, il existe une obligation légale d’évaluation, aussi bien de l’ensemble du PC que de la plupart des programmes spécifiques constitutifs.

| 46. | La Commission n’a pas établi de règle concernant le moment où les programmes (ou sous-programmes) spécifiques du PC doivent être évalués. Elle n’a pas non plus défini de seuil commun au-delà duquel cette évaluation serait obligatoire. Ces lacunes ont entraîné des interprétations incohérentes concernant l’objet et le niveau de détail des évaluations:






  — | la DG Société de l’information a considéré que le programme TSI était l’un des principaux programmes de dépenses à part entière et a organisé en 2004 une évaluation quinquennale complète, parallèle à celle qui était réalisée pour l’ensemble du PC, |
| --- | --- | --- |

46.

La Commission n’a pas établi de règle concernant le moment où les programmes (ou sous-programmes) spécifiques du PC doivent être évalués. Elle n’a pas non plus défini de seuil commun au-delà duquel cette évaluation serait obligatoire. Ces lacunes ont entraîné des interprétations incohérentes concernant l’objet et le niveau de détail des évaluations:

—

la DG Société de l’information a considéré que le programme TSI était l’un des principaux programmes de dépenses à part entière et a organisé en 2004 une évaluation quinquennale complète, parallèle à celle qui était réalisée pour l’ensemble du PC,

| — | la DG Recherche n’a pas systématiquement organisé une évaluation au niveau du programme spécifique alors que les budgets de plusieurs programmes de son ressort étaient d’un volume comparable. |
| --- | --- |

—

la DG Recherche n’a pas systématiquement organisé une évaluation au niveau du programme spécifique alors que les budgets de plusieurs programmes de son ressort étaient d’un volume comparable.

| 47. | Dès lors, pour l’évaluation quinquennale de 2004, des volets importants des quatrième et cinquième PC n’ont absolument pas été évalués (ils représentent 30 % de l’ensemble de la dotation budgétaire du quatrième PC et 50 % pour le cinquième PC). Cela montre que la Commission n’a pas respecté les dispositions en matière d’évaluation prévues par l’article 27 du règlement financier. |
| --- | --- |

47.

Dès lors, pour l’évaluation quinquennale de 2004, des volets importants des quatrième et cinquième PC n’ont absolument pas été évalués (ils représentent 30 % de l’ensemble de la dotation budgétaire du quatrième PC et 50 % pour le cinquième PC). Cela montre que la Commission n’a pas respecté les dispositions en matière d’évaluation prévues par l’article 27 du règlement financier.

| 48. | Ces interprétations divergentes des exigences légales minimales concernant l’évaluation, ainsi que la sous-évaluation des PC qui en a découlé par le passé, illustrent le manque de coordination et sont les conséquences de la non-adoption, par la Commission, d’une approche stratégique pour l’évaluation des PC. |
| --- | --- |

48.

Ces interprétations divergentes des exigences légales minimales concernant l’évaluation, ainsi que la sous-évaluation des PC qui en a découlé par le passé, illustrent le manque de coordination et sont les conséquences de la non-adoption, par la Commission, d’une approche stratégique pour l’évaluation des PC.

Recommandations

49.

| 49. | Les «DG Recherche» devraient de toute urgence élaborer et adopter une stratégie d’évaluation commune pour les PC. Sans être contraignante à l’excès, cette stratégie d’évaluation devrait comporter une approche cohérente concernant l’évaluation des PC et de leurs programmes constitutifs. Cette stratégie devrait aussi donner une orientation concernant le niveau minimal auquel l’évaluation détaillée devient obligatoire, afin de tenir compte des particularités de chaque domaine scientifique. |
| --- | --- |

Les «DG Recherche» devraient de toute urgence élaborer et adopter une stratégie d’évaluation commune pour les PC. Sans être contraignante à l’excès, cette stratégie d’évaluation devrait comporter une approche cohérente concernant l’évaluation des PC et de leurs programmes constitutifs. Cette stratégie devrait aussi donner une orientation concernant le niveau minimal auquel l’évaluation détaillée devient obligatoire, afin de tenir compte des particularités de chaque domaine scientifique.

Organisation de l’évaluation des programmes-cadres

| 50. | L’évaluation des PC doit s’appuyer sur des dispositions organisationnelles appropriées. Celles-ci devraient être adaptées à l’orientation stratégique de la Commission en matière d’évaluation des PC. La Cour a vérifié dans quelle mesure la structure organisationnelle garantissait que le système d’évaluation était correctement coordonné, que les ressources étaient suffisantes et que le degré d’indépendance satisfaisait les parties prenantes. |
| --- | --- |

50.

L’évaluation des PC doit s’appuyer sur des dispositions organisationnelles appropriées. Celles-ci devraient être adaptées à l’orientation stratégique de la Commission en matière d’évaluation des PC. La Cour a vérifié dans quelle mesure la structure organisationnelle garantissait que le système d’évaluation était correctement coordonné, que les ressources étaient suffisantes et que le degré d’indépendance satisfaisait les parties prenantes.

Commission

Les PC sont mis en œuvre conjointement par plusieurs DG, alors que leur évaluation est décentralisée

| 51. | Au sein de la Commission, l’évaluation des programmes de dépenses relève des différentes DG (voir point 8), et une unité «Évaluation» a été créée au sein de chacune d’entre elles, avec pour but de planifier, de coordonner et d’exécuter les évaluations. |
| --- | --- |

51.

Au sein de la Commission, l’évaluation des programmes de dépenses relève des différentes DG (voir point 8), et une unité «Évaluation» a été créée au sein de chacune d’entre elles, avec pour but de planifier, de coordonner et d’exécuter les évaluations.

| 52. | L’absence d’un organe de coordination spécifique ou d’une entité unique pour l’évaluation de l’ensemble des PC, tel qu’un bureau d’évaluation conjoint pour les «DG Recherche», contraste avec la situation que connaissent d’autres domaines politiques. Dans le cas de l’aide extérieure, une unité «Évaluation» conjointe a été mise en place pour trois DG (Développement, Relations extérieures et EuropeAid) afin de prendre en charge l’évaluation des programmes de développement de la Commission dans les pays tiers (voir point 42). |
| --- | --- |

52.

L’absence d’un organe de coordination spécifique ou d’une entité unique pour l’évaluation de l’ensemble des PC, tel qu’un bureau d’évaluation conjoint pour les «DG Recherche», contraste avec la situation que connaissent d’autres domaines politiques. Dans le cas de l’aide extérieure, une unité «Évaluation» conjointe a été mise en place pour trois DG (Développement, Relations extérieures et EuropeAid) afin de prendre en charge l’évaluation des programmes de développement de la Commission dans les pays tiers (voir point 42).

| 53. | Au moyen du «réseau d’évaluation RDT» interne de la Commission, la DG Recherche assure un échange de connaissances entre les unités chargées de l’évaluation au sein des différentes DG, mais n’a pas le pouvoir de définir des exigences minimales pour l’évaluation. Ce mécanisme s’est toutefois révélé insuffisant pour garantir une coordination appropriée de l’évaluation des PC réalisée par la Commission. |
| --- | --- |

53.

Au moyen du «réseau d’évaluation RDT» interne de la Commission, la DG Recherche assure un échange de connaissances entre les unités chargées de l’évaluation au sein des différentes DG, mais n’a pas le pouvoir de définir des exigences minimales pour l’évaluation. Ce mécanisme s’est toutefois révélé insuffisant pour garantir une coordination appropriée de l’évaluation des PC réalisée par la Commission.

| 54. | En 2000, en 2002 et à nouveau en 2007, la Commission a revu son approche générale en matière d’évaluation (voir point 14). Bien qu’aucune amélioration sensible n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les PC et leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission. |
| --- | --- |

54.

En 2000, en 2002 et à nouveau en 2007, la Commission a revu son approche générale en matière d’évaluation (voir point 14). Bien qu’aucune amélioration sensible n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les PC et leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission.

Les services centraux de la Commission: établissement de normes, mais sans contrôle de leur application

| 55. | Les services centraux de la Commission (notamment la DG Budget et le secrétariat général) fournissent une assistance méthodologique, définissent des normes communes pour l’ensemble de la Commission et examinent comment elles sont appliquées par les DG et par les différents services (voir points 14 et 70). Ils ne peuvent imposer aucune modalité pratique pour réaliser les évaluations. |
| --- | --- |

55.

Les services centraux de la Commission (notamment la DG Budget et le secrétariat général) fournissent une assistance méthodologique, définissent des normes communes pour l’ensemble de la Commission et examinent comment elles sont appliquées par les DG et par les différents services (voir points 14 et 70). Ils ne peuvent imposer aucune modalité pratique pour réaliser les évaluations.

| 56. | L’expérience aux États-Unis et au Canada montre que le contrôle du respect des normes par les organismes chargés de les définir y contribue activement à garantir le fonctionnement efficace du système d’évaluation. Dans ces deux pays, des départements fédéraux établissent et font respecter le cadre dans lequel le succès d’un programme est finalement apprécié (voir annexe III). Les contextes sont certes différents, mais leurs systèmes n’en sont pas moins fondés sur le même principe sous-jacent en vertu duquel une instance différente de celle qui met en œuvre le programme devrait évaluer certains aspects de la conception du système d’évaluation et examiner de façon détaillée son efficacité. Une situation analogue a pu être observée dans certains États membres [par exemple, la France (31), l’Espagne (32) et l’Allemagne (33)], où des organes externes supervisent les évaluations réalisées par les agences de financement ou effectuent eux-mêmes ces évaluations. |
| --- | --- |

56.

L’expérience aux États-Unis et au Canada montre que le contrôle du respect des normes par les organismes chargés de les définir y contribue activement à garantir le fonctionnement efficace du système d’évaluation. Dans ces deux pays, des départements fédéraux établissent et font respecter le cadre dans lequel le succès d’un programme est finalement apprécié (voir annexe III). Les contextes sont certes différents, mais leurs systèmes n’en sont pas moins fondés sur le même principe sous-jacent en vertu duquel une instance différente de celle qui met en œuvre le programme devrait évaluer certains aspects de la conception du système d’évaluation et examiner de façon détaillée son efficacité. Une situation analogue a pu être observée dans certains États membres [par exemple, la France (31), l’Espagne (32) et l’Allemagne (33)], où des organes externes supervisent les évaluations réalisées par les agences de financement ou effectuent eux-mêmes ces évaluations.

Groupes d’experts

Groupes d’experts externes: obligatoires depuis le quatrième PC en vertu de la législation relative aux programmes-cadres

| 57. | Depuis le quatrième PC, l’ensemble des principales activités d’évaluation (et de suivi annuel) des PC a dû être réalisé par des (ou avec l’aide de) groupes d’experts externes (voir annexe II). Malgré leurs difficultés pour trouver des experts compétents, ces groupes peuvent apporter une certaine transparence, offrir un certain degré d’indépendance, faciliter la participation des parties prenantes et exploiter les connaissances tirées des programmes-cadres, de l’évaluation et des travaux scientifiques sous-jacents. |
| --- | --- |

57.

Depuis le quatrième PC, l’ensemble des principales activités d’évaluation (et de suivi annuel) des PC a dû être réalisé par des (ou avec l’aide de) groupes d’experts externes (voir annexe II). Malgré leurs difficultés pour trouver des experts compétents, ces groupes peuvent apporter une certaine transparence, offrir un certain degré d’indépendance, faciliter la participation des parties prenantes et exploiter les connaissances tirées des programmes-cadres, de l’évaluation et des travaux scientifiques sous-jacents.

| 58. | Ce potentiel a été confirmé par les enquêtes de la Cour, à l’occasion desquelles les personnes interrogées considéraient que le système d’évaluation de la Commission fondé sur les groupes d’experts offrait une garantie d’indépendance (voir graphique 4). |
| --- | --- |

58.

Ce potentiel a été confirmé par les enquêtes de la Cour, à l’occasion desquelles les personnes interrogées considéraient que le système d’évaluation de la Commission fondé sur les groupes d’experts offrait une garantie d’indépendance (voir graphique 4).

Image

Faiblesses de l’approche fondée sur les groupes d’experts mise en œuvre par la Commission

| 59. | Malgré cette impression positive, comme l’ont indiqué à la Cour les membres des groupes et les parties prenantes pendant l’audit, le recours de la Commission à des groupes d’experts pour évaluer les PC a été caractérisé par les insuffisances suivantes:






  — | les groupes d’évaluation sont généralement mis en place moins d’un an avant la date prévue pour la remise de leur rapport et leurs réunions sont peu nombreuses. Dès lors, il est difficile pour les membres du groupe d’influencer la définition des données et des analyses nécessaires pour effectuer leurs travaux. Par ailleurs, en raison du caractère ad hoc et temporaire des groupes, les connaissances sur les programmes peuvent difficilement être accumulées et les questions importantes faire l’objet d’un suivi dans le temps. Cette faiblesse revêt une importance particulière lorsqu’une partie des principales actions d’évaluation est planifiée sur l’ensemble de la période de programmation (comme c’est le cas pour le septième PC) (voir annexe II). Cette situation contraste également avec la pratique de la Commission à l’égard de ses groupes consultatifs d’experts (GCE) pour les PC, qui sont des organes permanents (34). Au Canada (35) également, les groupes d’évaluation sont permanents afin de garantir une approche systématique et cohérente (voir annexe III), |
| --- | --- | --- |

59.

Malgré cette impression positive, comme l’ont indiqué à la Cour les membres des groupes et les parties prenantes pendant l’audit, le recours de la Commission à des groupes d’experts pour évaluer les PC a été caractérisé par les insuffisances suivantes:

—

les groupes d’évaluation sont généralement mis en place moins d’un an avant la date prévue pour la remise de leur rapport et leurs réunions sont peu nombreuses. Dès lors, il est difficile pour les membres du groupe d’influencer la définition des données et des analyses nécessaires pour effectuer leurs travaux. Par ailleurs, en raison du caractère ad hoc et temporaire des groupes, les connaissances sur les programmes peuvent difficilement être accumulées et les questions importantes faire l’objet d’un suivi dans le temps. Cette faiblesse revêt une importance particulière lorsqu’une partie des principales actions d’évaluation est planifiée sur l’ensemble de la période de programmation (comme c’est le cas pour le septième PC) (voir annexe II). Cette situation contraste également avec la pratique de la Commission à l’égard de ses groupes consultatifs d’experts (GCE) pour les PC, qui sont des organes permanents (34). Au Canada (35) également, les groupes d’évaluation sont permanents afin de garantir une approche systématique et cohérente (voir annexe III),

| — | lorsqu’elle définit le mandat des groupes d’experts et les questions de l’évaluation, la Commission ne consulte pas les parties prenantes externes, comme les industriels et les principaux organismes de recherche qui participent aux PC. Le groupe chargé du suivi 2004 a également observé ce problème et noté que «les utilisateurs potentiels devraient être impliqués dans le processus au cours des premières phases» (36), |
| --- | --- |

—

lorsqu’elle définit le mandat des groupes d’experts et les questions de l’évaluation, la Commission ne consulte pas les parties prenantes externes, comme les industriels et les principaux organismes de recherche qui participent aux PC. Le groupe chargé du suivi 2004 a également observé ce problème et noté que «les utilisateurs potentiels devraient être impliqués dans le processus au cours des premières phases» (36),

| — | les groupes d’experts utilisent un mode opératoire différent de celui qui est suivi lors des «examens par les pairs». Leurs membres n’ont pas le temps de réaliser seuls des évaluations; ils formulent généralement leurs conseils à partir de données et d’éléments probants tirés d’autres sources. En raison d’impératifs de calendrier, les groupes n’ont eu que rarement l’occasion de commander les études complémentaires nécessaires pour traiter les questions spécifiées dans leur mandat. Dans la pratique, hormis quelques exceptions, les groupes chargés de l’évaluation quinquennale ne disposaient que d’informations fournies par la Commission. |
| --- | --- |

—

les groupes d’experts utilisent un mode opératoire différent de celui qui est suivi lors des «examens par les pairs». Leurs membres n’ont pas le temps de réaliser seuls des évaluations; ils formulent généralement leurs conseils à partir de données et d’éléments probants tirés d’autres sources. En raison d’impératifs de calendrier, les groupes n’ont eu que rarement l’occasion de commander les études complémentaires nécessaires pour traiter les questions spécifiées dans leur mandat. Dans la pratique, hormis quelques exceptions, les groupes chargés de l’évaluation quinquennale ne disposaient que d’informations fournies par la Commission.

Ressources

Aucune ressource n’est spécialement affectée à l’évaluation des PC

| 60. | Les fonds nécessaires à l’évaluation sont fournis annuellement, en fonction des besoins formulés par les DG chargées de la mise en œuvre des PC. Actuellement, ce financement est assuré par une combinaison de ressources pour l’ensemble de la Commission, provenant de la DG Budget et de ressources de la partie fonctionnement du budget des DG concernées. Par ailleurs, les mesures spécifiques sont financées comme des actions indirectes, à partir du budget opérationnel des PC. Cela signifie qu’il n’y a pas de montant spécialement affecté à l’évaluation. |
| --- | --- |

60.

Les fonds nécessaires à l’évaluation sont fournis annuellement, en fonction des besoins formulés par les DG chargées de la mise en œuvre des PC. Actuellement, ce financement est assuré par une combinaison de ressources pour l’ensemble de la Commission, provenant de la DG Budget et de ressources de la partie fonctionnement du budget des DG concernées. Par ailleurs, les mesures spécifiques sont financées comme des actions indirectes, à partir du budget opérationnel des PC. Cela signifie qu’il n’y a pas de montant spécialement affecté à l’évaluation.

| 61. | En 2006, le pourcentage d’agents travaillant dans les secteurs de l’évaluation et de la gestion par activités était estimé, en moyenne, à environ 1 % du personnel de l’ensemble de la Commission (37). Les pourcentages correspondants pour les agents chargés du suivi et de l’évaluation des programmes-cadres de RDT à la DG Recherche et à la DG Société de l’information étaient respectivement de 1,2 % et 1,3 %. Dans le cas de la DG Recherche, plus des deux tiers de ces agents étaient cependant affectés aux services opérationnels chargés des programmes, et non aux unités chargées de l’évaluation. Celle-ci n’était donc que l’une des multiples tâches dont ils avaient la responsabilité. |
| --- | --- |

61.

En 2006, le pourcentage d’agents travaillant dans les secteurs de l’évaluation et de la gestion par activités était estimé, en moyenne, à environ 1 % du personnel de l’ensemble de la Commission (37). Les pourcentages correspondants pour les agents chargés du suivi et de l’évaluation des programmes-cadres de RDT à la DG Recherche et à la DG Société de l’information étaient respectivement de 1,2 % et 1,3 %. Dans le cas de la DG Recherche, plus des deux tiers de ces agents étaient cependant affectés aux services opérationnels chargés des programmes, et non aux unités chargées de l’évaluation. Celle-ci n’était donc que l’une des multiples tâches dont ils avaient la responsabilité.

Le financement de l’évaluation des PC est inférieur au niveau recommandé par la Commission

| 62. | Les ressources consacrées à l’évaluation peuvent aussi être exprimées en pourcentage de l’ensemble des crédits budgétaires affectés au programme. Les chiffres obtenus pendant l’audit indiquent que, pour les programmes de recherche dans les États membres de l’UE, la pratique se situe entre 0,1 % et 2 %. Les lignes directrices de la Commission suggèrent que 0,5 % du budget d’un programme devrait être consacré à l’évaluation (38). Toutefois, dans le cas des programmes de grande envergure, une part plus modeste du budget correspondant pourrait suffire grâce aux économies d’échelle. |
| --- | --- |

62.

Les ressources consacrées à l’évaluation peuvent aussi être exprimées en pourcentage de l’ensemble des crédits budgétaires affectés au programme. Les chiffres obtenus pendant l’audit indiquent que, pour les programmes de recherche dans les États membres de l’UE, la pratique se situe entre 0,1 % et 2 %. Les lignes directrices de la Commission suggèrent que 0,5 % du budget d’un programme devrait être consacré à l’évaluation (38). Toutefois, dans le cas des programmes de grande envergure, une part plus modeste du budget correspondant pourrait suffire grâce aux économies d’échelle.

| 63. | Une comparaison entre les chiffres de la Commission relatifs aux dépenses consacrées à l’évaluation au cours de la période 2003-2006 et les crédits budgétaires de chaque direction générale montre que la moyenne générale oscille autour de 0,15 %, soit un niveau nettement inférieur aux suggestions de la Commission. Une analyse plus approfondie pour l’exercice 2006 révèle que la DG Société de l’information a dépensé pour l’évaluation environ quatre fois plus que la DG Recherche, si l’on se réfère au montant des crédits dont elles disposent. Par ailleurs, à la DG Recherche, 0,7 % seulement d’un fonctionnaire à temps plein est consacré à l’évaluation par million d’euros du budget annuel. À titre comparatif, la DG Société de l’information y consacre un pourcentage double. |
| --- | --- |

63.

Une comparaison entre les chiffres de la Commission relatifs aux dépenses consacrées à l’évaluation au cours de la période 2003-2006 et les crédits budgétaires de chaque direction générale montre que la moyenne générale oscille autour de 0,15 %, soit un niveau nettement inférieur aux suggestions de la Commission. Une analyse plus approfondie pour l’exercice 2006 révèle que la DG Société de l’information a dépensé pour l’évaluation environ quatre fois plus que la DG Recherche, si l’on se réfère au montant des crédits dont elles disposent. Par ailleurs, à la DG Recherche, 0,7 % seulement d’un fonctionnaire à temps plein est consacré à l’évaluation par million d’euros du budget annuel. À titre comparatif, la DG Société de l’information y consacre un pourcentage double.

| 64. | Comme l’illustre le présent rapport, les efforts supplémentaires de la DG Société de l’information se sont traduits par une évaluation plus complète (voir points 13 et 46) et, comme l’indique l’échantillon d’études d’évaluation examiné par la Cour, par le recours à des méthodologies mieux adaptées aux besoins d’évaluation (voir point 84). |
| --- | --- |

64.

Comme l’illustre le présent rapport, les efforts supplémentaires de la DG Société de l’information se sont traduits par une évaluation plus complète (voir points 13 et 46) et, comme l’indique l’échantillon d’études d’évaluation examiné par la Cour, par le recours à des méthodologies mieux adaptées aux besoins d’évaluation (voir point 84).

| 65. | Une estimation des coûts réalisée par la Cour, sur la base des données fournies par la Commission, montre qu’un système d’évaluation fondé sur les propositions formulées dans le présent rapport représenterait, en moyenne, moins de 0,4 % de la dotation budgétaire du septième PC. Ce financement couvrirait les coûts des groupes de travail et des études sous-traitées, les dépenses relatives au personnel du bureau d’évaluation conjoint et aux unités actuellement chargées de l’évaluation au sein des DG, ainsi que d’autres frais divers (39). |
| --- | --- |

65.

Une estimation des coûts réalisée par la Cour, sur la base des données fournies par la Commission, montre qu’un système d’évaluation fondé sur les propositions formulées dans le présent rapport représenterait, en moyenne, moins de 0,4 % de la dotation budgétaire du septième PC. Ce financement couvrirait les coûts des groupes de travail et des études sous-traitées, les dépenses relatives au personnel du bureau d’évaluation conjoint et aux unités actuellement chargées de l’évaluation au sein des DG, ainsi que d’autres frais divers (39).

Recommandations

66.

| 66. | Les «DG Recherche» devraient envisager la création d’un bureau d’évaluation conjoint en plus des unités «Évaluation» existant au sein de chaque DG. Conformément aux pratiques actuellement en vigueur dans d’autres domaines politiques, ce bureau pourrait coordonner les activités d’évaluation de la Commission pour l’ensemble du PC. Ces fonctions communes d’appui ont été recommandées par le passé pour les DG chargées de la mise en œuvre des PC (40). Elles peuvent devenir encore plus importantes à l’avenir avec la création du CER et la délégation de la mise en œuvre des programmes aux agences exécutives. |
| --- | --- |

Les «DG Recherche» devraient envisager la création d’un bureau d’évaluation conjoint en plus des unités «Évaluation» existant au sein de chaque DG. Conformément aux pratiques actuellement en vigueur dans d’autres domaines politiques, ce bureau pourrait coordonner les activités d’évaluation de la Commission pour l’ensemble du PC. Ces fonctions communes d’appui ont été recommandées par le passé pour les DG chargées de la mise en œuvre des PC (40). Elles peuvent devenir encore plus importantes à l’avenir avec la création du CER et la délégation de la mise en œuvre des programmes aux agences exécutives.

| 67. | La Commission devrait continuer de recourir aux groupes d’évaluation pour être assistée dans ses activités d’évaluation. Cependant, elle devrait trouver un moyen d’adapter la structure du groupe à la structure générale du PC. Pour ce faire, il est recommandé de mettre en place un groupe pour chaque programme spécifique, et le cas échéant pour chaque sous-programme (voir annexe IV). Par ailleurs, ces groupes devraient être créés suffisamment tôt pour fournir un appui efficace à la Commission et pour poursuivre cet effort pendant toute la période de programmation et au-delà. |
| --- | --- |

67.

La Commission devrait continuer de recourir aux groupes d’évaluation pour être assistée dans ses activités d’évaluation. Cependant, elle devrait trouver un moyen d’adapter la structure du groupe à la structure générale du PC. Pour ce faire, il est recommandé de mettre en place un groupe pour chaque programme spécifique, et le cas échéant pour chaque sous-programme (voir annexe IV). Par ailleurs, ces groupes devraient être créés suffisamment tôt pour fournir un appui efficace à la Commission et pour poursuivre cet effort pendant toute la période de programmation et au-delà.

| 68. | La Commission devrait réexaminer les ressources consacrées à l’évaluation des PC et de leurs programmes constitutifs. |
| --- | --- |

68.

La Commission devrait réexaminer les ressources consacrées à l’évaluation des PC et de leurs programmes constitutifs.

Méthodologies et techniques d’évaluation

| 69. | Pour obtenir une évaluation efficace, il est nécessaire d’utiliser des méthodologies et des techniques appropriées. La Cour a vérifié si des lignes directrices spécifiques existaient pour l’évaluation des PC, si les besoins d’information étaient analysés correctement et en temps opportun, et si des données pertinentes étaient mises à la disposition des évaluateurs. Compte tenu des études d’évaluation réalisées par (ou pour le compte de) la Commission, la Cour a examiné si les techniques utilisées pour les différentes études offraient une base suffisante pour répondre aux questions définies pour les évaluations quinquennales. La Cour a également pris en considération la contribution potentielle des évaluations nationales à l’évaluation des PC. |
| --- | --- |

69.

Pour obtenir une évaluation efficace, il est nécessaire d’utiliser des méthodologies et des techniques appropriées. La Cour a vérifié si des lignes directrices spécifiques existaient pour l’évaluation des PC, si les besoins d’information étaient analysés correctement et en temps opportun, et si des données pertinentes étaient mises à la disposition des évaluateurs. Compte tenu des études d’évaluation réalisées par (ou pour le compte de) la Commission, la Cour a examiné si les techniques utilisées pour les différentes études offraient une base suffisante pour répondre aux questions définies pour les évaluations quinquennales. La Cour a également pris en considération la contribution potentielle des évaluations nationales à l’évaluation des PC.

Mise en place de standards et de lignes directrices spécifiques aux PC

| 70. | La DG Budget a publié plusieurs communications visant à présenter sa politique d’évaluation et à fournir des règles pour sa mise en œuvre. Elle a établi une série de standards pour toute la Commission (voir points 14 et 55) (41). S’agissant des autres domaines politiques, les DG compétentes ont également élaboré des guides spécifiques d’évaluation (42). |
| --- | --- |

70.

La DG Budget a publié plusieurs communications visant à présenter sa politique d’évaluation et à fournir des règles pour sa mise en œuvre. Elle a établi une série de standards pour toute la Commission (voir points 14 et 55) (41). S’agissant des autres domaines politiques, les DG compétentes ont également élaboré des guides spécifiques d’évaluation (42).

| 71. | Ces dispositions ne concernent toutefois pas les PC. La Commission a publié (ou financé) plusieurs guides et boîtes à outils méthodologiques pour les activités d’évaluation dans le domaine de la recherche (43). Cependant, ces documents ne donnent pas d’orientation spécifique sur la manière d’évaluer les PC et n’indiquent pas comment les concepts clés ou la terminologie doivent être utilisés par les agents de la Commission ou par les experts externes. Ces déficiences ont contribué aux difficultés évoquées ci-après. |
| --- | --- |

71.

Ces dispositions ne concernent toutefois pas les PC. La Commission a publié (ou financé) plusieurs guides et boîtes à outils méthodologiques pour les activités d’évaluation dans le domaine de la recherche (43). Cependant, ces documents ne donnent pas d’orientation spécifique sur la manière d’évaluer les PC et n’indiquent pas comment les concepts clés ou la terminologie doivent être utilisés par les agents de la Commission ou par les experts externes. Ces déficiences ont contribué aux difficultés évoquées ci-après.

Besoins et collecte de données

Analyse insuffisante des besoins d’informations

| 72. | Les «DG Recherche» n’ont pas accordé une attention suffisante à la définition des données nécessaires à l’évaluation et au suivi. Alors qu’une analyse systématique et approfondie des besoins d’informations eût été utile, la Commission a formulé les exigences en matière de données tardivement au cours de la période de programmation et sans tenir dûment compte des besoins généraux de l’évaluation. Le questionnaire socio-économique du sixième PC a été la seule tentative commune à toutes les DG pour se mettre d’accord sur ces données (voir point 76). Or, ce questionnaire a été définitivement établi en 2004 (trois ans après le début de la période de programmation) et couvrait essentiellement des aspects tels que la participation de chercheurs des deux sexes et l’incidence sur l’environnement plutôt que les réalisations scientifiques (telles que les questions de propriété intellectuelle, les publications, etc.), les effets ou les impacts. |
| --- | --- |

72.

Les «DG Recherche» n’ont pas accordé une attention suffisante à la définition des données nécessaires à l’évaluation et au suivi. Alors qu’une analyse systématique et approfondie des besoins d’informations eût été utile, la Commission a formulé les exigences en matière de données tardivement au cours de la période de programmation et sans tenir dûment compte des besoins généraux de l’évaluation. Le questionnaire socio-économique du sixième PC a été la seule tentative commune à toutes les DG pour se mettre d’accord sur ces données (voir point 76). Or, ce questionnaire a été définitivement établi en 2004 (trois ans après le début de la période de programmation) et couvrait essentiellement des aspects tels que la participation de chercheurs des deux sexes et l’incidence sur l’environnement plutôt que les réalisations scientifiques (telles que les questions de propriété intellectuelle, les publications, etc.), les effets ou les impacts.

| 73. | L’évaluation des programmes reposait en grande partie sur la disponibilité de trois types de données:






  — | données collectées en fonction d’indicateurs d’efficacité, dont l’analyse fournit des renseignements sur l’état d’avancement de la réalisation des objectifs du programme. L’absence susmentionnée de toute logique d’intervention fait qu’il a été difficile de définir ces indicateurs (voir point 30). Dans la pratique, les données collectées présentaient un intérêt limité pour apprécier la réalisation des objectifs du programme, |
| --- | --- | --- |

73.

L’évaluation des programmes reposait en grande partie sur la disponibilité de trois types de données:

—

données collectées en fonction d’indicateurs d’efficacité, dont l’analyse fournit des renseignements sur l’état d’avancement de la réalisation des objectifs du programme. L’absence susmentionnée de toute logique d’intervention fait qu’il a été difficile de définir ces indicateurs (voir point 30). Dans la pratique, les données collectées présentaient un intérêt limité pour apprécier la réalisation des objectifs du programme,

| — | données concernant la gestion du programme (en fonction d’indicateurs d’efficience), |
| --- | --- |

—

données concernant la gestion du programme (en fonction d’indicateurs d’efficience),

| — | données concernant les participants (comme les taux de participation des principaux organismes de recherche). |
| --- | --- |

—

données concernant les participants (comme les taux de participation des principaux organismes de recherche).

| 74. | Les deux derniers types de données devraient être en particulier disponibles au sein de la Commission. Toutefois, en raison de problèmes au niveau des systèmes informatiques internes de la Commission, qui sont la principale source d’information sur la gestion des programmes et sur les participants (44), d’importantes difficultés à cet égard sont survenues dans la pratique (45). |
| --- | --- |

74.

Les deux derniers types de données devraient être en particulier disponibles au sein de la Commission. Toutefois, en raison de problèmes au niveau des systèmes informatiques internes de la Commission, qui sont la principale source d’information sur la gestion des programmes et sur les participants (44), d’importantes difficultés à cet égard sont survenues dans la pratique (45).

| 75. | Ces difficultés sont illustrées par les retards considérables affectant la remise des rapports prévus par l’article 173 (46) et des rapports annuels de suivi (jusqu’à 16 mois de retard pour les premiers et jusqu’à 7 mois pour les seconds, au cours de la période 2002-2005). Étant donné que ces informations étaient toujours fournies avec un retard considérable, leur utilité était limitée. |
| --- | --- |

75.

Ces difficultés sont illustrées par les retards considérables affectant la remise des rapports prévus par l’article 173 (46) et des rapports annuels de suivi (jusqu’à 16 mois de retard pour les premiers et jusqu’à 7 mois pour les seconds, au cours de la période 2002-2005). Étant donné que ces informations étaient toujours fournies avec un retard considérable, leur utilité était limitée.

Approche inefficace pour l’obtention de données d’évaluation auprès des participants

| 76. | À partir du cinquième PC, la Commission a systématiquement obligé, par contrat, les participants à fournir les données nécessaires pour mesurer le degré d’accomplissement des objectifs de programme en termes de réalisations, d’effets et d’impacts. Les participants devaient donc:






  — | dans le cadre du cinquième PC, soumettre un «plan de mise en œuvre technologique» et, à l’issue du projet, un rapport final. Ces documents étaient souvent de piètre qualité ou n’étaient même pas produits, |
| --- | --- | --- |

76.

À partir du cinquième PC, la Commission a systématiquement obligé, par contrat, les participants à fournir les données nécessaires pour mesurer le degré d’accomplissement des objectifs de programme en termes de réalisations, d’effets et d’impacts. Les participants devaient donc:

—

dans le cadre du cinquième PC, soumettre un «plan de mise en œuvre technologique» et, à l’issue du projet, un rapport final. Ces documents étaient souvent de piètre qualité ou n’étaient même pas produits,

| — | dans le cadre du sixième PC, présenter un «plan pour la valorisation et pour la diffusion des connaissances» et, lors de la remise de leurs rapports techniques annuels, répondre à un questionnaire type concernant les questions socio-économiques. |
| --- | --- |

—

dans le cadre du sixième PC, présenter un «plan pour la valorisation et pour la diffusion des connaissances» et, lors de la remise de leurs rapports techniques annuels, répondre à un questionnaire type concernant les questions socio-économiques.

| 77. | Ces obligations contractuelles pour la communication de données ont imposé des charges administratives superflues aux participants. S’agissant, par exemple, du questionnaire annuel du sixième PC, les données ont été collectées beaucoup trop fréquemment et auprès de l’ensemble des participants aux projets, alors qu’un échantillon représentatif aurait suffi. Cette situation risque de provoquer une certaine «lassitude due à l’évaluation». Par ailleurs, ces données ont été collectées à un mauvais moment: comme beaucoup de questions sous-jacentes pour lesquelles des données ont été recueillies portaient sur le moyen ou le long terme, toute collecte de données pendant la durée contractuelle du projet était, par définition, prématurée (47). C’est pourquoi, dans la pratique, les résultats produits par ces instruments ont été fort peu utiles pour les évaluations des cinquième et sixième PC. |
| --- | --- |

77.

Ces obligations contractuelles pour la communication de données ont imposé des charges administratives superflues aux participants. S’agissant, par exemple, du questionnaire annuel du sixième PC, les données ont été collectées beaucoup trop fréquemment et auprès de l’ensemble des participants aux projets, alors qu’un échantillon représentatif aurait suffi. Cette situation risque de provoquer une certaine «lassitude due à l’évaluation». Par ailleurs, ces données ont été collectées à un mauvais moment: comme beaucoup de questions sous-jacentes pour lesquelles des données ont été recueillies portaient sur le moyen ou le long terme, toute collecte de données pendant la durée contractuelle du projet était, par définition, prématurée (47). C’est pourquoi, dans la pratique, les résultats produits par ces instruments ont été fort peu utiles pour les évaluations des cinquième et sixième PC.

| 78. | Cependant, aucun des systèmes en vigueur ne prévoit que des informations soient collectées selon des modalités uniformes à l’issue d’un projet (ou peu après sa réalisation). Les parties prenantes interrogées ont suggéré que ces informations pourraient porter aussi sur la réalisation des objectifs du projet, sur les résultats escomptés (et non escomptés), ainsi que sur la perception qu’ont les participants de la valeur ajoutée communautaire. Ces informations pourraient également servir de base à l’examen externe des projets achevés (48). |
| --- | --- |

78.

Cependant, aucun des systèmes en vigueur ne prévoit que des informations soient collectées selon des modalités uniformes à l’issue d’un projet (ou peu après sa réalisation). Les parties prenantes interrogées ont suggéré que ces informations pourraient porter aussi sur la réalisation des objectifs du projet, sur les résultats escomptés (et non escomptés), ainsi que sur la perception qu’ont les participants de la valeur ajoutée communautaire. Ces informations pourraient également servir de base à l’examen externe des projets achevés (48).

| 79. | En outre, elles pourraient permettre d’intensifier le recours aux approches scientométriques (comme l’analyse de citations) pour évaluer les résultats des projets (voir point 83) et fournir une base à la Commission en vue du passage à un système de financement fondé sur les résultats pour les activités de RDT cofinancées par la Communauté (49). |
| --- | --- |

79.

En outre, elles pourraient permettre d’intensifier le recours aux approches scientométriques (comme l’analyse de citations) pour évaluer les résultats des projets (voir point 83) et fournir une base à la Commission en vue du passage à un système de financement fondé sur les résultats pour les activités de RDT cofinancées par la Communauté (49).

Autres sources de données insuffisamment utilisées

| 80. | D’autres sources de données existent à la Commission et dans les États membres et ne sont pas suffisamment utilisées (par exemple les bases de données des programmes nationaux de RDT et des organismes de financement, ainsi que le «Service communautaire d’information sur la recherche et sur le développement» (CORDIS) mis en œuvre par l’Office des publications officielles des Communautés européennes (50). |
| --- | --- |

80.

D’autres sources de données existent à la Commission et dans les États membres et ne sont pas suffisamment utilisées (par exemple les bases de données des programmes nationaux de RDT et des organismes de financement, ainsi que le «Service communautaire d’information sur la recherche et sur le développement» (CORDIS) mis en œuvre par l’Office des publications officielles des Communautés européennes (50).

Études d’évaluation réalisées par la Commission

Rapports examinés par la Cour

| 81. | La Cour a examiné 86 études d’évaluation effectuées par (ou pour le compte de) la Commission depuis 2000. Elles comprenaient l’ensemble des 36 études qui formaient la base de l’évaluation quinquennale publiée en 2004, ainsi que les 50 autres études terminées depuis lors. Parmi ces dernières, seules 23 peuvent être considérées comme de véritables évaluations des PC et de leurs programmes (voir graphique 5).
  Graphique 5
  Vue d’ensemble des études d’évaluation réalisées par (ou pour le compte de) la Commission de 2000 à 2006








  Type d’études | Nombre | Description |
| --- | --- | --- | --- |
| Évaluations des activités des PC | 23 | Études d’évaluation






  — | fondées sur des méthodologies reconnues (51), |

81.

La Cour a examiné 86 études d’évaluation effectuées par (ou pour le compte de) la Commission depuis 2000. Elles comprenaient l’ensemble des 36 études qui formaient la base de l’évaluation quinquennale publiée en 2004, ainsi que les 50 autres études terminées depuis lors. Parmi ces dernières, seules 23 peuvent être considérées comme de véritables évaluations des PC et de leurs programmes (voir graphique 5).

Graphique 5

Vue d’ensemble des études d’évaluation réalisées par (ou pour le compte de) la Commission de 2000 à 2006

Type d’études

Nombre

Description

Évaluations des activités des PC

23

Études d’évaluation

—

fondées sur des méthodologies reconnues (51),

| — | se référant explicitement aux objectifs des programmes et au degré de réalisation de ces objectifs. |
| --- | --- |

—

se référant explicitement aux objectifs des programmes et au degré de réalisation de ces objectifs.

Analyses d’impact nationales entreprises au niveau des États membres

12

Études réalisées par les États membres qui portent principalement sur les taux de participation nationaux, sans formuler des conclusions relatives aux objectifs du programme.

Études méthodologiques

5

Études organisées par la Commission afin de soutenir l’élaboration de méthodologies d’évaluation.

Études du paysage européen de la RDT

2

Études portant sur les analyses contextuelles relatives au secteur de la recherche européenne, sans aborder les PC. Elles ne font notamment aucune référence explicite à l’incidence des PC sur les systèmes nationaux de recherche et d’innovation.

Documents statistiques descriptifs et non analytiques

33

Documents qui traitent normalement des activités des PC d’une manière très indirecte, en décrivant les activités plutôt qu’en les analysant.

Autres documents

11

Série de documents qui abordent les questions présentant un intérêt politique général, sans examiner les PC dans ce contexte.

Évaluations centrées sur des questions de suivi plutôt que sur les effets et sur les impacts

| 82. | La Cour a effectué une méta-analyse de ces études d’évaluation spécifiques qui a permis de dégager deux observations principales:






  — | alors que beaucoup d’études essayent de formuler des conclusions sur les objectifs du programme, les conclusions en question sont présentées de manière vague, si bien que le lecteur reste sceptique quant au traitement réel de cet aspect dans l’évaluation. Cette insuffisance découle souvent du fait que l’absence d’objectifs de programme clairement définis compromet gravement le processus (voir point 28), |
| --- | --- | --- |

82.

La Cour a effectué une méta-analyse de ces études d’évaluation spécifiques qui a permis de dégager deux observations principales:

—

alors que beaucoup d’études essayent de formuler des conclusions sur les objectifs du programme, les conclusions en question sont présentées de manière vague, si bien que le lecteur reste sceptique quant au traitement réel de cet aspect dans l’évaluation. Cette insuffisance découle souvent du fait que l’absence d’objectifs de programme clairement définis compromet gravement le processus (voir point 28),

| — | au lieu d’évaluer les effets et les impacts des PC sur leurs programmes (et sous-programmes) spécifiques, nombre de documents sont de nature simplement descriptive et, au mieux, se concentrent sur les réalisations immédiates et sur des questions de gestion du projet. Ces rapports ne peuvent donc fournir aucun élément probant concernant les effets ou les impacts. |
| --- | --- |

—

au lieu d’évaluer les effets et les impacts des PC sur leurs programmes (et sous-programmes) spécifiques, nombre de documents sont de nature simplement descriptive et, au mieux, se concentrent sur les réalisations immédiates et sur des questions de gestion du projet. Ces rapports ne peuvent donc fournir aucun élément probant concernant les effets ou les impacts.

L’élaboration de nouvelles méthodologies n’a pas fait l’objet d’une attention suffisante

| 83. | Le recours aux méthodologies et aux techniques traditionnelles (notamment les enquêtes, les contrôles documentaires et les entretiens) prévaut pour les évaluations réalisées entre 2000 et 2006 (voir graphique 6). Par ailleurs, un certain nombre d’autres méthodologies et techniques d’évaluation, avancées mais néanmoins bien rôdées, n’ont pas (ou ont très rarement) été utilisées, à savoir:






  — | les approches scientométriques (telles que l’analyse de citations) (52), |
| --- | --- | --- |

83.

Le recours aux méthodologies et aux techniques traditionnelles (notamment les enquêtes, les contrôles documentaires et les entretiens) prévaut pour les évaluations réalisées entre 2000 et 2006 (voir graphique 6). Par ailleurs, un certain nombre d’autres méthodologies et techniques d’évaluation, avancées mais néanmoins bien rôdées, n’ont pas (ou ont très rarement) été utilisées, à savoir:

—

les approches scientométriques (telles que l’analyse de citations) (52),

| — | les modèles quantitatifs (tels que les analyses de coûts/efficience, de coûts/efficacité et de coûts/avantages) (53), |
| --- | --- |

—

les modèles quantitatifs (tels que les analyses de coûts/efficience, de coûts/efficacité et de coûts/avantages) (53),

| — | les modèles d’acteur (ou de comportement) (qui sont axés sur les points de vue des personnes impliquées dans une intervention, comme les caractéristiques des réseaux de recherche et les changements qui les affectent dans le temps). |
| --- | --- |

—

les modèles d’acteur (ou de comportement) (qui sont axés sur les points de vue des personnes impliquées dans une intervention, comme les caractéristiques des réseaux de recherche et les changements qui les affectent dans le temps).

Image

| 84. | Les études d’évaluation qui tentent de résoudre les difficultés méthodologiques liées à l’appréciation de l’intervention publique en matière de recherche (voir annexe I) n’ont été utilisées que dans un nombre limité de cas:






  — | deux études sur la logique d’intervention ont été achevées récemment (54), |
| --- | --- | --- |

84.

Les études d’évaluation qui tentent de résoudre les difficultés méthodologiques liées à l’appréciation de l’intervention publique en matière de recherche (voir annexe I) n’ont été utilisées que dans un nombre limité de cas:

—

deux études sur la logique d’intervention ont été achevées récemment (54),

| — | seules trois études ont été mises en évidence qui tentent d’évaluer l’effet du financement communautaire sur l’action en réseau des organismes de recherche au niveau paneuropéen (55), alors que l’hypothèse des effets de réseau positifs figure au cœur du concept d’EER, |
| --- | --- |

—

seules trois études ont été mises en évidence qui tentent d’évaluer l’effet du financement communautaire sur l’action en réseau des organismes de recherche au niveau paneuropéen (55), alors que l’hypothèse des effets de réseau positifs figure au cœur du concept d’EER,

| — | une seule tentative a été faite pour tirer des conclusions concernant l’impact atteint au niveau du programme (ou du sous-programme) en combinant le regroupement des analyses d’évaluation au niveau du projet à d’autres techniques d’évaluation (56), |
| --- | --- |

—

une seule tentative a été faite pour tirer des conclusions concernant l’impact atteint au niveau du programme (ou du sous-programme) en combinant le regroupement des analyses d’évaluation au niveau du projet à d’autres techniques d’évaluation (56),

| — | aucun élément n’atteste le recours à d’autres méthodologies, telles l’approche «contrefactuelle» (ou approche «du groupe de contrôle»). Celle-ci serait particulièrement utile pour illustrer la valeur ajoutée des programmes au niveau communautaire par rapport à la non-intervention (ou à la seule intervention au niveau national ou régional). |
| --- | --- |

—

aucun élément n’atteste le recours à d’autres méthodologies, telles l’approche «contrefactuelle» (ou approche «du groupe de contrôle»). Celle-ci serait particulièrement utile pour illustrer la valeur ajoutée des programmes au niveau communautaire par rapport à la non-intervention (ou à la seule intervention au niveau national ou régional).

| 85. | Les parties prenantes interrogées par la Cour étaient d’avis que l’utilité et la pertinence des évaluations de la Commission pourraient être améliorées. Cette constatation démontre que la méthodologie doit être davantage élaborée afin que le système d’évaluation évolue et tienne compte des modifications apportées aux PC (voir point 7) (57). |
| --- | --- |

85.

Les parties prenantes interrogées par la Cour étaient d’avis que l’utilité et la pertinence des évaluations de la Commission pourraient être améliorées. Cette constatation démontre que la méthodologie doit être davantage élaborée afin que le système d’évaluation évolue et tienne compte des modifications apportées aux PC (voir point 7) (57).

Les questions majeures soulevées par les évaluations quinquennales n’ont pu être traitées à partir des études d’évaluation spécifique de la Commission

| 86. | Cette constatation est également illustrée par les difficultés non négligeables auxquelles le groupe d’experts chargé de l’évaluation quinquennale de 2004 (58) a dû faire face pour répondre aux questions suggérées dans son mandat d’évaluation. Plusieurs de ces questions difficiles n’ont absolument pas pu être examinées, aucune étude appropriée n’ayant été réalisée préalablement par (ou pour le compte de) la Commission et les membres du groupe d’experts n’ayant pas eu la possibilité de commander ces études en temps utile (voir graphique 7).
  Graphique 7
  Questions traitées dans le cadre de l’évaluation quinquennale de 2004 | Question | Abordée dans le rapport? |
| --- | --- | --- | --- |
| MISE EN ŒUVRE | Les actions ont-elles été mises en œuvre efficacement? | en partie |
| Les actions ont-elles été d’un bon rapport coût/efficacité? | en partie |
| Les actions constituaient-elles la meilleure manière d’atteindre les objectifs fixés? | non |
| Le cadre légal global (y compris les règles relatives à la participation et aux contrats), les instruments politiques et les modalités d’exécution étaient-ils clairs, appropriés et efficaces? | non |
| Le niveau de financement et les autres ressources disponibles étaient-ils adéquats? | non |
| Les milieux industriels et de recherche visés, y compris les PME, étaient-ils en mesure de répondre de façon appropriée? | oui |
| RÉALISATIONS | Les actions ont-elles atteint leurs objectifs respectifs et dans quelle mesure des résultats inattendus ont-ils été enregistrés? | non |
| Quels sont les principaux résultats, notamment en termes de réalisations scientifiques, technologiques, socio-économiques et environnementales, en termes de coopération internationale, de transfert de connaissances et d’innovation, d’activités prénormatives, d’accessibilité, de diffusion et d’exploitation des résultats de la recherche, de développement des ressources humaines, de mobilité et de formation, ainsi qu'en termes de soutien et de renforcement de la coordination des activités de recherche? | non |
| Les résultats et leurs effets et impacts ont-ils été globalement satisfaisants du point de vue des bénéficiaires directs ou indirects, ainsi que des parties prenantes? | non |
| A-t-il été tenu compte de façon satisfaisante des milieux industriels et de recherche concernés, y compris les PME? | oui |
| Comment et dans quelle mesure les actions ont-elles contribué à améliorer la compétitivité de la recherche dans l’UE au niveau international? La recherche dans l’UE a-t-elle acquis une position dominante dans des domaines spécifiques? | en partie |
| Comment et dans quelle mesure les actions ont-elles contribué aux politiques communautaires en général et à la stratégie de l’UE en matière de développement durable? | non |
| Existe-t-il des preuves d’une modification structurelle, notamment une mise en réseau, une intégration et une coordination de la recherche, à un niveau national ou international, suite aux actions communautaires en matière de recherche? | non |
| Les programmes ont-ils permis une optimisation des ressources? Les activités ont-elles des impacts durables? | non |
| ÉVOLUTION ET PERSPECTIVES | Comment les programmes-cadres ont-ils évolué en termes de logique, d’objectifs, de priorités thématiques, d’équilibre entre les priorités du bas vers le haut et du haut vers le bas et entre recherche fondamentale et recherche appliquée, d’instruments, de valeur ajoutée européenne et d’autres impacts, notamment au regard de l’émergence du concept de l’Espace européen de la recherche (EER), des objectifs de Lisbonne et des principaux critères de référence internationaux en matière économique et en matière de recherche? | oui |
| Comment le programme-cadre a t-il produit une valeur ajoutée européenne? | oui |
| La valeur ajoutée européenne pouvait-elle être obtenue par le biais d’autres mécanismes internationaux ou nationaux? | non |
| Les objectifs politiques, les priorités, les instruments et le cycle de vie des programmes sont-ils appropriés pour l’avenir? | oui |

86.

Cette constatation est également illustrée par les difficultés non négligeables auxquelles le groupe d’experts chargé de l’évaluation quinquennale de 2004 (58) a dû faire face pour répondre aux questions suggérées dans son mandat d’évaluation. Plusieurs de ces questions difficiles n’ont absolument pas pu être examinées, aucune étude appropriée n’ayant été réalisée préalablement par (ou pour le compte de) la Commission et les membres du groupe d’experts n’ayant pas eu la possibilité de commander ces études en temps utile (voir graphique 7).

Graphique 7

Questions traitées dans le cadre de l’évaluation quinquennale de 2004

Question

Abordée dans le rapport?

MISE EN ŒUVRE

Les actions ont-elles été mises en œuvre efficacement?

en partie

Les actions ont-elles été d’un bon rapport coût/efficacité?

en partie

Les actions constituaient-elles la meilleure manière d’atteindre les objectifs fixés?

non

Le cadre légal global (y compris les règles relatives à la participation et aux contrats), les instruments politiques et les modalités d’exécution étaient-ils clairs, appropriés et efficaces?

non

Le niveau de financement et les autres ressources disponibles étaient-ils adéquats?

non

Les milieux industriels et de recherche visés, y compris les PME, étaient-ils en mesure de répondre de façon appropriée?

oui

RÉALISATIONS

Les actions ont-elles atteint leurs objectifs respectifs et dans quelle mesure des résultats inattendus ont-ils été enregistrés?

non

Quels sont les principaux résultats, notamment en termes de réalisations scientifiques, technologiques, socio-économiques et environnementales, en termes de coopération internationale, de transfert de connaissances et d’innovation, d’activités prénormatives, d’accessibilité, de diffusion et d’exploitation des résultats de la recherche, de développement des ressources humaines, de mobilité et de formation, ainsi qu'en termes de soutien et de renforcement de la coordination des activités de recherche?

non

Les résultats et leurs effets et impacts ont-ils été globalement satisfaisants du point de vue des bénéficiaires directs ou indirects, ainsi que des parties prenantes?

non

A-t-il été tenu compte de façon satisfaisante des milieux industriels et de recherche concernés, y compris les PME?

oui

Comment et dans quelle mesure les actions ont-elles contribué à améliorer la compétitivité de la recherche dans l’UE au niveau international? La recherche dans l’UE a-t-elle acquis une position dominante dans des domaines spécifiques?

en partie

Comment et dans quelle mesure les actions ont-elles contribué aux politiques communautaires en général et à la stratégie de l’UE en matière de développement durable?

non

Existe-t-il des preuves d’une modification structurelle, notamment une mise en réseau, une intégration et une coordination de la recherche, à un niveau national ou international, suite aux actions communautaires en matière de recherche?

non

Les programmes ont-ils permis une optimisation des ressources? Les activités ont-elles des impacts durables?

non

ÉVOLUTION ET PERSPECTIVES

Comment les programmes-cadres ont-ils évolué en termes de logique, d’objectifs, de priorités thématiques, d’équilibre entre les priorités du bas vers le haut et du haut vers le bas et entre recherche fondamentale et recherche appliquée, d’instruments, de valeur ajoutée européenne et d’autres impacts, notamment au regard de l’émergence du concept de l’Espace européen de la recherche (EER), des objectifs de Lisbonne et des principaux critères de référence internationaux en matière économique et en matière de recherche?

oui

Comment le programme-cadre a t-il produit une valeur ajoutée européenne?

oui

La valeur ajoutée européenne pouvait-elle être obtenue par le biais d’autres mécanismes internationaux ou nationaux?

non

Les objectifs politiques, les priorités, les instruments et le cycle de vie des programmes sont-ils appropriés pour l’avenir?

oui

| 87. | De plus, il a été constaté que les membres du groupe d’experts n’ont été en mesure de répondre aux questions inscrites dans leur mandat que lorsqu’elles portaient sur des volets pour lesquels des objectifs clairs et quantifiables avaient été définis dans les programmes (par exemple, le nombre de petites et moyennes entreprises participantes). |
| --- | --- |

87.

De plus, il a été constaté que les membres du groupe d’experts n’ont été en mesure de répondre aux questions inscrites dans leur mandat que lorsqu’elles portaient sur des volets pour lesquels des objectifs clairs et quantifiables avaient été définis dans les programmes (par exemple, le nombre de petites et moyennes entreprises participantes).

Évaluations des PC réalisées au niveau national

| 88. | Plusieurs États membres et pays associés réalisent leurs propres évaluations nationales des PC, en abordant des questions pertinentes et intéressantes de leur point de vue (59). Au cours des huit dernières années, 14 études de ce type ont été produites pour neuf États membres et un pays associé. |
| --- | --- |

88.

Plusieurs États membres et pays associés réalisent leurs propres évaluations nationales des PC, en abordant des questions pertinentes et intéressantes de leur point de vue (59). Au cours des huit dernières années, 14 études de ce type ont été produites pour neuf États membres et un pays associé.

| 89. | La Commission encourageait le recours, dans la mesure du possible, à des approches normalisées. Or, ces études d’impact réalisées au niveau national sont très hétérogènes (60). Dès lors, puisqu’elles ne suivent pas une méthodologie harmonisée, les possibilités d’agréger, de combiner ou de comparer les résultats sont limitées. Par ailleurs, en raison de leur caractère national, ces études ne peuvent saisir que partiellement la dimension de la coopération européenne. |
| --- | --- |

89.

La Commission encourageait le recours, dans la mesure du possible, à des approches normalisées. Or, ces études d’impact réalisées au niveau national sont très hétérogènes (60). Dès lors, puisqu’elles ne suivent pas une méthodologie harmonisée, les possibilités d’agréger, de combiner ou de comparer les résultats sont limitées. Par ailleurs, en raison de leur caractère national, ces études ne peuvent saisir que partiellement la dimension de la coopération européenne.

| 90. | Dans son livre vert de 2007 sur l’Espace européen de la recherche, la Commission a affirmé l’importance de disposer, au niveau de l’Espace européen de la recherche, d’analyses rigoureuses réalisées tant par les États membres que par l’UE concernant l’impact et l’efficacité des activités et des politiques de recherche. La Commission reconnaissait également que les dispositions actuelles n’étaient pas suffisantes pour relever ce défi, car chaque niveau d’intervention réalisait ses évaluations séparément (61). |
| --- | --- |

90.

Dans son livre vert de 2007 sur l’Espace européen de la recherche, la Commission a affirmé l’importance de disposer, au niveau de l’Espace européen de la recherche, d’analyses rigoureuses réalisées tant par les États membres que par l’UE concernant l’impact et l’efficacité des activités et des politiques de recherche. La Commission reconnaissait également que les dispositions actuelles n’étaient pas suffisantes pour relever ce défi, car chaque niveau d’intervention réalisait ses évaluations séparément (61).

Recommandations

91.

| 91. | La Commission devrait élaborer un manuel pour l’évaluation des activités financées par les PC. Il devra contenir des définitions des concepts clés et de la terminologie et mettre en lumière toute une série de méthodologies appropriées pour certaines activités d’évaluation. Ce manuel devrait être fondé sur les guides et boîtes à outils existants et être mis à jour régulièrement. |
| --- | --- |

La Commission devrait élaborer un manuel pour l’évaluation des activités financées par les PC. Il devra contenir des définitions des concepts clés et de la terminologie et mettre en lumière toute une série de méthodologies appropriées pour certaines activités d’évaluation. Ce manuel devrait être fondé sur les guides et boîtes à outils existants et être mis à jour régulièrement.

| 92. | La Commission devrait définir ses besoins d’informations, en tenant compte de la nécessité de limiter la charge administrative pesant sur les participants. |
| --- | --- |

92.

La Commission devrait définir ses besoins d’informations, en tenant compte de la nécessité de limiter la charge administrative pesant sur les participants.

| 93. | La Commission devrait fournir, en temps utile, des informations concernant le suivi de la mise en œuvre des PC. Comme le prévoient les «règles de participation» du septième PC, il faut résoudre de toute urgence les problèmes concernant les systèmes informatiques de la Commission permettant d’exploiter les données relatives à la gestion des programmes et aux participants. |
| --- | --- |

93.

La Commission devrait fournir, en temps utile, des informations concernant le suivi de la mise en œuvre des PC. Comme le prévoient les «règles de participation» du septième PC, il faut résoudre de toute urgence les problèmes concernant les systèmes informatiques de la Commission permettant d’exploiter les données relatives à la gestion des programmes et aux participants.

| 94. | Il convient de réduire considérablement les obligations des participants concernant l’établissement de rapports à remettre à la Commission. Les enquêtes devraient être réalisées seulement sur la base d’échantillons représentatifs. L’obligation contractuelle qui veut que soient présentées, pour chaque projet, des données sur l’impact fondées sur des indicateurs, devrait être remplacée par une brève autoévaluation à l’issue du projet. |
| --- | --- |

94.

Il convient de réduire considérablement les obligations des participants concernant l’établissement de rapports à remettre à la Commission. Les enquêtes devraient être réalisées seulement sur la base d’échantillons représentatifs. L’obligation contractuelle qui veut que soient présentées, pour chaque projet, des données sur l’impact fondées sur des indicateurs, devrait être remplacée par une brève autoévaluation à l’issue du projet.

| 95. | Pour ses évaluations, la Commission devrait exploiter davantage les sources complémentaires existantes qui contiennent des données pertinentes (qu’elle peut trouver à la fois en son sein et dans les États membres). |
| --- | --- |

95.

Pour ses évaluations, la Commission devrait exploiter davantage les sources complémentaires existantes qui contiennent des données pertinentes (qu’elle peut trouver à la fois en son sein et dans les États membres).

| 96. | La Commission devrait utiliser toute la gamme des techniques d’évaluation disponibles. De plus, elle devrait soutenir l’élaboration de nouvelles approches pour résoudre les difficultés méthodologiques inhérentes à l’évaluation de l’intervention publique en matière de recherche (voir annexe I) et recourir à ces approches pour ses propres évaluations. |
| --- | --- |

96.

La Commission devrait utiliser toute la gamme des techniques d’évaluation disponibles. De plus, elle devrait soutenir l’élaboration de nouvelles approches pour résoudre les difficultés méthodologiques inhérentes à l’évaluation de l’intervention publique en matière de recherche (voir annexe I) et recourir à ces approches pour ses propres évaluations.

| 97. | La Commission devrait chercher, en collaboration avec les États membres, le moyen de maximiser les bénéfices des évaluations des PC effectuées au niveau national. |
| --- | --- |

97.

La Commission devrait chercher, en collaboration avec les États membres, le moyen de maximiser les bénéfices des évaluations des PC effectuées au niveau national.

Diffusion et exploitation des constatations résultant des évaluations

| 98. | L’évaluation devrait fournir des informations et une analyse pertinentes susceptibles d’être utilisées efficacement pour la gestion des programmes et l’élaboration de politiques. L’évaluation devrait notamment alimenter une réflexion approfondie sur les points forts et les insuffisances de l’intervention publique. Cette réflexion est nécessaire pour que l’apprentissage puisse avoir lieu. La Cour a vérifié si les évaluations étaient effectuées en temps utile, si les constatations étaient communiquées et diffusées aux parties prenantes à l’extérieur de la Commission, et si cette dernière tenait compte des recommandations afin de réviser les programmes en cours (learning programmes). |
| --- | --- |

98.

L’évaluation devrait fournir des informations et une analyse pertinentes susceptibles d’être utilisées efficacement pour la gestion des programmes et l’élaboration de politiques. L’évaluation devrait notamment alimenter une réflexion approfondie sur les points forts et les insuffisances de l’intervention publique. Cette réflexion est nécessaire pour que l’apprentissage puisse avoir lieu. La Cour a vérifié si les évaluations étaient effectuées en temps utile, si les constatations étaient communiquées et diffusées aux parties prenantes à l’extérieur de la Commission, et si cette dernière tenait compte des recommandations afin de réviser les programmes en cours (learning programmes).

La programmation des évaluations n’a pas tenu compte du type d’informations pouvant raisonnablement être escomptées

| 99. | La Cour reconnaît que certains types d’analyse exigent une perspective à long terme (par exemple, l’évaluation des effets et des impacts socio-économiques) et que certains aspects sont liés à une période de programmation spécifique (par exemple, les objectifs des programmes, même au sein d’un domaine scientifique donné), alors que d’autres ne le sont pas (voir graphique 8). Toutefois, la Commission, n’a pas adopté, pour ses activités d’évaluation, une approche prenant ces horizons temporels en considération. |
| --- | --- |

99.

La Cour reconnaît que certains types d’analyse exigent une perspective à long terme (par exemple, l’évaluation des effets et des impacts socio-économiques) et que certains aspects sont liés à une période de programmation spécifique (par exemple, les objectifs des programmes, même au sein d’un domaine scientifique donné), alors que d’autres ne le sont pas (voir graphique 8). Toutefois, la Commission, n’a pas adopté, pour ses activités d’évaluation, une approche prenant ces horizons temporels en considération.

| 100. | Conformément à la législation, les activités principales d’évaluation de la Commission devaient être exclusivement centrées sur les cinq ans précédant l’évaluation quinquennale et portaient dès lors sur des volets relatifs à deux périodes de programmation successives. Aussi, les effets et les impacts à moyen et à long terme ont-ils à peine été pris en considération. En conséquence, les évaluations quinquennales ont été le plus souvent essentiellement centrées sur des aspects de suivi, des questions de conception des programmes à court terme et des observations générales relatives à l’orientation des programmes-cadres. La Cour note avec satisfaction que la législation relative au septième PC ne prévoit plus d’évaluations quinquennales ni d’autre période prédéfinie sur laquelle l’évaluation devrait porter.
  Graphique 8
  Questions de suivi et d’évaluation examinées en fonction de différents horizons temporels







  Suivi de la mise en œuvre du programme

  (en cours) | — | Aspects relatifs à la gestion du programme (par exemple, délai de passation des marchés, délai de paiement, taux de propositions soumises et taux de propositions retenues, exécution budgétaire, taux de financement, etc.) |
| --- | --- | --- | --- |

100.

Conformément à la législation, les activités principales d’évaluation de la Commission devaient être exclusivement centrées sur les cinq ans précédant l’évaluation quinquennale et portaient dès lors sur des volets relatifs à deux périodes de programmation successives. Aussi, les effets et les impacts à moyen et à long terme ont-ils à peine été pris en considération. En conséquence, les évaluations quinquennales ont été le plus souvent essentiellement centrées sur des aspects de suivi, des questions de conception des programmes à court terme et des observations générales relatives à l’orientation des programmes-cadres. La Cour note avec satisfaction que la législation relative au septième PC ne prévoit plus d’évaluations quinquennales ni d’autre période prédéfinie sur laquelle l’évaluation devrait porter.

Graphique 8

Questions de suivi et d’évaluation examinées en fonction de différents horizons temporels

Suivi de la mise en œuvre du programme

(en cours)

—

Aspects relatifs à la gestion du programme (par exemple, délai de passation des marchés, délai de paiement, taux de propositions soumises et taux de propositions retenues, exécution budgétaire, taux de financement, etc.)

Évaluation

à court terme

(par exemple, au plus tôt après un à deux ans)

| — | Aspects relatifs à la gestion du programme (par exemple, efficacité des procédures administratives) |
| --- | --- |

—

Aspects relatifs à la gestion du programme (par exemple, efficacité des procédures administratives)

| — | Aspects relatifs à la conception du programme (par exemple, accessibilité et flexibilité des instruments, entraves à la participation, conséquences de l’échec de l’appel à propositions, etc.) |
| --- | --- |

—

Aspects relatifs à la conception du programme (par exemple, accessibilité et flexibilité des instruments, entraves à la participation, conséquences de l’échec de l’appel à propositions, etc.)

| — | Analyse du profil de participation (sous l’angle essentiellement quantitatif à ce stade) |
| --- | --- |

—

Analyse du profil de participation (sous l’angle essentiellement quantitatif à ce stade)

Évaluation

à moyen terme

(par exemple, après sept ans)

| — | Aspects relatifs à la conception du programme (par exemple, efficacité des instruments) |
| --- | --- |

—

Aspects relatifs à la conception du programme (par exemple, efficacité des instruments)

| — | Analyse de la participation (combinant les aspects qualitatifs et quantitatifs, par exemple analyse des réseaux de recherche, impacts sur le comportement des chercheurs, etc.) |
| --- | --- |

—

Analyse de la participation (combinant les aspects qualitatifs et quantitatifs, par exemple analyse des réseaux de recherche, impacts sur le comportement des chercheurs, etc.)

| — | Analyse des réalisations des projets
   (62) (par exemple, publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.) |
| --- | --- |

—

Analyse des réalisations des projets
   (62) (par exemple, publications, dossiers de conférence, brevets, licences, prototypes, normes, scientifiques formés, etc.)

Évaluation

à long terme

(par exemple, après plus de 10 ans)

| — | Évaluation des effets et des impacts |
| --- | --- |

—

Évaluation des effets et des impacts

Source: Cour des comptes européenne.

| 101. | Les experts de la Commission ont également relevé les insuffisances de l’évaluation quinquennale en ce qui concerne l’appréciation des effets et des impacts des PC:






  — | le comité chargé de l’évaluation quinquennale en 2004 a observé que «l’évaluation devrait porter tant sur les aspects à court qu’à long terme et leur accorder suffisamment d’attention» et que «des ressources pourraient être dégagées [...] afin de permettre des études d’évaluation plus ambitieuses qui pourraient porter plus systématiquement sur les aspects structurels et les aspects socio-économiques plus larges» (63), |
| --- | --- | --- |

101.

Les experts de la Commission ont également relevé les insuffisances de l’évaluation quinquennale en ce qui concerne l’appréciation des effets et des impacts des PC:

—

le comité chargé de l’évaluation quinquennale en 2004 a observé que «l’évaluation devrait porter tant sur les aspects à court qu’à long terme et leur accorder suffisamment d’attention» et que «des ressources pourraient être dégagées [...] afin de permettre des études d’évaluation plus ambitieuses qui pourraient porter plus systématiquement sur les aspects structurels et les aspects socio-économiques plus larges» (63),

| — | une étude commandée par la DG Recherche a relevé les éléments suivants: «les pratiques d’évaluation actuelles des actions de RDT de l’UE — comprenant un suivi continu, des évaluations quinquennales et une évaluation à mi-parcours — se caractérisent par la place importante qu’elles attribuent au suivi par rapport à l’évaluation de l’impact» et «afin de déplacer la demande et les attentes [...] vers l’impact socio-économique, il faudrait un nouveau cadre d’évaluation et de suivi contraignant à prendre plus fortement en considération le niveau de l’impact plutôt que de suivre les réalisations» (64). |
| --- | --- |

—

une étude commandée par la DG Recherche a relevé les éléments suivants: «les pratiques d’évaluation actuelles des actions de RDT de l’UE — comprenant un suivi continu, des évaluations quinquennales et une évaluation à mi-parcours — se caractérisent par la place importante qu’elles attribuent au suivi par rapport à l’évaluation de l’impact» et «afin de déplacer la demande et les attentes [...] vers l’impact socio-économique, il faudrait un nouveau cadre d’évaluation et de suivi contraignant à prendre plus fortement en considération le niveau de l’impact plutôt que de suivre les réalisations» (64).

| 102. | Les problèmes de calendrier des exercices d’évaluation affectent aussi les évaluations spécifiques imposées par la législation. C’est ainsi que le rapport Marimón de 2004, dans lequel les nouveaux instruments mis en place dans le cadre du sixième PC (2003-2006) ont été analysés, a été commandé trop tôt, ce qui a eu pour effet que les experts n’ont pas disposé de suffisamment d’expérience pratique et de preuves empiriques, voire d’aucune, pour étayer leurs conclusions (65). |
| --- | --- |

102.

Les problèmes de calendrier des exercices d’évaluation affectent aussi les évaluations spécifiques imposées par la législation. C’est ainsi que le rapport Marimón de 2004, dans lequel les nouveaux instruments mis en place dans le cadre du sixième PC (2003-2006) ont été analysés, a été commandé trop tôt, ce qui a eu pour effet que les experts n’ont pas disposé de suffisamment d’expérience pratique et de preuves empiriques, voire d’aucune, pour étayer leurs conclusions (65).

Communication et diffusion

| 103. | La Commission peut, de sa propre initiative, élaborer et adapter des programmes de travail opérationnels selon des cycles de courte durée, sous réserve d’approbation par le comité de programme concerné. Cela pourrait être l’occasion de procéder à des ajustements de la gestion du programme et également de réaffecter des budgets au sein de sous-programmes. Il ne semble pas que la Commission ait utilisé cette possibilité (voir point 107). |
| --- | --- |

103.

La Commission peut, de sa propre initiative, élaborer et adapter des programmes de travail opérationnels selon des cycles de courte durée, sous réserve d’approbation par le comité de programme concerné. Cela pourrait être l’occasion de procéder à des ajustements de la gestion du programme et également de réaffecter des budgets au sein de sous-programmes. Il ne semble pas que la Commission ait utilisé cette possibilité (voir point 107).

| 104. | À part cela et, compte tenu de la manière dont les PC sont conçus et adoptés, il est quasiment impossible pour la Commission d’apporter des changements importants, tels que des modifications des objectifs des programmes ou la réaffectation de budgets entre des sous-programmes. Seul le législateur peut promulguer des modifications d’une telle ampleur dans le cadre d’une révision de la législation relative aux PC (comme en 2010 pour le septième PC) ou de l’adoption du PC suivant. C’est pourquoi la législation a généralement prévu que les principales opérations d’évaluation doivent être programmées de manière telle que leurs résultats puissent être pris en compte le plus utilement possible pour élaborer les politiques. |
| --- | --- |

104.

À part cela et, compte tenu de la manière dont les PC sont conçus et adoptés, il est quasiment impossible pour la Commission d’apporter des changements importants, tels que des modifications des objectifs des programmes ou la réaffectation de budgets entre des sous-programmes. Seul le législateur peut promulguer des modifications d’une telle ampleur dans le cadre d’une révision de la législation relative aux PC (comme en 2010 pour le septième PC) ou de l’adoption du PC suivant. C’est pourquoi la législation a généralement prévu que les principales opérations d’évaluation doivent être programmées de manière telle que leurs résultats puissent être pris en compte le plus utilement possible pour élaborer les politiques.

| 105. | Les «DG Recherche» elles-mêmes figurent donc parmi les principaux utilisateurs des évaluations de la Commission (66). Cependant, la législation en matière de PC impose aussi expressément que ces évaluations soient communiquées au Parlement européen et au Conseil. |
| --- | --- |

105.

Les «DG Recherche» elles-mêmes figurent donc parmi les principaux utilisateurs des évaluations de la Commission (66). Cependant, la législation en matière de PC impose aussi expressément que ces évaluations soient communiquées au Parlement européen et au Conseil.

| 106. | Dans le cadre de l’enquête menée par la Cour auprès de la commission ITRE du Parlement européen et du comité CREST du Conseil, une majorité des répondants ont toutefois indiqué qu’ils ne s’estimaient pas suffisamment informés de la mise en œuvre et des résultats des programmes-cadres (voir graphique 9) (67). |
| --- | --- |

106.

Dans le cadre de l’enquête menée par la Cour auprès de la commission ITRE du Parlement européen et du comité CREST du Conseil, une majorité des répondants ont toutefois indiqué qu’ils ne s’estimaient pas suffisamment informés de la mise en œuvre et des résultats des programmes-cadres (voir graphique 9) (67).

Image

Suivi des constatations résultant des évaluations

| 107. | Dans ses bilans annuels d’évaluation, la Commission présente une synthèse des constatations et des actions entreprises sur la base de ses évaluations (68). S’agissant du suivi, la Commission a également donné des réponses formelles aux constatations et aux recommandations formulées dans les évaluations quinquennales et des évaluations spécifiques imposées par la législation. Elle a également, dans la mesure du possible, pris les mesures adéquates pour combler les lacunes relevées lors de ces évaluations. Cela n’a toutefois pas été le cas pour bon nombre d’autres rapports d’évaluation examinés, aucun élément n’attestant que leurs constatations et recommandations aient été prises en considération pour modifier les programmes de travail. Les déclarations relatives à l’EBA et les rapports annuels d’activité des directions générales n’indiquent pas non plus dans quelle mesure les constatations dont il est fait état dans les évaluations ont été suivies d’effet. |
| --- | --- |

107.

Dans ses bilans annuels d’évaluation, la Commission présente une synthèse des constatations et des actions entreprises sur la base de ses évaluations (68). S’agissant du suivi, la Commission a également donné des réponses formelles aux constatations et aux recommandations formulées dans les évaluations quinquennales et des évaluations spécifiques imposées par la législation. Elle a également, dans la mesure du possible, pris les mesures adéquates pour combler les lacunes relevées lors de ces évaluations. Cela n’a toutefois pas été le cas pour bon nombre d’autres rapports d’évaluation examinés, aucun élément n’attestant que leurs constatations et recommandations aient été prises en considération pour modifier les programmes de travail. Les déclarations relatives à l’EBA et les rapports annuels d’activité des directions générales n’indiquent pas non plus dans quelle mesure les constatations dont il est fait état dans les évaluations ont été suivies d’effet.

Recommandations

108.

| 108. | La Commission devrait définir le type et l’ampleur de l’évaluation qui pourraient être raisonnablement attendus pour les dates mentionnées dans la législation (2008, 2010 et 2015), expliquer la manière dont les évaluations pourraient être utilisées pour adapter les programmes (learning programmes), et préciser la contribution que les évaluations pourraient apporter aux décisions politiques. La Commission devrait notamment clarifier l’approche qu’elle entend adopter concernant l’évaluation des résultats à plus long terme des PC actuels et précédents, étant donné qu’il faut parfois attendre 7 à 10 ans avant que ces résultats ne portent leurs fruits (voir graphique 8). |
| --- | --- |

La Commission devrait définir le type et l’ampleur de l’évaluation qui pourraient être raisonnablement attendus pour les dates mentionnées dans la législation (2008, 2010 et 2015), expliquer la manière dont les évaluations pourraient être utilisées pour adapter les programmes (learning programmes), et préciser la contribution que les évaluations pourraient apporter aux décisions politiques. La Commission devrait notamment clarifier l’approche qu’elle entend adopter concernant l’évaluation des résultats à plus long terme des PC actuels et précédents, étant donné qu’il faut parfois attendre 7 à 10 ans avant que ces résultats ne portent leurs fruits (voir graphique 8).

| 109. | La Commission devrait revoir ses pratiques en matière de communication et de diffusion des constatations faites dans le cadre de ses évaluations, afin que les parties prenantes reçoivent les informations nécessaires. En particulier, les «DG Recherche» devraient réagir formellement à toutes les évaluations et publier ces études sans retard, en même temps que leurs réponses. Elles devraient également rendre compte de leur suivi des constatations dans leurs déclarations relatives à l’EBA et dans leurs rapports annuels d’activité et s’inspirer des recommandations pour actualiser les programmes de travail et concevoir les futurs programmes. |
| --- | --- |

109.

La Commission devrait revoir ses pratiques en matière de communication et de diffusion des constatations faites dans le cadre de ses évaluations, afin que les parties prenantes reçoivent les informations nécessaires. En particulier, les «DG Recherche» devraient réagir formellement à toutes les évaluations et publier ces études sans retard, en même temps que leurs réponses. Elles devraient également rendre compte de leur suivi des constatations dans leurs déclarations relatives à l’EBA et dans leurs rapports annuels d’activité et s’inspirer des recommandations pour actualiser les programmes de travail et concevoir les futurs programmes.

CONCLUSION GÉNÉRALE

| 110. | La Cour reconnaît que l’évaluation des programmes de RDT, notamment l’examen de leurs résultats à long terme, est difficile en soi et qu’il est malaisé de définir les meilleures pratiques en la matière. |
| --- | --- |

110.

La Cour reconnaît que l’évaluation des programmes de RDT, notamment l’examen de leurs résultats à long terme, est difficile en soi et qu’il est malaisé de définir les meilleures pratiques en la matière.

| 111. | La Cour estime que l’évaluation est essentielle pour la gestion des programmes, pour la planification future et pour l’élaboration des politiques. L’évaluation fournit également une base pour l’obligation de rendre compte. Elle est une source d’informations précieuses sur les points suivants: quels résultats escomptés (ou non) ont été atteints, dans quelle mesure les objectifs du programme ont été réalisés, quelles étaient l’utilité et la pertinence des programmes et quelles ont été l’efficience et l’efficacité de leur mise en œuvre. Étant donné que l’orientation générale, les décisions budgétaires et la conception des programmes sont arrêtées par le Parlement européen et par le Conseil, un système d’évaluation transparent, crédible et solide est nécessaire pour fournir à ces derniers des informations pertinentes. |
| --- | --- |

111.

La Cour estime que l’évaluation est essentielle pour la gestion des programmes, pour la planification future et pour l’élaboration des politiques. L’évaluation fournit également une base pour l’obligation de rendre compte. Elle est une source d’informations précieuses sur les points suivants: quels résultats escomptés (ou non) ont été atteints, dans quelle mesure les objectifs du programme ont été réalisés, quelles étaient l’utilité et la pertinence des programmes et quelles ont été l’efficience et l’efficacité de leur mise en œuvre. Étant donné que l’orientation générale, les décisions budgétaires et la conception des programmes sont arrêtées par le Parlement européen et par le Conseil, un système d’évaluation transparent, crédible et solide est nécessaire pour fournir à ces derniers des informations pertinentes.

| 112. | En 2000 et en 2002, la Commission a mis en place un cadre général d’évaluation qu’elle a ensuite considérablement remanié en 2007. Bien qu’au cours de la période couverte par l’audit de la Cour aucune amélioration significative n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les évaluations des PC et de leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission. |
| --- | --- |

112.

En 2000 et en 2002, la Commission a mis en place un cadre général d’évaluation qu’elle a ensuite considérablement remanié en 2007. Bien qu’au cours de la période couverte par l’audit de la Cour aucune amélioration significative n’ait été observée dans la manière de planifier, de concevoir et de mettre en œuvre les évaluations des PC et de leurs programmes constitutifs, les «DG Recherche» ont, en règle générale, respecté les obligations formelles valables pour l’ensemble de la Commission.

| 113. | Au cours de la période couverte par le présent rapport, les «DG Recherche» disposaient d’un système d’évaluation, comme l’exigeait la législation relative aux PC. La Commission est donc en mesure de présenter un ensemble non négligeable d’études d’évaluation. Il n’en reste pas moins que les éléments concernant la réalisation des objectifs des programmes et les résultats des PC sont peu nombreux ou inexistants. Cela est dû au fait que les évaluations ont généralement été axées sur des questions de mise en œuvre des programmes à court terme. Les évaluations effectuées par la Commission n’ont dès lors guère été utiles aux décideurs politiques, aux parties prenantes et à la Commission elle-même. |
| --- | --- |

113.

Au cours de la période couverte par le présent rapport, les «DG Recherche» disposaient d’un système d’évaluation, comme l’exigeait la législation relative aux PC. La Commission est donc en mesure de présenter un ensemble non négligeable d’études d’évaluation. Il n’en reste pas moins que les éléments concernant la réalisation des objectifs des programmes et les résultats des PC sont peu nombreux ou inexistants. Cela est dû au fait que les évaluations ont généralement été axées sur des questions de mise en œuvre des programmes à court terme. Les évaluations effectuées par la Commission n’ont dès lors guère été utiles aux décideurs politiques, aux parties prenantes et à la Commission elle-même.

| 114. | Compte tenu de l’importance de l’évaluation pour la gestion des programmes et l’élaboration des politiques, l’approche de l’évaluation des programmes-cadres et de leurs programmes constitutifs adoptée par la Commission doit être réexaminée en tenant compte des nouveaux défis politiques, du financement accru, de l’élargissement de l’orientation de la politique de recherche de la Communauté et de la réforme récente de la Commission. Cette recommandation figure également dans le rapport de 2007 du Comité consultatif européen pour la recherche (EURAB). |
| --- | --- |

114.

Compte tenu de l’importance de l’évaluation pour la gestion des programmes et l’élaboration des politiques, l’approche de l’évaluation des programmes-cadres et de leurs programmes constitutifs adoptée par la Commission doit être réexaminée en tenant compte des nouveaux défis politiques, du financement accru, de l’élargissement de l’orientation de la politique de recherche de la Communauté et de la réforme récente de la Commission. Cette recommandation figure également dans le rapport de 2007 du Comité consultatif européen pour la recherche (EURAB).

| 115. | La Cour estime que l’utilisation d’une logique d’intervention explicite pour la future conception de programmes relevant des PC se traduirait par des programmes mieux ciblés et orientés. Elle contribuerait également à la réussite de l’initiative de la Commission intitulée «Mieux légiférer», qui vise à créer un environnement réglementaire mieux conçu, plus simple, plus efficace et qui soit mieux compris (69). |
| --- | --- |

115.

La Cour estime que l’utilisation d’une logique d’intervention explicite pour la future conception de programmes relevant des PC se traduirait par des programmes mieux ciblés et orientés. Elle contribuerait également à la réussite de l’initiative de la Commission intitulée «Mieux légiférer», qui vise à créer un environnement réglementaire mieux conçu, plus simple, plus efficace et qui soit mieux compris (69).

| 116. | L’évaluation des programmes-cadres et de leurs programmes constitutifs serait plus efficace si les objectifs des programmes et les indicateurs étaient plus clairs dès le départ, si les «DG Recherche» s’accordaient sur une stratégie d’évaluation solide sans être trop contraignante, et si des méthodologies d’évaluation plus élaborées étaient utilisées. |
| --- | --- |

116.

L’évaluation des programmes-cadres et de leurs programmes constitutifs serait plus efficace si les objectifs des programmes et les indicateurs étaient plus clairs dès le départ, si les «DG Recherche» s’accordaient sur une stratégie d’évaluation solide sans être trop contraignante, et si des méthodologies d’évaluation plus élaborées étaient utilisées.

| 117. | La Cour a également observé que, dans une certaine mesure, la Commission pourrait revoir ses dispositions organisationnelles actuelles relatives à l’évaluation des programmes-cadres. Plusieurs avantages pourraient être obtenus en procédant aux modifications suivantes:






  — | impliquer les groupes d’évaluation plus tôt dans le processus d’évaluation, en fournissant ainsi une assistance à la Commission tout au long de la période de programmation et au-delà, et rehausser le degré de spécialisation en mettant en place des groupes d’experts pour les programmes spécifiques et, le cas échéant, pour les sous-programmes, |
| --- | --- | --- |

117.

La Cour a également observé que, dans une certaine mesure, la Commission pourrait revoir ses dispositions organisationnelles actuelles relatives à l’évaluation des programmes-cadres. Plusieurs avantages pourraient être obtenus en procédant aux modifications suivantes:

—

impliquer les groupes d’évaluation plus tôt dans le processus d’évaluation, en fournissant ainsi une assistance à la Commission tout au long de la période de programmation et au-delà, et rehausser le degré de spécialisation en mettant en place des groupes d’experts pour les programmes spécifiques et, le cas échéant, pour les sous-programmes,

| — | compléter les unités «Évaluation» de chaque DG par un bureau d’évaluation conjoint chargé de coordonner les évaluations de PC. |
| --- | --- |

—

compléter les unités «Évaluation» de chaque DG par un bureau d’évaluation conjoint chargé de coordonner les évaluations de PC.

| 118. | Les recommandations formulées dans le présent rapport sont fondées sur les pratiques existantes au sein de la Commission ou sur les bonnes pratiques au niveau international. S’agissant des ressources, il est évident que l’approche suggérée pour l’évaluation des programmes entraînerait une augmentation des coûts. Cependant, la Cour estime qu’il y a de fortes chances que ce surcoût produise une contrepartie financière positive d’une valeur au moins égale. |
| --- | --- |

118.

Les recommandations formulées dans le présent rapport sont fondées sur les pratiques existantes au sein de la Commission ou sur les bonnes pratiques au niveau international. S’agissant des ressources, il est évident que l’approche suggérée pour l’évaluation des programmes entraînerait une augmentation des coûts. Cependant, la Cour estime qu’il y a de fortes chances que ce surcoût produise une contrepartie financière positive d’une valeur au moins égale.

Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 22 novembre 2007.

Par la Cour des comptes

Hubert WEBER

Président

---

(1)  Selon l’OCDE, la recherche et le développement peuvent être définis comme «les travaux de création entrepris de façon systématique en vue d’accroître la somme des connaissances, y compris la connaissance de l’homme, de la culture et de la société, ainsi que l’utilisation de cette somme de connaissances pour concevoir de nouvelles applications» (voir OCDE, Manuel de Frascati — Méthode type pour les enquêtes sur la recherche et le développement expérimental, Paris, 2002, p. 30). Dans le contexte communautaire, l’acronyme RDT est utilisé pour se référer à la technologie ainsi qu’à la recherche et au développement.

1

Manuel de Frascati — Méthode type pour les enquêtes sur la recherche et le développement expérimental

(2)  La DG Recherche est la principale direction générale chargée de la gestion et de la coordination des PC. Cinq autres DG prennent également en charge la gestion (partielle) de programmes spécifiques, la plus importante étant la DG Société de l’information et médias (les autres sont la DG Énergie et transports, la DG Entreprises et industrie, la DG Pêche et le Centre commun de recherche de la Commission).

2

(3)  En 2000, le Conseil européen de Lisbonne s’est fixé l’objectif de faire de l’UE, en dix ans, l’économie de la connaissance la plus dynamique, la plus compétitive et la plus viable, caractérisée par le plein emploi et une cohésion économique et sociale accrue.

3

(4)  En 2002, le Conseil européen a considéré que l’ensemble des dépenses en matière de RDT et d’innovation dans l’Union européenne devrait augmenter pour approcher 3 % du PIB d’ici à 2010. Il a précisé également que les deux tiers de ce nouvel investissement devraient provenir du secteur privé [voir le document de la Commission européenne «Investir dans la recherche: un plan d’action pour l’Europe», communication de la Commission au Conseil, au Parlement européen, au Comité économique et social européen et au Comité des régions, COM(2003) 226 final, p. 7].

4

(5)  Dans le cas de la gestion directe, la Commission effectue les opérations nécessaires à sa mise en œuvre du budget, sans intervention des États membres ou des pays tiers dans lesquels résident les destinataires des dépenses.

5

(6)  À partir de 2006, plus de 22 000 entités légales publiques et privées ont participé au seul sixième PC, en général au sein de consortiums réunissant plusieurs partenaires.

6

(7)  Il s’agit d’une méthode de coopération fondée sur le principe de la coopération intergouvernementale volontaire. Elle repose notamment sur l’apprentissage mutuel, la comparaison et l’échange des meilleures pratiques.

7

(8)  Articles 27, 48, 59 et 60 du règlement (CE, Euratom) no 1605/2002 du Conseil du 25 juin 2002 (JO L 248 du 16.9.2002, p. 1).

8

o

(9)  Commission européenne, DG Budget, «Répondre aux besoins stratégiques: renforcer l’usage de l’évaluation», communication à la Commission de Mme Grybauskaitė, en accord avec M. le Président, SEC(2007) 213 du 21 février 2007; Commission européenne, DG Budget, «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission», communication à la Commission de Mme Schreyer, SEC(2000) 1051 du 26 juillet 2000.

9

me

me

(10)  Article 7, paragraphe 1, de la décision no 1982/2006/CE du Parlement européen et du Conseil du 18 décembre 2006 relative au septième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (2007-2013) (JO L 412 du 30.12.2006, p. 1); les informations concernant le suivi que la Commission doit fournir aux comités de programme sont définies dans les décisions concernant les programmes spécifiques [voir, à titre d’exemple, l’article 8, paragraphe 4, et l’annexe V de la décision 2006/971/CE du Conseil du 19 décembre 2006 relative au programme spécifique «Coopération» mettant en œuvre le septième programme-cadre de la Communauté européenne pour les activités de recherche, de développement technologique et de démonstration (2007-2013) (JO L 400 du 30.12.2006, p. 86)].

10

o

(11)  Commission européenne, «Communication au Conseil relative à un plan d’action communautaire concernant l’évaluation des activités de recherche et de développement communautaires pour les années 1987 à 1991», COM(86) 660 final du 20 novembre 1986, en réponse à la résolution du Conseil du 28 juin 1983.

11

(12)  Commission européenne, «Évaluation quinquennale des programmes de recherche et de développement technologique de l’Union européenne, 1992-1996», rapport du groupe d’experts indépendants présidé par le vicomte Davignon (1997); Commission européenne, «Évaluation quinquennale des programmes de recherche et de développement technologique de l’Union européenne, 1995-1999», rapport du groupe d’experts indépendants présidé par Joan Majó (juillet 2000); Commission européenne, «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004).

12

(13)  Commission européenne, «Évaluation de l’effectivité des nouveaux instruments du sixième programme-cadre», rapport d’expertise du groupe de haut niveau présidé par le professeur Ramon Marimón, 21 juin 2004.

13

(14)  Commission européenne, DG Budget, «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission», communication à la Commission de Mme Schreyer, SEC(2000) 1051 du 26 juillet 2000; Commission européenne, DG Budget, «Standards et bonnes pratiques d’évaluation», communication à la Commission de M. le Président et de Mme Schreyer, C(2002) 5267 du 23 décembre 2002.

14

me

me

(15)  Commission européenne, DG Budget, «Répondre aux besoins stratégiques: renforcer l’usage de l’évaluation», communication à la Commission de Mme Grybauskaitė, en accord avec M. le Président, SEC(2007) 213 du 21 février 2007.

15

me

(16)  «Impact assessment and ex-ante evaluation», document de travail des services de la Commission européenne, SEC(2005) 430.

16

Impact assessment and ex-ante evaluation

(17)  La commission «Industrie, recherche et énergie» (ITRE) du Parlement européen est (notamment) compétente pour les questions ayant trait à la politique industrielle, à la politique de recherche (y compris la diffusion et l’exploitation des résultats de la recherche), à la politique spatiale, aux activités du Centre commun de recherche, au traité Euratom, à la société de l’information et aux technologies de l’information.

17

(18)  Le Comité de la recherche scientifique et technique (CREST) a été créé par une résolution du Conseil du 14 janvier 1974 et est composé de représentants des autorités nationales en charge des politiques scientifiques et technologiques des États membres. Le CREST joue un rôle consultatif; il fournit des informations à la Commission et au Conseil, notamment sur des sujets relatifs à la coordination des politiques nationales en matière de recherche et de développement ainsi que sur le suivi et sur l’évaluation des programmes-cadres.

18

(19)  Les cadres logiques qui montrent comment les moyens mis en œuvre pour les différentes activités aboutissent aux résultats souhaités sont la meilleure manière d’illustrer la logique d’intervention. Ces cadres permettent d’expliquer de façon claire les hypothèses sous-jacentes à la manière de concevoir un programme et de subdiviser les objectifs généraux en objectifs opérationnels.

19

(20)  Commission européenne, DG Budget, «L’évaluation des activités de l’UE: guide pratique pour les services de la Commission», juillet 2004, p. 87 et 106.

20

(21)  «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004), section 6 — Evaluating the Framework Programme, p. 19.

21

Evaluating the Framework Programme

(22)  Les pays bénéficiaires de l’aide extérieure sont tenus de présenter des cadres logiques pour leur financement communautaire (Commission européenne, «Méthodes de l’aide», volume I — Gestion du cycle de projets, mars 2004, section 5 — L’approche du cadre logique).

22

(23)  Article 27, paragraphe 3, du règlement (CE, Euratom) no 1605/2002.

23

o

(24)  En 2006, le domaine politique «08 recherche» a été structuré sur la base des programmes (et des sous-programmes) spécifiques de la période de programmation actuelle du sixième PC (par conséquent, cette organisation a été remplacée par une structure différente en 2007). En revanche, s’agissant du domaine politique «09 société de l’information», les programmes spécifiques précédents et actuels ont été rassemblés en une seule approche EBA (Commission européenne, DG Recherche, Direction A, «Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006», 20 décembre 2005; Commission européenne, DG Société de l’information et médias, «2006 — Plan de gestion annuel», 23 décembre 2005).

24

Coordination of Community activities, Planning, programming, evaluation, Annual Management Plan 2006

(25)  Dans le cas de la DG Recherche, les objectifs de la GPA (et les indicateurs utilisés pour mesurer leur réalisation) changeaient chaque année. Par contre, la DG Société de l’information disposait d’objectifs pluriannuels, qui n’étaient cependant pas identiques aux objectifs du programme (ou à ceux qui étaient spécifiés au niveau du programme de travail).

25

(26)  Commission européenne, Service d’audit interne, SG et DG Budget, «Review of effectiveness and efficiency of the SPP/ABM cycle», 2005, point 4.1, p. 31.

26

Review of effectiveness and efficiency of the SPP/ABM cycle

(27)  Commission européenne, «Communication de la Commission au Conseil relative à un plan d’action communautaire concernant l’évaluation des programmes de recherche et de développement communautaires», COM(83) 1 final du 19 janvier 1983.

27

(28)  Communication de la Commission au Conseil et au Parlement européen, «Suivi et évaluation externes et indépendants des activités communautaires dans le domaine de la recherche et du développement technologique», COM(1996) 220 final du 22 mai 1996.

28

(29)  Chaque DG mettant en œuvre les PC consigne ses évaluations planifiées dans des plans annuels (et pluriannuels) d’évaluation des PC. Cependant, ces documents de planification ne peuvent être considérés comme une véritable stratégie d’évaluation.

29

(30)  Article 27, paragraphe 4, du règlement (CE, Euratom) no 1605/2002.

30

o

(31)  Loi de programme pour la recherche no 2006-450 datée du 18 avril 2006 et décret no 2006-1334 relatif à l’organisation et au fonctionnement de l’Agence d’évaluation de la recherche et de l’enseignement supérieur (AERES) daté du 3 novembre 2006.

31

o

o

(32)  Il s’agit de l’Agencia Nacional de Evaluación y Prospectiva qui dépend du ministère de l’éducation et des sciences [orden ECI/1252/2005 du 4 mai 2005 créant la commission consultative d’évaluation et de prospective (Comisión Asesora de Evaluación y Prospectiva)].

32

Agencia Nacional de Evaluación y Prospectiva

orden ECI/1252/2005

Comisión Asesora de Evaluación y Prospectiva

(33)  En 2004, le Deutsche Forschungsgemeinschaft (DFG) a créé un institut spécialisé, l’Institut für Forschungsinformation und Qualitätssicherung (IFQ), en lui confiant la responsabilité de développer et de normaliser les méthodologies d’évaluation, l’assurance qualité ainsi que de réaliser l’évaluation des activités de RDT financées par le DFG.

33

Deutsche Forschungsgemeinschaft

Institut für Forschungsinformation und Qualitätssicherung

(34)  Pour le septième PC, 15 groupes consultatifs d’experts ont été créés par la Commission; ils étaient au nombre de 12 pour le sixième PC et de 17 dans le cadre du cinquième PC. Ces groupes fournissent des conseils à la Commission sur les questions liées à la politique et aux programmes dans le contexte des PC. Il convient toutefois de noter que le nombre de ces groupes consultatifs ne correspond pas à celui des PC. Cela signifie qu’il n’y a pas un groupe consultatif pour chaque programme (ou sous-programme) spécifique.

34

(35)  Au Canada, presque tous les ministères du gouvernement fédéral ont créé des comités permanents chargés de l’évaluation, incluant des hauts fonctionnaires ainsi que des parties prenantes externes, afin de superviser le système d’évaluation (Conseil de recherches en sciences humaines du Canada, comité permanent de l’évaluation — Mandat et composition).

35

(36)  Commission européenne, «Monitoring Report 2004 — Implementation of Activities under the EC and Euratom framework and corresponding specific programmes», août 2005, p. 5.

36

Monitoring Report 2004 — Implementation of Activities under the EC and Euratom framework and corresponding specific programmes

(37)  Commission européenne, «Planifier et optimiser les ressources humaines de la Commission pour servir les priorités de l’UE», SEC(2007) 530 du 24 avril 2007.

37

(38)  Commission européenne, «Standards et bonnes pratiques d’évaluation», communication à la Commission de M. le Président et de Mme Schreyer, C(2002) 5267 du 23 décembre 2002; «Impact assessment and ex-ante evaluation», document de travail des services de la Commission européenne, annexe 1, note no 209, SEC(2005) 430 du 6 avril 2005.

38

me

Impact assessment and ex-ante evaluation

o

(39)  En 2007, le comité consultatif européen pour la recherche (EURAB) a également recommandé une augmentation des ressources affectées à l’évaluation des PC («Recommandations de l’EURAB sur l’évaluation d’impact ex post», juillet 2007).

39

(40)  Rapport spécial no 1/2004 relatif à la gestion des actions indirectes de RDT relevant du cinquième programme-cadre (cinquième PC) en matière de recherche et de développement technologique (1998-2002) (JO C 99 du 23.4.2004), points 116 et 122.

40

o

(41)  Commission européenne, DG Budget, «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission», communication à la Commission de Mme Schreyer, SEC(2007) 213 du 21 février 2007; Commission européenne, DG Budget, «Standards et bonnes pratiques d’évaluation», communication à la Commission de M. le Président et de Mme Schreyer, C(2002) 5267 du 23 décembre 2002.

41

(42)  Quatorze DG disposent de manuels d’évaluation pour les domaines politiques et les programmes sous leur responsabilité (Commission européenne, DG Budget — unité «Évaluation», «Vue d’ensemble des guides d’évaluation à la Commission», octobre 2004).

42

(43)  Fahrenkrog, G. et autres, «RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies», IPTS-JRC, 2002; PREST et autres; «Assessing the Socio-economic Impacts of the Framework Programme», université de Manchester, 2002.

43

RTD Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD-Policies

Assessing the Socio-economic Impacts of the Framework Programme

(44)  Bien que la Commission dispose généralement de ces informations concernant les participants, il n’est pas rare qu’elle ne puisse les exploiter pour effectuer une analyse détaillée, car les données concernant un participant spécifique ne sont pas conservées en un seul endroit ni nécessairement enregistrées dans des formats compatibles. Cela diminue la capacité de suivi des participants dans le temps, pour évaluer par exemple les raisons d’une non-participation, ainsi que des relations entre ces participants, pour étudier par exemple les effets de réseau (voir point 84).

44

(45)  Rapport annuel relatif à l’exercice 2006, tableau 2.3; rapport annuel relatif à l’exercice 2005, point 7.13; rapport annuel relatif à l’exercice 2004, points 6.8 et 6.10; rapport annuel relatif à l’exercice 2003, points 6.9 et 6.70; rapport spécial no 1/2004, points 105-108; avis no 1/2006 sur la proposition de règlement du Parlement européen et du Conseil définissant les règles de participation des entreprises, des centres de recherche et des universités pour la mise en œuvre du septième programme-cadre de la Communauté européenne et fixant les règles de diffusion des résultats de la recherche (2007-2013) (JO C 203 du 25.8.2006), point 57.

45

o

o

(46)  Article 173 du traité instituant la Communauté européenne: «Au début de chaque année, la Commission présente un rapport au Parlement européen et au Conseil. Ce rapport porte notamment sur les activités menées en matière de recherche et de développement technologique et de diffusion des résultats durant l’année précédente et sur le programme de travail de l’année en cours.»

46

(47)  Il n’y a eu aucune tentative systématique visant à recueillir des données auprès des participants à l’issue du projet, à l’exception des enquêtes spécifiques dans le cadre des évaluations. Le recours aux enquêtes a été entravé par le fait que la législation n’oblige pas les participants à fournir ces données analytiques, à la différence de ce qui se passe dans le cas de plusieurs programmes nationaux de RDT (par exemple, en Allemagne).

47

(48)  Rapport spécial no 1/2004, point 94; avis no 1/2006, point 56.

48

o

o

(49)  Rapport annuel relatif à l’exercice 2006, point 7.33; rapport annuel relatif à l’exercice 2005, points 7.8 et 7.29; avis no 1/2006, points 58-61.

49

o

(50)  CORDIS est l’unique base de données, commune au PC dans son ensemble, fournissant des informations relatives aux propositions, aux projets et aux résultats. Elle couvre plusieurs périodes de programmation et est accessible à l’extérieur de la Commission. Cependant, les données de CORDIS concernant les différents projets sont rarement actualisées après que la proposition a été sélectionnée. Jusqu’au sixième PC inclus, les participants aux PC issus des secteurs public et privé n’étaient pas tenus de rendre publics leurs résultats [Comité consultatif européen pour la recherche (EURAB), «Publication scientifique: politique sur l’accès libre», décembre 2006].

50

(51)  Hanne Foss Hansen, «Choosing evaluation models: A discussion on evaluation design», Évaluation, vol. 11, no 4, 2005, p. 447-462.

51

Choosing evaluation models: A discussion on evaluation design

Évaluation

o

(52)  Jusqu’au sixième PC inclus, les participants issus des secteurs public et privé n’étaient pas tenus de rendre publics leurs résultats scientifiques. En décembre 2006, le comité consultatif européen pour la recherche a recommandé à la Commission de rendre cette publication obligatoire afin de garantir au public l’accès gratuit à la recherche financée par la Communauté. Le comité a également suggéré à la Commission de créer un dépôt d’archives sur Internet pour y publier les résultats de projet [Comité consultatif européen pour la recherche (EURAB), «Publication scientifique: politique sur l’accès libre», décembre 2006].

52

(53)  Il convient de noter que ces modèles ont été utilisés afin de prévoir les effets micro-économiques et macro-économiques du septième PC programmé (Commission européenne, «Monitoring Report 2004 — Implementation of activities under the EC and Euratom framework and corresponding specific programmes», août 2005, p. 23-25). Cependant, il n'existe aucun élément attestant que cette évaluation des impacts économiques potentiels des PC est reliée à un plan d’évaluation ex post.

53

Monitoring Report 2004 — Implementation of activities under the EC and Euratom framework and corresponding specific programmes

(54)  Commission européenne, DG Société de l’information et médias, «Suivi et évaluation TSI-RDT: indicateurs de résultats et d’impact (2003-2004)», 2005; «Réseaux d’innovation dans le développement et le déploiement de la société de l’information en Europe», 2006.

54

(55)  Commission européenne, DG Société de l’information et médias, «ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area» (rapport final), 2005; «Evaluation of progress towards a European Research Area for information society technologies», 2005; «Réseaux d’innovation dans le développement et le déploiement de la société de l’information en Europe», 2006.

55

ERAnets — Evaluation of Networks of Collaboration among participants in IST research and their evolution to collaborations in the European Research Area

Evaluation of progress towards a European Research Area for information society technologies

(56)  Commission européenne, DG Société de l’information et médias, «Framework contract for Impact Assessments for research in the field of Information Society Technologies».

56

Framework contract for Impact Assessments for research in the field of Information Society Technologies

(57)  «Recommandations de l’EURAB sur l’évaluation d’impact ex post», juillet 2007.

57

(58)  Commission européenne, «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004), annexe 1.

58

(59)  Commission européenne, «The impact of EC R&D policy on the European science and technology community. National impact studies synthesis final report», 1995.

59

The impact of EC R&D policy on the European science and technology community. National impact studies synthesis final report

(60)  Commission européenne, «Design of an harmonized impact study methodology for the R&D EU Framework Programmes», 1992.

60

Design of an harmonized impact study methodology for the R&D EU Framework Programmes

(61)  Commission européenne, «L’Espace européen de la recherche: nouvelles perspectives», SEC(2007) 412/2 du 4 avril 2007, point 3.3.3 — «L’Espace européen de la recherche et ses implications sur le suivi et sur l’évaluation fondées sur des données concrètes», p. 93.

61

(62)  Il convient de noter que des conventions de subvention relatives à des projets sont signées tout au long de la période de programmation. Les premières conventions entrent généralement en vigueur à la fin de la première année d’un programme. La durée de ces conventions est le plus souvent comprise entre trois et cinq ans, ce qui a pour effet que les réalisations finales ne peuvent être espérées au plus tôt qu'après quatre à six ans.

62

Source: Cour des comptes européenne.

Source:

(63)  Commission européenne, «Évaluation quinquennale des programmes-cadres de recherche de l’Union européenne, 1999-2003», rapport du groupe d’experts indépendants présidé par Erkki Ormala (15 décembre 2004), section 6 — «Evaluating the Framework Programme», p. 19.

63

Evaluating the Framework Programme

(64)  Commission européenne, «Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies, the so-called»«EPUB Toolbox» publié par le Centre commun de recherche (CCR) — Institut de prospective technologique (IPT) et le Joanneum Research (août 2002), Synthèse, p. 9 et 12.

64

Evaluation Toolbox — Assessing the Socio-Economic Impact of RTD Policies, the so-called

EPUB Toolbox

Joanneum Research

Synthèse

(65)  Commission européenne, «Évaluation de l’effectivité des nouveaux instruments du sixième programme-cadre», 21 juin 2004, rapport d’expertise du groupe de haut niveau présidé par Ramon Marimón, p. 20.

65

(66)  European Policy Evaluation Consortium (EPEC) (Consortium pour l’évaluation des politiques européennes), Technopolis France, «Study on the use of evaluation results in the Commission: Final report», dossier no 1, Synthesis report and annexes, mai 2005.

66

European Policy Evaluation Consortium

Study on the use of evaluation results in the Commission: Final report

o

Synthesis report and annexes

(67)  Le degré de satisfaction plus élevé exprimé par les répondants du comité CREST, qui sont souvent également membres de comités de programme, pourrait être dû au rôle formel qu’ils jouent dans le suivi de la mise en œuvre des programmes.

67

(68)  Commission européenne, «Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities», document de travail, SEC(2005) 587 du 28 avril 2005.

68

Annual Evaluation Review 2004 — Overview of the Commission's evaluation findings and activities

(69)  Commission européenne, DG Budget, «Répondre aux besoins stratégiques: renforcer l’usage de l’évaluation», communication à la Commission de Mme Grybauskaitė, en accord avec M. le Président, SEC(2007) 213 du 21 février 2007, p. 4.

69

me

---

ANNEXE I

DÉTERMINATION DE L’IMPACT ET DES RÉSULTATS DE L’INTERVENTION PUBLIQUE DANS LE DOMAINE DE LA RDT

Voici quelques-unes des principales difficultés méthodologiques de la détermination de l’impact et des résultats d’une intervention publique dans le domaine de la RDT:

| — | «Problèmes d'attribution»: Les problèmes d’attribution sont manifestes dans les évaluations et la mesure de la performance. Ils sont étroitement liés à la question de l'«additionnalité», laquelle vise à déterminer si les changements ne seraient pas intervenus de toute manière. La difficulté d’attribuer des résultats à une intervention publique donnée est également influencée par un grand nombre de facteurs externes (tels que les effets d’autres politiques ou programmes, les modifications du cadre législatif, les évolutions sociétales, etc.). En outre, dans le domaine de la recherche, le fait de ne pas obtenir les résultats attendus peut également constituer un succès. Une complication supplémentaire réside dans la difficulté apparente à attribuer clairement les réalisations de la recherche, sans parler des effets et des impacts, à des aspects particuliers du processus de RDT, voire à des entités individuelles engagées dans une activité de recherche. |
| --- | --- |

—

«Problèmes d'attribution»: Les problèmes d’attribution sont manifestes dans les évaluations et la mesure de la performance. Ils sont étroitement liés à la question de l'«additionnalité», laquelle vise à déterminer si les changements ne seraient pas intervenus de toute manière. La difficulté d’attribuer des résultats à une intervention publique donnée est également influencée par un grand nombre de facteurs externes (tels que les effets d’autres politiques ou programmes, les modifications du cadre législatif, les évolutions sociétales, etc.). En outre, dans le domaine de la recherche, le fait de ne pas obtenir les résultats attendus peut également constituer un succès. Une complication supplémentaire réside dans la difficulté apparente à attribuer clairement les réalisations de la recherche, sans parler des effets et des impacts, à des aspects particuliers du processus de RDT, voire à des entités individuelles engagées dans une activité de recherche.

| — | «Problèmes de mesure»:







  — | «Disponibilité des données»: De manière générale, la majeure partie des données disponibles, notamment celles qui sont recueillies par l’intermédiaire de systèmes de contrôle, concerne les moyens mis en œuvre et les réalisations des actions de RDT, plutôt que les effets ou les impacts. |
| --- | --- | --- |

—

«Problèmes de mesure»:

—

«Disponibilité des données»: De manière générale, la majeure partie des données disponibles, notamment celles qui sont recueillies par l’intermédiaire de systèmes de contrôle, concerne les moyens mis en œuvre et les réalisations des actions de RDT, plutôt que les effets ou les impacts.

| — | «Compréhension de la dynamique»: Compte tenu de la difficulté apparente de modéliser les relations causales entre les moyens mis en œuvre et les réalisations, les rouages internes du processus de recherche sont peu clairs et, en l’absence d’une logique d’intervention explicite, le processus lui-même est le plus souvent considéré comme une «boîte noire». |
| --- | --- |

—

«Compréhension de la dynamique»: Compte tenu de la difficulté apparente de modéliser les relations causales entre les moyens mis en œuvre et les réalisations, les rouages internes du processus de recherche sont peu clairs et, en l’absence d’une logique d’intervention explicite, le processus lui-même est le plus souvent considéré comme une «boîte noire».

| — | «Comparabilité des résultats»: La mesure dans laquelle une comparaison des résultats entre différents domaines scientifiques peut être réalisée est limitée, de sorte que les résultats doivent généralement être interprétés dans le cadre de programmes et de sous-programmes spécifiques. En outre, l’évaluation des résultats est plus difficile pour la recherche fondamentale que pour la recherche appliquée ou le développement technologique, cela étant essentiellement dû au fait que la recherche fondamentale est généralement constituée de processus uniques et non reproductibles. Même dans le domaine de la recherche appliquée, les résultats varient considérablement et sont dès lors difficilement comparables. |
| --- | --- |

—

«Comparabilité des résultats»: La mesure dans laquelle une comparaison des résultats entre différents domaines scientifiques peut être réalisée est limitée, de sorte que les résultats doivent généralement être interprétés dans le cadre de programmes et de sous-programmes spécifiques. En outre, l’évaluation des résultats est plus difficile pour la recherche fondamentale que pour la recherche appliquée ou le développement technologique, cela étant essentiellement dû au fait que la recherche fondamentale est généralement constituée de processus uniques et non reproductibles. Même dans le domaine de la recherche appliquée, les résultats varient considérablement et sont dès lors difficilement comparables.

| — | «Agrégation»: Il est difficile de tirer des conclusions valables pour le niveau supérieur à partir des résultats d’une évaluation, en termes de réalisations, d’effets et d’impacts, obtenus au niveau immédiatement inférieur (par exemple, lorsque l’agrégation des résultats du projet s’effectue en commençant par des groupes de projets, pour passer ensuite à des domaines précis au sein d’un programme et terminer par le niveau du programme proprement dit). |
| --- | --- |

—

«Agrégation»: Il est difficile de tirer des conclusions valables pour le niveau supérieur à partir des résultats d’une évaluation, en termes de réalisations, d’effets et d’impacts, obtenus au niveau immédiatement inférieur (par exemple, lorsque l’agrégation des résultats du projet s’effectue en commençant par des groupes de projets, pour passer ensuite à des domaines précis au sein d’un programme et terminer par le niveau du programme proprement dit).

| — | «Caractère approprié des indicateurs»: Une autre question consiste à savoir si les évaluateurs mesurent le bon élément. Les indicateurs doivent être faciles à mesurer, difficiles à fausser et induire le bon comportement. Toutefois, un indicateur «mesurable» de la réalisation ne permet pas nécessairement de tirer des conclusions sur les effets ou les impacts. |
| --- | --- |

—

«Caractère approprié des indicateurs»: Une autre question consiste à savoir si les évaluateurs mesurent le bon élément. Les indicateurs doivent être faciles à mesurer, difficiles à fausser et induire le bon comportement. Toutefois, un indicateur «mesurable» de la réalisation ne permet pas nécessairement de tirer des conclusions sur les effets ou les impacts.

| — | «Problèmes de détermination du moment opportun»: Un autre obstacle réside dans le délai considérable qui doit séparer l’activité de recherche de la génération de réalisations et d’effets pour permettre d’évaluer l’impact. Les données doivent être recueillies sur une longue durée de manière à pouvoir tirer des conclusions valables et solides. Ces délais impartis pour l’évaluation correspondent rarement aux attentes et aux besoins des responsables de l’élaboration des politiques et il faut trouver un compromis entre la présentation rapide de conclusions pour contribuer à l’élaboration des politiques et l’écoulement d’un laps de temps suffisant pour que les effets puissent apparaître. |
| --- | --- |

—

«Problèmes de détermination du moment opportun»: Un autre obstacle réside dans le délai considérable qui doit séparer l’activité de recherche de la génération de réalisations et d’effets pour permettre d’évaluer l’impact. Les données doivent être recueillies sur une longue durée de manière à pouvoir tirer des conclusions valables et solides. Ces délais impartis pour l’évaluation correspondent rarement aux attentes et aux besoins des responsables de l’élaboration des politiques et il faut trouver un compromis entre la présentation rapide de conclusions pour contribuer à l’élaboration des politiques et l’écoulement d’un laps de temps suffisant pour que les effets puissent apparaître.

| — | «Erreur concernant l’attribution des résultats»: L’évaluation des effets et des impacts de projets individuels au sein d’un programme doit tenir compte du dilemme suivant: les résultats technologiques et scientifiques sont généralement obtenus à partir de travaux antérieurs. De même, avant la publication et l’exploitation des résultats scientifiques, les résultats du projet peuvent être utilisés par le participant pour d’autres travaux. Un projet en soi ne constitue donc pas nécessairement le cadre approprié pour une évaluation, s’agissant en particulier des effets et des impacts à long terme. |
| --- | --- |

—

«Erreur concernant l’attribution des résultats»: L’évaluation des effets et des impacts de projets individuels au sein d’un programme doit tenir compte du dilemme suivant: les résultats technologiques et scientifiques sont généralement obtenus à partir de travaux antérieurs. De même, avant la publication et l’exploitation des résultats scientifiques, les résultats du projet peuvent être utilisés par le participant pour d’autres travaux. Un projet en soi ne constitue donc pas nécessairement le cadre approprié pour une évaluation, s’agissant en particulier des effets et des impacts à long terme.

| — | «Crédibilité, intégrité et indépendance»: La qualité d’une évaluation dépend largement du niveau d’engagement des évaluateurs par rapport au sujet, ce qui requiert un compromis entre la compréhension et la compétence, d’une part, et l’indépendance et l’objectivité, d’autre part. La qualité dépend également des hypothèses et des intérêts des responsables de l’élaboration des politiques, ainsi que des logiques et des objectifs de l’évaluation. |
| --- | --- |

—

«Crédibilité, intégrité et indépendance»: La qualité d’une évaluation dépend largement du niveau d’engagement des évaluateurs par rapport au sujet, ce qui requiert un compromis entre la compréhension et la compétence, d’une part, et l’indépendance et l’objectivité, d’autre part. La qualité dépend également des hypothèses et des intérêts des responsables de l’élaboration des politiques, ainsi que des logiques et des objectifs de l’évaluation.

---

ANNEXE II

DISPOSITIONS EN MATIÈRE DE SUIVI ET D’ÉVALUATION FIGURANT DANS LES DÉCISIONS LÉGISLATIVES RELATIVES AUX QUATRIÈME, CINQUIÈME, SIXIÈME ET SEPTIÈME PROGRAMMES-CADRES

| Quatrième programme-cadre (1995 à 1998)
   (1) | Cinquième programme-cadre (1999 à 2002)
   (2) | Sixième programme-cadre (2003 à 2006)
   (3) | Septième programme-cadre (2007 à 2013)
   (4) |
| --- | --- | --- | --- |
| Décision relative au programme-cadre — Conseil et Parlement européen |
| Décision no 1110/94/CE du Parlement européen et du Conseil du 26 avril 1994 relative au quatrième PC de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (1994-1998): article 4 | Décision no 182/1999/CE du Parlement européen et du Conseil du 22 décembre 1998 relative au cinquième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (1998-2002): articles 5 et 6 | Décision no 1513/2002/CE du Parlement européen et du Conseil du 27 juin 2002 relative au sixième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration contribuant à la réalisation de l’Espace européen de la recherche et à l’innovation (2002-2006): considérant 20, articles 4 et 6, annexe III | Décision no 1982/2006/CE du Parlement européen et du Conseil du 18 décembre 2006 relative au septième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (2007-2013): article 7 |
| Suivi |
| — | Examiner de façon permanente et systématique, avec l’aide appropriée d’experts extérieurs indépendants, l’état de réalisation par rapport à ses objectifs initiaux (article 4, paragraphe 1). |

Quatrième programme-cadre (1995 à 1998)
   (1)

Cinquième programme-cadre (1999 à 2002)
   (2)

Sixième programme-cadre (2003 à 2006)
   (3)

Septième programme-cadre (2007 à 2013)
   (4)

Décision relative au programme-cadre — Conseil et Parlement européen

Décision no 1110/94/CE du Parlement européen et du Conseil du 26 avril 1994 relative au quatrième PC de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (1994-1998): article 4

Décision no 182/1999/CE du Parlement européen et du Conseil du 22 décembre 1998 relative au cinquième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (1998-2002): articles 5 et 6

Décision no 1513/2002/CE du Parlement européen et du Conseil du 27 juin 2002 relative au sixième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration contribuant à la réalisation de l’Espace européen de la recherche et à l’innovation (2002-2006): considérant 20, articles 4 et 6, annexe III

Décision no 1982/2006/CE du Parlement européen et du Conseil du 18 décembre 2006 relative au septième programme-cadre de la Communauté européenne pour des actions de recherche, de développement technologique et de démonstration (2007-2013): article 7

Suivi

—

Examiner de façon permanente et systématique, avec l’aide appropriée d’experts extérieurs indépendants, l’état de réalisation par rapport à ses objectifs initiaux (article 4, paragraphe 1).

| — | Examiner chaque année, de manière continue et systématique, avec l’aide d’experts indépendants qualifiés, l’état de réalisation du programme-cadre (PC) et de ses programmes spécifiques au regard des critères fixés à l’annexe I et des objectifs scientifiques et technologiques fixés à l’annexe II (article 5, paragraphe 1). |
| --- | --- |

—

Examiner chaque année, de manière continue et systématique, avec l’aide d’experts indépendants qualifiés, l’état de réalisation du programme-cadre (PC) et de ses programmes spécifiques au regard des critères fixés à l’annexe I et des objectifs scientifiques et technologiques fixés à l’annexe II (article 5, paragraphe 1).

| — | Surveiller en permanence et de façon systématique (chaque année), avec l’aide d’experts indépendants qualifiés, l’exécution du PC et de ses programmes spécifiques (article 4 et article 6, paragraphe 1). |
| --- | --- |

—

Surveiller en permanence et de façon systématique (chaque année), avec l’aide d’experts indépendants qualifiés, l’exécution du PC et de ses programmes spécifiques (article 4 et article 6, paragraphe 1).

| — | Assurer systématiquement et en permanence un suivi de la mise en œuvre du PC et de ses programmes spécifiques (article 7, paragraphe 1). |
| --- | --- |

—

Assurer systématiquement et en permanence un suivi de la mise en œuvre du PC et de ses programmes spécifiques (article 7, paragraphe 1).

| — | Apprécier si les objectifs, les priorités et les moyens financiers sont toujours adaptés à l’évolution de la situation. Si tel n’est pas le cas, soumettre des propositions visant à adapter ou à compléter le PC et/ou les programmes spécifiques (article 5, paragraphe 1). |
| --- | --- |

—

Apprécier si les objectifs, les priorités et les moyens financiers sont toujours adaptés à l’évolution de la situation. Si tel n’est pas le cas, soumettre des propositions visant à adapter ou à compléter le PC et/ou les programmes spécifiques (article 5, paragraphe 1).

| — | Évaluer régulièrement toutes les actions de recherche, en particulier, suivre le niveau d’excellence en matière de recherche (annexe III, 1. Instruments). |
| --- | --- |

—

Évaluer régulièrement toutes les actions de recherche, en particulier, suivre le niveau d’excellence en matière de recherche (annexe III, 1. Instruments).

| — | Relater et diffuser régulièrement les résultats de ce suivi (article 7, paragraphe 1). |
| --- | --- |

—

Relater et diffuser régulièrement les résultats de ce suivi (article 7, paragraphe 1).

Article 173 — Rapport annuel

| — | Exposer de façon détaillée les progrès dans la mise en œuvre du PC, et notamment dans la réalisation de ses objectifs et priorités énoncés sous chaque rubrique de l’annexe I; ce rapport contient également des informations sur les aspects financiers et l’utilisation des instruments, dans le cadre du rapport annuel que la Commission présente conformément à l’article 173 du traité (article 4). |
| --- | --- |

—

Exposer de façon détaillée les progrès dans la mise en œuvre du PC, et notamment dans la réalisation de ses objectifs et priorités énoncés sous chaque rubrique de l’annexe I; ce rapport contient également des informations sur les aspects financiers et l’utilisation des instruments, dans le cadre du rapport annuel que la Commission présente conformément à l’article 173 du traité (article 4).

Évaluation intermédiaire

| — | Examiner l’état d’avancement du programme lorsque le PC arrive à mi-parcours (article 6). |
| --- | --- |

—

Examiner l’état d’avancement du programme lorsque le PC arrive à mi-parcours (article 6).

| — | Soumettre au Parlement européen et au Conseil, sur la base des évaluations des différents programmes spécifiques, une communication accompagnée, si la Commission le juge approprié, d’une proposition d’adaptation de la présente décision (article 6). |
| --- | --- |

—

Soumettre au Parlement européen et au Conseil, sur la base des évaluations des différents programmes spécifiques, une communication accompagnée, si la Commission le juge approprié, d’une proposition d’adaptation de la présente décision (article 6).

| — | D’ici à 2010, procéder avec l’assistance d’experts extérieurs, à une évaluation intermédiaire, fondée sur des données concrètes, du présent PC et de ses programmes spécifiques, en s’inspirant de l’évaluation ex post du PC précédent, portant notamment sur la qualité des actions de recherche en cours, ainsi que sur la qualité de la mise en œuvre et de la gestion et sur les progrès enregistrés dans la réalisation des objectifs fixés (article 7, paragraphe 2). |
| --- | --- |

—

D’ici à 2010, procéder avec l’assistance d’experts extérieurs, à une évaluation intermédiaire, fondée sur des données concrètes, du présent PC et de ses programmes spécifiques, en s’inspirant de l’évaluation ex post du PC précédent, portant notamment sur la qualité des actions de recherche en cours, ainsi que sur la qualité de la mise en œuvre et de la gestion et sur les progrès enregistrés dans la réalisation des objectifs fixés (article 7, paragraphe 2).

| — | Communiquer les conclusions de cette évaluation, accompagnées de ses observations et de ses éventuelles propositions d’adaptation du PC, au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (article 7, paragraphe 2). |
| --- | --- |

—

Communiquer les conclusions de cette évaluation, accompagnées de ses observations et de ses éventuelles propositions d’adaptation du PC, au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (article 7, paragraphe 2).

| — | Informer régulièrement le Parlement européen et le Conseil de l’état d’avancement général de la mise en œuvre du PC et des programmes spécifiques (article 5, paragraphe 4). |
| --- | --- |

—

Informer régulièrement le Parlement européen et le Conseil de l’état d’avancement général de la mise en œuvre du PC et des programmes spécifiques (article 5, paragraphe 4).

| — | Présenter périodiquement des rapports au Parlement européen et au Conseil sur l’exécution du PC (considérant 20). |
| --- | --- |

—

Présenter périodiquement des rapports au Parlement européen et au Conseil sur l’exécution du PC (considérant 20).

| — | Présenter un rapport d’activité (précédant l’évaluation intermédiaire) dès que des données suffisantes sont disponibles, tirant les premières conclusions sur l’efficacité des nouvelles actions lancées au titre du septième PC et des efforts déployés en matière de simplification (article 7, paragraphe 2). |
| --- | --- |

—

Présenter un rapport d’activité (précédant l’évaluation intermédiaire) dès que des données suffisantes sont disponibles, tirant les premières conclusions sur l’efficacité des nouvelles actions lancées au titre du septième PC et des efforts déployés en matière de simplification (article 7, paragraphe 2).

| — | Faire effectuer en 2004 par des experts indépendants une évaluation de l’efficacité de chacun de ces trois types d’instruments pour la mise en œuvre du présent programme (annexe III, 1. Instruments). |
| --- | --- |

—

Faire effectuer en 2004 par des experts indépendants une évaluation de l’efficacité de chacun de ces trois types d’instruments pour la mise en œuvre du présent programme (annexe III, 1. Instruments).

Évaluation quinquennale

| — | Faire procéder par des experts indépendants qualifiés à une évaluation externe de la gestion et de l’état d’avancement des actions communautaires menées au cours des cinq années précédant cette évaluation (article 4, paragraphe 2). |
| --- | --- |

—

Faire procéder par des experts indépendants qualifiés à une évaluation externe de la gestion et de l’état d’avancement des actions communautaires menées au cours des cinq années précédant cette évaluation (article 4, paragraphe 2).

| — | Faire procéder par des experts indépendants hautement qualifiés à une évaluation externe de la réalisation et des résultats des actions communautaires menées au cours des cinq années précédant cette évaluation, au regard des critères fixés à l’annexe I et des objectifs scientifiques et technologiques fixés à l’annexe II (article 5, paragraphe 2). |
| --- | --- |

—

Faire procéder par des experts indépendants hautement qualifiés à une évaluation externe de la réalisation et des résultats des actions communautaires menées au cours des cinq années précédant cette évaluation, au regard des critères fixés à l’annexe I et des objectifs scientifiques et technologiques fixés à l’annexe II (article 5, paragraphe 2).

| — | Faire procéder par des experts indépendants de haut niveau à une évaluation externe de l’exécution et des résultats des actions communautaires menées au cours des cinq années précédant cette évaluation (article 6, paragraphe 2) [respectivement de la mise en œuvre des actions entreprises, en tenant compte de la contribution du sixième PC à la création de l’Espace européen de la recherche (considérant 20)]. |
| --- | --- |

—

Faire procéder par des experts indépendants de haut niveau à une évaluation externe de l’exécution et des résultats des actions communautaires menées au cours des cinq années précédant cette évaluation (article 6, paragraphe 2) [respectivement de la mise en œuvre des actions entreprises, en tenant compte de la contribution du sixième PC à la création de l’Espace européen de la recherche (considérant 20)].

| — | Communiquer l’évaluation, accompagnée des observations de la Commission, au Parlement européen, au Conseil et au Comité économique et social avant de présenter une proposition relative au PC suivant (article 4, paragraphe 2). |
| --- | --- |

—

Communiquer l’évaluation, accompagnée des observations de la Commission, au Parlement européen, au Conseil et au Comité économique et social avant de présenter une proposition relative au PC suivant (article 4, paragraphe 2).

| — | Communiquer l’évaluation, accompagnée des observations de la Commission, au Parlement européen, au Conseil, au Comité économique et social et au Comité des régions avant de présenter une proposition relative au PC suivant (article 5, paragraphe 2). |
| --- | --- |

—

Communiquer l’évaluation, accompagnée des observations de la Commission, au Parlement européen, au Conseil, au Comité économique et social et au Comité des régions avant de présenter une proposition relative au PC suivant (article 5, paragraphe 2).

| — | Communiquer les conclusions de cette évaluation accompagnées des observations de la Commission, au Parlement européen, au Conseil, au Comité économique et social et au Comité des régions (article 6, paragraphe 2) en temps utile et avant de présenter la proposition du PC suivant (considérant 20). |
| --- | --- |

—

Communiquer les conclusions de cette évaluation accompagnées des observations de la Commission, au Parlement européen, au Conseil, au Comité économique et social et au Comité des régions (article 6, paragraphe 2) en temps utile et avant de présenter la proposition du PC suivant (considérant 20).

Évaluation finale

(Voir décision relative au programme spécifique.)

| — | Deux ans après l’achèvement du septième PC (c'est-à-dire en 2015), faire procéder à une évaluation extérieure, par des experts indépendants, de sa logique interne, de sa mise en œuvre et des résultats atteints (article 7, paragraphe 3). |
| --- | --- |

—

Deux ans après l’achèvement du septième PC (c'est-à-dire en 2015), faire procéder à une évaluation extérieure, par des experts indépendants, de sa logique interne, de sa mise en œuvre et des résultats atteints (article 7, paragraphe 3).

| — | Communiquer les conclusions de cette évaluation, accompagnées de ses observations, au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (article 7, paragraphe 3). |
| --- | --- |

—

Communiquer les conclusions de cette évaluation, accompagnées de ses observations, au Parlement européen, au Conseil, au Comité économique et social européen et au Comité des régions (article 7, paragraphe 3).

Experts indépendants

| — | Faire en sorte, lors de la sélection des experts indépendants, qu’il soit tenu compte de manière équilibrée des différents milieux scientifiques, de l’industrie et des utilisateurs et de publier les noms des experts et leurs qualifications personnelles à la suite de leur nomination (article 5, paragraphe 3).
  (Pour les dispositions supplémentaires relatives aux experts indépendants, voir la décision no 1999/65/CE du Conseil, article 9.) |
| --- | --- |

—

Faire en sorte, lors de la sélection des experts indépendants, qu’il soit tenu compte de manière équilibrée des différents milieux scientifiques, de l’industrie et des utilisateurs et de publier les noms des experts et leurs qualifications personnelles à la suite de leur nomination (article 5, paragraphe 3).

(Pour les dispositions supplémentaires relatives aux experts indépendants, voir la décision no 1999/65/CE du Conseil, article 9.)

| — | La Commission nomme des experts indépendants aux fins des évaluations prévues par le sixième PC et les programmes spécifiques, ainsi que pour les missions d’assistance visées à l’article 10, paragraphe 6, et à l’article 18, paragraphe 1, deuxième alinéa. |
| --- | --- |

—

La Commission nomme des experts indépendants aux fins des évaluations prévues par le sixième PC et les programmes spécifiques, ainsi que pour les missions d’assistance visées à l’article 10, paragraphe 6, et à l’article 18, paragraphe 1, deuxième alinéa.

| — | Elle peut, de plus, constituer des groupes d’experts indépendants qui la conseillent dans la mise en œuvre de la politique de recherche de la Communauté. |
| --- | --- |

—

Elle peut, de plus, constituer des groupes d’experts indépendants qui la conseillent dans la mise en œuvre de la politique de recherche de la Communauté.

| — | [Pour les dispositions relatives aux experts indépendants, voir le règlement (CE) no 2321/2002, article 11.] |
| --- | --- |

—

[Pour les dispositions relatives aux experts indépendants, voir le règlement (CE) no 2321/2002, article 11.]

Exemple d’une décision concernant un programme spécifique — Conseil

Décision 94/801/CE du Conseil du 23 novembre 1994, article 4

Décision 1999/168/CE du Conseil du 25 janvier 1999, articles 4 et 6

Décisions 2002/834/CE et 2002/835/CE du Conseil du 30 septembre 2002, article 8

Décision 2006/971/CE du Conseil du 19 décembre 2006 relative au programme spécifique «Coopération», article 8

Suivi

| — | Contrôler de façon continue et systématique, avec l’aide appropriée d’experts extérieurs indépendants, l’état d’avancement du programme (article 4, paragraphe 1). |
| --- | --- |

—

Contrôler de façon continue et systématique, avec l’aide appropriée d’experts extérieurs indépendants, l’état d’avancement du programme (article 4, paragraphe 1).

| — | Examiner, avec l’aide appropriée d’experts extérieurs indépendants, l’état de réalisation du programme spécifique et soumettre au Conseil, le cas échéant, des propositions d’adaptation, conformément à l’article 5, paragraphe 1, du cinquième PC [article 4, point a)]. |
| --- | --- |

—

Examiner, avec l’aide appropriée d’experts extérieurs indépendants, l’état de réalisation du programme spécifique et soumettre au Conseil, le cas échéant, des propositions d’adaptation, conformément à l’article 5, paragraphe 1, du cinquième PC [article 4, point a)].

| — | Faire procéder à un suivi et à une évaluation indépendants, prévus à l’article 6 de la décision relative au sixième PC, des actions réalisées dans les domaines relevant du programme spécifique (article 8, paragraphe 2). |
| --- | --- |

—

Faire procéder à un suivi et à une évaluation indépendants, prévus à l’article 6 de la décision relative au sixième PC, des actions réalisées dans les domaines relevant du programme spécifique (article 8, paragraphe 2).

| — | Faire procéder au suivi, à l’évaluation et au réexamen indépendants, prévus à l’article 7 du PC, des actions réalisées dans les domaines relevant du présent programme spécifique (article 9). |
| --- | --- |

—

Faire procéder au suivi, à l’évaluation et au réexamen indépendants, prévus à l’article 7 du PC, des actions réalisées dans les domaines relevant du présent programme spécifique (article 9).

| — | Les informations de suivi devant être présentées par la Commission au comité de programme, conformément à l’article 8, paragraphe 4 sont précisées à l’annexe V. |
| --- | --- |

—

Les informations de suivi devant être présentées par la Commission au comité de programme, conformément à l’article 8, paragraphe 4 sont précisées à l’annexe V.

Article 173 — Rapport annuel

| — | Conformément à l’article 4 de la décision relative au sixième PC, présenter régulièrement des rapports sur l’état général d’avancement de la mise en œuvre du programme spécifique, contenant des informations sur les aspects financiers et l’utilisation des instruments (article 8, paragraphe 1). |
| --- | --- |

—

Conformément à l’article 4 de la décision relative au sixième PC, présenter régulièrement des rapports sur l’état général d’avancement de la mise en œuvre du programme spécifique, contenant des informations sur les aspects financiers et l’utilisation des instruments (article 8, paragraphe 1).

| — | Inclure les observations principales (relatives au mécanisme de financement avec partage des risques) dans le rapport annuel sur les activités de RDT que la Commission adresse au Parlement européen et au Conseil conformément à l’article 173 du traité (annexe III). |
| --- | --- |

—

Inclure les observations principales (relatives au mécanisme de financement avec partage des risques) dans le rapport annuel sur les activités de RDT que la Commission adresse au Parlement européen et au Conseil conformément à l’article 173 du traité (annexe III).

Évaluation quinquennale

| — | Faire procéder par des experts indépendants à une évaluation externe des actions menées dans les domaines couverts par le présent programme ainsi que de leur gestion au cours des cinq années précédant cette évaluation (article 4, paragraphe 2). |
| --- | --- |

—

Faire procéder par des experts indépendants à une évaluation externe des actions menées dans les domaines couverts par le présent programme ainsi que de leur gestion au cours des cinq années précédant cette évaluation (article 4, paragraphe 2).

| — | Faire procéder à l’évaluation externe prévue à l’article 5, paragraphe 2, de la décision relative au cinquième PC pour ce qui concerne les actions menées dans les domaines couverts par le programme spécifique [article 4, point b)]. |
| --- | --- |

—

Faire procéder à l’évaluation externe prévue à l’article 5, paragraphe 2, de la décision relative au cinquième PC pour ce qui concerne les actions menées dans les domaines couverts par le programme spécifique [article 4, point b)].

Évaluation finale

| — | Faire procéder, après l’achèvement de chaque programme spécifique, à une évaluation finale, indépendante, des résultats par rapport aux objectifs (article 4, paragraphe 3). |
| --- | --- |

—

Faire procéder, après l’achèvement de chaque programme spécifique, à une évaluation finale, indépendante, des résultats par rapport aux objectifs (article 4, paragraphe 3).

| — | Communiquer cette évaluation au Parlement européen, au Conseil et au Comité économique et social (article 4, paragraphe 3). |
| --- | --- |

—

Communiquer cette évaluation au Parlement européen, au Conseil et au Comité économique et social (article 4, paragraphe 3).

Experts indépendants

| — | Établir le mandat régissant l’évaluation externe visée à l’article 5, paragraphe 2, de la décision relative au cinquième PC (article 6, paragraphe 2). |
| --- | --- |

—

Établir le mandat régissant l’évaluation externe visée à l’article 5, paragraphe 2, de la décision relative au cinquième PC (article 6, paragraphe 2).

Informations de base sur la structure du PC

| — | Quatrième PC (CE): sept programmes spécifiques comprenant 17 sous-programmes, plus deux groupes d’activités. |
| --- | --- |

—

Quatrième PC (CE): sept programmes spécifiques comprenant 17 sous-programmes, plus deux groupes d’activités.

| — | Cinquième PC (CE): sept programmes spécifiques dont quatre sont des programmes thématiques, et trois des programmes horizontaux. |
| --- | --- |

—

Cinquième PC (CE): sept programmes spécifiques dont quatre sont des programmes thématiques, et trois des programmes horizontaux.

| — | Sixième PC (CE): vingt programmes dont 10 sont regroupés sous 7 priorités thématiques, et 4 programmes qui ont trait à des activités de recherche transversales, dans le programme spécifique «Concentrer et intégrer la recherche communautaire». Le programme spécifique «Structurer l’Espace européen de la recherche» représente quatre programmes, et le programme spécifique «Renforcer les bases de l’Espace européen de la recherche» représente deux programmes spécifiques. |
| --- | --- |

—

Sixième PC (CE): vingt programmes dont 10 sont regroupés sous 7 priorités thématiques, et 4 programmes qui ont trait à des activités de recherche transversales, dans le programme spécifique «Concentrer et intégrer la recherche communautaire». Le programme spécifique «Structurer l’Espace européen de la recherche» représente quatre programmes, et le programme spécifique «Renforcer les bases de l’Espace européen de la recherche» représente deux programmes spécifiques.

| — | Septième PC (CE): Vingt-quatre sous-programmes spécifiques dont 10 sont regroupés dans le programme spécifique «Coopération», un concerne le programme spécifique «Idées», cinq sous-programmes ont trait au programme spécifique «Personnes» et huit sous-programmes concernent le programme spécifique «Capacités» (dont un est consacré aux activités non nucléaires du CCR). |
| --- | --- |

—

Septième PC (CE): Vingt-quatre sous-programmes spécifiques dont 10 sont regroupés dans le programme spécifique «Coopération», un concerne le programme spécifique «Idées», cinq sous-programmes ont trait au programme spécifique «Personnes» et huit sous-programmes concernent le programme spécifique «Capacités» (dont un est consacré aux activités non nucléaires du CCR).

| — | Budget total (CE): 11 046 millions d’euros (soit 2 761 millions d’euros par an). |
| --- | --- |

—

Budget total (CE): 11 046 millions d’euros (soit 2 761 millions d’euros par an).

| — | Budget total (CE): 13 700 millions d’euros (soit 3 425 millions d’euros par an; +24 %). |
| --- | --- |

—

Budget total (CE): 13 700 millions d’euros (soit 3 425 millions d’euros par an; +24 %).

| — | Budget total (CE): 16 270 millions d’euros (soit 4 061 millions d’euros par an; +19 %), porté au montant suivant après l’élargissement de l’UE à 25 États membres: |
| --- | --- |

—

Budget total (CE): 16 270 millions d’euros (soit 4 061 millions d’euros par an; +19 %), porté au montant suivant après l’élargissement de l’UE à 25 États membres:

| — | Budget total (CE): 17 883 millions d’euros (soit 4 447 millions d’euros par an; +10 %). |
| --- | --- |

—

Budget total (CE): 17 883 millions d’euros (soit 4 447 millions d’euros par an; +10 %).

| — | Budget total (CE): 50 521 millions d’euros (soit 7 217 millions d’euros par an; +62 %). |
| --- | --- |

—

Budget total (CE): 50 521 millions d’euros (soit 7 217 millions d’euros par an; +62 %).

| — | Sept directions générales: Recherche, Société de l’information, Énergie, Transports, Pêche, Agriculture, Entreprises. |
| --- | --- |

—

Sept directions générales: Recherche, Société de l’information, Énergie, Transports, Pêche, Agriculture, Entreprises.

| — | Cinq directions générales: RTD, Société de l’information, Énergie et transports, Pêche, Entreprises. |
| --- | --- |

—

Cinq directions générales: RTD, Société de l’information, Énergie et transports, Pêche, Entreprises.

| — | Quatre directions générales: RTD, Société de l’information, Énergie et transports, Entreprises. |
| --- | --- |

—

Quatre directions générales: RTD, Société de l’information, Énergie et transports, Entreprises.

| — | Cinq directions générales: RTD, Société de l’information et médias, Énergie et transports, Entreprises et industrie, Centre commun de recherche (CCR), plus le Conseil européen de la recherche (CER) et les agences exécutives. |
| --- | --- |

—

Cinq directions générales: RTD, Société de l’information et médias, Énergie et transports, Entreprises et industrie, Centre commun de recherche (CCR), plus le Conseil européen de la recherche (CER) et les agences exécutives.

---

(1)  Quatrième PC: technologies de l’information et des communications [technologies et services avancés de communication (ACTS); technologies de l’information (ESPRIT); applications télématiques]; technologies industrielles [technologies industrielles et technologies des matériaux (BRITE/EURAM); normes, mesures et essais (SMT)]; environnement [environnement et climat, sciences et technologies marines (MAST III)]; sciences et technologies du vivant [biotechnologie (BIOTECH 2), biomédecine et santé (BIOMED 2), agriculture et pêche (FAIR), aspects éthiques, juridiques et sociaux (ELSA)]; énergie [recherche et développement (JOULE), démonstration (THERMIE)]; transports (programme de recherche dans le domaine du transport), recherche socio-économique finalisée [recherche socio-économique finalisée (TSER), réseau européen d’évaluation technologique (ETAN)]; coopération avec des pays tiers et des organisations internationales [International Cooperation (INCO); exploitation et diffusion des résultats (programme d’innovation); stimulation de la formation et de la mobilité des chercheurs (TMR), association des boursiers Marie Curie].

(2)  Cinquième PC: quatre programmes thématiques [qualité de la vie et gestion des ressources du vivant (Quality of Life), société de l’information conviviale (IST), croissance compétitive et durable (GROWTH), énergie, environnement et développement durable (EESD)]; trois programmes horizontaux [affirmer le rôle international de la recherche communautaire (INCO 2), promouvoir l’innovation et encourager la participation des PME (Innovation et PME), améliorer le potentiel humain de recherche et la base de connaissances socio-économiques (Improving)].

(3)  Sixième PC,«Concentrer et intégrer la recherche communautaire»:

| — | sept priorités thématiques représentant 10 programmes: sciences de la vie, génomique et biotechnologie pour la santé (comprenant la génomique avancée, et ses applications pour la santé, et lutte contre les principales maladies), technologies pour la société de l’information, nanotechnologies et nanosciences, matériaux multifonctionnels basés sur la connaissance et nouveaux procédés et dispositifs de production, aéronautique et espace, qualité et sûreté alimentaires, développement durable, changement planétaire et écosystèmes (comprenant: systèmes énergétiques durables, transports de surface durables, changement planétaire et écosystèmes), citoyens et gouvernance dans une société fondée sur la connaissance, |
| --- | --- |

—

sept priorités thématiques représentant 10 programmes: sciences de la vie, génomique et biotechnologie pour la santé (comprenant la génomique avancée, et ses applications pour la santé, et lutte contre les principales maladies), technologies pour la société de l’information, nanotechnologies et nanosciences, matériaux multifonctionnels basés sur la connaissance et nouveaux procédés et dispositifs de production, aéronautique et espace, qualité et sûreté alimentaires, développement durable, changement planétaire et écosystèmes (comprenant: systèmes énergétiques durables, transports de surface durables, changement planétaire et écosystèmes), citoyens et gouvernance dans une société fondée sur la connaissance,

| — | activités de recherche transversales couvrant un champ plus vaste de la recherche, représentant quatre programmes: soutien aux politiques et anticipation des besoins scientifiques et technologiques, actions de recherche horizontales auxquelles participent des PME, mesures spécifiques menées à l’appui de la coopération internationale; activités non nucléaires menées par le Centre commun de recherche; «Structurer l’Espace européen de la recherche», représentant quatre programmes: recherche et innovation, ressources humaines, infrastructures de recherche, science et société; «Renforcer les bases de l’Espace européen de la recherche» représentant deux programmes: soutien de la coordination des activités, soutien du développement cohérent des politiques. |
| --- | --- |

—

activités de recherche transversales couvrant un champ plus vaste de la recherche, représentant quatre programmes: soutien aux politiques et anticipation des besoins scientifiques et technologiques, actions de recherche horizontales auxquelles participent des PME, mesures spécifiques menées à l’appui de la coopération internationale; activités non nucléaires menées par le Centre commun de recherche; «Structurer l’Espace européen de la recherche», représentant quatre programmes: recherche et innovation, ressources humaines, infrastructures de recherche, science et société; «Renforcer les bases de l’Espace européen de la recherche» représentant deux programmes: soutien de la coordination des activités, soutien du développement cohérent des politiques.

(4)  Septième PC: programme spécifique «Coopération» représentant 10 sous-programmes [santé; alimentation, agriculture et biotechnologie; technologies de l’information et de la communication; nanosciences, nanotechnologies, matériaux et nouvelles technologies de production; énergie; environnement (y compris les changements climatiques); transports (y compris l’aéronautique); sciences socio-économiques et humaines; sécurité; espace]; programme spécifique «Idées» représentant un sous-programme (Conseil européen de la recherche), programme spécifique «Personnes» représentant cinq sous-programmes (formation initiale; formation tout au long de la vie; entreprises-universités; composante internationale; actions spécifiques), programme spécifique «Capacités» représentant huit sous-programmes (infrastructures de recherche; recherche au profit des PME; régions de la connaissance; potentiel de recherche; la science dans la société; cohérence des politiques de la recherche; coopération internationale; «activités non nucléaires du CCR»).

---

ANNEXE III

PRINCIPALES DIFFÉRENCES DE L’ÉVALUATION EX POST DES PROGRAMMES DE RECHERCHE ENTRE L’UE (QUATRIÈME, CINQUIÈME ET SIXIÈME PROGRAMMES-CADRES), LES ÉTATS-UNIS ET LE CANADA

| | UE (4e, 5e et 6e PC) | États-Unis | Canada |
| --- | --- | --- | --- |
| Aspects systémiques |
| Logique d’intervention: | pas explicite | généralement en place, implicitement exigée par PART (1) | exigée par le CGRR (2) dans le cadre de la proposition de programme |
| Stratégie d’évaluation: | pas intégrée | exigée par PART (1) | exigée par le CGRR (2) dans le cadre de la proposition de programme |
| Mention des résultats escomptés: | non | exigée par PART (1) (y compris l’utilisation d’indicateurs quantifiables) | exigée par le CGRR (2) dans le cadre de la proposition de programme |
| Questions de l’évaluation posées par: | la Commission en tant que gestionnaire du programme | l’agence en tant que gestionnaire du programme (évaluation dans le cadre de l’OMB) | l’agence en tant que gestionnaire du programme
  (évaluation dans le cadre du STC) |
| Aspects organisationnels |
| Phase de conception: | au cours de la période de programmation | au cours de la période de programmation | terminée avant le démarrage du programme |
| Recours à des groupes d’experts: | groupes d’experts ad hoc pour des exercices d’évaluation spécifiques | en fonction de l’agence/du programme | groupes d’experts permanents en qualité de commissions permanentes |
| Périodicité: | dates fixes (liées à la période de programmation, portant sur les cinq années précédentes) | cycle de 2-3 ans
  (lié à l’adoption du budget) | lors du renouvellement du programme |

UE (4e, 5e et 6e PC)

États-Unis

Canada

Aspects systémiques

Logique d’intervention:

pas explicite

généralement en place, implicitement exigée par PART (1)

exigée par le CGRR (2) dans le cadre de la proposition de programme

Stratégie d’évaluation:

pas intégrée

exigée par PART (1)

exigée par le CGRR (2) dans le cadre de la proposition de programme

Mention des résultats escomptés:

non

exigée par PART (1) (y compris l’utilisation d’indicateurs quantifiables)

exigée par le CGRR (2) dans le cadre de la proposition de programme

Questions de l’évaluation posées par:

la Commission en tant que gestionnaire du programme

l’agence en tant que gestionnaire du programme (évaluation dans le cadre de l’OMB)

l’agence en tant que gestionnaire du programme

(évaluation dans le cadre du STC)

Aspects organisationnels

Phase de conception:

au cours de la période de programmation

au cours de la période de programmation

terminée avant le démarrage du programme

Recours à des groupes d’experts:

groupes d’experts ad hoc pour des exercices d’évaluation spécifiques

en fonction de l’agence/du programme

groupes d’experts permanents en qualité de commissions permanentes

Périodicité:

dates fixes (liées à la période de programmation, portant sur les cinq années précédentes)

cycle de 2-3 ans

(lié à l’adoption du budget)

lors du renouvellement du programme

---

(1)  Outil d'évaluation de programme (PART), depuis 2002: voir l’Office of Management and Budget (Executive Office of the President) des États-Unis (OMB).

(2)  Cadre horizontal de gestion et de responsabilisation axé sur les résultats (CGRR): voir le secrétariat du Conseil du Trésor du Canada (STC).

---

ANNEXE IV

STRUCTURE POSSIBLE DU GROUPE D'EXPERTS POUR LE SEPTIÈME PROGRAMME-CADRE

Image

---

RÉPONSES DE LA COMMISSION

| I. | Les programmes-cadres de RDT de la Communauté (PC) ont évolué, au cours des dernières décennies, pour constituer un système vaste, mais cohérent, de mécanismes de soutien au service des chercheurs des 27 États membres de l’UE, des pays associés et de pays tiers.
  Les PC représentent actuellement le plus grand système multinational public de financement de la recherche au niveau mondial.
  Les PC représentent actuellement près de 5 % du financement public total octroyé à la recherche dans l’UE. En termes de participation financière annuelle de la Communauté, le septième PC dépassera le sixième PC d’environ 60 %.
  L’évaluation d’un système aux caractéristiques si uniques constitue un défi particulier pour tous les intervenants. Les modalités d’évaluation et de suivi ont connu des évolutions considérables au cours des dernières années, et encore très récemment avec le lancement du septième PC en 2007.
  Le système d’évaluation et de suivi en place à la Commission repose sur la responsabilité directe des services de la Commission chargés de la mise en œuvre. C’est là que sont disponibles les compétences techniques au niveau le plus élevé.
  Les évaluations à l’échelon du PC sont réalisées grâce à la coordination des efforts de toutes les directions générales (DG). |
| --- | --- |

I.

Les programmes-cadres de RDT de la Communauté (PC) ont évolué, au cours des dernières décennies, pour constituer un système vaste, mais cohérent, de mécanismes de soutien au service des chercheurs des 27 États membres de l’UE, des pays associés et de pays tiers.

Les PC représentent actuellement le plus grand système multinational public de financement de la recherche au niveau mondial.

Les PC représentent actuellement près de 5 % du financement public total octroyé à la recherche dans l’UE. En termes de participation financière annuelle de la Communauté, le septième PC dépassera le sixième PC d’environ 60 %.

L’évaluation d’un système aux caractéristiques si uniques constitue un défi particulier pour tous les intervenants. Les modalités d’évaluation et de suivi ont connu des évolutions considérables au cours des dernières années, et encore très récemment avec le lancement du septième PC en 2007.

Le système d’évaluation et de suivi en place à la Commission repose sur la responsabilité directe des services de la Commission chargés de la mise en œuvre. C’est là que sont disponibles les compétences techniques au niveau le plus élevé.

Les évaluations à l’échelon du PC sont réalisées grâce à la coordination des efforts de toutes les directions générales (DG).

| IV. | La Commission se félicite de l’observation de la Cour selon laquelle les DG chargées de la mise en œuvre des PC (les «DG Recherche») se sont conformées aux exigences de la Commission, notamment celles spécifiées dans les communications de 2000 et 2002 sur l’évaluation.
  Des modifications substantielles ont été apportées à l’évaluation des PC, dont une restructuration majeure pour le septième PC.
  La Commission considère aussi que:






  i) | les PC ont toujours été fondés sur une logique d’intervention solide. Celle-ci est rendue plus explicite pour le septième PC, ce qui renforcera encore le système d’évaluation et de suivi de la Commission; |
| --- | --- | --- |

IV.

La Commission se félicite de l’observation de la Cour selon laquelle les DG chargées de la mise en œuvre des PC (les «DG Recherche») se sont conformées aux exigences de la Commission, notamment celles spécifiées dans les communications de 2000 et 2002 sur l’évaluation.

Des modifications substantielles ont été apportées à l’évaluation des PC, dont une restructuration majeure pour le septième PC.

La Commission considère aussi que:

i)

les PC ont toujours été fondés sur une logique d’intervention solide. Celle-ci est rendue plus explicite pour le septième PC, ce qui renforcera encore le système d’évaluation et de suivi de la Commission;

| ii) | les principaux éléments stratégiques de l’approche de l’évaluation et du suivi adoptée par la Commission ont été définis dans les actes législatifs successifs relatifs aux PC depuis le milieu des années 1990.
  Depuis que la Commission a adopté sa dernière communication sur l’évaluation de la recherche en 1996, l’approche de l’évaluation des PC adoptée par la Commission a été affinée selon un processus continu, et des modifications non négligeables ont été apportées aux exercices d’évaluation.
  Au cours de la période couverte par l’audit de la Cour, les grands exercices d’évaluation des PC, dénommés «évaluations quinquennales», ont été réalisés tous les quatre ans; |
| --- | --- |

ii)

les principaux éléments stratégiques de l’approche de l’évaluation et du suivi adoptée par la Commission ont été définis dans les actes législatifs successifs relatifs aux PC depuis le milieu des années 1990.

Depuis que la Commission a adopté sa dernière communication sur l’évaluation de la recherche en 1996, l’approche de l’évaluation des PC adoptée par la Commission a été affinée selon un processus continu, et des modifications non négligeables ont été apportées aux exercices d’évaluation.

Au cours de la période couverte par l’audit de la Cour, les grands exercices d’évaluation des PC, dénommés «évaluations quinquennales», ont été réalisés tous les quatre ans;

| iii) | Les PC sont mis en œuvre conjointement par les «DG Recherche», qui agissent de manière indépendante et coopèrent en tant que de besoin. Les services centraux de la Commission, et la DG Budget en particulier, participent activement aux différentes étapes du processus d’évaluation.
  Compte tenu de l’organisation décentralisée de la Commission et des spécificités de chaque domaine scientifique, il convient que les évaluations soient gérées par les services opérationnels responsables.
  Le «réseau d’évaluation de la RDT» interne à la Commission s’est avéré très utile pour assurer la coordination.
  La Commission est d’accord sur le fait que les groupes d’experts devraient jouer un rôle important dans l’évaluation, et se félicite de la conclusion de l’audit selon laquelle les parties prenantes institutionnelles ont perçu les groupes constitués pour les évaluations quinquennales et autres évaluations majeures comme offrant une garantie d’indépendance de l’approche suivie par la Commission pendant la période couverte par l’audit; |
| --- | --- |

iii)

Les PC sont mis en œuvre conjointement par les «DG Recherche», qui agissent de manière indépendante et coopèrent en tant que de besoin. Les services centraux de la Commission, et la DG Budget en particulier, participent activement aux différentes étapes du processus d’évaluation.

Compte tenu de l’organisation décentralisée de la Commission et des spécificités de chaque domaine scientifique, il convient que les évaluations soient gérées par les services opérationnels responsables.

Le «réseau d’évaluation de la RDT» interne à la Commission s’est avéré très utile pour assurer la coordination.

La Commission est d’accord sur le fait que les groupes d’experts devraient jouer un rôle important dans l’évaluation, et se félicite de la conclusion de l’audit selon laquelle les parties prenantes institutionnelles ont perçu les groupes constitués pour les évaluations quinquennales et autres évaluations majeures comme offrant une garantie d’indépendance de l’approche suivie par la Commission pendant la période couverte par l’audit;

| iv) | la fourniture d’orientations méthodologiques directes pour les évaluations est limitée par la nécessité de préserver l’indépendance des évaluateurs. La Commission reconnaît avoir connu des difficultés dans la collecte des données et convient que les effets et les impacts à long terme des PC sont moins connus, comme c’est le cas pour la plupart des évaluations des interventions publiques dans le domaine de la recherche et dans d’autres domaines; |
| --- | --- |

iv)

la fourniture d’orientations méthodologiques directes pour les évaluations est limitée par la nécessité de préserver l’indépendance des évaluateurs. La Commission reconnaît avoir connu des difficultés dans la collecte des données et convient que les effets et les impacts à long terme des PC sont moins connus, comme c’est le cas pour la plupart des évaluations des interventions publiques dans le domaine de la recherche et dans d’autres domaines;

| v) | le calendrier de la plupart des évaluations est spécifié dans la législation relative aux PC adoptée par le Parlement européen et le Conseil. Globalement, la Commission considère que son système d’évaluation et de suivi des PC est efficace. Ce point de vue a été partagé par le Parlement européen et le Conseil lors de l’adoption, en 2006, des propositions législatives de la Commission concernant le septième PC. |
| --- | --- |

v)

le calendrier de la plupart des évaluations est spécifié dans la législation relative aux PC adoptée par le Parlement européen et le Conseil. Globalement, la Commission considère que son système d’évaluation et de suivi des PC est efficace. Ce point de vue a été partagé par le Parlement européen et le Conseil lors de l’adoption, en 2006, des propositions législatives de la Commission concernant le septième PC.

| V. | Compte tenu des recommandations de la Cour, la Commission:






  i) | souligne la logique d’intervention plus explicite intégrée dans la législation du septième PC (adoptée par le Parlement européen et le Conseil en 2006) et renforcera le recours à une logique d’intervention explicite dans ses propositions législatives futures. En outre, la Commission a l’intention de clarifier davantage ses objectifs opérationnels pour le septième PC à l’échelon des programmes de travail et de développer son approche de l’appréciation des performances; |
| --- | --- | --- |

V.

Compte tenu des recommandations de la Cour, la Commission:

i)

souligne la logique d’intervention plus explicite intégrée dans la législation du septième PC (adoptée par le Parlement européen et le Conseil en 2006) et renforcera le recours à une logique d’intervention explicite dans ses propositions législatives futures. En outre, la Commission a l’intention de clarifier davantage ses objectifs opérationnels pour le septième PC à l’échelon des programmes de travail et de développer son approche de l’appréciation des performances;

| ii) | élaborera sa stratégie d’évaluation pour le septième PC davantage sur la base des propositions incluses dans l’analyse d’impact du septième PC. La Commission veillera à garantir un degré de souplesse approprié afin que chaque service opérationnel puisse déterminer ses besoins d’évaluation spécifiques; |
| --- | --- |

ii)

élaborera sa stratégie d’évaluation pour le septième PC davantage sur la base des propositions incluses dans l’analyse d’impact du septième PC. La Commission veillera à garantir un degré de souplesse approprié afin que chaque service opérationnel puisse déterminer ses besoins d’évaluation spécifiques;

| iii) | tout en n’estimant pas nécessaire de mettre en place un bureau d’évaluation conjoint, accepte d’envisager d’autres options pour améliorer la coordination.
  Des groupes d’experts devraient être convoqués au stade le plus précoce possible pour contribuer à une évaluation spécifique. Des groupes spécialisés, convoqués à des fins spécifiques, sont toutefois plus susceptibles de contribuer à la clarté et à la cohérence; |
| --- | --- |

iii)

tout en n’estimant pas nécessaire de mettre en place un bureau d’évaluation conjoint, accepte d’envisager d’autres options pour améliorer la coordination.

Des groupes d’experts devraient être convoqués au stade le plus précoce possible pour contribuer à une évaluation spécifique. Des groupes spécialisés, convoqués à des fins spécifiques, sont toutefois plus susceptibles de contribuer à la clarté et à la cohérence;

| iv) | a déjà pris des mesures pour mieux exploiter les sources de données existantes et nouvelles pour ses évaluations.
  Les exigences relatives à l’établissement et à la présentation de rapports pour le septième PC ont été partiellement révisées en fonction des besoins en matière d’évaluation et de suivi.
  En outre, la Commission est occupée à mettre au point un nouveau système informatique pour le septième PC, destiné à offrir une base plus robuste en termes de données sur les projets.
  La Commission examinera la possibilité d’élaborer un nouveau manuel pour l’évaluation des PC, en tenant compte d’exemples récents. |
| --- | --- |

iv)

a déjà pris des mesures pour mieux exploiter les sources de données existantes et nouvelles pour ses évaluations.

Les exigences relatives à l’établissement et à la présentation de rapports pour le septième PC ont été partiellement révisées en fonction des besoins en matière d’évaluation et de suivi.

En outre, la Commission est occupée à mettre au point un nouveau système informatique pour le septième PC, destiné à offrir une base plus robuste en termes de données sur les projets.

La Commission examinera la possibilité d’élaborer un nouveau manuel pour l’évaluation des PC, en tenant compte d’exemples récents.

| v) | La Commission compte développer et renforcer sa planification des évaluations dans le cadre du septième PC, compte tenu des avantages possibles en termes de cohérence et de diffusion des résultats. |
| --- | --- |

v)

La Commission compte développer et renforcer sa planification des évaluations dans le cadre du septième PC, compte tenu des avantages possibles en termes de cohérence et de diffusion des résultats.

| 1-13. | Les programmes-cadres de RDT de la Communauté (PC) ont évolué, au cours des dernières décennies, pour constituer un système vaste, mais cohérent, de mécanismes de soutien au service des chercheurs des 27 États membres de l’UE, des pays associés et de pays tiers.
  Les PC constituent aujourd’hui le plus grand système multinational de financement de la recherche au niveau mondial (voir le point 6 du document de la Cour). En termes de participation financière annuelle de la Communauté, le septième PC dépassera le sixième PC d’environ 60 % (voir le graphique 1 du document de la Cour).
  L’évaluation d’un système aux caractéristiques si uniques constitue un défi particulier pour tous les intervenants. Les modalités d’évaluation ont connu des changements significatifs au cours des dernières années (voir le graphique 2 du document de la Cour), en dernier lieu avec le lancement du septième PC en 2007 (voir par exemple les réponses aux points 23, 30, 41, 46, 72, 76-78, 93). |
| --- | --- |

1-13.

Les programmes-cadres de RDT de la Communauté (PC) ont évolué, au cours des dernières décennies, pour constituer un système vaste, mais cohérent, de mécanismes de soutien au service des chercheurs des 27 États membres de l’UE, des pays associés et de pays tiers.

Les PC constituent aujourd’hui le plus grand système multinational de financement de la recherche au niveau mondial (voir le point 6 du document de la Cour). En termes de participation financière annuelle de la Communauté, le septième PC dépassera le sixième PC d’environ 60 % (voir le graphique 1 du document de la Cour).

L’évaluation d’un système aux caractéristiques si uniques constitue un défi particulier pour tous les intervenants. Les modalités d’évaluation ont connu des changements significatifs au cours des dernières années (voir le graphique 2 du document de la Cour), en dernier lieu avec le lancement du septième PC en 2007 (voir par exemple les réponses aux points 23, 30, 41, 46, 72, 76-78, 93).

| 14. | Les «DG Recherche» se sont officiellement conformées aux exigences de la Commission en matière d’évaluation, y compris celles définies par les communications de 2000 et 2002 concernant l’évaluation (voir le point 54 du document de la Cour). |
| --- | --- |

14.

Les «DG Recherche» se sont officiellement conformées aux exigences de la Commission en matière d’évaluation, y compris celles définies par les communications de 2000 et 2002 concernant l’évaluation (voir le point 54 du document de la Cour).

| 22. | La Commission reconnaît l’importance d’une logique d’intervention saine pour la conception des programmes et partage le point de vue selon lequel le mandat donné à l’article 163 du traité constitue un élément crucial à cet égard. Par ailleurs, la contribution des activités de RDT financées par la Commission aux autres politiques et objectifs de la Communauté est d’une grande importance. Plus récemment, la position de la Commission sur le rôle des investissements dans la RDT de l’UE a été présentée en détail dans la stratégie de Lisbonne renouvelée et dans la stratégie pour le développement durable (1). |
| --- | --- |

22.

La Commission reconnaît l’importance d’une logique d’intervention saine pour la conception des programmes et partage le point de vue selon lequel le mandat donné à l’article 163 du traité constitue un élément crucial à cet égard. Par ailleurs, la contribution des activités de RDT financées par la Commission aux autres politiques et objectifs de la Communauté est d’une grande importance. Plus récemment, la position de la Commission sur le rôle des investissements dans la RDT de l’UE a été présentée en détail dans la stratégie de Lisbonne renouvelée et dans la stratégie pour le développement durable (1).

| 23. | Les PC ont toujours été fondés sur une logique d’intervention solide. Celle-ci est rendue plus explicite pour le septième PC (2), ce qui renforcera encore le système d’évaluation et de suivi de la Commission. |
| --- | --- |

23.

Les PC ont toujours été fondés sur une logique d’intervention solide. Celle-ci est rendue plus explicite pour le septième PC (2), ce qui renforcera encore le système d’évaluation et de suivi de la Commission.

| 25. | Plusieurs pays, dont certains États membres, développent cette approche, mais celle-ci n’est nullement uniforme. Il est moins facile de tirer des enseignements de l’expérience des États-Unis et du Canada que de celle d’États membres de l’UE. |
| --- | --- |

25.

Plusieurs pays, dont certains États membres, développent cette approche, mais celle-ci n’est nullement uniforme. Il est moins facile de tirer des enseignements de l’expérience des États-Unis et du Canada que de celle d’États membres de l’UE.

| 26. | La Commission considère qu’un système d’évaluation et de suivi efficace a été mis en place pendant la période couverte par l’audit de la Cour (voir aussi la réponse au point 23). |
| --- | --- |

26.

La Commission considère qu’un système d’évaluation et de suivi efficace a été mis en place pendant la période couverte par l’audit de la Cour (voir aussi la réponse au point 23).

| 28. | Il est difficile, compte tenu notamment du caractère incertain de la recherche, de garantir que tous les objectifs satisfont précisément aux critères SMART. Tous les programmes de travail du septième PC contiennent les analyses d’impact attendues, qui reflètent les objectifs, les motivations et les activités définis dans les programmes spécifiques. |
| --- | --- |

28.

Il est difficile, compte tenu notamment du caractère incertain de la recherche, de garantir que tous les objectifs satisfont précisément aux critères SMART. Tous les programmes de travail du septième PC contiennent les analyses d’impact attendues, qui reflètent les objectifs, les motivations et les activités définis dans les programmes spécifiques.

| 29. | Une attention accrue a été accordée aux réalisations à court terme au cours de la période couverte par l’audit de la Cour; des analyses à plus long terme sont possibles. |
| --- | --- |

29.

Une attention accrue a été accordée aux réalisations à court terme au cours de la période couverte par l’audit de la Cour; des analyses à plus long terme sont possibles.

| 30. | À l’échelon du PC, un système de suivi est en cours d’élaboration par la Commission pour le septième PC, afin d’assurer une utilisation plus cohérente et systématique des indicateurs de performance. Plusieurs initiatives distinctes pour le développement d’indicateurs de performance sont également en cours dans les différents services qui mettent en œuvre le septième PC. |
| --- | --- |

30.

À l’échelon du PC, un système de suivi est en cours d’élaboration par la Commission pour le septième PC, afin d’assurer une utilisation plus cohérente et systématique des indicateurs de performance. Plusieurs initiatives distinctes pour le développement d’indicateurs de performance sont également en cours dans les différents services qui mettent en œuvre le septième PC.

| 34. | La Commission s’est déjà engagée à clarifier davantage la logique d’intervention des programmes, en mettant à profit les progrès intégrés dans la législation du septième PC et les analyses d’impact, et elle examinera les recommandations de la Cour pour les propositions législatives futures. |
| --- | --- |

34.

La Commission s’est déjà engagée à clarifier davantage la logique d’intervention des programmes, en mettant à profit les progrès intégrés dans la législation du septième PC et les analyses d’impact, et elle examinera les recommandations de la Cour pour les propositions législatives futures.

| 35. | La Commission accueille favorablement la recommandation de la Cour demandant une clarification des objectifs des programmes du septième PC et elle s’efforcera de la suivre, dans les limites des actes de base correspondants adoptés par le Parlement européen et le Conseil. |
| --- | --- |

35.

La Commission accueille favorablement la recommandation de la Cour demandant une clarification des objectifs des programmes du septième PC et elle s’efforcera de la suivre, dans les limites des actes de base correspondants adoptés par le Parlement européen et le Conseil.

| 36-37. | La Commission accueille favorablement les recommandations de la Cour et prend des initiatives pour développer la mesure des performances et modifier la nomenclature GPA/EBA. |
| --- | --- |

36-37.

La Commission accueille favorablement les recommandations de la Cour et prend des initiatives pour développer la mesure des performances et modifier la nomenclature GPA/EBA.

| 38-39. | La Commission considère que sa stratégie d’évaluation appliquée aux PC devrait définir des principes communs pour l’organisation et le développement de l’évaluation et du suivi des PC. La stratégie devrait fournir une déclaration d’intention, définir les éléments essentiels du système, notamment les exercices majeurs, et élaborer une vision pour l’avenir. Elle devrait rester ciblée sur le niveau stratégique, compte tenu du système d’évaluation décentralisé de la Commission pour les PC. |
| --- | --- |

38-39.

La Commission considère que sa stratégie d’évaluation appliquée aux PC devrait définir des principes communs pour l’organisation et le développement de l’évaluation et du suivi des PC. La stratégie devrait fournir une déclaration d’intention, définir les éléments essentiels du système, notamment les exercices majeurs, et élaborer une vision pour l’avenir. Elle devrait rester ciblée sur le niveau stratégique, compte tenu du système d’évaluation décentralisé de la Commission pour les PC.

| 41. | Les principaux éléments stratégiques de l’approche de l’évaluation et du suivi adoptée par la Commission ont été définis dans les actes de base successifs relatifs aux PC depuis le milieu des années 1990 (voir l’annexe II).
  Depuis que la Commission a adopté sa communication sur l’évaluation de la recherche en 1996, son approche de l’évaluation des PC a été affinée par un processus continu, et des modifications non négligeables ont été apportées aux exercices d’évaluation (voir le graphique 2 du document de la Cour).
  Pour la période de programmation actuelle, la stratégie d’évaluation prévue par la Commission est définie de manière plus explicite dans l’analyse d’impact ex ante du septième PC [SEC(2005) 430]. Elle couvre la conception du système d’évaluation, la manière dont celui-ci sera mis en œuvre et un calendrier détaillé des évaluations prévues au niveau du PC.
  Des efforts supplémentaires seront nécessaires pour traduire cette stratégie en plans spécifiques, et la Commission recourra à des structures de coordination spécifiques à cette fin. |
| --- | --- |

41.

Les principaux éléments stratégiques de l’approche de l’évaluation et du suivi adoptée par la Commission ont été définis dans les actes de base successifs relatifs aux PC depuis le milieu des années 1990 (voir l’annexe II).

Depuis que la Commission a adopté sa communication sur l’évaluation de la recherche en 1996, son approche de l’évaluation des PC a été affinée par un processus continu, et des modifications non négligeables ont été apportées aux exercices d’évaluation (voir le graphique 2 du document de la Cour).

Pour la période de programmation actuelle, la stratégie d’évaluation prévue par la Commission est définie de manière plus explicite dans l’analyse d’impact ex ante du septième PC [SEC(2005) 430]. Elle couvre la conception du système d’évaluation, la manière dont celui-ci sera mis en œuvre et un calendrier détaillé des évaluations prévues au niveau du PC.

Des efforts supplémentaires seront nécessaires pour traduire cette stratégie en plans spécifiques, et la Commission recourra à des structures de coordination spécifiques à cette fin.

| 43. | Tout en prenant acte des observations de la Cour, la Commission fait remarquer que la situation aux États-Unis et au Canada est considérablement plus nuancée que la présentation qu’en donnent des stratégies d’évaluation considérées isolément. |
| --- | --- |

43.

Tout en prenant acte des observations de la Cour, la Commission fait remarquer que la situation aux États-Unis et au Canada est considérablement plus nuancée que la présentation qu’en donnent des stratégies d’évaluation considérées isolément.

| 44. | Les différences observées, pour l’ensemble du PC, dans l’approche de l’évaluation et son utilisation, reflètent le système décentralisé de la Commission, qui lie l’évaluation à la prise de décision. |
| --- | --- |

44.

Les différences observées, pour l’ensemble du PC, dans l’approche de l’évaluation et son utilisation, reflètent le système décentralisé de la Commission, qui lie l’évaluation à la prise de décision.

| 46. | Compte tenu de l’organisation décentralisée de la Commission, il appartient aux services opérationnels responsables de préciser quel est le niveau approprié pour l’activité d’évaluation (voir aussi les réponses aux points 41 et 49).






  — | (deuxième tiret) L’évaluation quinquennale de 2004 (1999-2003), coordonnée par la DG Recherche, a donné lieu à une évaluation à l’échelon de l’ensemble du PC. La décision de mener des exercices distincts à l’échelon des programmes reflétait les besoins des services concernés et les différences du contexte et de l’échelle des activités concernées. |
| --- | --- | --- |

46.

Compte tenu de l’organisation décentralisée de la Commission, il appartient aux services opérationnels responsables de préciser quel est le niveau approprié pour l’activité d’évaluation (voir aussi les réponses aux points 41 et 49).

—

(deuxième tiret) L’évaluation quinquennale de 2004 (1999-2003), coordonnée par la DG Recherche, a donné lieu à une évaluation à l’échelon de l’ensemble du PC. La décision de mener des exercices distincts à l’échelon des programmes reflétait les besoins des services concernés et les différences du contexte et de l’échelle des activités concernées.

| 47. | L’évaluation quinquennale de 2004 a fourni en temps utile une évaluation coordonnée et complète à l’échelon du PC, conformément au règlement financier. Elle a été menée par des experts externes éminents et ses résultats ont été largement diffusés. |
| --- | --- |

47.

L’évaluation quinquennale de 2004 a fourni en temps utile une évaluation coordonnée et complète à l’échelon du PC, conformément au règlement financier. Elle a été menée par des experts externes éminents et ses résultats ont été largement diffusés.

| 48. | Voir les réponses aux points 41 et 46. |
| --- | --- |

48.

Voir les réponses aux points 41 et 46.

| 49. | Pour la période de programmation actuelle, la stratégie d’évaluation prévue par la Commission est définie dans l’analyse d’impact ex ante du septième PC [SEC(2005) 430]. Elle couvre la conception du système d’évaluation, la manière dont celui-ci sera mis en œuvre et un calendrier détaillé des évaluations prévues au niveau du PC.
  La Commission reconnaît que des efforts supplémentaires seront nécessaires pour traduire cette stratégie en plans spécifiques, et elle recourra à des structures de coordination spécifiques à cette fin.
  La Commission considère toutefois qu’il n’est pas toujours possible de définir un niveau minimal d’évaluation détaillée, compte tenu de la nécessité de conserver une souplesse suffisante pour permettre aux responsables de déterminer les véritables besoins en matière d’évaluation. |
| --- | --- |

49.

Pour la période de programmation actuelle, la stratégie d’évaluation prévue par la Commission est définie dans l’analyse d’impact ex ante du septième PC [SEC(2005) 430]. Elle couvre la conception du système d’évaluation, la manière dont celui-ci sera mis en œuvre et un calendrier détaillé des évaluations prévues au niveau du PC.

La Commission reconnaît que des efforts supplémentaires seront nécessaires pour traduire cette stratégie en plans spécifiques, et elle recourra à des structures de coordination spécifiques à cette fin.

La Commission considère toutefois qu’il n’est pas toujours possible de définir un niveau minimal d’évaluation détaillée, compte tenu de la nécessité de conserver une souplesse suffisante pour permettre aux responsables de déterminer les véritables besoins en matière d’évaluation.

| 51. | Les PC sont mis en œuvre conjointement par les DG «recherche», qui agissent de manière indépendante et coopèrent en tant que de besoin. |
| --- | --- |

51.

Les PC sont mis en œuvre conjointement par les DG «recherche», qui agissent de manière indépendante et coopèrent en tant que de besoin.

| 52. | EuropeAid a des responsabilités opérationnelles et de gestion qu’elle exerce en collaboration avec les délégations de la Commission et des organismes de mise en œuvre dans les pays tiers. Compte tenu de cette particularité, il est difficile de prendre cette branche de la Commission comme exemple, étant donné que son fonctionnement n’est pas comparable au système décentralisé des rôles et responsabilités dans le domaine de la recherche. |
| --- | --- |

52.

EuropeAid a des responsabilités opérationnelles et de gestion qu’elle exerce en collaboration avec les délégations de la Commission et des organismes de mise en œuvre dans les pays tiers. Compte tenu de cette particularité, il est difficile de prendre cette branche de la Commission comme exemple, étant donné que son fonctionnement n’est pas comparable au système décentralisé des rôles et responsabilités dans le domaine de la recherche.

| 53. | Le «réseau d’évaluation de la RDT» interne à la Commission fournit des moyens informels pour le développement d’une stratégie d’évaluation et pour la coordination d’exercices d’évaluation au niveau du PC. Ce mécanisme souple s’est avéré très utile. |
| --- | --- |

53.

Le «réseau d’évaluation de la RDT» interne à la Commission fournit des moyens informels pour le développement d’une stratégie d’évaluation et pour la coordination d’exercices d’évaluation au niveau du PC. Ce mécanisme souple s’est avéré très utile.

| 55. | La révision récente des standards de contrôle internes de la Commission, adoptée le 16 octobre 2007 [SEC(2007) 1341], englobe les 21 standards d’évaluation, et le respect de ces standards figurera par conséquent parmi les aspects couverts par les rapports d’activité annuels des DG.
  Les services centraux de la Commission, et notamment la DG Budget, participent activement aux différentes étapes du processus d’évaluation.
  Les activités d’évaluation des services peuvent faire l’objet d’audits de la part de la structure d’audit interne et du service d’audit interne.
  À l’avenir, l’évaluation des exigences de qualité minimale aura recours au «cadre d’évaluation de la qualité» (3) élaboré récemment par la Commission. Depuis 2007, le contrôle de la qualité pour l’analyse d’impact prospective a bénéficié de l’assistance du «comité d’analyses d’impact». |
| --- | --- |

55.

La révision récente des standards de contrôle internes de la Commission, adoptée le 16 octobre 2007 [SEC(2007) 1341], englobe les 21 standards d’évaluation, et le respect de ces standards figurera par conséquent parmi les aspects couverts par les rapports d’activité annuels des DG.

Les services centraux de la Commission, et notamment la DG Budget, participent activement aux différentes étapes du processus d’évaluation.

Les activités d’évaluation des services peuvent faire l’objet d’audits de la part de la structure d’audit interne et du service d’audit interne.

À l’avenir, l’évaluation des exigences de qualité minimale aura recours au «cadre d’évaluation de la qualité» (3) élaboré récemment par la Commission. Depuis 2007, le contrôle de la qualité pour l’analyse d’impact prospective a bénéficié de l’assistance du «comité d’analyses d’impact».

| 56. | La comparaison fournie à l’annexe III couvre la période qui fait l’objet de l’audit de la Cour. Par conséquent, elle ne tient pas compte d’améliorations sensibles réalisées dans le cadre du septième PC, surtout en ce qui concerne une nouvelle stratégie d’évaluation, une logique d’intervention plus explicite et des indications claires sur les résultats attendus dans les programmes de travail.
  La Cour met en exergue certains États membres où les responsabilités de l’évaluation et du financement sont séparées. Il existe aussi d’autres exemples (le Royaume-Uni, notamment) où l’évaluation fait partie de la gestion des programmes (comme c’est le cas à la Commission). Sur la question clé de l’indépendance, l’audit de la Cour a montré que les partenaires extérieurs sont satisfaits de la performance de la Commission (voir le point 58 et le graphique 4 du document de la Cour). |
| --- | --- |

56.

La comparaison fournie à l’annexe III couvre la période qui fait l’objet de l’audit de la Cour. Par conséquent, elle ne tient pas compte d’améliorations sensibles réalisées dans le cadre du septième PC, surtout en ce qui concerne une nouvelle stratégie d’évaluation, une logique d’intervention plus explicite et des indications claires sur les résultats attendus dans les programmes de travail.

La Cour met en exergue certains États membres où les responsabilités de l’évaluation et du financement sont séparées. Il existe aussi d’autres exemples (le Royaume-Uni, notamment) où l’évaluation fait partie de la gestion des programmes (comme c’est le cas à la Commission). Sur la question clé de l’indépendance, l’audit de la Cour a montré que les partenaires extérieurs sont satisfaits de la performance de la Commission (voir le point 58 et le graphique 4 du document de la Cour).

| 59. | — | (premier tiret) Il est difficile d’assurer une participation adéquate de membres à haut niveau à des groupes réunis sur de longues périodes. |
| --- | --- | --- |

59.

—

(premier tiret) Il est difficile d’assurer une participation adéquate de membres à haut niveau à des groupes réunis sur de longues périodes.

| — | (deuxième tiret) Le mandat des groupes d’experts au niveau du PC est défini par une décision de la Commission, après une large consultation informelle des parties prenantes, incluant l’avis officiel des comités de programme du septième PC composés de représentants des États membres et des pays associés. Ce sera aussi le cas pour la prochaine évaluation ex post du sixième PC en 2008. |
| --- | --- |

—

(deuxième tiret) Le mandat des groupes d’experts au niveau du PC est défini par une décision de la Commission, après une large consultation informelle des parties prenantes, incluant l’avis officiel des comités de programme du septième PC composés de représentants des États membres et des pays associés. Ce sera aussi le cas pour la prochaine évaluation ex post du sixième PC en 2008.

| 62. | L’objectif consistant à consacrer 0,5 % du budget d’un programme à l’évaluation est recommandé par la Commission à titre de moyenne. Les ressources effectivement allouées à cette activité dépendent beaucoup de la nature du programme. |
| --- | --- |

62.

L’objectif consistant à consacrer 0,5 % du budget d’un programme à l’évaluation est recommandé par la Commission à titre de moyenne. Les ressources effectivement allouées à cette activité dépendent beaucoup de la nature du programme.

| 66. | Tout en n’estimant pas nécessaire de mettre en place un bureau d’évaluation conjoint, la Commission accepte d’envisager d’autres options pour améliorer la coordination.
  Le lien entre évaluation et processus décisionnel de gestion peut être assuré au mieux par les fonctions d’évaluation présentes dans chaque DG, et en donnant un nouvel élan au «réseau d’évaluation de la RDT» interne à la Commission, avec l’appui des services centraux. Cette organisation correspond aux processus législatif et budgétaire, comme le prévoient le règlement financier, la communication de la Commission de 2007 sur l’évaluation et les procédures dans le cadre de la GBA. |
| --- | --- |

66.

Tout en n’estimant pas nécessaire de mettre en place un bureau d’évaluation conjoint, la Commission accepte d’envisager d’autres options pour améliorer la coordination.

Le lien entre évaluation et processus décisionnel de gestion peut être assuré au mieux par les fonctions d’évaluation présentes dans chaque DG, et en donnant un nouvel élan au «réseau d’évaluation de la RDT» interne à la Commission, avec l’appui des services centraux. Cette organisation correspond aux processus législatif et budgétaire, comme le prévoient le règlement financier, la communication de la Commission de 2007 sur l’évaluation et les procédures dans le cadre de la GBA.

| 67. | La Commission reconnaît que les groupes d’experts peuvent jouer un rôle important en matière d’évaluation. Tout en convenant que les groupes d’experts devraient être convoqués à un stade aussi précoce que possible afin de contribuer à une évaluation spécifique, elle ne juge pas approprié d’établir des groupes permanents pour toute la période de programmation.
  Un groupe spécialisé, convoqué à des fins spécifiques, est toutefois plus susceptible de contribuer à la clarté et à la cohérence. |
| --- | --- |

67.

La Commission reconnaît que les groupes d’experts peuvent jouer un rôle important en matière d’évaluation. Tout en convenant que les groupes d’experts devraient être convoqués à un stade aussi précoce que possible afin de contribuer à une évaluation spécifique, elle ne juge pas approprié d’établir des groupes permanents pour toute la période de programmation.

Un groupe spécialisé, convoqué à des fins spécifiques, est toutefois plus susceptible de contribuer à la clarté et à la cohérence.

| 68. | La Commission évaluera soigneusement les besoins en ressources pour mener à bien l’évaluation des PC au cours des prochaines années. |
| --- | --- |

68.

La Commission évaluera soigneusement les besoins en ressources pour mener à bien l’évaluation des PC au cours des prochaines années.

| 70-71. | Des orientations méthodologiques pour l’évaluation, incluant des informations sur les outils disponibles et un glossaire de termes, sont fournies par le guide de la DG Budget (4), que les services, notamment les «DG Recherche», sont occupés à mettre à jour.
  Par ailleurs, la DG Entreprise a élaboré en 2002 des orientations spécifiques en matière d’évaluation qui couvrent toutes les activités dont cette DG est responsable, y compris les PC.
  D’autres initiatives de soutien seront envisagées pour le «réseau européen d’évaluation RDT» (composé d’experts des États membres et des pays associés) qui a été relancé, et pour le «réseau d’évaluation de la RDT» interne à la Commission. La Commission continuera aussi à soutenir des études et ateliers indépendants sur les méthodologies d’évaluation. |
| --- | --- |

70-71.

Des orientations méthodologiques pour l’évaluation, incluant des informations sur les outils disponibles et un glossaire de termes, sont fournies par le guide de la DG Budget (4), que les services, notamment les «DG Recherche», sont occupés à mettre à jour.

Par ailleurs, la DG Entreprise a élaboré en 2002 des orientations spécifiques en matière d’évaluation qui couvrent toutes les activités dont cette DG est responsable, y compris les PC.

D’autres initiatives de soutien seront envisagées pour le «réseau européen d’évaluation RDT» (composé d’experts des États membres et des pays associés) qui a été relancé, et pour le «réseau d’évaluation de la RDT» interne à la Commission. La Commission continuera aussi à soutenir des études et ateliers indépendants sur les méthodologies d’évaluation.

| 72. | La Commission reconnaît que le processus de collecte systématique de données provenant des projets n’a eu qu’une efficacité partielle. Les procédures de présentation de rapports sur les projets ont été révisées dans le cadre du sixième PC et seront encore améliorées pour le septième PC (par exemple, la présentation de rapports périodiques sera simplifiée; les questionnaires intermédiaires ont été supprimés; l’utilité des rapports finaux sera renforcée, notamment en ce qui concerne la collecte de données sur la mise en œuvre et les résultats des projets). |
| --- | --- |

72.

La Commission reconnaît que le processus de collecte systématique de données provenant des projets n’a eu qu’une efficacité partielle. Les procédures de présentation de rapports sur les projets ont été révisées dans le cadre du sixième PC et seront encore améliorées pour le septième PC (par exemple, la présentation de rapports périodiques sera simplifiée; les questionnaires intermédiaires ont été supprimés; l’utilité des rapports finaux sera renforcée, notamment en ce qui concerne la collecte de données sur la mise en œuvre et les résultats des projets).

| 74. | Les «DG Recherche» sont occupées à élaborer un nouveau système informatique pour le septième PC, avec le soutien de la DG Informatique. Ce soutien informatique amélioré vise à constituer une base plus solide pour l’évaluation et le suivi. |
| --- | --- |

74.

Les «DG Recherche» sont occupées à élaborer un nouveau système informatique pour le septième PC, avec le soutien de la DG Informatique. Ce soutien informatique amélioré vise à constituer une base plus solide pour l’évaluation et le suivi.

| 76-78. | L’obtention de données pour l’évaluation n’a été que partiellement efficace au cours de la période qui fait l’objet de l’audit. La Commission apporte des améliorations dans le cadre du septième PC (voir la réponse au point 72). |
| --- | --- |

76-78.

L’obtention de données pour l’évaluation n’a été que partiellement efficace au cours de la période qui fait l’objet de l’audit. La Commission apporte des améliorations dans le cadre du septième PC (voir la réponse au point 72).

| 79. | La Commission cherche à encourager les types d’études quantitatives proposés par la Cour. |
| --- | --- |

79.

La Commission cherche à encourager les types d’études quantitatives proposés par la Cour.

| 81. | Selon la Commission, un grand nombre d’évaluations plus intéressantes sur le plan méthodologique ont été réalisées récemment (voir le point 84) et il convient d’établir une distinction entre les évaluations à grande échelle et les exercices plus courants. |
| --- | --- |

81.

Selon la Commission, un grand nombre d’évaluations plus intéressantes sur le plan méthodologique ont été réalisées récemment (voir le point 84) et il convient d’établir une distinction entre les évaluations à grande échelle et les exercices plus courants.

| 82. | La Commission reconnaît qu’en général, le travail d’évaluation a accordé une plus grande attention aux évaluations à court terme, et elle convient que les résultats et impacts peuvent faire l’objet d’analyses plus fournies. Toutefois, une telle approche nécessite une perspective à plus long terme, de sorte que les évaluations de la Commission sont habituellement comparables aux travaux analogues menés ailleurs. |
| --- | --- |

82.

La Commission reconnaît qu’en général, le travail d’évaluation a accordé une plus grande attention aux évaluations à court terme, et elle convient que les résultats et impacts peuvent faire l’objet d’analyses plus fournies. Toutefois, une telle approche nécessite une perspective à plus long terme, de sorte que les évaluations de la Commission sont habituellement comparables aux travaux analogues menés ailleurs.

| 83. | La Commission s’efforce de respecter l’indépendance des experts évaluateurs, notamment en ce qui concerne le choix des méthodologies appropriées.
  Pour l’évaluation ex post du septième PC en 2008, il est proposé de mener des études sur l’«additionnalité» comportementale, l’analyse de réseaux et l’utilisation d’approches scientométriques. |
| --- | --- |

83.

La Commission s’efforce de respecter l’indépendance des experts évaluateurs, notamment en ce qui concerne le choix des méthodologies appropriées.

Pour l’évaluation ex post du septième PC en 2008, il est proposé de mener des études sur l’«additionnalité» comportementale, l’analyse de réseaux et l’utilisation d’approches scientométriques.

| 84. | Une méta-analyse d’études antérieures sur l’évaluation a été effectuée par un expert indépendant pour l’évaluation quinquennale de 2004 (1999-2003) (5).






  — | (second alinéa) Outre les études visées par la Cour, d’autres études importantes ont été lancées en 2007 (6). |
| --- | --- | --- |

84.

Une méta-analyse d’études antérieures sur l’évaluation a été effectuée par un expert indépendant pour l’évaluation quinquennale de 2004 (1999-2003) (5).

—

(second alinéa) Outre les études visées par la Cour, d’autres études importantes ont été lancées en 2007 (6).

| 85. | La Commission admet qu’il reste nécessaire d’élaborer de nouvelles approches méthodologiques afin de tenir compte de l’évolution de la nature des PC. Ce développement méthodologique est soutenu par la Commission, et continuera à l’être. |
| --- | --- |

85.

La Commission admet qu’il reste nécessaire d’élaborer de nouvelles approches méthodologiques afin de tenir compte de l’évolution de la nature des PC. Ce développement méthodologique est soutenu par la Commission, et continuera à l’être.

| 86. | Étant donné que les questions figurant dans le mandat pour l’évaluation quinquennale de 2004 (1999-2003) étaient uniquement indicatives, le groupe d’experts était libre de choisir les domaines sur lesquels il porterait son attention et de déterminer ses modalités de travail. Les membres du groupe d’experts ont fait état de l’excellence de l’exercice (7). |
| --- | --- |

86.

Étant donné que les questions figurant dans le mandat pour l’évaluation quinquennale de 2004 (1999-2003) étaient uniquement indicatives, le groupe d’experts était libre de choisir les domaines sur lesquels il porterait son attention et de déterminer ses modalités de travail. Les membres du groupe d’experts ont fait état de l’excellence de l’exercice (7).

| 87. | La nature même d’un programme de recherche, qui implique l’incertitude, limite la possibilité de fixer des objectifs quantifiables. |
| --- | --- |

87.

La nature même d’un programme de recherche, qui implique l’incertitude, limite la possibilité de fixer des objectifs quantifiables.

| 90. | En 2007, la Commission a relancé son «réseau européen d’évaluation RDT», composé de fonctionnaires et d’experts en évaluation des États membres, qu’elle prévoit de mettre à contribution pour promouvoir une cohérence accrue dans les activités d’évaluation de la recherche de l’UE, notamment en ce qui concerne les études d’impact à l’échelon des États membres. |
| --- | --- |

90.

En 2007, la Commission a relancé son «réseau européen d’évaluation RDT», composé de fonctionnaires et d’experts en évaluation des États membres, qu’elle prévoit de mettre à contribution pour promouvoir une cohérence accrue dans les activités d’évaluation de la recherche de l’UE, notamment en ce qui concerne les études d’impact à l’échelon des États membres.

| 91. | La Commission examinera la possibilité d’élaborer un nouveau manuel pour l’évaluation des PC, en tenant compte d’exemples récents (8). |
| --- | --- |

91.

La Commission examinera la possibilité d’élaborer un nouveau manuel pour l’évaluation des PC, en tenant compte d’exemples récents (8).

| 92. | Les procédures de présentation de rapports sur les projets ont été révisées dans le cadre du sixième PC et seront encore améliorées pour le septième PC (voir la réponse au point 72). |
| --- | --- |

92.

Les procédures de présentation de rapports sur les projets ont été révisées dans le cadre du sixième PC et seront encore améliorées pour le septième PC (voir la réponse au point 72).

| 93. | À l’échelon du PC, la Commission est occupée à élaborer un système de suivi pour le septième PC, afin d’assurer une utilisation plus cohérente et systématique des indicateurs de performance (voir la réponse au point 30).
  Les «DG Recherche» sont occupées à élaborer un nouveau système informatique pour le septième PC, avec le soutien de la DG Informatique. Ce soutien informatique amélioré vise à constituer une base plus solide pour l’évaluation et le suivi. |
| --- | --- |

93.

À l’échelon du PC, la Commission est occupée à élaborer un système de suivi pour le septième PC, afin d’assurer une utilisation plus cohérente et systématique des indicateurs de performance (voir la réponse au point 30).

Les «DG Recherche» sont occupées à élaborer un nouveau système informatique pour le septième PC, avec le soutien de la DG Informatique. Ce soutien informatique amélioré vise à constituer une base plus solide pour l’évaluation et le suivi.

| 94. | La Commission partage la préoccupation de la Cour par rapport à la charge que constitue l’établissement de rapports, et en a particulièrement tenu compte lors de la définition des exigences de présentation de rapports applicables au septième PC (voir la réponse au point 72). |
| --- | --- |

94.

La Commission partage la préoccupation de la Cour par rapport à la charge que constitue l’établissement de rapports, et en a particulièrement tenu compte lors de la définition des exigences de présentation de rapports applicables au septième PC (voir la réponse au point 72).

| 95. | La Commission poursuit des efforts visant à exploiter les sources existantes et de nouvelles sources de données pour l’évaluation et le suivi (voir la réponse au point 72). |
| --- | --- |

95.

La Commission poursuit des efforts visant à exploiter les sources existantes et de nouvelles sources de données pour l’évaluation et le suivi (voir la réponse au point 72).

| 96. | Le septième PC comporte une ligne d’action spécifique sous le thème 8 (Sciences sociales et humaines) pour traiter les approches innovantes de l’évaluation et du suivi. |
| --- | --- |

96.

Le septième PC comporte une ligne d’action spécifique sous le thème 8 (Sciences sociales et humaines) pour traiter les approches innovantes de l’évaluation et du suivi.

| 97. | En 2007, la Commission a relancé son réseau européen d’évaluation RDT (voir les réponses aux points 70-71 et 90), qu’elle prévoit de mettre à contribution pour promouvoir une cohérence accrue dans les activités d’évaluation de la recherche de l’UE, notamment en ce qui concerne les études d’impact à l’échelon des États membres.
  La Commission a aussi l’intention de rester à l’avant-garde du soutien à la mise en réseau et au partage des pratiques d’évaluation de la recherche au niveau international, par des ateliers et d’autres événements. |
| --- | --- |

97.

En 2007, la Commission a relancé son réseau européen d’évaluation RDT (voir les réponses aux points 70-71 et 90), qu’elle prévoit de mettre à contribution pour promouvoir une cohérence accrue dans les activités d’évaluation de la recherche de l’UE, notamment en ce qui concerne les études d’impact à l’échelon des États membres.

La Commission a aussi l’intention de rester à l’avant-garde du soutien à la mise en réseau et au partage des pratiques d’évaluation de la recherche au niveau international, par des ateliers et d’autres événements.

| 99. | Le calendrier de l’évaluation est déterminé par les exigences spécifiées dans les actes de base adoptés par le Parlement européen et le Conseil. La Commission reconnaît que les impacts à long terme sont peu connus et qu’il est possible de consacrer davantage de travaux à cette question. |
| --- | --- |

99.

Le calendrier de l’évaluation est déterminé par les exigences spécifiées dans les actes de base adoptés par le Parlement européen et le Conseil. La Commission reconnaît que les impacts à long terme sont peu connus et qu’il est possible de consacrer davantage de travaux à cette question.

| 100. | La Commission reconnaît que les évaluations quinquennales ont été axées davantage sur le court terme que sur le long terme. Cela s’explique par des facteurs tels que l’intérêt de parties prenantes externes, telles que le Parlement européen et le Conseil, pour un retour d’information rapide concernant la réalisation du PC, le défi qu’implique l’attribution de certains effets à la recherche sur le long terme, et l’angle d’analyse choisi par les groupes d’experts indépendants qui mènent les exercices. La Commission admet toutefois que l’évaluation des effets à long terme nécessite une attention accrue. |
| --- | --- |

100.

La Commission reconnaît que les évaluations quinquennales ont été axées davantage sur le court terme que sur le long terme. Cela s’explique par des facteurs tels que l’intérêt de parties prenantes externes, telles que le Parlement européen et le Conseil, pour un retour d’information rapide concernant la réalisation du PC, le défi qu’implique l’attribution de certains effets à la recherche sur le long terme, et l’angle d’analyse choisi par les groupes d’experts indépendants qui mènent les exercices. La Commission admet toutefois que l’évaluation des effets à long terme nécessite une attention accrue.

| 108. | La Commission est occupée à planifier les principales activités d’évaluation au titre du septième PC et elle tiendra soigneusement compte de la recommandation de la Cour. Elle reconnaît que les impacts à long terme sont peu connus et qu’il est possible de consacrer davantage de travaux à cette question. |
| --- | --- |

108.

La Commission est occupée à planifier les principales activités d’évaluation au titre du septième PC et elle tiendra soigneusement compte de la recommandation de la Cour. Elle reconnaît que les impacts à long terme sont peu connus et qu’il est possible de consacrer davantage de travaux à cette question.

| 109. | Ainsi que le fait remarquer la Cour au point 107, la Commission fournit un résumé de toutes les conclusions et des mesures prises pour l’évaluation de la recherche dans son «bilan annuel d’évaluation». La Commission s’est engagée à une transparence totale sur son travail d’évaluation et suivra la recommandation de la Cour lui demandant de revoir ses pratiques en matière de communication et de diffusion des constatations. |
| --- | --- |

109.

Ainsi que le fait remarquer la Cour au point 107, la Commission fournit un résumé de toutes les conclusions et des mesures prises pour l’évaluation de la recherche dans son «bilan annuel d’évaluation». La Commission s’est engagée à une transparence totale sur son travail d’évaluation et suivra la recommandation de la Cour lui demandant de revoir ses pratiques en matière de communication et de diffusion des constatations.

| 110-111. | La Commission partage l’avis de la Cour selon lequel l’évaluation de la recherche, et notamment d’un programme aussi vaste que le PC, est très difficile.
  Elle constate que des améliorations marquantes ont été apportées au système au cours des 25 dernières années et que, globalement, celui-ci a rempli son rôle pour les responsables de l’élaboration des politiques, les dirigeants de la recherche et les autres parties prenantes. |
| --- | --- |

110-111.

La Commission partage l’avis de la Cour selon lequel l’évaluation de la recherche, et notamment d’un programme aussi vaste que le PC, est très difficile.

Elle constate que des améliorations marquantes ont été apportées au système au cours des 25 dernières années et que, globalement, celui-ci a rempli son rôle pour les responsables de l’élaboration des politiques, les dirigeants de la recherche et les autres parties prenantes.

| 112. | La Commission se félicite de l’observation de la Cour selon laquelle les DG chargées de la mise en œuvre des PC se sont conformées aux exigences de la Commission, y compris celles spécifiées dans les communications de 2000 et 2002 sur l’évaluation.
  Des modifications non négligeables ont été apportées à l’évaluation des PC, notamment une restructuration majeure pour le septième PC, exposée dans la stratégie fournie par l’analyse d’impact [SEC(2005) 430]. |
| --- | --- |

112.

La Commission se félicite de l’observation de la Cour selon laquelle les DG chargées de la mise en œuvre des PC se sont conformées aux exigences de la Commission, y compris celles spécifiées dans les communications de 2000 et 2002 sur l’évaluation.

Des modifications non négligeables ont été apportées à l’évaluation des PC, notamment une restructuration majeure pour le septième PC, exposée dans la stratégie fournie par l’analyse d’impact [SEC(2005) 430].

| 113. | En ce qui concerne la pertinence et l’utilité des évaluations, la Commission peut faire état des réactions généralement positives qui lui ont été transmises, notamment à l’occasion des grands exercices récents tels que l’évaluation quinquennale de 2004 (1999-2003). Les constatations de l’évaluation quinquennale ont été largement diffusées, notamment lors de présentations aux principaux organes concernés comme le Parlement européen, le Conseil, le comité de la recherche scientifique et technique (CREST), et les comités de programme du PC. Étant donné que cet exercice devait obligatoirement être mené avant que la Commission ne présente sa proposition relative à un nouveau programme-cadre (en l’occurrence le septième PC), sont acceptabilité globale a été confirmée par l’adoption du septième PC.
  Ceci ne signifie pas qu’aucune amélioration n’est possible, et la Commission reconnaît pleinement la nécessité d’apporter des modifications mûrement réfléchies, fondées sur les éléments de l’approche actuelle qui ont déjà fait leurs preuves. |
| --- | --- |

113.

En ce qui concerne la pertinence et l’utilité des évaluations, la Commission peut faire état des réactions généralement positives qui lui ont été transmises, notamment à l’occasion des grands exercices récents tels que l’évaluation quinquennale de 2004 (1999-2003). Les constatations de l’évaluation quinquennale ont été largement diffusées, notamment lors de présentations aux principaux organes concernés comme le Parlement européen, le Conseil, le comité de la recherche scientifique et technique (CREST), et les comités de programme du PC. Étant donné que cet exercice devait obligatoirement être mené avant que la Commission ne présente sa proposition relative à un nouveau programme-cadre (en l’occurrence le septième PC), sont acceptabilité globale a été confirmée par l’adoption du septième PC.

Ceci ne signifie pas qu’aucune amélioration n’est possible, et la Commission reconnaît pleinement la nécessité d’apporter des modifications mûrement réfléchies, fondées sur les éléments de l’approche actuelle qui ont déjà fait leurs preuves.

| 114. | La Commission apprécie que la Cour reconnaisse l’importance de l’évaluation et du suivi et, en s’appuyant sur les progrès considérables déjà enregistrés, elle continuera à moderniser ses pratiques actuelles à la lumière des nouvelles réalités politiques et pratiques. |
| --- | --- |

114.

La Commission apprécie que la Cour reconnaisse l’importance de l’évaluation et du suivi et, en s’appuyant sur les progrès considérables déjà enregistrés, elle continuera à moderniser ses pratiques actuelles à la lumière des nouvelles réalités politiques et pratiques.

| 115. | La Commission s’est déjà engagée à clarifier davantage la logique d’intervention des programmes, en mettant à profit les progrès intégrés dans la législation du septième PC et les analyses d’impact, et elle examinera les recommandations de la Cour pour les propositions législatives futures. |
| --- | --- |

115.

La Commission s’est déjà engagée à clarifier davantage la logique d’intervention des programmes, en mettant à profit les progrès intégrés dans la législation du septième PC et les analyses d’impact, et elle examinera les recommandations de la Cour pour les propositions législatives futures.

| 116. | Sur la base des améliorations sensibles déjà apportées à l’évaluation du PC, la Commission convient qu’il existe encore une marge d’amélioration, notamment par une coordination plus étroite à l’échelon opérationnel entre les services concernés. La Commission continuera à soutenir les progrès en matière de méthodologie d’évaluation. |
| --- | --- |

116.

Sur la base des améliorations sensibles déjà apportées à l’évaluation du PC, la Commission convient qu’il existe encore une marge d’amélioration, notamment par une coordination plus étroite à l’échelon opérationnel entre les services concernés. La Commission continuera à soutenir les progrès en matière de méthodologie d’évaluation.

| 117. | En ce qui concerne les dispositions organisationnelles, la Commission considère:






  — | (premier tiret) que des groupes d’experts devraient être convoqués au stade le plus précoce possible pour étayer une évaluation spécifique. Des groupes spécialisés, convoqués à des fins spécifiques, sont toutefois plus susceptibles de contribuer à la clarté et à la cohérence, |
| --- | --- | --- |

117.

En ce qui concerne les dispositions organisationnelles, la Commission considère:

—

(premier tiret) que des groupes d’experts devraient être convoqués au stade le plus précoce possible pour étayer une évaluation spécifique. Des groupes spécialisés, convoqués à des fins spécifiques, sont toutefois plus susceptibles de contribuer à la clarté et à la cohérence,

| — | (second tiret) que la coordination entre les DG qui mettent en œuvre les PC doit être renforcée. Outre la nouvelle stratégie d’évaluation du septième PC, cet objectif sera atteint en recourant à des structures de coordination spécifiques pour compléter le «réseau d’évaluation de la RDT» interne à la Commission, plutôt qu’en mettant sur pied un bureau d’évaluation conjoint. |
| --- | --- |

—

(second tiret) que la coordination entre les DG qui mettent en œuvre les PC doit être renforcée. Outre la nouvelle stratégie d’évaluation du septième PC, cet objectif sera atteint en recourant à des structures de coordination spécifiques pour compléter le «réseau d’évaluation de la RDT» interne à la Commission, plutôt qu’en mettant sur pied un bureau d’évaluation conjoint.

---

(1)  «Mise en œuvre de la stratégie de Lisbonne renouvelée pour la croissance et l’emploi», communication de la Commission au Conseil européen de printemps [COM(2006) 816].

(2)  Par exemple, la proposition de la Commission relative au septième PC a été élaborée sur la base d’une analyse d’impact ex ante détaillée, qui incluait la modélisation économétrique des effets potentiels des activités de recherche sur des aspects tels que la croissance économique et la création d’emplois [cf. Commission européenne, «Annexe des propositions de décisions du Conseil et du Parlement européen sur le septième programme-cadre (CE et EURATOM). Évaluation des incidences et évaluation ex-ante», document de travail, SEC(2005) 430]. Les décisions relatives au septième PC offrent une structure claire qui lie objectifs, motivations et activités. En outre, les décisions relatives aux programmes spécifiques du septième PC fixent des objectifs, une approche et des activités.

(3)  Le «cadre pour l’analyse qualitative des évaluations» est disponible à la page http://ec.europa.eu/budget/documents/evaluation_fr.htm.

(4)  Commission européenne, DG Budget, «Evaluating EU Activities — A Practical Guide for the Commission services», juillet 2004, disponible à la page http://ec.europa.eu/budget/publications/other_en.htm.

(5)  E. Arnold, «What the Evaluation Record tells us about the Framework Programme Performance», 2004.

(6)  Commission européenne, DG Recherche, «Les effets de structuration de la recherche communautaire: l’impact du programme-cadre sur la formation d’un réseau de recherche et développement», 2007; Commission européenne, DG Société de l’information et médias, «Effectiveness of IST-RTD Impacts on the EU Innovation System», 2007.

(7)  Voir C. Mandl, «Evaluating Evaluations or The Case for Action Research», Plattform Forschungs- und Technologieevaluierung, no 30, juin 2007.

(8)  Voir, par exemple, Commission européenne, Centre commun de recherche, «Assessing the Socio-Economic Impact of RTD-Policies» (EPUB), 2002; et University of Manchester, «Assessing the Socio-economic Impacts of the Framework Programme» (ASIF), 2002, rapports disponibles à la page http://circa.europa.eu/Public/irc/rtd/fiveyearasskb/library?=/iii-knowledge_base/040-evaluation_methodolo&vm=detailed&sb=Title. Ces rapports ont été largement diffusés et mis à la disposition des contractants et des experts qui réalisent des études d’évaluation pour le compte de la Commission.

---