# Journal officiel C 302/2006

| | ISSN 1725-2431 |
| --- | --- |
| Journal officiel
  de l’Union européenne | C 302 |
| | |
| Édition de langue française | Communications et informations | 49e année12 décembre 2006 |

ISSN 1725-2431

Journal officiel

de l’Union européenne

C 302

Édition de langue française

Communications et informations

49e année12 décembre 2006

---

| Numéro d'information | Sommaire | page |
| --- | --- | --- |
| | I   Communications |
| | Cour des comptes |
| 2006/C 302/1 | Rapport spécial no 10/2006 relatif aux évaluations ex post des programmes relevant des objectifs nos 1 et 3 pour la période 1994-1999 (Fonds structurels), accompagné des réponses de la Commission | 1 |
| 2006/C 302/2 | Avis no 6/2006 sur une proposition de décision du Parlement européen et du Conseil modifiant et prolongeant la décision no 804/2004/CE du Parlement européen et du Conseil établissant un programme d’action communautaire pour la promotion d’actions dans le domaine de la protection des intérêts financiers de la Communauté (programme Hercule II) | 41 |

Numéro d'information

Sommaire

page

I   Communications

Cour des comptes

2006/C 302/1

Rapport spécial no 10/2006 relatif aux évaluations ex post des programmes relevant des objectifs nos 1 et 3 pour la période 1994-1999 (Fonds structurels), accompagné des réponses de la Commission

o

os

1

2006/C 302/2

Avis no 6/2006 sur une proposition de décision du Parlement européen et du Conseil modifiant et prolongeant la décision no 804/2004/CE du Parlement européen et du Conseil établissant un programme d’action communautaire pour la promotion d’actions dans le domaine de la protection des intérêts financiers de la Communauté (programme Hercule II)

o

o

41

| FR | |
| --- | --- |

FR

---

I Communications

Cour des comptes

| 12.12.2006 | FR | Journal officiel de l’Union européenne | C 302/1 |
| --- | --- | --- | --- |

12.12.2006

FR

Journal officiel de l’Union européenne

C 302/1

---

RAPPORT SPÉCIAL N
  o 10/2006

relatif aux évaluations ex post des programmes relevant des objectifs nos 1 et 3 pour la période 1994-1999 (Fonds structurels), accompagné des réponses de la Commission

(présenté en vertu de l’article 248, paragraphe 4, deuxième alinéa, du traité CE)

(2006/C 302/01)

TABLE DES MATIÈRES

Glossaire

| I-XI | SYNTHÈSE |
| --- | --- |

I-XI

| 1-9 | INTRODUCTION |
| --- | --- |

1-9

| 6-9 | Cadre de l’évaluation |
| --- | --- |

6-9

| 7-9 | Objectifs fondamentaux assignés à chaque évaluation |
| --- | --- |

7-9

| 10-14 | ÉTENDUE DE L’AUDIT |
| --- | --- |

10-14

| 15-80 | ÉVALUATION EX POST DE L’OBJECTIF No 1 PAR LA DIRECTION GÉNÉRALE DE LA POLITIQUE RÉGIONALE |
| --- | --- |

15-80

| 16-66 | L’appréciation de la Cour concernant la qualité de l’évaluation |
| --- | --- |

16-66

| 16 | Remarques préliminaires |
| --- | --- |

16

| 17-20 | Évolution des problèmes auxquels les régions sont confrontées depuis 1994 |
| --- | --- |

17-20

| 21-28 | Adéquation des stratégies adoptées |
| --- | --- |

21-28

| 29-40 | Évaluation de l’efficacité |
| --- | --- |

29-40

| 41-44 | Évaluation de l’efficience |
| --- | --- |

41-44

| 45-53 | Évaluation de l’impact des Fonds structurels |
| --- | --- |

45-53

| 54-66 | Évaluation des systèmes de gestion |
| --- | --- |

54-66

| 67-75 | Adéquation du cadre d’évaluation |
| --- | --- |

67-75

| 67-70 | Cahier des charges |
| --- | --- |

67-70

| 71-75 | Adéquation de la supervision par la Commission |
| --- | --- |

71-75

| 76-80 | Pertinence des recommandations pour l’évaluation des périodes de programmation suivantes |
| --- | --- |

76-80

| 81-113 | ÉVALUATION EX POST DES ACTIVITÉS DU FSE (DANS LE CADRE DES OBJECTIFS NOS 1 ET 3) PAR LA DIRECTION GÉNÉRALE DE L’EMPLOI, DES AFFAIRES SOCIALES ET DE L’ÉGALITÉ DES CHANCES |
| --- | --- |

81-113

| 82-113 | L’appréciation de la Cour concernant la qualité de l’évaluation |
| --- | --- |

82-113

| 82-87 | Revue des insuffisances affectant les données et l’analyse |
| --- | --- |

82-87

| 88 | Évaluation de l’impact des interventions du FSE |
| --- | --- |

88

| 89 | Évaluation relative à l’égalité des chances |
| --- | --- |

89

| 90-93 | Autres aspects examinés |
| --- | --- |

90-93

| 94-96 | Commentaires sur l’appréciation globale de la Commission |
| --- | --- |

94-96

| 97-102 | Autres informations tirées des rapports nationaux |
| --- | --- |

97-102

| 103-110 | Adéquation du cadre pour l’évaluation |
| --- | --- |

103-110

| 111-113 | Recommandations concluant l’évaluation |
| --- | --- |

111-113

| 114-118 | CONCLUSIONS |
| --- | --- |

114-118

| 119-125 | RECOMMANDATIONS |
| --- | --- |

119-125

ANNEXES:

Annexe I — Ventilation de l’aide allouée dans le cadre des Fonds structurels

Annexe II — PIB et taux d’emploi

Annexe III — Croissance du PIB et Fonds structurels

Annexe IV — Simulations de Hermin et chômage

Réponses de la Commission

GLOSSAIRE





  ADAPT

| ADAPT | Adaptation de la main-d’œuvre au changement industriel (initiative communautaire visant à favoriser l’emploi et l’adaptation de la main-d’œuvre au changement industriel) |
| --- | --- |
| CCA | Cadre communautaire d’appui |
| Comités de suivi | Comités chargés de superviser la mise en œuvre stratégique du programme de financement |
| DOCUP | Document unique de programmation |
| Effet d’aubaine | Les changements observés parmi les bénéficiaires directs d’une intervention publique ou signalés par ceux-ci à la suite d’une intervention publique, mais qui se seraient produits même sans cette intervention |
| Effet de déplacement | Effet obtenu dans une région éligible au détriment d’une autre région |
| FEDER | Fonds européen de développement régional |
| FSE | Fonds social européen |
| IFOP | Instrument financier d’orientation de la pêche |
| Modèle Hermin | Modèle macroéconomique utilisé pour simuler les répercussions des interventions relevant des Fonds structurels |
| PAMT | Politiques actives du marché de l’emploi |
| PME | Petites et moyennes entreprises |
| PO | Programme opérationnel |
| Rapport de démarrage | Rapport comportant des questions d’ordre méthodologique, comme les objectifs d’évaluation, le cadre méthodologique, les questionnaires et les organisations à contacter |
| Rapport de synthèse | Rapports finals élaborés par la direction générale de la politique régionale (pour l’objectif no 1) et la direction générale de l’emploi et des affaires sociales (pour l’objectif no 3) concernant l’évaluation ex post des opérations financées par le FEDER et le FSE |
| RDT | Recherche et développement technologique |

Adaptation de la main-d’œuvre au changement industriel (initiative communautaire visant à favoriser l’emploi et l’adaptation de la main-d’œuvre au changement industriel)

CCA

Cadre communautaire d’appui

Comités de suivi

Comités chargés de superviser la mise en œuvre stratégique du programme de financement

DOCUP

Document unique de programmation

Effet d’aubaine

Les changements observés parmi les bénéficiaires directs d’une intervention publique ou signalés par ceux-ci à la suite d’une intervention publique, mais qui se seraient produits même sans cette intervention

Effet de déplacement

Effet obtenu dans une région éligible au détriment d’une autre région

FEDER

Fonds européen de développement régional

FSE

Fonds social européen

IFOP

Instrument financier d’orientation de la pêche

Modèle Hermin

Modèle macroéconomique utilisé pour simuler les répercussions des interventions relevant des Fonds structurels

PAMT

Politiques actives du marché de l’emploi

PME

Petites et moyennes entreprises

PO

Programme opérationnel

Rapport de démarrage

Rapport comportant des questions d’ordre méthodologique, comme les objectifs d’évaluation, le cadre méthodologique, les questionnaires et les organisations à contacter

Rapport de synthèse

Rapports finals élaborés par la direction générale de la politique régionale (pour l’objectif no 1) et la direction générale de l’emploi et des affaires sociales (pour l’objectif no 3) concernant l’évaluation ex post des opérations financées par le FEDER et le FSE

RDT

Recherche et développement technologique

SYNTHÈSE

| I. | L’audit a porté sur les évaluations ex post réalisées par la Commission en ce qui concerne les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Le montant total de ces interventions s’est élevé à plus de 245 milliards d’euros, qui comprenaient des investissements conjoints des secteurs privé et public. |
| --- | --- |

I.

L’audit a porté sur les évaluations ex post réalisées par la Commission en ce qui concerne les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Le montant total de ces interventions s’est élevé à plus de 245 milliards d’euros, qui comprenaient des investissements conjoints des secteurs privé et public.

| II. | Une évaluation ex post sert à comparer les effets des dépenses réelles par rapport aux objectifs de départ. Ce mécanisme permet d’exploiter les informations collectées au cours d’une période de programmation donnée afin de rendre les dépenses des Fonds structurels plus efficaces à l’avenir. Les évaluations ex post ont été effectuées par la Commission et par des consultants externes recrutés à cet effet. |
| --- | --- |

II.

Une évaluation ex post sert à comparer les effets des dépenses réelles par rapport aux objectifs de départ. Ce mécanisme permet d’exploiter les informations collectées au cours d’une période de programmation donnée afin de rendre les dépenses des Fonds structurels plus efficaces à l’avenir. Les évaluations ex post ont été effectuées par la Commission et par des consultants externes recrutés à cet effet.

| III. | L’audit visait à déterminer si, à l’issue des évaluations ex post, la Commission avait été en mesure d’évaluer les effets des interventions par rapport aux objectifs fixés et si les résultats et les recommandations de ces évaluations avaient été utiles pour la révision des programmes à partir de 2000. |
| --- | --- |

III.

L’audit visait à déterminer si, à l’issue des évaluations ex post, la Commission avait été en mesure d’évaluer les effets des interventions par rapport aux objectifs fixés et si les résultats et les recommandations de ces évaluations avaient été utiles pour la révision des programmes à partir de 2000.

| IV. | Le présent audit s’est fondé sur les rapports de synthèse finals relatifs à chacun des fonds. Ces rapports présentent une synthèse de l’évaluation globale de l’impact des fonds et recensent les éléments qui devraient être pertinents au moment de prendre des décisions concernant les périodes de programmation ultérieures. L’étape suivante de l’audit a consisté à évaluer la mesure dans laquelle les déficiences constatées pouvaient être imputées à des faiblesses du cahier des charges ou à d’éventuels problèmes qui seraient survenus au cours du processus d’évaluation. |
| --- | --- |

IV.

Le présent audit s’est fondé sur les rapports de synthèse finals relatifs à chacun des fonds. Ces rapports présentent une synthèse de l’évaluation globale de l’impact des fonds et recensent les éléments qui devraient être pertinents au moment de prendre des décisions concernant les périodes de programmation ultérieures. L’étape suivante de l’audit a consisté à évaluer la mesure dans laquelle les déficiences constatées pouvaient être imputées à des faiblesses du cahier des charges ou à d’éventuels problèmes qui seraient survenus au cours du processus d’évaluation.

| V. | Évaluer les dépenses des Fonds structurels est un processus intrinsèquement complexe. L’audit a toutefois permis d’identifier des faiblesses dans le processus d’évaluation qui ne peuvent être attribuées à ces seules contraintes inhérentes à l’exercice. |
| --- | --- |

V.

Évaluer les dépenses des Fonds structurels est un processus intrinsèquement complexe. L’audit a toutefois permis d’identifier des faiblesses dans le processus d’évaluation qui ne peuvent être attribuées à ces seules contraintes inhérentes à l’exercice.

| VI. | Dans le cadre de l’évaluation des interventions financées par les Fonds structurels dans les régions relevant de l’objectif no 1, la Cour a constaté les faiblesses suivantes:






  — | les données sous-jacentes comportaient des écarts, |
| --- | --- | --- |

VI.

Dans le cadre de l’évaluation des interventions financées par les Fonds structurels dans les régions relevant de l’objectif no 1, la Cour a constaté les faiblesses suivantes:

—

les données sous-jacentes comportaient des écarts,

| — | l’évaluation de l’efficacité des dépenses des Fonds structurels s’est révélée insuffisamment solide, entre autres en raison du caractère limité des données sur les réalisations et les résultats collectées par les États membres, |
| --- | --- |

—

l’évaluation de l’efficacité des dépenses des Fonds structurels s’est révélée insuffisamment solide, entre autres en raison du caractère limité des données sur les réalisations et les résultats collectées par les États membres,

| — | l’évaluation n’a pas tout à fait permis de comparer les coûts unitaires des projets ayant bénéficié d’une aide des Fonds structurels, |
| --- | --- |

—

l’évaluation n’a pas tout à fait permis de comparer les coûts unitaires des projets ayant bénéficié d’une aide des Fonds structurels,

| — | l’évaluation était en grande partie fondée sur un modèle macroéconomique (Hermin) affecté par des limites importantes. |
| --- | --- |

—

l’évaluation était en grande partie fondée sur un modèle macroéconomique (Hermin) affecté par des limites importantes.

| VII. | La Cour a constaté que l’évaluation des interventions du FSE relevant des objectifs nos 1 et 3:






  — | était en partie fondée sur des informations non fiables ou incomplètes, |
| --- | --- | --- |

VII.

La Cour a constaté que l’évaluation des interventions du FSE relevant des objectifs nos 1 et 3:

—

était en partie fondée sur des informations non fiables ou incomplètes,

| — | a abouti à certaines conclusions qui n’étaient pas suffisamment étayées, ce qui amène à s’interroger sur la méthodologie utilisée pour y parvenir. |
| --- | --- |

—

a abouti à certaines conclusions qui n’étaient pas suffisamment étayées, ce qui amène à s’interroger sur la méthodologie utilisée pour y parvenir.

| VIII. | Au vu du cahier des charges établi, la Commission ne semble pas avoir anticipé certaines difficultés rencontrées pendant les évaluations. La Commission n’a pas non plus remédié complètement aux insuffisances de l’évaluation ex post. Les constatations de la Cour montrent que des déficiences ont affecté la supervision des évaluations. |
| --- | --- |

VIII.

Au vu du cahier des charges établi, la Commission ne semble pas avoir anticipé certaines difficultés rencontrées pendant les évaluations. La Commission n’a pas non plus remédié complètement aux insuffisances de l’évaluation ex post. Les constatations de la Cour montrent que des déficiences ont affecté la supervision des évaluations.

| IX. | Par ailleurs, les évaluations ont permis de collecter des informations utiles en ce qui concerne les systèmes de gestion des interventions financées au titre du FEDER et du FSE. |
| --- | --- |

IX.

Par ailleurs, les évaluations ont permis de collecter des informations utiles en ce qui concerne les systèmes de gestion des interventions financées au titre du FEDER et du FSE.

| X. | Toutefois, même si certaines recommandations valables et utiles ont été formulées pour les périodes de programmation, la Commission n’a pas pu pleinement tirer parti des expériences des programmes 1994-1999. |
| --- | --- |

X.

Toutefois, même si certaines recommandations valables et utiles ont été formulées pour les périodes de programmation, la Commission n’a pas pu pleinement tirer parti des expériences des programmes 1994-1999.

| XI. | La Cour recommande que:






  — | pour les évaluations ultérieures, la Commission s’assure que les données disponibles et les ressources allouées correspondent aux objectifs fixés, qui doivent être réalistes, et que le cahier des charges soit établi en conséquence, |
| --- | --- | --- |

XI.

La Cour recommande que:

—

pour les évaluations ultérieures, la Commission s’assure que les données disponibles et les ressources allouées correspondent aux objectifs fixés, qui doivent être réalistes, et que le cahier des charges soit établi en conséquence,

| — | la Commission veille tout particulièrement aux techniques utilisées pour mesurer l’impact économique des fonds. Si elle opte pour un modèle macroéconomique, celui-ci doit impérativement tenir compte des caractéristiques des économies examinées. Idéalement, elle devrait pouvoir utiliser les microdonnées générées à l’échelle du projet, |
| --- | --- |

—

la Commission veille tout particulièrement aux techniques utilisées pour mesurer l’impact économique des fonds. Si elle opte pour un modèle macroéconomique, celui-ci doit impérativement tenir compte des caractéristiques des économies examinées. Idéalement, elle devrait pouvoir utiliser les microdonnées générées à l’échelle du projet,

| — | les liens avec d’autres études relatives à l’évaluation des Fonds structurels soient dûment pris en considération, |
| --- | --- |

—

les liens avec d’autres études relatives à l’évaluation des Fonds structurels soient dûment pris en considération,

| — | les futures évaluations comportent un certain nombre d’éléments spécifiques, portant par exemple sur les contributions du secteur privé, les mesures d’«ingénierie financière», l’évaluation des coûts des projets, les procédures de demande et d’approbation des projets, ainsi que les évaluations internes des autorités nationales ou régionales, |
| --- | --- |

—

les futures évaluations comportent un certain nombre d’éléments spécifiques, portant par exemple sur les contributions du secteur privé, les mesures d’«ingénierie financière», l’évaluation des coûts des projets, les procédures de demande et d’approbation des projets, ainsi que les évaluations internes des autorités nationales ou régionales,

| — | la supervision, par la Commission, du processus d’évaluation doit être améliorée, notamment par une collaboration avec des instituts de recherche et des universités. |
| --- | --- |

—

la supervision, par la Commission, du processus d’évaluation doit être améliorée, notamment par une collaboration avec des instituts de recherche et des universités.

INTRODUCTION

| 1. | La Commission développe un cadre unique d’évaluation des Fonds structurels depuis 1996. Elle définit le terme «évaluation» comme le «jugement d’interventions en fonction de leurs résultats, de leurs impacts et des besoins qu’elles visent à satisfaire» (1). L’activité d’évaluation a pour objectif premier de soutenir le processus de prise de décision en permettant de collecter des informations et de formuler des jugements concernant la pertinence, l’économie, l’efficience, l’efficacité, l’utilité et le caractère durable des impacts des interventions de l’Union européenne. De telles informations sont d’une importance capitale pour l’amélioration des interventions existantes ou la conception d’interventions nouvelles, ainsi que pour la définition des priorités politiques et l’affectation des ressources. |
| --- | --- |

1.

La Commission développe un cadre unique d’évaluation des Fonds structurels depuis 1996. Elle définit le terme «évaluation» comme le «jugement d’interventions en fonction de leurs résultats, de leurs impacts et des besoins qu’elles visent à satisfaire» (1). L’activité d’évaluation a pour objectif premier de soutenir le processus de prise de décision en permettant de collecter des informations et de formuler des jugements concernant la pertinence, l’économie, l’efficience, l’efficacité, l’utilité et le caractère durable des impacts des interventions de l’Union européenne. De telles informations sont d’une importance capitale pour l’amélioration des interventions existantes ou la conception d’interventions nouvelles, ainsi que pour la définition des priorités politiques et l’affectation des ressources.

| 2. | Les évaluations sont réalisées à divers niveaux et à différents stades du cycle de programmation (six ans). Les plus importantes d’entre elles sont:






  a) | les évaluations ex ante, conduites avant la mise en œuvre d’une intervention afin de contribuer à la qualité de sa conception et de son rapport coût-efficacité; |
| --- | --- | --- |

2.

Les évaluations sont réalisées à divers niveaux et à différents stades du cycle de programmation (six ans). Les plus importantes d’entre elles sont:

a)

les évaluations ex ante, conduites avant la mise en œuvre d’une intervention afin de contribuer à la qualité de sa conception et de son rapport coût-efficacité;

| b) | les évaluations intermédiaires, effectuées pendant la mise en œuvre en vue d’améliorer la gestion de l’intervention; |
| --- | --- |

b)

les évaluations intermédiaires, effectuées pendant la mise en œuvre en vue d’améliorer la gestion de l’intervention;

| c) | les évaluations ex post, réalisées après la fin de l’intervention pour évaluer les résultats obtenus et les enseignements à tirer. |
| --- | --- |

c)

les évaluations ex post, réalisées après la fin de l’intervention pour évaluer les résultats obtenus et les enseignements à tirer.

| 3. | L’audit de la Cour a porté sur les évaluations ex post auxquelles la Commission a soumis les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Aux fins du présent contrôle, la définition de l’évaluation ex post prise en considération est celle formulée dans la collection MEANS (2), à savoir: «L’évaluation ex post consiste en la récapitulation et l’examen de l’ensemble du programme, en particulier des répercussions de celui-ci. Elle vise à rendre compte de la façon dont les ressources sont utilisées et à signaler l’efficacité et l’efficience des interventions ainsi que la mesure dans laquelle les effets escomptés ont été atteints. Elle est basée sur des facteurs de réussite ou d’échec, ainsi que sur la durabilité des résultats et des répercussions. Elle tend à tirer des conclusions pouvant être généralisées et appliquées à d’autres programmes et régions» (3). C’est dans ce contexte que l’évaluation ex post a été examinée. |
| --- | --- |

3.

L’audit de la Cour a porté sur les évaluations ex post auxquelles la Commission a soumis les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Aux fins du présent contrôle, la définition de l’évaluation ex post prise en considération est celle formulée dans la collection MEANS (2), à savoir: «L’évaluation ex post consiste en la récapitulation et l’examen de l’ensemble du programme, en particulier des répercussions de celui-ci. Elle vise à rendre compte de la façon dont les ressources sont utilisées et à signaler l’efficacité et l’efficience des interventions ainsi que la mesure dans laquelle les effets escomptés ont été atteints. Elle est basée sur des facteurs de réussite ou d’échec, ainsi que sur la durabilité des résultats et des répercussions. Elle tend à tirer des conclusions pouvant être généralisées et appliquées à d’autres programmes et régions» (3). C’est dans ce contexte que l’évaluation ex post a été examinée.

| 4. | L’évaluation ex post constitue un élément d’un «processus» fondé également sur un examen ex ante et une évaluation à mi-parcours. En outre, les évaluations sont effectuées à divers niveaux, tant nationaux que thématiques, et aboutissent à l’établissement d’un rapport de synthèse. L’ensemble de ces évaluations constitue un élément important de la gestion des Fonds structurels et, en particulier, de la programmation et de la révision des interventions communautaires. La responsabilité du processus d’évaluation incombe à la Commission (en partenariat avec les États membres). Il revient à celle-ci de déterminer les éléments de l’évaluation qui doivent être pris en charge par ses propres services et ceux qu’il convient de sous-traiter. Dans les deux cas, la Commission assume toujours la responsabilité globale et finale de l’évaluation. |
| --- | --- |

4.

L’évaluation ex post constitue un élément d’un «processus» fondé également sur un examen ex ante et une évaluation à mi-parcours. En outre, les évaluations sont effectuées à divers niveaux, tant nationaux que thématiques, et aboutissent à l’établissement d’un rapport de synthèse. L’ensemble de ces évaluations constitue un élément important de la gestion des Fonds structurels et, en particulier, de la programmation et de la révision des interventions communautaires. La responsabilité du processus d’évaluation incombe à la Commission (en partenariat avec les États membres). Il revient à celle-ci de déterminer les éléments de l’évaluation qui doivent être pris en charge par ses propres services et ceux qu’il convient de sous-traiter. Dans les deux cas, la Commission assume toujours la responsabilité globale et finale de l’évaluation.

| 5. | Au cours de la période 1994-1999, l’aide programmée au titre des Fonds structurels (4) s’est élevée à 136,4 milliards d’euros pour les «objectifs» et à 14,5 milliards d’euros en pour les «initiatives communautaires». L’annexe I présente une répartition du premier montant par État membre et par objectif, ainsi qu’une ventilation du second montant par initiative communautaire. Ces fonds ont été complétés par un montant d’au moins 95 milliards d’euros provenant d’investissements conjoints des secteurs public ou privé (5), ce qui a porté le montant total des investissements à plus de 245 milliards d’euros. |
| --- | --- |

5.

Au cours de la période 1994-1999, l’aide programmée au titre des Fonds structurels (4) s’est élevée à 136,4 milliards d’euros pour les «objectifs» et à 14,5 milliards d’euros en pour les «initiatives communautaires». L’annexe I présente une répartition du premier montant par État membre et par objectif, ainsi qu’une ventilation du second montant par initiative communautaire. Ces fonds ont été complétés par un montant d’au moins 95 milliards d’euros provenant d’investissements conjoints des secteurs public ou privé (5), ce qui a porté le montant total des investissements à plus de 245 milliards d’euros.

Cadre de l’évaluation

| 6. | Les évaluations ex post ont été effectuées pour le compte et sous la direction de la Commission. À la suite d’une procédure d’adjudication, un consultant principal a été sélectionné pour chaque ensemble défini d’objectifs et d’initiatives communautaires. Dans la plupart des cas, le consultant bénéficiait de l’appui d’une équipe d’évaluateurs dans les différents États membres (6), dont le rôle était de soumettre les différents programmes aux évaluations nécessaires, sur la base d’un cadre méthodologique commun. En outre, la procédure d’évaluation a été supervisée par un groupe de pilotage. Les évaluations ont donné lieu, pour chaque ensemble défini d’objectifs, à des rapports par pays établis par les évaluateurs nationaux et à un rapport de synthèse élaboré par les consultants sous contrat. Ces rapports ont été achevés entre le début 2003 et la mi-2004. |
| --- | --- |

6.

Les évaluations ex post ont été effectuées pour le compte et sous la direction de la Commission. À la suite d’une procédure d’adjudication, un consultant principal a été sélectionné pour chaque ensemble défini d’objectifs et d’initiatives communautaires. Dans la plupart des cas, le consultant bénéficiait de l’appui d’une équipe d’évaluateurs dans les différents États membres (6), dont le rôle était de soumettre les différents programmes aux évaluations nécessaires, sur la base d’un cadre méthodologique commun. En outre, la procédure d’évaluation a été supervisée par un groupe de pilotage. Les évaluations ont donné lieu, pour chaque ensemble défini d’objectifs, à des rapports par pays établis par les évaluateurs nationaux et à un rapport de synthèse élaboré par les consultants sous contrat. Ces rapports ont été achevés entre le début 2003 et la mi-2004.

Objectifs fondamentaux assignés à chaque évaluation

| 7. | Les directions générales en cause ont opté pour une approche à large spectre, un grand nombre de thèmes. Les objectifs généraux des évaluations consistaient à:






  a) | apprécier les résultats et les impacts des actions dans les États membres au regard de leurs objectifs et de leurs répercussions sur les personnes et les systèmes; |
| --- | --- | --- |

7.

Les directions générales en cause ont opté pour une approche à large spectre, un grand nombre de thèmes. Les objectifs généraux des évaluations consistaient à:

a)

apprécier les résultats et les impacts des actions dans les États membres au regard de leurs objectifs et de leurs répercussions sur les personnes et les systèmes;

| b) | analyser l’impact et l’efficacité des actions communautaires en ce qui concerne certains problèmes structurels spécifiques et, dans la mesure du possible, à vérifier la valeur ajoutée de l’aide communautaire. |
| --- | --- |

b)

analyser l’impact et l’efficacité des actions communautaires en ce qui concerne certains problèmes structurels spécifiques et, dans la mesure du possible, à vérifier la valeur ajoutée de l’aide communautaire.

| 8. | Pour que ces objectifs puissent être atteints, les cahiers des charges ont comporté un certain nombre de questions clés relatives aux thèmes suivants: l’adéquation de la stratégie, l’efficacité, l’efficience, l’impact, les systèmes de gestion et de mise en œuvre, la valeur ajoutée communautaire et les enseignements à tirer des programmations en cours en vue de celles à venir. Afin que les travaux soient structurés, les cahiers des charges ont également défini un certain nombre de tâches précises et indiqué plusieurs techniques et sources d’information. |
| --- | --- |

8.

Pour que ces objectifs puissent être atteints, les cahiers des charges ont comporté un certain nombre de questions clés relatives aux thèmes suivants: l’adéquation de la stratégie, l’efficacité, l’efficience, l’impact, les systèmes de gestion et de mise en œuvre, la valeur ajoutée communautaire et les enseignements à tirer des programmations en cours en vue de celles à venir. Afin que les travaux soient structurés, les cahiers des charges ont également défini un certain nombre de tâches précises et indiqué plusieurs techniques et sources d’information.

| 9. | Le cahier des charges établi par la Commission pour chaque objectif a donc établi les bases du travail des évaluateurs. En janvier 2002, il a été complété par le rapport de démarrage (inception report) et le guide méthodologique pour l’objectif no 1. Pour les actions relevant du FSE, il a été complété par le rapport sur l’approfondissement de la méthodologie, en décembre 2002, et par les questions d’évaluation figurant dans chaque rapport national d’évaluation. Pour formuler ces questions, les évaluateurs se sont appuyés sur la littérature existant dans ce domaine, des questionnaires, des entretiens avec des parties prenantes, l’analyse d’études de cas et d’autres recherches de terrain, le cas échéant. |
| --- | --- |

9.

Le cahier des charges établi par la Commission pour chaque objectif a donc établi les bases du travail des évaluateurs. En janvier 2002, il a été complété par le rapport de démarrage (inception report) et le guide méthodologique pour l’objectif no 1. Pour les actions relevant du FSE, il a été complété par le rapport sur l’approfondissement de la méthodologie, en décembre 2002, et par les questions d’évaluation figurant dans chaque rapport national d’évaluation. Pour formuler ces questions, les évaluateurs se sont appuyés sur la littérature existant dans ce domaine, des questionnaires, des entretiens avec des parties prenantes, l’analyse d’études de cas et d’autres recherches de terrain, le cas échéant.

ÉTENDUE DE L’AUDIT

| 10. | D’une manière générale, le présent audit a visé à déterminer, d’une part, si les évaluations ont permis à la Commission d’obtenir des informations appropriées pour estimer les effets des interventions par rapport aux objectifs fixés et, d’autre part, si leurs résultats et recommandations ont été utiles pour la révision des programmes des périodes de programmation suivantes. |
| --- | --- |

10.

D’une manière générale, le présent audit a visé à déterminer, d’une part, si les évaluations ont permis à la Commission d’obtenir des informations appropriées pour estimer les effets des interventions par rapport aux objectifs fixés et, d’autre part, si leurs résultats et recommandations ont été utiles pour la révision des programmes des périodes de programmation suivantes.

| 11. | L’audit a été centré sur les évaluations ex post relatives aux interventions relevant du FEDER, dans le cadre de l’objectif no 1, et du FSE dans le cadre des objectifs nos 1 et 3, entreprises respectivement par la direction générale de la politique régionale et par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances. L’examen a porté sur les rapports de synthèse et sur un échantillon d’évaluations nationales correspondant aux objectifs et instruments sélectionnés (7), qui représentaient un montant total de 124 milliards d’euros, soit 82 % de l’aide prévue dans le cadre des Fonds structurels pour la période de programmation 1994-1999 (8). |
| --- | --- |

11.

L’audit a été centré sur les évaluations ex post relatives aux interventions relevant du FEDER, dans le cadre de l’objectif no 1, et du FSE dans le cadre des objectifs nos 1 et 3, entreprises respectivement par la direction générale de la politique régionale et par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances. L’examen a porté sur les rapports de synthèse et sur un échantillon d’évaluations nationales correspondant aux objectifs et instruments sélectionnés (7), qui représentaient un montant total de 124 milliards d’euros, soit 82 % de l’aide prévue dans le cadre des Fonds structurels pour la période de programmation 1994-1999 (8).

| 12. | Pour chaque évaluation, les auditeurs de la Cour se sont employés à répondre à trois questions:






  a) | L’évaluation est-elle de bonne qualité? |
| --- | --- | --- |

12.

Pour chaque évaluation, les auditeurs de la Cour se sont employés à répondre à trois questions:

a)

L’évaluation est-elle de bonne qualité?

| b) | Dans quelle mesure les faiblesses détectées sont-elles dues aux déficiences affectant le cadre et la supervision de l’évaluation? |
| --- | --- |

b)

Dans quelle mesure les faiblesses détectées sont-elles dues aux déficiences affectant le cadre et la supervision de l’évaluation?

| c) | Les recommandations auxquelles l’évaluation a abouti sont-elles fondées, utiles et de nature à être prises en considération dans le cadre des périodes de programmation suivantes? |
| --- | --- |

c)

Les recommandations auxquelles l’évaluation a abouti sont-elles fondées, utiles et de nature à être prises en considération dans le cadre des périodes de programmation suivantes?

| 13. | L’audit a visé en particulier à déterminer la qualité et l’exhaustivité des rapports en ce qui concerne l’évaluation des éléments suivants: l’adéquation des politiques, l’efficacité, l’efficience et l’impact des mesures, ainsi que l’incidence de celles-ci sur les systèmes de gestion. Il a également porté sur l’adéquation du rôle de la Commission dans la préparation, le suivi et la supervision des évaluations. |
| --- | --- |

13.

L’audit a visé en particulier à déterminer la qualité et l’exhaustivité des rapports en ce qui concerne l’évaluation des éléments suivants: l’adéquation des politiques, l’efficacité, l’efficience et l’impact des mesures, ainsi que l’incidence de celles-ci sur les systèmes de gestion. Il a également porté sur l’adéquation du rôle de la Commission dans la préparation, le suivi et la supervision des évaluations.

| 14. | La première partie du présent rapport est consacrée à l’évaluation ex post des interventions au titre du FEDER dans les régions relevant de l’objectif no 1 (points 15-80) et la seconde à l’évaluation ex post des opérations au titre du FSE relevant des objectifs nos 1 et 3 (points 81 à 113). |
| --- | --- |

14.

La première partie du présent rapport est consacrée à l’évaluation ex post des interventions au titre du FEDER dans les régions relevant de l’objectif no 1 (points 15-80) et la seconde à l’évaluation ex post des opérations au titre du FSE relevant des objectifs nos 1 et 3 (points 81 à 113).

ÉVALUATION EX POST DE L’OBJECTIF No 1 PAR LA DIRECTION GÉNÉRALE DE LA POLITIQUE RÉGIONALE

| 15. | Avant de procéder à l’appréciation détaillée de la qualité de l’évaluation, il est utile de donner un bref aperçu des conclusions qui y sont formulées. L’encadré 1 ci-après en présente une synthèse.

  Encadré 1Conclusions générales de l’évaluation effectuée par la direction générale de la politique régionaleDans son rapport de synthèse, la direction générale reconnaît que les Fonds structurels ont eu une incidence positive sur le PIB des régions relevant de l’objectif no 1 et que les performances globales de celles-ci par rapport à l’UE dans son ensemble se sont améliorées. Elle estime que l’ampleur des bénéfices retirés a été largement tributaire des capacités institutionnelles et de facteurs tels que la structure et le degré d’ouverture de l’économie. Elle considère que ces aspects sont manifestement d’une importance capitale, en particulier pour la capacité de l’économie à répondre aux défis et à saisir les possibilités du processus d’intégration économique. Toutefois, elle note qu’eu égard à la disparité des États membres et des contextes, en raison du caractère limité des données de suivi disponibles, et en l’absence d’objectifs clairement définis, il n’était pas possible d’agréger les résultats pour donner une image fidèle de l’ensemble des réalisations de l’objectif no 1.En guise de conclusion générale concernant l’appréciation de l’adéquation des stratégies adoptées, le rapport estime que l’approche stratégique retenue en 1994 pour l’objectif no 1 doit être «considérée comme globalement appropriée pour chacun des États membres». Il indique que «la plus forte critique à l’égard de ces stratégies est qu’elles n’étaient guère plus que la somme des parties qui les composaient. Si chacune d’entre elles constituait une réponse adéquate aux besoins relevés dans certains domaines particuliers, peu d’éléments permettent de déterminer dans quelle mesure les différents volets ont concouru à une stratégie globale de développement.»S’agissant de l’efficacité, le rapport indique qu’en raison des insuffisances affectant les données disponibles, l’analyse a été fondée dans une large mesure sur des «jugements qualitatifs plutôt que sur des comparaisons chiffrées des résultats obtenus avec les objectifs fixés». À cet égard, le rapport formule le commentaire général suivant: «Dans de nombreux cas, les actions apparemment les plus efficaces ont été celles présentant un caractère essentiellement “traditionnel”. Les financements ont eu tendance de manière générale à renforcer les schémas de développement économique existants plutôt qu’à créer une assise permettant de développer de nouvelles activités afin d’aller au-devant des objectifs définis ou de stimuler de nouvelles approches innovantes.»S’agissant de l’impact, l’auteur du rapport s’est appuyé, pour la plupart des régions, sur une macromodélisation lui permettant d’évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Il reconnaît que: «Il est inévitable que les résultats qui se dégagent de cette analyse découlent dans une certaine mesure des hypothèses retenues dans le cadre du processus de modélisation.» Les auteurs du rapport notent que l’ampleur de l’impact a reflété, dans certains cas, l’importance relative et l’affectation des ressources du cadre communautaire d’appui, ainsi que des facteurs comme les dotations initiales en facteurs, les structures économiques, les niveaux de compétitivité et le degré d’«ouverture» de l’économie en question. L’auteur du rapport tire également des conclusions générales concernant l’incidence des Fonds structurels par rapport à d’autres facteurs extérieurs. Il indique également que, si les créations d’emplois ont été nombreuses, les effets d’aubaine et de déplacement l’ont probablement été tout autant.Le rapport de synthèse contient aussi une série d’observations concernant la gestion et la mise en œuvre. La conclusion générale à ce propos est que: «Les dispositifs de gestion et de mise en œuvre, bien que souvent affectés par certaines faiblesses, ont généralement été adaptés à leur objet. Par ailleurs, le partenariat s’est avéré bénéfique. En règle générale, les structures de prise de décision ne sont pas parvenues à faire émerger une stratégie forte. Par contre, la démarche de programmation ainsi que l’amélioration des capacités et des pratiques de gestion publique ont eu d’importantes retombées positives en termes de “valeur ajoutée” au sens large.» |
| --- | --- |

15.

Avant de procéder à l’appréciation détaillée de la qualité de l’évaluation, il est utile de donner un bref aperçu des conclusions qui y sont formulées. L’encadré 1 ci-après en présente une synthèse.

Encadré 1Conclusions générales de l’évaluation effectuée par la direction générale de la politique régionaleDans son rapport de synthèse, la direction générale reconnaît que les Fonds structurels ont eu une incidence positive sur le PIB des régions relevant de l’objectif no 1 et que les performances globales de celles-ci par rapport à l’UE dans son ensemble se sont améliorées. Elle estime que l’ampleur des bénéfices retirés a été largement tributaire des capacités institutionnelles et de facteurs tels que la structure et le degré d’ouverture de l’économie. Elle considère que ces aspects sont manifestement d’une importance capitale, en particulier pour la capacité de l’économie à répondre aux défis et à saisir les possibilités du processus d’intégration économique. Toutefois, elle note qu’eu égard à la disparité des États membres et des contextes, en raison du caractère limité des données de suivi disponibles, et en l’absence d’objectifs clairement définis, il n’était pas possible d’agréger les résultats pour donner une image fidèle de l’ensemble des réalisations de l’objectif no 1.En guise de conclusion générale concernant l’appréciation de l’adéquation des stratégies adoptées, le rapport estime que l’approche stratégique retenue en 1994 pour l’objectif no 1 doit être «considérée comme globalement appropriée pour chacun des États membres». Il indique que «la plus forte critique à l’égard de ces stratégies est qu’elles n’étaient guère plus que la somme des parties qui les composaient. Si chacune d’entre elles constituait une réponse adéquate aux besoins relevés dans certains domaines particuliers, peu d’éléments permettent de déterminer dans quelle mesure les différents volets ont concouru à une stratégie globale de développement.»S’agissant de l’efficacité, le rapport indique qu’en raison des insuffisances affectant les données disponibles, l’analyse a été fondée dans une large mesure sur des «jugements qualitatifs plutôt que sur des comparaisons chiffrées des résultats obtenus avec les objectifs fixés». À cet égard, le rapport formule le commentaire général suivant: «Dans de nombreux cas, les actions apparemment les plus efficaces ont été celles présentant un caractère essentiellement “traditionnel”. Les financements ont eu tendance de manière générale à renforcer les schémas de développement économique existants plutôt qu’à créer une assise permettant de développer de nouvelles activités afin d’aller au-devant des objectifs définis ou de stimuler de nouvelles approches innovantes.»S’agissant de l’impact, l’auteur du rapport s’est appuyé, pour la plupart des régions, sur une macromodélisation lui permettant d’évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Il reconnaît que: «Il est inévitable que les résultats qui se dégagent de cette analyse découlent dans une certaine mesure des hypothèses retenues dans le cadre du processus de modélisation.» Les auteurs du rapport notent que l’ampleur de l’impact a reflété, dans certains cas, l’importance relative et l’affectation des ressources du cadre communautaire d’appui, ainsi que des facteurs comme les dotations initiales en facteurs, les structures économiques, les niveaux de compétitivité et le degré d’«ouverture» de l’économie en question. L’auteur du rapport tire également des conclusions générales concernant l’incidence des Fonds structurels par rapport à d’autres facteurs extérieurs. Il indique également que, si les créations d’emplois ont été nombreuses, les effets d’aubaine et de déplacement l’ont probablement été tout autant.Le rapport de synthèse contient aussi une série d’observations concernant la gestion et la mise en œuvre. La conclusion générale à ce propos est que: «Les dispositifs de gestion et de mise en œuvre, bien que souvent affectés par certaines faiblesses, ont généralement été adaptés à leur objet. Par ailleurs, le partenariat s’est avéré bénéfique. En règle générale, les structures de prise de décision ne sont pas parvenues à faire émerger une stratégie forte. Par contre, la démarche de programmation ainsi que l’amélioration des capacités et des pratiques de gestion publique ont eu d’importantes retombées positives en termes de “valeur ajoutée” au sens large.»

L’appréciation de la Cour concernant la qualité de l’évaluation

Remarques préliminaires

| 16. | Il importe de garder à l’esprit que l’approche globale qui a été adoptée pour cette évaluation ex post était soumise à des contraintes intrinsèques. Les plus importantes d’entre elles ont été les limites de temps, le nombre restreint d’objectifs quantifiés et l’absence d’indicateurs précis de résultat/d’impact. En outre, il a souvent été difficile d’isoler l’impact directement attribuable aux programmes et aux mesures connexes, car les régions cibles ont souvent bénéficié d’autres actions de nature à contribuer efficacement à la réalisation d’objectifs similaires. Il n’a pas été facile non plus de déterminer et de mesurer les effets indirects des dépenses des Fonds structurels. La Cour estime toutefois que certaines faiblesses du processus d’évaluation ne peuvent être attribuées à des contraintes inhérentes à l’exercice en question, mais qu’elles sont dues à des insuffisances affectant le processus lui-même et auxquelles il convient de remédier, en particulier avant l’évaluation ex post de la période de programmation 2000-2006. |
| --- | --- |

16.

Il importe de garder à l’esprit que l’approche globale qui a été adoptée pour cette évaluation ex post était soumise à des contraintes intrinsèques. Les plus importantes d’entre elles ont été les limites de temps, le nombre restreint d’objectifs quantifiés et l’absence d’indicateurs précis de résultat/d’impact. En outre, il a souvent été difficile d’isoler l’impact directement attribuable aux programmes et aux mesures connexes, car les régions cibles ont souvent bénéficié d’autres actions de nature à contribuer efficacement à la réalisation d’objectifs similaires. Il n’a pas été facile non plus de déterminer et de mesurer les effets indirects des dépenses des Fonds structurels. La Cour estime toutefois que certaines faiblesses du processus d’évaluation ne peuvent être attribuées à des contraintes inhérentes à l’exercice en question, mais qu’elles sont dues à des insuffisances affectant le processus lui-même et auxquelles il convient de remédier, en particulier avant l’évaluation ex post de la période de programmation 2000-2006.

Évolution des problèmes auxquels les régions sont confrontées depuis 1994

| 17. | Le rapport de synthèse commence par une brève analyse de l’évolution du PIB par habitant, ainsi que des taux de chômage et d’emploi dans les diverses régions en question (9). Dans sa conclusion, le rapport précise que: «L’augmentation du taux d’emploi résultant de la création d’emplois n’a généralement pas entraîné d’augmentation du PIB par habitant» (10). Une telle conclusion est potentiellement importante pour les décideurs. Elle semble indiquer que l’accroissement des taux de participation au marché de l’emploi (11) n’a pas contribué de manière significative à la réalisation du principal objectif de la politique de cohésion, à savoir la réduction des écarts entre PIB, une conclusion d’une importance majeure pour les Fonds structurels. |
| --- | --- |

17.

Le rapport de synthèse commence par une brève analyse de l’évolution du PIB par habitant, ainsi que des taux de chômage et d’emploi dans les diverses régions en question (9). Dans sa conclusion, le rapport précise que: «L’augmentation du taux d’emploi résultant de la création d’emplois n’a généralement pas entraîné d’augmentation du PIB par habitant» (10). Une telle conclusion est potentiellement importante pour les décideurs. Elle semble indiquer que l’accroissement des taux de participation au marché de l’emploi (11) n’a pas contribué de manière significative à la réalisation du principal objectif de la politique de cohésion, à savoir la réduction des écarts entre PIB, une conclusion d’une importance majeure pour les Fonds structurels.

| 18. | Sur la base des informations fournies dans le rapport de synthèse, il est difficile de juger de la validité de l’observation citée ci-dessus. Dans de nombreuses régions, le PIB a progressé, de même que les taux de participation au marché de l’emploi. Par contre, dans d’autres, le PIB par habitant a soit baissé, soit augmenté de manière marginale, la même évolution étant observée pour les taux de participation au marché de l’emploi. La Cour a essayé de vérifier que l’observation citée au point 17 était exacte en appliquant un traitement statistique aux données figurant dans le rapport de synthèse. Les détails techniques de cette analyse sont fournis à l’annexe II et ses principaux éléments sont synthétisés ci-après. |
| --- | --- |

18.

Sur la base des informations fournies dans le rapport de synthèse, il est difficile de juger de la validité de l’observation citée ci-dessus. Dans de nombreuses régions, le PIB a progressé, de même que les taux de participation au marché de l’emploi. Par contre, dans d’autres, le PIB par habitant a soit baissé, soit augmenté de manière marginale, la même évolution étant observée pour les taux de participation au marché de l’emploi. La Cour a essayé de vérifier que l’observation citée au point 17 était exacte en appliquant un traitement statistique aux données figurant dans le rapport de synthèse. Les détails techniques de cette analyse sont fournis à l’annexe II et ses principaux éléments sont synthétisés ci-après.

| 19. | Les résultats obtenus indiquent que l’évolution de l’emploi a eu une incidence statistiquement significative sur le PIB réel par habitant. En l’occurrence, un point d’augmentation du taux d’emploi a entraîné une augmentation de 0,24 % du PIB par habitant au cours de la période évaluée. Ce résultat contredit la conclusion du rapport de synthèse citée ci-dessus. Il suggère également qu’une amélioration des taux de participation au marché de l’emploi pourrait effectivement permettre, dans une certaine mesure, de réduire l’écart entre PIB. Du point de vue politique, ce résultat présente un intérêt certain. |
| --- | --- |

19.

Les résultats obtenus indiquent que l’évolution de l’emploi a eu une incidence statistiquement significative sur le PIB réel par habitant. En l’occurrence, un point d’augmentation du taux d’emploi a entraîné une augmentation de 0,24 % du PIB par habitant au cours de la période évaluée. Ce résultat contredit la conclusion du rapport de synthèse citée ci-dessus. Il suggère également qu’une amélioration des taux de participation au marché de l’emploi pourrait effectivement permettre, dans une certaine mesure, de réduire l’écart entre PIB. Du point de vue politique, ce résultat présente un intérêt certain.

| 20. | Pour éprouver davantage la solidité de ce résultat, la Cour a soumis à une analyse identique 145 régions pour lesquelles des données cohérentes étaient disponibles (en l’occurrence, pas uniquement des régions relevant de l’objectif no 1). Les résultats de cette analyse, qui figurent également à l’annexe II, sont très similaires dans l’ensemble de l’Union. Ils montrent que certaines données fondamentales n’ont pas été suffisamment analysées et qu’il existe une forte corrélation entre l’augmentation du PIB et celle du taux d’emploi, corrélation que le rapport de synthèse n’a pas mise en évidence. |
| --- | --- |

20.

Pour éprouver davantage la solidité de ce résultat, la Cour a soumis à une analyse identique 145 régions pour lesquelles des données cohérentes étaient disponibles (en l’occurrence, pas uniquement des régions relevant de l’objectif no 1). Les résultats de cette analyse, qui figurent également à l’annexe II, sont très similaires dans l’ensemble de l’Union. Ils montrent que certaines données fondamentales n’ont pas été suffisamment analysées et qu’il existe une forte corrélation entre l’augmentation du PIB et celle du taux d’emploi, corrélation que le rapport de synthèse n’a pas mise en évidence.

Adéquation des stratégies adoptées

| 21. | Le second chapitre du rapport de synthèse porte sur l’adéquation des stratégies adoptées en termes d’équilibre entre les régions, entre les programmes et entre les Fonds. Les dépenses prévues et effectives dans le cadre des différents programmes des Fonds structurels (12) sont analysées par État membre et par type de fonds, mais pas par région, alors que c’est le cas pour le PIB par habitant, ainsi que pour les taux d’emploi et de chômage dans les différentes régions relevant de l’objectif no 1. Cette lacune limite la portée de l’analyse qui peut être faite, comme cela est précisé dans le rapport lui-même, où sont présentés les résultats d’une analyse de régressionqui tente d’établir un lien entre les crédits communautaires par habitant et par État membre, et le PIB par habitant (13). Par conséquent, les résultats communiqués dans le rapport ne sont pas significatifs sur le plan statistique et sont, dès lors, d’un intérêt limité. |
| --- | --- |

21.

Le second chapitre du rapport de synthèse porte sur l’adéquation des stratégies adoptées en termes d’équilibre entre les régions, entre les programmes et entre les Fonds. Les dépenses prévues et effectives dans le cadre des différents programmes des Fonds structurels (12) sont analysées par État membre et par type de fonds, mais pas par région, alors que c’est le cas pour le PIB par habitant, ainsi que pour les taux d’emploi et de chômage dans les différentes régions relevant de l’objectif no 1. Cette lacune limite la portée de l’analyse qui peut être faite, comme cela est précisé dans le rapport lui-même, où sont présentés les résultats d’une analyse de régressionqui tente d’établir un lien entre les crédits communautaires par habitant et par État membre, et le PIB par habitant (13). Par conséquent, les résultats communiqués dans le rapport ne sont pas significatifs sur le plan statistique et sont, dès lors, d’un intérêt limité.

| 22. | Par contre, la Cour a appliqué aux données figurant dans le rapport des techniques statistiques légèrement différentes. Les détails techniques de cette analyse sont présentés à l’annexe III et ses éléments essentiels sont synthétisés dans les points suivants. |
| --- | --- |

22.

Par contre, la Cour a appliqué aux données figurant dans le rapport des techniques statistiques légèrement différentes. Les détails techniques de cette analyse sont présentés à l’annexe III et ses éléments essentiels sont synthétisés dans les points suivants.

| 23. | Les résultats de cette analyse confirment l’intuition que l’augmentation du PIB par habitant des États membres est proportionnelle aux aides communautaires par habitant. Cela montre que l’adoption d’une approche plus large permet de réaliser des évaluations pertinentes, même avec l’ensemble de données inutilement restreint qui a servi de base à l’examen de cette question importante. |
| --- | --- |

23.

Les résultats de cette analyse confirment l’intuition que l’augmentation du PIB par habitant des États membres est proportionnelle aux aides communautaires par habitant. Cela montre que l’adoption d’une approche plus large permet de réaliser des évaluations pertinentes, même avec l’ensemble de données inutilement restreint qui a servi de base à l’examen de cette question importante.

| 24. | L’évaluation figurant dans cette partie du rapport de synthèse est essentiellement fondée sur une comparaison entre les différentes catégories de dépenses programmées en 1994 et l’estimation des dépenses réelles en 1999. Les données présentées comportent cependant un certain nombre d’erreurs et d’écarts significatifs limitant la validité des conclusions qui peuvent en être tirées. Pour cinq États membres notamment, le montant des dépenses effectives indiqué dans la colonne «total» (dans le tableau correspondant du rapport de synthèse) est différent de la somme des montants figurant dans les colonnes qui reprennent les dépenses de l’Union européenne, du secteur public et du secteur privé (apparaissant dans le même tableau). Une synthèse de ces écarts est présentée dans le tableau 1, dont la dernière colonne contient le pourcentage d’écart. Ce pourcentage significatif est révélateur d’un contrôle de qualité inadéquat, par la Commission, en ce qui concerne la formulation du contenu et la présentation des résultats du rapport. |
| --- | --- |

24.

L’évaluation figurant dans cette partie du rapport de synthèse est essentiellement fondée sur une comparaison entre les différentes catégories de dépenses programmées en 1994 et l’estimation des dépenses réelles en 1999. Les données présentées comportent cependant un certain nombre d’erreurs et d’écarts significatifs limitant la validité des conclusions qui peuvent en être tirées. Pour cinq États membres notamment, le montant des dépenses effectives indiqué dans la colonne «total» (dans le tableau correspondant du rapport de synthèse) est différent de la somme des montants figurant dans les colonnes qui reprennent les dépenses de l’Union européenne, du secteur public et du secteur privé (apparaissant dans le même tableau). Une synthèse de ces écarts est présentée dans le tableau 1, dont la dernière colonne contient le pourcentage d’écart. Ce pourcentage significatif est révélateur d’un contrôle de qualité inadéquat, par la Commission, en ce qui concerne la formulation du contenu et la présentation des résultats du rapport.

| 25. | En dépit de ces écarts, la transformation de ces chiffres en données par habitant (14) permet quelques observations utiles qui, dans certains cas, diffèrent des conclusions formulées dans le rapport de synthèse. Le tableau 2 présente les dépenses réelles par habitant par ordre décroissant pour chaque catégorie. |
| --- | --- |

25.

En dépit de ces écarts, la transformation de ces chiffres en données par habitant (14) permet quelques observations utiles qui, dans certains cas, diffèrent des conclusions formulées dans le rapport de synthèse. Le tableau 2 présente les dépenses réelles par habitant par ordre décroissant pour chaque catégorie.

Tableau 1

Synthèse des écarts signalés au point 24

| | Somme des colonnes (15) | Total publié (15) | Différence (15) | Pourcentage d’écart |
| --- | --- | --- | --- | --- |
| Allemagne | 41 015 | 48 243 | 7 228 | –15 |
| Italie | 34 804 | 30 547 | –4 257 | 14 |
| Royaume-Uni | 3 961 | 4 803 | 842 | –18 |
| France | 3 339 | 4 019 | 680 | –17 |
| Autriche | 1 116 | 1 040 | –76 | 7 |

Somme des colonnes (15)

Total publié (15)

Différence (15)

Pourcentage d’écart

Allemagne

41 015

48 243

7 228

–15

Italie

34 804

30 547

–4 257

14

Royaume-Uni

3 961

4 803

842

–18

France

3 339

4 019

680

–17

Autriche

1 116

1 040

–76

7

Tableau 2

Dépenses réelles (16)

| Total des dépenses réelles par habitant | Dépenses de l’UE par habitant | Dépenses publiques réelles par habitant | Dépenses réelles du secteur privé par habitant |
| --- | --- | --- | --- |
| Autriche | 3 866 | Irlande | 1 653 | Pays-Bas | 1 822 | Autriche | 2 458 |
| Pays-Bas | 3 438 | Grèce | 1 580 | Autriche | 1 033 | Allemagne | 1 299 |
| Allemagne | 2 933 | Portugal | 1 403 | Grèce | 739 | Pays-Bas | 1 039 |
| Irlande | 2 926 | Espagne | 1 143 | Irlande | 703 | Belgique | 705 |
| Grèce | 2 716 | Allemagne | 884 | Portugal | 621 | Irlande | 570 |
| Portugal | 2 472 | Autriche | 657 | Espagne | 582 | Portugal | 448 |
| Espagne | 1 725 | Italie | 652 | France | 485 | Grèce | 396 |
| Belgique | 1 587 | France | 621 | Belgique | 456 | France | 205 |
| France | 1 579 | Royaume-Uni | 605 | Royaume-Uni | 381 | Royaume-Uni | 174 |
| Italie | 1 445 | Pays-Bas | 578 | Allemagne | 311 | Espagne | non disponible |
| Royaume-Uni | 1 407 | Belgique | 427 | Italie | non disponible | Italie | non disponible |
| Moyenne par habitant | 2 104 | | 1 033 | | 419 | | 377 |

Total des dépenses réelles par habitant

Dépenses de l’UE par habitant

Dépenses publiques réelles par habitant

Dépenses réelles du secteur privé par habitant

Autriche

3 866

Irlande

1 653

Pays-Bas

1 822

Autriche

2 458

Pays-Bas

3 438

Grèce

1 580

Autriche

1 033

Allemagne

1 299

Allemagne

2 933

Portugal

1 403

Grèce

739

Pays-Bas

1 039

Irlande

2 926

Espagne

1 143

Irlande

703

Belgique

705

Grèce

2 716

Allemagne

884

Portugal

621

Irlande

570

Portugal

2 472

Autriche

657

Espagne

582

Portugal

448

Espagne

1 725

Italie

652

France

485

Grèce

396

Belgique

1 587

France

621

Belgique

456

France

205

France

1 579

Royaume-Uni

605

Royaume-Uni

381

Royaume-Uni

174

Italie

1 445

Pays-Bas

578

Allemagne

311

Espagne

non disponible

Royaume-Uni

1 407

Belgique

427

Italie

non disponible

Italie

non disponible

Moyenne par habitant

2 104

1 033

419

377

| 26. | Le tableau montre que le montant total des crédits effectifs s’est élevé en moyenne à 2 104 euros par habitant. Les Fonds structurels représentent environ la moitié de ce montant, tandis que trois des quatre États membres bénéficiant du Fonds de cohésion ont reçu environ 50 % de plus que le montant moyen de l’aide communautaire par habitant, qui s’est élevé à 1 033 euros. La contribution du secteur privé revêt une importance toute particulière, notamment à la lumière de l’incidence à long terme sur l’offre dans les régions en question. Certaines régions relevant de l’objectif no 1 dans des États membres comme l’Allemagne, l’Autriche et les Pays-Bas ont remarquablement bien réussi à combiner investissements privés et Fonds structurels, les investissements privés dépassant même la contribution moyenne des Fonds structurels de l’Union européenne, et cela de manière significative dans le cas de l’Allemagne et de l’Autriche. |
| --- | --- |

26.

Le tableau montre que le montant total des crédits effectifs s’est élevé en moyenne à 2 104 euros par habitant. Les Fonds structurels représentent environ la moitié de ce montant, tandis que trois des quatre États membres bénéficiant du Fonds de cohésion ont reçu environ 50 % de plus que le montant moyen de l’aide communautaire par habitant, qui s’est élevé à 1 033 euros. La contribution du secteur privé revêt une importance toute particulière, notamment à la lumière de l’incidence à long terme sur l’offre dans les régions en question. Certaines régions relevant de l’objectif no 1 dans des États membres comme l’Allemagne, l’Autriche et les Pays-Bas ont remarquablement bien réussi à combiner investissements privés et Fonds structurels, les investissements privés dépassant même la contribution moyenne des Fonds structurels de l’Union européenne, et cela de manière significative dans le cas de l’Allemagne et de l’Autriche.

| 27. | Or les facteurs qui contribuent à l’augmentation de la participation du secteur privé ne sont pas examinés dans le rapport. Par exemple la question de savoir si ce phénomène était une conséquence de la nature des projets retenus, de la qualité des ressources humaines disponibles ou de la nature différente de l’aide accordée au secteur privé par les Fonds structurels, aurait pu être posée. La Cour estime que ces questions méritaient un examen plus approfondi. |
| --- | --- |

27.

Or les facteurs qui contribuent à l’augmentation de la participation du secteur privé ne sont pas examinés dans le rapport. Par exemple la question de savoir si ce phénomène était une conséquence de la nature des projets retenus, de la qualité des ressources humaines disponibles ou de la nature différente de l’aide accordée au secteur privé par les Fonds structurels, aurait pu être posée. La Cour estime que ces questions méritaient un examen plus approfondi.

| 28. | L’appréciation de l’adéquation des stratégies adoptées s’est rarement appuyée sur des techniques formalisées (17). Les pratiques adoptées par les évaluateurs nationaux ont sensiblement varié et, de manière générale, ont été largement descriptives. La question de l’adéquation de la réponse des interventions des Fonds structurels aux «défaillances du marché» a rarement constitué de manière explicite l’objet de l’évaluation ex post. De même, le caractère approprié des changements de stratégie en cours de période de programmation n’a fait l’objet d’aucune analyse approfondie. |
| --- | --- |

28.

L’appréciation de l’adéquation des stratégies adoptées s’est rarement appuyée sur des techniques formalisées (17). Les pratiques adoptées par les évaluateurs nationaux ont sensiblement varié et, de manière générale, ont été largement descriptives. La question de l’adéquation de la réponse des interventions des Fonds structurels aux «défaillances du marché» a rarement constitué de manière explicite l’objet de l’évaluation ex post. De même, le caractère approprié des changements de stratégie en cours de période de programmation n’a fait l’objet d’aucune analyse approfondie.

Évaluation de l’efficacité

| 29. | Certains chapitres spécifiques des évaluations nationales et le chapitre 3 du rapport de synthèse comportent une analyse de l’efficacité des Fonds structurels consistant à déterminer dans quelle mesure les effets escomptés ont été obtenus et les objectifs atteints. Cinq thèmes y sont abordés, à savoir, les transports, les petites et moyennes entreprises, la recherche et le développement, l’éducation et la formation, ainsi que le développement rural. Deux thèmes horizontaux sont également examinés: l’environnement et l’égalité des chances. |
| --- | --- |

29.

Certains chapitres spécifiques des évaluations nationales et le chapitre 3 du rapport de synthèse comportent une analyse de l’efficacité des Fonds structurels consistant à déterminer dans quelle mesure les effets escomptés ont été obtenus et les objectifs atteints. Cinq thèmes y sont abordés, à savoir, les transports, les petites et moyennes entreprises, la recherche et le développement, l’éducation et la formation, ainsi que le développement rural. Deux thèmes horizontaux sont également examinés: l’environnement et l’égalité des chances.

| 30. | L’analyse est fondée sur un échantillon correspondant à 70 % de la valeur des programmes relevant de l’objectif no 1. L’accent est cependant mis dans une large mesure sur des appréciations qualitatives, la valeur ajoutée par la Communauté étant par exemple évaluée sur la base des réponses — «oui» ou «non» — apportées à des questions trop générales et qui ne peuvent pas toujours être vérifiées de façon objective. Aucune tentative n’a été faite pour fixer des objectifs plus concrets, aucun critère susceptible d’y contribuer n’ayant été défini. En outre, aucune donnée supplémentaire n’a été collectée aux fins de microanalyses. Dans de nombreux cas, le rapport n’a pas pris en considération des éléments importants pour une évaluation plus complète de l’efficacité, comme les effets d’aubaine et de déplacement. Lorsque ces points ont été abordés, ils n’ont pas fait l’objet d’une analyse suffisamment détaillée. |
| --- | --- |

30.

L’analyse est fondée sur un échantillon correspondant à 70 % de la valeur des programmes relevant de l’objectif no 1. L’accent est cependant mis dans une large mesure sur des appréciations qualitatives, la valeur ajoutée par la Communauté étant par exemple évaluée sur la base des réponses — «oui» ou «non» — apportées à des questions trop générales et qui ne peuvent pas toujours être vérifiées de façon objective. Aucune tentative n’a été faite pour fixer des objectifs plus concrets, aucun critère susceptible d’y contribuer n’ayant été défini. En outre, aucune donnée supplémentaire n’a été collectée aux fins de microanalyses. Dans de nombreux cas, le rapport n’a pas pris en considération des éléments importants pour une évaluation plus complète de l’efficacité, comme les effets d’aubaine et de déplacement. Lorsque ces points ont été abordés, ils n’ont pas fait l’objet d’une analyse suffisamment détaillée.

| 31. | Même si certaines parties du rapport de synthèse contiennent des observations valables et utiles, la Cour estime de manière générale que ce chapitre essentiel (18) est insuffisamment étayé, et cela pour les raisons suivantes: certaines données manquent, les conclusions sont souvent faibles, et l’évaluation des résultats d’autres études thématiques relatives à la période de programmation des Fonds structurels 1994-1999, commandées par la direction générale de la politique régionale, est insuffisante ou fait défaut. |
| --- | --- |

31.

Même si certaines parties du rapport de synthèse contiennent des observations valables et utiles, la Cour estime de manière générale que ce chapitre essentiel (18) est insuffisamment étayé, et cela pour les raisons suivantes: certaines données manquent, les conclusions sont souvent faibles, et l’évaluation des résultats d’autres études thématiques relatives à la période de programmation des Fonds structurels 1994-1999, commandées par la direction générale de la politique régionale, est insuffisante ou fait défaut.

| 32. | S’agissant par exemple de la partie de l’évaluation ex post consacrée aux transports, notamment des tableaux où figurent les chiffres réels et les objectifs en matière de kilomètres de routes améliorées par État membre, environ la moitié des informations relatives aux objectifs est manquante ou incomplète. Il est dès lors difficile de tirer une conclusion fiable concernant les travaux réalisés par rapport aux objectifs définis. Pourtant, le rapport cite abondamment une évaluation thématique (19) de l’impact des Fonds structurels sur les infrastructures de transport, qui porte sur la même période de programmation et qui fournit une appréciation plus complète et plus rigoureuse des résultats par État membre. |
| --- | --- |

32.

S’agissant par exemple de la partie de l’évaluation ex post consacrée aux transports, notamment des tableaux où figurent les chiffres réels et les objectifs en matière de kilomètres de routes améliorées par État membre, environ la moitié des informations relatives aux objectifs est manquante ou incomplète. Il est dès lors difficile de tirer une conclusion fiable concernant les travaux réalisés par rapport aux objectifs définis. Pourtant, le rapport cite abondamment une évaluation thématique (19) de l’impact des Fonds structurels sur les infrastructures de transport, qui porte sur la même période de programmation et qui fournit une appréciation plus complète et plus rigoureuse des résultats par État membre.

| 33. | L’estimation de l’impact des programmes de transport sur l’emploi, figurant dans le rapport d’évaluation thématique relatif aux transports, est particulièrement intéressante pour l’évaluation ex post. L’impact total en termes d’emplois directs et indirects est estimé à 2,3 millions de personnes/années (20). En outre, les avantages économiques des programmes de transport mentionnés dans l’étude sont jugés significatifs. Le taux de rendement économique des projets routiers est estimé à 13 % pour l’Irlande et à 23 % pour l’Espagne (21). |
| --- | --- |

33.

L’estimation de l’impact des programmes de transport sur l’emploi, figurant dans le rapport d’évaluation thématique relatif aux transports, est particulièrement intéressante pour l’évaluation ex post. L’impact total en termes d’emplois directs et indirects est estimé à 2,3 millions de personnes/années (20). En outre, les avantages économiques des programmes de transport mentionnés dans l’étude sont jugés significatifs. Le taux de rendement économique des projets routiers est estimé à 13 % pour l’Irlande et à 23 % pour l’Espagne (21).

| 34. | Ces deux conclusions intéressantes du rapport d’évaluation thématique relative aux transports ne sont pas prises en considération dans le rapport de synthèse. En outre, l’estimation de l’impact sur l’emploi dans l’évaluation thématique ne concorde pas avec celle de l’évaluation ex post. Sur la base des calculs que la Cour a effectués en se fondant sur l’évaluation ex post (22) (en utilisant le modèle Hermin et l’évaluation des autres régions), l’impact total des Fonds structurels sur l’emploi durant la période 1994-1999 est de 1,62 million d’emplois, ce qui ne concorde pas avec l’estimation de 2,3 millions d’emplois figurant dans le rapport d’évaluation thématique, en particulier parce que les transports ne représentent que quelque 20 % de l’ensemble des dépenses des Fonds structurels. |
| --- | --- |

34.

Ces deux conclusions intéressantes du rapport d’évaluation thématique relative aux transports ne sont pas prises en considération dans le rapport de synthèse. En outre, l’estimation de l’impact sur l’emploi dans l’évaluation thématique ne concorde pas avec celle de l’évaluation ex post. Sur la base des calculs que la Cour a effectués en se fondant sur l’évaluation ex post (22) (en utilisant le modèle Hermin et l’évaluation des autres régions), l’impact total des Fonds structurels sur l’emploi durant la période 1994-1999 est de 1,62 million d’emplois, ce qui ne concorde pas avec l’estimation de 2,3 millions d’emplois figurant dans le rapport d’évaluation thématique, en particulier parce que les transports ne représentent que quelque 20 % de l’ensemble des dépenses des Fonds structurels.

| 35. | Par contre, le rapport de synthèse s’appuie sur les résultats de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, lorsqu’il indique que: «Dans l’évaluation thématique de l’impact des Fonds structurels sur les PME, il est recommandé de passer à l’avenir d’une aide sous la forme de subventions à des mesures d’ingénierie financière comme les fonds de capital d’amorçage ou de capital risque, les prêts, les bonifications d’intérêt, ces méthodes étant considérées comme plus durables à long terme» (23). Il est utile que l’évaluation ex post mette en évidence cette importante conclusion de l’évaluation thématique. Cependant, cette question n’est pas développée dans le rapport, en dépit des implications considérables qu’elle pourrait avoir pour les programmes à venir (24). |
| --- | --- |

35.

Par contre, le rapport de synthèse s’appuie sur les résultats de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, lorsqu’il indique que: «Dans l’évaluation thématique de l’impact des Fonds structurels sur les PME, il est recommandé de passer à l’avenir d’une aide sous la forme de subventions à des mesures d’ingénierie financière comme les fonds de capital d’amorçage ou de capital risque, les prêts, les bonifications d’intérêt, ces méthodes étant considérées comme plus durables à long terme» (23). Il est utile que l’évaluation ex post mette en évidence cette importante conclusion de l’évaluation thématique. Cependant, cette question n’est pas développée dans le rapport, en dépit des implications considérables qu’elle pourrait avoir pour les programmes à venir (24).

| 36. | Le rapport de synthèse cite un extrait de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, où les auteurs estiment qu’«en l’absence de soutien communautaire, 70 % des projets d’investissements n’auraient pas été réalisés, auraient été réduits ou reportés». Selon l’évaluation thématique, «[...] cette aide a contribué à créer plus de 300 000 emplois supplémentaires, même compte tenu des effets d’aubaine et de remplacement. En raison du manque de données comparables et fiables pour établir ces estimations, il n’a pas été possible de reproduire ces calculs dans le cadre de l’évaluation ex post de l’objectif no 1» (25). Eu égard à l’importance de ces différences affectant les résultats et au fait que les deux études ont été effectuées à deux ou trois ans d’intervalle seulement par le même contractant sur le même sujet et pour la même période, un traitement plus approfondi de leurs différences était justifié. |
| --- | --- |

36.

Le rapport de synthèse cite un extrait de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, où les auteurs estiment qu’«en l’absence de soutien communautaire, 70 % des projets d’investissements n’auraient pas été réalisés, auraient été réduits ou reportés». Selon l’évaluation thématique, «[...] cette aide a contribué à créer plus de 300 000 emplois supplémentaires, même compte tenu des effets d’aubaine et de remplacement. En raison du manque de données comparables et fiables pour établir ces estimations, il n’a pas été possible de reproduire ces calculs dans le cadre de l’évaluation ex post de l’objectif no 1» (25). Eu égard à l’importance de ces différences affectant les résultats et au fait que les deux études ont été effectuées à deux ou trois ans d’intervalle seulement par le même contractant sur le même sujet et pour la même période, un traitement plus approfondi de leurs différences était justifié.

| 37. | Dans le prolongement de ce qui précède, le rapport de synthèse donne, dans une section présentant une «Analyse globale», une estimation du nombre d’emplois créés dans les PME à la suite des interventions des Fonds structurels. «Les éléments probants disponibles indiquent que l’objectif no 1 a permis la création de quelque 800 000 emplois. Il s’agit d’un chiffre brut qui ne tient pas compte des effets de remplacement, d’aubaine et multiplicateurs. Il n’est pas possible de déterminer l’efficacité globale en termes nets» (26). Cette conclusion ne bénéficie pas d’une attention suffisante, en particulier à la lumière de l’estimation fournie dans l’évaluation thématique relative aux PME. En outre, le tableau de l’évaluation ex post présentant la ventilation des emplois créés par État membre, ne donne aucune précision concernant l’Espagne. Par conséquent, l’estimation fournie est manifestement incomplète (27). Cette question méritait un examen plus approfondi dans l’évaluation ex post. |
| --- | --- |

37.

Dans le prolongement de ce qui précède, le rapport de synthèse donne, dans une section présentant une «Analyse globale», une estimation du nombre d’emplois créés dans les PME à la suite des interventions des Fonds structurels. «Les éléments probants disponibles indiquent que l’objectif no 1 a permis la création de quelque 800 000 emplois. Il s’agit d’un chiffre brut qui ne tient pas compte des effets de remplacement, d’aubaine et multiplicateurs. Il n’est pas possible de déterminer l’efficacité globale en termes nets» (26). Cette conclusion ne bénéficie pas d’une attention suffisante, en particulier à la lumière de l’estimation fournie dans l’évaluation thématique relative aux PME. En outre, le tableau de l’évaluation ex post présentant la ventilation des emplois créés par État membre, ne donne aucune précision concernant l’Espagne. Par conséquent, l’estimation fournie est manifestement incomplète (27). Cette question méritait un examen plus approfondi dans l’évaluation ex post.

| 38. | Parmi les «autres points» abordés dans le rapport d’évaluation ex post au chapitre «Efficacité», figure une synthèse aussi brève qu’intéressante relative à diverses questions pertinentes réparties sous un certain nombre de titres. Toutefois, une des limites sous-jacentes à cet exercice est «la faiblesse des données comparatives, qui a contraint les auteurs à procéder à des appréciations qualitatives plutôt qu’à une évaluation détaillée fondée sur les projets» (28). Le lien de certaines de ces appréciations qualitatives avec celles d’autres évaluations thématiques, notamment celles relatives à la recherche et au développement technologique, aurait pu être mieux exploité. Le cahier des charges précisait que: «Une vaste revue de la littérature sera effectuée afin de déterminer les questions clés concernant la mise en œuvre des Fonds structurels» (29). Or des insuffisances affectent la manière dont ces implications sont rapportées et mises en relation avec les constatations ultérieures. Dans les quelques cas où ce lien a été établi, la qualité du rapport de synthèse s’en est manifestement trouvée améliorée. |
| --- | --- |

38.

Parmi les «autres points» abordés dans le rapport d’évaluation ex post au chapitre «Efficacité», figure une synthèse aussi brève qu’intéressante relative à diverses questions pertinentes réparties sous un certain nombre de titres. Toutefois, une des limites sous-jacentes à cet exercice est «la faiblesse des données comparatives, qui a contraint les auteurs à procéder à des appréciations qualitatives plutôt qu’à une évaluation détaillée fondée sur les projets» (28). Le lien de certaines de ces appréciations qualitatives avec celles d’autres évaluations thématiques, notamment celles relatives à la recherche et au développement technologique, aurait pu être mieux exploité. Le cahier des charges précisait que: «Une vaste revue de la littérature sera effectuée afin de déterminer les questions clés concernant la mise en œuvre des Fonds structurels» (29). Or des insuffisances affectent la manière dont ces implications sont rapportées et mises en relation avec les constatations ultérieures. Dans les quelques cas où ce lien a été établi, la qualité du rapport de synthèse s’en est manifestement trouvée améliorée.

| 39. | Par exemple le rapport d’évaluation ex post signale que l’évaluation thématique relative à la RDT indique qu’il serait préférable de cibler les activités sur le développement de stratégies d’innovation spécifiques aux régions en cause afin d’exploiter les capacités existantes en matière de RDT, plutôt que d’essayer de combler ce qui est perçu comme des «retards technologiques». L’évaluation ex post fait apparaître que de tels cas ont été nombreux et que les résultats sont meilleurs lorsque l’accent a été mis sur les points forts de la région (30). Cet exemple indique clairement qu’il est utile de se fonder sur ce que d’autres rapports et études ont démontré, comme le préconisent les critères élaborés dans le cadre du programme MEANS et de sa version mise à jour, critères qui ont été repris dans le cahier des charges de cette évaluation ex post (31). |
| --- | --- |

39.

Par exemple le rapport d’évaluation ex post signale que l’évaluation thématique relative à la RDT indique qu’il serait préférable de cibler les activités sur le développement de stratégies d’innovation spécifiques aux régions en cause afin d’exploiter les capacités existantes en matière de RDT, plutôt que d’essayer de combler ce qui est perçu comme des «retards technologiques». L’évaluation ex post fait apparaître que de tels cas ont été nombreux et que les résultats sont meilleurs lorsque l’accent a été mis sur les points forts de la région (30). Cet exemple indique clairement qu’il est utile de se fonder sur ce que d’autres rapports et études ont démontré, comme le préconisent les critères élaborés dans le cadre du programme MEANS et de sa version mise à jour, critères qui ont été repris dans le cahier des charges de cette évaluation ex post (31).

| 40. | Les évaluations nationales se sont rarement appuyées sur une analyse formalisée ou quantitative des effets. En outre, les évaluateurs nationaux ont rarement utilisé les résultats des analyses quantitatives réalisées par des tiers. |
| --- | --- |

40.

Les évaluations nationales se sont rarement appuyées sur une analyse formalisée ou quantitative des effets. En outre, les évaluateurs nationaux ont rarement utilisé les résultats des analyses quantitatives réalisées par des tiers.

Évaluation de l’efficience

| 41. | Dans le chapitre portant ce titre, le rapport de synthèse vise à évaluer l’efficience de la mise en œuvre de grands projets dans certaines régions relevant de l’objectif no 1. Cet examen a porté sur un échantillon de quelque 60 grands projets, représentatif des différentes régions et des différents thèmes (32). On entend par efficience les effets obtenus à un coût raisonnable. «Le principal objectif est de déterminer les coûts unitaires, c’est-à-dire le coût par réalisation. Il y a lieu également de faire porter l’analyse sur la qualité de la gestion des grands projets par les bénéficiaires finals. Au niveau européen, il convient d’analyser les coûts unitaires dans l’ensemble des régions relevant de l’objectif no 1. Le cas échéant, il importe d’expliquer les différences significatives entre les coûts unitaires des diverses régions et d’établir des fourchettes de coûts acceptables de nature à servir ultérieurement de base à des exercices d’étalonnage» (33). Ces objectifs sont pertinents et essentiels dans la perspective d’une gestion efficiente des projets à l’échelle de l’Union européenne. |
| --- | --- |

41.

Dans le chapitre portant ce titre, le rapport de synthèse vise à évaluer l’efficience de la mise en œuvre de grands projets dans certaines régions relevant de l’objectif no 1. Cet examen a porté sur un échantillon de quelque 60 grands projets, représentatif des différentes régions et des différents thèmes (32). On entend par efficience les effets obtenus à un coût raisonnable. «Le principal objectif est de déterminer les coûts unitaires, c’est-à-dire le coût par réalisation. Il y a lieu également de faire porter l’analyse sur la qualité de la gestion des grands projets par les bénéficiaires finals. Au niveau européen, il convient d’analyser les coûts unitaires dans l’ensemble des régions relevant de l’objectif no 1. Le cas échéant, il importe d’expliquer les différences significatives entre les coûts unitaires des diverses régions et d’établir des fourchettes de coûts acceptables de nature à servir ultérieurement de base à des exercices d’étalonnage» (33). Ces objectifs sont pertinents et essentiels dans la perspective d’une gestion efficiente des projets à l’échelle de l’Union européenne.

| 42. | Or, dans une large mesure, l’évaluation ex post n’a pas permis d’atteindre ces objectifs. Cela est confirmé dans le rapport de synthèse, l’explication donnée étant que les gestionnaires de projet ont constaté qu’il était virtuellement impossible de déterminer quelles étaient les différentes composantes de leurs projets respectifs et, par conséquent, de calculer des coûts unitaires (34). Une affirmation aussi générale implique que les informations disponibles sur les grands projets sont tellement lacunaires que l’objectif assigné par le cahier des charges ne peut être atteint. Il aurait dû être au moins possible d’établir des coûts comparables pour des réalisations classiques, par exemple le coût au mètre carré pour la construction d’une usine ou le coût au kilomètre d’une route. |
| --- | --- |

42.

Or, dans une large mesure, l’évaluation ex post n’a pas permis d’atteindre ces objectifs. Cela est confirmé dans le rapport de synthèse, l’explication donnée étant que les gestionnaires de projet ont constaté qu’il était virtuellement impossible de déterminer quelles étaient les différentes composantes de leurs projets respectifs et, par conséquent, de calculer des coûts unitaires (34). Une affirmation aussi générale implique que les informations disponibles sur les grands projets sont tellement lacunaires que l’objectif assigné par le cahier des charges ne peut être atteint. Il aurait dû être au moins possible d’établir des coûts comparables pour des réalisations classiques, par exemple le coût au mètre carré pour la construction d’une usine ou le coût au kilomètre d’une route.

| 43. | Quelques résultats partiels sont présentés dans trois tableaux concernant la construction de routes dans certains États membres, des projets environnementaux en Espagne et des coûts par emploi créé dans le cadre de projets industriels (35). Cependant, ces résultats ne sont guère évalués ou analysés, pour que dans le domaine de la construction de routes, par exemple, les différences du coût de la main-d’œuvre ou les caractéristiques géographiques particulières à la région en cause puissent être prises en considération dans le calcul de l’incidence. |
| --- | --- |

43.

Quelques résultats partiels sont présentés dans trois tableaux concernant la construction de routes dans certains États membres, des projets environnementaux en Espagne et des coûts par emploi créé dans le cadre de projets industriels (35). Cependant, ces résultats ne sont guère évalués ou analysés, pour que dans le domaine de la construction de routes, par exemple, les différences du coût de la main-d’œuvre ou les caractéristiques géographiques particulières à la région en cause puissent être prises en considération dans le calcul de l’incidence.

| 44. | Le rapport de synthèse contient des conclusions solides en ce qui concerne le calendrier de mise en œuvre des projets et le respect des limites budgétaires: premièrement, un tiers seulement des 60 projets examinés ont été achevés dans les délais initialement prévus, plus d’un tiers se terminant avec un an de retard; deuxièmement, environ deux tiers des projets examinés ont dépassé le budget initialement prévu, le dépassement étant supérieur à 30 % pour un cinquième d’entre eux. L’analyse s’est toutefois limitée à quelques observations à caractère général et ne livre que peu d’éléments d’appréciation, voire aucun, concernant la qualité de la gestion par les bénéficiaires finals, contrairement à ce que prévoit le cahier des charges (36). En outre, l’efficience relative des partenariats public privé ou des procédures de passation des marchés appliquées n’ont fait l’objet d’aucune évaluation. |
| --- | --- |

44.

Le rapport de synthèse contient des conclusions solides en ce qui concerne le calendrier de mise en œuvre des projets et le respect des limites budgétaires: premièrement, un tiers seulement des 60 projets examinés ont été achevés dans les délais initialement prévus, plus d’un tiers se terminant avec un an de retard; deuxièmement, environ deux tiers des projets examinés ont dépassé le budget initialement prévu, le dépassement étant supérieur à 30 % pour un cinquième d’entre eux. L’analyse s’est toutefois limitée à quelques observations à caractère général et ne livre que peu d’éléments d’appréciation, voire aucun, concernant la qualité de la gestion par les bénéficiaires finals, contrairement à ce que prévoit le cahier des charges (36). En outre, l’efficience relative des partenariats public privé ou des procédures de passation des marchés appliquées n’ont fait l’objet d’aucune évaluation.

Évaluation de l’impact des Fonds structurels

| 45. | Le rapport de synthèse indique que l’objectif premier des Fonds structurels est d’avoir une incidence sur l’offre potentielle à long terme de l’économie (37). Ces effets sur l’offre opèrent à travers un certain nombre de canaux qui sont conçus pour: a) accroître les investissements visant à améliorer les infrastructures physiques afin de contribuer à l’activité productive du secteur privé; b) renforcer le capital humain par des investissements dans la formation afin de contribuer à l’activité productive du secteur privé; c) orienter l’aide financière publique vers le secteur privé afin de stimuler les investissements et, par suite, d’accroître la productivité des facteurs et de réduire les coûts sectoriels de la production et du capital (38). |
| --- | --- |

45.

Le rapport de synthèse indique que l’objectif premier des Fonds structurels est d’avoir une incidence sur l’offre potentielle à long terme de l’économie (37). Ces effets sur l’offre opèrent à travers un certain nombre de canaux qui sont conçus pour: a) accroître les investissements visant à améliorer les infrastructures physiques afin de contribuer à l’activité productive du secteur privé; b) renforcer le capital humain par des investissements dans la formation afin de contribuer à l’activité productive du secteur privé; c) orienter l’aide financière publique vers le secteur privé afin de stimuler les investissements et, par suite, d’accroître la productivité des facteurs et de réduire les coûts sectoriels de la production et du capital (38).

| 46. | Le rapport évoque ensuite la question de l’importance de ce que l’on appelle les «externalités positives», c’est-à-dire des «conditions dans lesquelles les entreprises privées bénéficient de l’utilisation de facteurs de production supplémentaires sans coût pour elles-mêmes», ce qui améliore la productivité et le rapport compétitivité-coûts de l’économie. Ces considérations sont pertinentes dans une évaluation ex post. Or le cofinancement du secteur privé a été exclu de l’analyse en raison des incertitudes concernant ses «mécanismes d’entraînement» (39). Cette approche limitée conduit à une grave sous-estimation de l’impact de certaines dépenses dans le cadre des Fonds structurels parce qu’elle exclut un des principaux effets d'offre à long terme. L’exemple, présenté dans le rapport de synthèse (40), d’une société de développement qui, grâce au cofinancement de ses dépenses, a attiré une quantité significative d’investissements privés supplémentaires en fournit une excellente démonstration. Au lieu d’être centrée sur l’incidence plus directement mesurable des dépenses des Fonds structurels sur les investissements du secteur privé, l’étude met l’accent sur une tentative d’évaluation des «externalités» sur la base de techniques d’estimation assez limitées en raison de l’absence d’études fournissant des mesures pertinentes des élasticités pour les régions en question. |
| --- | --- |

46.

Le rapport évoque ensuite la question de l’importance de ce que l’on appelle les «externalités positives», c’est-à-dire des «conditions dans lesquelles les entreprises privées bénéficient de l’utilisation de facteurs de production supplémentaires sans coût pour elles-mêmes», ce qui améliore la productivité et le rapport compétitivité-coûts de l’économie. Ces considérations sont pertinentes dans une évaluation ex post. Or le cofinancement du secteur privé a été exclu de l’analyse en raison des incertitudes concernant ses «mécanismes d’entraînement» (39). Cette approche limitée conduit à une grave sous-estimation de l’impact de certaines dépenses dans le cadre des Fonds structurels parce qu’elle exclut un des principaux effets d'offre à long terme. L’exemple, présenté dans le rapport de synthèse (40), d’une société de développement qui, grâce au cofinancement de ses dépenses, a attiré une quantité significative d’investissements privés supplémentaires en fournit une excellente démonstration. Au lieu d’être centrée sur l’incidence plus directement mesurable des dépenses des Fonds structurels sur les investissements du secteur privé, l’étude met l’accent sur une tentative d’évaluation des «externalités» sur la base de techniques d’estimation assez limitées en raison de l’absence d’études fournissant des mesures pertinentes des élasticités pour les régions en question.

| 47. | Un modèle macroéconomique fondé sur le modèle Hermin a été appliqué à quatre États membres (Grèce, Espagne, Irlande et Portugal) (41), ainsi qu’aux nouveaux Länder en Allemagne et à l’Irlande du Nord (42), pour évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Cette approche visait à mesurer l’impact des programmes relevant de l’objectif no 1 en termes d’effets sur le PIB et l’emploi. |
| --- | --- |

47.

Un modèle macroéconomique fondé sur le modèle Hermin a été appliqué à quatre États membres (Grèce, Espagne, Irlande et Portugal) (41), ainsi qu’aux nouveaux Länder en Allemagne et à l’Irlande du Nord (42), pour évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Cette approche visait à mesurer l’impact des programmes relevant de l’objectif no 1 en termes d’effets sur le PIB et l’emploi.

| 48. | Un autre scénario d’évaluation consisterait à utiliser les données microéconomiques relatives aux projets pour déterminer l’impact total ou agrégé des Fonds structurels dans une région ou un État membre. Or, en dépit de l’obligation d’utiliser des données normalisées dans l’ensemble des régions relevant de l’objectif no 1, la collecte de données microéconomiques s’avère difficile. En conséquence, les impacts sont mesurés uniquement à partir de modèles macroéconomiques, ce qui donne lieu à de nombreuses restrictions et suppositions. Celles-ci, pour les raisons exposées ci-après, peuvent réduire considérablement la portée de l’évaluation et, par suite, celle des implications politiques qui peuvent en résulter. |
| --- | --- |

48.

Un autre scénario d’évaluation consisterait à utiliser les données microéconomiques relatives aux projets pour déterminer l’impact total ou agrégé des Fonds structurels dans une région ou un État membre. Or, en dépit de l’obligation d’utiliser des données normalisées dans l’ensemble des régions relevant de l’objectif no 1, la collecte de données microéconomiques s’avère difficile. En conséquence, les impacts sont mesurés uniquement à partir de modèles macroéconomiques, ce qui donne lieu à de nombreuses restrictions et suppositions. Celles-ci, pour les raisons exposées ci-après, peuvent réduire considérablement la portée de l’évaluation et, par suite, celle des implications politiques qui peuvent en résulter.

| 49. | Les principaux problèmes relevés dans l’application du modèle macroéconomique Hermin dans le cadre de l’évaluation ex post examinée sont les suivants:






  a) | le modèle est structuré d’une manière qui met trop l’accent sur le secteur manufacturier, alors que les économies de la plupart des régions ou États membres en cause ont connu, au cours des dix dernières années, un développement plus important des services marchands, tels que le tourisme et, dans certains cas, le secteur financier. Les mécanismes d’entraînement de ces services sont différents de ceux du secteur manufacturier, qui est devenu plus sensible à la mondialisation. Par conséquent, le modèle macroéconomique doit être réorienté dans cette direction. Le modèle utilisé n’a pas pris en considération cet aspect et peu d’éléments indiquent que, dans le rapport, cela ait été considéré comme un défaut grave du modèle, en dépit du fait que le tourisme soit si important pour un grand nombre des régions en cause; |
| --- | --- | --- |

49.

Les principaux problèmes relevés dans l’application du modèle macroéconomique Hermin dans le cadre de l’évaluation ex post examinée sont les suivants:

a)

le modèle est structuré d’une manière qui met trop l’accent sur le secteur manufacturier, alors que les économies de la plupart des régions ou États membres en cause ont connu, au cours des dix dernières années, un développement plus important des services marchands, tels que le tourisme et, dans certains cas, le secteur financier. Les mécanismes d’entraînement de ces services sont différents de ceux du secteur manufacturier, qui est devenu plus sensible à la mondialisation. Par conséquent, le modèle macroéconomique doit être réorienté dans cette direction. Le modèle utilisé n’a pas pris en considération cet aspect et peu d’éléments indiquent que, dans le rapport, cela ait été considéré comme un défaut grave du modèle, en dépit du fait que le tourisme soit si important pour un grand nombre des régions en cause;

| b) | le modèle utilisé est fondé sur des données annuelles à partir de 1980. Or, en raison de l’évolution rapide de la structure des régions en question durant la période d’intervention, l’instabilité structurelle des paramètres estimés est de nature à limiter considérablement la portée du modèle macroéconomique adopté. Il n’a pas non plus été tenu compte de cet élément; |
| --- | --- |

b)

le modèle utilisé est fondé sur des données annuelles à partir de 1980. Or, en raison de l’évolution rapide de la structure des régions en question durant la période d’intervention, l’instabilité structurelle des paramètres estimés est de nature à limiter considérablement la portée du modèle macroéconomique adopté. Il n’a pas non plus été tenu compte de cet élément;

| c) | l’analyse est fondée sur les dépenses programmées plutôt que sur les dépenses effectives (43), ce que l’on peut raisonnablement s’attendre à trouver dans une projection ex ante, mais beaucoup moins dans une évaluation ex post; |
| --- | --- |

c)

l’analyse est fondée sur les dépenses programmées plutôt que sur les dépenses effectives (43), ce que l’on peut raisonnablement s’attendre à trouver dans une projection ex ante, mais beaucoup moins dans une évaluation ex post;

| d) | les estimations des impacts sont sensiblement biaisées vers le bas parce que le cofinancement par le secteur privé a été exclu du modèle (voir point 46), de même que le flux d’investissements du secteur privé qui résulte des interventions des Fonds structurels. Par exemple, si les Fonds structurels fournissent une aide pour la construction d’une usine, l’impact sur l’économie de la région ne se limite pas à la construction du bâtiment, mais s’étend également aux emplois permanents créés grâce aux investissements réalisés par le secteur privé à la suite de la construction de l’usine; |
| --- | --- |

d)

les estimations des impacts sont sensiblement biaisées vers le bas parce que le cofinancement par le secteur privé a été exclu du modèle (voir point 46), de même que le flux d’investissements du secteur privé qui résulte des interventions des Fonds structurels. Par exemple, si les Fonds structurels fournissent une aide pour la construction d’une usine, l’impact sur l’économie de la région ne se limite pas à la construction du bâtiment, mais s’étend également aux emplois permanents créés grâce aux investissements réalisés par le secteur privé à la suite de la construction de l’usine;

| e) | l’impact des Fonds structurels à long terme sur les infrastructures publiques et le capital humain (externalités positives) est un élément clé de l’évaluation de l’impact des Fonds structurels dans le cadre du rapport de synthèse. Selon le modèle Hermin, l’élasticité des externalités doit être déterminée dans le cadre d’autres études spécifiques. Or, comme les élasticités ne sont disponibles pour aucune des régions de l’Union européenne en cause, les auteurs du rapport, comme ils le notent eux-mêmes, se sont appuyés sur une littérature empirique, largement fondée sur des régions des États-Unis, qui «est quelque peu ambiguë sur l’ampleur que devraient idéalement avoir les externalités» (44). Par conséquent, il n’est pas possible de savoir dans quelle mesure les estimations sont fondées sur un jugement ou sur des faits; |
| --- | --- |

e)

l’impact des Fonds structurels à long terme sur les infrastructures publiques et le capital humain (externalités positives) est un élément clé de l’évaluation de l’impact des Fonds structurels dans le cadre du rapport de synthèse. Selon le modèle Hermin, l’élasticité des externalités doit être déterminée dans le cadre d’autres études spécifiques. Or, comme les élasticités ne sont disponibles pour aucune des régions de l’Union européenne en cause, les auteurs du rapport, comme ils le notent eux-mêmes, se sont appuyés sur une littérature empirique, largement fondée sur des régions des États-Unis, qui «est quelque peu ambiguë sur l’ampleur que devraient idéalement avoir les externalités» (44). Par conséquent, il n’est pas possible de savoir dans quelle mesure les estimations sont fondées sur un jugement ou sur des faits;

| f) | s’agissant de l’additionnalité, les simulations de Hermin comparent les situations avec ou sans le financement au titre du cadre communautaire d’appui. Le scénario sans ce financement suppose que ni les crédits de l’Union européenne ni les montants cofinancés ne sont dépensés. La validité d’une telle hypothèse est discutable (45). |
| --- | --- |

f)

s’agissant de l’additionnalité, les simulations de Hermin comparent les situations avec ou sans le financement au titre du cadre communautaire d’appui. Le scénario sans ce financement suppose que ni les crédits de l’Union européenne ni les montants cofinancés ne sont dépensés. La validité d’une telle hypothèse est discutable (45).

| 50. | Il apparaît donc que le modèle Hermin, de la manière dont il est appliqué, n’est pas adapté à l’estimation des effets des interventions des Fonds structurels dans les régions relevant de l’objectif no 1. |
| --- | --- |

50.

Il apparaît donc que le modèle Hermin, de la manière dont il est appliqué, n’est pas adapté à l’estimation des effets des interventions des Fonds structurels dans les régions relevant de l’objectif no 1.

| 51. | La Cour a comparé les résultats des simulations de Hermin concernant les modifications du taux de chômage à un ensemble d’hypothèses prédéfinies (46). En matière de chômage, les résultats de cette analyse, présentés à l’annexe IV, diffèrent sensiblement des résultats obtenus à partir d’autres sources. |
| --- | --- |

51.

La Cour a comparé les résultats des simulations de Hermin concernant les modifications du taux de chômage à un ensemble d’hypothèses prédéfinies (46). En matière de chômage, les résultats de cette analyse, présentés à l’annexe IV, diffèrent sensiblement des résultats obtenus à partir d’autres sources.

| 52. | Enfin, dans de nombreux cas, le degré de réalisation des objectifs intermédiaires n’a pas été évalué. |
| --- | --- |

52.

Enfin, dans de nombreux cas, le degré de réalisation des objectifs intermédiaires n’a pas été évalué.

| 53. | S’agissant de l’objectif stratégique de convergence, la seule mention dans le rapport de synthèse est «que la convergence globale entre les États membres progresse, mais dans des proportions variables selon les régions. La question de savoir si cette convergence est due aux Fonds structurels reste à débattre» (47). |
| --- | --- |

53.

S’agissant de l’objectif stratégique de convergence, la seule mention dans le rapport de synthèse est «que la convergence globale entre les États membres progresse, mais dans des proportions variables selon les régions. La question de savoir si cette convergence est due aux Fonds structurels reste à débattre» (47).

Évaluation des systèmes de gestion

| 54. | Les systèmes de gestion et de mise en œuvre adoptés pour les programmes relevant de l’objectif no 1 sont appelés à contribuer de manière déterminante à l’efficacité, l’efficience et l’impact des Fonds structurels. Cet aspect a été abordé dans le cahier des charges et dans le guide méthodologique. Il a également été pris en considération dans les évaluations nationales (48). Les rapports nationaux d’évaluation ont décrit l’impact sur les systèmes de gestion. Toutefois, ils ont également relevé des cas où ces effets auraient pu être plus prononcés. |
| --- | --- |

54.

Les systèmes de gestion et de mise en œuvre adoptés pour les programmes relevant de l’objectif no 1 sont appelés à contribuer de manière déterminante à l’efficacité, l’efficience et l’impact des Fonds structurels. Cet aspect a été abordé dans le cahier des charges et dans le guide méthodologique. Il a également été pris en considération dans les évaluations nationales (48). Les rapports nationaux d’évaluation ont décrit l’impact sur les systèmes de gestion. Toutefois, ils ont également relevé des cas où ces effets auraient pu être plus prononcés.

| 55. | Les auteurs du rapport de synthèse reconnaissent, eux aussi, l’importance de cette question et consacrent aux problèmes de gestion 13 de leurs 19 recommandations (49). |
| --- | --- |

55.

Les auteurs du rapport de synthèse reconnaissent, eux aussi, l’importance de cette question et consacrent aux problèmes de gestion 13 de leurs 19 recommandations (49).

| 56. | Le rapport de synthèse fournit un certain nombre d’informations pertinentes concernant la gestion des Fonds structurels et se réfère à plusieurs conclusions de l’évaluation thématique du principe de partenariat qui a été réalisée en 1999. Cette démarche est de nature à favoriser la continuité dans l’évaluation et permet d’obtenir des informations probantes confirmant ou infirmant les observations formulées dans l’évaluation thématique. Toutefois, dans un certain nombre de domaines, les conclusions figurant dans le rapport de synthèse contredisent l’évaluation thématique. |
| --- | --- |

56.

Le rapport de synthèse fournit un certain nombre d’informations pertinentes concernant la gestion des Fonds structurels et se réfère à plusieurs conclusions de l’évaluation thématique du principe de partenariat qui a été réalisée en 1999. Cette démarche est de nature à favoriser la continuité dans l’évaluation et permet d’obtenir des informations probantes confirmant ou infirmant les observations formulées dans l’évaluation thématique. Toutefois, dans un certain nombre de domaines, les conclusions figurant dans le rapport de synthèse contredisent l’évaluation thématique.

| 57. | Le rapport de synthèse présente un récapitulatif du nombre moyen de membres des comités de suivi par État membre. La moyenne générale est de 44 membres. Toutefois, ce nombre varie considérablement, allant de 15 à 85. Dans ses conclusions, le rapport précise que le nombre élevé de membres a été considéré comme une forte contrainte pesant sur l’efficience des comités de suivi, et cela dans tous les États membres (50). Au contraire, selon l’évaluation thématique, rien n’indique une perte d’efficience due au grand nombre de membres. Les conclusions des deux rapports sur ce point étant très différentes, il eût été opportun d’analyser cette question de manière plus approfondie dans le rapport de synthèse et de formuler quelques recommandations concrètes pour l’avenir. |
| --- | --- |

57.

Le rapport de synthèse présente un récapitulatif du nombre moyen de membres des comités de suivi par État membre. La moyenne générale est de 44 membres. Toutefois, ce nombre varie considérablement, allant de 15 à 85. Dans ses conclusions, le rapport précise que le nombre élevé de membres a été considéré comme une forte contrainte pesant sur l’efficience des comités de suivi, et cela dans tous les États membres (50). Au contraire, selon l’évaluation thématique, rien n’indique une perte d’efficience due au grand nombre de membres. Les conclusions des deux rapports sur ce point étant très différentes, il eût été opportun d’analyser cette question de manière plus approfondie dans le rapport de synthèse et de formuler quelques recommandations concrètes pour l’avenir.

| 58. | Une autre question liée à l’évaluation thématique concerne la gestion des différents Fonds. Dans leurs conclusions respectives, les deux rapports indiquent que les Fonds fonctionnaient selon des principes différents et étaient soumis à des conditions financières différentes, ce qui a limité les synergies entre eux. Cette observation importante reflète une opinion déjà exprimée par la Cour (51) et met en évidence la nécessité de tendre vers une plus grande synergie entre les Fonds. |
| --- | --- |

58.

Une autre question liée à l’évaluation thématique concerne la gestion des différents Fonds. Dans leurs conclusions respectives, les deux rapports indiquent que les Fonds fonctionnaient selon des principes différents et étaient soumis à des conditions financières différentes, ce qui a limité les synergies entre eux. Cette observation importante reflète une opinion déjà exprimée par la Cour (51) et met en évidence la nécessité de tendre vers une plus grande synergie entre les Fonds.

| 59. | L’évaluation de l’efficacité des systèmes de gestion généraux présente également quelques faiblesses. Le rapport de synthèse indique que: «Les systèmes de gestion ont été jugés adéquats à l’issue des évaluations nationales dans un peu moins de la moitié des États membres éligibles seulement.» Cette observation est importante et l’on aurait pu s’attendre à ce que les expériences positives et les cas non satisfaisants fassent l’objet d’une évaluation approfondie. Même si certaines questions soulevées ont été développées, le rapport manque, dans l’ensemble, de clarté sur ce qui a été réellement constaté. |
| --- | --- |

59.

L’évaluation de l’efficacité des systèmes de gestion généraux présente également quelques faiblesses. Le rapport de synthèse indique que: «Les systèmes de gestion ont été jugés adéquats à l’issue des évaluations nationales dans un peu moins de la moitié des États membres éligibles seulement.» Cette observation est importante et l’on aurait pu s’attendre à ce que les expériences positives et les cas non satisfaisants fassent l’objet d’une évaluation approfondie. Même si certaines questions soulevées ont été développées, le rapport manque, dans l’ensemble, de clarté sur ce qui a été réellement constaté.

| 60. | L’évaluation thématique du principe de partenariat dans le cadre des Fonds structurels (1999) a permis de constater que ce principe présentait un certain nombre d’avantages pour la mise en œuvre des Fonds structurels (52). Les auteurs du rapport de synthèse considèrent que: «Dans l’ensemble, ces avantages ont également été reconnus par les États membres associés à la mise en œuvre du programme relevant de l’objectif no 1 1994-1999 et [que] le travail en partenariat horizontal a été apprécié comme une des valeurs ajoutées de la programmation communautaire.» (53) Ce résultat est intéressant. Bien que quelques cas soient mis en évidence, entre autres sous la forme de brefs commentaires concernant des expériences négatives ou des difficultés rencontrées, le débat aurait pu être davantage centré sur la mise en exergue, sur la base des expériences mentionnées, des améliorations possibles en vue de rendre le principe de partenariat plus efficace. |
| --- | --- |

60.

L’évaluation thématique du principe de partenariat dans le cadre des Fonds structurels (1999) a permis de constater que ce principe présentait un certain nombre d’avantages pour la mise en œuvre des Fonds structurels (52). Les auteurs du rapport de synthèse considèrent que: «Dans l’ensemble, ces avantages ont également été reconnus par les États membres associés à la mise en œuvre du programme relevant de l’objectif no 1 1994-1999 et [que] le travail en partenariat horizontal a été apprécié comme une des valeurs ajoutées de la programmation communautaire.» (53) Ce résultat est intéressant. Bien que quelques cas soient mis en évidence, entre autres sous la forme de brefs commentaires concernant des expériences négatives ou des difficultés rencontrées, le débat aurait pu être davantage centré sur la mise en exergue, sur la base des expériences mentionnées, des améliorations possibles en vue de rendre le principe de partenariat plus efficace.

| 61. | Parmi les divers processus, celui relatif aux candidatures et à la sélection des projets est l’une des deux sources de difficultés administratives les plus fréquemment citées. Un certain nombre d’exemples sont donnés. Ils démontrent le manque de clarté des procédures et la nécessité pour la Commission de publier rapidement un document de référence concernant les bonnes pratiques en la matière. Un tableau montre qu’elle est la durée du processus de sélection des projets, par État membre. Toutefois, les données concernant trois États membres font défaut. Pour les autres, la durée du processus va de deux à neuf mois, avec une moyenne de cinq mois. Les éléments probants présentés font apparaître que des efforts doivent encore être consentis pour simplifier la procédure de candidature. Dans ce contexte, les avantages et/ou l’efficacité respectifs de la mise en concurrence des projets ou de leur mise en file d’attente n’ont fait l’objet d’aucune analyse précise. |
| --- | --- |

61.

Parmi les divers processus, celui relatif aux candidatures et à la sélection des projets est l’une des deux sources de difficultés administratives les plus fréquemment citées. Un certain nombre d’exemples sont donnés. Ils démontrent le manque de clarté des procédures et la nécessité pour la Commission de publier rapidement un document de référence concernant les bonnes pratiques en la matière. Un tableau montre qu’elle est la durée du processus de sélection des projets, par État membre. Toutefois, les données concernant trois États membres font défaut. Pour les autres, la durée du processus va de deux à neuf mois, avec une moyenne de cinq mois. Les éléments probants présentés font apparaître que des efforts doivent encore être consentis pour simplifier la procédure de candidature. Dans ce contexte, les avantages et/ou l’efficacité respectifs de la mise en concurrence des projets ou de leur mise en file d’attente n’ont fait l’objet d’aucune analyse précise.

| 62. | Il convient de prendre également en considération le processus de suivi et de contrôle. Les auteurs du rapport de synthèse affirment que: «Les systèmes de contrôle financier dans les États membres semblent avoir relativement bien fonctionné dans le cadre de l’objectif no 1 1994-1999. Toutefois, certains ajustements ont dû être réalisés pour assurer la conformité aux nouveaux règlements financiers en 1997. Dans la majorité des États membres, les systèmes de contrôle financier se sont avérés adaptés à leur usage et fonctionnent de manière assez efficiente. D’une manière générale, les contrôles financiers ont été fiables et la règle des 5 % a été respectée» (54). Cette constatation ne coïncide pas avec celles de divers rapports de la Cour (55), qui indiquent que le contrôle financier du programme 1994-1999 des Fonds structurels a été affecté par des déficiences significatives. |
| --- | --- |

62.

Il convient de prendre également en considération le processus de suivi et de contrôle. Les auteurs du rapport de synthèse affirment que: «Les systèmes de contrôle financier dans les États membres semblent avoir relativement bien fonctionné dans le cadre de l’objectif no 1 1994-1999. Toutefois, certains ajustements ont dû être réalisés pour assurer la conformité aux nouveaux règlements financiers en 1997. Dans la majorité des États membres, les systèmes de contrôle financier se sont avérés adaptés à leur usage et fonctionnent de manière assez efficiente. D’une manière générale, les contrôles financiers ont été fiables et la règle des 5 % a été respectée» (54). Cette constatation ne coïncide pas avec celles de divers rapports de la Cour (55), qui indiquent que le contrôle financier du programme 1994-1999 des Fonds structurels a été affecté par des déficiences significatives.

| 63. | L’autre élément du processus de suivi qui donne lieu à des problèmes administratifs concerne les systèmes de suivi et d’évaluation relatifs aux aspects non financiers. Le suivi fait l’objet de sévères critiques. En conclusion, le rapport de synthèse précise que «le suivi est resté une faiblesse majeure en dépit des efforts déployés pour en accroître le rôle depuis la première période de programmation. Les données disponibles sont fragmentées, incohérentes, exagérément centrées sur les réalisations physiques et d’une fiabilité souvent douteuse» (56). Il indique également que: «Dans tous les États membres, les objectifs définis au début du programme sont insuffisamment quantifiés» (57). Pour sept des dix États membres pris en considération, la quantification est jugée médiocre. Pour un huitième, elle est considérée comme variable. Elle a été jugée adéquate pour deux États membres seulement, et uniquement au début du programme. Chaque État membre fait l’objet d’une courte synthèse. Aucune autre information n’est fournie. |
| --- | --- |

63.

L’autre élément du processus de suivi qui donne lieu à des problèmes administratifs concerne les systèmes de suivi et d’évaluation relatifs aux aspects non financiers. Le suivi fait l’objet de sévères critiques. En conclusion, le rapport de synthèse précise que «le suivi est resté une faiblesse majeure en dépit des efforts déployés pour en accroître le rôle depuis la première période de programmation. Les données disponibles sont fragmentées, incohérentes, exagérément centrées sur les réalisations physiques et d’une fiabilité souvent douteuse» (56). Il indique également que: «Dans tous les États membres, les objectifs définis au début du programme sont insuffisamment quantifiés» (57). Pour sept des dix États membres pris en considération, la quantification est jugée médiocre. Pour un huitième, elle est considérée comme variable. Elle a été jugée adéquate pour deux États membres seulement, et uniquement au début du programme. Chaque État membre fait l’objet d’une courte synthèse. Aucune autre information n’est fournie.

| 64. | Le rapport de synthèse indique également que les systèmes informatiques établis pour assurer le suivi du programme 1994-1999 «ont été fréquemment critiqués pour le manque d’intégration entre programmes et entre Fonds. Cette insuffisance a eu une incidence sur la capacité des autorités de gestion à avoir un aperçu général de l’état d’avancement des programmes, tout en posant un problème pour les évaluations ultérieures» (58). Ces constatations doivent également jeter un doute sur la validité d’une conclusion formulée précédemment dans le rapport selon laquelle la gestion financière du programme a été de bonne qualité, puisque les informations de suivi, qui sont d’une grande importance dans le cadre du processus de gestion, ont été jugées «fragmentaires, incohérentes et sujettes à caution» (56). |
| --- | --- |

64.

Le rapport de synthèse indique également que les systèmes informatiques établis pour assurer le suivi du programme 1994-1999 «ont été fréquemment critiqués pour le manque d’intégration entre programmes et entre Fonds. Cette insuffisance a eu une incidence sur la capacité des autorités de gestion à avoir un aperçu général de l’état d’avancement des programmes, tout en posant un problème pour les évaluations ultérieures» (58). Ces constatations doivent également jeter un doute sur la validité d’une conclusion formulée précédemment dans le rapport selon laquelle la gestion financière du programme a été de bonne qualité, puisque les informations de suivi, qui sont d’une grande importance dans le cadre du processus de gestion, ont été jugées «fragmentaires, incohérentes et sujettes à caution» (56).

| 65. | Le rapport de synthèse contient également quelques brefs commentaires concernant les «évaluations internes» (59), notamment celui-ci: «Ces évaluations internes ont été réalisées par les ministères ou les autorités régionales avec l’aide d’universités ou d’organismes externes. L’ampleur de ces évaluations peut paraître surprenante à la lumière de la faiblesse des systèmes de suivi. Elle reflète peut-être l’obligation de procéder à des évaluations, telle qu’elle a été perçue. Toutefois, leurs résultats ont souvent alimenté la gestion des programmes» (60). Au regard de cette affirmation, il aurait semblé judicieux d’accorder une plus grande attention à ces évaluations internes et de tirer parti des résultats obtenus par les ministères et les autorités régionales. Au contraire, le rapport de synthèse ne comporte que quelques observations à caractère très général dont l’intérêt est limité pour l’évaluation ex post dans son ensemble. |
| --- | --- |

65.

Le rapport de synthèse contient également quelques brefs commentaires concernant les «évaluations internes» (59), notamment celui-ci: «Ces évaluations internes ont été réalisées par les ministères ou les autorités régionales avec l’aide d’universités ou d’organismes externes. L’ampleur de ces évaluations peut paraître surprenante à la lumière de la faiblesse des systèmes de suivi. Elle reflète peut-être l’obligation de procéder à des évaluations, telle qu’elle a été perçue. Toutefois, leurs résultats ont souvent alimenté la gestion des programmes» (60). Au regard de cette affirmation, il aurait semblé judicieux d’accorder une plus grande attention à ces évaluations internes et de tirer parti des résultats obtenus par les ministères et les autorités régionales. Au contraire, le rapport de synthèse ne comporte que quelques observations à caractère très général dont l’intérêt est limité pour l’évaluation ex post dans son ensemble.

| 66. | En ce qui concerne la période de programmation 2000-2006, le rapport de synthèse note que des efforts ont été consentis pour essayer de résoudre les problèmes de suivi rencontrés durant la période 1994-1999 (61). |
| --- | --- |

66.

En ce qui concerne la période de programmation 2000-2006, le rapport de synthèse note que des efforts ont été consentis pour essayer de résoudre les problèmes de suivi rencontrés durant la période 1994-1999 (61).

Adéquation du cadre d’évaluation

Cahier des charges

| 67. | À la lumière des divers problèmes relevés dans le cadre de l’analyse du rapport de synthèse, il convient d’accorder une attention particulière au cahier des charges initial. Certaines faiblesses affectent celui-ci, de même que le rapport de démarrage et le guide méthodologique, notamment:






  a) | la question du nombre insuffisant d’objectifs quantifiés n’y est pas abordée. Par ailleurs, le cahier des charges et le guide méthodologique n’ont pas suffisamment pris en considération le manque d’indicateurs adéquats; |
| --- | --- | --- |

67.

À la lumière des divers problèmes relevés dans le cadre de l’analyse du rapport de synthèse, il convient d’accorder une attention particulière au cahier des charges initial. Certaines faiblesses affectent celui-ci, de même que le rapport de démarrage et le guide méthodologique, notamment:

a)

la question du nombre insuffisant d’objectifs quantifiés n’y est pas abordée. Par ailleurs, le cahier des charges et le guide méthodologique n’ont pas suffisamment pris en considération le manque d’indicateurs adéquats;

| b) | de même, aucune disposition ne requiert de l’évaluateur qu’il collecte des données supplémentaires sur les indicateurs de performance. Le cahier des charges (62) a bien prévu une revue sur le terrain «le cas échéant, si les données ne sont pas disponibles dans les États membres». Toutefois, ce point n’a pas été précisé dans le guide méthodologique (63); |
| --- | --- |

b)

de même, aucune disposition ne requiert de l’évaluateur qu’il collecte des données supplémentaires sur les indicateurs de performance. Le cahier des charges (62) a bien prévu une revue sur le terrain «le cas échéant, si les données ne sont pas disponibles dans les États membres». Toutefois, ce point n’a pas été précisé dans le guide méthodologique (63);

| c) | l’accent n’a pas été assez mis sur l’évaluation des effets nets (64), à l’exception de quelques impacts économiques; |
| --- | --- |

c)

l’accent n’a pas été assez mis sur l’évaluation des effets nets (64), à l’exception de quelques impacts économiques;

| d) | le cahier des charges n’a pas assez insisté sur la question de l’efficacité et, en particulier, sur les effets d’aubaine, ce qui est regrettable dans la mesure où les effets d’aubaine sont souvent considérés comme un facteur pertinent dans des domaines importants comme les aides à l’investissement destinées aux entreprises, l’aide directe à l’emploi et la formation professionnelle facilitant l’accès à l’emploi; |
| --- | --- |

d)

le cahier des charges n’a pas assez insisté sur la question de l’efficacité et, en particulier, sur les effets d’aubaine, ce qui est regrettable dans la mesure où les effets d’aubaine sont souvent considérés comme un facteur pertinent dans des domaines importants comme les aides à l’investissement destinées aux entreprises, l’aide directe à l’emploi et la formation professionnelle facilitant l’accès à l’emploi;

| e) | l’analyse de la possible corrélation entre l’adéquation de la stratégie, l’efficacité et l’impact n’a pas fait l’objet d’une attention suffisante (65). De même, peu d’efforts sont déployés pour essayer d’établir un lien entre les objectifs relevés, même s’ils ne sont pas quantifiés, et un classement des besoins auxquels le cadre communautaire d’appui vise à répondre; |
| --- | --- |

e)

l’analyse de la possible corrélation entre l’adéquation de la stratégie, l’efficacité et l’impact n’a pas fait l’objet d’une attention suffisante (65). De même, peu d’efforts sont déployés pour essayer d’établir un lien entre les objectifs relevés, même s’ils ne sont pas quantifiés, et un classement des besoins auxquels le cadre communautaire d’appui vise à répondre;

| f) | hormis l’application du modèle Hermin et la référence à l’analyse d’incidence critique suggérée pour les «études de cas» (66), aucune autre technique d’évaluation n’a été proposée dans le cahier des charges et le rapport de démarrage; |
| --- | --- |

f)

hormis l’application du modèle Hermin et la référence à l’analyse d’incidence critique suggérée pour les «études de cas» (66), aucune autre technique d’évaluation n’a été proposée dans le cahier des charges et le rapport de démarrage;

| g) | s’agissant des «questions spécifiques par État membre» figurant dans le cahier des charges (67), aucune indication précise n’est fournie concernant la méthodologie à appliquer. |
| --- | --- |

g)

s’agissant des «questions spécifiques par État membre» figurant dans le cahier des charges (67), aucune indication précise n’est fournie concernant la méthodologie à appliquer.

| 68. | En outre, le cahier des charges n’a pas placé suffisamment haut dans la liste des priorités le renforcement de la cohésion économique et sociale au sein de l’Union européenne et la convergence des États membres les moins développés, alors qu’ils figurent parmi les objectifs majeurs des actions structurelles. Le rapport de démarrage comprenait quelques questions sur les modèles de développement utilisés, sur les contraintes pesant sur la croissance à prendre en considération, ainsi que sur les canaux par lesquels un impact sur l’économie régionale peut être escompté (68). Toutefois, l’évaluation ex post aurait dû idéalement prévoir des études empiriques sur la convergence entre les régions et sur la réduction des disparités, résultant de facteurs tels que les investissements dans les infrastructures, l’amélioration du système éducatif et le renforcement des capacités en matière de recherche et développement. |
| --- | --- |

68.

En outre, le cahier des charges n’a pas placé suffisamment haut dans la liste des priorités le renforcement de la cohésion économique et sociale au sein de l’Union européenne et la convergence des États membres les moins développés, alors qu’ils figurent parmi les objectifs majeurs des actions structurelles. Le rapport de démarrage comprenait quelques questions sur les modèles de développement utilisés, sur les contraintes pesant sur la croissance à prendre en considération, ainsi que sur les canaux par lesquels un impact sur l’économie régionale peut être escompté (68). Toutefois, l’évaluation ex post aurait dû idéalement prévoir des études empiriques sur la convergence entre les régions et sur la réduction des disparités, résultant de facteurs tels que les investissements dans les infrastructures, l’amélioration du système éducatif et le renforcement des capacités en matière de recherche et développement.

| 69. | En outre, il aurait été judicieux de faire figurer, parmi les objectifs de l’évaluation, le recensement et l’analyse des études de cas constituant des références pour les politiques de développement régional, par exemple dans le domaine des réseauxet des pôles de croissance. |
| --- | --- |

69.

En outre, il aurait été judicieux de faire figurer, parmi les objectifs de l’évaluation, le recensement et l’analyse des études de cas constituant des références pour les politiques de développement régional, par exemple dans le domaine des réseauxet des pôles de croissance.

| 70. | Lors du démarrage de l’évaluation, la question de l’adéquation de la stratégie a été traitée sous la forme d’une liste de points et de questions. Toutefois, le cahier des charges (69) et le guide méthodologique n’étaient pas suffisamment précis ou concrets. |
| --- | --- |

70.

Lors du démarrage de l’évaluation, la question de l’adéquation de la stratégie a été traitée sous la forme d’une liste de points et de questions. Toutefois, le cahier des charges (69) et le guide méthodologique n’étaient pas suffisamment précis ou concrets.

Adéquation de la supervision par la Commission

| 71. | Le contrat (général) entre la Commission et les consultants sélectionnés pour effectuer l’évaluation stipulait également qu’une assistance technique devait être fournie sous la responsabilité et la supervision d’agents de la Commission. La qualité de l’évaluation devait être évaluée par la Commission sur la base des critères élaborés dans le cadre du programme MEANS. |
| --- | --- |

71.

Le contrat (général) entre la Commission et les consultants sélectionnés pour effectuer l’évaluation stipulait également qu’une assistance technique devait être fournie sous la responsabilité et la supervision d’agents de la Commission. La qualité de l’évaluation devait être évaluée par la Commission sur la base des critères élaborés dans le cadre du programme MEANS.

| 72. | Le groupe de pilotage présidé par la direction générale de la politique régionale qui comprenait des représentants d’autres directions régionales, a participé à la rédaction du cahier des charges et approuvé la méthodologie, ainsi que le plan de travail détaillé (dans le rapport de démarrage). Il a également examiné les rapports nationaux et le rapport de synthèse. Un groupe de quatre experts a été désigné pour l’assister, le principal objectif de leur mission étant de s’assurer que les évaluations étaient de qualité supérieure. Toutefois, leur intervention a été trop tardive pour que le processus permette d’améliorer de manière significative la qualité de l’évaluation. |
| --- | --- |

72.

Le groupe de pilotage présidé par la direction générale de la politique régionale qui comprenait des représentants d’autres directions régionales, a participé à la rédaction du cahier des charges et approuvé la méthodologie, ainsi que le plan de travail détaillé (dans le rapport de démarrage). Il a également examiné les rapports nationaux et le rapport de synthèse. Un groupe de quatre experts a été désigné pour l’assister, le principal objectif de leur mission étant de s’assurer que les évaluations étaient de qualité supérieure. Toutefois, leur intervention a été trop tardive pour que le processus permette d’améliorer de manière significative la qualité de l’évaluation.

| 73. | Le calendrier approuvé contractuellement n’a pas été respecté. La présentation des différents rapports a été retardée, de telle sorte que le rapport de synthèse et les rapports nationaux n’ont pas été remis dans le délai prévu de douze mois, soit pour le 12 novembre 2002. Ils n’ont été présentés qu’en avril 2003 et publiés en mai de la même année. Il s’est avéré que le calendrier était trop serré dès le départ et que le temps de réserve prévu était insuffisant pour que le nombre relativement élevé de modifications/améliorations des rapports demandés par les experts et les membres du groupe de pilotage puisse être traité. Cette constatation a des implications importantes pour les évaluations ex post à venir. |
| --- | --- |

73.

Le calendrier approuvé contractuellement n’a pas été respecté. La présentation des différents rapports a été retardée, de telle sorte que le rapport de synthèse et les rapports nationaux n’ont pas été remis dans le délai prévu de douze mois, soit pour le 12 novembre 2002. Ils n’ont été présentés qu’en avril 2003 et publiés en mai de la même année. Il s’est avéré que le calendrier était trop serré dès le départ et que le temps de réserve prévu était insuffisant pour que le nombre relativement élevé de modifications/améliorations des rapports demandés par les experts et les membres du groupe de pilotage puisse être traité. Cette constatation a des implications importantes pour les évaluations ex post à venir.

| 74. | En vertu du cahier des charges (67), deux thèmes spécifiques devaient être examinés par État membre. Une liste de ces thèmes était proposée. Or aucun rapport national d’évaluation ne mettait spécifiquement l’accent sur cet aspect. Même si certains chapitres présentent des statistiques ou une analyse partielle de ces thèmes, ces derniers n’ont fait l’objet d’aucune recherche spécifique, contrairement à ce que prévoyait le cahier des charges. |
| --- | --- |

74.

En vertu du cahier des charges (67), deux thèmes spécifiques devaient être examinés par État membre. Une liste de ces thèmes était proposée. Or aucun rapport national d’évaluation ne mettait spécifiquement l’accent sur cet aspect. Même si certains chapitres présentent des statistiques ou une analyse partielle de ces thèmes, ces derniers n’ont fait l’objet d’aucune recherche spécifique, contrairement à ce que prévoyait le cahier des charges.

| 75. | En conclusion, la supervision, par la Commission, du processus d’évaluation doit être améliorée. En particulier, dans la mesure où le manque de données fiables, d’indicateurs de performance et d’objectifs précis était prévisible dès le départ, la Commission aurait dû s’assurer que des mesures appropriées soient prises pour surmonter cette difficulté majeure. En outre, eu égard au calendrier serré et aux contraintes inhérentes, il aurait fallu centrer l’évaluation sur les points essentiels plutôt que d’entreprendre une évaluation globale de la période de programmation. |
| --- | --- |

75.

En conclusion, la supervision, par la Commission, du processus d’évaluation doit être améliorée. En particulier, dans la mesure où le manque de données fiables, d’indicateurs de performance et d’objectifs précis était prévisible dès le départ, la Commission aurait dû s’assurer que des mesures appropriées soient prises pour surmonter cette difficulté majeure. En outre, eu égard au calendrier serré et aux contraintes inhérentes, il aurait fallu centrer l’évaluation sur les points essentiels plutôt que d’entreprendre une évaluation globale de la période de programmation.

Pertinence des recommandations pour l’évaluation des périodes de programmation suivantes

| 76. | Eu égard aux problèmes relevés dans les parties précédentes du présent rapport, le processus d’évaluation ex post n’a permis de formuler des recommandations valables que dans une mesure limitée. S’il est vrai que le processus a abouti à un nombre réduit de recommandations concernant le contenu du programme, il a conduit à un certain nombre de suggestions pertinentes et sensées sur la manière d’améliorer la gestion des Fonds structurels et leur mise en œuvre (70). |
| --- | --- |

76.

Eu égard aux problèmes relevés dans les parties précédentes du présent rapport, le processus d’évaluation ex post n’a permis de formuler des recommandations valables que dans une mesure limitée. S’il est vrai que le processus a abouti à un nombre réduit de recommandations concernant le contenu du programme, il a conduit à un certain nombre de suggestions pertinentes et sensées sur la manière d’améliorer la gestion des Fonds structurels et leur mise en œuvre (70).

| 77. | Le rapport contient la recommandation suivante: «Les comités de suivi doivent s’occuper d’orientation stratégique plutôt que de problèmes de gestion financière» (71). Or les comités doivent être capables d’assumer les deux fonctions, comme le prévoit la réglementation. |
| --- | --- |

77.

Le rapport contient la recommandation suivante: «Les comités de suivi doivent s’occuper d’orientation stratégique plutôt que de problèmes de gestion financière» (71). Or les comités doivent être capables d’assumer les deux fonctions, comme le prévoit la réglementation.

| 78. | Les évaluations ont conduit à des recommandations pour la période de programmation 2000-2006, qui concernent principalement les systèmes de gestion. Ces recommandations couvrent un grand nombre de sujets et sont généralement bien adaptées à la situation particulière de l’État membre en cause. |
| --- | --- |

78.

Les évaluations ont conduit à des recommandations pour la période de programmation 2000-2006, qui concernent principalement les systèmes de gestion. Ces recommandations couvrent un grand nombre de sujets et sont généralement bien adaptées à la situation particulière de l’État membre en cause.

| 79. | S’agissant des programmes 2000-2006, les principaux enseignements à tirer de l’évaluation ex post de la période précédente concernent la mise en œuvre des programmes, en particulier les études de cas réalisées en vue d’évaluer l’efficacité et l’efficience des interventions des Fonds structurels. |
| --- | --- |

79.

S’agissant des programmes 2000-2006, les principaux enseignements à tirer de l’évaluation ex post de la période précédente concernent la mise en œuvre des programmes, en particulier les études de cas réalisées en vue d’évaluer l’efficacité et l’efficience des interventions des Fonds structurels.

| 80. | Les recommandations formulées dans le rapport de synthèse concernant l’évaluation ex post au delà de 2006, sont assez limitées et de caractère général. Elles n’en demeurent pas moins pertinentes et donc utiles. Le rapport indique notamment que: «Le recours aux évaluations chemin faisant indépendantes, qui constituent une contribution externe objective, pourrait être plus fréquent» (72). Cette recommandation est valable. Cependant, il eût été préférable qu’elle soit formulée avant le commencement de l’évaluation ex post examinée dans le cadre du présent audit. |
| --- | --- |

80.

Les recommandations formulées dans le rapport de synthèse concernant l’évaluation ex post au delà de 2006, sont assez limitées et de caractère général. Elles n’en demeurent pas moins pertinentes et donc utiles. Le rapport indique notamment que: «Le recours aux évaluations chemin faisant indépendantes, qui constituent une contribution externe objective, pourrait être plus fréquent» (72). Cette recommandation est valable. Cependant, il eût été préférable qu’elle soit formulée avant le commencement de l’évaluation ex post examinée dans le cadre du présent audit.

ÉVALUATION EX POST DES ACTIVITÉS DU FSE (DANS LE CADRE DES OBJECTIFS NOS 1 ET 3) PAR LA DIRECTION GÉNÉRALE DE L’EMPLOI, DES AFFAIRES SOCIALES ET DE L’ÉGALITÉ DES CHANCES

| 81. | Conjointement à l’évaluation des régions relevant de l’objectif no 1 sous la conduite de la direction générale de la politique régionale, une autre évaluation, effectuée en l’occurrence sous la houlette de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances a couvert les interventions du FSE dans le cadre des objectifs nos 1, 3 et 4, ainsi que les initiatives communautaires Emploi et Adapt. Le cahier des charges pour cette évaluation ex post prévoyait l’utilisation des résultats de l’évaluation des régions relevant de l’objectif no 1. Or, en dépit de dispositions organisationnelles visant à faciliter une coordination effective entre les deux évaluations, peu d’éléments attestent que cet objectif ait été atteint en pratique.

  Encadré 2Conclusions générales de l’évaluation effectuée par la direction générale de l’emploi, des affaires sociales et de l’égalité des chancesL’évaluation a visé à déterminer l’impact des interventions du FSE dans les États membres, au niveau des personnes et des systèmes. Son objectif était également de permettre l’analyse de l’impact et de l’efficacité de l’action de la Communauté en ce qui concerne certains problèmes structurels spécifiques, ainsi que de la vérification de la valeur ajoutée communautaire. Dans le cadre de la méthodologie retenue pour atteindre ces objectifs, les évaluateurs étaient invités, entre autres, à indiquer si les cas qu’ils étaient chargés d’évaluer confirmaient ou infirmaient un certain nombre d’hypothèses.Le rapport a fait état d’un certain nombre de points forts, qui peuvent être synthétisés de la manière suivante. Une part importante des crédits du FSE a été ciblée sur les victimes du chômage de longue durée, ce qui a été jugé opportun en raison de la persistance de ce phénomène. L’amélioration de la situation sur le marché de l’emploi a été à la mesure des ressources investies. Dans plusieurs États membres, les services de l’emploi, ainsi que les offres en matière d’éducation et de formation, ont connu des améliorations considérables. Les ressources utilisées ont permis de renforcer certaines priorités de politique, telles que l’égalité des chances, l’adaptation de la main-d’œuvre et le ciblage des personnes souffrant de handicaps. Par l’intermédiaire du FSE, les partenaires sociaux et les autorités régionales ont été davantage impliqués. Les fonds ont contribué à l’amélioration des capacités à gérer et à mettre en œuvre des interventions sur le marché de l’emploi à tous les niveaux.Cependant, le rapport mentionne également un certain nombre de faiblesses. Le déploiement des actions a été largement tributaire de la disponibilité des ressources plutôt que fondé sur des priorités politiques. Il s’est effectué de manière parallèle et distincte des débats politiques relatifs aux domaines en question. Les aides ont été concentrées dans le domaine de la formation et ont été principalement allouées à des prestataires de service, ce qui n’est pas, pris isolément, le moyen le plus efficace d’aider les chômeurs de longue durée. Il est donc probable que l’intervention ait été affectée par un niveau élevé d’effet d’aubaine. Enfin, le rapport relève que les dispositifs administratifs ont été perçus comme étant complexes et que les modalités d’évaluation ont manqué d’efficacité et de structure. |
| --- | --- |

81.

Conjointement à l’évaluation des régions relevant de l’objectif no 1 sous la conduite de la direction générale de la politique régionale, une autre évaluation, effectuée en l’occurrence sous la houlette de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances a couvert les interventions du FSE dans le cadre des objectifs nos 1, 3 et 4, ainsi que les initiatives communautaires Emploi et Adapt. Le cahier des charges pour cette évaluation ex post prévoyait l’utilisation des résultats de l’évaluation des régions relevant de l’objectif no 1. Or, en dépit de dispositions organisationnelles visant à faciliter une coordination effective entre les deux évaluations, peu d’éléments attestent que cet objectif ait été atteint en pratique.

Encadré 2Conclusions générales de l’évaluation effectuée par la direction générale de l’emploi, des affaires sociales et de l’égalité des chancesL’évaluation a visé à déterminer l’impact des interventions du FSE dans les États membres, au niveau des personnes et des systèmes. Son objectif était également de permettre l’analyse de l’impact et de l’efficacité de l’action de la Communauté en ce qui concerne certains problèmes structurels spécifiques, ainsi que de la vérification de la valeur ajoutée communautaire. Dans le cadre de la méthodologie retenue pour atteindre ces objectifs, les évaluateurs étaient invités, entre autres, à indiquer si les cas qu’ils étaient chargés d’évaluer confirmaient ou infirmaient un certain nombre d’hypothèses.Le rapport a fait état d’un certain nombre de points forts, qui peuvent être synthétisés de la manière suivante. Une part importante des crédits du FSE a été ciblée sur les victimes du chômage de longue durée, ce qui a été jugé opportun en raison de la persistance de ce phénomène. L’amélioration de la situation sur le marché de l’emploi a été à la mesure des ressources investies. Dans plusieurs États membres, les services de l’emploi, ainsi que les offres en matière d’éducation et de formation, ont connu des améliorations considérables. Les ressources utilisées ont permis de renforcer certaines priorités de politique, telles que l’égalité des chances, l’adaptation de la main-d’œuvre et le ciblage des personnes souffrant de handicaps. Par l’intermédiaire du FSE, les partenaires sociaux et les autorités régionales ont été davantage impliqués. Les fonds ont contribué à l’amélioration des capacités à gérer et à mettre en œuvre des interventions sur le marché de l’emploi à tous les niveaux.Cependant, le rapport mentionne également un certain nombre de faiblesses. Le déploiement des actions a été largement tributaire de la disponibilité des ressources plutôt que fondé sur des priorités politiques. Il s’est effectué de manière parallèle et distincte des débats politiques relatifs aux domaines en question. Les aides ont été concentrées dans le domaine de la formation et ont été principalement allouées à des prestataires de service, ce qui n’est pas, pris isolément, le moyen le plus efficace d’aider les chômeurs de longue durée. Il est donc probable que l’intervention ait été affectée par un niveau élevé d’effet d’aubaine. Enfin, le rapport relève que les dispositifs administratifs ont été perçus comme étant complexes et que les modalités d’évaluation ont manqué d’efficacité et de structure.

L’appréciation de la Cour concernant la qualité de l’évaluation

Revue des insuffisances affectant les données et l’analyse

| 82. | L’incidence des interventions du FSE prend souvent la forme d’une contribution ou d’un effet potentiel qui sont intangibles et, par conséquent, ne sont pas facilement quantifiables (73). En dépit de ce problème intrinsèque, l’objectif premier d’une évaluation doit rester l’analyse de l’impact et, conjointement, l’examen de l’efficacité et de l’efficience. C’est ce que l’évaluation ex post était censée permettre de faire. |
| --- | --- |

82.

L’incidence des interventions du FSE prend souvent la forme d’une contribution ou d’un effet potentiel qui sont intangibles et, par conséquent, ne sont pas facilement quantifiables (73). En dépit de ce problème intrinsèque, l’objectif premier d’une évaluation doit rester l’analyse de l’impact et, conjointement, l’examen de l’efficacité et de l’efficience. C’est ce que l’évaluation ex post était censée permettre de faire.

| 83. | Dans le cadre de l’analyse de l’impact des interventions du FSE, le rapport de synthèse fournit des estimations du nombre de bénéficiaires du FSE par État membre et par objectif (74). En complément aux rapports nationaux d’évaluation, l’évaluation ex post a également visé à étayer un certain nombre d’hypothèses prédéfinies (75). Ces considérations sont examinées dans les points suivants. |
| --- | --- |

83.

Dans le cadre de l’analyse de l’impact des interventions du FSE, le rapport de synthèse fournit des estimations du nombre de bénéficiaires du FSE par État membre et par objectif (74). En complément aux rapports nationaux d’évaluation, l’évaluation ex post a également visé à étayer un certain nombre d’hypothèses prédéfinies (75). Ces considérations sont examinées dans les points suivants.

| 84. | S’agissant de l’évaluation ex post des interventions du FSE, l’une des exigences fondamentales concerne le nombre de bénéficiaires du programme au cours de la période 1994-1999. Le rapport présente un tableau où le nombre de bénéficiaires est estimé à 52 millions. Toutefois, les notes qui accompagnent ce tableau jettent de sérieux doutes sur les chiffres qui y figurent (76). L’incertitude quant à la précision des données réduit la portée de certaines observations pertinentes et utiles figurant dans d’autres parties de l’évaluation. |
| --- | --- |

84.

S’agissant de l’évaluation ex post des interventions du FSE, l’une des exigences fondamentales concerne le nombre de bénéficiaires du programme au cours de la période 1994-1999. Le rapport présente un tableau où le nombre de bénéficiaires est estimé à 52 millions. Toutefois, les notes qui accompagnent ce tableau jettent de sérieux doutes sur les chiffres qui y figurent (76). L’incertitude quant à la précision des données réduit la portée de certaines observations pertinentes et utiles figurant dans d’autres parties de l’évaluation.

| 85. | Le rapport de synthèse (75) donne également une estimation de l’impact des interventions du FSE sur les personnes. Cette information est potentiellement importante à plusieurs égards, notamment pour le calcul des coûts unitaires des programmes et l’estimation du nombre de bénéficiaires toujours au travail après 12 mois. Cependant, certains facteurs limitent sérieusement l’utilité de ces informations, notamment le manque d’explication concernant la manière dont ces données ont été obtenues. Le rapport dit simplement que: «Les ratios appliqués pour établir les estimations ont été calculés sur la base des différents cas examinés et d’une revue de la littérature» (74). Une telle explication ne peut être considérée comme satisfaisante et de plus amples informations sur le calcul des diverses estimations sont nécessaires pour mieux mesurer l’applicabilité des chiffres, tels que les coûts unitaires de référence et les taux de réussite des programmes. |
| --- | --- |

85.

Le rapport de synthèse (75) donne également une estimation de l’impact des interventions du FSE sur les personnes. Cette information est potentiellement importante à plusieurs égards, notamment pour le calcul des coûts unitaires des programmes et l’estimation du nombre de bénéficiaires toujours au travail après 12 mois. Cependant, certains facteurs limitent sérieusement l’utilité de ces informations, notamment le manque d’explication concernant la manière dont ces données ont été obtenues. Le rapport dit simplement que: «Les ratios appliqués pour établir les estimations ont été calculés sur la base des différents cas examinés et d’une revue de la littérature» (74). Une telle explication ne peut être considérée comme satisfaisante et de plus amples informations sur le calcul des diverses estimations sont nécessaires pour mieux mesurer l’applicabilité des chiffres, tels que les coûts unitaires de référence et les taux de réussite des programmes.

| 86. | L’analyse accompagnant les données s’avère également insatisfaisante. Il existe des discordances entre les commentaires formulés dans les appréciations et les données figurant dans les tableaux correspondants. Le texte dit par exemple que: «D’une manière générale, les coûts unitaires ont été inférieurs pour les chômeurs et les jeunes chômeurs, ils ont été d’environ 6 000 euros par travailleur en activité, et considérablement plus élevés, dans des proportions très variables, pour les personnes handicapées et les chômeurs de longue durée» (74). Or le tableau indique que les coûts unitaires pour les chômeurs sont les plus élevés (6 000 euros) et que ceux relatifs à l’intégration des personnes handicapées sont parmi les plus bas (4 000 euros). En outre, il est d’usage, en présence de ce que l’on appelle de «grandes variations» entre les programmes et à l’intérieur de ceux-ci, de donner des fourchettes. L’analyse figurant dans cette section est d’un intérêt limité, car elle se limite trop souvent à prendre en considération un seul chiffre au lieu de définir une fourchette de valeurs pertinentes et d’analyser de manière plus approfondie les fourchettes relevées dans les différents cas examinés. |
| --- | --- |

86.

L’analyse accompagnant les données s’avère également insatisfaisante. Il existe des discordances entre les commentaires formulés dans les appréciations et les données figurant dans les tableaux correspondants. Le texte dit par exemple que: «D’une manière générale, les coûts unitaires ont été inférieurs pour les chômeurs et les jeunes chômeurs, ils ont été d’environ 6 000 euros par travailleur en activité, et considérablement plus élevés, dans des proportions très variables, pour les personnes handicapées et les chômeurs de longue durée» (74). Or le tableau indique que les coûts unitaires pour les chômeurs sont les plus élevés (6 000 euros) et que ceux relatifs à l’intégration des personnes handicapées sont parmi les plus bas (4 000 euros). En outre, il est d’usage, en présence de ce que l’on appelle de «grandes variations» entre les programmes et à l’intérieur de ceux-ci, de donner des fourchettes. L’analyse figurant dans cette section est d’un intérêt limité, car elle se limite trop souvent à prendre en considération un seul chiffre au lieu de définir une fourchette de valeurs pertinentes et d’analyser de manière plus approfondie les fourchettes relevées dans les différents cas examinés.

| 87. | Ces discordances entre les commentaires et les chiffres communiqués apparaissent dans d’autres parties du chapitre 3 (quelques exemples en sont donnés dans l’encadré 3 ci-après).

  Encadré 3Il est dit par exemple que: «Les dépenses du FSE par habitant ont été les plus élevées en Grèce, en Irlande et au Portugal (États membres totalement couverts par l’objectif no 1), ainsi qu’en Espagne (1)». Or le tableau 3.1 indique que les dépenses du FSE par habitant et par an se sont élevées à 2086 euros pour le Portugal et à 405 euros pour l’Allemagne, alors que les chiffres de 12 et de 17 euros sont donnés respectivement pour l’Irlande et pour la Grèce. À l’évidence, les chiffres du tableau ne concordent pas avec les commentaires formulés dans le texte. L’affirmation suivante est encore plus significative: «Dans tous les États membres, les dépenses du FSE en matière d’éducation par rapport aux dépenses nationales étaient inférieures aux mêmes dépenses par rapport aux dépenses consacrées aux PAMT. C’est en Grèce et au Portugal (2) qu’elles étaient les plus élevées.» Or le tableau 3.1 montre, dans la colonne des dépenses du FSE en matière d’éducation, que la Grèce n’a fait l’objet d’aucun versement.Par exemple, au point 3.2.3 (3), il est indiqué que: «Les dépenses nationales relatives à la formation au marché de l’emploi par rapport au PIB ont varié de 0,2 % au Luxembourg à 0,58 % en Suède (4).» Or, le tableau 3.3 montre que les dépenses de formation au Danemark équivalent à 0,94 % du PIB, soit près du double de celles de la Suède. Autre exemple, au point 3.2.6 (5), qui traite des dépenses en matière d’intégration des personnes handicapées, on peut lire l’affirmation suivante: «Le FSE a été particulièrement important en Grèce, en Espagne, en Autriche et au Portugal.» Or le tableau 3.6 ne mentionne aucune dépense du FSE en faveur des personnes handicapées pour l’Espagne et la Grèce. Autre exemple encore au point 3.2.7 consacré aux dépenses en matière d’éducation, où il est indiqué que: «C’est en Grèce, en Irlande et au Portugal (6) que la contribution du FSE a été la plus importante.» Or le tableau 3.7 ne mentionne aucune dépense du FSE en matière d’éducation pour la Grèce.Rapport de synthèse: (1) p. 78, (2) p. 79, (3) p. 81, (4) p. 81, (5) p. 84 et (6) p. 85 |
| --- | --- |

87.

Ces discordances entre les commentaires et les chiffres communiqués apparaissent dans d’autres parties du chapitre 3 (quelques exemples en sont donnés dans l’encadré 3 ci-après).

Encadré 3Il est dit par exemple que: «Les dépenses du FSE par habitant ont été les plus élevées en Grèce, en Irlande et au Portugal (États membres totalement couverts par l’objectif no 1), ainsi qu’en Espagne (1)». Or le tableau 3.1 indique que les dépenses du FSE par habitant et par an se sont élevées à 2086 euros pour le Portugal et à 405 euros pour l’Allemagne, alors que les chiffres de 12 et de 17 euros sont donnés respectivement pour l’Irlande et pour la Grèce. À l’évidence, les chiffres du tableau ne concordent pas avec les commentaires formulés dans le texte. L’affirmation suivante est encore plus significative: «Dans tous les États membres, les dépenses du FSE en matière d’éducation par rapport aux dépenses nationales étaient inférieures aux mêmes dépenses par rapport aux dépenses consacrées aux PAMT. C’est en Grèce et au Portugal (2) qu’elles étaient les plus élevées.» Or le tableau 3.1 montre, dans la colonne des dépenses du FSE en matière d’éducation, que la Grèce n’a fait l’objet d’aucun versement.Par exemple, au point 3.2.3 (3), il est indiqué que: «Les dépenses nationales relatives à la formation au marché de l’emploi par rapport au PIB ont varié de 0,2 % au Luxembourg à 0,58 % en Suède (4).» Or, le tableau 3.3 montre que les dépenses de formation au Danemark équivalent à 0,94 % du PIB, soit près du double de celles de la Suède. Autre exemple, au point 3.2.6 (5), qui traite des dépenses en matière d’intégration des personnes handicapées, on peut lire l’affirmation suivante: «Le FSE a été particulièrement important en Grèce, en Espagne, en Autriche et au Portugal.» Or le tableau 3.6 ne mentionne aucune dépense du FSE en faveur des personnes handicapées pour l’Espagne et la Grèce. Autre exemple encore au point 3.2.7 consacré aux dépenses en matière d’éducation, où il est indiqué que: «C’est en Grèce, en Irlande et au Portugal (6) que la contribution du FSE a été la plus importante.» Or le tableau 3.7 ne mentionne aucune dépense du FSE en matière d’éducation pour la Grèce.Rapport de synthèse: (1) p. 78, (2) p. 79, (3) p. 81, (4) p. 81, (5) p. 84 et (6) p. 85

Évaluation de l’impact des interventions du FSE

| 88. | Il était demandé aux évaluateurs qui ont participé à l’évaluation ex post d’indiquer si les cas analysés confirmaient ou infirmaient un certain nombre d’hypothèses qui avaient été formulées sur la base d’une revue préalable de la littérature et sur les constatations figurant dans le rapport de démarrage de l’évaluation. Le rapport de synthèse précise que «des éléments probants convaincants permettent de confirmer quatre hypothèses» [voir tableau 3
   (77)]. Or les données présentées n’attestent pas l’existence d’éléments probants convaincants. Par exemple, seuls sept évaluateurs, sur 30, ont déclaré que la première hypothèse reposait sur des éléments probants convaincants. Une évaluation plus objective de ces résultats aurait été nécessaire. |
| --- | --- |

88.

Il était demandé aux évaluateurs qui ont participé à l’évaluation ex post d’indiquer si les cas analysés confirmaient ou infirmaient un certain nombre d’hypothèses qui avaient été formulées sur la base d’une revue préalable de la littérature et sur les constatations figurant dans le rapport de démarrage de l’évaluation. Le rapport de synthèse précise que «des éléments probants convaincants permettent de confirmer quatre hypothèses» [voir tableau 3
   (77)]. Or les données présentées n’attestent pas l’existence d’éléments probants convaincants. Par exemple, seuls sept évaluateurs, sur 30, ont déclaré que la première hypothèse reposait sur des éléments probants convaincants. Une évaluation plus objective de ces résultats aurait été nécessaire.

Tableau 3

Observations relatives aux hypothèses examinées dans le cadre de l’examen des cas d’impact sur les personnes

| | Éléments probants convaincants confirmant l’hypothèse | Certains éléments probants confirmant l’hypothèse | Aucun élément probant confirmant ou infirmant l’hypothèse | Certains éléments probants infirmant l’hypothèse | Éléments probants convaincants infirmant l’hypothèse | Sans opinion à ce stade |
| --- | --- | --- | --- | --- | --- | --- |
| 1. | Le degré d’impact est lié aux conditions sous-jacentes du marché national et régional (par exemple, les résultats dépendent du cycle économique et des niveaux de la demande et du chômage). |

Éléments probants convaincants confirmant l’hypothèse

Certains éléments probants confirmant l’hypothèse

Aucun élément probant confirmant ou infirmant l’hypothèse

Certains éléments probants infirmant l’hypothèse

Éléments probants convaincants infirmant l’hypothèse

Sans opinion à ce stade

1.

Le degré d’impact est lié aux conditions sous-jacentes du marché national et régional (par exemple, les résultats dépendent du cycle économique et des niveaux de la demande et du chômage).

7

14

8

0

1

0

| 2. | Le degré d’impact est lié aux caractéristiques des groupes bénéficiaires ciblés (par exemple les actions de formation sont plus efficaces pour les femmes qui reviennent sur le marché de l’emploi et les immigrés diplômés que pour les travailleurs peu qualifiés et les jeunes). |
| --- | --- |

2.

Le degré d’impact est lié aux caractéristiques des groupes bénéficiaires ciblés (par exemple les actions de formation sont plus efficaces pour les femmes qui reviennent sur le marché de l’emploi et les immigrés diplômés que pour les travailleurs peu qualifiés et les jeunes).

8

18

3

0

0

1

| 3. | Le degré d’impact est lié au type d’action. Certaines actions sont largement affectées par les effets d’aubaine; d’autres sont efficaces à sur une petite échelle mais n’apportent pas de solutions générales. |
| --- | --- |

3.

Le degré d’impact est lié au type d’action. Certaines actions sont largement affectées par les effets d’aubaine; d’autres sont efficaces à sur une petite échelle mais n’apportent pas de solutions générales.

5

17

6

1

0

1

| 4. | Le degré d’impact est étroitement lié au type de structure et de gestion des programmes, entre autres à la qualité des analyses qui définissent la portée exacte des interventions (par exemple les petits programmes ciblés peuvent être plus efficaces que les programmes de grande envergure). |
| --- | --- |

4.

Le degré d’impact est étroitement lié au type de structure et de gestion des programmes, entre autres à la qualité des analyses qui définissent la portée exacte des interventions (par exemple les petits programmes ciblés peuvent être plus efficaces que les programmes de grande envergure).

3

17

7

1

0

1

Évaluation relative à l’égalité des chances

| 89. | S’agissant de l’impact du FSE pour la période1994-1999, le cahier des charges prévoyait également une évaluation de la contribution des interventions du FSE à l’objectif d’égalité des chances (78). Cet aspect est abordé au chapitre 7 du rapport? qui indique cependant que: «Une constatation essentielle est que les données ventilées par sexe ne sont pas systématiquement collectées dans l’ensemble de l’Union européenne pour chacun des objectifs du FSE et des initiatives communautaires» (79). Cela a considérablement limité la capacité des auteurs de l’évaluation ex post à donner une appréciation sur ce sujet. Il est difficile de considérer ce résultat comme une constatation essentielle dans la mesure où une analyse préliminaire aurait révélé cette lacune qui nécessitait, pour la surmonter, un travail de terrain et des enquêtes par sondage plutôt que le simple constat que les données n’étaient pas disponibles. |
| --- | --- |

89.

S’agissant de l’impact du FSE pour la période1994-1999, le cahier des charges prévoyait également une évaluation de la contribution des interventions du FSE à l’objectif d’égalité des chances (78). Cet aspect est abordé au chapitre 7 du rapport? qui indique cependant que: «Une constatation essentielle est que les données ventilées par sexe ne sont pas systématiquement collectées dans l’ensemble de l’Union européenne pour chacun des objectifs du FSE et des initiatives communautaires» (79). Cela a considérablement limité la capacité des auteurs de l’évaluation ex post à donner une appréciation sur ce sujet. Il est difficile de considérer ce résultat comme une constatation essentielle dans la mesure où une analyse préliminaire aurait révélé cette lacune qui nécessitait, pour la surmonter, un travail de terrain et des enquêtes par sondage plutôt que le simple constat que les données n’étaient pas disponibles.

Autres aspects examinés

| 90. | S’agissant de l’impact des opérations du FSE sur les personnes, les interventions relevant de «mesures combinées» (80) n’ont pas fait l’objet d’un examen spécifique, malgré la part importante des ressources du FSE (18 %) qui leur a été allouée. Par conséquent, les conclusions du rapport de synthèse sont plutôt modestes: «Les travaux d’évaluation font état, pour la plupart, d’effets positifs. Les méthodes d’évaluation tendent cependant davantage à privilégier la détermination des composantes des programmes paraissant les plus efficaces qu’à apprécier la performance des mesures combinées par rapport aux interventions relevant d’une mesure unique (81).» |
| --- | --- |

90.

S’agissant de l’impact des opérations du FSE sur les personnes, les interventions relevant de «mesures combinées» (80) n’ont pas fait l’objet d’un examen spécifique, malgré la part importante des ressources du FSE (18 %) qui leur a été allouée. Par conséquent, les conclusions du rapport de synthèse sont plutôt modestes: «Les travaux d’évaluation font état, pour la plupart, d’effets positifs. Les méthodes d’évaluation tendent cependant davantage à privilégier la détermination des composantes des programmes paraissant les plus efficaces qu’à apprécier la performance des mesures combinées par rapport aux interventions relevant d’une mesure unique (81).»

| 91. | S’agissant de l’incidence des politiques actives du marché de l’emploi (PAMT), en particulier concernant les États membres relevant de l’objectif no 1, le rapport de synthèse formule quelques conclusions sans que les éléments qui les sous-tendent soient expliqués de façon appropriée. |
| --- | --- |

91.

S’agissant de l’incidence des politiques actives du marché de l’emploi (PAMT), en particulier concernant les États membres relevant de l’objectif no 1, le rapport de synthèse formule quelques conclusions sans que les éléments qui les sous-tendent soient expliqués de façon appropriée.

| 92. | S’agissant de la contribution financière du FSE, les auteurs du rapport de synthèse (82) concluent que «l’affectation combinée de crédits nationaux et de ressources du FSE ne semble avoir permis ni une convergence des modèles de dépenses des pays, ni l’adoption de normes subordonnant l’octroi de ressources à des conditions spécifiques sur le plan économique et du marché de l’emploi» (83). Il semble que cette conclusion soit difficilement défendable étant donné le nombre d’erreurs dans les tableaux correspondants et/ou les errements de l’analyse. De même, cette partie du rapport contient une autre conclusion importante, à savoir que «ces circonstances donnent à penser que les interventions du FSE pourraient ne pas toutes avoir un caractère additionnel. L’additionnalité, au sens que les interventions cofinancées par le FSE n’auraient autrement probablement pas été mises en œuvre, a vraisemblablement été mieux assurée lorsque les ressources FSE étaient ciblées et concentrées sur des types particuliers d’interventions et lorsque les dépenses et les programmes nationaux correspondants étaient relativement limités et moins importants que dans d’autres États membres où le marché de l’emploi présentait des conditions similaires». Là encore, il est difficile de saisir le cheminement permettant d’arriver à cette conclusion à partir des éléments probants présentés dans ce chapitre, notamment en raison du décalage entre l’analyse, d’une part, et les données présentées dans les tableaux, d’autre part. |
| --- | --- |

92.

S’agissant de la contribution financière du FSE, les auteurs du rapport de synthèse (82) concluent que «l’affectation combinée de crédits nationaux et de ressources du FSE ne semble avoir permis ni une convergence des modèles de dépenses des pays, ni l’adoption de normes subordonnant l’octroi de ressources à des conditions spécifiques sur le plan économique et du marché de l’emploi» (83). Il semble que cette conclusion soit difficilement défendable étant donné le nombre d’erreurs dans les tableaux correspondants et/ou les errements de l’analyse. De même, cette partie du rapport contient une autre conclusion importante, à savoir que «ces circonstances donnent à penser que les interventions du FSE pourraient ne pas toutes avoir un caractère additionnel. L’additionnalité, au sens que les interventions cofinancées par le FSE n’auraient autrement probablement pas été mises en œuvre, a vraisemblablement été mieux assurée lorsque les ressources FSE étaient ciblées et concentrées sur des types particuliers d’interventions et lorsque les dépenses et les programmes nationaux correspondants étaient relativement limités et moins importants que dans d’autres États membres où le marché de l’emploi présentait des conditions similaires». Là encore, il est difficile de saisir le cheminement permettant d’arriver à cette conclusion à partir des éléments probants présentés dans ce chapitre, notamment en raison du décalage entre l’analyse, d’une part, et les données présentées dans les tableaux, d’autre part.

| 93. | En ce qui concerne les hypothèses avancées sur l’impact du FSE sur les systèmes en place, un problème similaire à celui évoqué plus haut se pose. En l’occurrence, sept hypothèses reposeraient sur des éléments probants convaincants (84). Parallèlement, une analyse des données présentées montre cependant, que cette conclusion n’est pas vraiment étayée. |
| --- | --- |

93.

En ce qui concerne les hypothèses avancées sur l’impact du FSE sur les systèmes en place, un problème similaire à celui évoqué plus haut se pose. En l’occurrence, sept hypothèses reposeraient sur des éléments probants convaincants (84). Parallèlement, une analyse des données présentées montre cependant, que cette conclusion n’est pas vraiment étayée.

Commentaires sur l’appréciation globale de la Commission

| 94. | Si les contraintes auxquelles les évaluateurs ont été confrontés doivent être dûment prises en considération, il n’en demeure pas moins nécessaire de formuler des commentaires critiques concernant l’analyse, par la Commission, de l’évaluation ex post, qui a débouché sur un résultat globalement satisfaisant. |
| --- | --- |

94.

Si les contraintes auxquelles les évaluateurs ont été confrontés doivent être dûment prises en considération, il n’en demeure pas moins nécessaire de formuler des commentaires critiques concernant l’analyse, par la Commission, de l’évaluation ex post, qui a débouché sur un résultat globalement satisfaisant.

| 95. | L’évaluation du rapport par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances repose sur huit critères de performance et quatre degrés de qualité possibles, à savoir «excellent», «bon», «correct», «inacceptable». Aucun des critères appliqués n’a été évalué comme étant «excellent» ou «inacceptable». Quatre critères ont été estimés «bons», à savoir la satisfaction des besoins (meeting needs), l’adéquation du champ (relevant scope), l’adéquation de la méthodologie (defensible design) et la clarté du rapport (clear report). Les quatre autres critères portant sur la fiabilité des données (reliable data), la solidité de l’analyse (sound analysis), la crédibilité des résultats (credible results) et l’impartialité des conclusions (impartial conclusions) ont été considérés comme «corrects». |
| --- | --- |

95.

L’évaluation du rapport par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances repose sur huit critères de performance et quatre degrés de qualité possibles, à savoir «excellent», «bon», «correct», «inacceptable». Aucun des critères appliqués n’a été évalué comme étant «excellent» ou «inacceptable». Quatre critères ont été estimés «bons», à savoir la satisfaction des besoins (meeting needs), l’adéquation du champ (relevant scope), l’adéquation de la méthodologie (defensible design) et la clarté du rapport (clear report). Les quatre autres critères portant sur la fiabilité des données (reliable data), la solidité de l’analyse (sound analysis), la crédibilité des résultats (credible results) et l’impartialité des conclusions (impartial conclusions) ont été considérés comme «corrects».

| 96. | Le fait que le jugement de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances sur ces quatre derniers critères soit moins positif que pour les quatre premiers est révélateur. Néanmoins, étant donné les problèmes relevés en matière de fiabilité des données ainsi que les incohérences du commentaire correspondant (comme le montre le présent rapport), la Cour estime que le rapport d’évaluation n’est pas satisfaisant, en particulier en ce qui concerne la fiabilité des données, la solidité de l’analyse, la crédibilité des résultats et l’impartialité des conclusions. |
| --- | --- |

96.

Le fait que le jugement de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances sur ces quatre derniers critères soit moins positif que pour les quatre premiers est révélateur. Néanmoins, étant donné les problèmes relevés en matière de fiabilité des données ainsi que les incohérences du commentaire correspondant (comme le montre le présent rapport), la Cour estime que le rapport d’évaluation n’est pas satisfaisant, en particulier en ce qui concerne la fiabilité des données, la solidité de l’analyse, la crédibilité des résultats et l’impartialité des conclusions.

Autres informations tirées des rapports nationaux

| 97. | Il est également possible de formuler quelques observations pertinentes sur les objectifs et les résultats d’évaluation à partir des rapports d’évaluation nationaux:






  a) | les résultats de l’évaluation relatifs à l’impact sur les personnes étaient souvent de nature qualitative; l’effet d’aubaine n’a pas toujours été estimé; |
| --- | --- | --- |

97.

Il est également possible de formuler quelques observations pertinentes sur les objectifs et les résultats d’évaluation à partir des rapports d’évaluation nationaux:

a)

les résultats de l’évaluation relatifs à l’impact sur les personnes étaient souvent de nature qualitative; l’effet d’aubaine n’a pas toujours été estimé;

| b) | les impacts de nature plus qualitative (85) («soft outcomes») n’ont pas systématiquement fait l’objet d’un examen; |
| --- | --- |

b)

les impacts de nature plus qualitative (85) («soft outcomes») n’ont pas systématiquement fait l’objet d’un examen;

| c) | à l’exception des approches intégrées ou mixtes, il est difficile de formuler des observations de portée générale concernant la performance des différentes mesures à partir des évaluations; |
| --- | --- |

c)

à l’exception des approches intégrées ou mixtes, il est difficile de formuler des observations de portée générale concernant la performance des différentes mesures à partir des évaluations;

| d) | d’importants facteurs tels que la contribution au développement durable et à la cohésion socio-économique n’ont pas été systématiquement évalués; |
| --- | --- |

d)

d’importants facteurs tels que la contribution au développement durable et à la cohésion socio-économique n’ont pas été systématiquement évalués;

| e) | les groupes cibles, comme les chômeurs de longue durée ou les jeunes à la recherche d’un emploi, n’ont pas systématiquement fait l’objet de conclusions spécifiques dans le cadre de l’évaluation des actions cofinancées; |
| --- | --- |

e)

les groupes cibles, comme les chômeurs de longue durée ou les jeunes à la recherche d’un emploi, n’ont pas systématiquement fait l’objet de conclusions spécifiques dans le cadre de l’évaluation des actions cofinancées;

| f) | il n’a été possible de comparer les attentes aux résultats que dans quelques cas; le manque d’objectifs de départ et d’indicateurs spécifiques ainsi que l’absence d’informations exactes ont généralement entravé l’évaluation; |
| --- | --- |

f)

il n’a été possible de comparer les attentes aux résultats que dans quelques cas; le manque d’objectifs de départ et d’indicateurs spécifiques ainsi que l’absence d’informations exactes ont généralement entravé l’évaluation;

| g) | la complémentarité entre les mesures relevant du FSE et d’autres actions n’a guère été prise en considération pour interpréter certains résultats. L’importance de l’augmentation de la productivité de personnes bénéficiaires du FSE, en termes d’avantages pour les sociétés qui les emploient, n’a presque jamais été directement examinée. |
| --- | --- |

g)

la complémentarité entre les mesures relevant du FSE et d’autres actions n’a guère été prise en considération pour interpréter certains résultats. L’importance de l’augmentation de la productivité de personnes bénéficiaires du FSE, en termes d’avantages pour les sociétés qui les emploient, n’a presque jamais été directement examinée.

| 98. | Les rapports nationaux figurant dans l’échantillon ne présentent pas toujours une analyse minutieuse de l’impact des interventions relevant du FSE sur les politiques nationales. Cependant, ils laissent généralement entrevoir que ces interventions FSE ont eu une incidence sur l’évolution des PAMT, et font à l’occasion état d’un effet direct et concret. Toutefois, dans d’autres cas, la conclusion était qu’au contraire, il était difficile de montrer que les actions au titre du FSE pouvaient entraîner des changements au niveau des PAMT. |
| --- | --- |

98.

Les rapports nationaux figurant dans l’échantillon ne présentent pas toujours une analyse minutieuse de l’impact des interventions relevant du FSE sur les politiques nationales. Cependant, ils laissent généralement entrevoir que ces interventions FSE ont eu une incidence sur l’évolution des PAMT, et font à l’occasion état d’un effet direct et concret. Toutefois, dans d’autres cas, la conclusion était qu’au contraire, il était difficile de montrer que les actions au titre du FSE pouvaient entraîner des changements au niveau des PAMT.

| 99. | Tous les rapports nationaux d’évaluation et le rapport de synthèse décrivent d’une façon plus ou moins circonstanciée les impacts sur les systèmes en ce qui concerne les services en matière d’emploi, l’enseignement et la formation de base, l’enseignement et la formation permanents, les systèmes d’agrément et les mécanismes d’anticipation des besoins. Les impacts sur les systèmes se rapportent souvent à un contexte de politique plus spécifique. En règle générale, il était difficile de déterminer l’impact net des opérations relevant du FSE (86); ces derniers n’ont été effectivement délimités qu’en de rares occasions (87). |
| --- | --- |

99.

Tous les rapports nationaux d’évaluation et le rapport de synthèse décrivent d’une façon plus ou moins circonstanciée les impacts sur les systèmes en ce qui concerne les services en matière d’emploi, l’enseignement et la formation de base, l’enseignement et la formation permanents, les systèmes d’agrément et les mécanismes d’anticipation des besoins. Les impacts sur les systèmes se rapportent souvent à un contexte de politique plus spécifique. En règle générale, il était difficile de déterminer l’impact net des opérations relevant du FSE (86); ces derniers n’ont été effectivement délimités qu’en de rares occasions (87).

| 100. | S’agissant de la Stratégie européenne pour l’emploi (SEE), les rapports d’évaluation ont mis en évidence l’influence bénéfique du FSE dans plusieurs États membres, notamment la Grèce, la France, l’Italie, le Portugal et l’Espagne. Dans le cas de l’Allemagne, il a cependant été constaté que l’approche descendante retenue pour la SEE risquait d’être incompatible avec l’approche ascendante du FSE (88). Plus généralement, les auteurs du rapport de synthèse concluent que la SEE a instauré un cadre stratégique plus solide pour la programmation des interventions relevant du FSE (89). |
| --- | --- |

100.

S’agissant de la Stratégie européenne pour l’emploi (SEE), les rapports d’évaluation ont mis en évidence l’influence bénéfique du FSE dans plusieurs États membres, notamment la Grèce, la France, l’Italie, le Portugal et l’Espagne. Dans le cas de l’Allemagne, il a cependant été constaté que l’approche descendante retenue pour la SEE risquait d’être incompatible avec l’approche ascendante du FSE (88). Plus généralement, les auteurs du rapport de synthèse concluent que la SEE a instauré un cadre stratégique plus solide pour la programmation des interventions relevant du FSE (89).

| 101. | En ce qui concerne la valeur ajoutée communautaire, les rapports nationaux d’évaluation ont fourni des résultats intéressants (90), bien qu’une partie des questions spécifiques n’ait pas été traitée dans certains rapports nationaux. |
| --- | --- |

101.

En ce qui concerne la valeur ajoutée communautaire, les rapports nationaux d’évaluation ont fourni des résultats intéressants (90), bien qu’une partie des questions spécifiques n’ait pas été traitée dans certains rapports nationaux.

| 102. | Les implications financières des choix politiques ont rarement été examinées de façon approfondie. Le rapport de synthèse présente un calcul des coûts unitaires concernant quelques mesures, mais ce dernier repose sur des données peu satisfaisantes. Lorsque les questions de coûts ont été abordées, des éléments potentiellement préoccupants qui mériteraient une analyse plus poussée ont été mis en évidence. Dans le cas de l’Espagne, par exemple, le rapport indique que: «Cette multiplication plus ou moins par deux des ressources du fait de la contribution du FSE a entraîné, selon certains experts, des dépenses superflues d’une valeur non négligeable. La source de crédits supplémentaires n’a pas tant servi à instaurer de nouvelles mesures qu’à étendre les opérations.» De même, pour le FSE en Italie, des coûts de transaction notables, concernant des questions de mise en œuvre ainsi que des coûts liés au renforcement du partenariat et à la mise en place de nouvelles pratiques de gestion (91), ont été constatés. |
| --- | --- |

102.

Les implications financières des choix politiques ont rarement été examinées de façon approfondie. Le rapport de synthèse présente un calcul des coûts unitaires concernant quelques mesures, mais ce dernier repose sur des données peu satisfaisantes. Lorsque les questions de coûts ont été abordées, des éléments potentiellement préoccupants qui mériteraient une analyse plus poussée ont été mis en évidence. Dans le cas de l’Espagne, par exemple, le rapport indique que: «Cette multiplication plus ou moins par deux des ressources du fait de la contribution du FSE a entraîné, selon certains experts, des dépenses superflues d’une valeur non négligeable. La source de crédits supplémentaires n’a pas tant servi à instaurer de nouvelles mesures qu’à étendre les opérations.» De même, pour le FSE en Italie, des coûts de transaction notables, concernant des questions de mise en œuvre ainsi que des coûts liés au renforcement du partenariat et à la mise en place de nouvelles pratiques de gestion (91), ont été constatés.

Adéquation du cadre pour l’évaluation

| 103. | Les éléments d’évaluation les plus importants étaient indiqués dans le cahier des charges: il s’agissait en l’occurrence des principales caractéristiques de la période de programmation 1994-1999 et des réalisations au cours de celle-ci, de l’impact du FSE dans le contexte des politiques nationales, ainsi que de l’efficacité des opérations relevant du FSE quant à leur impact sur les personnes et sur les systèmes. |
| --- | --- |

103.

Les éléments d’évaluation les plus importants étaient indiqués dans le cahier des charges: il s’agissait en l’occurrence des principales caractéristiques de la période de programmation 1994-1999 et des réalisations au cours de celle-ci, de l’impact du FSE dans le contexte des politiques nationales, ainsi que de l’efficacité des opérations relevant du FSE quant à leur impact sur les personnes et sur les systèmes.

| 104. | La Commission a établi, puis publié un an plus tard, un rapport (methods report), dans lequel les méthodes mises en œuvre pour évaluer les résultats et leurs effets sur les personnes et les systèmes sont examinés d’un point de vue critique. Ce rapport était censé préparer le terrain pour de futures évaluations, mais rien n’atteste que cet objectif ait été réellement atteint. En effet, ce rapport présente différents points faibles. Il ne s’appuie pas sur une enquête suffisamment approfondie concernant les approches suivies pour évaluer l’impact net sur les personnes. S’agissant de l’évaluation de l’impact sur les systèmes, le rapport propose un modèle de classification des dépenses effectuées au titre du FSE et de leurs impacts inhérents escomptés (capacité, compétence et réactivité) (92). Toutefois, certains points doivent encore être traités (voir page 35 du rapport). |
| --- | --- |

104.

La Commission a établi, puis publié un an plus tard, un rapport (methods report), dans lequel les méthodes mises en œuvre pour évaluer les résultats et leurs effets sur les personnes et les systèmes sont examinés d’un point de vue critique. Ce rapport était censé préparer le terrain pour de futures évaluations, mais rien n’atteste que cet objectif ait été réellement atteint. En effet, ce rapport présente différents points faibles. Il ne s’appuie pas sur une enquête suffisamment approfondie concernant les approches suivies pour évaluer l’impact net sur les personnes. S’agissant de l’évaluation de l’impact sur les systèmes, le rapport propose un modèle de classification des dépenses effectuées au titre du FSE et de leurs impacts inhérents escomptés (capacité, compétence et réactivité) (92). Toutefois, certains points doivent encore être traités (voir page 35 du rapport).

| 105. | Dans la partie relative aux méthodes d’évaluation politique et stratégique dans le domaine du FSE [Methods for policy and strategic evaluation in the ESF field
   (93)], le rapport sur les méthodes ne formule aucune recommandation concrète concernant l’analyse des politiques, et se limite à une simple référence à MEANS. De même, l’approche à suivre pour sélectionner les indicateurs appropriés à différents niveaux stratégiques n’est pas évoquée. |
| --- | --- |

105.

Dans la partie relative aux méthodes d’évaluation politique et stratégique dans le domaine du FSE [Methods for policy and strategic evaluation in the ESF field
   (93)], le rapport sur les méthodes ne formule aucune recommandation concrète concernant l’analyse des politiques, et se limite à une simple référence à MEANS. De même, l’approche à suivre pour sélectionner les indicateurs appropriés à différents niveaux stratégiques n’est pas évoquée.

| 106. | Il convient de noter que les éléments importants de certaines tâches d’évaluation ne sont pas toujours explicités dans le cahier des charges. À titre d’exemple, la description des tâches concernant l’efficacité est plutôt abstraite, notamment si l’on se penche sur les notions sous-jacentes, la sélection des mécanismes de mesure de l’impact et les techniques d’évaluation à utiliser. Plus particulièrement, aucune indication n’est donnée concrètement sur les méthodes à appliquer pour extrapoler, à l’échelle de l’Union européenne, l’impact direct sur les personnes à partir des résultats des activités dans les différents États membres. La définition des tâches n’a pas dûment pris en considération le possible décalage entre les objectifs quantitatifs et les données disponibles. En outre, aucune action concrète n’a été prévue pour évaluer l’impact sur les personnes lorsque les indicateurs ne sont pas véritablement définis, ou lorsqu’aucune statistique spécifique n’a été réalisée depuis un certain temps. Les autres documents méthodologiques, établis après le cahier des charges, ne comportent pas non plus les explications nécessaires. |
| --- | --- |

106.

Il convient de noter que les éléments importants de certaines tâches d’évaluation ne sont pas toujours explicités dans le cahier des charges. À titre d’exemple, la description des tâches concernant l’efficacité est plutôt abstraite, notamment si l’on se penche sur les notions sous-jacentes, la sélection des mécanismes de mesure de l’impact et les techniques d’évaluation à utiliser. Plus particulièrement, aucune indication n’est donnée concrètement sur les méthodes à appliquer pour extrapoler, à l’échelle de l’Union européenne, l’impact direct sur les personnes à partir des résultats des activités dans les différents États membres. La définition des tâches n’a pas dûment pris en considération le possible décalage entre les objectifs quantitatifs et les données disponibles. En outre, aucune action concrète n’a été prévue pour évaluer l’impact sur les personnes lorsque les indicateurs ne sont pas véritablement définis, ou lorsqu’aucune statistique spécifique n’a été réalisée depuis un certain temps. Les autres documents méthodologiques, établis après le cahier des charges, ne comportent pas non plus les explications nécessaires.

| 107. | Les changements affectant la programmation n’ont pas toujours été examinés de façon adéquate. Par exemple cette question n’a pas été abordée dans les études concernant l’Irlande du Nord, la région de Merseyside et l’Espagne. Et même lorsque des changements affectant la programmation ont été signalés, leur traitement est loin d’avoir été optimal. Dans quelques cas, l’évaluateur n’a pas fourni une appréciation claire des modifications pertinentes ni de leur caractère adéquat (94). |
| --- | --- |

107.

Les changements affectant la programmation n’ont pas toujours été examinés de façon adéquate. Par exemple cette question n’a pas été abordée dans les études concernant l’Irlande du Nord, la région de Merseyside et l’Espagne. Et même lorsque des changements affectant la programmation ont été signalés, leur traitement est loin d’avoir été optimal. Dans quelques cas, l’évaluateur n’a pas fourni une appréciation claire des modifications pertinentes ni de leur caractère adéquat (94).

| 108. | La Commission n’a effectué aucune enquête préalable à l’évaluation ou d’action de reconnaissance, ce qui a compliqué l’anticipation des problèmes auxquels les évaluateurs ont été confrontés. |
| --- | --- |

108.

La Commission n’a effectué aucune enquête préalable à l’évaluation ou d’action de reconnaissance, ce qui a compliqué l’anticipation des problèmes auxquels les évaluateurs ont été confrontés.

| 109. | Aucun élément n’atteste clairement que le groupe de pilotage était suffisamment conscient du peu de données à la disposition des évaluateurs nationaux, des répercussions que cela aurait sur la qualité des évaluations finales, ainsi que des problèmes de délais. Le groupe de pilotage n’a pris aucune mesure correctrice pour régler cette question. |
| --- | --- |

109.

Aucun élément n’atteste clairement que le groupe de pilotage était suffisamment conscient du peu de données à la disposition des évaluateurs nationaux, des répercussions que cela aurait sur la qualité des évaluations finales, ainsi que des problèmes de délais. Le groupe de pilotage n’a pris aucune mesure correctrice pour régler cette question.

| 110. | Comme dans le cas de l’évaluation relative à l’objectif no 1, la supervision, par la Commission, du processus d’évaluation doit être améliorée (voir point 75). |
| --- | --- |

110.

Comme dans le cas de l’évaluation relative à l’objectif no 1, la supervision, par la Commission, du processus d’évaluation doit être améliorée (voir point 75).

Recommandations concluant l’évaluation

| 111. | Pour la plupart des États membres, les recommandations formulées à l’issue de l’évaluation ex post 1994-1999 ont essentiellement porté sur les systèmes de gestion et sur les procédures. Elles abordent des questions très variées et sont généralement bien adaptées aux différentes situations. |
| --- | --- |

111.

Pour la plupart des États membres, les recommandations formulées à l’issue de l’évaluation ex post 1994-1999 ont essentiellement porté sur les systèmes de gestion et sur les procédures. Elles abordent des questions très variées et sont généralement bien adaptées aux différentes situations.

| 112. | Quelques recommandations relatives à la période 2000-2006 concernaient le contenu des politiques cofinancées, et semblaient en l’occurrence être pertinentes (95). |
| --- | --- |

112.

Quelques recommandations relatives à la période 2000-2006 concernaient le contenu des politiques cofinancées, et semblaient en l’occurrence être pertinentes (95).

| 113. | Le rapport de synthèse comporte une liste des forces et des faiblesses pour chaque objectif (96), ainsi que les principales recommandations pour la période 2000-2006 et au-delà (97). Bien qu’elles semblent valables dans certains cas, notamment lorsqu’elles mettent en exergue les différences potentielles entre les États membres de l’EU-15 et de l’EU-10 ou la réponse que les politiques donnent tenant compte des caractéristiques régionales différentes, ces observations ont une portée plutôt générale. |
| --- | --- |

113.

Le rapport de synthèse comporte une liste des forces et des faiblesses pour chaque objectif (96), ainsi que les principales recommandations pour la période 2000-2006 et au-delà (97). Bien qu’elles semblent valables dans certains cas, notamment lorsqu’elles mettent en exergue les différences potentielles entre les États membres de l’EU-15 et de l’EU-10 ou la réponse que les politiques donnent tenant compte des caractéristiques régionales différentes, ces observations ont une portée plutôt générale.

CONCLUSIONS

| 114. | Le processus d’évaluation est primordial, car il permet d’obtenir des informations et de formuler un jugement sur le caractère approprié, pertinent, économique, efficient et efficace des interventions de l’Union européenne ainsi que sur les impacts de ces dernières. Il peut ainsi étayer le processus décisionnel visant à fixer les priorités politiques et l’affectation des ressources. La réussite de ce processus est néanmoins subordonnée au respect de certaines conditions préalables, c’est-à-dire qu’il convient d’assigner des objectifs précis aux politiques et aux programmes, ainsi que de définir régulièrement des indicateurs de performance exhaustifs, fiables et en relation avec les objectifs fixés. En outre, il est nécessaire de s’assurer que les ressources disponibles (aussi bien en termes de temps à disposition que de compétences techniques) pour réaliser ce processus sont adéquates. |
| --- | --- |

114.

Le processus d’évaluation est primordial, car il permet d’obtenir des informations et de formuler un jugement sur le caractère approprié, pertinent, économique, efficient et efficace des interventions de l’Union européenne ainsi que sur les impacts de ces dernières. Il peut ainsi étayer le processus décisionnel visant à fixer les priorités politiques et l’affectation des ressources. La réussite de ce processus est néanmoins subordonnée au respect de certaines conditions préalables, c’est-à-dire qu’il convient d’assigner des objectifs précis aux politiques et aux programmes, ainsi que de définir régulièrement des indicateurs de performance exhaustifs, fiables et en relation avec les objectifs fixés. En outre, il est nécessaire de s’assurer que les ressources disponibles (aussi bien en termes de temps à disposition que de compétences techniques) pour réaliser ce processus sont adéquates.

| 115. | Lors de son audit des évaluations ex post en cause, la Cour a relevé plusieurs déficiences importantes concernant l’approche globale adoptée et la qualité des appréciations réalisées:






  a) | les objectifs définis au cours de la période de programmation 1994-1999 manquaient de clarté et de cohérence; |
| --- | --- | --- |

115.

Lors de son audit des évaluations ex post en cause, la Cour a relevé plusieurs déficiences importantes concernant l’approche globale adoptée et la qualité des appréciations réalisées:

a)

les objectifs définis au cours de la période de programmation 1994-1999 manquaient de clarté et de cohérence;

| b) | peu d’indicateurs de performance étaient disponibles; cependant, peu de mesures ont été prises pour corriger cette lacune, par exemple, la collecte de données quantitatives supplémentaires; |
| --- | --- |

b)

peu d’indicateurs de performance étaient disponibles; cependant, peu de mesures ont été prises pour corriger cette lacune, par exemple, la collecte de données quantitatives supplémentaires;

| c) | par conséquent, l’équilibre entre les analyses quantitatives et qualitatives n’a pas toujours été satisfaisant; |
| --- | --- |

c)

par conséquent, l’équilibre entre les analyses quantitatives et qualitatives n’a pas toujours été satisfaisant;

| d) | cette situation a entraîné la formulation de conclusions qui n’étaient pas étayées par des analyses appropriées; |
| --- | --- |

d)

cette situation a entraîné la formulation de conclusions qui n’étaient pas étayées par des analyses appropriées;

| e) | parallèlement, l’évaluation a parfois négligé un certain nombre de questions méritant d’être abordées dans le cadre d’une évaluation ex post, comme l’effet d’aubaine, la convergence et les différents thèmes proposés par État membre. |
| --- | --- |

e)

parallèlement, l’évaluation a parfois négligé un certain nombre de questions méritant d’être abordées dans le cadre d’une évaluation ex post, comme l’effet d’aubaine, la convergence et les différents thèmes proposés par État membre.

| 116. | En ce qui concerne les différents thèmes d’évaluation, les conclusions relatives à l’évaluation de l’objectif no 1 sont les suivantes:






  a) | dans le cadre de l’évaluation du caractère approprié des stratégies adoptées, l’analyse pâtit du fait que des disparités importantes affectent les données, comme cela apparaît dans le rapport de synthèse, lorsqu’il s’agit de comparer les coûts prévus et les coûts réels calculés. Même compte tenu des carences des données disponibles, une analyse plus approfondie aurait pu être tentée afin d’y voir un peu plus clair sur les investissements du secteur privé liés aux dépenses effectuées au titre des Fonds structurels; |
| --- | --- | --- |

116.

En ce qui concerne les différents thèmes d’évaluation, les conclusions relatives à l’évaluation de l’objectif no 1 sont les suivantes:

a)

dans le cadre de l’évaluation du caractère approprié des stratégies adoptées, l’analyse pâtit du fait que des disparités importantes affectent les données, comme cela apparaît dans le rapport de synthèse, lorsqu’il s’agit de comparer les coûts prévus et les coûts réels calculés. Même compte tenu des carences des données disponibles, une analyse plus approfondie aurait pu être tentée afin d’y voir un peu plus clair sur les investissements du secteur privé liés aux dépenses effectuées au titre des Fonds structurels;

| b) | l’examen de l’efficacité manquait de rigueur, entre autres parce que les analyses étaient inadéquates ou insuffisantes et que plusieurs conclusions importantes et pertinentes figurant dans les études thématiques n’avaient pas été prises en considération; |
| --- | --- |

b)

l’examen de l’efficacité manquait de rigueur, entre autres parce que les analyses étaient inadéquates ou insuffisantes et que plusieurs conclusions importantes et pertinentes figurant dans les études thématiques n’avaient pas été prises en considération;

| c) | l’examen de l’efficience s’est limité à des observations d’ordre général, tandis que les objectifs d’évaluation consistant à établir les coûts de référence et à examiner la qualité de la gestion des projets de grande envergure n’ont pas été atteints; |
| --- | --- |

c)

l’examen de l’efficience s’est limité à des observations d’ordre général, tandis que les objectifs d’évaluation consistant à établir les coûts de référence et à examiner la qualité de la gestion des projets de grande envergure n’ont pas été atteints;

| d) | s’agissant de l’appréciation de l’impact des mesures, l’évaluation a principalement reposé sur l’utilisation de macromodèles agrégés présentant certaines limites. Le modèle macroéconomique utilisé en l’occurrence (Hermin) n’a pas permis d’opérer les ajustements nécessaires pour que les spécificités des économies faisant l’objet de l’évaluation (comme l’existence d’un important secteur du tourisme) puissent être prises en considération. En outre, l’estimation de certaines variables clés était soumise à des limitations importantes (comme le choix de données supplétives tirées d’études sur l’économie des États-Unis pour calculer des élasticités externes au lieu de données réelles relatives aux régions européennes concernées, non disponibles). |
| --- | --- |

d)

s’agissant de l’appréciation de l’impact des mesures, l’évaluation a principalement reposé sur l’utilisation de macromodèles agrégés présentant certaines limites. Le modèle macroéconomique utilisé en l’occurrence (Hermin) n’a pas permis d’opérer les ajustements nécessaires pour que les spécificités des économies faisant l’objet de l’évaluation (comme l’existence d’un important secteur du tourisme) puissent être prises en considération. En outre, l’estimation de certaines variables clés était soumise à des limitations importantes (comme le choix de données supplétives tirées d’études sur l’économie des États-Unis pour calculer des élasticités externes au lieu de données réelles relatives aux régions européennes concernées, non disponibles).

L’évaluation de l’objectif no 3, quant à elle, reposait en partie sur des données non fiables ou incomplètes et faisait apparaître des discordances significatives entre les données présentées et le commentaire correspondant. De plus, certaines des hypothèses avancées n’étaient pas étayées de façon convaincante, ce qui jetait un doute sur la méthodologie utilisée pour les établir.

| 117. | Une grande part des carences des évaluations peut être imputée aux circonstances dans lesquelles elles ont été réalisées, notamment au fait que peu d’informations étaient disponibles et que les délais impartis étaient courts. Il aurait dû être possible d’anticiper ces contraintes et d’allouer les ressources nécessaires à ces évaluations, ou encore de les réaliser sur une échelle plus «modeste». En outre, la supervision, par la Commission, du processus d’évaluation doit être améliorée. |
| --- | --- |

117.

Une grande part des carences des évaluations peut être imputée aux circonstances dans lesquelles elles ont été réalisées, notamment au fait que peu d’informations étaient disponibles et que les délais impartis étaient courts. Il aurait dû être possible d’anticiper ces contraintes et d’allouer les ressources nécessaires à ces évaluations, ou encore de les réaliser sur une échelle plus «modeste». En outre, la supervision, par la Commission, du processus d’évaluation doit être améliorée.

| 118. | Les évaluations ex post ont tout de même permis d’obtenir des indications utiles, notamment sur les systèmes de gestion sous-jacents à la mise en œuvre des actions relevant des Fonds structurels. Mais la Commission a éprouvé de sérieuses difficultés à fournir une analyse poussée de l’efficacité, de l’efficience et de l’impact des Fonds, et ce essentiellement en raison des limitations de l’approche adoptée et du manque de données. La question de la disponibilité des données n’avait pas été correctement anticipée au début de l’évaluation. À ces problèmes sont venues s’ajouter certaines faiblesses qui ont affecté la supervision du processus par la Commission. Par conséquent, même si certaines recommandations valables et utiles ont été formulées pour les périodes de programmation à venir, la Commission n’a pas pu pleinement tirer parti des expériences de la période de programmation 1994-1999. |
| --- | --- |

118.

Les évaluations ex post ont tout de même permis d’obtenir des indications utiles, notamment sur les systèmes de gestion sous-jacents à la mise en œuvre des actions relevant des Fonds structurels. Mais la Commission a éprouvé de sérieuses difficultés à fournir une analyse poussée de l’efficacité, de l’efficience et de l’impact des Fonds, et ce essentiellement en raison des limitations de l’approche adoptée et du manque de données. La question de la disponibilité des données n’avait pas été correctement anticipée au début de l’évaluation. À ces problèmes sont venues s’ajouter certaines faiblesses qui ont affecté la supervision du processus par la Commission. Par conséquent, même si certaines recommandations valables et utiles ont été formulées pour les périodes de programmation à venir, la Commission n’a pas pu pleinement tirer parti des expériences de la période de programmation 1994-1999.

RECOMMANDATIONS

| 119. | Il conviendrait de revoir le champ, les procédures et l’approche qui sous-tendent les évaluations ex post, et ce assez rapidement, c’est-à-dire avant l’établissement de la prochaine série de contrats relatifs aux évaluations ex post au terme de l’actuelle période de programmation 2000-2006. |
| --- | --- |

119.

Il conviendrait de revoir le champ, les procédures et l’approche qui sous-tendent les évaluations ex post, et ce assez rapidement, c’est-à-dire avant l’établissement de la prochaine série de contrats relatifs aux évaluations ex post au terme de l’actuelle période de programmation 2000-2006.

| 120. | Pour améliorer le processus d’évaluation, de meilleures procédures de contrôle de la qualité doivent être mises en place et réellement appliquées par la Commission, afin que les problèmes rencontrés au cours des évaluations examinées ne se reproduisent pas lors de prochaines évaluations ex post. Ces procédures devraient garantir que:






  a) | des données pertinentes et fiables sont régulièrement collectées et qu’elles sont disponibles à chaque étape du processus d’évaluation; |
| --- | --- | --- |

120.

Pour améliorer le processus d’évaluation, de meilleures procédures de contrôle de la qualité doivent être mises en place et réellement appliquées par la Commission, afin que les problèmes rencontrés au cours des évaluations examinées ne se reproduisent pas lors de prochaines évaluations ex post. Ces procédures devraient garantir que:

a)

des données pertinentes et fiables sont régulièrement collectées et qu’elles sont disponibles à chaque étape du processus d’évaluation;

| b) | les cahiers des charges sont adaptés et prévoient l’application de méthodes appropriées par les contractants; |
| --- | --- |

b)

les cahiers des charges sont adaptés et prévoient l’application de méthodes appropriées par les contractants;

| c) | les ressources et le temps impartis pour les évaluations sont adéquats; |
| --- | --- |

c)

les ressources et le temps impartis pour les évaluations sont adéquats;

| d) | le suivi et la supervision effectués par la Commission sont appropriés et permettent ainsi d’assurer globalement la qualité du processus. |
| --- | --- |

d)

le suivi et la supervision effectués par la Commission sont appropriés et permettent ainsi d’assurer globalement la qualité du processus.

| 121. | Deuxièmement, il convient d’accorder une attention particulière au choix des techniques appropriées pour évaluer et mesurer l’impact économique. Si une approche fondée sur un modèle macroéconomique est utilisée pour analyser l’impact des actions relevant des Fonds structurels, elle doit être adaptée, de sorte que les caractéristiques des économies examinées soient prises en considération. Cette observation vaut tout particulièrement en vue de l’extension prochaine de l’évaluation aux dix nouveaux États membres. Eu égard à cela, la Cour recommande que soit réexaminée la question de savoir si une approche fondée sur un modèle macroéconomique agrégé (sur le modèle Hermin par exemple) est valable. La Commission devrait étudier la possibilité d’accorder davantage d’importance aux modèles reposant sur l’utilisation de microdonnées dérivées de projets. Il est également probable qu’une évaluation plus approfondie de certains thèmes spécifiques permettrait de déterminer plus facilement les meilleures pratiques et d’obtenir des informations supplémentaires sur des questions particulières, telles que l’impact du regroupement (clustering) ou l’importance des pôles de croissance pour le développement régional dans le contexte de l’objectif général de la convergence. |
| --- | --- |

121.

Deuxièmement, il convient d’accorder une attention particulière au choix des techniques appropriées pour évaluer et mesurer l’impact économique. Si une approche fondée sur un modèle macroéconomique est utilisée pour analyser l’impact des actions relevant des Fonds structurels, elle doit être adaptée, de sorte que les caractéristiques des économies examinées soient prises en considération. Cette observation vaut tout particulièrement en vue de l’extension prochaine de l’évaluation aux dix nouveaux États membres. Eu égard à cela, la Cour recommande que soit réexaminée la question de savoir si une approche fondée sur un modèle macroéconomique agrégé (sur le modèle Hermin par exemple) est valable. La Commission devrait étudier la possibilité d’accorder davantage d’importance aux modèles reposant sur l’utilisation de microdonnées dérivées de projets. Il est également probable qu’une évaluation plus approfondie de certains thèmes spécifiques permettrait de déterminer plus facilement les meilleures pratiques et d’obtenir des informations supplémentaires sur des questions particulières, telles que l’impact du regroupement (clustering) ou l’importance des pôles de croissance pour le développement régional dans le contexte de l’objectif général de la convergence.

| 122. | Troisièmement, il convient d’accorder une plus grande importance à l’établissement de corrélations entre les évaluations ex post et les études thématiques et d’assurer que les résultats soient cohérents entre eux. Si les résultats s’avèrent incompatibles, cet aspect doit alors être traité de manière spécifique. Dans les évaluations examinées, la qualité était nettement supérieure lorsque les évaluateurs avaient établi des corrélations. |
| --- | --- |

122.

Troisièmement, il convient d’accorder une plus grande importance à l’établissement de corrélations entre les évaluations ex post et les études thématiques et d’assurer que les résultats soient cohérents entre eux. Si les résultats s’avèrent incompatibles, cet aspect doit alors être traité de manière spécifique. Dans les évaluations examinées, la qualité était nettement supérieure lorsque les évaluateurs avaient établi des corrélations.

| 123. | Quatrièmement, plusieurs recommandations, susceptibles d’être utiles pour de futures évaluations, en particulier pour les régions relevant de l’objectif no 1, peuvent être formulées:






  a) | il importe de s’intéresser tout particulièrement aux raisons pour lesquelles les contributions du secteur privé aux projets mis en œuvre dans le cadre des Fonds structurels varient fortement d’un État membre à l’autre. Cela pourrait apporter un éclairage utile sur les différents moteurs du développement économique dans les différentes régions relevant de l’objectif no 1; |
| --- | --- | --- |

123.

Quatrièmement, plusieurs recommandations, susceptibles d’être utiles pour de futures évaluations, en particulier pour les régions relevant de l’objectif no 1, peuvent être formulées:

a)

il importe de s’intéresser tout particulièrement aux raisons pour lesquelles les contributions du secteur privé aux projets mis en œuvre dans le cadre des Fonds structurels varient fortement d’un État membre à l’autre. Cela pourrait apporter un éclairage utile sur les différents moteurs du développement économique dans les différentes régions relevant de l’objectif no 1;

| b) | un autre aspect intéressant à explorer est la question de savoir s’il serait opportun de faire évoluer le système de dépenses liées à des subventions vers des mesures d’ingénierie financière, comme les fonds d’amorçage et de capital-risque, les prêts et les prêts bonifiés, qui pourraient s’avérer plus durables et plus efficients à long terme; |
| --- | --- |

b)

un autre aspect intéressant à explorer est la question de savoir s’il serait opportun de faire évoluer le système de dépenses liées à des subventions vers des mesures d’ingénierie financière, comme les fonds d’amorçage et de capital-risque, les prêts et les prêts bonifiés, qui pourraient s’avérer plus durables et plus efficients à long terme;

| c) | une plus grande attention doit être accordée au calcul des coûts unitaires et à l’étalonnage pour les différents types de projets; |
| --- | --- |

c)

une plus grande attention doit être accordée au calcul des coûts unitaires et à l’étalonnage pour les différents types de projets;

| d) | il faut aussi porter un plus grand intérêt au processus de présentation et d’approbation du projet, comme les évaluateurs l’ont souligné; |
| --- | --- |

d)

il faut aussi porter un plus grand intérêt au processus de présentation et d’approbation du projet, comme les évaluateurs l’ont souligné;

| e) | à l’avenir, il conviendrait d’accorder davantage d’importance, lors des évaluations ex post, aux évaluations internes réalisées par les ministères ou les autorités régionales compétents. |
| --- | --- |

e)

à l’avenir, il conviendrait d’accorder davantage d’importance, lors des évaluations ex post, aux évaluations internes réalisées par les ministères ou les autorités régionales compétents.

| 124. | Enfin, il importe de renforcer la capacité de la Commission à superviser le processus d’évaluation, notamment l’application des modèles macroéconométriques complexes. Dans ce contexte, on pourrait envisager que les directions générales concernées collaborent plus étroitement avec les instituts de recherche et les universités spécialisés dans ce domaine de l’évaluation. Il est primordial de superviser de manière adéquate et en temps opportun les consultants sous contrat pour veiller à ce que les objectifs soient atteints et que ce type d’évaluations ex post soit d’un bon rapport coût/efficacité. |
| --- | --- |

124.

Enfin, il importe de renforcer la capacité de la Commission à superviser le processus d’évaluation, notamment l’application des modèles macroéconométriques complexes. Dans ce contexte, on pourrait envisager que les directions générales concernées collaborent plus étroitement avec les instituts de recherche et les universités spécialisés dans ce domaine de l’évaluation. Il est primordial de superviser de manière adéquate et en temps opportun les consultants sous contrat pour veiller à ce que les objectifs soient atteints et que ce type d’évaluations ex post soit d’un bon rapport coût/efficacité.

| 125. | En conclusion, l’évaluation ex post doit aller au-delà de la simple compilation de diverses appréciations, réalisées à des intervalles de temps donnés; elle doit être envisagée et gérée comme une partie intégrante d’un processus global. Là encore, une étroite collaboration à long terme avec des instituts de recherche ou des universités pourrait être très fructueuse en permettant d’instituer un cadre plus efficace dans lequel intégrer les rapports et les recommandations spécifiques générés à chaque stade du processus d’évaluation. |
| --- | --- |

125.

En conclusion, l’évaluation ex post doit aller au-delà de la simple compilation de diverses appréciations, réalisées à des intervalles de temps donnés; elle doit être envisagée et gérée comme une partie intégrante d’un processus global. Là encore, une étroite collaboration à long terme avec des instituts de recherche ou des universités pourrait être très fructueuse en permettant d’instituer un cadre plus efficace dans lequel intégrer les rapports et les recommandations spécifiques générés à chaque stade du processus d’évaluation.

Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 20 juillet 2006.

Par la Cour des comptes

Hubert WEBER

Président

---

(1)  SEC(2000) 1051 du 26 juillet 2000: Communication de la Commission «Mettre l’accent sur les résultats: renforcer l’évaluation des activités de la Commission».

1

(2)  Le programme MEANS a été lancé par la Commission pour répondre à la demande d’élaboration d’une méthodologie de l’évaluation. La collection MEANS est constituée de six ouvrages relatifs à l’évaluation des programmes socio-économiques.

2

(3)  Collection MEANS, no 1, p. 53.

3

o

(4)  Comprenant le Fonds européen de développement régional (FEDER), le Fonds social européen (FSE), le Fonds européen d’orientation et de garantie agricole (FEOGA) et l’Instrument financier d’orientation de la pêche (IFOP).

4

(5)  Rapport de synthèse, p. 53.

5

(6)  Désignés par le terme d’«évaluateurs nationaux» dans la suite du texte.

6

(7)  Les évaluations nationales examinées concernaient, pour l’objectif no 1, la Belgique, l’Allemagne, la Grèce, l’Espagne, l’Irlande, l’Italie et le Portugal, et pour les objectifs nos 1 et 3 dans le cadre du FSE, l’Allemagne, l’Espagne, la France, l’Italie et le Royaume-Uni.

7

o

os

(8)  Voir point 5 pour les chiffres globaux.

8

(9)  Rapport de synthèse, p. 61-64.

9

(10)  Rapport de synthèse, p. 62.

10

(11)  Désigne ici la population active en pourcentage de la population en âge de travailler.

11

(12)  Rapport de synthèse, tableaux 2.1, p. 75, 2.5 et 2.6, p. 88-89.

12

(13)  Rapport de synthèse, p. 75.

13

(14)  Aux fins du présent rapport, les données par habitant ont été calculées sur la base de l’ensemble de la population nationale.

14

(15)  En millions d’euros.

15

(16)  Le tableau 2 a été établi à partir des données figurant dans le rapport de synthèse. On peut ainsi constater que, pour les États membres mentionnés dans le tableau 1, la somme des trois colonnes du tableau 2 ne correspond pas au chiffre indiqué dans la colonne «Total».

16

(17)  Pour réaliser une évaluation de cette nature, il convient de déterminer et d’analyser, dans un cadre global, les liens causals entre les besoins, les objectifs stratégiques, les objectifs des programmes/sous-programmes/mesures et l’affectation des ressources. En principe, elle nécessite également l’établissement d’un classement des besoins et des situations socio-économiques insatisfaisantes auxquels le cadre communautaire d’appui vise à répondre, ainsi qu’une hiérarchie de facteurs inhérents à prendre en considération pour s’assurer que les ressources sont ciblées de manière optimale par rapport aux besoins à satisfaire.

17

(18)  Chapitre 3.

18

(19)  Une évaluation thématique consiste en une analyse transversale d’un thème particulier dans le contexte de plusieurs interventions relevant d’un ou de plusieurs programmes mis en œuvre dans différents États membres ou régions.

19

(20)  Évaluation thématique de l’impact des Fonds structurels sur les infrastructures de transport — Rapport final, novembre 2000, p. 8.

20

(21)  Par exemple, dans le cas de l’Irlande, ce résultat signifie que, pour 100 euros investis dans la construction et l’entretien d’une route, la valeur du gain de temps, des économies sur le coût de l’utilisation du véhicule et des avantages en termes de sécurité était de 13 euros par an. En conséquence, l’investissement se rembourse effectivement lui-même en huit ans («Évaluation thématique de l’impact des Fonds structurels sur les infrastructures de transport», p. 8).

21

(22)  Voir partie consacrée à l’impact.

22

(23)  Rapport de synthèse, p. 105.

23

(24)  Le commentaire relatif à ce point est le suivant: «Si cette recommandation semble logique, il importe de tenir compte du contexte dans lequel elle s’applique» (Rapport de synthèse, p. 105).

24

(25)  Rapport de synthèse, p. 108.

25

(26)  Rapport de synthèse, p. 130.

26

(27)  Pour citer une nouvelle fois le rapport de synthèse: «On prétend que le mécanisme le plus efficace pour créer et préserver des emplois est le soutien direct aux investissements productifs. Toutefois, dans la mesure où il ne tient pas compte des effets d’aubaine et de remplacement, son efficacité globale ne peut être appréciée» (rapport de synthèse, p. 130).

27

(28)  L’incidence de la faiblesse des données et quelques commentaires d’ordre général seront examinés dans la suite du présent rapport.

28

(29)  Cahier des charges, p. 90.

29

(30)  Rapport de synthèse, p. 111.

30

(31)  Cahier des charges, p. 11.

31

(32)  Montant supérieur à 25 millions d’euros pour les travaux d’infrastructure et à 15 millions d’euros pour les projets d’investissements productifs.

32

(33)  Cahier des charges, p. 13.

33

(34)  Rapport de synthèse, p. 143.

34

(35)  Rapport de synthèse, tableaux 4.6, 4.7 et 4.8.

35

(36)  Comme cela a été indiqué précédemment.

36

(37)  Rapport de synthèse, p. 71.

37

(38)  Rapport de synthèse, p. 72.

38

(39)  «La prise en compte du cofinancement par le secteur privé est d’un intérêt discutable dans le cadre d’une évaluation de l’impact basée sur un modèle macroéconomique. En outre, dans la mesure où un niveau élevé d’incertitude et d’ambiguïté entoure les mécanismes d’entraînement des dépenses de cofinancement par le secteur privé dans le contexte du cadre communautaire d’appui, nous excluons celles-ci de notre analyse.» Rapport de synthèse, p. 71.

39

(40)  Dans ce cas particulier (projet Speke Garston au Royaume-Uni), des investissements complémentaires du secteur privé pour un montant de 223 millions de livres sterling ont été attirés et ont permis la création de 4 600 emplois directs (rapport de synthèse, p. 204).

40

(41)  Les quatre États membres dont l’ensemble du territoire est composé de régions éligibles à l’aide au titre de l’objectif no 1.

41

o

(42)  L’élaboration du modèle Hermin pour l’Italie, qui était prévue par le cahier des charges, n’a pas eu lieu en raison de «difficultés contractuelles». S’agissant des autres régions, pour lesquelles un modèle Hermin n’était pas disponible, une estimation «ascendante» a été effectuée.

42

(43)  Le rapport dit ceci: «Idéalement, il convient de se fonder sur les dépenses effectivement encourues au titre du cadre communautaire d’appui. Celles-ci n’étaient pas disponibles pour chaque État membre ou région, sous une forme désagrégée par priorité et par an. Par souci d’uniformité, nous avons donc utilisé les données relatives aux dépenses programmées figurant dans les documents de programmation relatifs au cadre communautaire d’appui 1994-1999. Bien que ces documents fournissent un montant total des dépenses assez précis, ils ne donnent pas toujours une image exacte de l’échelonnement des dépenses réelles» (rapport de synthèse, p. 150).

43

(44)  Rapport de synthèse, p. 161.

44

(45)  En fait, selon certaines études, le financement communautaire dissuade les investissements nationaux, de sorte que le rythme de croissance de l’économie sans les crédits du cadre communautaire d’appui serait plus favorable que celui calculé à partir des simulations de Hermin.

45

(46)  Cette analyse de sensibilité a été réalisée pour la partie orientale de l’Allemagne, la Grèce, l’Espagne, l’Irlande et le Portugal.

46

(47)  Rapport de synthèse, p. 183-184.

47

(48)  Elles démontrent l’influence positive des Fonds structurels sur: le développement de la programmation pluriannuelle; l’application du concept de programme et de la gestion par objectifs; l’établissement de structures et de procédures de gestion et, en particulier, de systèmes de suivi et d’indicateurs, de systèmes d’assurance de la qualité en matière de travaux publics et de procédures de passation des marchés pour les aides publiques; le développement des systèmes, des capacités et de la culture d’évaluation; les procédures de sélection et les systèmes de contrôle des projets. Les Fonds structurels stimulent la mise en place de structures et de capacités mieux adaptées au traitement des projets de développement.

48

(49)  Rapport de synthèse, section 9.1.

49

(50)  Rapport de synthèse, p. 196.

50

(51)  Avis no 2/2005 sur la proposition de règlement du Conseil portant dispositions générales sur le Fonds européen de développement régional, le Fonds social européen et le Fonds de cohésion [COM(2004) 492 final du 14.7.2004] (JO C 121 du 20.5.2005, p. 18); rapport spécial no 7/2003 relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels, point 90 (JO C 174 du 23.7.2003, p. 22).

51

o

o

(52)  Ces avantages sont notamment: une plus grande efficacité dans l’élaboration et le suivi des programmes; une sélection des projets plus efficace; une légitimité et une transparence accrues des décisions et des processus de prise de décision; un plus grand engagement et une plus grande adhésion à l’égard des réalisations des programmes, etc. Voir «Évaluation thématique du principe de partenariat», p. II.

52

(53)  Rapport de synthèse, p. 188.

53

(54)  Rapport de synthèse, p. 218.

54

(55)  Rapport annuel relatif à l’exercice 2003, points 5.22, 5.32 lettre d), 5.33 et 5.34 (JO C 293 du 30.11.2004, p. 162); rapport annuel relatif à l’exercice 2004, point 5.30 (JO C 301 du 30.11.2005, p. 143).

55

(56)  Rapport de synthèse, p. 224.

56

(57)  Rapport de synthèse, p. 219.

57

(58)  Rapport de synthèse, p. 221.

58

(59)  Relatives à des évaluations «in itinere» dans ce contexte.

59

(60)  Rapport de synthèse, p. 222.

60

(61)  Par exemple «des éléments probants attestent clairement que les accords de partenariat se sont renforcés et étendus et que le processus de prise de décision fait l’objet d’une délégation de responsabilité accrue en faveur des partenaires du programme» (rapport de synthèse, p. 246).

61

(62)  Cahier des charges, p. 16.

62

(63)  Guide méthodologique, p. 16-17.

63

(64)  Pour estimer les effets «nets», on soustrait des effets bruts tous les effets d’aubaine et de déplacement/substitution.

64

(65)  En particulier, le rapport entre les résultats des analyses d’impact et ceux des analyses de l’efficacité et de l’adéquation de la stratégie.

65

(66)  Rapport de démarrage, p. 7.

66

(67)  Cahier des charges, p. 102-109.

67

(68)  Rapport de démarrage, p. 13. Le guide méthodologique mentionne également quelques questions clés: «Quel a été l’impact global des Fonds structurels en matière de soutien à la convergence régionale durant la période 1994-1999? Quels ont été les effets économiques des investissements au titre des Fonds structurels en termes de convergence et de niveaux de revenu?» (p. 24).

68

(69)  Cahier des charges, p. 94-95.

69

(70)  Par exemple, les auteurs du rapport ont plaidé en faveur de l’idée d’«accorder aux États membres qui disposent de systèmes de suivi efficaces à leur niveau, une latitude beaucoup plus grande pour appliquer leurs propres règles de suivi dans le cadre des initiatives soutenues par l’UE. Cela permettrait de réduire les coûts induits et, probablement, de produire des données plus intéressantes» (rapport de synthèse, p. 249).

70

(71)  Rapport de synthèse, p. 249.

71

(72)  Rapport de synthèse, p. 251.

72

(73)  Par exemple, l’amélioration de la «flexibilité» de la main-d’œuvre par une formation.

73

(74)  Rapport de synthèse, p. 124.

74

(75)  Rapport de synthèse, p. 125-126.

75

(76)  Par exemple, on peut lire dans ces notes que les chiffres pour la France, où le nombre de bénéficiaires est de 17 millions, ont fait l’objet d’une «double vérification» concernant «le double comptage», les chiffres pour les Pays-Bas (8,7 millions) faisant également l’objet «d’une double vérification avec les équipes nationales». En outre, il est précisé que les données concernant l’Allemagne, l’Irlande et le Royaume-Uni sont très lacunaires, alors qu’un nombre de 7,9 millions de bénéficiaires est attribué au Royaume-Uni et de 680 000 à l’Irlande.

76

(77)  Le tableau 3 reproduit en partie le tableau 4.8 du rapport de synthèse.

77

tableau 3

(78)  On se réfère ici essentiellement à l’égalité entre hommes et femmes.

78

(79)  Rapport de synthèse, p. 173.

79

(80)  Les mesures combinées peuvent consister en des actions d’orientation et de formation intensives, en des expériences professionnelles et des actions de formation ou encore en des incitations à l’embauche et des actions de formation.

80

(81)  Rapport de synthèse, p. 122.

81

(82)  Voir point 3.2.8.

82

(83)  Rapport de synthèse, p. 86.

83

(84)  Rapport de synthèse, p. 144.

84

(85)  Par exemple l’acquisition de qualifications et les effets difficilement quantifiables présentés dans le rapport d’évaluation du Royaume-Uni (correspondant à la «distance parcourue vers le marché de l’emploi»).

85

(86)  Certains évaluateurs ont également fait cette remarque (Espagne et Italie).

86

(87)  Par exemple pour des cas en Espagne.

87

(88)  Un tel exemple a été relevé dans le cas de l’Allemagne.

88

(89)  La SEE favorise en particulier l’établissement de liens plus solides entre les mécanismes de financement des programmes de l’UE et d’autres instruments politiques, règlements et programmes nationaux, y compris les politiques passives relatives au marché de l’emploi.

89

(90)  Par exemple dans le cas de l’Allemagne: le soutien des objectifs axés sur les couches défavorisées de la population, sur le développement durable, sur l’égalité des chances et sur les effets de levier financiers pour les nouveaux Länder. De même, de nombreux autres aspects ont été mis en évidence dans d’autres rapports nationaux.

90

Länder

(91)  Rapport national, p. 95.

91

(92)  Rapport sur les méthodes, p. 24-40.

92

(93)  Rapport sur les méthodes, p. 44-49.

93

(94)  Voir les évaluations relatives à la France, à l’Espagne et à l’Italie.

94

(95)  En voici quelques exemples: la nécessité de renforcer le lien entre les objectifs planifiés et le contexte socio-économique (Italie), un meilleur ciblage des bénéficiaires (France); l’extension des approches d’intervention intégrées (Royaume-Uni); l’extension de l’étendue des programmes à des actions plus innovatrices et risquées (Espagne); le renforcement des actions d’anticipation dans le domaine de la formation (Espagne); une meilleure prise en considération des régions défavorisées par une augmentation du poids donné à des variables comme le chômage, le chômage de longue durée et l’exclusion sociale (Espagne).

95

(96)  Rapport de synthèse, p. 188-189 pour les objectifs nos 1 et 3.

96

os

(97)  Rapport de synthèse, p. 198-204.

97

---

ANNEXE I

Ventilation de l'aide allouée dans le cadre des Fonds structurels — Ressources disponibles au titre du CCA pour la période 1994-1999

| (en millions d'euros) |
| --- |
| | Belgique | Danemark | Allemagne | Grèce | Espagne | France | Irlande | Italie | Luxembourg | Pays-Bas | Portugal | Royaume-Uni | Autriche | Finlande | Suède | Total |
| Objectif no 1 | 748,50 | | 13 985,30 | 14 333,90 | 26 965,80 | 2 245,40 | 5 762,30 | 15 236,20 | | 153,80 | 14 333,90 | 2 419,70 | 171,50 | | | 96 356,30 |
| Objectif no 2 | 349,40 | 123,00 | 1 604,80 | | 2 474,80 | 3 866,40 | | 1 498,20 | 15,40 | 666,20 | | 4 693,40 | 104,40 | 165,40 | 189,30 | 15 750,70 |
| Objectifs nos 3/4 | 476,50 | 308,40 | 1 990,00 | | 1 888,60 | 3 282,20 | | 1 757,40 | 23,60 | 1 105,70 | | 3 460,50 | 408,30 | 354,10 | 537,60 | 15 592,90 |
| Objectif no 5a Pêche | 25,10 | 143,20 | 76,30 | | 122,20 | 194,40 | | 137,60 | 1,10 | 47,70 | | 90,80 | 2,10 | 23,80 | 41,40 | 905,70 |
| Objectif no 5b | 78,90 | 55,30 | 1 257,30 | | 680,40 | 2 293,30 | | 923,30 | 6,10 | 153,70 | | 837,20 | 424,90 | 201,00 | 142,70 | 7 054,10 |
| Objectif no 6 | | | | | | | | | | | | | | 475,90 | 260,70 | 736,60 |
| Total | 1 678,40 | 629,90 | 18 913,70 | 14 333,90 | 32 131,80 | 11 881,70 | 5 762,30 | 19 552,70 | 46,20 | 2 127,10 | 14 333,90 | 11 501,60 | 1 111,20 | 1 220,20 | 1 171,70 | 136 396,30 |
| Source: Rapport spécial no 16/98 (JO C 347 du 16.11.1998). |

(en millions d'euros)

Belgique

Danemark

Allemagne

Grèce

Espagne

France

Irlande

Italie

Luxembourg

Pays-Bas

Portugal

Royaume-Uni

Autriche

Finlande

Suède

Total

Objectif no 1

748,50

13 985,30

14 333,90

26 965,80

2 245,40

5 762,30

15 236,20

153,80

14 333,90

2 419,70

171,50

96 356,30

Objectif no 2

349,40

123,00

1 604,80

2 474,80

3 866,40

1 498,20

15,40

666,20

4 693,40

104,40

165,40

189,30

15 750,70

Objectifs nos 3/4

476,50

308,40

1 990,00

1 888,60

3 282,20

1 757,40

23,60

1 105,70

3 460,50

408,30

354,10

537,60

15 592,90

Objectif no 5a Pêche

25,10

143,20

76,30

122,20

194,40

137,60

1,10

47,70

90,80

2,10

23,80

41,40

905,70

Objectif no 5b

78,90

55,30

1 257,30

680,40

2 293,30

923,30

6,10

153,70

837,20

424,90

201,00

142,70

7 054,10

Objectif no 6

475,90

260,70

736,60

Total

1 678,40

629,90

18 913,70

14 333,90

32 131,80

11 881,70

5 762,30

19 552,70

46,20

2 127,10

14 333,90

11 501,60

1 111,20

1 220,20

1 171,70

136 396,30

Source: Rapport spécial no 16/98 (JO C 347 du 16.11.1998).

Ventilation de l'aide allouée dans le cadre des Fonds structurels — Ressources disponibles au titre des initiatives communautaires pour la période 1994-1999 (1)

| (en millions d'euros) |
| --- |
| Interreg II | 3 562,3 |
| Leader II | 1 777,2 |
| ADAPT | 1 646,4 |
| PME | 1 092,5 |
| URBAN | 894,5 |
| PESCA | 301,5 |
| Rechar II | 465,0 |
| Resider II | 610,9 |
| REFEX | 609,2 |
| EMPLOI | 1 858,5 |
| Konver | 734,9 |
| REGIS II | 615,0 |
| PEACE | 303,1 |
| Total | 14 471,0 |
| Source: Rapport spécial no 16/98 (JO C 347 du 16.11.1998). |

(en millions d'euros)

Interreg II

3 562,3

Leader II

1 777,2

ADAPT

1 646,4

PME

1 092,5

URBAN

894,5

PESCA

301,5

Rechar II

465,0

Resider II

610,9

REFEX

609,2

EMPLOI

1 858,5

Konver

734,9

REGIS II

615,0

PEACE

303,1

Total

14 471,0

Source: Rapport spécial no 16/98 (JO C 347 du 16.11.1998).

---

(1)  Noms des programmes relevant des Fonds structurels; de plus amples informations sont disponibles à la sous-section B2 du budget de la Commission.

Source: Rapport spécial no 16/98 (JO C 347 du 16.11.1998).

---

ANNEXE II

PIB et taux d’emploi

| 1. | Une analyse de régression multiple a été effectuée pour vérifier si, comme cela est dit dans le rapport de synthèse, l’augmentation du PIB par habitant n’a généralement pas résulté d’une augmentation des taux d’emploi à la suite de la création d’emplois (1). |
| --- | --- |

1.

Une analyse de régression multiple a été effectuée pour vérifier si, comme cela est dit dans le rapport de synthèse, l’augmentation du PIB par habitant n’a généralement pas résulté d’une augmentation des taux d’emploi à la suite de la création d’emplois (1).

| 2. | Afin que la comparaison soit rigoureuse, les données utilisées pour la présente analyse sont les mêmes que celles publiées dans le rapport de synthèse. S’agissant de la variable dépendante, l’élément utilisé a été le taux de variation du PIB par habitant dans chaque région relevant de l’objectif no 1 entre 1993 et 2000; les principales variables explicatives ont consisté dans les variations des taux d’emploi et des taux de chômage dans ces mêmes régions, au cours des années 1993 et 1999, comme dans le rapport. Les résultats sont présentés dans le tableau 1. |
| --- | --- |

2.

Afin que la comparaison soit rigoureuse, les données utilisées pour la présente analyse sont les mêmes que celles publiées dans le rapport de synthèse. S’agissant de la variable dépendante, l’élément utilisé a été le taux de variation du PIB par habitant dans chaque région relevant de l’objectif no 1 entre 1993 et 2000; les principales variables explicatives ont consisté dans les variations des taux d’emploi et des taux de chômage dans ces mêmes régions, au cours des années 1993 et 1999, comme dans le rapport. Les résultats sont présentés dans le tableau 1.

Tableau 1 (2)

Régression des variations du PIB par habitant par rapport aux variations des taux d’emploi («change in employment», CEMPL) et aux variations des taux de chômage («change in unemployment», CUNEMP)

| Régresseur | Coefficient | Erreur type | Test T | [Prob] |
| --- | --- | --- | --- | --- |
| C1 | 1,7615 | 1,2361 | 1,4251 | [0,161] |
| CEMPL | 0,24563 | 0,14237 | 1,7252 | [0,092] |
| CUNEMP | 0,051927 | 0,027418 | 1,8939 | [0,065] |
| BE | –16,8803 | 6,2156 | –2,7158 | [0,009] |
| IR | 38,2350 | 6,5314 | 5,8540 | [000] |
| DX | 26,9660 | 2,9504 | 9,1398 | [000] |

Régresseur

Coefficient

Erreur type

Test T

[Prob]

C1

1,7615

1,2361

1,4251

[0,161]

CEMPL

0,24563

0,14237

1,7252

[0,092]

CUNEMP

0,051927

0,027418

1,8939

[0,065]

BE

–16,8803

6,2156

–2,7158

[0,009]

IR

38,2350

6,5314

5,8540

[000]

DX

26,9660

2,9504

9,1398

[000]

| R au carré | 0,74449 | R au carré ajusté | | 0,71546 |
| --- | --- | --- | --- | --- |
| Erreur type de régression | 6,1411 | Stat. F (5,44) | 25,6414 | [000] |
| Moyenne de la variable dépendante | 6,3647 | Écart type de la variable dépendante | | 11,5126 |
| Somme des carrés résiduelle | 1 659,4 | Équation de log-vraisemblance | | – 158,5015 |
| Critère d’information Akaike | – 164,5015 | Critère bayésien de Schwarz | | – 170,2376 |
| Statistiques de l’effet d’aubaine | 2,3210 | | | |

R au carré

0,74449

R au carré ajusté

0,71546

Erreur type de régression

6,1411

Stat. F (5,44)

25,6414

[000]

Moyenne de la variable dépendante

6,3647

Écart type de la variable dépendante

11,5126

Somme des carrés résiduelle

1 659,4

Équation de log-vraisemblance

– 158,5015

Critère d’information Akaike

– 164,5015

Critère bayésien de Schwarz

– 170,2376

Statistiques de l’effet d’aubaine

2,3210

| 3. | Une évaluation préliminaire des données a montré qu’au cours de la période examinée trois régions particulières présentaient des taux de variation du PIB par habitant très différents des autres régions. Ces régions ont donc dû être traitées de manière spécifique dans le cadre de la régression, faute de quoi il aurait été difficile de tirer des conclusions générales concernant les liens sous-jacents. Il s’est agi en l’occurrence de l’Irlande, dont le PIB par habitant est passé de 81 % à 115 % de la moyenne communautaire au cours de la période examinée, de la province du Hainaut en Belgique, dont le PIB par habitant a régressé de 82 % à 71 %, et, enfin, des régions objectif no 1 en Allemagne, dont le PIB par habitant est passé d’environ 50 % à près de 70 % de la moyenne communautaire à la fin de la période examinée (par exemple le PIB par habitant du Land Thuringe est passé de 52 % en 1993, à 70 % en 2000). Afin de tenir compte de ces variations importantes, en valeur relative, du PIB par habitant, des variables statistiques spécifiques (ou indicatrices) ont été utilisées, ce qui a permis de modifier la fonction pour ces trois régions très étendues. |
| --- | --- |

3.

Une évaluation préliminaire des données a montré qu’au cours de la période examinée trois régions particulières présentaient des taux de variation du PIB par habitant très différents des autres régions. Ces régions ont donc dû être traitées de manière spécifique dans le cadre de la régression, faute de quoi il aurait été difficile de tirer des conclusions générales concernant les liens sous-jacents. Il s’est agi en l’occurrence de l’Irlande, dont le PIB par habitant est passé de 81 % à 115 % de la moyenne communautaire au cours de la période examinée, de la province du Hainaut en Belgique, dont le PIB par habitant a régressé de 82 % à 71 %, et, enfin, des régions objectif no 1 en Allemagne, dont le PIB par habitant est passé d’environ 50 % à près de 70 % de la moyenne communautaire à la fin de la période examinée (par exemple le PIB par habitant du Land Thuringe est passé de 52 % en 1993, à 70 % en 2000). Afin de tenir compte de ces variations importantes, en valeur relative, du PIB par habitant, des variables statistiques spécifiques (ou indicatrices) ont été utilisées, ce qui a permis de modifier la fonction pour ces trois régions très étendues.

| 4. | Les résultats de la régression figurant dans le tableau 1 comportent plusieurs points dignes d’attention. Globalement, 74 % des écarts entre le taux de variation du PIB par habitant sont imputables aux variables «explicatives». Les deux principales, à savoir les variations des taux d’emploi (CEMPL) et les variations des taux de chômage (CUNEMP), sont statistiquement significatives. S’agissant des CEMPL, le coefficient est estimé à 0,24, ce qui signifie que chaque augmentation d’un point du taux d’emploi ou de la population active correspond à une amélioration d’un quart de point du PIB par habitant des régions relevant de l’objectif no 1 — et que de ce fait, si rien d’autre ne change, ce montant vient combler l’écart du PIB. |
| --- | --- |

4.

Les résultats de la régression figurant dans le tableau 1 comportent plusieurs points dignes d’attention. Globalement, 74 % des écarts entre le taux de variation du PIB par habitant sont imputables aux variables «explicatives». Les deux principales, à savoir les variations des taux d’emploi (CEMPL) et les variations des taux de chômage (CUNEMP), sont statistiquement significatives. S’agissant des CEMPL, le coefficient est estimé à 0,24, ce qui signifie que chaque augmentation d’un point du taux d’emploi ou de la population active correspond à une amélioration d’un quart de point du PIB par habitant des régions relevant de l’objectif no 1 — et que de ce fait, si rien d’autre ne change, ce montant vient combler l’écart du PIB.

| 5. | Ces résultats sont diamétralement opposés à la conclusion du rapport de synthèse. À partir d’une analyse des résultats des régions relevant de l’objectif no 1 au cours de la période en question, ils fournissent un indicateur utile du potentiel de résorption des écarts de PIB, par une amélioration des taux de population active. Ils sont donc des plus pertinents sur le plan politique. |
| --- | --- |

5.

Ces résultats sont diamétralement opposés à la conclusion du rapport de synthèse. À partir d’une analyse des résultats des régions relevant de l’objectif no 1 au cours de la période en question, ils fournissent un indicateur utile du potentiel de résorption des écarts de PIB, par une amélioration des taux de population active. Ils sont donc des plus pertinents sur le plan politique.

| 6. | L’incidence des variations du taux de chômage sur celles du PIB par habitant constitue un autre élément notable des résultats présentés dans le tableau 1. Bien que limitée, voire quantitativement négligeable, cette incidence (qui sera aussi examinée au point suivant) est également significative d’un point de vue statistique. En général, le chômage a légèrement diminué dans les régions relevant de l’objectif no 1, ce qui pourrait expliquer ces résultats. |
| --- | --- |

6.

L’incidence des variations du taux de chômage sur celles du PIB par habitant constitue un autre élément notable des résultats présentés dans le tableau 1. Bien que limitée, voire quantitativement négligeable, cette incidence (qui sera aussi examinée au point suivant) est également significative d’un point de vue statistique. En général, le chômage a légèrement diminué dans les régions relevant de l’objectif no 1, ce qui pourrait expliquer ces résultats.

| 7. | Afin d’explorer plus avant la fiabilité des principaux résultats du tableau 1 concernant l’incidence des variations des taux d’emploi et de celles du PIB par habitant, le tableau 2 présente les résultats de la régression pour l’ensemble des régions de l’EU-15 à propos desquelles Eurostat a toujours disposé de données, et non uniquement pour les régions relevant de l’objectif no 1. Les résultats concernant les 145 régions examinées ont été obtenus sur la base de données légèrement différentes de celles utilisées pour le tableau 1. Au lieu de déterminer exclusivement le taux de variation entre le début et la fin de la période de référence, il a été procédé au calcul du taux moyen de variation pour l’ensemble de la période. Cette approche a été jugée de nature à permettre une synthèse plus représentative de l’évolution de la situation sur plusieurs années, en l’occurrence pendant les cinq années entre 1996 et 2000 (les statistiques disponibles étant limitées pour un certain nombre de régions, il n’a pas été possible de faire commencer la période de référence plus tôt). |
| --- | --- |

7.

Afin d’explorer plus avant la fiabilité des principaux résultats du tableau 1 concernant l’incidence des variations des taux d’emploi et de celles du PIB par habitant, le tableau 2 présente les résultats de la régression pour l’ensemble des régions de l’EU-15 à propos desquelles Eurostat a toujours disposé de données, et non uniquement pour les régions relevant de l’objectif no 1. Les résultats concernant les 145 régions examinées ont été obtenus sur la base de données légèrement différentes de celles utilisées pour le tableau 1. Au lieu de déterminer exclusivement le taux de variation entre le début et la fin de la période de référence, il a été procédé au calcul du taux moyen de variation pour l’ensemble de la période. Cette approche a été jugée de nature à permettre une synthèse plus représentative de l’évolution de la situation sur plusieurs années, en l’occurrence pendant les cinq années entre 1996 et 2000 (les statistiques disponibles étant limitées pour un certain nombre de régions, il n’a pas été possible de faire commencer la période de référence plus tôt).

Tableau 2 (3)

Régression des variations moyennes du PIB par habitant par rapport aux variations moyennes des taux d’emploi («average change in employment», ACEMPL) et aux variations moyennes des taux de chômage («average change in unemployment», ACUNEMP)

| Régresseur | Coefficient | Erreur type | Test T | [Prob] |
| --- | --- | --- | --- | --- |
| C | 5,2110 | 0,12999 | 40,086 | [000] |
| ACEMPL | 0,24119 | 0,63540 | 3,7959 | [000] |
| ACUNEMP | –0,0019479 | 0,012260 | –0,1588 | [0,874] |
| ID | 4,7009 | 0,85873 | 5,4743 | [000] |
| LD | 5,4309 | 0,84670 | 6,4142 | [000] |
| BED | –0,64276 | 0,25885 | –2,4831 | [0,014] |
| DED | –1,3747 | 0,17517 | –7,8479 | [000] |

Régresseur

Coefficient

Erreur type

Test T

[Prob]

C

5,2110

0,12999

40,086

[000]

ACEMPL

0,24119

0,63540

3,7959

[000]

ACUNEMP

–0,0019479

0,012260

–0,1588

[0,874]

ID

4,7009

0,85873

5,4743

[000]

LD

5,4309

0,84670

6,4142

[000]

BED

–0,64276

0,25885

–2,4831

[0,014]

DED

–1,3747

0,17517

–7,8479

[000]

| R au carré | 0,62600 | R au carré ajusté | 0,60974 |
| --- | --- | --- | --- |
| Erreur type de régression | 0,84193 | Stat. F (6,138) | 38,4979
  [000] |
| Moyenne de la variable dépendante | 5,2359 | Écart type de la variable dépendante | 1,3477 |
| Somme des carrés résiduelle | 97,8204 | Équation de log-vraisemblance | – 177,2101 |
| Critère d’information Akaike | – 184,2101 | Critère bayésien de Schwarz | – 194,6286 |
| Statistiques de l’effet d’aubaine | 1,6353 | | |

R au carré

0,62600

R au carré ajusté

0,60974

Erreur type de régression

0,84193

Stat. F (6,138)

38,4979

[000]

Moyenne de la variable dépendante

5,2359

Écart type de la variable dépendante

1,3477

Somme des carrés résiduelle

97,8204

Équation de log-vraisemblance

– 177,2101

Critère d’information Akaike

– 184,2101

Critère bayésien de Schwarz

– 194,6286

Statistiques de l’effet d’aubaine

1,6353

| 8. | Les résultats montrent que le coefficient de la variation moyenne des taux d’emploi est pratiquement le même que dans le cas précédent. Il s’établit en effet à 0,24, ce qui indique que, pour l’ensemble des régions, une augmentation de 1 % des taux d’emploi correspond à une hausse de 0,24 % du PIB par habitant. Ces résultats sont, eux aussi, statistiquement significatifs, à l’instar de toute l’équation de régression (une variable indicatrice a été ajoutée pour le Luxembourg, de nouveau parce que la hausse du PIB par habitant de 161 % en 1996 à 199 % en 2000 est sensiblement différente de la moyenne des autres régions). |
| --- | --- |

8.

Les résultats montrent que le coefficient de la variation moyenne des taux d’emploi est pratiquement le même que dans le cas précédent. Il s’établit en effet à 0,24, ce qui indique que, pour l’ensemble des régions, une augmentation de 1 % des taux d’emploi correspond à une hausse de 0,24 % du PIB par habitant. Ces résultats sont, eux aussi, statistiquement significatifs, à l’instar de toute l’équation de régression (une variable indicatrice a été ajoutée pour le Luxembourg, de nouveau parce que la hausse du PIB par habitant de 161 % en 1996 à 199 % en 2000 est sensiblement différente de la moyenne des autres régions).

| 9. | L’incidence des variations du taux de chômage est une nouvelle fois faible et, en l’occurrence, statistiquement insignifiante et négative. Ces résultats impliquent que l’incidence des variations du taux de chômage sur celles du PIB par habitant est peu importante — peut-être parce que les sans-emploi sont déjà pris en compte dans la population active et dans la mesure du PIB utilisée, et que l’incidence de toute variation résultant du passage d’un sans-emploi dans la catégorie des salariés est moins facile à apprécier dans des analyses statistiques de ce type. Il convient certainement de mener de plus amples recherches dans ce domaine. |
| --- | --- |

9.

L’incidence des variations du taux de chômage est une nouvelle fois faible et, en l’occurrence, statistiquement insignifiante et négative. Ces résultats impliquent que l’incidence des variations du taux de chômage sur celles du PIB par habitant est peu importante — peut-être parce que les sans-emploi sont déjà pris en compte dans la population active et dans la mesure du PIB utilisée, et que l’incidence de toute variation résultant du passage d’un sans-emploi dans la catégorie des salariés est moins facile à apprécier dans des analyses statistiques de ce type. Il convient certainement de mener de plus amples recherches dans ce domaine.

---

(1)  Rapport de synthèse, p. 62.

(2)  50 observations utilisées à des fins d’estimation. BE, IR et DX sont des variables indicatrices pour la Belgique, l’Irlande et l’Allemagne. C1 représente l’ordonnée à l’origine.

(3)  Utilisation de 145 observations à des fins d’estimation. ID, LD, BED, DED sont des variables indicatrices pour l’Irlande, le Luxembourg, la Belgique et l’Allemagne. C représente l’ordonnée à l’origine.

---

ANNEXE III

Croissance du PIB et Fonds structurels

| 1. | Une analyse de régression multiple a été effectuée pour déterminer quel était le lien entre la variation annuelle moyenne du PIB par habitant dans les régions relevant de l’objectif no 1 (la variable dépendante) et les dépenses réelles par habitant financées sur des fonds communautaires dans ces mêmes régions dans chaque État membre. Les données et la période (1993-1999) utilisées sont les mêmes que celles du rapport de synthèse. |
| --- | --- |

1.

Une analyse de régression multiple a été effectuée pour déterminer quel était le lien entre la variation annuelle moyenne du PIB par habitant dans les régions relevant de l’objectif no 1 (la variable dépendante) et les dépenses réelles par habitant financées sur des fonds communautaires dans ces mêmes régions dans chaque État membre. Les données et la période (1993-1999) utilisées sont les mêmes que celles du rapport de synthèse.

| 2. | Il convient de souligner que la modélisation des taux de variation est un exercice statistique difficile, qui ne permet souvent d’expliquer que dans une faible mesure les variations concernant la variable dépendante. Les résultats présentés dans le tableau 1 montrent cependant que 53 % de la variation de la variable dépendante s’expliquent par des différences dans la répartition des fonds communautaires par habitant. Ces résultats sont statistiquement significatifs et semblent indiquer que les régions où les dépenses effectives par habitant au titre des Fonds structurels ont été plus élevées ont également bénéficié d’une croissance moyenne du PIB par habitant plus élevée au cours de la période examinée. |
| --- | --- |

2.

Il convient de souligner que la modélisation des taux de variation est un exercice statistique difficile, qui ne permet souvent d’expliquer que dans une faible mesure les variations concernant la variable dépendante. Les résultats présentés dans le tableau 1 montrent cependant que 53 % de la variation de la variable dépendante s’expliquent par des différences dans la répartition des fonds communautaires par habitant. Ces résultats sont statistiquement significatifs et semblent indiquer que les régions où les dépenses effectives par habitant au titre des Fonds structurels ont été plus élevées ont également bénéficié d’une croissance moyenne du PIB par habitant plus élevée au cours de la période examinée.

| 3. | L’échantillon est de petite taille, ce qui rend l’évaluation statistique difficile; cependant, chacune des onze observations synthétise les informations collectées dans un grand nombre de régions et constitue donc une base informative plus large que ce qu’elle semble indiquer de prime abord. Ces résultats contredisent ceux contenus dans le rapport; il apparaît donc légitime d’effectuer des recherches plus approfondies dans ce domaine. Le graphique 1 ci-après montre la courbe des valeurs effectives et celle des valeurs extrapolées sur la base de la régression en cause. |
| --- | --- |

3.

L’échantillon est de petite taille, ce qui rend l’évaluation statistique difficile; cependant, chacune des onze observations synthétise les informations collectées dans un grand nombre de régions et constitue donc une base informative plus large que ce qu’elle semble indiquer de prime abord. Ces résultats contredisent ceux contenus dans le rapport; il apparaît donc légitime d’effectuer des recherches plus approfondies dans ce domaine. Le graphique 1 ci-après montre la courbe des valeurs effectives et celle des valeurs extrapolées sur la base de la régression en cause.

Tableau 1

Régression des variations moyennes du PIB par habitant par rapport aux variations moyennes des crédits alloués par habitant au titre des Fonds structurels («EU structural funds per capita», EUSFPC)

| Régresseur | Coefficient | Erreur type | Test T | [Prob] |
| --- | --- | --- | --- | --- |
| C | –2,0780 | 0,90194 | –2,3040 | [0,047] |
| EUSFPC | 2,8192 | 0,88559 | 3,1834 | [0,011] |

Régresseur

Coefficient

Erreur type

Test T

[Prob]

C

–2,0780

0,90194

–2,3040

[0,047]

EUSFPC

2,8192

0,88559

3,1834

[0,011]

| R au carré | 0,52963 | R au carré ajusté | | 0,47737 |
| --- | --- | --- | --- | --- |
| Erreur type de la régression | 1,2355 | Stat. F (1,9) | 10,1340 | [0,011] |
| Moyenne de la variable dépendante | 0,53688 | Écart type de la variable dépendante | | 1,7089 |
| Somme des carrés résiduelle | 13,7371 | Équation de log-vraisemblance | | –16,8304 |
| Critère d’information Akaike | –18,8304 | Critère bayésien de Schwarz | | –19,2283 |
| Statistiques de l’effet d’aubaine | 1,8219 | | | |

R au carré

0,52963

R au carré ajusté

0,47737

Erreur type de la régression

1,2355

Stat. F (1,9)

10,1340

[0,011]

Moyenne de la variable dépendante

0,53688

Écart type de la variable dépendante

1,7089

Somme des carrés résiduelle

13,7371

Équation de log-vraisemblance

–16,8304

Critère d’information Akaike

–18,8304

Critère bayésien de Schwarz

–19,2283

Statistiques de l’effet d’aubaine

1,8219

Image

---

ANNEXE IV

Simulations de HERMIN et chômage

| 1. | Le modèle HERMIN a été appliqué sur la base d’une hypothèse «moyenne» («moyenne-moyenne») concernant les effets sur l’offre ou l’élasticité de l’offre en matière de capital humain et d’infrastructures. La fiabilité de ces résultats a été vérifiée par une analyse de sensibilité effectuée sur la base de deux autres hypothèses:







  «zéro-zéro» | : | — | effets néoclassiques mineurs (induits par les variations des prix relatifs), |
| --- | --- | --- | --- | --- |

1.

Le modèle HERMIN a été appliqué sur la base d’une hypothèse «moyenne» («moyenne-moyenne») concernant les effets sur l’offre ou l’élasticité de l’offre en matière de capital humain et d’infrastructures. La fiabilité de ces résultats a été vérifiée par une analyse de sensibilité effectuée sur la base de deux autres hypothèses:

«zéro-zéro»

:

—

effets néoclassiques mineurs (induits par les variations des prix relatifs),

| — | aucun effet d’offre (lié aux améliorations des infrastructures et au renforcement du capital humain) ou faible élasticité de la production et de la productivité des facteurs de production par rapport aux infrastructures et au capital humain, |
| --- | --- |

—

aucun effet d’offre (lié aux améliorations des infrastructures et au renforcement du capital humain) ou faible élasticité de la production et de la productivité des facteurs de production par rapport aux infrastructures et au capital humain,

«haute-haute»

:

| — | effets d’offre beaucoup plus importants (liés aux infrastructures et au capital humain) et se prolongeant au-delà de la période sur laquelle porte le cadre communautaire d’appui (CCA). |
| --- | --- |

—

effets d’offre beaucoup plus importants (liés aux infrastructures et au capital humain) et se prolongeant au-delà de la période sur laquelle porte le cadre communautaire d’appui (CCA).

| 2. | S’agissant des taux de chômage, les simulations de HERMIN pour l’Allemagne de l’Est, l’Espagne, la Grèce, l’Irlande et le Portugal ont fait apparaître des variations différentes pour les trois hypothèses retenues. Afin de mieux évaluer la pertinence des résultats, la Cour a converti les baisses (ou les augmentations) des taux de chômage en emplois nets créés (ou supprimés). Les résultats de cette conversion sont présentés dans le tableau 1. |
| --- | --- |

2.

S’agissant des taux de chômage, les simulations de HERMIN pour l’Allemagne de l’Est, l’Espagne, la Grèce, l’Irlande et le Portugal ont fait apparaître des variations différentes pour les trois hypothèses retenues. Afin de mieux évaluer la pertinence des résultats, la Cour a converti les baisses (ou les augmentations) des taux de chômage en emplois nets créés (ou supprimés). Les résultats de cette conversion sont présentés dans le tableau 1.

Tableau 1

Simulations de HERMIN

| | Emplois nets créés |
| --- | --- |
| Hypothèse «zéro-zéro» | Hypothèse «moyenne-moyenne» | Hypothèse «haute-haute» |
| Allemagne de l’Est | 822 308 | 729 923 | 635 755 |
| Espagne | 1 051 135 | 241 789 | – 806 026 |
| Grèce | 303 034 | 190 825 | 65 969 |
| Irlande | 86 679 | 64 621 | 36 335 |
| Portugal | 497 445 | 250 502 | – 253 299 |

Emplois nets créés

Hypothèse «zéro-zéro»

Hypothèse «moyenne-moyenne»

Hypothèse «haute-haute»

Allemagne de l’Est

822 308

729 923

635 755

Espagne

1 051 135

241 789

– 806 026

Grèce

303 034

190 825

65 969

Irlande

86 679

64 621

36 335

Portugal

497 445

250 502

– 253 299

| 3. | La validité de ces résultats doit être appréciée à la lumière des observations suivantes:






  a) | Dans le cas des nouveaux Länder allemands, les données collectées suivant une approche ascendante demeurent incomplètes; cependant, il est permis de conclure que les chiffres obtenus avec le modèle HERMIN en ce qui concerne le nombre net d’emplois créés est largement supérieur, dans les trois hypothèses, aux chiffres obtenus sur la base du suivi direct des projets eux-mêmes (environ 500 000 emplois créés ou maintenus) (1). |
| --- | --- | --- |

3.

La validité de ces résultats doit être appréciée à la lumière des observations suivantes:

a)

Dans le cas des nouveaux Länder allemands, les données collectées suivant une approche ascendante demeurent incomplètes; cependant, il est permis de conclure que les chiffres obtenus avec le modèle HERMIN en ce qui concerne le nombre net d’emplois créés est largement supérieur, dans les trois hypothèses, aux chiffres obtenus sur la base du suivi direct des projets eux-mêmes (environ 500 000 emplois créés ou maintenus) (1).

| b) | S’agissant de l’Irlande, la comparaison avec d’autres données montre que le chiffre net de 64 621 emplois créés, attribué au cadre communautaire d’appui (CCA), semble quelque peu sous-évalué par rapport aux autres éléments probants disponibles. Les chiffres résultant du suivi montrent que le programme opérationnel (PO) en faveur des entreprises a donné lieu à la création d’environ 212 000 emplois bruts et de 90 000 emplois nets. En outre, le nombre total d’emplois, tous secteurs économiques confondus, a augmenté de 395 075 unités (2). Les évaluateurs notent également qu’il importe de regarder la situation au-delà du cadre communautaire d’appui pour prendre en considération les éléments de politique, comme les mesures incitatives en faveur des investissements directs étrangers et la politique visant à réduire la hausse des salaires, qui sont associés au cadre communautaire d’appui. En d’autres termes, le modèle HERMIN ne tient pas compte de ces éléments, ce qui a pour effet d’accroître l’incidence attribuée au cadre communautaire d’appui. |
| --- | --- |

b)

S’agissant de l’Irlande, la comparaison avec d’autres données montre que le chiffre net de 64 621 emplois créés, attribué au cadre communautaire d’appui (CCA), semble quelque peu sous-évalué par rapport aux autres éléments probants disponibles. Les chiffres résultant du suivi montrent que le programme opérationnel (PO) en faveur des entreprises a donné lieu à la création d’environ 212 000 emplois bruts et de 90 000 emplois nets. En outre, le nombre total d’emplois, tous secteurs économiques confondus, a augmenté de 395 075 unités (2). Les évaluateurs notent également qu’il importe de regarder la situation au-delà du cadre communautaire d’appui pour prendre en considération les éléments de politique, comme les mesures incitatives en faveur des investissements directs étrangers et la politique visant à réduire la hausse des salaires, qui sont associés au cadre communautaire d’appui. En d’autres termes, le modèle HERMIN ne tient pas compte de ces éléments, ce qui a pour effet d’accroître l’incidence attribuée au cadre communautaire d’appui.

| c) | Sur la base de l’hypothèse moyenne, le CCA objectif no 1 en Espagne, qui est le plus important des CCA, donne de beaucoup moins bons résultats que le nouveau CCA Länder objectif no 1 en termes de création d’emplois. Il ne surpasse ce dernier en la matière que si les effets sur la demande sont considérés comme prédominants. Cependant, selon cette hypothèse, le nombre net d’emplois créés au cours de la période 1994-1999 grâce au CCA objectif no 1 représenterait environ 40 % de l’augmentation du nombre d’emplois en Espagne entre 1995 et 2000, ce qui semble plutôt optimiste. |
| --- | --- |

c)

Sur la base de l’hypothèse moyenne, le CCA objectif no 1 en Espagne, qui est le plus important des CCA, donne de beaucoup moins bons résultats que le nouveau CCA Länder objectif no 1 en termes de création d’emplois. Il ne surpasse ce dernier en la matière que si les effets sur la demande sont considérés comme prédominants. Cependant, selon cette hypothèse, le nombre net d’emplois créés au cours de la période 1994-1999 grâce au CCA objectif no 1 représenterait environ 40 % de l’augmentation du nombre d’emplois en Espagne entre 1995 et 2000, ce qui semble plutôt optimiste.

| d) | Si l’on applique au Portugal l’hypothèse moyenne et celle de la prédominance des effets sur la demande, les estimations concernant la création nette d’emplois sont beaucoup plus élevées que celles des autorités nationales (3). Cette question n’a toutefois fait l’objet d’aucun examen. |
| --- | --- |

d)

Si l’on applique au Portugal l’hypothèse moyenne et celle de la prédominance des effets sur la demande, les estimations concernant la création nette d’emplois sont beaucoup plus élevées que celles des autorités nationales (3). Cette question n’a toutefois fait l’objet d’aucun examen.

| e) | Il en va de même pour la Grèce; les estimations des autorités nationales relatives à la création nette d’emplois sont largement supérieures à celles obtenues avec le modèle HERMIN (quelle que soit l’hypothèse retenue) en ce qui concerne la diminution du taux de chômage. Il ressort du rapport national que, de 1994 à 1999, le CCA a entraîné une augmentation annuelle nette du taux d’emploi de 1,7 % de la population active (4), soit la création nette de plus de 400 000 emplois. |
| --- | --- |

e)

Il en va de même pour la Grèce; les estimations des autorités nationales relatives à la création nette d’emplois sont largement supérieures à celles obtenues avec le modèle HERMIN (quelle que soit l’hypothèse retenue) en ce qui concerne la diminution du taux de chômage. Il ressort du rapport national que, de 1994 à 1999, le CCA a entraîné une augmentation annuelle nette du taux d’emploi de 1,7 % de la population active (4), soit la création nette de plus de 400 000 emplois.

| f) | Si l’on applique l’hypothèse «haute-haute» aux CCA en Espagne et au Portugal, les chiffres relatifs aux pertes d’emplois s’avèrent non crédibles. |
| --- | --- |

f)

Si l’on applique l’hypothèse «haute-haute» aux CCA en Espagne et au Portugal, les chiffres relatifs aux pertes d’emplois s’avèrent non crédibles.

---

(1)  Rapport d’évaluation concernant l’Allemagne (objectif no 1) (p. 42, 48, 70, 72, 85 et 86).

(2)  Rapport d’évaluation concernant l’Irlande (p. 61 et 92).

(3)  Département des prévisions et de la planification (Portugal).

(4)  Rapport national, p. 210.

---

RÉPONSES DE LA COMMISSION

SYNTHÈSE

| VI. | Parfaitement consciente des limites de l’étude, dues en grande partie à des contraintes liées aux données, la Commission prendra des mesures pour améliorer la faisabilité des évaluations ex post futures. |
| --- | --- |

VI.

Parfaitement consciente des limites de l’étude, dues en grande partie à des contraintes liées aux données, la Commission prendra des mesures pour améliorer la faisabilité des évaluations ex post futures.

| VII. | En dépit de certaines difficultés liées aux données, plusieurs types d’informations ont été exploités dans l’évaluation pour tirer les conclusions (rapports d’évaluation à mi-parcours et finaux des États membres, entretiens, ateliers nationaux et études de cas). |
| --- | --- |

VII.

En dépit de certaines difficultés liées aux données, plusieurs types d’informations ont été exploités dans l’évaluation pour tirer les conclusions (rapports d’évaluation à mi-parcours et finaux des États membres, entretiens, ateliers nationaux et études de cas).

| VIII. | La Commission considère que le cahier des charges était approprié à cette fin, mais que l’évaluation a été confrontée à d’importantes difficultés, notamment en matière de disponibilité de données. La Commission a tenu compte des aspects tant positifs que négatifs des travaux effectués.
  Cependant, elle reconnaît qu’une analyse préparatoire aurait aidé à identifier certaines des difficultés décrites par la Cour en ce qui concerne les informations. |
| --- | --- |

VIII.

La Commission considère que le cahier des charges était approprié à cette fin, mais que l’évaluation a été confrontée à d’importantes difficultés, notamment en matière de disponibilité de données. La Commission a tenu compte des aspects tant positifs que négatifs des travaux effectués.

Cependant, elle reconnaît qu’une analyse préparatoire aurait aidé à identifier certaines des difficultés décrites par la Cour en ce qui concerne les informations.

| X. | En dépit des difficultés rencontrées, les résultats des évaluations ont été examinés comme prévu lors de l’évaluation à mi-parcours. |
| --- | --- |

X.

En dépit des difficultés rencontrées, les résultats des évaluations ont été examinés comme prévu lors de l’évaluation à mi-parcours.

| XI. | La Commission considère que les évaluations ex post futures devraient être plus ciblées et tenir pleinement compte des contraintes en matière de données et de ressources.
  La Commission estime que les modèles macroéconomiques constituent un outil propre à mesurer l’impact économique d’interventions à grande échelle. Les modèles Hermin élaborés pour les différents pays concernés ont tenu compte, dans la mesure du possible, des spécificités nationales des économies bénéficiaires. Cependant, comme pour tout outil d’évaluation, de nouvelles améliorations peuvent être apportées pour remédier à ces limitations, notamment en matière de microdonnées.
  La Commission convient que les évaluations ex post doivent tenir pleinement compte des études thématiques existantes.
  Les évaluations futures devraient porter sur un nombre restreint de questions d’évaluation, ce qui permettra d’approfondir l’analyse dans certains domaines et facilitera la supervision exercée par la Commission. |
| --- | --- |

XI.

La Commission considère que les évaluations ex post futures devraient être plus ciblées et tenir pleinement compte des contraintes en matière de données et de ressources.

La Commission estime que les modèles macroéconomiques constituent un outil propre à mesurer l’impact économique d’interventions à grande échelle. Les modèles Hermin élaborés pour les différents pays concernés ont tenu compte, dans la mesure du possible, des spécificités nationales des économies bénéficiaires. Cependant, comme pour tout outil d’évaluation, de nouvelles améliorations peuvent être apportées pour remédier à ces limitations, notamment en matière de microdonnées.

La Commission convient que les évaluations ex post doivent tenir pleinement compte des études thématiques existantes.

Les évaluations futures devraient porter sur un nombre restreint de questions d’évaluation, ce qui permettra d’approfondir l’analyse dans certains domaines et facilitera la supervision exercée par la Commission.

INTRODUCTION

| 1. | La Cour a formulé à plusieurs reprises des observations sur l’évaluation en général et sur l’évaluation ex post en particulier, notamment dans le rapport spécial no 15/1998 sur l’évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999 et dans le rapport spécial no 7/2003 relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels. Dans ces rapports, la Cour a reconnu les contraintes spécifiques de telles évaluations et elle est parvenue à une évaluation globale satisfaisante, tout en attirant l’attention sur les aspects nécessitant des améliorations. La Commission accueille favorablement les critiques constructives de la Cour à ce sujet. |
| --- | --- |

1.

La Cour a formulé à plusieurs reprises des observations sur l’évaluation en général et sur l’évaluation ex post en particulier, notamment dans le rapport spécial no 15/1998 sur l’évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999 et dans le rapport spécial no 7/2003 relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels. Dans ces rapports, la Cour a reconnu les contraintes spécifiques de telles évaluations et elle est parvenue à une évaluation globale satisfaisante, tout en attirant l’attention sur les aspects nécessitant des améliorations. La Commission accueille favorablement les critiques constructives de la Cour à ce sujet.

| 4. | Pour l’évaluation ex post future, la Commission va revoir l’organisation de l’exercice, en se penchant notamment sur la collecte des données et l’élaboration du rapport de synthèse.
  L’évaluation ex post du FSE a reposé sur les rapports d’évaluation établis par les États membres tant à mi-parcours qu’en phase «finale» de la période de programmation 1994-1999. |
| --- | --- |

4.

Pour l’évaluation ex post future, la Commission va revoir l’organisation de l’exercice, en se penchant notamment sur la collecte des données et l’élaboration du rapport de synthèse.

L’évaluation ex post du FSE a reposé sur les rapports d’évaluation établis par les États membres tant à mi-parcours qu’en phase «finale» de la période de programmation 1994-1999.

ÉVALUATION EX POST DE L’OBJECTIF No 1 PAR LA DG REGIO

| 15. Encadré 1. | L’évaluation ex post n’est pas un rapport officiel de la Commission. Cependant, la Commission soutient la conclusion générale du rapport, qui repose sur des éléments probants contenus dans le troisième rapport de la Commission sur la cohésion économique et sociale. |
| --- | --- |

15. Encadré 1.

L’évaluation ex post n’est pas un rapport officiel de la Commission. Cependant, la Commission soutient la conclusion générale du rapport, qui repose sur des éléments probants contenus dans le troisième rapport de la Commission sur la cohésion économique et sociale.

| 16. | La Cour reconnaît les défis particuliers que pose l’évaluation ex post, notamment le manque de données quantifiées provenant d’indicateurs. La Commission convient que les évaluations ex post peuvent être améliorées à l’avenir. À cet effet, la Commission compte lancer un débat méthodologique plus vaste avec les États membres et les milieux universitaires avant la prochaine série d’évaluations ex post. Un des grands aspects qu’il convient d’étudier est de savoir s’il faut se concentrer sur un petit nombre de questions d’évaluation pertinentes. Cet exercice sera moins soumis aux contraintes en matière de données. |
| --- | --- |

16.

La Cour reconnaît les défis particuliers que pose l’évaluation ex post, notamment le manque de données quantifiées provenant d’indicateurs. La Commission convient que les évaluations ex post peuvent être améliorées à l’avenir. À cet effet, la Commission compte lancer un débat méthodologique plus vaste avec les États membres et les milieux universitaires avant la prochaine série d’évaluations ex post. Un des grands aspects qu’il convient d’étudier est de savoir s’il faut se concentrer sur un petit nombre de questions d’évaluation pertinentes. Cet exercice sera moins soumis aux contraintes en matière de données.

| 17. | Bien que le taux de convergence varie d’une région à l’autre, la croissance dans les régions d’objectif no 1 est mue non seulement par l’augmentation du taux d’emploi mais aussi, dans une large mesure, par la hausse de la productivité. D’autres études empiriques laissent entendre que la productivité est le facteur clé qui détermine le taux de croissance qui est durable à long terme (sauf en cas d’afflux permanent de migrants). |
| --- | --- |

17.

Bien que le taux de convergence varie d’une région à l’autre, la croissance dans les régions d’objectif no 1 est mue non seulement par l’augmentation du taux d’emploi mais aussi, dans une large mesure, par la hausse de la productivité. D’autres études empiriques laissent entendre que la productivité est le facteur clé qui détermine le taux de croissance qui est durable à long terme (sauf en cas d’afflux permanent de migrants).

| 18. | La Commission accueille favorablement l’analyse régressive menée par la Cour. Cependant, celle-ci n’est fondée que sur une des variables explicatives. Pour éviter une distorsion des résultats, une analyse de contrôle des autres variables explicatives serait nécessaire. |
| --- | --- |

18.

La Commission accueille favorablement l’analyse régressive menée par la Cour. Cependant, celle-ci n’est fondée que sur une des variables explicatives. Pour éviter une distorsion des résultats, une analyse de contrôle des autres variables explicatives serait nécessaire.

| 19. | D’autres études menées par la Commission, par exemple pour le troisième rapport sur la cohésion, ont également débouché sur des conclusions différentes de celles du rapport de synthèse. En fait, la situation est contrastée: dans certains États membres, il apparaît que le principal facteur de croissance est l’augmentation du taux d’emploi, tandis que dans d’autres, c’est la hausse de la productivité (voir le troisième rapport sur la cohésion, p. 3-4). |
| --- | --- |

19.

D’autres études menées par la Commission, par exemple pour le troisième rapport sur la cohésion, ont également débouché sur des conclusions différentes de celles du rapport de synthèse. En fait, la situation est contrastée: dans certains États membres, il apparaît que le principal facteur de croissance est l’augmentation du taux d’emploi, tandis que dans d’autres, c’est la hausse de la productivité (voir le troisième rapport sur la cohésion, p. 3-4).

| 20. | La Commission convient que les données disponibles sur les taux de participation, le produit intérieur brut (PIB) et la productivité auraient pu être mieux exploitées par l’évaluateur. Cependant, d’autres études ont également examiné ces corrélations. |
| --- | --- |

20.

La Commission convient que les données disponibles sur les taux de participation, le produit intérieur brut (PIB) et la productivité auraient pu être mieux exploitées par l’évaluateur. Cependant, d’autres études ont également examiné ces corrélations.

| 21. | Les données sur les dépenses prévues et effectives ne peuvent pas être ventilées par région, étant donné qu’une grande partie de l’aide est distribuée par le biais de programmes nationaux, comme les programmes sur les transports, la recherche, les régimes d’aide nationaux ou les ressources humaines, et les États membres ne tiennent pas de statistiques sur les modalités d’attribution par région. Par conséquent, l’analyse régressive ne pouvait nécessairement porter que sur une partie des dépenses de l’Union européenne. Il s’agissait d’une contrainte inhérente à cette partie de l’évaluation. |
| --- | --- |

21.

Les données sur les dépenses prévues et effectives ne peuvent pas être ventilées par région, étant donné qu’une grande partie de l’aide est distribuée par le biais de programmes nationaux, comme les programmes sur les transports, la recherche, les régimes d’aide nationaux ou les ressources humaines, et les États membres ne tiennent pas de statistiques sur les modalités d’attribution par région. Par conséquent, l’analyse régressive ne pouvait nécessairement porter que sur une partie des dépenses de l’Union européenne. Il s’agissait d’une contrainte inhérente à cette partie de l’évaluation.

| 23. | Dans son troisième rapport sur la cohésion (p. 147), la Commission a montré qu’il y avait une certaine corrélation entre le montant des aides structurelles apportées et la croissance réelle du PIB dans les régions d’objectif no 1. |
| --- | --- |

23.

Dans son troisième rapport sur la cohésion (p. 147), la Commission a montré qu’il y avait une certaine corrélation entre le montant des aides structurelles apportées et la croissance réelle du PIB dans les régions d’objectif no 1.

| 24. | Comme il a déjà été indiqué, l’évaluation a connu de fortes contraintes liées aux données, notamment en ce qui concerne les données nationales sur les dépenses cofinancées tant publiques que privées. Les données présentées reposaient essentiellement sur des procédures d’estimation, ce qui a donné lieu, dans certains cas, à des erreurs ou à des écarts. |
| --- | --- |

24.

Comme il a déjà été indiqué, l’évaluation a connu de fortes contraintes liées aux données, notamment en ce qui concerne les données nationales sur les dépenses cofinancées tant publiques que privées. Les données présentées reposaient essentiellement sur des procédures d’estimation, ce qui a donné lieu, dans certains cas, à des erreurs ou à des écarts.

| 26. | La participation du secteur privé dépend des conditions économiques générales du pays dans son ensemble et de la région concernée. L’effet levier des Fonds structurels de l’Union européenne varie considérablement d’un pays à l’autre. |
| --- | --- |

26.

La participation du secteur privé dépend des conditions économiques générales du pays dans son ensemble et de la région concernée. L’effet levier des Fonds structurels de l’Union européenne varie considérablement d’un pays à l’autre.

| 27. | L’examen de ces questions a été perturbé par le caractère incertain des chiffres relatifs au secteur privé. |
| --- | --- |

27.

L’examen de ces questions a été perturbé par le caractère incertain des chiffres relatifs au secteur privé.

| 28. | La question des défaillances du marché est capitale dans le cadre de l’évaluation ex ante. Bien qu’étant mentionné dans le guide méthodologique élaboré par l’évaluateur, un examen formel et détaillé du caractère approprié n’était pas exigé par le cahier des charges. |
| --- | --- |

28.

La question des défaillances du marché est capitale dans le cadre de l’évaluation ex ante. Bien qu’étant mentionné dans le guide méthodologique élaboré par l’évaluateur, un examen formel et détaillé du caractère approprié n’était pas exigé par le cahier des charges.

| 30. | Les évaluateurs ont dû fonder leur jugement en grande partie sur les informations et données disponibles dans les États membres. Si les données, par exemple sur l’effet d’aubaine, n’étaient pas disponibles, le cahier des charges n’exigeait pas des évaluateurs qu’ils collectent ces données eux-mêmes, en raison du budget limité de l’exercice.
  En ce qui concerne la notion de valeur ajoutée communautaire, la Commission considère que le contenu de cette notion dépend du contexte dans les différents États membres. Par exemple, l’approche de programmation peut être nouvelle dans tel État membre mais pas dans tel autre. Une évaluation qualitative semble la plus appropriée en pareilles circonstances. |
| --- | --- |

30.

Les évaluateurs ont dû fonder leur jugement en grande partie sur les informations et données disponibles dans les États membres. Si les données, par exemple sur l’effet d’aubaine, n’étaient pas disponibles, le cahier des charges n’exigeait pas des évaluateurs qu’ils collectent ces données eux-mêmes, en raison du budget limité de l’exercice.

En ce qui concerne la notion de valeur ajoutée communautaire, la Commission considère que le contenu de cette notion dépend du contexte dans les différents États membres. Par exemple, l’approche de programmation peut être nouvelle dans tel État membre mais pas dans tel autre. Une évaluation qualitative semble la plus appropriée en pareilles circonstances.

| 31. | Ces limitations sont dues en grande partie au manque de données et aux contraintes budgétaires. Même si l’examen des résultats d’autres études thématiques aurait conféré un poids accru aux conclusions, la portée de l’évaluation ex post était nécessairement plus vaste. |
| --- | --- |

31.

Ces limitations sont dues en grande partie au manque de données et aux contraintes budgétaires. Même si l’examen des résultats d’autres études thématiques aurait conféré un poids accru aux conclusions, la portée de l’évaluation ex post était nécessairement plus vaste.

| 32. | Ces deux évaluations n’ont pas la même portée ni la même couverture. Par exemple, l’évaluation thématique sur les transports repose également sur le Fonds de cohésion et porte sur l’ensemble des objectifs. |
| --- | --- |

32.

Ces deux évaluations n’ont pas la même portée ni la même couverture. Par exemple, l’évaluation thématique sur les transports repose également sur le Fonds de cohésion et porte sur l’ensemble des objectifs.

| 33. | Chacun sait combien il est difficile d’estimer l’impact des interventions des Fonds structurels sur l’emploi et, selon la méthodologie appliquée, on peut aboutir à des résultats différents. Il convient donc d’interpréter ces résultats avec prudence. La Commission poursuit ses travaux méthodologiques sur l’estimation des effets sur l’emploi pour accroître la cohérence des résultats. |
| --- | --- |

33.

Chacun sait combien il est difficile d’estimer l’impact des interventions des Fonds structurels sur l’emploi et, selon la méthodologie appliquée, on peut aboutir à des résultats différents. Il convient donc d’interpréter ces résultats avec prudence. La Commission poursuit ses travaux méthodologiques sur l’estimation des effets sur l’emploi pour accroître la cohérence des résultats.

| 34. | Les méthodes pour estimer les effets sur l’emploi utilisées dans le rapport de synthèse et celles appliquées dans le rapport d’évaluation thématique ne sont pas comparables. Le modèle Hermin, qui est fondé sur des hypothèses plus solides, capte également les effets sur l’offre liés aux investissements dans le capital physique et humain, tandis que l’étude sur les transports estime les effets directs et indirects à court terme. |
| --- | --- |

34.

Les méthodes pour estimer les effets sur l’emploi utilisées dans le rapport de synthèse et celles appliquées dans le rapport d’évaluation thématique ne sont pas comparables. Le modèle Hermin, qui est fondé sur des hypothèses plus solides, capte également les effets sur l’offre liés aux investissements dans le capital physique et humain, tandis que l’étude sur les transports estime les effets directs et indirects à court terme.

| 35-36. | Comme il est indiqué ci-dessus, chacun sait combien il est difficile d’estimer l’impact des interventions des Fonds structurels sur l’emploi et, selon la méthodologie appliquée, on peut aboutir à des résultats différents. L’évaluation thématique sur les PME a comporté une analyse plus approfondie des interventions en faveur des PME et a également porté sur d’autres interventions hors régions d’objectif no 1. |
| --- | --- |

35-36.

Comme il est indiqué ci-dessus, chacun sait combien il est difficile d’estimer l’impact des interventions des Fonds structurels sur l’emploi et, selon la méthodologie appliquée, on peut aboutir à des résultats différents. L’évaluation thématique sur les PME a comporté une analyse plus approfondie des interventions en faveur des PME et a également porté sur d’autres interventions hors régions d’objectif no 1.

| 37. | Le suivi des données des États membres était une contribution nécessaire pour l’étude. Compte tenu des contraintes de temps et des contraintes budgétaires, il aurait été impossible de combler les lacunes et les insuffisances en matière de données. |
| --- | --- |

37.

Le suivi des données des États membres était une contribution nécessaire pour l’étude. Compte tenu des contraintes de temps et des contraintes budgétaires, il aurait été impossible de combler les lacunes et les insuffisances en matière de données.

| 38. | En raison de la vaste portée de l’évaluation, il était impossible d’aborder toutes ces questions de manière approfondie en effectuant des enquêtes ad hoc ou autres travaux de terrain. |
| --- | --- |

38.

En raison de la vaste portée de l’évaluation, il était impossible d’aborder toutes ces questions de manière approfondie en effectuant des enquêtes ad hoc ou autres travaux de terrain.

| 39. | La Commission convient que les évaluations devraient recourir aux études et à la littérature existantes en tant que point de départ pour l’analyse. Cependant, les études thématiques avaient été menées dans un autre contexte, à savoir en tant que contribution à la préparation des programmes 2000-2006, tandis que l’évaluation ex post s’est déroulée ultérieurement. |
| --- | --- |

39.

La Commission convient que les évaluations devraient recourir aux études et à la littérature existantes en tant que point de départ pour l’analyse. Cependant, les études thématiques avaient été menées dans un autre contexte, à savoir en tant que contribution à la préparation des programmes 2000-2006, tandis que l’évaluation ex post s’est déroulée ultérieurement.

| 40. | Pour recourir à des méthodes quantitatives formalisées, il faut disposer de données solides et suffisantes provenant des États membres. Comme l’indique la Cour, de telles données faisaient souvent défaut pour la période de programmation 1994-1999. |
| --- | --- |

40.

Pour recourir à des méthodes quantitatives formalisées, il faut disposer de données solides et suffisantes provenant des États membres. Comme l’indique la Cour, de telles données faisaient souvent défaut pour la période de programmation 1994-1999.

| 41. | L’objectif fixé en la matière par le cahier des charges était relativement limité en ampleur. |
| --- | --- |

41.

L’objectif fixé en la matière par le cahier des charges était relativement limité en ampleur.

| 42. | En dépit des difficultés qu’ils ont rencontrées pour obtenir des données en raison de l’interconnexion de différents types de travaux de construction, les évaluateurs ont tenté de déterminer des coûts unitaires comparables pour certains secteurs, comme la construction de routes, les projets environnementaux et les emplois créés dans le cadre de projets industriels. |
| --- | --- |

42.

En dépit des difficultés qu’ils ont rencontrées pour obtenir des données en raison de l’interconnexion de différents types de travaux de construction, les évaluateurs ont tenté de déterminer des coûts unitaires comparables pour certains secteurs, comme la construction de routes, les projets environnementaux et les emplois créés dans le cadre de projets industriels.

| 43. | La Commission convient qu’une analyse plus détaillée est souhaitable. L’évaluation ex post sur le Fonds de cohésion qui a suivi a procuré de plus amples informations à ce sujet. En 1998, la Commission a élaboré un document intitulé «Compréhension et contrôle des facteurs déterminant les coûts des projets d’infrastructure — Guide de l’utilisateur». |
| --- | --- |

43.

La Commission convient qu’une analyse plus détaillée est souhaitable. L’évaluation ex post sur le Fonds de cohésion qui a suivi a procuré de plus amples informations à ce sujet. En 1998, la Commission a élaboré un document intitulé «Compréhension et contrôle des facteurs déterminant les coûts des projets d’infrastructure — Guide de l’utilisateur».

| 44. | Le libellé du cahier des charges indiquait clairement que ces tâches étaient particulièrement difficiles et qu’elles ne pouvaient produire que des conclusions partielles. Une évaluation des partenariats public-privé et des procédures de passation de marchés n’était pas demandée dans le cahier des charges. La question des partenariats public-privé a été abordée dans l’évaluation ex post du Fonds de cohésion. |
| --- | --- |

44.

Le libellé du cahier des charges indiquait clairement que ces tâches étaient particulièrement difficiles et qu’elles ne pouvaient produire que des conclusions partielles. Une évaluation des partenariats public-privé et des procédures de passation de marchés n’était pas demandée dans le cahier des charges. La question des partenariats public-privé a été abordée dans l’évaluation ex post du Fonds de cohésion.

| 46. | L’évaluateur a exclu le cofinancement privé du modèle macroéconomique car celui-ci visait à mesurer l’impact global des dépenses cofinancées par l’Union européenne et le secteur public sur l’économie, y compris l’investissement privé. Les investissements du secteur privé sont considérés comme un résultat et non comme une contribution politique distincte. La Commission renvoie à ses réponses aux points 24 à 27. Elle partage les préoccupations de la Cour au sujet de la difficulté de spécifier les paramètres d’externalité. Le choix opéré a reposé sur des études internationales dont on a pu faire extraire une série de valeurs d’élasticité. À l’époque à laquelle l’étude a été réalisée, il n’y avait pas vraiment d’autre possibilité de mener l’analyse d’impact. |
| --- | --- |

46.

L’évaluateur a exclu le cofinancement privé du modèle macroéconomique car celui-ci visait à mesurer l’impact global des dépenses cofinancées par l’Union européenne et le secteur public sur l’économie, y compris l’investissement privé. Les investissements du secteur privé sont considérés comme un résultat et non comme une contribution politique distincte. La Commission renvoie à ses réponses aux points 24 à 27. Elle partage les préoccupations de la Cour au sujet de la difficulté de spécifier les paramètres d’externalité. Le choix opéré a reposé sur des études internationales dont on a pu faire extraire une série de valeurs d’élasticité. À l’époque à laquelle l’étude a été réalisée, il n’y avait pas vraiment d’autre possibilité de mener l’analyse d’impact.

| 48. | Certaines des observations de la Cour figurant aux points 48 et 49 avaient été formulées dans son rapport spécial no 7/2003 relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels. La Commission renvoie aux réponses figurant dans ce rapport.
  L’autre scénario proposé par la Cour n’était pas envisageable. Les exigences en matière de collecte de microdonnées n’étaient pas suffisamment standardisées pour permettre ce type d’analyse. La Commission convient que les évaluations macroéconomiques futures devraient davantage reposer sur l’analyse de données microéconomiques. |
| --- | --- |

48.

Certaines des observations de la Cour figurant aux points 48 et 49 avaient été formulées dans son rapport spécial no 7/2003 relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels. La Commission renvoie aux réponses figurant dans ce rapport.

L’autre scénario proposé par la Cour n’était pas envisageable. Les exigences en matière de collecte de microdonnées n’étaient pas suffisamment standardisées pour permettre ce type d’analyse. La Commission convient que les évaluations macroéconomiques futures devraient davantage reposer sur l’analyse de données microéconomiques.

| 49. | a) | Il s’agissait des hypothèses du modèle Hermin au moment de l’évaluation. Cependant, dans le cadre du perfectionnement du modèle, on devrait accorder une plus grande importance au secteur des services dans les économies de l’objectif no 1. |
| --- | --- | --- |

49.

a)

Il s’agissait des hypothèses du modèle Hermin au moment de l’évaluation. Cependant, dans le cadre du perfectionnement du modèle, on devrait accorder une plus grande importance au secteur des services dans les économies de l’objectif no 1.

| b) | La question de l’instabilité structurelle du modèle sera examinée attentivement lors des futurs travaux macroéconomiques. |
| --- | --- |

b)

La question de l’instabilité structurelle du modèle sera examinée attentivement lors des futurs travaux macroéconomiques.

| c) | La Commission reconnaît que l’exercice de modélisation aurait été plus précis si on avait disposé de séries de données sur les dépenses effectives. Les données sur les engagements qui ont été utilisées étaient les seules données disponibles dans l’ensemble des régions au moment de l’évaluation. |
| --- | --- |

c)

La Commission reconnaît que l’exercice de modélisation aurait été plus précis si on avait disposé de séries de données sur les dépenses effectives. Les données sur les engagements qui ont été utilisées étaient les seules données disponibles dans l’ensemble des régions au moment de l’évaluation.

| e) | Les valeurs d’élasticité liées aux investissements dans le capital physique et humain servant dans le modèle Hermin reposent sur toute une série d’études universitaires. Le modèle envisage différents scénarios fondés sur des valeurs élevées, moyennes et basses. Ce test de sensibilité se traduit par un éventail de valeurs d’impact.
  Tous les modèles macroéconomiques sont confrontés à des problèmes en matière de données. L’exercice de modélisation reposait sur les meilleures données disponibles. La Commission convient que des travaux supplémentaires sont nécessaires pour améliorer les données sur les élasticités utilisées par le modèle. |
| --- | --- |

e)

Les valeurs d’élasticité liées aux investissements dans le capital physique et humain servant dans le modèle Hermin reposent sur toute une série d’études universitaires. Le modèle envisage différents scénarios fondés sur des valeurs élevées, moyennes et basses. Ce test de sensibilité se traduit par un éventail de valeurs d’impact.

Tous les modèles macroéconomiques sont confrontés à des problèmes en matière de données. L’exercice de modélisation reposait sur les meilleures données disponibles. La Commission convient que des travaux supplémentaires sont nécessaires pour améliorer les données sur les élasticités utilisées par le modèle.

| f) | Dans le modèle Hermin, le scénario contrefactuel est défini comme la situation sans le CCA afin qu’on puisse estimer l’écart par rapport au niveau de référence. Cependant, d’autres scénarios peuvent être envisagés en matière d’additionnalité, par exemple avec uniquement les Fonds structurels et de cohésion (sans cofinancement national). |
| --- | --- |

f)

Dans le modèle Hermin, le scénario contrefactuel est défini comme la situation sans le CCA afin qu’on puisse estimer l’écart par rapport au niveau de référence. Cependant, d’autres scénarios peuvent être envisagés en matière d’additionnalité, par exemple avec uniquement les Fonds structurels et de cohésion (sans cofinancement national).

| 50. | De l’avis de la Commission, malgré leurs insuffisances éventuelles, les modèles du type Hermin sont un instrument précieux pour comprendre et mesurer les effets de la politique de cohésion, comme le confirment l’utilisation de ce modèle par un nombre croissant d’États membres et l’absence de méthodes autres qui soient convaincantes. Le modèle Hermin est perfectible et la Commission s’emploie à l’améliorer pour la période de programmation 2007-2013. |
| --- | --- |

50.

De l’avis de la Commission, malgré leurs insuffisances éventuelles, les modèles du type Hermin sont un instrument précieux pour comprendre et mesurer les effets de la politique de cohésion, comme le confirment l’utilisation de ce modèle par un nombre croissant d’États membres et l’absence de méthodes autres qui soient convaincantes. Le modèle Hermin est perfectible et la Commission s’emploie à l’améliorer pour la période de programmation 2007-2013.

| 51. | La Commission considère qu’il est difficile d’établir une quelconque correspondance linéaire entre une baisse ou une hausse du chômage et le nombre d’emplois créés ou perdus. Les mécanismes du marché du travail sont plus complexes et devraient être examinés attentivement avant que des conclusions définitives soient tirées. |
| --- | --- |

51.

La Commission considère qu’il est difficile d’établir une quelconque correspondance linéaire entre une baisse ou une hausse du chômage et le nombre d’emplois créés ou perdus. Les mécanismes du marché du travail sont plus complexes et devraient être examinés attentivement avant que des conclusions définitives soient tirées.

| 52. | Ici aussi, l’évaluation était tributaire de la qualité des données et de la fixation des objectifs par les États membres. L’absence de telles données a, dans bien des cas, rendu l’évaluation difficile ou impossible. |
| --- | --- |

52.

Ici aussi, l’évaluation était tributaire de la qualité des données et de la fixation des objectifs par les États membres. L’absence de telles données a, dans bien des cas, rendu l’évaluation difficile ou impossible.

| 56. | Le fait que, d’une évaluation à l’autre, les recommandations soient parfois contradictoires ou divergentes sur différentes questions et méthodes est un phénomène normal et productif dans la recherche économique et sociologique. |
| --- | --- |

56.

Le fait que, d’une évaluation à l’autre, les recommandations soient parfois contradictoires ou divergentes sur différentes questions et méthodes est un phénomène normal et productif dans la recherche économique et sociologique.

| 57. | La recommandation de l’évaluation ex post aux termes de laquelle il convient de veiller à ce que les comités de suivi aient une taille appropriée et gérable n’est pas en contradiction avec la recommandation, émise dans l’étude thématique, au sujet du caractère exhaustif de la composition de ces comités. |
| --- | --- |

57.

La recommandation de l’évaluation ex post aux termes de laquelle il convient de veiller à ce que les comités de suivi aient une taille appropriée et gérable n’est pas en contradiction avec la recommandation, émise dans l’étude thématique, au sujet du caractère exhaustif de la composition de ces comités.

| 59. | L’évaluation ex post n’a reposé ici que sur des études partielles. La Commission convient que les constatations relatives aux systèmes de gestion étaient suffisamment intéressantes pour mériter davantage d’attention. À ce sujet, les services de la Commission ont mené une évaluation spécifique en 2003 sur l’efficacité des méthodes de mise en œuvre des Fonds structurels («The efficiency of the implementation methods for Structural Funds» — décembre 2003). |
| --- | --- |

59.

L’évaluation ex post n’a reposé ici que sur des études partielles. La Commission convient que les constatations relatives aux systèmes de gestion étaient suffisamment intéressantes pour mériter davantage d’attention. À ce sujet, les services de la Commission ont mené une évaluation spécifique en 2003 sur l’efficacité des méthodes de mise en œuvre des Fonds structurels («The efficiency of the implementation methods for Structural Funds» — décembre 2003).

| 60. | Comme les autres évaluations thématiques, celle portant sur le principe de partenariat a été conçue pour fournir des informations pour la programmation de la période 2000-2006. Comme la programmation s’est terminée avant l’évaluation ex post, un examen plus approfondi du sujet dans l’évaluation ex post, tout en étant souhaitable, n’était pas essentiel. |
| --- | --- |

60.

Comme les autres évaluations thématiques, celle portant sur le principe de partenariat a été conçue pour fournir des informations pour la programmation de la période 2000-2006. Comme la programmation s’est terminée avant l’évaluation ex post, un examen plus approfondi du sujet dans l’évaluation ex post, tout en étant souhaitable, n’était pas essentiel.

| 61. | Les tâches et le budget de l’évaluation étaient nécessairement limités.
  Les aspects abordés par la Cour ont fait l’objet de l’étude visée dans la réponse au point 59. Les procédures de sélection des projets sont également l’un des aspects des systèmes de gestion et de contrôle qui sont vérifiés lors des audits, car elles conditionnent pour une large part la bonne gestion financière.
  La Commission est plutôt d’avis que les évaluations ex post futures devraient porter sur un nombre restreint d’aspects. |
| --- | --- |

61.

Les tâches et le budget de l’évaluation étaient nécessairement limités.

Les aspects abordés par la Cour ont fait l’objet de l’étude visée dans la réponse au point 59. Les procédures de sélection des projets sont également l’un des aspects des systèmes de gestion et de contrôle qui sont vérifiés lors des audits, car elles conditionnent pour une large part la bonne gestion financière.

La Commission est plutôt d’avis que les évaluations ex post futures devraient porter sur un nombre restreint d’aspects.

| 62. | La Commission reconnaît l’existence de faiblesses dans les systèmes de gestion et de contrôle des États membres pour les Fonds structurels pendant la période 1994-1999. Cependant, ces systèmes se sont améliorés vers la fin de la période avec l’entrée en vigueur du règlement (CE) no 2064/97 sur le contrôle financier, et les améliorations se sont poursuivies au cours de la période 2000-2006. |
| --- | --- |

62.

La Commission reconnaît l’existence de faiblesses dans les systèmes de gestion et de contrôle des États membres pour les Fonds structurels pendant la période 1994-1999. Cependant, ces systèmes se sont améliorés vers la fin de la période avec l’entrée en vigueur du règlement (CE) no 2064/97 sur le contrôle financier, et les améliorations se sont poursuivies au cours de la période 2000-2006.

| 63. | Les États membres et la Commission conviennent que le suivi des programmes des Fonds structurels était un point faible de la période de programmation 1994-1999. Au cours de la période 2000-2006, des efforts considérables ont été fournis pour remédier au problème. Pour la première fois, des évaluations systématiques (y compris des évaluations ex ante et des évaluations à mi-parcours) ont été effectuées pour tous les programmes des Fonds structurels. Il en a résulté une nette amélioration du système de suivi et d’indicateur pour les Fonds structurels. |
| --- | --- |

63.

Les États membres et la Commission conviennent que le suivi des programmes des Fonds structurels était un point faible de la période de programmation 1994-1999. Au cours de la période 2000-2006, des efforts considérables ont été fournis pour remédier au problème. Pour la première fois, des évaluations systématiques (y compris des évaluations ex ante et des évaluations à mi-parcours) ont été effectuées pour tous les programmes des Fonds structurels. Il en a résulté une nette amélioration du système de suivi et d’indicateur pour les Fonds structurels.

| 64. | Les données financières produites par les systèmes étaient globalement fiables. Tel n’a cependant pas été le cas pour les données de suivi, bien que la disponibilité de ces informations se soit par la suite améliorée au cours de la période de programmation. |
| --- | --- |

64.

Les données financières produites par les systèmes étaient globalement fiables. Tel n’a cependant pas été le cas pour les données de suivi, bien que la disponibilité de ces informations se soit par la suite améliorée au cours de la période de programmation.

| 65. | Les «évaluations internes» n’étaient pas imposées par la réglementation, mais elles ont été effectuées pour répondre aux besoins spécifiques des États membres. Elles constituent un dérivé positif de l’évaluation ex post, qui est désormais largement répandu. |
| --- | --- |

65.

Les «évaluations internes» n’étaient pas imposées par la réglementation, mais elles ont été effectuées pour répondre aux besoins spécifiques des États membres. Elles constituent un dérivé positif de l’évaluation ex post, qui est désormais largement répandu.

| 66. | Pour la période de programmation 2000-2006, le règlement a fixé pour la première fois des règles et dispositions détaillées. Sur cette base, la Commission a élaboré des documents de travail détaillés sur les éléments du suivi et de l’évaluation. Les évaluations ex ante, qui sont effectuées systématiquement pour tous les programmes et objectifs, ont constitué pour les États membres une occasion importante d’investir dans la mise en place d’indicateurs et d’objectifs quantifiés. La plupart d’entre eux ont mis en place des solutions informatiques à l’appui du compte rendu régulier et systématique fondé sur des informations quantifiées. L’évaluation à mi-parcours a été l’occasion de revoir et d’améliorer les indicateurs et leur usage. |
| --- | --- |

66.

Pour la période de programmation 2000-2006, le règlement a fixé pour la première fois des règles et dispositions détaillées. Sur cette base, la Commission a élaboré des documents de travail détaillés sur les éléments du suivi et de l’évaluation. Les évaluations ex ante, qui sont effectuées systématiquement pour tous les programmes et objectifs, ont constitué pour les États membres une occasion importante d’investir dans la mise en place d’indicateurs et d’objectifs quantifiés. La plupart d’entre eux ont mis en place des solutions informatiques à l’appui du compte rendu régulier et systématique fondé sur des informations quantifiées. L’évaluation à mi-parcours a été l’occasion de revoir et d’améliorer les indicateurs et leur usage.

| 67. | a) | Le cahier des charges mentionnait que «les données disponibles dans les États membres peuvent ne pas être complètes, particulièrement si l’État membre ne prévoit pas d’entreprendre des évaluations ex post [...]». |
| --- | --- | --- |

67.

a)

Le cahier des charges mentionnait que «les données disponibles dans les États membres peuvent ne pas être complètes, particulièrement si l’État membre ne prévoit pas d’entreprendre des évaluations ex post [...]».

| b) | L’ampleur de la collecte de données supplémentaires a été limitée par le temps et les ressources disponibles. |
| --- | --- |

b)

L’ampleur de la collecte de données supplémentaires a été limitée par le temps et les ressources disponibles.

| c) | L’évaluation des effets nets par des méthodes microéconomiques pose des difficultés méthodologiques. Cependant, des travaux complémentaires devraient être menés dans ce domaine. |
| --- | --- |

c)

L’évaluation des effets nets par des méthodes microéconomiques pose des difficultés méthodologiques. Cependant, des travaux complémentaires devraient être menés dans ce domaine.

| d) | La Commission convient qu’il s’agit d’un aspect important pour l’évaluation de l’efficacité. Cependant, cela aurait nécessité des études spécifiques plus approfondies, qui sont coûteuses. La Commission encourage toutefois les États membres à entreprendre un tel travail. |
| --- | --- |

d)

La Commission convient qu’il s’agit d’un aspect important pour l’évaluation de l’efficacité. Cependant, cela aurait nécessité des études spécifiques plus approfondies, qui sont coûteuses. La Commission encourage toutefois les États membres à entreprendre un tel travail.

| e) | Les liens potentiels entre la stratégie, l’efficacité et les impacts sont analysés dans les évaluations ex ante. |
| --- | --- |

e)

Les liens potentiels entre la stratégie, l’efficacité et les impacts sont analysés dans les évaluations ex ante.

| f) et g) | De l’avis de la Commission, il est préférable que le cahier des charges détermine uniquement les questions d’évaluation, la proposition méthodologique étant laissée aux soumissionnaires. |
| --- | --- |

f) et g)

De l’avis de la Commission, il est préférable que le cahier des charges détermine uniquement les questions d’évaluation, la proposition méthodologique étant laissée aux soumissionnaires.

| 68. | La convergence a fait l’objet d’un grand nombre de recherches. Les résultats des récents travaux en la matière sont résumés dans les rapports de la Commission sur la cohésion. |
| --- | --- |

68.

La convergence a fait l’objet d’un grand nombre de recherches. Les résultats des récents travaux en la matière sont résumés dans les rapports de la Commission sur la cohésion.

| 69. | Cette autre approche aurait pu être intéressante, mais elle n’était pas nécessaire. De l’avis de la Commission, l’évaluation future doit fixer des priorités claires, en limitant l’ampleur des questions. |
| --- | --- |

69.

Cette autre approche aurait pu être intéressante, mais elle n’était pas nécessaire. De l’avis de la Commission, l’évaluation future doit fixer des priorités claires, en limitant l’ampleur des questions.

| 70. | La Commission estime que le cahier des charges et le guide méthodologique étaient appropriés à cette fin. |
| --- | --- |

70.

La Commission estime que le cahier des charges et le guide méthodologique étaient appropriés à cette fin.

| 72. | Tirant les leçons de l’évaluation ex post, la Commission fait actuellement appel à des experts à un stade plus précoce pour obtenir un avis pour des évaluations exigeantes sur le plan méthodologique. |
| --- | --- |

72.

Tirant les leçons de l’évaluation ex post, la Commission fait actuellement appel à des experts à un stade plus précoce pour obtenir un avis pour des évaluations exigeantes sur le plan méthodologique.

| 73. | L’évaluation ex post 1994-1999 a connu des problèmes spécifiques, notamment la disponibilité des données. |
| --- | --- |

73.

L’évaluation ex post 1994-1999 a connu des problèmes spécifiques, notamment la disponibilité des données.

| 75. | Dans cette évaluation, la Commission a appliqué les techniques de gestion habituelles, comme un système de compte rendu intermédiaire formalisé, une supervision par un comité de pilotage, des réunions de travail régulières et la participation d’experts. Ce processus a débouché sur un rapport de qualité acceptable.
  L’évaluation ex post était d’une grande complexité. La Commission mettra à profit l’expérience acquise pour améliorer le traitement de cette question à l’avenir.
  La Commission partage le point de vue de la Cour aux termes duquel les évaluations futures devraient porter sur un nombre restreint de questions d’évaluation, ce qui permettra d’approfondir l’analyse dans certains domaines et facilitera la supervision exercée par la Commission. |
| --- | --- |

75.

Dans cette évaluation, la Commission a appliqué les techniques de gestion habituelles, comme un système de compte rendu intermédiaire formalisé, une supervision par un comité de pilotage, des réunions de travail régulières et la participation d’experts. Ce processus a débouché sur un rapport de qualité acceptable.

L’évaluation ex post était d’une grande complexité. La Commission mettra à profit l’expérience acquise pour améliorer le traitement de cette question à l’avenir.

La Commission partage le point de vue de la Cour aux termes duquel les évaluations futures devraient porter sur un nombre restreint de questions d’évaluation, ce qui permettra d’approfondir l’analyse dans certains domaines et facilitera la supervision exercée par la Commission.

| 76. | L’évaluation, que ce soit dans la synthèse ou au chapitre 9 sur les recommandations, fait bien plus que d’émettre des recommandations en matière de gestion. Les recommandations concernent les interventions des Fonds structurels dans toutes les régions d’objectif no 1 et ont forcément un caractère général. Le rôle de la recherche et du développement est souligné, la nécessité d’accorder une plus grande attention aux différences au sein des grandes régions de l’objectif no 1, la nécessité de mieux coordonner les interventions des Fonds structurels pour l’ensemble des fonds dans les zones rurales, etc. |
| --- | --- |

76.

L’évaluation, que ce soit dans la synthèse ou au chapitre 9 sur les recommandations, fait bien plus que d’émettre des recommandations en matière de gestion. Les recommandations concernent les interventions des Fonds structurels dans toutes les régions d’objectif no 1 et ont forcément un caractère général. Le rôle de la recherche et du développement est souligné, la nécessité d’accorder une plus grande attention aux différences au sein des grandes régions de l’objectif no 1, la nécessité de mieux coordonner les interventions des Fonds structurels pour l’ensemble des fonds dans les zones rurales, etc.

| 77. | La Commission convient avec l’évaluateur que les comités de suivi doivent consacrer davantage d’attention aux questions stratégiques. Cela ne doit pas réduire l’importance des autres tâches que les comités doivent effectuer en vertu de la réglementation. |
| --- | --- |

77.

La Commission convient avec l’évaluateur que les comités de suivi doivent consacrer davantage d’attention aux questions stratégiques. Cela ne doit pas réduire l’importance des autres tâches que les comités doivent effectuer en vertu de la réglementation.

| 80. | La recommandation spécifiquement mentionnée par la Cour a été reprise par la Commission pour la période de programmation 2007-2013. |
| --- | --- |

80.

La recommandation spécifiquement mentionnée par la Cour a été reprise par la Commission pour la période de programmation 2007-2013.

ÉVALUATION EX POST DES ACTIVITÉS DU FSE (DANS LE CADRE DES OBJECTIFS NOS 1 ET 3) PAR LA DG EMPL

| 81. | Une réunion de coordination entre la DG REGIO, la DG EMPL et les évaluateurs chargés de l’évaluation ex post du FSE a eu lieu en octobre 2002. À cette occasion, il avait été convenu que les évaluateurs ex post du FSE auraient accès à la documentation constituée par les évaluateurs ex post du FEDER. Ces modalités ont été appliquées par la suite. Chacun des deux gestionnaires des évaluations ex post était membre du groupe de pilotage de l’autre et a reçu la documentation distribuée aux membres de l’autre groupe de pilotage. Les évaluateurs du FSE ont fait usage de la documentation disponible sur l’évaluation du FEDER. |
| --- | --- |

81.

Une réunion de coordination entre la DG REGIO, la DG EMPL et les évaluateurs chargés de l’évaluation ex post du FSE a eu lieu en octobre 2002. À cette occasion, il avait été convenu que les évaluateurs ex post du FSE auraient accès à la documentation constituée par les évaluateurs ex post du FEDER. Ces modalités ont été appliquées par la suite. Chacun des deux gestionnaires des évaluations ex post était membre du groupe de pilotage de l’autre et a reçu la documentation distribuée aux membres de l’autre groupe de pilotage. Les évaluateurs du FSE ont fait usage de la documentation disponible sur l’évaluation du FEDER.

| Encadré 2. | Diverses sources d’information ont été utilisées par les évaluateurs ex post du FSE. |
| --- | --- |

Encadré 2.

Diverses sources d’information ont été utilisées par les évaluateurs ex post du FSE.

| 82. | Le rapport de synthèse contient à lui seul un grand nombre d’informations sur l’utilisation des ressources du FSE (nature, quantité et impact) à travers différents groupes cibles et par types de mesures dans l’ensemble des États membres (voir notamment le chapitre 2 du rapport de synthèse). |
| --- | --- |

82.

Le rapport de synthèse contient à lui seul un grand nombre d’informations sur l’utilisation des ressources du FSE (nature, quantité et impact) à travers différents groupes cibles et par types de mesures dans l’ensemble des États membres (voir notamment le chapitre 2 du rapport de synthèse).

| 84. | Le nombre de bénéficiaires estimés dans le tableau mentionné repose sur les informations fournies par les systèmes de suivi des États membres. Les difficultés rencontrées en ce qui concerne la précision de certaines données n’ont pas eu d’influence significative sur les observations utiles émises.
  Le nombre total des bénéficiaires ne joue un rôle que sous l’angle de: i) l’obligation de rendre des comptes, ii) l’analyse des relations entrées/sorties limitées.
  L’évaluation ex post ne reposait pas sur des sources d’information uniques pour les conclusions et les recommandations. |
| --- | --- |

84.

Le nombre de bénéficiaires estimés dans le tableau mentionné repose sur les informations fournies par les systèmes de suivi des États membres. Les difficultés rencontrées en ce qui concerne la précision de certaines données n’ont pas eu d’influence significative sur les observations utiles émises.

Le nombre total des bénéficiaires ne joue un rôle que sous l’angle de: i) l’obligation de rendre des comptes, ii) l’analyse des relations entrées/sorties limitées.

L’évaluation ex post ne reposait pas sur des sources d’information uniques pour les conclusions et les recommandations.

| 85. | La Commission reconnaît qu’il y a eu des problèmes dans l’estimation du nombre de bénéficiaires du FSE. Néanmoins, elle considère que le tableau contient des données utiles pour les décideurs.
  Même si l’évaluateur ex post a déjà cité, de manière tout à fait correcte, les deux sources d’information utilisées pour établir le tableau, une explication plus complète sur la façon dont les chiffres ont été obtenus aurait néanmoins été utile. |
| --- | --- |

85.

La Commission reconnaît qu’il y a eu des problèmes dans l’estimation du nombre de bénéficiaires du FSE. Néanmoins, elle considère que le tableau contient des données utiles pour les décideurs.

Même si l’évaluateur ex post a déjà cité, de manière tout à fait correcte, les deux sources d’information utilisées pour établir le tableau, une explication plus complète sur la façon dont les chiffres ont été obtenus aurait néanmoins été utile.

| 86. | Les commentaires figurant dans le texte renvoient à des informations plus détaillées que celles présentées dans le tableau joint. Ce tableau contient des moyennes tandis que le texte fournit une ventilation par sous-catégorie.
  La Commission est d’avis que l’absence de fourchette ne limite pas la valeur de l’analyse. |
| --- | --- |

86.

Les commentaires figurant dans le texte renvoient à des informations plus détaillées que celles présentées dans le tableau joint. Ce tableau contient des moyennes tandis que le texte fournit une ventilation par sous-catégorie.

La Commission est d’avis que l’absence de fourchette ne limite pas la valeur de l’analyse.

| 87. | Le chapitre 3 vise à procurer des informations contextuelles pour les actions du FSE et c’est en fait le chapitre 2 qui contient la majeure partie des données chiffrées concernant le FSE. |
| --- | --- |

87.

Le chapitre 3 vise à procurer des informations contextuelles pour les actions du FSE et c’est en fait le chapitre 2 qui contient la majeure partie des données chiffrées concernant le FSE.

| Encadré 3. | Ce nombre limité de discordances textuelles ne nuit pas à la précision et à l’utilité des données du tableau. |
| --- | --- |

Encadré 3.

Ce nombre limité de discordances textuelles ne nuit pas à la précision et à l’utilité des données du tableau.

| 88. | Il est clair que le tableau confirme globalement les hypothèses identifiées.
  Il ressort de l’examen du tableau 3 que:






  a) | le nombre maximal de cas dans lesquels l’hypothèse est infirmée est de 1 sur 30; |
| --- | --- | --- |

88.

Il est clair que le tableau confirme globalement les hypothèses identifiées.

Il ressort de l’examen du tableau 3 que:

a)

le nombre maximal de cas dans lesquels l’hypothèse est infirmée est de 1 sur 30;

| b) | les deux tiers au moins des scores figurent dans les catégories «Éléments probants convaincants confirmant l’hypothèse»ou «Quelques éléments probants confirmant l’hypothèse» (20/30, 21/30, 22/30 et 26/30). |
| --- | --- |

b)

les deux tiers au moins des scores figurent dans les catégories «Éléments probants convaincants confirmant l’hypothèse»ou «Quelques éléments probants confirmant l’hypothèse» (20/30, 21/30, 22/30 et 26/30).

| 89. | Un aspect légitime de travail d’évaluation consiste également à identifier les déficiences dans les données.
  Le cahier des charges mentionne clairement que l’évaluation doit être essentiellement documentaire sur la base de données secondaires (données et informations disponibles dans les évaluations à mi-parcours et finales et dans les rapports et systèmes de suivi des autorités de gestion) et que les évaluateurs ne doivent pas se lancer dans une vaste collecte d’informations primaires. L’organisation de vastes travaux de terrain et enquêtes par sondage complémentaires aurait nécessité des ressources supplémentaires et aurait engendré un surcoût élevé, compte tenu, en particulier, de la nécessité de collecter des informations concernant la période de programmation tout entière. La prochaine évaluation ex post du FSE pour 2000-2006 sera précédée par une analyse préparatoire. |
| --- | --- |

89.

Un aspect légitime de travail d’évaluation consiste également à identifier les déficiences dans les données.

Le cahier des charges mentionne clairement que l’évaluation doit être essentiellement documentaire sur la base de données secondaires (données et informations disponibles dans les évaluations à mi-parcours et finales et dans les rapports et systèmes de suivi des autorités de gestion) et que les évaluateurs ne doivent pas se lancer dans une vaste collecte d’informations primaires. L’organisation de vastes travaux de terrain et enquêtes par sondage complémentaires aurait nécessité des ressources supplémentaires et aurait engendré un surcoût élevé, compte tenu, en particulier, de la nécessité de collecter des informations concernant la période de programmation tout entière. La prochaine évaluation ex post du FSE pour 2000-2006 sera précédée par une analyse préparatoire.

| 90. | Le rapport de synthèse contient plusieurs références à l’importance des «mesures combinées» en termes d’efficacité. |
| --- | --- |

90.

Le rapport de synthèse contient plusieurs références à l’importance des «mesures combinées» en termes d’efficacité.

| 92. | Tout d’abord, les évaluateurs choisissent soigneusement les termes qu’ils utilisent, soulignant que les conclusions qu’ils tirent sont provisoires: «l’affectation combinée de crédits nationaux et de ressources du FSE ne semble avoir permis ni une convergence [...]». Ensuite, les chiffres (tableaux du chapitre 3 et annexe 2) montrent bien qu’il n’y a pas de convergence des modèles de dépenses des pays dans l’affectation combinée de crédits nationaux. Enfin, comme il est mentionné précédemment dans la réponse au point 87 (encadré 3 compris), les données présentées dans les tableaux du chapitre 3 mentionnés par la Cour sont précises et confirment l’observation qualifiée émise par les évaluateurs. Cette observation repose également sur l’analyse des tendances du marché du travail présentée à l’annexe 2 du rapport de synthèse (pas seulement au chapitre 3). La Commission a déjà indiqué que les exemples fournis concernaient un nombre limité de discordances textuelles qui ne nuisent pas aux chiffres. |
| --- | --- |

92.

Tout d’abord, les évaluateurs choisissent soigneusement les termes qu’ils utilisent, soulignant que les conclusions qu’ils tirent sont provisoires: «l’affectation combinée de crédits nationaux et de ressources du FSE ne semble avoir permis ni une convergence [...]». Ensuite, les chiffres (tableaux du chapitre 3 et annexe 2) montrent bien qu’il n’y a pas de convergence des modèles de dépenses des pays dans l’affectation combinée de crédits nationaux. Enfin, comme il est mentionné précédemment dans la réponse au point 87 (encadré 3 compris), les données présentées dans les tableaux du chapitre 3 mentionnés par la Cour sont précises et confirment l’observation qualifiée émise par les évaluateurs. Cette observation repose également sur l’analyse des tendances du marché du travail présentée à l’annexe 2 du rapport de synthèse (pas seulement au chapitre 3). La Commission a déjà indiqué que les exemples fournis concernaient un nombre limité de discordances textuelles qui ne nuisent pas aux chiffres.

| 93. | Comme dans le cas du tableau 3 consacré aux personnes (mentionné au point 88), il est clair que les données confirment globalement les hypothèses identifiées. |
| --- | --- |

93.

Comme dans le cas du tableau 3 consacré aux personnes (mentionné au point 88), il est clair que les données confirment globalement les hypothèses identifiées.

| 95. | La Commission estime que son évaluation de qualité était précise et équilibrée, tenant compte des aspects tant positifs que négatifs des travaux effectués (au lieu de se concentrer uniquement sur un nombre limité d’aspects négatifs).
  Compte tenu de ce qui précède, et du fait que les résultats et conclusions reposaient sur diverses sources d’information, la Commission maintient son évaluation de qualité. |
| --- | --- |

95.

La Commission estime que son évaluation de qualité était précise et équilibrée, tenant compte des aspects tant positifs que négatifs des travaux effectués (au lieu de se concentrer uniquement sur un nombre limité d’aspects négatifs).

Compte tenu de ce qui précède, et du fait que les résultats et conclusions reposaient sur diverses sources d’information, la Commission maintient son évaluation de qualité.

| 97. | a) | Il n’est pas étonnant que certains résultats d’évaluation soit d’une nature qualitative du fait que l’évaluation utilise des sources secondaires qui ont été résumées et des sources primaires qui sont d’une nature qualitative (entretiens avec les parties prenantes et ateliers nationaux sur les résultats d’évaluation). Dans certains cas, la description des résultats ne peut être que de nature qualitative. L’estimation de l’effet d’aubaine n’était pas un sujet d’analyse obligatoire pour les États membres au cours de la période de programmation 1994-1999 et elle n’était pas non plus prévue par le cahier des charges de l’évaluation. Il en découle logiquement que l’évaluation ex post en elle-même ne pouvait rendre compte que des estimations de l’effet d’aubaine dont elle disposait. |
| --- | --- | --- |

97.

a)

Il n’est pas étonnant que certains résultats d’évaluation soit d’une nature qualitative du fait que l’évaluation utilise des sources secondaires qui ont été résumées et des sources primaires qui sont d’une nature qualitative (entretiens avec les parties prenantes et ateliers nationaux sur les résultats d’évaluation). Dans certains cas, la description des résultats ne peut être que de nature qualitative. L’estimation de l’effet d’aubaine n’était pas un sujet d’analyse obligatoire pour les États membres au cours de la période de programmation 1994-1999 et elle n’était pas non plus prévue par le cahier des charges de l’évaluation. Il en découle logiquement que l’évaluation ex post en elle-même ne pouvait rendre compte que des estimations de l’effet d’aubaine dont elle disposait.

| b) | Le rapport du Royaume-Uni apporte de nombreux éléments probants sur les effets difficilement quantifiables.
  D’autres rapports nationaux font également référence à cette notion. |
| --- | --- |

b)

Le rapport du Royaume-Uni apporte de nombreux éléments probants sur les effets difficilement quantifiables.

D’autres rapports nationaux font également référence à cette notion.

| c) | Le rapport de synthèse, ainsi que les rapports nationaux sur lesquels celui-ci est fondé, comportent de nombreuses observations sur le contenu de l’action (sur le plan financier, par groupe cible, par type de mesures) et la performance du FSE et des commentaires découlant des rapports d’évaluation nationaux ou des entretiens avec les parties prenantes.
  Des informations sur la performance peuvent également être tirées des études de cas. |
| --- | --- |

c)

Le rapport de synthèse, ainsi que les rapports nationaux sur lesquels celui-ci est fondé, comportent de nombreuses observations sur le contenu de l’action (sur le plan financier, par groupe cible, par type de mesures) et la performance du FSE et des commentaires découlant des rapports d’évaluation nationaux ou des entretiens avec les parties prenantes.

Des informations sur la performance peuvent également être tirées des études de cas.

| d) | Le développement durable n’était pas encore une priorité politique pour les Fonds structurels lors de la mise en place des programmes pour la période 1994-1999, de sorte que ce thème n’était pas mentionné en tant que tel dans le cahier des charges.
  La cohésion socio-économique ne figure pas dans le cahier des charges: ce sujet a été abordé dans le rapport sur la cohésion. |
| --- | --- |

d)

Le développement durable n’était pas encore une priorité politique pour les Fonds structurels lors de la mise en place des programmes pour la période 1994-1999, de sorte que ce thème n’était pas mentionné en tant que tel dans le cahier des charges.

La cohésion socio-économique ne figure pas dans le cahier des charges: ce sujet a été abordé dans le rapport sur la cohésion.

| e) | Chacun des rapports nationaux examinés par la Cour traite abondamment des chômeurs de longue durée et des jeunes. Le rapport de synthèse contient en outre des informations sur les deux «groupes cibles» susmentionnés. |
| --- | --- |

e)

Chacun des rapports nationaux examinés par la Cour traite abondamment des chômeurs de longue durée et des jeunes. Le rapport de synthèse contient en outre des informations sur les deux «groupes cibles» susmentionnés.

| f) | Comme il a déjà été indiqué, les évaluateurs ex post étaient tributaires à certains égards des informations fournies par les États membres. Le manque d’«objectifs de départ spécifiques» pour certains programmes a constitué une autre difficulté pour les évaluateurs. |
| --- | --- |

f)

Comme il a déjà été indiqué, les évaluateurs ex post étaient tributaires à certains égards des informations fournies par les États membres. Le manque d’«objectifs de départ spécifiques» pour certains programmes a constitué une autre difficulté pour les évaluateurs.

| g) | Les évaluateurs ex post du FSE et du FEDER ont collaboré et les évaluateurs ex post du FSE ont utilisé les rapports fournis par les évaluateurs de l’objectif no 1. L’augmentation de la productivité des bénéficiaires du FSE en termes d’avantages pour les entreprises qui les emploient ne devait pas être obligatoirement abordée par les États membres dans leur travail d’évaluation au cours de la période de programmation 1994-1999 et ce thème ne figurait pas non plus dans le cahier des charges. Ainsi, il n’est pas étonnant que ce thème n’apparaisse qu’occasionnellement. |
| --- | --- |

g)

Les évaluateurs ex post du FSE et du FEDER ont collaboré et les évaluateurs ex post du FSE ont utilisé les rapports fournis par les évaluateurs de l’objectif no 1. L’augmentation de la productivité des bénéficiaires du FSE en termes d’avantages pour les entreprises qui les emploient ne devait pas être obligatoirement abordée par les États membres dans leur travail d’évaluation au cours de la période de programmation 1994-1999 et ce thème ne figurait pas non plus dans le cahier des charges. Ainsi, il n’est pas étonnant que ce thème n’apparaisse qu’occasionnellement.

| 98. | Le rapport de synthèse a recensé de nombreux facteurs ayant une incidence sur le développement des politiques actives du marché de l’emploi (PAMT), comme le niveau des ressources du FSE, les procédures de planification des Fonds structurels ou les dispositions organisationnelles pour le FSE. De plus, il a décrit assez concrètement l’influence du FSE dans le contexte de la Stratégie européenne pour l’emploi (SEE).
  Comme il a déjà été indiqué, l’analyse de l’impact net n’était pas obligatoire pour les États membres en 1994-1999. Par conséquent, il est normal que ce thème ne figure pas dans les rapports d’évaluation de tous les États membres. Comme les évaluateurs avaient été priés de ne pas procéder à une collecte de données primaires à grande échelle, on ne peut critiquer les évaluateurs ex post pour ne pas avoir fourni de telles informations. |
| --- | --- |

98.

Le rapport de synthèse a recensé de nombreux facteurs ayant une incidence sur le développement des politiques actives du marché de l’emploi (PAMT), comme le niveau des ressources du FSE, les procédures de planification des Fonds structurels ou les dispositions organisationnelles pour le FSE. De plus, il a décrit assez concrètement l’influence du FSE dans le contexte de la Stratégie européenne pour l’emploi (SEE).

Comme il a déjà été indiqué, l’analyse de l’impact net n’était pas obligatoire pour les États membres en 1994-1999. Par conséquent, il est normal que ce thème ne figure pas dans les rapports d’évaluation de tous les États membres. Comme les évaluateurs avaient été priés de ne pas procéder à une collecte de données primaires à grande échelle, on ne peut critiquer les évaluateurs ex post pour ne pas avoir fourni de telles informations.

| 100. | Le cadre stratégique renforcé de la SEE contient des objectifs permettant d’évaluer les progrès. On a créé des structures institutionnelles améliorées pour mesurer ces progrès. En outre, la SEE favorise l’établissement de liens plus solides entre les mécanismes de financement des programmes de l’Union européenne et d’autres instruments politiques, règlements et programmes nationaux. |
| --- | --- |

100.

Le cadre stratégique renforcé de la SEE contient des objectifs permettant d’évaluer les progrès. On a créé des structures institutionnelles améliorées pour mesurer ces progrès. En outre, la SEE favorise l’établissement de liens plus solides entre les mécanismes de financement des programmes de l’Union européenne et d’autres instruments politiques, règlements et programmes nationaux.

| 101. | La Commission estime que chaque rapport national a traité des aspects de la valeur ajoutée communautaire mentionnés dans le cahier des charges (effets financiers et de levier, effets politiques et institutionnels, effets socioculturels et variation sur l’ensemble des objectifs). Elle reconnaît toutefois que ces aspects ont parfois été traités dans d’autres sections des rapports nationaux.
  En outre, les rapports nationaux d’évaluation ex post (et le rapport de synthèse sur l’évaluation ex post) intègrent ces différents aspects dans une analyse globale de la valeur ajoutée communautaire. |
| --- | --- |

101.

La Commission estime que chaque rapport national a traité des aspects de la valeur ajoutée communautaire mentionnés dans le cahier des charges (effets financiers et de levier, effets politiques et institutionnels, effets socioculturels et variation sur l’ensemble des objectifs). Elle reconnaît toutefois que ces aspects ont parfois été traités dans d’autres sections des rapports nationaux.

En outre, les rapports nationaux d’évaluation ex post (et le rapport de synthèse sur l’évaluation ex post) intègrent ces différents aspects dans une analyse globale de la valeur ajoutée communautaire.

| 102. | Les rapports nationaux et le rapport de synthèse contiennent un grand nombre d’informations sur les ressources financières qui ont été consacrées à l’action du FSE.
  Dans le cas de l’Espagne et de l’Italie, les évaluateurs sont arrivés à des conclusions globalement positives.
  L’évaluateur ex post pour l’Espagne signale que «l’image générale qui se dégage est que les fonds du FSE ont été utilisés de manière adéquate et efficace par les autorités espagnoles pendant la période 1994-1999. La plupart des programmes ont été pleinement mis en œuvre comme prévu» (p. 74).
  Dans le cas de l’Italie, l’évaluateur conclut que «certains de ces coûts sont nécessaires pour améliorer la performance et la transparence dans le processus de mise en œuvre; d’autres pourraient probablement être réduits au moyen d’une simplification de la procédure». (La question de la simplification des procédures a été prise en compte dans la prochaine période de programmation 2000-2006.) |
| --- | --- |

102.

Les rapports nationaux et le rapport de synthèse contiennent un grand nombre d’informations sur les ressources financières qui ont été consacrées à l’action du FSE.

Dans le cas de l’Espagne et de l’Italie, les évaluateurs sont arrivés à des conclusions globalement positives.

L’évaluateur ex post pour l’Espagne signale que «l’image générale qui se dégage est que les fonds du FSE ont été utilisés de manière adéquate et efficace par les autorités espagnoles pendant la période 1994-1999. La plupart des programmes ont été pleinement mis en œuvre comme prévu» (p. 74).

Dans le cas de l’Italie, l’évaluateur conclut que «certains de ces coûts sont nécessaires pour améliorer la performance et la transparence dans le processus de mise en œuvre; d’autres pourraient probablement être réduits au moyen d’une simplification de la procédure». (La question de la simplification des procédures a été prise en compte dans la prochaine période de programmation 2000-2006.)

| 104. | La Commission estime que ce rapport contient effectivement des informations utiles pour mener les futures évaluations ex post.
  Il examine d’une manière assez complète les méthodes appliquées pour évaluer les actions de type FSE, qu’elles soient ciblées sur les personnes ou les systèmes.
  En ce qui concerne les approches suivies pour évaluer l’impact net sur les personnes, le rapport contient de nombreuses références aux techniques utilisées pour estimer l’impact net sur les personnes (voir en particulier les pages 14-16, tandis que des références complémentaires figurent aux pages 10, 12, 21, etc.). |
| --- | --- |

104.

La Commission estime que ce rapport contient effectivement des informations utiles pour mener les futures évaluations ex post.

Il examine d’une manière assez complète les méthodes appliquées pour évaluer les actions de type FSE, qu’elles soient ciblées sur les personnes ou les systèmes.

En ce qui concerne les approches suivies pour évaluer l’impact net sur les personnes, le rapport contient de nombreuses références aux techniques utilisées pour estimer l’impact net sur les personnes (voir en particulier les pages 14-16, tandis que des références complémentaires figurent aux pages 10, 12, 21, etc.).

| 105. | S’agissant des recommandations en matière d’analyse politique, le rapport sur les méthodes montre clairement que les évaluateurs ont dégagé un certain nombre de recommandations concrètes liées au domaine de l’analyse politique, par exemple un suivi rigoureux des relations entre les interventions du FSE et l’évolution des interventions aux niveaux national et régional.
  En outre, le rapport sur les méthodes étudie de manière assez détaillée les «modèles logiques» pour l’analyse politique et se penche sur des questions d’évaluation concernant la justification de l’action du FSE.
  Les évaluateurs ex post n’étaient pas censés proposer une approche à suivre pour sélectionner les indicateurs appropriés à différents niveaux stratégiques parce que ces indicateurs avaient déjà été définis pour l’ensemble de la période de programmation dans des documents d’orientation diffusés par la Commission en 2000. |
| --- | --- |

105.

S’agissant des recommandations en matière d’analyse politique, le rapport sur les méthodes montre clairement que les évaluateurs ont dégagé un certain nombre de recommandations concrètes liées au domaine de l’analyse politique, par exemple un suivi rigoureux des relations entre les interventions du FSE et l’évolution des interventions aux niveaux national et régional.

En outre, le rapport sur les méthodes étudie de manière assez détaillée les «modèles logiques» pour l’analyse politique et se penche sur des questions d’évaluation concernant la justification de l’action du FSE.

Les évaluateurs ex post n’étaient pas censés proposer une approche à suivre pour sélectionner les indicateurs appropriés à différents niveaux stratégiques parce que ces indicateurs avaient déjà été définis pour l’ensemble de la période de programmation dans des documents d’orientation diffusés par la Commission en 2000.

| 106. | La Commission estime que les tâches d’évaluation sont convenablement explicitées dans le cahier des charges. Les conclusions figurant dans les rapports nationaux d’évaluation ex post reposent sur diverses sources (entretiens, études de cas, etc.). Le rapport de synthèse fournit une analyse globale des résultats contenus dans les rapports nationaux. Le contractant a expliqué de quelle manière étaient utilisées ces sources d’information pour établir des conclusions dans la proposition présentée à la Commission.
  S’il fallait décrire tous les pans de l’action du FSE et déterminer tous les aspects de l’évaluation au préalable, le cahier des charges deviendrait ingérable et rigide.
  S’agissant de l’«action concrète» visant à évaluer l’impact sur les personnes, lorsque les indicateurs ne sont pas véritablement définis ou lorsqu’aucune statistique spécifique n’a été réalisée depuis un certain temps, comme il a été indiqué précédemment, la méthode d’évaluation tout entière appliquée par l’évaluateur ex post était destinée à tirer des conclusions à partir de diverses sources d’information (rapports d’évaluation des États membres, ateliers nationaux, entretiens en tête-à-tête avec les parties prenantes du programme, études de cas).
  L’ampleur du décalage entre les objectifs quantitatifs et les données disponibles n’était pas connue au moment de la rédaction du cahier des charges, de sorte qu’il semble incohérent de s’attendre à ce que le cahier des charges ait été rédigé différemment.
  Le contractant principal a élaboré, en coopération avec les contractants nationaux, des orientations opérationnelles pour les travaux à mener au niveau national. |
| --- | --- |

106.

La Commission estime que les tâches d’évaluation sont convenablement explicitées dans le cahier des charges. Les conclusions figurant dans les rapports nationaux d’évaluation ex post reposent sur diverses sources (entretiens, études de cas, etc.). Le rapport de synthèse fournit une analyse globale des résultats contenus dans les rapports nationaux. Le contractant a expliqué de quelle manière étaient utilisées ces sources d’information pour établir des conclusions dans la proposition présentée à la Commission.

S’il fallait décrire tous les pans de l’action du FSE et déterminer tous les aspects de l’évaluation au préalable, le cahier des charges deviendrait ingérable et rigide.

S’agissant de l’«action concrète» visant à évaluer l’impact sur les personnes, lorsque les indicateurs ne sont pas véritablement définis ou lorsqu’aucune statistique spécifique n’a été réalisée depuis un certain temps, comme il a été indiqué précédemment, la méthode d’évaluation tout entière appliquée par l’évaluateur ex post était destinée à tirer des conclusions à partir de diverses sources d’information (rapports d’évaluation des États membres, ateliers nationaux, entretiens en tête-à-tête avec les parties prenantes du programme, études de cas).

L’ampleur du décalage entre les objectifs quantitatifs et les données disponibles n’était pas connue au moment de la rédaction du cahier des charges, de sorte qu’il semble incohérent de s’attendre à ce que le cahier des charges ait été rédigé différemment.

Le contractant principal a élaboré, en coopération avec les contractants nationaux, des orientations opérationnelles pour les travaux à mener au niveau national.

| 107. | Le cahier des charges ne prévoyait pas que les évaluateurs apprécient le caractère adéquat des décisions de reprogrammation, mais seulement qu’ils en fassent une description. Dans chacun des cas cités, l’évaluateur ex post a décrit les changements affectant la reprogrammation sur la base des informations disponibles. |
| --- | --- |

107.

Le cahier des charges ne prévoyait pas que les évaluateurs apprécient le caractère adéquat des décisions de reprogrammation, mais seulement qu’ils en fassent une description. Dans chacun des cas cités, l’évaluateur ex post a décrit les changements affectant la reprogrammation sur la base des informations disponibles.

| 108. | La possibilité d’une analyse préparatoire est étudiée pour le prochain exercice. |
| --- | --- |

108.

La possibilité d’une analyse préparatoire est étudiée pour le prochain exercice.

| 109. | La Commission considère que les difficultés rencontrées par les évaluateurs nationaux au sujet des données n’ont pas fait baisser la qualité globale de l’évaluation. La conception de l’évaluation prévoyait le recours à diverses sources d’information. Outre une révision du contenu des rapports d’évaluation des États membres, les rapports nationaux d’évaluation ex post comprennent des informations issues de rapports de clôture, d’études de cas, d’ateliers nationaux et d’entretiens en tête-à-tête.
  S’agissant des retards, le groupe de pilotage n’a pas été en mesure d’accélérer la clôture des programmes généraux du FSE, qui sont tributaires de la mise en œuvre par les autorités de gestion.
  Au début de l’évaluation, l’évaluateur ex post a reçu tous les rapports d’évaluation établis par les États membres en 1994-1999. En outre, l’évaluateur ex post a obtenu des lettres d’introduction visant à faciliter ses contacts avec les administrations nationales du FSE. |
| --- | --- |

109.

La Commission considère que les difficultés rencontrées par les évaluateurs nationaux au sujet des données n’ont pas fait baisser la qualité globale de l’évaluation. La conception de l’évaluation prévoyait le recours à diverses sources d’information. Outre une révision du contenu des rapports d’évaluation des États membres, les rapports nationaux d’évaluation ex post comprennent des informations issues de rapports de clôture, d’études de cas, d’ateliers nationaux et d’entretiens en tête-à-tête.

S’agissant des retards, le groupe de pilotage n’a pas été en mesure d’accélérer la clôture des programmes généraux du FSE, qui sont tributaires de la mise en œuvre par les autorités de gestion.

Au début de l’évaluation, l’évaluateur ex post a reçu tous les rapports d’évaluation établis par les États membres en 1994-1999. En outre, l’évaluateur ex post a obtenu des lettres d’introduction visant à faciliter ses contacts avec les administrations nationales du FSE.

| 111. | À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice. |
| --- | --- |

111.

À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice.

CONCLUSIONS

| 115. | b) | L’ampleur de la collecte de données supplémentaires a été limitée par le temps et les ressources disponibles.
  Cependant, une grande quantité de données qualitatives supplémentaires a été collectée, par exemple sur la base d’entretiens et d’ateliers. Les rapports nationaux de clôture et les rapports d’évaluation produits par les États membres pendant la période de programmation 1994-1999 ont également été examinés. |
| --- | --- | --- |

115.

b)

L’ampleur de la collecte de données supplémentaires a été limitée par le temps et les ressources disponibles.

Cependant, une grande quantité de données qualitatives supplémentaires a été collectée, par exemple sur la base d’entretiens et d’ateliers. Les rapports nationaux de clôture et les rapports d’évaluation produits par les États membres pendant la période de programmation 1994-1999 ont également été examinés.

| c) | Diverses sources d’information ont été utilisées afin d’aboutir à des conclusions équilibrées et bien pesées.
  Dans certains cas, la description des résultats ne peut être que de nature qualitative. Mais tel n’a pas toujours été le cas: les résultats d’évaluation contiennent également de nombreuses informations quantitatives. |
| --- | --- |

c)

Diverses sources d’information ont été utilisées afin d’aboutir à des conclusions équilibrées et bien pesées.

Dans certains cas, la description des résultats ne peut être que de nature qualitative. Mais tel n’a pas toujours été le cas: les résultats d’évaluation contiennent également de nombreuses informations quantitatives.

| d) | Les conclusions tirées reposaient sur l’utilisation par les évaluateurs de sources secondaires (qu’ils ont résumées) et de sources primaires d’une nature qualitative (entretiens avec les parties prenantes et ateliers nationaux sur les résultats d’évaluation).
  Voir aussi les réponses aux points 88, 92 et 96. |
| --- | --- |

d)

Les conclusions tirées reposaient sur l’utilisation par les évaluateurs de sources secondaires (qu’ils ont résumées) et de sources primaires d’une nature qualitative (entretiens avec les parties prenantes et ateliers nationaux sur les résultats d’évaluation).

Voir aussi les réponses aux points 88, 92 et 96.

| e) | Une évaluation de l’effet d’aubaine n’était pas prévue dans le cahier des charges.
  En règle générale, un exercice d’évaluation ne peut pas couvrir tous les sujets et doit se concentrer sur les objectifs et domaines prioritaires compte tenu des obligations réglementaires, des contraintes de délais et de ressources et de l’utilisation prévue des résultats. L’expérience de cet exercice et les leçons tirées serviront pour l’évaluation ex post de 2000-2006. |
| --- | --- |

e)

Une évaluation de l’effet d’aubaine n’était pas prévue dans le cahier des charges.

En règle générale, un exercice d’évaluation ne peut pas couvrir tous les sujets et doit se concentrer sur les objectifs et domaines prioritaires compte tenu des obligations réglementaires, des contraintes de délais et de ressources et de l’utilisation prévue des résultats. L’expérience de cet exercice et les leçons tirées serviront pour l’évaluation ex post de 2000-2006.

| 116. | a) | L’examen de cette question a été perturbé par le caractère incertain des chiffres relatifs au secteur privé. |
| --- | --- | --- |

116.

a)

L’examen de cette question a été perturbé par le caractère incertain des chiffres relatifs au secteur privé.

| b) | L’analyse a été limitée par des problèmes de disponibilité des données et le manque de comparabilité résultant des différences de méthodes et de portée. |
| --- | --- |

b)

L’analyse a été limitée par des problèmes de disponibilité des données et le manque de comparabilité résultant des différences de méthodes et de portée.

| c) | On a tenté, d’une certaine manière, d’évaluer l’efficience sur la base d’un nombre limité de projets. |
| --- | --- |

c)

On a tenté, d’une certaine manière, d’évaluer l’efficience sur la base d’un nombre limité de projets.

| d) | Les modèles Hermin ont bien tenu compte des spécificités nationales des économies, mais des travaux complémentaires seront menés pour remédier aux limitations. |
| --- | --- |

d)

Les modèles Hermin ont bien tenu compte des spécificités nationales des économies, mais des travaux complémentaires seront menés pour remédier aux limitations.

La Commission estime que le nombre limité de discordances de rédaction dans le chapitre 3 du rapport ne met pas en question la précision, la validité et l’utilité des données pour étayer les conclusions. Les données figurant dans les tableaux faisant l’objet des observations de la Cour aux points 88 et 92 montrent l’existence de nombreux éléments qui étayent globalement les hypothèses identifiées.

Les difficultés rencontrées en ce qui concerne l’exhaustivité de certaines données n’ont pas eu d’influence significative sur les observations utiles émises.

| 117. | La Commission considère que l’évaluation s’est fondée sur une conception solide recourant à diverses sources d’information et que ses conclusions sont pertinentes.
  À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice.
  Voir la réponse au point 111 ci-dessus. |
| --- | --- |

117.

La Commission considère que l’évaluation s’est fondée sur une conception solide recourant à diverses sources d’information et que ses conclusions sont pertinentes.

À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice.

Voir la réponse au point 111 ci-dessus.

| 118. | À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice. |
| --- | --- |

118.

À l’avenir, la Commission prendra toutes les mesures nécessaires au bon déroulement de la préparation, du suivi rigoureux et de la supervision de l’exercice.

RECOMMANDATIONS

| 119. | Pour les évaluations ex post futures, des analyses préparatoires ou des études de faisabilité seront effectuées pour évaluer la disponibilité des données et déterminer ce qui peut être raisonnablement réalisé dans le respect du budget et du calendrier. |
| --- | --- |

119.

Pour les évaluations ex post futures, des analyses préparatoires ou des études de faisabilité seront effectuées pour évaluer la disponibilité des données et déterminer ce qui peut être raisonnablement réalisé dans le respect du budget et du calendrier.

| 120. | La Commission convient que les procédures concernant le contrôle de la qualité appliquées aux évaluations ex post de la période 1994-1999 doivent être encore améliorées.
  La Commission reconnaît que, pour les prochains exercices d’évaluation ex post des Fonds structurels, une analyse préparatoire pourrait jouer un rôle utile en facilitant le travail des contractants pendant les évaluations proprement dites.






  a) | Les données de base utilisées lors de l’évaluation ex post sont collectées et fournies par les États membres par le biais du système de suivi. La disponibilité de données fiables peut être un problème pour l’évaluation, mais des progrès ont été constatés dans ce domaine pendant la période 2000-2006. |
| --- | --- | --- |

120.

La Commission convient que les procédures concernant le contrôle de la qualité appliquées aux évaluations ex post de la période 1994-1999 doivent être encore améliorées.

La Commission reconnaît que, pour les prochains exercices d’évaluation ex post des Fonds structurels, une analyse préparatoire pourrait jouer un rôle utile en facilitant le travail des contractants pendant les évaluations proprement dites.

a)

Les données de base utilisées lors de l’évaluation ex post sont collectées et fournies par les États membres par le biais du système de suivi. La disponibilité de données fiables peut être un problème pour l’évaluation, mais des progrès ont été constatés dans ce domaine pendant la période 2000-2006.

| b) | Le cahier des charges doit permettre à la Commission d’évaluer la capacité du candidat à effectuer l’évaluation et de déterminer si la combinaison particulière des méthodes et techniques proposées est à même de produire les résultats requis.
  La Commission partage l’avis de la Cour aux termes duquel le cahier des charges joue un rôle important dans la qualité des résultats d’évaluation. |
| --- | --- |

b)

Le cahier des charges doit permettre à la Commission d’évaluer la capacité du candidat à effectuer l’évaluation et de déterminer si la combinaison particulière des méthodes et techniques proposées est à même de produire les résultats requis.

La Commission partage l’avis de la Cour aux termes duquel le cahier des charges joue un rôle important dans la qualité des résultats d’évaluation.

| c) | Compte tenu des contraintes de temps et des contraintes budgétaires, les évaluations ex post futures se concentreront davantage sur les grandes questions d’évaluation et seront préparées et lancées plus tôt que pour l’exercice 1994-1999. |
| --- | --- |

c)

Compte tenu des contraintes de temps et des contraintes budgétaires, les évaluations ex post futures se concentreront davantage sur les grandes questions d’évaluation et seront préparées et lancées plus tôt que pour l’exercice 1994-1999.

Sur la base l’expérience de 1994-1999, les dispositions en matière de suivi et de supervision seront renforcées et le processus sera lancé plus tôt.

| 121. | La Commission considère que les modèles macroéconomiques sont appropriés pour estimer l’impact économique des interventions à grande échelle. Le modèle Hermin a été conçu spécifiquement à cette fin au début des années 1990. Cependant, comme pour tout modèle économique, il faudra lui apporter de nouvelles améliorations, notamment en ce qui concerne les microdonnées pour l’estimation des retombées économiques des investissements dans le capital physique et humain. La Commission considère que l’évaluation ex post future devrait être plus ciblée. |
| --- | --- |

121.

La Commission considère que les modèles macroéconomiques sont appropriés pour estimer l’impact économique des interventions à grande échelle. Le modèle Hermin a été conçu spécifiquement à cette fin au début des années 1990. Cependant, comme pour tout modèle économique, il faudra lui apporter de nouvelles améliorations, notamment en ce qui concerne les microdonnées pour l’estimation des retombées économiques des investissements dans le capital physique et humain. La Commission considère que l’évaluation ex post future devrait être plus ciblée.

| 122. | La Commission convient que les évaluations ex post doivent pleinement tenir compte des études thématiques existantes. Quand on les utilise, les évaluations ex post et les études thématiques ont des finalités différentes et peuvent dès lors donner lieu à des estimations divergentes. |
| --- | --- |

122.

La Commission convient que les évaluations ex post doivent pleinement tenir compte des études thématiques existantes. Quand on les utilise, les évaluations ex post et les études thématiques ont des finalités différentes et peuvent dès lors donner lieu à des estimations divergentes.

| 123. | a) | La Commission convient que les investissements privés constituent un moteur essentiel pour le développement économique. Cependant, l’expérience montre que l’influence du secteur privé varie d’un pays à l’autre en fonction des conditions économiques spécifiques. |
| --- | --- | --- |

123.

a)

La Commission convient que les investissements privés constituent un moteur essentiel pour le développement économique. Cependant, l’expérience montre que l’influence du secteur privé varie d’un pays à l’autre en fonction des conditions économiques spécifiques.

| b) | Cette approche n’est pas applicable de manière universelle du fait que les conditions économiques dans les États membres et les régions varient considérablement. |
| --- | --- |

b)

Cette approche n’est pas applicable de manière universelle du fait que les conditions économiques dans les États membres et les régions varient considérablement.

| c) | La Commission est consciente du fait que des travaux systématiques plus approfondis sont nécessaires dans ce domaine extrêmement complexe. |
| --- | --- |

c)

La Commission est consciente du fait que des travaux systématiques plus approfondis sont nécessaires dans ce domaine extrêmement complexe.

| d) | La Commission est consciente du fait que des travaux plus approfondis sont nécessaires dans ce domaine. |
| --- | --- |

d)

La Commission est consciente du fait que des travaux plus approfondis sont nécessaires dans ce domaine.

| e) | Les rapports d’évaluation ex post commandés par les États membres ont été l’une des sources d’informations primaires pour les évaluations de 1994-1999. Bien que la responsabilité de l’évaluation ex post incombe en premier lieu à la Commission, la coopération avec les États membres doit être renforcée à l’avenir et les évaluations internes pourraient jouer un rôle plus important. |
| --- | --- |

e)

Les rapports d’évaluation ex post commandés par les États membres ont été l’une des sources d’informations primaires pour les évaluations de 1994-1999. Bien que la responsabilité de l’évaluation ex post incombe en premier lieu à la Commission, la coopération avec les États membres doit être renforcée à l’avenir et les évaluations internes pourraient jouer un rôle plus important.

| 124. | La Commission prend des mesures pour améliorer sa supervision du processus. |
| --- | --- |

124.

La Commission prend des mesures pour améliorer sa supervision du processus.

| 125. | La Commission convient que les évaluations ex post des FS devraient exploiter pleinement les connaissances acquises sur toute une période de programmation, ce pourquoi elle accepte l’idée qu’une analyse préparatoire pourrait contribuer à faciliter la tâche des contractants et à améliorer la qualité des prochaines évaluations ex post des FS.
  La Commission collabore déjà largement avec les instituts de recherche et les universités, et elle est disposée à envisager de nouvelles missions aux fins visées par la Cour. |
| --- | --- |

125.

La Commission convient que les évaluations ex post des FS devraient exploiter pleinement les connaissances acquises sur toute une période de programmation, ce pourquoi elle accepte l’idée qu’une analyse préparatoire pourrait contribuer à faciliter la tâche des contractants et à améliorer la qualité des prochaines évaluations ex post des FS.

La Commission collabore déjà largement avec les instituts de recherche et les universités, et elle est disposée à envisager de nouvelles missions aux fins visées par la Cour.

---

| 12.12.2006 | FR | Journal officiel de l’Union européenne | C 302/41 |
| --- | --- | --- | --- |

12.12.2006

FR

Journal officiel de l’Union européenne

C 302/41

---

AVIS N
  o 6/2006

sur une proposition de décision du Parlement européen et du Conseil modifiant et prolongeant la décision no 804/2004/CE du Parlement européen et du Conseil établissant un programme d’action communautaire pour la promotion d’actions dans le domaine de la protection des intérêts financiers de la Communauté (programme «Hercule II»)

(présenté en vertu de l’article 248, paragraphe 4, deuxième alinéa, du traité CE)

(2006/C 302/02)

LA COUR DES COMPTES DES COMMUNAUTÉS EUROPÉENNES,

vu le traité instituant la Communauté européenne, notamment son article 280, paragraphe 4,

vu la proposition de décision du Parlement européen et du Conseil modifiant et prolongeant le programme d’action communautaire pour la promotion d’actions dans le domaine de la protection des intérêts financiers de la Communauté (1),

vu la demande d’avis sur cette proposition adressée par le Conseil à la Cour des comptes et reçue par celle-ci le 14 juillet 2006,

vu l’avis no 8/2003 de la Cour des comptes du 11 novembre 2003 sur le programme d’action communautaire initial,

considérant que la décision proposée est fondée sur l’article 280, paragraphe 4, du traité, qui dispose que «le Conseil [...] arrête, après consultation de la Cour des comptes, les mesures nécessaires dans les domaines de la prévention de la fraude portant atteinte aux intérêts financiers de la Communauté, et de la lutte contre cette fraude»;

considérant que la proposition de la Commission a pour objectif premier de reconduire le programme Hercule (2) pour une nouvelle période de sept ans (2007-2013). L’enveloppe indicative de 98,5 millions d’euros conduit à des tranches annuelles moyennes d’environ 14 millions d’euros. Le programme fournit à l’OLAF les moyens financiers nécessaires au fonctionnement de la plate-forme de services mise à la disposition des États membres afin de soutenir la coordination de la lutte anti-fraude dans l’Union européenne (3),

A ADOPTÉ L’AVIS SUIVANT:

| 1. | Les principaux volets du programme (assistance technique, actions de formation et échanges d’informations sur le plan juridique dans le domaine de la lutte contre la fraude) n’ont pas été évalués suivant les dispositions de l’article 27, paragraphe 3, du règlement financier, qui exigent que la réalisation des objectifs soit contrôlée à l’aide d’indicateurs de performance. Au lieu de cela, les actions ont plutôt été jaugées en termes de niveau d’activité, sans indicateurs mesurables. Il reste donc difficile de déterminer si les résultats escomptés ont été atteints et quel est l’impact du programme. |
| --- | --- |

1.

Les principaux volets du programme (assistance technique, actions de formation et échanges d’informations sur le plan juridique dans le domaine de la lutte contre la fraude) n’ont pas été évalués suivant les dispositions de l’article 27, paragraphe 3, du règlement financier, qui exigent que la réalisation des objectifs soit contrôlée à l’aide d’indicateurs de performance. Au lieu de cela, les actions ont plutôt été jaugées en termes de niveau d’activité, sans indicateurs mesurables. Il reste donc difficile de déterminer si les résultats escomptés ont été atteints et quel est l’impact du programme.

| 2. | L’article 7, point a), de la proposition dispose que l’OLAF est tenu d’établir un rapport sur l’exécution du programme et l’opportunité de sa poursuite pour le 31 décembre 2010 au plus tard. L’article 7, point b), repousse l’évaluation de la réalisation du programme au 31 décembre 2014. La Cour estime que cette date est trop lointaine. Elle propose donc qu’une évaluation indépendante ait lieu au plus tard en 2010 et que celle-ci comprenne une évaluation intermédiaire de la réalisation des objectifs du programme. En outre, les informations concernant les actions financées et les résultats obtenus dans le cadre du programme Hercule II devraient figurer dans le rapport annuel présenté par la Commission conformément aux dispositions de l’article 280, paragraphe 5, du traité. Les critères généraux figurant dans l'annexe jointe à la proposition devraient être rendus plus clairs et plus spécifiques afin de faciliter, le cas échéant, l’évaluation du programme. |
| --- | --- |

2.

L’article 7, point a), de la proposition dispose que l’OLAF est tenu d’établir un rapport sur l’exécution du programme et l’opportunité de sa poursuite pour le 31 décembre 2010 au plus tard. L’article 7, point b), repousse l’évaluation de la réalisation du programme au 31 décembre 2014. La Cour estime que cette date est trop lointaine. Elle propose donc qu’une évaluation indépendante ait lieu au plus tard en 2010 et que celle-ci comprenne une évaluation intermédiaire de la réalisation des objectifs du programme. En outre, les informations concernant les actions financées et les résultats obtenus dans le cadre du programme Hercule II devraient figurer dans le rapport annuel présenté par la Commission conformément aux dispositions de l’article 280, paragraphe 5, du traité. Les critères généraux figurant dans l'annexe jointe à la proposition devraient être rendus plus clairs et plus spécifiques afin de faciliter, le cas échéant, l’évaluation du programme.

| 3. | Les marchés publics prévus au titre V du règlement financier offrent à l’OLAF la possibilité de gérer le programme. Cette procédure doit être accueillie favorablement, car elle peut permettre à l’Office une meilleure maîtrise de l’exécution du programme. |
| --- | --- |

3.

Les marchés publics prévus au titre V du règlement financier offrent à l’OLAF la possibilité de gérer le programme. Cette procédure doit être accueillie favorablement, car elle peut permettre à l’Office une meilleure maîtrise de l’exécution du programme.

| 4. | La structure du programme présentée dans la fiche financière législative s’articule autour d’objectifs opérationnels, eux-mêmes décomposés en actions. Cette structure répond en apparence aux exigences des dispositions de l’article 27, paragraphe 3, du règlement financier. L’articulation présentée dans la fiche législative ne correspond cependant pas à la structure de gestion du programme (qui comprend trois composantes distinctes). La nomination d’un coordonnateur du programme n’est pas de nature à permettre de rendre compte clairement de la réalisation d’objectifs à la fois formels et divers, tout comme d’actions qui ne correspondent pas à la réalité concrète de la gestion. Il serait dès lors souhaitable que les objectifs énoncés soient reformulés et qu’ils soient davantage reliés aux buts effectivement poursuivis par les gestionnaires. Faute de quoi, des indicateurs de performance risquent bien de se révéler très difficiles à mettre en place. |
| --- | --- |

4.

La structure du programme présentée dans la fiche financière législative s’articule autour d’objectifs opérationnels, eux-mêmes décomposés en actions. Cette structure répond en apparence aux exigences des dispositions de l’article 27, paragraphe 3, du règlement financier. L’articulation présentée dans la fiche législative ne correspond cependant pas à la structure de gestion du programme (qui comprend trois composantes distinctes). La nomination d’un coordonnateur du programme n’est pas de nature à permettre de rendre compte clairement de la réalisation d’objectifs à la fois formels et divers, tout comme d’actions qui ne correspondent pas à la réalité concrète de la gestion. Il serait dès lors souhaitable que les objectifs énoncés soient reformulés et qu’ils soient davantage reliés aux buts effectivement poursuivis par les gestionnaires. Faute de quoi, des indicateurs de performance risquent bien de se révéler très difficiles à mettre en place.

| 5. | À la suite d’actions entreprises par OLAF en matière de lutte contre la contrebande de cigarettes, un accord a été conclu le 9 juin 2004 entre la Commission, dix États membres et un grand industriel du secteur du tabac (4). Cet accord prévoit le versement, par l’industriel, d’une somme d’environ 1,25 milliard de dollars américains sur une période de douze ans. Cette somme, que la Commission partage avec les États signataires de l’accord, doit notamment «servir de source de financement complémentaire pour des initiatives de lutte contre la contrebande et la contrefaçon». C’est ainsi que le budget annuel du programme Hercule II comprend un montant d’environ 6 millions d’euros au titre de l’accord. Même s’il faut se féliciter de l’octroi de fonds supplémentaires à la lutte contre la fraude dans le secteur du tabac, des mesures appropriées devraient être prises pour s’assurer de la disponibilité de ressources suffisantes pour lutter contre la fraude dans d’autres secteurs tout aussi sensibles. |
| --- | --- |

5.

À la suite d’actions entreprises par OLAF en matière de lutte contre la contrebande de cigarettes, un accord a été conclu le 9 juin 2004 entre la Commission, dix États membres et un grand industriel du secteur du tabac (4). Cet accord prévoit le versement, par l’industriel, d’une somme d’environ 1,25 milliard de dollars américains sur une période de douze ans. Cette somme, que la Commission partage avec les États signataires de l’accord, doit notamment «servir de source de financement complémentaire pour des initiatives de lutte contre la contrebande et la contrefaçon». C’est ainsi que le budget annuel du programme Hercule II comprend un montant d’environ 6 millions d’euros au titre de l’accord. Même s’il faut se féliciter de l’octroi de fonds supplémentaires à la lutte contre la fraude dans le secteur du tabac, des mesures appropriées devraient être prises pour s’assurer de la disponibilité de ressources suffisantes pour lutter contre la fraude dans d’autres secteurs tout aussi sensibles.

Le présent avis a été adopté par la Cour des comptes à Luxembourg en sa réunion du 26 octobre 2006.

Par la Cour des comptes

Hubert WEBER

Président

---

(1)  COM(2006) 339 final du 28 juin 2006.

1

(2)  Décision no 804/2004/CE du Parlement et du Conseil (JO L 143 du 30.4.2004, p. 9).

2

o

(3)  Rapport spécial no 1/2005 de la Cour des comptes, points 50 et 76 (JO C 202 du 18.8.2005).

3

o

(4)  Philip Morris Group (PMI).

4

---