FR Journal officiel de l’Union européenne C 302/1

RAPPORT SPÉCIAL N o 10/2006

relatif aux évaluations ex post des programmes relevant des objectifs nos 1 et 3 pour la période 1994-1999 (Fonds structurels), accompagné des réponses de la Commission

(présenté en vertu de l’article 248, paragraphe 4, deuxième alinéa, du traité CE)

(2006/C 302/01)

TABLE DES MATIÈRES

Glossaire

I-XI SYNTHÈSE

1-9 INTRODUCTION

6-9 Cadre de l’évaluation

7-9 Objectifs fondamentaux assignés à chaque évaluation

10-14 ÉTENDUE DE L’AUDIT

15-80 ÉVALUATION EX POST DE L’OBJECTIF N o 1 PAR LA DIRECTION GÉNÉRALE DE LA POLITIQUE RÉGIONALE

16-66 L’appréciation de la Cour concernant la qualité de l’évaluation

16 Remarques préliminaires

17-20 Évolution des problèmes auxquels les régions sont confrontées depuis 1994

21-28 Adéquation des stratégies adoptées

29-40 Évaluation de l’efficacité

41-44 Évaluation de l’efficience

45-53 Évaluation de l’impact des Fonds structurels

54-66 Évaluation des systèmes de gestion

67-75 Adéquation du cadre d’évaluation

67-70 Cahier des charges

71-75 Adéquation de la supervision par la Commission

76-80 Pertinence des recommandations pour l’évaluation des périodes de programmation suivantes

81-113 ÉVALUATION EX POST DES ACTIVITÉS DU FSE (DANS LE CADRE DES OBJECTIFS N OS 1 ET 3) PAR LA DIRECTION GÉNÉRALE DE L’EMPLOI, DES AFFAIRES SOCIALES ET DE L’ÉGALITÉ DES CHANCES

82-113 L’appréciation de la Cour concernant la qualité de l’évaluation

82-87 Revue des insuffisances affectant les données et l’analyse

88 Évaluation de l’impact des interventions du FSE

89 Évaluation relative à l’égalité des chances

90-93 Autres aspects examinés

94-96 Commentaires sur l’appréciation globale de la Commission

97-102 Autres informations tirées des rapports nationaux

103-110 Adéquation du cadre pour l’évaluation

111-113 Recommandations concluant l’évaluation

114-118 CONCLUSIONS

119-125 RECOMMANDATIONS

ANNEXES:

Annexe I — Ventilation de l’aide allouée dans le cadre des Fonds structurels

Annexe II — PIB et taux d’emploi

Annexe III — Croissance du PIB et Fonds structurels

Annexe IV — Simulations de Hermin et chômage

Réponses de la Commission

GLOSSAIRE ADAPT Adaptation de la main-d’œuvre au changement industriel (initiative communautaire visant à favoriser l’emploi et l’adaptation de la main-d’œuvre au changement industriel) CCA Cadre communautaire d’appui Comités de suivi Comités chargés de superviser la mise en œuvre stratégique du programme de financement DOCUP Document unique de programmation Effet d’aubaine Les changements observés parmi les bénéficiaires directs d’une intervention publique ou signalés par ceux-ci à la suite d’une intervention publique, mais qui se seraient produits même sans cette intervention Effet de déplacement Effet obtenu dans une région éligible au détriment d’une autre région FEDER Fonds européen de développement régional FSE Fonds social européen IFOP Instrument financier d’orientation de la pêche Modèle Hermin Modèle macroéconomique utilisé pour simuler les répercussions des interventions relevant des Fonds structurels PAMT Politiques actives du marché de l’emploi PME Petites et moyennes entreprises PO Programme opérationnel Rapport de démarrage Rapport comportant des questions d’ordre méthodologique, comme les objectifs d’évaluation, le cadre méthodologique, les questionnaires et les organisations à contacter Rapport de synthèse Rapports finals élaborés par la direction générale de la politique régionale (pour l’objectif no 1) et la direction générale de l’emploi et des affaires sociales (pour l’objectif no 3) concernant l’évaluation ex post des opérations financées par le FEDER et le FSE RDT Recherche et développement technologique

SYNTHÈSE

I. L’audit a porté sur les évaluations ex post réalisées par la Commission en ce qui concerne les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Le montant total de ces interventions s’est élevé à plus de 245 milliards d’euros, qui comprenaient des investissements conjoints des secteurs privé et public.

II. Une évaluation ex post sert à comparer les effets des dépenses réelles par rapport aux objectifs de départ. Ce mécanisme permet d’exploiter les informations collectées au cours d’une période de programmation donnée afin de rendre les dépenses des Fonds structurels plus efficaces à l’avenir. Les évaluations ex post ont été effectuées par la Commission et par des consultants externes recrutés à cet effet.

III. L’audit visait à déterminer si, à l’issue des évaluations ex post, la Commission avait été en mesure d’évaluer les effets des interventions par rapport aux objectifs fixés et si les résultats et les recommandations de ces évaluations avaient été utiles pour la révision des programmes à partir de 2000.

IV. Le présent audit s’est fondé sur les rapports de synthèse finals relatifs à chacun des fonds. Ces rapports présentent une synthèse de l’évaluation globale de l’impact des fonds et recensent les éléments qui devraient être pertinents au moment de prendre des décisions concernant les périodes de programmation ultérieures. L’étape suivante de l’audit a consisté à évaluer la mesure dans laquelle les déficiences constatées pouvaient être imputées à des faiblesses du cahier des charges ou à d’éventuels problèmes qui seraient survenus au cours du processus d’évaluation.

V. Évaluer les dépenses des Fonds structurels est un processus intrinsèquement complexe. L’audit a toutefois permis d’identifier des faiblesses dans le processus d’évaluation qui ne peuvent être attribuées à ces seules contraintes inhérentes à l’exercice.

VI. Dans le cadre de l’évaluation des interventions financées par les Fonds structurels dans les régions relevant de l’objectif no 1, la Cour a constaté les faiblesses suivantes: — les données sous-jacentes comportaient des écarts, — l’évaluation de l’efficacité des dépenses des Fonds structurels s’est révélée insuffisamment solide, entre autres en raison du caractère limité des données sur les réalisations et les résultats collectées par les États membres, — l’évaluation n’a pas tout à fait permis de comparer les coûts unitaires des projets ayant bénéficié d’une aide des Fonds structurels, — l’évaluation était en grande partie fondée sur un modèle macroéconomique (Hermin) affecté par des limites importantes.

VII. La Cour a constaté que l’évaluation des interventions du FSE relevant des objectifs nos 1 et 3: — était en partie fondée sur des informations non fiables ou incomplètes, — a abouti à certaines conclusions qui n’étaient pas suffisamment étayées, ce qui amène à s’interroger sur la méthodologie utilisée pour y parvenir.

VIII. Au vu du cahier des charges établi, la Commission ne semble pas avoir anticipé certaines difficultés rencontrées pendant les évaluations. La Commission n’a pas non plus remédié complètement aux insuffisances de l’évaluation ex post. Les constatations de la Cour montrent que des déficiences ont affecté la supervision des évaluations.

IX. Par ailleurs, les évaluations ont permis de collecter des informations utiles en ce qui concerne les systèmes de gestion des interventions financées au titre du FEDER et du FSE.

X. Toutefois, même si certaines recommandations valables et utiles ont été formulées pour les périodes de programmation, la Commission n’a pas pu pleinement tirer parti des expériences des programmes 1994-1999.

XI. La Cour recommande que: — pour les évaluations ultérieures, la Commission s’assure que les données disponibles et les ressources allouées correspondent aux objectifs fixés, qui doivent être réalistes, et que le cahier des charges soit établi en conséquence, — la Commission veille tout particulièrement aux techniques utilisées pour mesurer l’impact économique des fonds. Si elle opte pour un modèle macroéconomique, celui-ci doit impérativement tenir compte des caractéristiques des économies examinées. Idéalement, elle devrait pouvoir utiliser les microdonnées générées à l’échelle du projet, — les liens avec d’autres études relatives à l’évaluation des Fonds structurels soient dûment pris en considération, — les futures évaluations comportent un certain nombre d’éléments spécifiques, portant par exemple sur les contributions du secteur privé, les mesures d’«ingénierie financière», l’évaluation des coûts des projets, les procédures de demande et d’approbation des projets, ainsi que les évaluations internes des autorités nationales ou régionales, — la supervision, par la Commission, du processus d’évaluation doit être améliorée, notamment par une collaboration avec des instituts de recherche et des universités.

INTRODUCTION

1. La Commission développe un cadre unique d’évaluation des Fonds structurels depuis 1996. Elle définit le terme «évaluation» comme le «jugement d’interventions en fonction de leurs résultats, de leurs impacts et des besoins qu’elles visent à satisfaire» (1). L’activité d’évaluation a pour objectif premier de soutenir le processus de prise de décision en permettant de collecter des informations et de formuler des jugements concernant la pertinence, l’économie, l’efficience, l’efficacité, l’utilité et le caractère durable des impacts des interventions de l’Union européenne. De telles informations sont d’une importance capitale pour l’amélioration des interventions existantes ou la conception d’interventions nouvelles, ainsi que pour la définition des priorités politiques et l’affectation des ressources.

2. Les évaluations sont réalisées à divers niveaux et à différents stades du cycle de programmation (six ans). Les plus importantes d’entre elles sont: a) les évaluations ex ante, conduites avant la mise en œuvre d’une intervention afin de contribuer à la qualité de sa conception et de son rapport coût-efficacité; b) les évaluations intermédiaires, effectuées pendant la mise en œuvre en vue d’améliorer la gestion de l’intervention; c) les évaluations ex post, réalisées après la fin de l’intervention pour évaluer les résultats obtenus et les enseignements à tirer.

3. L’audit de la Cour a porté sur les évaluations ex post auxquelles la Commission a soumis les interventions financées par les Fonds structurels dans les régions relevant des objectifs nos 1 et 3 au cours de la période de programmation 1994-1999. Aux fins du présent contrôle, la définition de l’évaluation ex post prise en considération est celle formulée dans la collection MEANS (2), à savoir: «L’évaluation ex post consiste en la récapitulation et l’examen de l’ensemble du programme, en particulier des répercussions de celui-ci. Elle vise à rendre compte de la façon dont les ressources sont utilisées et à signaler l’efficacité et l’efficience des interventions ainsi que la mesure dans laquelle les effets escomptés ont été atteints. Elle est basée sur des facteurs de réussite ou d’échec, ainsi que sur la durabilité des résultats et des répercussions. Elle tend à tirer des conclusions pouvant être généralisées et appliquées à d’autres programmes et régions» (3). C’est dans ce contexte que l’évaluation ex post a été examinée.

4. L’évaluation ex post constitue un élément d’un «processus» fondé également sur un examen ex ante et une évaluation à mi-parcours. En outre, les évaluations sont effectuées à divers niveaux, tant nationaux que thématiques, et aboutissent à l’établissement d’un rapport de synthèse. L’ensemble de ces évaluations constitue un élément important de la gestion des Fonds structurels et, en particulier, de la programmation et de la révision des interventions communautaires. La responsabilité du processus d’évaluation incombe à la Commission (en partenariat avec les États membres). Il revient à celle-ci de déterminer les éléments de l’évaluation qui doivent être pris en charge par ses propres services et ceux qu’il convient de sous-traiter. Dans les deux cas, la Commission assume toujours la responsabilité globale et finale de l’évaluation.

5. Au cours de la période 1994-1999, l’aide programmée au titre des Fonds structurels (4) s’est élevée à 136,4 milliards d’euros pour les «objectifs» et à 14,5 milliards d’euros en pour les «initiatives communautaires». L’annexe I présente une répartition du premier montant par État membre et par objectif, ainsi qu’une ventilation du second montant par initiative communautaire. Ces fonds ont été complétés par un montant d’au moins 95 milliards d’euros provenant d’investissements conjoints des secteurs public ou privé (5), ce qui a porté le montant total des investissements à plus de 245 milliards d’euros.

Cadre de l’évaluation

6. Les évaluations ex post ont été effectuées pour le compte et sous la direction de la Commission. À la suite d’une procédure d’adjudication, un consultant principal a été sélectionné pour chaque ensemble défini d’objectifs et d’initiatives communautaires. Dans la plupart des cas, le consultant bénéficiait de l’appui d’une équipe d’évaluateurs dans les différents États membres (6), dont le rôle était de soumettre les différents programmes aux évaluations nécessaires, sur la base d’un cadre méthodologique commun. En outre, la procédure d’évaluation a été supervisée par un groupe de pilotage. Les évaluations ont donné lieu, pour chaque ensemble défini d’objectifs, à des rapports par pays établis par les évaluateurs nationaux et à un rapport de synthèse élaboré par les consultants sous contrat. Ces rapports ont été achevés entre le début 2003 et la mi-2004.

Objectifs fondamentaux assignés à chaque évaluation

7. Les directions générales en cause ont opté pour une approche à large spectre, un grand nombre de thèmes. Les objectifs généraux des évaluations consistaient à: a) apprécier les résultats et les impacts des actions dans les États membres au regard de leurs objectifs et de leurs répercussions sur les personnes et les systèmes; b) analyser l’impact et l’efficacité des actions communautaires en ce qui concerne certains problèmes structurels spécifiques et, dans la mesure du possible, à vérifier la valeur ajoutée de l’aide communautaire.

8. Pour que ces objectifs puissent être atteints, les cahiers des charges ont comporté un certain nombre de questions clés relatives aux thèmes suivants: l’adéquation de la stratégie, l’efficacité, l’efficience, l’impact, les systèmes de gestion et de mise en œuvre, la valeur ajoutée communautaire et les enseignements à tirer des programmations en cours en vue de celles à venir. Afin que les travaux soient structurés, les cahiers des charges ont également défini un certain nombre de tâches précises et indiqué plusieurs techniques et sources d’information.

9. Le cahier des charges établi par la Commission pour chaque objectif a donc établi les bases du travail des évaluateurs. En janvier 2002, il a été complété par le rapport de démarrage (inception report) et le guide méthodologique pour l’objectif no 1. Pour les actions relevant du FSE, il a été complété par le rapport sur l’approfondissement de la méthodologie, en décembre 2002, et par les questions d’évaluation figurant dans chaque rapport national d’évaluation. Pour formuler ces questions, les évaluateurs se sont appuyés sur la littérature existant dans ce domaine, des questionnaires, des entretiens avec des parties prenantes, l’analyse d’études de cas et d’autres recherches de terrain, le cas échéant.

ÉTENDUE DE L’AUDIT

10. D’une manière générale, le présent audit a visé à déterminer, d’une part, si les évaluations ont permis à la Commission d’obtenir des informations appropriées pour estimer les effets des interventions par rapport aux objectifs fixés et, d’autre part, si leurs résultats et recommandations ont été utiles pour la révision des programmes des périodes de programmation suivantes.

11. L’audit a été centré sur les évaluations ex post relatives aux interventions relevant du FEDER, dans le cadre de l’objectif no 1, et du FSE dans le cadre des objectifs nos 1 et 3, entreprises respectivement par la direction générale de la politique régionale et par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances. L’examen a porté sur les rapports de synthèse et sur un échantillon d’évaluations nationales correspondant aux objectifs et instruments sélectionnés (7), qui représentaient un montant total de 124 milliards d’euros, soit 82 % de l’aide prévue dans le cadre des Fonds structurels pour la période de programmation 1994-1999 (8).

12. Pour chaque évaluation, les auditeurs de la Cour se sont employés à répondre à trois questions: a) L’évaluation est-elle de bonne qualité? b) Dans quelle mesure les faiblesses détectées sont-elles dues aux déficiences affectant le cadre et la supervision de l’évaluation? c) Les recommandations auxquelles l’évaluation a abouti sont-elles fondées, utiles et de nature à être prises en considération dans le cadre des périodes de programmation suivantes?

13. L’audit a visé en particulier à déterminer la qualité et l’exhaustivité des rapports en ce qui concerne l’évaluation des éléments suivants: l’adéquation des politiques, l’efficacité, l’efficience et l’impact des mesures, ainsi que l’incidence de celles-ci sur les systèmes de gestion. Il a également porté sur l’adéquation du rôle de la Commission dans la préparation, le suivi et la supervision des évaluations.

14. La première partie du présent rapport est consacrée à l’évaluation ex post des interventions au titre du FEDER dans les régions relevant de l’objectif no 1 (points 15-80) et la seconde à l’évaluation ex post des opérations au titre du FSE relevant des objectifs nos 1 et 3 (points 81 à 113).

ÉVALUATION EX POST DE L’OBJECTIF No 1 PAR LA DIRECTION GÉNÉRALE DE LA POLITIQUE RÉGIONALE

15. Avant de procéder à l’appréciation détaillée de la qualité de l’évaluation, il est utile de donner un bref aperçu des conclusions qui y sont formulées. L’encadré 1 ci-après en présente une synthèse. Encadré 1Conclusions générales de l’évaluation effectuée par la direction générale de la politique régionaleDans son rapport de synthèse, la direction générale reconnaît que les Fonds structurels ont eu une incidence positive sur le PIB des régions relevant de l’objectif no 1 et que les performances globales de celles-ci par rapport à l’UE dans son ensemble se sont améliorées. Elle estime que l’ampleur des bénéfices retirés a été largement tributaire des capacités institutionnelles et de facteurs tels que la structure et le degré d’ouverture de l’économie. Elle considère que ces aspects sont manifestement d’une importance capitale, en particulier pour la capacité de l’économie à répondre aux défis et à saisir les possibilités du processus d’intégration économique. Toutefois, elle note qu’eu égard à la disparité des États membres et des contextes, en raison du caractère limité des données de suivi disponibles, et en l’absence d’objectifs clairement définis, il n’était pas possible d’agréger les résultats pour donner une image fidèle de l’ensemble des réalisations de l’objectif no 1.En guise de conclusion générale concernant l’appréciation de l’adéquation des stratégies adoptées, le rapport estime que l’approche stratégique retenue en 1994 pour l’objectif no 1 doit être «considérée comme globalement appropriée pour chacun des États membres». Il indique que «la plus forte critique à l’égard de ces stratégies est qu’elles n’étaient guère plus que la somme des parties qui les composaient. Si chacune d’entre elles constituait une réponse adéquate aux besoins relevés dans certains domaines particuliers, peu d’éléments permettent de déterminer dans quelle mesure les différents volets ont concouru à une stratégie globale de développement.»S’agissant de l’efficacité, le rapport indique qu’en raison des insuffisances affectant les données disponibles, l’analyse a été fondée dans une large mesure sur des «jugements qualitatifs plutôt que sur des comparaisons chiffrées des résultats obtenus avec les objectifs fixés». À cet égard, le rapport formule le commentaire général suivant: «Dans de nombreux cas, les actions apparemment les plus efficaces ont été celles présentant un caractère essentiellement “traditionnel”. Les financements ont eu tendance de manière générale à renforcer les schémas de développement économique existants plutôt qu’à créer une assise permettant de développer de nouvelles activités afin d’aller au-devant des objectifs définis ou de stimuler de nouvelles approches innovantes.»S’agissant de l’impact, l’auteur du rapport s’est appuyé, pour la plupart des régions, sur une macromodélisation lui permettant d’évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Il reconnaît que: «Il est inévitable que les résultats qui se dégagent de cette analyse découlent dans une certaine mesure des hypothèses retenues dans le cadre du processus de modélisation.» Les auteurs du rapport notent que l’ampleur de l’impact a reflété, dans certains cas, l’importance relative et l’affectation des ressources du cadre communautaire d’appui, ainsi que des facteurs comme les dotations initiales en facteurs, les structures économiques, les niveaux de compétitivité et le degré d’«ouverture» de l’économie en question. L’auteur du rapport tire également des conclusions générales concernant l’incidence des Fonds structurels par rapport à d’autres facteurs extérieurs. Il indique également que, si les créations d’emplois ont été nombreuses, les effets d’aubaine et de déplacement l’ont probablement été tout autant.Le rapport de synthèse contient aussi une série d’observations concernant la gestion et la mise en œuvre. La conclusion générale à ce propos est que: «Les dispositifs de gestion et de mise en œuvre, bien que souvent affectés par certaines faiblesses, ont généralement été adaptés à leur objet. Par ailleurs, le partenariat s’est avéré bénéfique. En règle générale, les structures de prise de décision ne sont pas parvenues à faire émerger une stratégie forte. Par contre, la démarche de programmation ainsi que l’amélioration des capacités et des pratiques de gestion publique ont eu d’importantes retombées positives en termes de “valeur ajoutée” au sens large.»

L’appréciation de la Cour concernant la qualité de l’évaluation

Remarques préliminaires

16. Il importe de garder à l’esprit que l’approche globale qui a été adoptée pour cette évaluation ex post était soumise à des contraintes intrinsèques. Les plus importantes d’entre elles ont été les limites de temps, le nombre restreint d’objectifs quantifiés et l’absence d’indicateurs précis de résultat/d’impact. En outre, il a souvent été difficile d’isoler l’impact directement attribuable aux programmes et aux mesures connexes, car les régions cibles ont souvent bénéficié d’autres actions de nature à contribuer efficacement à la réalisation d’objectifs similaires. Il n’a pas été facile non plus de déterminer et de mesurer les effets indirects des dépenses des Fonds structurels. La Cour estime toutefois que certaines faiblesses du processus d’évaluation ne peuvent être attribuées à des contraintes inhérentes à l’exercice en question, mais qu’elles sont dues à des insuffisances affectant le processus lui-même et auxquelles il convient de remédier, en particulier avant l’évaluation ex post de la période de programmation 2000-2006.

Évolution des problèmes auxquels les régions sont confrontées depuis 1994

17. Le rapport de synthèse commence par une brève analyse de l’évolution du PIB par habitant, ainsi que des taux de chômage et d’emploi dans les diverses régions en question (9). Dans sa conclusion, le rapport précise que: «L’augmentation du taux d’emploi résultant de la création d’emplois n’a généralement pas entraîné d’augmentation du PIB par habitant» (10). Une telle conclusion est potentiellement importante pour les décideurs. Elle semble indiquer que l’accroissement des taux de participation au marché de l’emploi (11) n’a pas contribué de manière significative à la réalisation du principal objectif de la politique de cohésion, à savoir la réduction des écarts entre PIB, une conclusion d’une importance majeure pour les Fonds structurels.

18. Sur la base des informations fournies dans le rapport de synthèse, il est difficile de juger de la validité de l’observation citée ci-dessus. Dans de nombreuses régions, le PIB a progressé, de même que les taux de participation au marché de l’emploi. Par contre, dans d’autres, le PIB par habitant a soit baissé, soit augmenté de manière marginale, la même évolution étant observée pour les taux de participation au marché de l’emploi. La Cour a essayé de vérifier que l’observation citée au point 17 était exacte en appliquant un traitement statistique aux données figurant dans le rapport de synthèse. Les détails techniques de cette analyse sont fournis à l’annexe II et ses principaux éléments sont synthétisés ci-après.

19. Les résultats obtenus indiquent que l’évolution de l’emploi a eu une incidence statistiquement significative sur le PIB réel par habitant. En l’occurrence, un point d’augmentation du taux d’emploi a entraîné une augmentation de 0,24 % du PIB par habitant au cours de la période évaluée. Ce résultat contredit la conclusion du rapport de synthèse citée ci-dessus. Il suggère également qu’une amélioration des taux de participation au marché de l’emploi pourrait effectivement permettre, dans une certaine mesure, de réduire l’écart entre PIB. Du point de vue politique, ce résultat présente un intérêt certain.

20. Pour éprouver davantage la solidité de ce résultat, la Cour a soumis à une analyse identique 145 régions pour lesquelles des données cohérentes étaient disponibles (en l’occurrence, pas uniquement des régions relevant de l’objectif no 1). Les résultats de cette analyse, qui figurent également à l’annexe II, sont très similaires dans l’ensemble de l’Union. Ils montrent que certaines données fondamentales n’ont pas été suffisamment analysées et qu’il existe une forte corrélation entre l’augmentation du PIB et celle du taux d’emploi, corrélation que le rapport de synthèse n’a pas mise en évidence.

Adéquation des stratégies adoptées

21. Le second chapitre du rapport de synthèse porte sur l’adéquation des stratégies adoptées en termes d’équilibre entre les régions, entre les programmes et entre les Fonds. Les dépenses prévues et effectives dans le cadre des différents programmes des Fonds structurels (12) sont analysées par État membre et par type de fonds, mais pas par région, alors que c’est le cas pour le PIB par habitant, ainsi que pour les taux d’emploi et de chômage dans les différentes régions relevant de l’objectif no 1. Cette lacune limite la portée de l’analyse qui peut être faite, comme cela est précisé dans le rapport lui-même, où sont présentés les résultats d’une analyse de régressionqui tente d’établir un lien entre les crédits communautaires par habitant et par État membre, et le PIB par habitant (13). Par conséquent, les résultats communiqués dans le rapport ne sont pas significatifs sur le plan statistique et sont, dès lors, d’un intérêt limité.

22. Par contre, la Cour a appliqué aux données figurant dans le rapport des techniques statistiques légèrement différentes. Les détails techniques de cette analyse sont présentés à l’annexe III et ses éléments essentiels sont synthétisés dans les points suivants.

23. Les résultats de cette analyse confirment l’intuition que l’augmentation du PIB par habitant des États membres est proportionnelle aux aides communautaires par habitant. Cela montre que l’adoption d’une approche plus large permet de réaliser des évaluations pertinentes, même avec l’ensemble de données inutilement restreint qui a servi de base à l’examen de cette question importante.

24. L’évaluation figurant dans cette partie du rapport de synthèse est essentiellement fondée sur une comparaison entre les différentes catégories de dépenses programmées en 1994 et l’estimation des dépenses réelles en 1999. Les données présentées comportent cependant un certain nombre d’erreurs et d’écarts significatifs limitant la validité des conclusions qui peuvent en être tirées. Pour cinq États membres notamment, le montant des dépenses effectives indiqué dans la colonne «total» (dans le tableau correspondant du rapport de synthèse) est différent de la somme des montants figurant dans les colonnes qui reprennent les dépenses de l’Union européenne, du secteur public et du secteur privé (apparaissant dans le même tableau). Une synthèse de ces écarts est présentée dans le tableau 1, dont la dernière colonne contient le pourcentage d’écart. Ce pourcentage significatif est révélateur d’un contrôle de qualité inadéquat, par la Commission, en ce qui concerne la formulation du contenu et la présentation des résultats du rapport.

25. En dépit de ces écarts, la transformation de ces chiffres en données par habitant (14) permet quelques observations utiles qui, dans certains cas, diffèrent des conclusions formulées dans le rapport de synthèse. Le tableau 2 présente les dépenses réelles par habitant par ordre décroissant pour chaque catégorie.

Tableau 1

Synthèse des écarts signalés au point 24

Somme des colonnes (15) Total publié (15) Différence (15) Pourcentage d’écart Allemagne 41 015 48 243 7 228 –15 Italie 34 804 30 547 –4 257 14 Royaume-Uni 3 961 4 803 842 –18 France 3 339 4 019 680 –17 Autriche 1 116 1 040 –76 7





Tableau 2

Dépenses réelles (16)

Total des dépenses réelles par habitant Dépenses de l’UE par habitant Dépenses publiques réelles par habitant Dépenses réelles du secteur privé par habitant Autriche 3 866 Irlande 1 653 Pays-Bas 1 822 Autriche 2 458 Pays-Bas 3 438 Grèce 1 580 Autriche 1 033 Allemagne 1 299 Allemagne 2 933 Portugal 1 403 Grèce 739 Pays-Bas 1 039 Irlande 2 926 Espagne 1 143 Irlande 703 Belgique 705 Grèce 2 716 Allemagne 884 Portugal 621 Irlande 570 Portugal 2 472 Autriche 657 Espagne 582 Portugal 448 Espagne 1 725 Italie 652 France 485 Grèce 396 Belgique 1 587 France 621 Belgique 456 France 205 France 1 579 Royaume-Uni 605 Royaume-Uni 381 Royaume-Uni 174 Italie 1 445 Pays-Bas 578 Allemagne 311 Espagne non disponible Royaume-Uni 1 407 Belgique 427 Italie non disponible Italie non disponible Moyenne par habitant 2 104 1 033 419 377

26. Le tableau montre que le montant total des crédits effectifs s’est élevé en moyenne à 2 104 euros par habitant. Les Fonds structurels représentent environ la moitié de ce montant, tandis que trois des quatre États membres bénéficiant du Fonds de cohésion ont reçu environ 50 % de plus que le montant moyen de l’aide communautaire par habitant, qui s’est élevé à 1 033 euros. La contribution du secteur privé revêt une importance toute particulière, notamment à la lumière de l’incidence à long terme sur l’offre dans les régions en question. Certaines régions relevant de l’objectif no 1 dans des États membres comme l’Allemagne, l’Autriche et les Pays-Bas ont remarquablement bien réussi à combiner investissements privés et Fonds structurels, les investissements privés dépassant même la contribution moyenne des Fonds structurels de l’Union européenne, et cela de manière significative dans le cas de l’Allemagne et de l’Autriche.

27. Or les facteurs qui contribuent à l’augmentation de la participation du secteur privé ne sont pas examinés dans le rapport. Par exemple la question de savoir si ce phénomène était une conséquence de la nature des projets retenus, de la qualité des ressources humaines disponibles ou de la nature différente de l’aide accordée au secteur privé par les Fonds structurels, aurait pu être posée. La Cour estime que ces questions méritaient un examen plus approfondi.

28. L’appréciation de l’adéquation des stratégies adoptées s’est rarement appuyée sur des techniques formalisées (17). Les pratiques adoptées par les évaluateurs nationaux ont sensiblement varié et, de manière générale, ont été largement descriptives. La question de l’adéquation de la réponse des interventions des Fonds structurels aux «défaillances du marché» a rarement constitué de manière explicite l’objet de l’évaluation ex post. De même, le caractère approprié des changements de stratégie en cours de période de programmation n’a fait l’objet d’aucune analyse approfondie.

Évaluation de l’efficacité

29. Certains chapitres spécifiques des évaluations nationales et le chapitre 3 du rapport de synthèse comportent une analyse de l’efficacité des Fonds structurels consistant à déterminer dans quelle mesure les effets escomptés ont été obtenus et les objectifs atteints. Cinq thèmes y sont abordés, à savoir, les transports, les petites et moyennes entreprises, la recherche et le développement, l’éducation et la formation, ainsi que le développement rural. Deux thèmes horizontaux sont également examinés: l’environnement et l’égalité des chances.

30. L’analyse est fondée sur un échantillon correspondant à 70 % de la valeur des programmes relevant de l’objectif no 1. L’accent est cependant mis dans une large mesure sur des appréciations qualitatives, la valeur ajoutée par la Communauté étant par exemple évaluée sur la base des réponses — «oui» ou «non» — apportées à des questions trop générales et qui ne peuvent pas toujours être vérifiées de façon objective. Aucune tentative n’a été faite pour fixer des objectifs plus concrets, aucun critère susceptible d’y contribuer n’ayant été défini. En outre, aucune donnée supplémentaire n’a été collectée aux fins de microanalyses. Dans de nombreux cas, le rapport n’a pas pris en considération des éléments importants pour une évaluation plus complète de l’efficacité, comme les effets d’aubaine et de déplacement. Lorsque ces points ont été abordés, ils n’ont pas fait l’objet d’une analyse suffisamment détaillée.

31. Même si certaines parties du rapport de synthèse contiennent des observations valables et utiles, la Cour estime de manière générale que ce chapitre essentiel (18) est insuffisamment étayé, et cela pour les raisons suivantes: certaines données manquent, les conclusions sont souvent faibles, et l’évaluation des résultats d’autres études thématiques relatives à la période de programmation des Fonds structurels 1994-1999, commandées par la direction générale de la politique régionale, est insuffisante ou fait défaut.

32. S’agissant par exemple de la partie de l’évaluation ex post consacrée aux transports, notamment des tableaux où figurent les chiffres réels et les objectifs en matière de kilomètres de routes améliorées par État membre, environ la moitié des informations relatives aux objectifs est manquante ou incomplète. Il est dès lors difficile de tirer une conclusion fiable concernant les travaux réalisés par rapport aux objectifs définis. Pourtant, le rapport cite abondamment une évaluation thématique (19) de l’impact des Fonds structurels sur les infrastructures de transport, qui porte sur la même période de programmation et qui fournit une appréciation plus complète et plus rigoureuse des résultats par État membre.

33. L’estimation de l’impact des programmes de transport sur l’emploi, figurant dans le rapport d’évaluation thématique relatif aux transports, est particulièrement intéressante pour l’évaluation ex post. L’impact total en termes d’emplois directs et indirects est estimé à 2,3 millions de personnes/années (20). En outre, les avantages économiques des programmes de transport mentionnés dans l’étude sont jugés significatifs. Le taux de rendement économique des projets routiers est estimé à 13 % pour l’Irlande et à 23 % pour l’Espagne (21).

34. Ces deux conclusions intéressantes du rapport d’évaluation thématique relative aux transports ne sont pas prises en considération dans le rapport de synthèse. En outre, l’estimation de l’impact sur l’emploi dans l’évaluation thématique ne concorde pas avec celle de l’évaluation ex post. Sur la base des calculs que la Cour a effectués en se fondant sur l’évaluation ex post (22) (en utilisant le modèle Hermin et l’évaluation des autres régions), l’impact total des Fonds structurels sur l’emploi durant la période 1994-1999 est de 1,62 million d’emplois, ce qui ne concorde pas avec l’estimation de 2,3 millions d’emplois figurant dans le rapport d’évaluation thématique, en particulier parce que les transports ne représentent que quelque 20 % de l’ensemble des dépenses des Fonds structurels.

35. Par contre, le rapport de synthèse s’appuie sur les résultats de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, lorsqu’il indique que: «Dans l’évaluation thématique de l’impact des Fonds structurels sur les PME, il est recommandé de passer à l’avenir d’une aide sous la forme de subventions à des mesures d’ingénierie financière comme les fonds de capital d’amorçage ou de capital risque, les prêts, les bonifications d’intérêt, ces méthodes étant considérées comme plus durables à long terme» (23). Il est utile que l’évaluation ex post mette en évidence cette importante conclusion de l’évaluation thématique. Cependant, cette question n’est pas développée dans le rapport, en dépit des implications considérables qu’elle pourrait avoir pour les programmes à venir (24).

36. Le rapport de synthèse cite un extrait de l’évaluation thématique relative à l’impact des Fonds structurels sur les PME, où les auteurs estiment qu’«en l’absence de soutien communautaire, 70 % des projets d’investissements n’auraient pas été réalisés, auraient été réduits ou reportés». Selon l’évaluation thématique, «[…] cette aide a contribué à créer plus de 300 000 emplois supplémentaires, même compte tenu des effets d’aubaine et de remplacement. En raison du manque de données comparables et fiables pour établir ces estimations, il n’a pas été possible de reproduire ces calculs dans le cadre de l’évaluation ex post de l’objectif no 1» (25). Eu égard à l’importance de ces différences affectant les résultats et au fait que les deux études ont été effectuées à deux ou trois ans d’intervalle seulement par le même contractant sur le même sujet et pour la même période, un traitement plus approfondi de leurs différences était justifié.

37. Dans le prolongement de ce qui précède, le rapport de synthèse donne, dans une section présentant une «Analyse globale», une estimation du nombre d’emplois créés dans les PME à la suite des interventions des Fonds structurels. «Les éléments probants disponibles indiquent que l’objectif no 1 a permis la création de quelque 800 000 emplois. Il s’agit d’un chiffre brut qui ne tient pas compte des effets de remplacement, d’aubaine et multiplicateurs. Il n’est pas possible de déterminer l’efficacité globale en termes nets» (26). Cette conclusion ne bénéficie pas d’une attention suffisante, en particulier à la lumière de l’estimation fournie dans l’évaluation thématique relative aux PME. En outre, le tableau de l’évaluation ex post présentant la ventilation des emplois créés par État membre, ne donne aucune précision concernant l’Espagne. Par conséquent, l’estimation fournie est manifestement incomplète (27). Cette question méritait un examen plus approfondi dans l’évaluation ex post.

38. Parmi les «autres points» abordés dans le rapport d’évaluation ex post au chapitre «Efficacité», figure une synthèse aussi brève qu’intéressante relative à diverses questions pertinentes réparties sous un certain nombre de titres. Toutefois, une des limites sous-jacentes à cet exercice est «la faiblesse des données comparatives, qui a contraint les auteurs à procéder à des appréciations qualitatives plutôt qu’à une évaluation détaillée fondée sur les projets» (28). Le lien de certaines de ces appréciations qualitatives avec celles d’autres évaluations thématiques, notamment celles relatives à la recherche et au développement technologique, aurait pu être mieux exploité. Le cahier des charges précisait que: «Une vaste revue de la littérature sera effectuée afin de déterminer les questions clés concernant la mise en œuvre des Fonds structurels» (29). Or des insuffisances affectent la manière dont ces implications sont rapportées et mises en relation avec les constatations ultérieures. Dans les quelques cas où ce lien a été établi, la qualité du rapport de synthèse s’en est manifestement trouvée améliorée.

39. Par exemple le rapport d’évaluation ex post signale que l’évaluation thématique relative à la RDT indique qu’il serait préférable de cibler les activités sur le développement de stratégies d’innovation spécifiques aux régions en cause afin d’exploiter les capacités existantes en matière de RDT, plutôt que d’essayer de combler ce qui est perçu comme des «retards technologiques». L’évaluation ex post fait apparaître que de tels cas ont été nombreux et que les résultats sont meilleurs lorsque l’accent a été mis sur les points forts de la région (30). Cet exemple indique clairement qu’il est utile de se fonder sur ce que d’autres rapports et études ont démontré, comme le préconisent les critères élaborés dans le cadre du programme MEANS et de sa version mise à jour, critères qui ont été repris dans le cahier des charges de cette évaluation ex post (31).

40. Les évaluations nationales se sont rarement appuyées sur une analyse formalisée ou quantitative des effets. En outre, les évaluateurs nationaux ont rarement utilisé les résultats des analyses quantitatives réalisées par des tiers.

Évaluation de l’efficience

41. Dans le chapitre portant ce titre, le rapport de synthèse vise à évaluer l’efficience de la mise en œuvre de grands projets dans certaines régions relevant de l’objectif no 1. Cet examen a porté sur un échantillon de quelque 60 grands projets, représentatif des différentes régions et des différents thèmes (32). On entend par efficience les effets obtenus à un coût raisonnable. «Le principal objectif est de déterminer les coûts unitaires, c’est-à-dire le coût par réalisation. Il y a lieu également de faire porter l’analyse sur la qualité de la gestion des grands projets par les bénéficiaires finals. Au niveau européen, il convient d’analyser les coûts unitaires dans l’ensemble des régions relevant de l’objectif no 1. Le cas échéant, il importe d’expliquer les différences significatives entre les coûts unitaires des diverses régions et d’établir des fourchettes de coûts acceptables de nature à servir ultérieurement de base à des exercices d’étalonnage» (33). Ces objectifs sont pertinents et essentiels dans la perspective d’une gestion efficiente des projets à l’échelle de l’Union européenne.

42. Or, dans une large mesure, l’évaluation ex post n’a pas permis d’atteindre ces objectifs. Cela est confirmé dans le rapport de synthèse, l’explication donnée étant que les gestionnaires de projet ont constaté qu’il était virtuellement impossible de déterminer quelles étaient les différentes composantes de leurs projets respectifs et, par conséquent, de calculer des coûts unitaires (34). Une affirmation aussi générale implique que les informations disponibles sur les grands projets sont tellement lacunaires que l’objectif assigné par le cahier des charges ne peut être atteint. Il aurait dû être au moins possible d’établir des coûts comparables pour des réalisations classiques, par exemple le coût au mètre carré pour la construction d’une usine ou le coût au kilomètre d’une route.

43. Quelques résultats partiels sont présentés dans trois tableaux concernant la construction de routes dans certains États membres, des projets environnementaux en Espagne et des coûts par emploi créé dans le cadre de projets industriels (35). Cependant, ces résultats ne sont guère évalués ou analysés, pour que dans le domaine de la construction de routes, par exemple, les différences du coût de la main-d’œuvre ou les caractéristiques géographiques particulières à la région en cause puissent être prises en considération dans le calcul de l’incidence.

44. Le rapport de synthèse contient des conclusions solides en ce qui concerne le calendrier de mise en œuvre des projets et le respect des limites budgétaires: premièrement, un tiers seulement des 60 projets examinés ont été achevés dans les délais initialement prévus, plus d’un tiers se terminant avec un an de retard; deuxièmement, environ deux tiers des projets examinés ont dépassé le budget initialement prévu, le dépassement étant supérieur à 30 % pour un cinquième d’entre eux. L’analyse s’est toutefois limitée à quelques observations à caractère général et ne livre que peu d’éléments d’appréciation, voire aucun, concernant la qualité de la gestion par les bénéficiaires finals, contrairement à ce que prévoit le cahier des charges (36). En outre, l’efficience relative des partenariats public privé ou des procédures de passation des marchés appliquées n’ont fait l’objet d’aucune évaluation.

Évaluation de l’impact des Fonds structurels

45. Le rapport de synthèse indique que l’objectif premier des Fonds structurels est d’avoir une incidence sur l’offre potentielle à long terme de l’économie (37). Ces effets sur l’offre opèrent à travers un certain nombre de canaux qui sont conçus pour: a) accroître les investissements visant à améliorer les infrastructures physiques afin de contribuer à l’activité productive du secteur privé; b) renforcer le capital humain par des investissements dans la formation afin de contribuer à l’activité productive du secteur privé; c) orienter l’aide financière publique vers le secteur privé afin de stimuler les investissements et, par suite, d’accroître la productivité des facteurs et de réduire les coûts sectoriels de la production et du capital (38).

46. Le rapport évoque ensuite la question de l’importance de ce que l’on appelle les «externalités positives», c’est-à-dire des «conditions dans lesquelles les entreprises privées bénéficient de l’utilisation de facteurs de production supplémentaires sans coût pour elles-mêmes», ce qui améliore la productivité et le rapport compétitivité-coûts de l’économie. Ces considérations sont pertinentes dans une évaluation ex post. Or le cofinancement du secteur privé a été exclu de l’analyse en raison des incertitudes concernant ses «mécanismes d’entraînement» (39). Cette approche limitée conduit à une grave sous-estimation de l’impact de certaines dépenses dans le cadre des Fonds structurels parce qu’elle exclut un des principaux effets d'offre à long terme. L’exemple, présenté dans le rapport de synthèse (40), d’une société de développement qui, grâce au cofinancement de ses dépenses, a attiré une quantité significative d’investissements privés supplémentaires en fournit une excellente démonstration. Au lieu d’être centrée sur l’incidence plus directement mesurable des dépenses des Fonds structurels sur les investissements du secteur privé, l’étude met l’accent sur une tentative d’évaluation des «externalités» sur la base de techniques d’estimation assez limitées en raison de l’absence d’études fournissant des mesures pertinentes des élasticités pour les régions en question.

47. Un modèle macroéconomique fondé sur le modèle Hermin a été appliqué à quatre États membres (Grèce, Espagne, Irlande et Portugal) (41), ainsi qu’aux nouveaux Länder en Allemagne et à l’Irlande du Nord (42), pour évaluer l’impact des Fonds structurels sur la cohésion économique et sociale. Cette approche visait à mesurer l’impact des programmes relevant de l’objectif no 1 en termes d’effets sur le PIB et l’emploi.

48. Un autre scénario d’évaluation consisterait à utiliser les données microéconomiques relatives aux projets pour déterminer l’impact total ou agrégé des Fonds structurels dans une région ou un État membre. Or, en dépit de l’obligation d’utiliser des données normalisées dans l’ensemble des régions relevant de l’objectif no 1, la collecte de données microéconomiques s’avère difficile. En conséquence, les impacts sont mesurés uniquement à partir de modèles macroéconomiques, ce qui donne lieu à de nombreuses restrictions et suppositions. Celles-ci, pour les raisons exposées ci-après, peuvent réduire considérablement la portée de l’évaluation et, par suite, celle des implications politiques qui peuvent en résulter.

49. Les principaux problèmes relevés dans l’application du modèle macroéconomique Hermin dans le cadre de l’évaluation ex post examinée sont les suivants: a) le modèle est structuré d’une manière qui met trop l’accent sur le secteur manufacturier, alors que les économies de la plupart des régions ou États membres en cause ont connu, au cours des dix dernières années, un développement plus important des services marchands, tels que le tourisme et, dans certains cas, le secteur financier. Les mécanismes d’entraînement de ces services sont différents de ceux du secteur manufacturier, qui est devenu plus sensible à la mondialisation. Par conséquent, le modèle macroéconomique doit être réorienté dans cette direction. Le modèle utilisé n’a pas pris en considération cet aspect et peu d’éléments indiquent que, dans le rapport, cela ait été considéré comme un défaut grave du modèle, en dépit du fait que le tourisme soit si important pour un grand nombre des régions en cause; b) le modèle utilisé est fondé sur des données annuelles à partir de 1980. Or, en raison de l’évolution rapide de la structure des régions en question durant la période d’intervention, l’instabilité structurelle des paramètres estimés est de nature à limiter considérablement la portée du modèle macroéconomique adopté. Il n’a pas non plus été tenu compte de cet élément; c) l’analyse est fondée sur les dépenses programmées plutôt que sur les dépenses effectives (43), ce que l’on peut raisonnablement s’attendre à trouver dans une projection ex ante, mais beaucoup moins dans une évaluation ex post; d) les estimations des impacts sont sensiblement biaisées vers le bas parce que le cofinancement par le secteur privé a été exclu du modèle (voir point 46), de même que le flux d’investissements du secteur privé qui résulte des interventions des Fonds structurels. Par exemple, si les Fonds structurels fournissent une aide pour la construction d’une usine, l’impact sur l’économie de la région ne se limite pas à la construction du bâtiment, mais s’étend également aux emplois permanents créés grâce aux investissements réalisés par le secteur privé à la suite de la construction de l’usine; e) l’impact des Fonds structurels à long terme sur les infrastructures publiques et le capital humain (externalités positives) est un élément clé de l’évaluation de l’impact des Fonds structurels dans le cadre du rapport de synthèse. Selon le modèle Hermin, l’élasticité des externalités doit être déterminée dans le cadre d’autres études spécifiques. Or, comme les élasticités ne sont disponibles pour aucune des régions de l’Union européenne en cause, les auteurs du rapport, comme ils le notent eux-mêmes, se sont appuyés sur une littérature empirique, largement fondée sur des régions des États-Unis, qui «est quelque peu ambiguë sur l’ampleur que devraient idéalement avoir les externalités» (44). Par conséquent, il n’est pas possible de savoir dans quelle mesure les estimations sont fondées sur un jugement ou sur des faits; f) s’agissant de l’additionnalité, les simulations de Hermin comparent les situations avec ou sans le financement au titre du cadre communautaire d’appui. Le scénario sans ce financement suppose que ni les crédits de l’Union européenne ni les montants cofinancés ne sont dépensés. La validité d’une telle hypothèse est discutable (45).

50. Il apparaît donc que le modèle Hermin, de la manière dont il est appliqué, n’est pas adapté à l’estimation des effets des interventions des Fonds structurels dans les régions relevant de l’objectif no 1.

51. La Cour a comparé les résultats des simulations de Hermin concernant les modifications du taux de chômage à un ensemble d’hypothèses prédéfinies (46). En matière de chômage, les résultats de cette analyse, présentés à l’annexe IV, diffèrent sensiblement des résultats obtenus à partir d’autres sources.

52. Enfin, dans de nombreux cas, le degré de réalisation des objectifs intermédiaires n’a pas été évalué.

53. S’agissant de l’objectif stratégique de convergence, la seule mention dans le rapport de synthèse est «que la convergence globale entre les États membres progresse, mais dans des proportions variables selon les régions. La question de savoir si cette convergence est due aux Fonds structurels reste à débattre» (47).

Évaluation des systèmes de gestion

54. Les systèmes de gestion et de mise en œuvre adoptés pour les programmes relevant de l’objectif no 1 sont appelés à contribuer de manière déterminante à l’efficacité, l’efficience et l’impact des Fonds structurels. Cet aspect a été abordé dans le cahier des charges et dans le guide méthodologique. Il a également été pris en considération dans les évaluations nationales (48). Les rapports nationaux d’évaluation ont décrit l’impact sur les systèmes de gestion. Toutefois, ils ont également relevé des cas où ces effets auraient pu être plus prononcés.

55. Les auteurs du rapport de synthèse reconnaissent, eux aussi, l’importance de cette question et consacrent aux problèmes de gestion 13 de leurs 19 recommandations (49).

56. Le rapport de synthèse fournit un certain nombre d’informations pertinentes concernant la gestion des Fonds structurels et se réfère à plusieurs conclusions de l’évaluation thématique du principe de partenariat qui a été réalisée en 1999. Cette démarche est de nature à favoriser la continuité dans l’évaluation et permet d’obtenir des informations probantes confirmant ou infirmant les observations formulées dans l’évaluation thématique. Toutefois, dans un certain nombre de domaines, les conclusions figurant dans le rapport de synthèse contredisent l’évaluation thématique.

57. Le rapport de synthèse présente un récapitulatif du nombre moyen de membres des comités de suivi par État membre. La moyenne générale est de 44 membres. Toutefois, ce nombre varie considérablement, allant de 15 à 85. Dans ses conclusions, le rapport précise que le nombre élevé de membres a été considéré comme une forte contrainte pesant sur l’efficience des comités de suivi, et cela dans tous les États membres (50). Au contraire, selon l’évaluation thématique, rien n’indique une perte d’efficience due au grand nombre de membres. Les conclusions des deux rapports sur ce point étant très différentes, il eût été opportun d’analyser cette question de manière plus approfondie dans le rapport de synthèse et de formuler quelques recommandations concrètes pour l’avenir.

58. Une autre question liée à l’évaluation thématique concerne la gestion des différents Fonds. Dans leurs conclusions respectives, les deux rapports indiquent que les Fonds fonctionnaient selon des principes différents et étaient soumis à des conditions financières différentes, ce qui a limité les synergies entre eux. Cette observation importante reflète une opinion déjà exprimée par la Cour (51) et met en évidence la nécessité de tendre vers une plus grande synergie entre les Fonds.

59. L’évaluation de l’efficacité des systèmes de gestion généraux présente également quelques faiblesses. Le rapport de synthèse indique que: «Les systèmes de gestion ont été jugés adéquats à l’issue des évaluations nationales dans un peu moins de la moitié des États membres éligibles seulement.» Cette observation est importante et l’on aurait pu s’attendre à ce que les expériences positives et les cas non satisfaisants fassent l’objet d’une évaluation approfondie. Même si certaines questions soulevées ont été développées, le rapport manque, dans l’ensemble, de clarté sur ce qui a été réellement constaté.

60. L’évaluation thématique du principe de partenariat dans le cadre des Fonds structurels (1999) a permis de constater que ce principe présentait un certain nombre d’avantages pour la mise en œuvre des Fonds structurels (52). Les auteurs du rapport de synthèse considèrent que: «Dans l’ensemble, ces avantages ont également été reconnus par les États membres associés à la mise en œuvre du programme relevant de l’objectif no 1 1994-1999 et [que] le travail en partenariat horizontal a été apprécié comme une des valeurs ajoutées de la programmation communautaire.» (53) Ce résultat est intéressant. Bien que quelques cas soient mis en évidence, entre autres sous la forme de brefs commentaires concernant des expériences négatives ou des difficultés rencontrées, le débat aurait pu être davantage centré sur la mise en exergue, sur la base des expériences mentionnées, des améliorations possibles en vue de rendre le principe de partenariat plus efficace.

61. Parmi les divers processus, celui relatif aux candidatures et à la sélection des projets est l’une des deux sources de difficultés administratives les plus fréquemment citées. Un certain nombre d’exemples sont donnés. Ils démontrent le manque de clarté des procédures et la nécessité pour la Commission de publier rapidement un document de référence concernant les bonnes pratiques en la matière. Un tableau montre qu’elle est la durée du processus de sélection des projets, par État membre. Toutefois, les données concernant trois États membres font défaut. Pour les autres, la durée du processus va de deux à neuf mois, avec une moyenne de cinq mois. Les éléments probants présentés font apparaître que des efforts doivent encore être consentis pour simplifier la procédure de candidature. Dans ce contexte, les avantages et/ou l’efficacité respectifs de la mise en concurrence des projets ou de leur mise en file d’attente n’ont fait l’objet d’aucune analyse précise.

62. Il convient de prendre également en considération le processus de suivi et de contrôle. Les auteurs du rapport de synthèse affirment que: «Les systèmes de contrôle financier dans les États membres semblent avoir relativement bien fonctionné dans le cadre de l’objectif no 1 1994-1999. Toutefois, certains ajustements ont dû être réalisés pour assurer la conformité aux nouveaux règlements financiers en 1997. Dans la majorité des États membres, les systèmes de contrôle financier se sont avérés adaptés à leur usage et fonctionnent de manière assez efficiente. D’une manière générale, les contrôles financiers ont été fiables et la règle des 5 % a été respectée» (54). Cette constatation ne coïncide pas avec celles de divers rapports de la Cour (55), qui indiquent que le contrôle financier du programme 1994-1999 des Fonds structurels a été affecté par des déficiences significatives.

63. L’autre élément du processus de suivi qui donne lieu à des problèmes administratifs concerne les systèmes de suivi et d’évaluation relatifs aux aspects non financiers. Le suivi fait l’objet de sévères critiques. En conclusion, le rapport de synthèse précise que «le suivi est resté une faiblesse majeure en dépit des efforts déployés pour en accroître le rôle depuis la première période de programmation. Les données disponibles sont fragmentées, incohérentes, exagérément centrées sur les réalisations physiques et d’une fiabilité souvent douteuse» (56). Il indique également que: «Dans tous les États membres, les objectifs définis au début du programme sont insuffisamment quantifiés» (57). Pour sept des dix États membres pris en considération, la quantification est jugée médiocre. Pour un huitième, elle est considérée comme variable. Elle a été jugée adéquate pour deux États membres seulement, et uniquement au début du programme. Chaque État membre fait l’objet d’une courte synthèse. Aucune autre information n’est fournie.

64. Le rapport de synthèse indique également que les systèmes informatiques établis pour assurer le suivi du programme 1994-1999 «ont été fréquemment critiqués pour le manque d’intégration entre programmes et entre Fonds. Cette insuffisance a eu une incidence sur la capacité des autorités de gestion à avoir un aperçu général de l’état d’avancement des programmes, tout en posant un problème pour les évaluations ultérieures» (58). Ces constatations doivent également jeter un doute sur la validité d’une conclusion formulée précédemment dans le rapport selon laquelle la gestion financière du programme a été de bonne qualité, puisque les informations de suivi, qui sont d’une grande importance dans le cadre du processus de gestion, ont été jugées «fragmentaires, incohérentes et sujettes à caution» (56).

65. Le rapport de synthèse contient également quelques brefs commentaires concernant les «évaluations internes» (59), notamment celui-ci: «Ces évaluations internes ont été réalisées par les ministères ou les autorités régionales avec l’aide d’universités ou d’organismes externes. L’ampleur de ces évaluations peut paraître surprenante à la lumière de la faiblesse des systèmes de suivi. Elle reflète peut-être l’obligation de procéder à des évaluations, telle qu’elle a été perçue. Toutefois, leurs résultats ont souvent alimenté la gestion des programmes» (60). Au regard de cette affirmation, il aurait semblé judicieux d’accorder une plus grande attention à ces évaluations internes et de tirer parti des résultats obtenus par les ministères et les autorités régionales. Au contraire, le rapport de synthèse ne comporte que quelques observations à caractère très général dont l’intérêt est limité pour l’évaluation ex post dans son ensemble.

66. En ce qui concerne la période de programmation 2000-2006, le rapport de synthèse note que des efforts ont été consentis pour essayer de résoudre les problèmes de suivi rencontrés durant la période 1994-1999 (61).

Adéquation du cadre d’évaluation

Cahier des charges

67. À la lumière des divers problèmes relevés dans le cadre de l’analyse du rapport de synthèse, il convient d’accorder une attention particulière au cahier des charges initial. Certaines faiblesses affectent celui-ci, de même que le rapport de démarrage et le guide méthodologique, notamment: a) la question du nombre insuffisant d’objectifs quantifiés n’y est pas abordée. Par ailleurs, le cahier des charges et le guide méthodologique n’ont pas suffisamment pris en considération le manque d’indicateurs adéquats; b) de même, aucune disposition ne requiert de l’évaluateur qu’il collecte des données supplémentaires sur les indicateurs de performance. Le cahier des charges (62) a bien prévu une revue sur le terrain «le cas échéant, si les données ne sont pas disponibles dans les États membres». Toutefois, ce point n’a pas été précisé dans le guide méthodologique (63); c) l’accent n’a pas été assez mis sur l’évaluation des effets nets (64), à l’exception de quelques impacts économiques; d) le cahier des charges n’a pas assez insisté sur la question de l’efficacité et, en particulier, sur les effets d’aubaine, ce qui est regrettable dans la mesure où les effets d’aubaine sont souvent considérés comme un facteur pertinent dans des domaines importants comme les aides à l’investissement destinées aux entreprises, l’aide directe à l’emploi et la formation professionnelle facilitant l’accès à l’emploi; e) l’analyse de la possible corrélation entre l’adéquation de la stratégie, l’efficacité et l’impact n’a pas fait l’objet d’une attention suffisante (65). De même, peu d’efforts sont déployés pour essayer d’établir un lien entre les objectifs relevés, même s’ils ne sont pas quantifiés, et un classement des besoins auxquels le cadre communautaire d’appui vise à répondre; f) hormis l’application du modèle Hermin et la référence à l’analyse d’incidence critique suggérée pour les «études de cas» (66), aucune autre technique d’évaluation n’a été proposée dans le cahier des charges et le rapport de démarrage; g) s’agissant des «questions spécifiques par État membre» figurant dans le cahier des charges (67), aucune indication précise n’est fournie concernant la méthodologie à appliquer.

68. En outre, le cahier des charges n’a pas placé suffisamment haut dans la liste des priorités le renforcement de la cohésion économique et sociale au sein de l’Union européenne et la convergence des États membres les moins développés, alors qu’ils figurent parmi les objectifs majeurs des actions structurelles. Le rapport de démarrage comprenait quelques questions sur les modèles de développement utilisés, sur les contraintes pesant sur la croissance à prendre en considération, ainsi que sur les canaux par lesquels un impact sur l’économie régionale peut être escompté (68). Toutefois, l’évaluation ex post aurait dû idéalement prévoir des études empiriques sur la convergence entre les régions et sur la réduction des disparités, résultant de facteurs tels que les investissements dans les infrastructures, l’amélioration du système éducatif et le renforcement des capacités en matière de recherche et développement.

69. En outre, il aurait été judicieux de faire figurer, parmi les objectifs de l’évaluation, le recensement et l’analyse des études de cas constituant des références pour les politiques de développement régional, par exemple dans le domaine des réseauxet des pôles de croissance.

70. Lors du démarrage de l’évaluation, la question de l’adéquation de la stratégie a été traitée sous la forme d’une liste de points et de questions. Toutefois, le cahier des charges (69) et le guide méthodologique n’étaient pas suffisamment précis ou concrets.

Adéquation de la supervision par la Commission

71. Le contrat (général) entre la Commission et les consultants sélectionnés pour effectuer l’évaluation stipulait également qu’une assistance technique devait être fournie sous la responsabilité et la supervision d’agents de la Commission. La qualité de l’évaluation devait être évaluée par la Commission sur la base des critères élaborés dans le cadre du programme MEANS.

72. Le groupe de pilotage présidé par la direction générale de la politique régionale qui comprenait des représentants d’autres directions régionales, a participé à la rédaction du cahier des charges et approuvé la méthodologie, ainsi que le plan de travail détaillé (dans le rapport de démarrage). Il a également examiné les rapports nationaux et le rapport de synthèse. Un groupe de quatre experts a été désigné pour l’assister, le principal objectif de leur mission étant de s’assurer que les évaluations étaient de qualité supérieure. Toutefois, leur intervention a été trop tardive pour que le processus permette d’améliorer de manière significative la qualité de l’évaluation.

73. Le calendrier approuvé contractuellement n’a pas été respecté. La présentation des différents rapports a été retardée, de telle sorte que le rapport de synthèse et les rapports nationaux n’ont pas été remis dans le délai prévu de douze mois, soit pour le 12 novembre 2002. Ils n’ont été présentés qu’en avril 2003 et publiés en mai de la même année. Il s’est avéré que le calendrier était trop serré dès le départ et que le temps de réserve prévu était insuffisant pour que le nombre relativement élevé de modifications/améliorations des rapports demandés par les experts et les membres du groupe de pilotage puisse être traité. Cette constatation a des implications importantes pour les évaluations ex post à venir.

74. En vertu du cahier des charges (67), deux thèmes spécifiques devaient être examinés par État membre. Une liste de ces thèmes était proposée. Or aucun rapport national d’évaluation ne mettait spécifiquement l’accent sur cet aspect. Même si certains chapitres présentent des statistiques ou une analyse partielle de ces thèmes, ces derniers n’ont fait l’objet d’aucune recherche spécifique, contrairement à ce que prévoyait le cahier des charges.

75. En conclusion, la supervision, par la Commission, du processus d’évaluation doit être améliorée. En particulier, dans la mesure où le manque de données fiables, d’indicateurs de performance et d’objectifs précis était prévisible dès le départ, la Commission aurait dû s’assurer que des mesures appropriées soient prises pour surmonter cette difficulté majeure. En outre, eu égard au calendrier serré et aux contraintes inhérentes, il aurait fallu centrer l’évaluation sur les points essentiels plutôt que d’entreprendre une évaluation globale de la période de programmation.

Pertinence des recommandations pour l’évaluation des périodes de programmation suivantes

76. Eu égard aux problèmes relevés dans les parties précédentes du présent rapport, le processus d’évaluation ex post n’a permis de formuler des recommandations valables que dans une mesure limitée. S’il est vrai que le processus a abouti à un nombre réduit de recommandations concernant le contenu du programme, il a conduit à un certain nombre de suggestions pertinentes et sensées sur la manière d’améliorer la gestion des Fonds structurels et leur mise en œuvre (70).

77. Le rapport contient la recommandation suivante: «Les comités de suivi doivent s’occuper d’orientation stratégique plutôt que de problèmes de gestion financière» (71). Or les comités doivent être capables d’assumer les deux fonctions, comme le prévoit la réglementation.

78. Les évaluations ont conduit à des recommandations pour la période de programmation 2000-2006, qui concernent principalement les systèmes de gestion. Ces recommandations couvrent un grand nombre de sujets et sont généralement bien adaptées à la situation particulière de l’État membre en cause.

79. S’agissant des programmes 2000-2006, les principaux enseignements à tirer de l’évaluation ex post de la période précédente concernent la mise en œuvre des programmes, en particulier les études de cas réalisées en vue d’évaluer l’efficacité et l’efficience des interventions des Fonds structurels.

80. Les recommandations formulées dans le rapport de synthèse concernant l’évaluation ex post au delà de 2006, sont assez limitées et de caractère général. Elles n’en demeurent pas moins pertinentes et donc utiles. Le rapport indique notamment que: «Le recours aux évaluations chemin faisant indépendantes, qui constituent une contribution externe objective, pourrait être plus fréquent» (72). Cette recommandation est valable. Cependant, il eût été préférable qu’elle soit formulée avant le commencement de l’évaluation ex post examinée dans le cadre du présent audit.

ÉVALUATION EX POST DES ACTIVITÉS DU FSE (DANS LE CADRE DES OBJECTIFS NOS 1 ET 3) PAR LA DIRECTION GÉNÉRALE DE L’EMPLOI, DES AFFAIRES SOCIALES ET DE L’ÉGALITÉ DES CHANCES

81. Conjointement à l’évaluation des régions relevant de l’objectif no 1 sous la conduite de la direction générale de la politique régionale, une autre évaluation, effectuée en l’occurrence sous la houlette de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances a couvert les interventions du FSE dans le cadre des objectifs nos 1, 3 et 4, ainsi que les initiatives communautaires Emploi et Adapt. Le cahier des charges pour cette évaluation ex post prévoyait l’utilisation des résultats de l’évaluation des régions relevant de l’objectif no 1. Or, en dépit de dispositions organisationnelles visant à faciliter une coordination effective entre les deux évaluations, peu d’éléments attestent que cet objectif ait été atteint en pratique. Encadré 2Conclusions générales de l’évaluation effectuée par la direction générale de l’emploi, des affaires sociales et de l’égalité des chancesL’évaluation a visé à déterminer l’impact des interventions du FSE dans les États membres, au niveau des personnes et des systèmes. Son objectif était également de permettre l’analyse de l’impact et de l’efficacité de l’action de la Communauté en ce qui concerne certains problèmes structurels spécifiques, ainsi que de la vérification de la valeur ajoutée communautaire. Dans le cadre de la méthodologie retenue pour atteindre ces objectifs, les évaluateurs étaient invités, entre autres, à indiquer si les cas qu’ils étaient chargés d’évaluer confirmaient ou infirmaient un certain nombre d’hypothèses.Le rapport a fait état d’un certain nombre de points forts, qui peuvent être synthétisés de la manière suivante. Une part importante des crédits du FSE a été ciblée sur les victimes du chômage de longue durée, ce qui a été jugé opportun en raison de la persistance de ce phénomène. L’amélioration de la situation sur le marché de l’emploi a été à la mesure des ressources investies. Dans plusieurs États membres, les services de l’emploi, ainsi que les offres en matière d’éducation et de formation, ont connu des améliorations considérables. Les ressources utilisées ont permis de renforcer certaines priorités de politique, telles que l’égalité des chances, l’adaptation de la main-d’œuvre et le ciblage des personnes souffrant de handicaps. Par l’intermédiaire du FSE, les partenaires sociaux et les autorités régionales ont été davantage impliqués. Les fonds ont contribué à l’amélioration des capacités à gérer et à mettre en œuvre des interventions sur le marché de l’emploi à tous les niveaux.Cependant, le rapport mentionne également un certain nombre de faiblesses. Le déploiement des actions a été largement tributaire de la disponibilité des ressources plutôt que fondé sur des priorités politiques. Il s’est effectué de manière parallèle et distincte des débats politiques relatifs aux domaines en question. Les aides ont été concentrées dans le domaine de la formation et ont été principalement allouées à des prestataires de service, ce qui n’est pas, pris isolément, le moyen le plus efficace d’aider les chômeurs de longue durée. Il est donc probable que l’intervention ait été affectée par un niveau élevé d’effet d’aubaine. Enfin, le rapport relève que les dispositifs administratifs ont été perçus comme étant complexes et que les modalités d’évaluation ont manqué d’efficacité et de structure.

L’appréciation de la Cour concernant la qualité de l’évaluation

Revue des insuffisances affectant les données et l’analyse

82. L’incidence des interventions du FSE prend souvent la forme d’une contribution ou d’un effet potentiel qui sont intangibles et, par conséquent, ne sont pas facilement quantifiables (73). En dépit de ce problème intrinsèque, l’objectif premier d’une évaluation doit rester l’analyse de l’impact et, conjointement, l’examen de l’efficacité et de l’efficience. C’est ce que l’évaluation ex post était censée permettre de faire.

83. Dans le cadre de l’analyse de l’impact des interventions du FSE, le rapport de synthèse fournit des estimations du nombre de bénéficiaires du FSE par État membre et par objectif (74). En complément aux rapports nationaux d’évaluation, l’évaluation ex post a également visé à étayer un certain nombre d’hypothèses prédéfinies (75). Ces considérations sont examinées dans les points suivants.

84. S’agissant de l’évaluation ex post des interventions du FSE, l’une des exigences fondamentales concerne le nombre de bénéficiaires du programme au cours de la période 1994-1999. Le rapport présente un tableau où le nombre de bénéficiaires est estimé à 52 millions. Toutefois, les notes qui accompagnent ce tableau jettent de sérieux doutes sur les chiffres qui y figurent (76). L’incertitude quant à la précision des données réduit la portée de certaines observations pertinentes et utiles figurant dans d’autres parties de l’évaluation.

85. Le rapport de synthèse (75) donne également une estimation de l’impact des interventions du FSE sur les personnes. Cette information est potentiellement importante à plusieurs égards, notamment pour le calcul des coûts unitaires des programmes et l’estimation du nombre de bénéficiaires toujours au travail après 12 mois. Cependant, certains facteurs limitent sérieusement l’utilité de ces informations, notamment le manque d’explication concernant la manière dont ces données ont été obtenues. Le rapport dit simplement que: «Les ratios appliqués pour établir les estimations ont été calculés sur la base des différents cas examinés et d’une revue de la littérature» (74). Une telle explication ne peut être considérée comme satisfaisante et de plus amples informations sur le calcul des diverses estimations sont nécessaires pour mieux mesurer l’applicabilité des chiffres, tels que les coûts unitaires de référence et les taux de réussite des programmes.

86. L’analyse accompagnant les données s’avère également insatisfaisante. Il existe des discordances entre les commentaires formulés dans les appréciations et les données figurant dans les tableaux correspondants. Le texte dit par exemple que: «D’une manière générale, les coûts unitaires ont été inférieurs pour les chômeurs et les jeunes chômeurs, ils ont été d’environ 6 000 euros par travailleur en activité, et considérablement plus élevés, dans des proportions très variables, pour les personnes handicapées et les chômeurs de longue durée» (74). Or le tableau indique que les coûts unitaires pour les chômeurs sont les plus élevés (6 000 euros) et que ceux relatifs à l’intégration des personnes handicapées sont parmi les plus bas (4 000 euros). En outre, il est d’usage, en présence de ce que l’on appelle de «grandes variations» entre les programmes et à l’intérieur de ceux-ci, de donner des fourchettes. L’analyse figurant dans cette section est d’un intérêt limité, car elle se limite trop souvent à prendre en considération un seul chiffre au lieu de définir une fourchette de valeurs pertinentes et d’analyser de manière plus approfondie les fourchettes relevées dans les différents cas examinés.

87. Ces discordances entre les commentaires et les chiffres communiqués apparaissent dans d’autres parties du chapitre 3 (quelques exemples en sont donnés dans l’encadré 3 ci-après). Encadré 3Il est dit par exemple que: «Les dépenses du FSE par habitant ont été les plus élevées en Grèce, en Irlande et au Portugal (États membres totalement couverts par l’objectif no 1), ainsi qu’en Espagne (1)». Or le tableau 3.1 indique que les dépenses du FSE par habitant et par an se sont élevées à 2086 euros pour le Portugal et à 405 euros pour l’Allemagne, alors que les chiffres de 12 et de 17 euros sont donnés respectivement pour l’Irlande et pour la Grèce. À l’évidence, les chiffres du tableau ne concordent pas avec les commentaires formulés dans le texte. L’affirmation suivante est encore plus significative: «Dans tous les États membres, les dépenses du FSE en matière d’éducation par rapport aux dépenses nationales étaient inférieures aux mêmes dépenses par rapport aux dépenses consacrées aux PAMT. C’est en Grèce et au Portugal (2) qu’elles étaient les plus élevées.» Or le tableau 3.1 montre, dans la colonne des dépenses du FSE en matière d’éducation, que la Grèce n’a fait l’objet d’aucun versement.Par exemple, au point 3.2.3 (3), il est indiqué que: «Les dépenses nationales relatives à la formation au marché de l’emploi par rapport au PIB ont varié de 0,2 % au Luxembourg à 0,58 % en Suède (4).» Or, le tableau 3.3 montre que les dépenses de formation au Danemark équivalent à 0,94 % du PIB, soit près du double de celles de la Suède. Autre exemple, au point 3.2.6 (5), qui traite des dépenses en matière d’intégration des personnes handicapées, on peut lire l’affirmation suivante: «Le FSE a été particulièrement important en Grèce, en Espagne, en Autriche et au Portugal.» Or le tableau 3.6 ne mentionne aucune dépense du FSE en faveur des personnes handicapées pour l’Espagne et la Grèce. Autre exemple encore au point 3.2.7 consacré aux dépenses en matière d’éducation, où il est indiqué que: «C’est en Grèce, en Irlande et au Portugal (6) que la contribution du FSE a été la plus importante.» Or le tableau 3.7 ne mentionne aucune dépense du FSE en matière d’éducation pour la Grèce.Rapport de synthèse: (1) p. 78, (2) p. 79, (3) p. 81, (4) p. 81, (5) p. 84 et (6) p. 85

Évaluation de l’impact des interventions du FSE

88. Il était demandé aux évaluateurs qui ont participé à l’évaluation ex post d’indiquer si les cas analysés confirmaient ou infirmaient un certain nombre d’hypothèses qui avaient été formulées sur la base d’une revue préalable de la littérature et sur les constatations figurant dans le rapport de démarrage de l’évaluation. Le rapport de synthèse précise que «des éléments probants convaincants permettent de confirmer quatre hypothèses» [voir tableau 3 (77)]. Or les données présentées n’attestent pas l’existence d’éléments probants convaincants. Par exemple, seuls sept évaluateurs, sur 30, ont déclaré que la première hypothèse reposait sur des éléments probants convaincants. Une évaluation plus objective de ces résultats aurait été nécessaire.

Tableau 3

Observations relatives aux hypothèses examinées dans le cadre de l’examen des cas d’impact sur les personnes

Éléments probants convaincants confirmant l’hypothèse Certains éléments probants confirmant l’hypothèse Aucun élément probant confirmant ou infirmant l’hypothèse Certains éléments probants infirmant l’hypothèse Éléments probants convaincants infirmant l’hypothèse Sans opinion à ce stade 1. Le degré d’impact est lié aux conditions sous-jacentes du marché national et régional (par exemple, les résultats dépendent du cycle économique et des niveaux de la demande et du chômage). 7 14 8 0 1 0 2. Le degré d’impact est lié aux caractéristiques des groupes bénéficiaires ciblés (par exemple les actions de formation sont plus efficaces pour les femmes qui reviennent sur le marché de l’emploi et les immigrés diplômés que pour les travailleurs peu qualifiés et les jeunes). 8 18 3 0 0 1 3. Le degré d’impact est lié au type d’action. Certaines actions sont largement affectées par les effets d’aubaine; d’autres sont efficaces à sur une petite échelle mais n’apportent pas de solutions générales. 5 17 6 1 0 1 4. Le degré d’impact est étroitement lié au type de structure et de gestion des programmes, entre autres à la qualité des analyses qui définissent la portée exacte des interventions (par exemple les petits programmes ciblés peuvent être plus efficaces que les programmes de grande envergure). 3 17 7 1 0 1

Évaluation relative à l’égalité des chances

89. S’agissant de l’impact du FSE pour la période1994-1999, le cahier des charges prévoyait également une évaluation de la contribution des interventions du FSE à l’objectif d’égalité des chances (78). Cet aspect est abordé au chapitre 7 du rapport? qui indique cependant que: «Une constatation essentielle est que les données ventilées par sexe ne sont pas systématiquement collectées dans l’ensemble de l’Union européenne pour chacun des objectifs du FSE et des initiatives communautaires» (79). Cela a considérablement limité la capacité des auteurs de l’évaluation ex post à donner une appréciation sur ce sujet. Il est difficile de considérer ce résultat comme une constatation essentielle dans la mesure où une analyse préliminaire aurait révélé cette lacune qui nécessitait, pour la surmonter, un travail de terrain et des enquêtes par sondage plutôt que le simple constat que les données n’étaient pas disponibles.

Autres aspects examinés

90. S’agissant de l’impact des opérations du FSE sur les personnes, les interventions relevant de «mesures combinées» (80) n’ont pas fait l’objet d’un examen spécifique, malgré la part importante des ressources du FSE (18 %) qui leur a été allouée. Par conséquent, les conclusions du rapport de synthèse sont plutôt modestes: «Les travaux d’évaluation font état, pour la plupart, d’effets positifs. Les méthodes d’évaluation tendent cependant davantage à privilégier la détermination des composantes des programmes paraissant les plus efficaces qu’à apprécier la performance des mesures combinées par rapport aux interventions relevant d’une mesure unique (81).»

91. S’agissant de l’incidence des politiques actives du marché de l’emploi (PAMT), en particulier concernant les États membres relevant de l’objectif no 1, le rapport de synthèse formule quelques conclusions sans que les éléments qui les sous-tendent soient expliqués de façon appropriée.

92. S’agissant de la contribution financière du FSE, les auteurs du rapport de synthèse (82) concluent que «l’affectation combinée de crédits nationaux et de ressources du FSE ne semble avoir permis ni une convergence des modèles de dépenses des pays, ni l’adoption de normes subordonnant l’octroi de ressources à des conditions spécifiques sur le plan économique et du marché de l’emploi» (83). Il semble que cette conclusion soit difficilement défendable étant donné le nombre d’erreurs dans les tableaux correspondants et/ou les errements de l’analyse. De même, cette partie du rapport contient une autre conclusion importante, à savoir que «ces circonstances donnent à penser que les interventions du FSE pourraient ne pas toutes avoir un caractère additionnel. L’additionnalité, au sens que les interventions cofinancées par le FSE n’auraient autrement probablement pas été mises en œuvre, a vraisemblablement été mieux assurée lorsque les ressources FSE étaient ciblées et concentrées sur des types particuliers d’interventions et lorsque les dépenses et les programmes nationaux correspondants étaient relativement limités et moins importants que dans d’autres États membres où le marché de l’emploi présentait des conditions similaires». Là encore, il est difficile de saisir le cheminement permettant d’arriver à cette conclusion à partir des éléments probants présentés dans ce chapitre, notamment en raison du décalage entre l’analyse, d’une part, et les données présentées dans les tableaux, d’autre part.

93. En ce qui concerne les hypothèses avancées sur l’impact du FSE sur les systèmes en place, un problème similaire à celui évoqué plus haut se pose. En l’occurrence, sept hypothèses reposeraient sur des éléments probants convaincants (84). Parallèlement, une analyse des données présentées montre cependant, que cette conclusion n’est pas vraiment étayée.

Commentaires sur l’appréciation globale de la Commission

94. Si les contraintes auxquelles les évaluateurs ont été confrontés doivent être dûment prises en considération, il n’en demeure pas moins nécessaire de formuler des commentaires critiques concernant l’analyse, par la Commission, de l’évaluation ex post, qui a débouché sur un résultat globalement satisfaisant.

95. L’évaluation du rapport par la direction générale de l’emploi, des affaires sociales et de l’égalité des chances repose sur huit critères de performance et quatre degrés de qualité possibles, à savoir «excellent», «bon», «correct», «inacceptable». Aucun des critères appliqués n’a été évalué comme étant «excellent» ou «inacceptable». Quatre critères ont été estimés «bons», à savoir la satisfaction des besoins (meeting needs), l’adéquation du champ (relevant scope), l’adéquation de la méthodologie (defensible design) et la clarté du rapport (clear report). Les quatre autres critères portant sur la fiabilité des données (reliable data), la solidité de l’analyse (sound analysis), la crédibilité des résultats (credible results) et l’impartialité des conclusions (impartial conclusions) ont été considérés comme «corrects».

96. Le fait que le jugement de la direction générale de l’emploi, des affaires sociales et de l’égalité des chances sur ces quatre derniers critères soit moins positif que pour les quatre premiers est révélateur. Néanmoins, étant donné les problèmes relevés en matière de fiabilité des données ainsi que les incohérences du commentaire correspondant (comme le montre le présent rapport), la Cour estime que le rapport d’évaluation n’est pas satisfaisant, en particulier en ce qui concerne la fiabilité des données, la solidité de l’analyse, la crédibilité des résultats et l’impartialité des conclusions.

Autres informations tirées des rapports nationaux

97. Il est également possible de formuler quelques observations pertinentes sur les objectifs et les résultats d’évaluation à partir des rapports d’évaluation nationaux: a) les résultats de l’évaluation relatifs à l’impact sur les personnes étaient souvent de nature qualitative; l’effet d’aubaine n’a pas toujours été estimé; b) les impacts de nature plus qualitative (85) («soft outcomes») n’ont pas systématiquement fait l’objet d’un examen; c) à l’exception des approches intégrées ou mixtes, il est difficile de formuler des observations de portée générale concernant la performance des différentes mesures à partir des évaluations; d) d’importants facteurs tels que la contribution au développement durable et à la cohésion socio-économique n’ont pas été systématiquement évalués; e) les groupes cibles, comme les chômeurs de longue durée ou les jeunes à la recherche d’un emploi, n’ont pas systématiquement fait l’objet de conclusions spécifiques dans le cadre de l’évaluation des actions cofinancées; f) il n’a été possible de comparer les attentes aux résultats que dans quelques cas; le manque d’objectifs de départ et d’indicateurs spécifiques ainsi que l’absence d’informations exactes ont généralement entravé l’évaluation; g) la complémentarité entre les mesures relevant du FSE et d’autres actions n’a guère été prise en considération pour interpréter certains résultats. L’importance de l’augmentation de la productivité de personnes bénéficiaires du FSE, en termes d’avantages pour les sociétés qui les emploient, n’a presque jamais été directement examinée.

98. Les rapports nationaux figurant dans l’échantillon ne présentent pas toujours une analyse minutieuse de l’impact des interventions relevant du FSE sur les politiques nationales. Cependant, ils laissent généralement entrevoir que ces interventions FSE ont eu une incidence sur l’évolution des PAMT, et font à l’occasion état d’un effet direct et concret. Toutefois, dans d’autres cas, la conclusion était qu’au contraire, il était difficile de montrer que les actions au titre du FSE pouvaient entraîner des changements au niveau des PAMT.

99. Tous les rapports nationaux d’évaluation et le rapport de synthèse décrivent d’une façon plus ou moins circonstanciée les impacts sur les systèmes en ce qui concerne les services en matière d’emploi, l’enseignement et la formation de base, l’enseignement et la formation permanents, les systèmes d’agrément et les mécanismes d’anticipation des besoins. Les impacts sur les systèmes se rapportent souvent à un contexte de politique plus spécifique. En règle générale, il était difficile de déterminer l’impact net des opérations relevant du FSE (86); ces derniers n’ont été effectivement délimités qu’en de rares occasions (87).

100. S’agissant de la Stratégie européenne pour l’emploi (SEE), les rapports d’évaluation ont mis en évidence l’influence bénéfique du FSE dans plusieurs États membres, notamment la Grèce, la France, l’Italie, le Portugal et l’Espagne. Dans le cas de l’Allemagne, il a cependant été constaté que l’approche descendante retenue pour la SEE risquait d’être incompatible avec l’approche ascendante du FSE (88). Plus généralement, les auteurs du rapport de synthèse concluent que la SEE a instauré un cadre stratégique plus solide pour la programmation des interventions relevant du FSE (89).

101. En ce qui concerne la valeur ajoutée communautaire, les rapports nationaux d’évaluation ont fourni des résultats intéressants (90), bien qu’une partie des questions spécifiques n’ait pas été traitée dans certains rapports nationaux.

102. Les implications financières des choix politiques ont rarement été examinées de façon approfondie. Le rapport de synthèse présente un calcul des coûts unitaires concernant quelques mesures, mais ce dernier repose sur des données peu satisfaisantes. Lorsque les questions de coûts ont été abordées, des éléments potentiellement préoccupants qui mériteraient une analyse plus poussée ont été mis en évidence. Dans le cas de l’Espagne, par exemple, le rapport indique que: «Cette multiplication plus ou moins par deux des ressources du fait de la contribution du FSE a entraîné, selon certains experts, des dépenses superflues d’une valeur non négligeable. La source de crédits supplémentaires n’a pas tant servi à instaurer de nouvelles mesures qu’à étendre les opérations.» De même, pour le FSE en Italie, des coûts de transaction notables, concernant des questions de mise en œuvre ainsi que des coûts liés au renforcement du partenariat et à la mise en place de nouvelles pratiques de gestion (91), ont été constatés.

Adéquation du cadre pour l’évaluation

103. Les éléments d’évaluation les plus importants étaient indiqués dans le cahier des charges: il s’agissait en l’occurrence des principales caractéristiques de la période de programmation 1994-1999 et des réalisations au cours de celle-ci, de l’impact du FSE dans le contexte des politiques nationales, ainsi que de l’efficacité des opérations relevant du FSE quant à leur impact sur les personnes et sur les systèmes.

104. La Commission a établi, puis publié un an plus tard, un rapport (methods report), dans lequel les méthodes mises en œuvre pour évaluer les résultats et leurs effets sur les personnes et les systèmes sont examinés d’un point de vue critique. Ce rapport était censé préparer le terrain pour de futures évaluations, mais rien n’atteste que cet objectif ait été réellement atteint. En effet, ce rapport présente différents points faibles. Il ne s’appuie pas sur une enquête suffisamment approfondie concernant les approches suivies pour évaluer l’impact net sur les personnes. S’agissant de l’évaluation de l’impact sur les systèmes, le rapport propose un modèle de classification des dépenses effectuées au titre du FSE et de leurs impacts inhérents escomptés (capacité, compétence et réactivité) (92). Toutefois, certains points doivent encore être traités (voir page 35 du rapport).

105. Dans la partie relative aux méthodes d’évaluation politique et stratégique dans le domaine du FSE [Methods for policy and strategic evaluation in the ESF field (93)], le rapport sur les méthodes ne formule aucune recommandation concrète concernant l’analyse des politiques, et se limite à une simple référence à MEANS. De même, l’approche à suivre pour sélectionner les indicateurs appropriés à différents niveaux stratégiques n’est pas évoquée.

106. Il convient de noter que les éléments importants de certaines tâches d’évaluation ne sont pas toujours explicités dans le cahier des charges. À titre d’exemple, la description des tâches concernant l’efficacité est plutôt abstraite, notamment si l’on se penche sur les notions sous-jacentes, la sélection des mécanismes de mesure de l’impact et les techniques d’évaluation à utiliser. Plus particulièrement, aucune indication n’est donnée concrètement sur les méthodes à appliquer pour extrapoler, à l’échelle de l’Union européenne, l’impact direct sur les personnes à partir des résultats des activités dans les différents États membres. La définition des tâches n’a pas dûment pris en considération le possible décalage entre les objectifs quantitatifs et les données disponibles. En outre, aucune action concrète n’a été prévue pour évaluer l’impact sur les personnes lorsque les indicateurs ne sont pas véritablement définis, ou lorsqu’aucune statistique spécifique n’a été réalisée depuis un certain temps. Les autres documents méthodologiques, établis après le cahier des charges, ne comportent pas non plus les explications nécessaires.

107. Les changements affectant la programmation n’ont pas toujours été examinés de façon adéquate. Par exemple cette question n’a pas été abordée dans les études concernant l’Irlande du Nord, la région de Merseyside et l’Espagne. Et même lorsque des changements affectant la programmation ont été signalés, leur traitement est loin d’avoir été optimal. Dans quelques cas, l’évaluateur n’a pas fourni une appréciation claire des modifications pertinentes ni de leur caractère adéquat (94).

108. La Commission n’a effectué aucune enquête préalable à l’évaluation ou d’action de reconnaissance, ce qui a compliqué l’anticipation des problèmes auxquels les évaluateurs ont été confrontés.

109. Aucun élément n’atteste clairement que le groupe de pilotage était suffisamment conscient du peu de données à la disposition des évaluateurs nationaux, des répercussions que cela aurait sur la qualité des évaluations finales, ainsi que des problèmes de délais. Le groupe de pilotage n’a pris aucune mesure correctrice pour régler cette question.

110. Comme dans le cas de l’évaluation relative à l’objectif no 1, la supervision, par la Commission, du processus d’évaluation doit être améliorée (voir point 75).

Recommandations concluant l’évaluation

111. Pour la plupart des États membres, les recommandations formulées à l’issue de l’évaluation ex post 1994-1999 ont essentiellement porté sur les systèmes de gestion et sur les procédures. Elles abordent des questions très variées et sont généralement bien adaptées aux différentes situations.

112. Quelques recommandations relatives à la période 2000-2006 concernaient le contenu des politiques cofinancées, et semblaient en l’occurrence être pertinentes (95).

113. Le rapport de synthèse comporte une liste des forces et des faiblesses pour chaque objectif (96), ainsi que les principales recommandations pour la période 2000-2006 et au-delà (97). Bien qu’elles semblent valables dans certains cas, notamment lorsqu’elles mettent en exergue les différences potentielles entre les États membres de l’EU-15 et de l’EU-10 ou la réponse que les politiques donnent tenant compte des caractéristiques régionales différentes, ces observations ont une portée plutôt générale.

CONCLUSIONS

114. Le processus d’évaluation est primordial, car il permet d’obtenir des informations et de formuler un jugement sur le caractère approprié, pertinent, économique, efficient et efficace des interventions de l’Union européenne ainsi que sur les impacts de ces dernières. Il peut ainsi étayer le processus décisionnel visant à fixer les priorités politiques et l’affectation des ressources. La réussite de ce processus est néanmoins subordonnée au respect de certaines conditions préalables, c’est-à-dire qu’il convient d’assigner des objectifs précis aux politiques et aux programmes, ainsi que de définir régulièrement des indicateurs de performance exhaustifs, fiables et en relation avec les objectifs fixés. En outre, il est nécessaire de s’assurer que les ressources disponibles (aussi bien en termes de temps à disposition que de compétences techniques) pour réaliser ce processus sont adéquates.

115. Lors de son audit des évaluations ex post en cause, la Cour a relevé plusieurs déficiences importantes concernant l’approche globale adoptée et la qualité des appréciations réalisées: a) les objectifs définis au cours de la période de programmation 1994-1999 manquaient de clarté et de cohérence; b) peu d’indicateurs de performance étaient disponibles; cependant, peu de mesures ont été prises pour corriger cette lacune, par exemple, la collecte de données quantitatives supplémentaires; c) par conséquent, l’équilibre entre les analyses quantitatives et qualitatives n’a pas toujours été satisfaisant; d) cette situation a entraîné la formulation de conclusions qui n’étaient pas étayées par des analyses appropriées; e) parallèlement, l’évaluation a parfois négligé un certain nombre de questions méritant d’être abordées dans le cadre d’une évaluation ex post, comme l’effet d’aubaine, la convergence et les différents thèmes proposés par État membre.

116. En ce qui concerne les différents thèmes d’évaluation, les conclusions relatives à l’évaluation de l’objectif no 1 sont les suivantes: a) dans le cadre de l’évaluation du caractère approprié des stratégies adoptées, l’analyse pâtit du fait que des disparités importantes affectent les données, comme cela apparaît dans le rapport de synthèse, lorsqu’il s’agit de comparer les coûts prévus et les coûts réels calculés. Même compte tenu des carences des données disponibles, une analyse plus approfondie aurait pu être tentée afin d’y voir un peu plus clair sur les investissements du secteur privé liés aux dépenses effectuées au titre des Fonds structurels; b) l’examen de l’efficacité manquait de rigueur, entre autres parce que les analyses étaient inadéquates ou insuffisantes et que plusieurs conclusions importantes et pertinentes figurant dans les études thématiques n’avaient pas été prises en considération;