RAPPORT SPÉCIAL N° 15/98 sur l'évaluation des interventions des Fonds structurels concernant les périodes 1989-1993 et 1994-1999, accompagné des réponses de la Commission (présenté en vertu de l'article 188 C, paragraphe 4, deuxième alinéa, du traité CE) (98/C 347/01)

1. INTRODUCTION

1.1. La réforme des Fonds structurels (FS) de 1988 a prévu l'obligation pour la Commission et les États membres d'évaluer les politiques structurelles européennes. En 1993, la réglementation modifiée dans le cadre de la révision de la réforme des FS (1994-1999), ainsi que les clauses standard des nouveaux Cadres Communautaires d'Appui (CCA) et des Documents uniques de programmation (DOCUP), ont renforcé cette obligation d'évaluer.

1.2. L'évaluation, instrument indispensable pour une bonne gestion des FS, est définie dans les principales dispositions réglementaires (1) comme une appréciation de l'efficacité à trois niveaux:

a) l'impact d'ensemble des actions structurelles sur les objectifs visés à l'article 130A du Traité;

b) l'impact d'ensemble des actions prévues dans les CCA;

c) l'impact spécifique de chaque intervention opérationnelle (programmes et autres formes d'intervention).

1.3. La mise en oeuvre de l'évaluation comprend principalement trois phases:a) l'appréciation ex ante (2), qui permet d'identifier correctement les problèmes socio-économiques à résoudre et les objectifs à atteindre, d'une part, et la stratégie adoptée avec les moyens disponibles pour y répondre, d'autre part;

b) l'évaluation intermédiaire, qui permet lors de l'exécution d'un programme de vérifier si les objectifs sont encore adaptés et les résultats souhaités en bonne voie d'être atteints;

c) l'évaluation ex post, qui intervient une fois le programme terminé et qui sert à analyser si les résultats et effets obtenus peuvent être considérés comme positifs, étant entendu que les effets à long terme d'une action structurelle ne peuvent être appréhendés que plusieurs années après sa finalisation.

1.4. La réglementation, telle que modifiée en 1993, souligne la responsabilité tant des États membres que de la Commission en matière d'évaluation, laquelle s'inscrit dans le cadre du partenariat (3). Dans ce contexte, la Commission a pris l'initiative de l'encadrement et de la coordination générale de la mise en oeuvre de l'évaluation et présente un rapport triennal d'évaluation, prévu par l'article 16 du règlement (CEE) n° 2052/88, sur les progrès accomplis en matière de cohésion économique et sociale et sur la façon dont notamment les Fonds et le cofinancement national y ont contribué.

2. PORTÉE DE L'AUDIT

2.1. L'objectif général de l'enquête de la Cour (4) a été de vérifier les progrès réalisés en matière d'évaluation des interventions structurelles communautaires, tant sur le plan des systèmes et des procédures d'évaluation que sur le plan méthodologique. L'examen a porté sur les modalités de la mise en oeuvre de l'évaluation des interventions structurelles tant par la Commission que dans le cadre du partenariat. L'utilisation légale et régulière des crédits du budget des Communautés européennes destinés à l'évaluation ainsi que la qualité de leur gestion financière ont été examinées.

2.2. L'enquête a aussi consisté à apprécier les techniques d'évaluation de l'impact socio-économique des actions structurelles. Bien que l'enquête n'ait pas prétendu constituer une évaluation directe des programmes produisant de nouveaux résultats scientifiques, elle évoque certains de ces résultats constatés par des experts, en vue de mieux cerner la relation entre les instruments de politique économique utilisés et les résultats obtenus.

2.3. Des enquêtes spécifiques ont porté sur les évaluations ex post des CCA et programmes opérationnels (PO) des objectifs 1 et 2 pour la période de programmation 1989-1993 et sur les évaluations intermédiaires des CCA, DOCUP et PO de la période de programmation 1994-1999. La totalité des évaluations ex post des CCA 1989-1993 de l'objectif 1 a été prise en compte, ainsi qu'environ 20 % des rapports d'évaluation ex post des CCA 1989-1993 de l'objectif 2 et 15 % des rapports d'évaluation intermédiaire des CCA 1994-1999, sélectionnés en fonction de leur répartition géographique et de la nature des interventions (CCA, DOCUP, PO). Par ailleurs, sur 25 rapports d'évaluation traitant principalement des aspects macro-économiques, 15 ont été analysés. L'enquête a été menée auprès des services de la Commission et dans huit États membres (Belgique, Grèce, Espagne, France, Irlande, Italie, Pays-Bas, Portugal), où les évaluateurs et les responsables des administrations nationales concernées ont été consultés.

3. RÉSUMÉ DES PRINCIPALES OBSERVATIONS

3.1. L'évaluation s'est surtout développée et diffusée, sous l'impulsion de la Commission, au cours de la période de programmation 1994-1999, notamment dans le cadre du FEDER, débouchant aussi sur la reconnaissance de cet instrument dans le domaine de la gestion et de la programmation. À partir de cette période de programmation 1994-1999, l'évaluation est appliquée systématiquement aux deux premières phases (ex ante, intermédiaire), et le sera en fin de période (ex post) (voir points 4.2-4.8).

3.2. La Commission, bien que connaissant ses dépenses directes pour l'évaluation, ne dispose pas toujours de la totalité des informations en ce qui concerne les dépenses relatives à l'évaluation dans le cadre du partenariat (voir points 4.9-4.11).

3.3. La Commission a fortement contribué à diffuser la culture de l'évaluation, bien qu'elle n'ait pas apporté un encadrement suffisant concernant les indicateurs et la méthodologie d'évaluation dans son programme «Méthodes d'évaluation des actions de nature structurelle» (MEANS). Compte tenu de la complexité des aspects méthodologiques liés à l'évaluation, une méthodologie unique applicable à toute situation spécifique n'existe pas. Il est cependant important que la Commission soit en position de fournir des encadrements méthodologiques permettant de disposer d'orientations appropriées pour mener à terme des évaluations adaptées aux situations spécifiques (voir points 4.12-4.13).

3.4. La qualité des indicateurs est étroitement liée à la fiabilité des données résultant du suivi des interventions et des bases statistiques existantes, lesquelles, relevant de la responsabilité des États membres, s'avèrent souvent insuffisantes; les États membres devraient en améliorer la qualité (voir points 4.14-4.21).

3.5. Beaucoup d'évaluations sont achevées tardivement, ce qui peut retarder d'autant les ajustements des programmes. Par ailleurs, les résultats d'évaluation en termes de performance ou d'efficacité des formes d'intervention pourraient être mieux pris en compte par le système décisionnel en ce qui concerne les reprogrammations (voir points 4.22-4.27).

3.6. En ce qui concerne l'objectivité des évaluations, aucun contrôle sur place de la cohérence et de la fiabilité des indicateurs ou des systèmes qui les produisent n'est effectué par la Commission (voir points 4.29-4.30).

3.7. Les procédures de passation de contrats de consultants en matière d'évaluation présentent encore des faiblesses importantes au niveau de la Commission. La sélection des consultants n'est pas toujours clairement justifiée. Les cahiers des charges restent très généraux sur la technique liée à la méthodologie, sur les indicateurs ou sur les obligations de résultat. Il s'ensuit des retards et des perturbations lors de la production des rapports d'évaluation, une qualité variable de l'analyse et parfois des recommandations vagues (voir points 4.31-4.36).

3.8. L'application des méthodologies relatives aux évaluations ex post des objectifs 1 et 2 1989-1993 a été confrontée à des lacunes statistiques, à l'absence d'objectifs et d'indicateurs prévisionnels quantifiés, à un suivi des effets inefficace et elle n'a pas toujours été réalisée de manière suffisamment rigoureuse. Ces évaluations ont néanmoins mis en évidence une valeur ajoutée communautaire des FS tant sur le plan des réalisations, des résultats et des effets des CCA, PO et mesures que sur celui de la programmation, de l'organisation, du suivi, de la coordination, du partenariat et de l'additionnalité (voir points 4.15-4.19, 5.1, 5.4, 5.10-5.16).

3.9. En ce qui concerne les évaluations intermédiaires relatives aux interventions des FS 1994-1999, mises en oeuvre en partenariat dans le cadre des comités de suivi, la priorité accordée aux différents objectifs d'évaluation est variable, l'examen des réalisations physiques et financières ayant néanmoins une place importante dans toute évaluation intermédiaire. L'évaluation des effets est entravée par des problèmes au niveau notamment des indicateurs et de la modélisation des effets. Ces évaluations n'ont souvent encore qu'une utilité relative pour le processus décisionnel, la gestion des projets, la reprogrammation ou la préparation des interventions à venir (voir points 4.16-4.21, 6.5, 6.7, 6.14-6.26).

3.10. En ce qui concerne l'objectif 2 (O2) spécifiquement, l'évaluation a mis en évidence, notamment, les faiblesses suivantes:

a) une inadéquation entre la réalisation des programmes et le financement communautaire, puisque les reports de crédits d'un programme à un autre restent importants, de l'ordre de 12 % en moyenne pour le passage de la période 1994-1996 à celle de 1997-1999 (voir point 6.27);

b) la succession de courtes périodes de programmation ne permet pas l'utilisation optimale des résultats provenant de l'évaluation (voir point 4.23);

c) les effets indirects restent insuffisamment mesurés pour cerner l'impact des interventions structurelles, notamment concernant l'emploi (voir points 5.12-5.15).

3.11. Les évaluations macro-économiques réalisées ont mis en évidence des résultats positifs, notamment sur le plan de l'impact des actions structurelles (accroissement du PIB, effets sur l'offre et la demande, amélioration de l'emploi et de la convergence, efficacité des instruments des CCA), malgré des lacunes dans les systèmes de programmation, de mise en oeuvre et de suivi de ces actions (voir points 7.1-7.14).

3.12. Les évaluations au niveau des sous-programmes ou mesures restent insuffisantes. Elles se heurtent par ailleurs à des difficultés techniques dues à la dispersion et au manque de cohérence d'un grand nombre de mesures et de sous-programmes (voir point 7.17).

4. PROBLÈMES GÉNÉRAUX

Introduction

4.1. L'évaluation a pour but de déterminer les effets socio-économiques des actions mises en oeuvre, c'est-à-dire d'examiner les résultats obtenus, de les confronter aux ressources investies et d'en analyser le coût; et tous ces points devront faire aussi l'objet d'une analyse par rapport aux prévisions envisagées. Or, afin de mener à bien cette tâche d'évaluation, il est indispensable de disposer d'une bonne base statistique, d'établir des objectifs quantifiés sur la base d'un système d'indicateurs et de développer le cadre méthodologique et analytique, tout en s'appuyant sur une analyse des relations entre moyens utilisés, résultats finals et résultats intermédiaires. La Cour a constaté des défaillances à tous ces niveaux, qui ont limité, jusqu'à présent, l'utilité des évaluations réalisées dans le cadre des fonds structurels, même si de réels progrès ont été observés, contribuant à consolider la dynamique de l'évaluation.

4.2. Dès la réforme de 1988, l'évaluation s'est inscrite explicitement dans le cadre du partenariat [article 26 du règlement (CEE) n° 4253/88 - précisé dans le règlement modifié du 20 juillet 1993]. Au cours de la première période de programmation et jusqu'en 1995, les évaluations ont cependant été effectuées surtout à l'initiative de la Commission (5). Ces évaluations - notamment celles ayant un caractère ex post - ont été entravées par des stratégies de développement peu précises et par un suivi non satisfaisant; elles n'ont d'ailleurs en général pas fait l'objet d'une réelle prise en compte et d'une discussion approfondie au niveau des comités de suivi.

4.3. La Commission a surtout veillé dans un premier temps à mettre en place son propre dispositif d'évaluation pour l'ensemble des CCA couvrant les cinq objectifs prioritaires de la réforme (6). Parmi les initiatives de la Commission liées au développement des évaluations et des méthodes afférentes, il convient de citer notamment la création en 1992 du groupe technique «Évaluation des politiques régionales» et, sur le plan méthodologique, le lancement du Programme «Méthodes d'évaluation des actions de nature structurelle» (MEANS) en 1994.

4.4. Pour la période de programmation 1994-1999, la Commission a été à la base d'une nouvelle dynamique de l'évaluation, qui se traduit désormais par son application systématique aux deux premières phases (ex ante, intermédiaire) et ultérieurement à la phase ex post.

4.5. L'évaluation intermédiaire, alors que non prévue explicitement dans les règlements des FS, a été appliquée à partir de 1995-1996 à tous les CCA, DOCUP et PO de la période de programmation 1994-1999. Elle s'inscrit concrètement dans le cadre du partenariat, permettant aux comités de suivi d'en faire un outil de gestion intégrée et contribuant ainsi à une très large diffusion de la culture de l'évaluation. La Commission a préparé pour l'évaluation intermédiaire un dispositif en phases successives pour sa mise en oeuvre auprès des États membres (7).

4.6. Ce dispositif n'a toutefois pas précisé les modalités concrètes du processus (définition du cahier des charges, critères de sélection de l'évaluateur, structure du rapport d'évaluation, collecte des données, normes de qualité exigées, calendrier, etc.).

4.7. En parallèle, des manifestations complétées par de nombreuses publications ont été organisées par la Commission (8). En rassemblant les professionnels de l'évaluation et les gestionnaires des FS, ces manifestations ont contribué au développement de la culture de l'évaluation et à la sensibilisation des gestionnaires à ce sujet. L'évaluation a été présentée essentiellement comme un processus d'apprentissage issu de l'expérience.

4.8. La Commission a présenté en mai 1998 dans le cadre de l'avant-projet de budget général des Communautés européennes pour l'exercice 1999 le document de travail «Bilan d'évaluation 1996/1997», où elle décrit les activités d'évaluation menées en 1996-1997, évoque la liste des évaluations réalisées et en cours de réalisation et fournit une synthèse des résultats des évaluations réalisées en 1996-1997.

4.9. Les dépenses concernant l'évaluation peuvent être financées soit directement par la Commission, soit cofinancées en partenariat avec les États membres. Les tableaux 1 et 2 indiquent les dépenses directement effectuées par la DG XVI dans le domaine de l'évaluation pour les deux périodes de programmation 1989-1993 et 1994-1999.

4.10. Pour la période 1989-1993, les dépenses consacrées à l'évaluation sont de l'ordre de 10 Mio ECU, comme le montre le tableau 1. Les deux tiers environ de ces dépenses ont été effectués dans deux domaines qui relèvent directement de la responsabilité de la Commission et qui ressortent de sa propre initiative: d'une part, les initiatives communautaires au titre de l'article 11 du règlement (CEE) n° 4253/88 pour un montant de 3,1 Mio ECU et d'autre part, les évaluations transversales et thématiques telles que les PME, les télécommunications, l'environnement ou les ressources humaines pour un montant de 3,2 Mio ECU. Les montants destinés à l'évaluation des O1 et O2 des FS sont cependant restés relativement faibles compte tenu du fait qu'à la même période le partenariat a été peu développé dans le domaine de l'évaluation. Pour la période 1994-1999, le montant consacré à l'évaluation est de 25,2 Mio ECU en avril 1998 comme le montre le tableau 2. Cette augmentation par rapport à la période précédente s'explique par le développement de l'évaluation intermédiaire et de la méthodologie y afférente dans le cadre du partenariat.

4.11. En ce qui concerne les dépenses effectuées par la Commission et les États membres dans ce cadre, fortement augmentées depuis 1996, la Commission ne dispose pas toujours de la totalité des informations afférentes, notamment lorsque les évaluations sont incluses dans la mesure «assistance technique» des programmes opérationnels qui peut comprendre aussi d'autres dépenses. Un montant spécifiquement alloué aux besoins de l'évaluation pourrait être prévu dès la phase initiale de programmation, ce qui rendrait son coût plus transparent.

Cadre de référence

4.12. Dans le processus de développement de l'évaluation, le programme MEANS (1995-1998), d'un montant total de 2,8 Mio ECU, occupe une place spécifique (9). La démarche appliquée vise à susciter un développement méthodologique uniforme et cohérent, à travers l'inventaire des méthodologies utilisées par les États membres et la mise en évidence d'exemples valables. Cette approche, essentiellement incitative et empirique, ne permet pas à la Commission de se prononcer sur les modalités concrètes de mise en oeuvre des méthodes d'évaluation ou sur le choix d'indicateurs, notamment ceux visant à mesurer les impacts socio-économiques dans le domaine du développement régional. Compte tenu de la complexité des aspects méthodologiques liés à l'évaluation, une méthodologie unique applicable à toute situation spécifique n'existe pas. Il est cependant important que la Commission soit en position de fournir des encadrements méthodologiques permettant de disposer d'orientations appropriées pour mener à terme des évaluations adaptées aux situations spécifiques.

4.13. Les résultats du programme MEANS ont servi jusqu'à présent à établir les premiers fondements d'une nouvelle démarche en matière d'évaluation, notamment en introduisant un langage commun, et ont permis de préparer l'évaluation intermédiaire dans le cadre du partenariat. Les tableaux 3 et 4 montrent la démarche généralement acceptée pour l'évaluation. Toutefois, le programme MEANS n'a pas encore répondu de manière approfondie aux questions relatives aux aspects pratiques ou opérationnels liés à l'évaluation. Ainsi, deux questions fondamentales restent encore sans réponse: d'une part, quel système d'indicateurs est le plus approprié pour formuler un jugement global sur un programme structurel communautaire et, d'autre part, quelle approche d'évaluation est la plus appropriée pour mesurer l'impact socio-économique d'un programme structurel donné dans le cadre du développement régional. La Commission n'est pas encore en mesure de formuler des instructions précises quant aux techniques concrètes à appliquer dans chaque situation spécifique d'évaluation. Cette lacune pèse notamment sur la mise en oeuvre des évaluations intermédiaires des formes d'intervention de la période de programmation 1994-1999.

Bases statistiques et informations relatives aux objectifs poursuivis

4.14. Les évaluations, qu'elles soient ex ante, intermédiaires ou ex post, sont souvent confrontées à des objectifs formulés de manière trop générale, même au niveau des objectifs de mesures.

4.15. Le niveau de développement des bases statistiques existantes constitue un frein au suivi et à l'évaluation des programmes et des mesures cofinancées par les Fonds structurels. Les lacunes visent notamment le manque de couverture statistique limitée aux zones concernées, l'absence de statistiques pour certains aspects et une périodicité de collecte des informations inadéquate par rapport aux besoins de suivi et d'évaluation.

Indicateurs

4.16. L'existence de systèmes d'indicateurs fiables et appropriés est un élément indispensable du processus de programmation. Pour les besoins de l'évaluation, les programmes structurels doivent contenir des informations sur la réalisation financière et physique ainsi que sur les résultats ou performances des actions. Ces indicateurs doivent pouvoir renseigner les gestionnaires sur les effets immédiats ou durables des actions mises en oeuvre et d'autre part, permettre de mesurer les progrès réalisés par rapport aux objectifs globaux des programmes, tels que la croissance régionale ou la réduction du chômage.

4.17. La fiabilité des indicateurs financiers est étroitement liée à celle des certificats de dépenses envoyés à la Commission pour déclencher le paiement communautaire y afférent. Les indicateurs physiques sont souvent indiqués comme un complément d'information et leur fiabilité est relative. Les bases de données existantes ne permettent pas toujours d'enregistrer l'évolution physique des réalisations et les bénéficiaires finals n'informent pas toujours les gestionnaires de manière périodique sur l'état des réalisations physiques. L'évaluation intermédiaire du PO Lisboa e Vale do Tejo au Portugal fait état d'indicateurs physiques strictement proportionnels aux dépenses, sans mentionner aucune variation liée à des retards de réalisation ou à d'autres causes. Les États membres devraient améliorer leurs mécanismes de suivi et les bases de données soutenant les indicateurs.

4.18. La mesure des résultats et des effets au niveau des sous-programmes et des mesures d'une part, de l'impact au niveau des programmes d'autre part, est confrontée aux incertitudes pesant sur l'identification des chaînes de causalité entre les différents niveaux d'objectifs et entre les objectifs et les mesures et projets, et sur celle des relations horizontales de complémentarité et de synergie entre mesures et entre objectifs. Ainsi l'effet spécifique d'une mesure sur le développement régional, ou l'impact d'un investissement sur la demande ou a fortiori sur l'offre, sont difficiles à concrétiser. Dans ce cadre, la recherche d'indicateurs constituant un outil adéquat pour l'évaluation des résultats et de l'impact s'avère encore inachevée en ce qui concerne le CCA 1994-1999 (voir 6.23).

4.19. L'exercice d'appréciation ex ante du CCA est indispensable aux évaluations ultérieures, veillant à ce que tous les indicateurs de résultats et d'impact soient établis et quantifiés pour permettre un jugement sur l'impact prévisionnel du programme et la comparaison avec les effets réels. Dans ce contexte, l'approche de la gestion par objectifs n'a pas toujours été appliquée de manière harmonisée ou satisfaisante, ce qui a eu un impact dans le domaine des indicateurs nécessaires à l'évaluation. Ainsi, le CCA 1994-1999 italien contient un faible nombre d'indicateurs, ce qui pourrait entraver ses évaluations ultérieures. Par contre, le CCA 1994-1999 portugais, approuvé par la Commission sans grandes modifications, comporte un nombre trop grand d'indicateurs, de l'ordre de 300, ce qui compliquerait également l'exercice d'évaluation. Cette divergence dans l'établissement des indicateurs d'un CCA à un autre souligne le manque de cohérence de la programmation. La présence de nombreux objectifs généraux et peu quantifiables conduisent parfois à revoir, lors de l'évaluation intermédiaire, le système des indicateurs approuvé par la Commission au stade de l'appréciation ex ante, car celui-ci était insuffisamment défini et opérationnel.

4.20. Les interventions structurelles et les situations socio-économiques sur lesquelles elles agissent, donnent lieu à une grande variété d'indicateurs souvent établis de façon décentralisée. La Commission n'a pas développé de listes d'indicateurs qu'elle considère comme indispensables et représentatifs sur le plan du développement régional ou dans le cadre des différents types d'actions, même si des listes partielles ont bien été communiquées à certaines instances nationales ou régionales et ont déjà fait l'objet de discussions.

4.21. Une quantification accrue des indicateurs de résultats et d'impact devrait être développée dans le cadre du suivi, sans oublier la fiabilité de cette quantification. Il arrive en effet qu'elle ne soit pas fiable, n'évitant pas dans certains cas le double comptage d'emplois créés ou ne permettant pas de distinguer les effets bruts des effets nets sur l'emploi. Ceci a été constaté en comparant le rapport d'évaluation intermédiaire du PO Brandebourg avec les statistiques concernant l'inscription des personnes à la sécurité sociale.

Prise en compte de l'évaluation

4.22. La contribution de l'évaluation à l'utilisation efficace des fonds communautaires dépend largement de la qualité du contenu, ainsi que de la date de réception des résultats et de celle de la décision visant à modifier la stratégie. Toutefois, un certain nombre d'évaluations intermédiaires des CCA, DOCUP et PO de la période de programmation 1994-1999, ont été finalisées assez tardivement, retardant ainsi les ajustements éventuels.

4.23. En ce qui concerne la programmation de l'O2, la succession des périodes de programmation plus courtes que celle de l'O1 rend particulièrement difficile la coïncidence des dates auxquelles les résultats des évaluations sont disponibles pour tirer les enseignements du passé et pour adapter les interventions suivantes et les dates auxquelles les décisions de programmation doivent être prises. Il y a un certain déphasage entre le cycle de la programmation de l'O2 et son cycle d'évaluation; ainsi, la version finale du rapport de synthèse de l'évaluation ex post de l'O2 pour la période 1989-1993 a été remise à la Commission en été 1997, alors que l'appréciation ex ante de la programmation 1997-1999 était en cours et que l'évaluation ex post de la période 1994-1996 n'avait pas démarré.

4.24. Quels que soient les résultats des programmes structurels mis en évidence par les rapports d'évaluation, la dotation budgétaire en faveur de ces programmes ou des suivants reste souvent inchangée. Les évaluations ont été très rarement prises en compte lors de la première période de programmation dans le système décisionnel, les reprogrammations ayant été généralement fondées essentiellement sur le degré d'absorption financière. Ainsi, en était-il des recommandations utiles faites par le consultant principal dans le cadre de l'évaluation ex post des CCA objectif 1 1989-1993 (voir point 5.7).

4.25. Les aspects plus qualitatifs de performance ou d'efficacité des programmes identifiés dans des évaluations intermédiaires ou des rapports d'exécution n'ont pas eu suffisamment d'incidence sur la gestion opérationnelle des FS, ni sur le processus de responsabilisation des partenaires concernés par le développement des programmes.

4.26. Les résultats de l'évaluation intermédiaire des DOCUP, CCA et PO de l'objectif 2 (1994-1996), de même que du suivi, mettent en évidence une inadéquation entre le financement programmé et la réalisation des programmes. Cette situation conduit à rendre prépondérant le souci de l'absorption des crédits et peut déboucher sur une sous-estimation du rôle de l'évaluation dans l'analyse de la zone considérée, notamment en ce qui concerne la cohérence entre les objectifs, les ressources affectées et l'impact des interventions structurelles.

4.27. Les conclusions et recommandations des évaluations sont souvent évidentes pour les gestionnaires des formes d'interventions bien qu'elles puissent être utiles pour d'autres partenaires. Cela vaut tant pour les évaluations ex post (voir point 5.8) que pour les évaluations intermédiaires dans le cadre du partenariat.

Objectivité des évaluations

4.28. Le manque de cadre de référence précis entrave l'application de techniques appropriées et applicables de manière objective aux situations d'évaluation spécifique, les résultats pouvant ainsi être facilement contrôlés et garantissant l'indépendance de l'évaluateur. Il arrive cependant que la méthode préconisée ne soit pas objectivement motivée, que l'évaluateur adapte son approche trop facilement aux difficultés rencontrées ou choisisse les indicateurs en fonction de l'information disponible.

4.29. L'indépendance vis-à-vis des gestionnaires ne paraît pas non plus toujours assurée, notamment sur le plan des informations (voir point 6.11), tandis que les rapports d'évaluation n'indiquent pas toujours la source des informations sur lesquelles se fondent leurs constatations. Cette lacune peut conduire à douter de la fiabilité et de la validité des informations présentées dans les rapports d'évaluation.

4.30. Alors que l'objectivité devrait être garantie par un système de contrôle visant la qualité des indicateurs (de réalisation, de résultat et d'impact), la fiabilité des informations de base et le degré de mise en oeuvre de la méthodologie, les services de la Commission analysent les informations et les résultats présentés dans le cadre de l'évaluation, mais ne font aucun contrôle sur place ou vérification du bon fonctionnement des systèmes d'évaluation existant dans les États membres.

Les contrats d'évaluation passés par la Commission

4.31. L'examen des procédures de passation de contrats relatifs aux évaluations que la Commission a fait effectuer, a identifié des faiblesses: procédures de sélection insatisfaisantes, cahiers des charges trop flous, retards et faible qualité des rapports.

4.32. Les éléments d'appréciation ou d'analyse déterminant le choix du consultant par la Commission ne figurent pas toujours de manière précise dans les procès-verbaux de réunions relatifs à la procédure d'appel d'offres. L'audit réalisé par la Cour n'a pas pu assurer que les meilleurs experts du domaine de compétence le plus approprié ont été sélectionnés.

4.33. Dans les cas de l'évaluation ex post de l'ensemble des CCA 1989-1993 de l'O1 et de celle de l'O2, la sélection a porté respectivement sur un consultant principal accompagné d'autres consultants nationaux et sur des consultants coordinateurs qui, eux-mêmes, ont par la suite sous-traité les études à d'autres consultants. Dans cette chaîne de consultants, la Commission peut perdre la maîtrise des modalités de mise en oeuvre de l'évaluation garantissant la cohérence, l'homogénéité et la qualité des résultats.

4.34. Le cahier des charges est parfois imprécis en ce qui concerne la description des travaux à exécuter et les obligations de résultat attendues. Les termes du contrat restent très généraux. Souvent, les modalités de mise en oeuvre de l'évaluation restent ouvertes à un accord ultérieur sur le cadre méthodologique restant à convenir avec la Commission.

4.35. S'agissant de l'échéancier de remise des rapports, des retards sont souvent constatés. Ainsi, concernant l'évaluation de l'ensemble des CCA 1989-1993 O1, les clauses contractuelles prévoyaient une remise du rapport le 28 février 1995, lequel n'a en fait été complété qu'en novembre 1995. Aucune sanction quant à la non-observation des obligations contractuelles en matière de délai n'avait été prévue par la Commission qui a, par contre, versé le paiement final de 40 % le 11 juillet 1995 en vertu de l'article 4 du contrat.

4.36. L'absence de termes de référence contractuels précis et clairs en ce qui concerne la démarche méthodologique à suivre et les résultats escomptés permet des réactions variables des services de la Commission aux rapports. Ainsi, certains rapports se limitant à de simples descriptions ou à des analyses vagues de l'utilité des réalisations, ou fondés sur des affirmations génériques de personnes interrogées, ou encore débouchant sur des recommandations trop générales, sont néanmoins agréés. Dans le cas de l'évaluation ex post du CCA 1989-1993 Irlande, un service préconise de résilier le contrat avec le consultant en raison de la mauvaise qualité, alors qu'un autre service l'a approuvé. Dans le cas de l'évaluation ex post du CCA 1989-1993 Portugal, les services concernés s'accordent à préciser que le rapport ne contient pas d'éléments d'évaluation, mais se contente de répéter les éléments des réalisations physiques déjà présentés par l'État membre. De même, il est souligné que le rapport d'évaluation ex post du CCA 1989-1993 Espagne est trop descriptif et contient peu d'analyses. Pour l'évaluation ex post du CCA 1989-1993 Irlande du Nord, il est jugé incomplet. Pour l'évaluation ex post du CCA 1989-1993 Italie, le rapport est considéré comme mal structuré et organisé. Pour l'évaluation du CCA 1989-1993 Grèce, la conclusion générale manque, alors que des conclusions par chapitre y figurent.

5. ÉVALUATIONS EX POST DES CCA OBJECTIFS 1 ET 2 (1989-1993)

Introduction

5.1. Les évaluateurs sont souvent confrontés aux difficultés suivantes:

a) une programmation initiale qui s'est souvent déroulée dans la hâte et en l'absence d'évaluations ex ante des programmes, notamment des fondements économiques inhérents surtout en ce qui concerne les régions de l'O1;

b) l'absence d'objectifs quantifiés et d'indicateurs de résultat;

c) des lacunes statistiques en ce qui concerne la situation socio-économique à la veille de l'intervention des FS dans le cadre de l'O2 et celle après l'intervention, notamment en ce qui concerne le tissu industriel, les investissements et le produit régional brut. Les outils statistiques ne correspondent pas toujours au périmètre d'analyse retenu (commune, arrondissement, bassin d'emploi);

d) le non-achèvement de certaines actions;

e) l'existence de facteurs exogènes contribuant à expliquer l'évolution de la situation socio-économique;

f) le caractère hétérogène des projets et de leurs objectifs, lorsque l'attribution des aides n'est pas suffisamment liée aux besoins régionaux ou locaux;

g) des effets inhérents aux mesures et au programme difficilement identifiables, en raison de l'arsenal d'actions bénéficiant à la même région ou zone;

h) la difficulté pour mesurer des effets indirects du programme (notamment en matière d'emploi), aucun élément d'observation y relatif n'ayant été mis en place dès le lancement des programmes et aucune enquête approfondie n'ayant été réalisée à ce sujet depuis leur achèvement.

Évaluation ex post des CCA objectif 1 (1989-1993)

5.2. L'évaluation ex post des CCA O1 a été coordonnée par un consultant central et se compose d'évaluations ex post des CCA concernés menées par des consultants nationaux entre janvier 1994 et juin 1995. Le consultant assurant la coordination a mis au point la démarche méthodologique à appliquer, qui fait appel à des méthodes d'analyse tant macro-économique que de mesures et projets. Cette démarche vise d'une part l'analyse de la stratégie et de la logique inhérente aux CCA, PO et mesures, d'autre part un premier bilan des réalisations physiques et de l'impact, et enfin un examen des mécanismes de mise en oeuvre. La synthèse de cette démarche figure en annexe I.

5.3. Bien que cohérente dans l'ensemble, la méthodologie proposée montre des faiblesses. Ainsi, elle prévoit que l'analyse de la stratégie et de la logique inhérente aux CCA, PO et mesures s'appuie sur une structure d'objectifs harmonisée, liée à une nomenclature standard d'activités. Cette approche permettrait la comparaison entre États membres, mais ne donne cependant pas nécessairement lieu à une hiérarchisation des objectifs, bâtie à la fois sur les priorités telles que perçues par les États membres et sur les critères de hiérarchie, de complémentarité, de substituabilité et de synergie. Aussi, ne permet-elle pas une identification de toutes les faiblesses de cohérence dans la stratégie propre à chacun des CCA et PO. En outre, les indicateurs physiques et d'impact repris dans le document méthodologique ne permettent souvent pas de répondre aux questions pertinentes sur les effets prévus et non prévus auxquelles la méthodologie prévoit de répondre.

5.4. La Cour a par ailleurs constaté des lacunes telles que:

a) l'évolution de l'environnement socio-économique des CCA et des PO n'a pas toujours fait l'objet d'une comparaison entre la situation initiale sur laquelle l'intervention communautaire devait agir (1988-1989) et la situation de fin de mise en oeuvre (1993-1994); parfois les données sont trop anciennes, notamment celles qui concernent les disparités régionales;

b) la hiérarchisation des objectifs prévue dans la méthodologie n'a souvent pas été suffisamment analysée; soit elle n'était pas établie, soit elle n'était que partielle, se limitant aux PO et mesures choisis pour un examen spécifique, ou n'appliquant pas de manière systématique les critères de structuration; il est arrivé ainsi que la hiérarchisation des objectifs et des instruments n'ait pas débouché sur une meilleure identification des problèmes de cohérence et de pertinence des priorités et de leurs poids relatifs;

c) les ajustements apportés aux CCA et PO n'ont parfois pas fait l'objet d'une analyse approfondie des causes;

d) alors que l'exécution financière et les mécanismes de mise en oeuvre, de même que les réalisations physiques, sont généralement bien traités dans les rapports d'évaluation, les effets des programmes ou mesures, n'ont, dans certains cas, pas fait l'objet de recherche, à l'exception des emplois créés, ou sont formulés en termes non quantitatifs. Les seuls effets quantifiés sont parfois fournis par l'application de modèles macro-économiques et concernent l'accroissement du PIB, la création d'emplois, la compétitivité. Cela a montré l'insuffisance des données fournies par les gestionnaires dans le cadre des systèmes de suivi;

e) les analyses de type bottom-up n'ont généralement pas abouti à tirer des conclusions en termes d'impact au niveau des programmes;

f) la valeur ajoutée communautaire ne s'exprime parfois qu'en termes qualitatifs (par exemple, la prise en compte de la logique de programme, la mise en oeuvre d'une stratégie intégrée, l'effet sur le processus d'organisation); elle n'a d'ailleurs pas toujours été examinée de manière systématique;

g) les effets attendus à long terme n'ont pas été abordés ou ne l'ont été qu'en termes qualitatifs.

5.5. Le CCA O1 Espagne a fait l'objet à la fois d'une évaluation ex post commandée par la Commission et d'une autre initiée par les autorités nationales et bénéficiant d'un cofinancement communautaire. Élaborées dans la même période et poursuivant les mêmes objectifs, les deux études ont été développées de manière indépendante et séparée.

5.6. En matière de résultats et d'impact, les évaluations ex post mettent en évidence les réalisations physiques dues aux CCA O1, les impacts macro-économiques des CCA retenus par certaines évaluations nationales, et les progrès en matière de planification, bien qu'en ce domaine l'approche par programme ait rencontré certains obstacles (10). Elles soulignent également les contributions des CCA en matière de structures organisationnelles innovantes, de gestion financière, de suivi, de systèmes d'information, de coordination et de partenariat, bien qu'à chacun de ces niveaux des progrès substantiels restent à réaliser.

5.7. La synthèse effectuée en 1995 par le consultant principal comportait quelques recommandations utiles auxquelles la Commission n'a pas pu donner pleinement suite: par exemple, une meilleure clarification, lors de l'élaboration de la programmation, entre les interventions structurelles communautaires encourageant les facteurs endogènes de croissance et celles ayant pour objectif le rééquilibre régional ou l'augmentation du bien-être; ou bien un équilibrage entre la priorité octroyée aux investissements en infrastructure et les spécificités régionales qu'il conviendrait de développer, ou entre la lutte contre le chômage et la nécessité d'accroître la productivité et la compétitivité; ou enfin une meilleure prise en compte de l'emploi dans les politiques régionales.

5.8. L'évaluation ex post de l'ensemble des CCA 1989-1993 O1 conduite par les évaluateurs nationaux a principalement porté sur l'amélioration des systèmes de suivi et de gestion des États membres, plutôt que sur un réel exercice d'évaluation de l'impact des FS.

Évaluations ex post objectif 2 (1989-1993)

5.9. Les évaluations ex post des programmes de l'O2 pour la période 1989-1993 ont été coordonnées par un évaluateur externe dans les 60 régions éligibles. Chaque région a fait l'objet d'une analyse générale, tandis que des études approfondies ont porté sur 22 régions. Ces évaluations avaient pour objet principal d'analyser l'impact de ces interventions structurelles sur le processus de reconversion industrielle dans ces régions et de dégager les leçons pour la programmation suivante. Une synthèse de l'approche d'évaluation figure en annexe II.

5.10. Bien qu'un cadre commun ait été prévu, les approches retenues sont très hétérogènes, notamment en ce qui concerne les priorités et le niveau de développement de l'analyse, son caractère descriptif ou critique, les méthodes et techniques utilisées.

5.11. L'analyse de la stratégie et du caractère approprié des CCA et des PO et des modifications qu'ils ont subies par rapport à l'environnement socio-économique a rarement conduit à reformuler la structure des objectifs, des sous-programmes et des mesures en fonction de la logique de développement ou de reconversion régionale et sur la base des critères de hiérarchie, de complémentarité et de substituabilité. Une telle reformulation, à un niveau élaboré, devrait permettre d'identifier de manière plus systématique les lacunes de la stratégie mise en oeuvre en ce qui concerne la cohérence, le poids relatif adéquat des priorités, les synergies, les complémentarités, l'efficacité face à l'environnement socio-économique, alors que beaucoup d'analyses de stratégie, partant de la structure des CCA et des PO, sont partielles et peu critiques à l'égard de cette stratégie.

5.12. En ce qui concerne l'impact des interventions des FS, les évaluateurs ne parviennent pas, sur base d'un échantillon de projets et de l'examen de leurs résultats, de leur valeur ajoutée et de leur additionnalité, à agréger les observations au niveau de la mesure et de l'impact socio-économique du programme.

5.13. Peu d'évaluations se sont basées en matière d'impact sur une véritable combinaison des approches top down et bottom up. Cette combinaison a notamment été utilisée pour l'évaluation relative aux interventions O2 en faveur de la Toscane. Dans ce cas, l'approche top down permettait, en s'appuyant sur un modèle économétrique birégional Toscane - reste de l'Italie, d'estimer l'impact global de l'accroissement de la demande sur la production par secteur, sur les niveaux de consommation, et sur la valeur ajoutée, à la fois au niveau de la Toscane et du reste de l'Italie. Le modèle permet également d'estimer les multiplicateurs d'effet par types d'intervention (infrastructures, services aux entreprises, aides aux investissements privés) et les effets sur l'emploi (11). Les effets directs sur l'emploi ont été estimés à l'aide d'une technique de coefficients standards concernant les différentes typologies d'intervention. Cette approche top down concerne donc les effets directs à court terme, liés à la demande. L'approche bottom up partant d'un échantillon de projets et de mesures est plus à même de traduire les effets à long terme, plus structurants et indirects, concernant surtout l'offre et les économies externes permettant de réduire les coûts de production. Même si ces effets sont plus difficiles à isoler et à quantifier et même si cette approche ne permet pas d'agréger les effets au niveau des mesures et du programme - ce qui était pourtant le but de l'évaluation approfondie - les considérations qualitatives sur l'efficacité des mesures et sur le niveau d'additionnalité des interventions communautaires constituent un complément utile à l'approche top down. La combinaison des deux approches peut fournir une réelle valeur ajoutée en matière d'analyse, notamment si elle s'appuie sur des techniques de modélisation ou de formalisation.

5.14. Les évaluations qui font appel en matière d'impact à des enquêtes systématiques - telles que plusieurs enquêtes sur l'additionnalité des mesures ou l'application d'une méthode spécifique d'estimation des emplois nets créés liés aux mesures en comparant un groupe expérimental et un groupe de contrôle - sont également rares. Elles fournissent pourtant une réelle valeur ajoutée au niveau de l'évaluation de l'impact. L'efficacité des mesures et des programmes aurait été mieux évaluée si les évaluateurs avaient effectué des enquêtes statistiques sur certains indicateurs de résultat, qu'ils avaient d'ailleurs parfois souhaité pouvoir réaliser. Ainsi, on ne trouve pas toujours des données sur le nombre d'entreprises implantées dans les nouvelles zones industrielles dont l'aménagement bénéficie d'aides des FS, ou sur les transferts technologiques des instituts de recherche vers les entreprises. Les entretiens avec des gestionnaires de mesures et de projets généralement prévus dans les approches d'évaluation ne permettent que rarement d'obtenir des informations précises sur les réalisations, les résultats et l'impact des opérations.

5.15. Les résultats en matière d'emplois créés ne sont pas certains quant au caractère durable des emplois et à la part spécifiquement attribuable aux actions structurelles. Par ailleurs, les rapports d'évaluation produisent quelquefois des données contradictoires.

5.16. En matière d'impact des programmes O2, les évaluations ex post permettent notamment de retenir que:

a) les PO O2, s'ils n'ont pas souvent permis d'améliorer la situation socio-économique, ont pour le moins contribué à éviter une nouvelle dégradation de cette situation, notamment en ce qui concerne le maintien de l'emploi (12), et à jeter les bases de la reconversion; la plupart des régions cherchent en effet à diversifier leur économie et leur tissu industriel, éventuellement à se défaire de l'image de zone exclusivement industrielle;

b) malgré la démarche intégrée, basée sur le concept de programme, les PO consistent parfois en un amendement de politiques nationales et régionales déjà mises en place et ne constituent pas toujours un outil de programmation;

c) l'existence simultanée de PO O2 et d'initiatives communautaires a donné lieu à des confusions et à des superpositions d'aides;

d) l'intervention des FS a eu des effets positifs sur la programmation, les modalités de mise en oeuvre, le partenariat, les synergies, la coordination et l'évaluation. Le défaut de synergie et d'échanges entre gestionnaires et actions FEDER et FSE est cependant souvent souligné;

e) en matière d'additionnalité, les FS permettent d'aborder de nouveaux créneaux, de réaliser des projets qui ne l'auraient pas été sans aide communautaire, d'accélérer la mise en oeuvre ou de réaliser des projets plus ambitieux, ou encore de donner un caractère structurant au projet initial. L'additionnalité des typologies de mesures (aides aux infrastructures, services aux entreprises, aides aux investissements privés) peut s'avérer assez différente;

f) les FS ne constituent pas souvent un levier pour la participation des fonds privés ou, pour le moins, les évaluations omettent de traiter cet aspect;

g) les évaluations soulignent que les études et négociations préparatoires, et les procédures administratives relatives à l'adoption et à la mise en oeuvre de certains projets, de même que l'intégration des nouvelles politiques nationales impliquent des délais souvent sous-estimés.

5.17. En matière de gestion, il découle notamment des évaluations que certaines pratiques de suivi des programmes se sont avérées insuffisantes et que les ajustements internes pendant la période de programmation avaient trait essentiellement à la maximisation du taux d'absorption des crédits et pas à une révision des axes prioritaires de développement régional.

6. ÉVALUATIONS INTERMÉDIAIRES (1994-1999)

Développement et intégration des principes d'évaluation intermédiaire

6.1. L'évaluation intermédiaire est prévue dans le chapitre sur les dispositions de mise en oeuvre repris dans chaque CCA, DOCUP et autre forme d'intervention visant à renforcer le suivi. Il est souligné que les évaluations intermédiaires comportent une analyse critique des données collectées dans le cadre du suivi, expliquent les écarts éventuels par rapport aux objectifs poursuivis et estiment les résultats escomptés de l'intervention. Elles contiennent également un avis sur la validité de l'intervention en cours et la pertinence des objectifs retenus.

6.2. Dans des notes adressées aux États membres au cours de l'exercice 1995, la Commission a souligné que les évaluations intermédiaires devaient «fournir aux comités de suivi les signaux adéquats sur le bon fonctionnement des programmes, proposer d'éventuelles actions de reprogrammation et présenter une image objective indépendante des avancées réalisées». Il y était proposé également de se concentrer, dans une première phase, sur les conditions de fonctionnement des formes d'intervention et notamment sur les indicateurs, les capacités de gestion des responsables et les procédures de sélection des projets. Dans une deuxième phase, le rapport d'évaluation intermédiaire devait, en vue de suggérer les changements nécessaires et d'adapter la programmation, traiter de la pertinence de la stratégie et du bien-fondé des objectifs des interventions mises en oeuvre, de l'efficacité du programme par comparaison des réalisations et des premiers résultats par rapport aux objectifs, de l'efficience du programme, de l'application correcte des politiques communautaires (environnement, marchés publics, etc.) et de la mesure des résultats en matière d'emploi et de PME.

6.3. Par ailleurs, la Commission suggérait que l'évaluation soit globale et que des évaluations thématiques sur un secteur ou une zone géographique particuliers soient développées dans une phase ultérieure.

6.4. Certains États membres, notamment l'Espagne (13), la France (14), l'Irlande (15) et les Pays-Bas (16), ont également défini un cadre pour l'évaluation intermédiaire. Ils retiennent tous que l'évaluation intermédiaire doit porter sur:

a) l'évolution du contexte socio-économique;

b) l'analyse de la stratégie et de la cohérence interne et externe;

c) les conditions de mise en oeuvre incluant la programmation et les critères de sélection, l'organisation administrative, le dispositif de suivi, les circuits de financement des projets;

d) la mise en oeuvre et les réalisations en tenant compte des résultats prévus;

e) les premiers effets obtenus complétés par une estimation de ceux à attendre;

f) les coûts en vue de mesurer l'efficience, c'est-à-dire le rapport entre les moyens et les résultats,

et déboucher, le cas échéant, sur des propositions de modification en matière de priorités ou d'actions prévues.

6.5. Le principe du partenariat a été introduit en 1988 comme un des moyens d'assurer l'efficacité des FS, mais il ne joue pleinement son rôle dans le système de gestion décentralisée qu'à partir de 1995 avec l'évaluation intermédiaire de l'ensemble des CCA 1994-1999. Il a été défini à cette occasion qu'il appartient aux comités de suivi «d'arrêter les objectifs de l'évaluation, les normes de qualité escomptées garantissant la cohérence d'ensemble de la démarche, d'adapter le cahier des charges aux particularités des régions en cause, en respectant la finalité de l'exercice, de sélectionner les évaluateurs sur la base de listes restreintes préparées par des responsables de l'évaluation (membre du comité de suivi et rapporteur communautaire) après appel d'offre publique». L'évaluation intermédiaire a contribué à renforcer réellement le partenariat, en le faisant intervenir dans l'analyse causale des interventions structurelles. Les tableaux 5 et 6 montrent la mise en oeuvre opérationnelle des évaluations intermédiaires, de même que l'engagement important des États membres dans le cadre du partenariat visant à l'identification de l'impact des FS.

6.6. L'approche de l'évaluation intermédiaire dans le cadre du partenariat a également fortement influencé les structures institutionnelles et les traditions nationales ou régionales dans les administrations responsables. Elle a permis une meilleure diffusion de la culture de la programmation pluriannuelle, dont l'évaluation est un élément indispensable, pour dresser un bilan critique des interventions structurelles et préparer les ajustements nécessaires. Le partenariat en matière d'évaluation est particulièrement bien développé dans le cadre de l'O1.

6.7. Actuellement, les travaux d'évaluation intermédiaire ont pour ambition d'apporter des réponses globales à l'ensemble des partenaires, du concepteur de programme au responsable politique en passant par le gestionnaire. Ils se traduisent par des rapports très volumineux comprenant des informations provenant du programme lui-même, de l'appréciation ex ante, des rapports annuels d'exécution, des évaluations intermédiaires ou ex post. Or, selon des interlocuteurs rencontrés au cours des contrôles, une partie seulement des résultats ou des recommandations a une réelle utilité pour l'aide à la décision, à la gestion des projets, à la reprogrammation ou pour préparer la génération des interventions à venir.

Procédures de mise en oeuvre

6.8. Sur les 389 évaluations intermédiaires engagées, 320 concernent les objectifs 1, 2, 5b et 6 (17). L'exécution de ces évaluations connaît un retard assez important dans plusieurs États membres.

6.9. Le processus d'évaluation intermédiaire était à l'origine prévu en deux étapes distinctes. La première concernait l'évaluabilité, permettant l'identification des problèmes y afférents. La deuxième était l'évaluation proprement dite, aboutissant à l'élaboration d'un rapport. Dans la pratique, ce schéma n'a été appliqué que dans de rares cas.

6.10. De manière générale, la Commission a insisté pour que les évaluations intermédiaires soient effectuées par des experts de l'extérieur en vue de garantir la crédibilité d'un savoir-faire particulier, d'une part, et l'impartialité des conclusions liées à la conformité de la stratégie, à la cohérence entre les analyses socio-économiques et à la quantification objective des effets escomptés, d'autre part. Les besoins en matière d'évaluation dans le domaine des FS ont créé en quelques années une filière d'évaluateurs externes connus de la Commission et des États membres, ce qui présente l'avantage de générer une plus grande expertise dans ce domaine, mais délimite un marché spécifique.

6.11. Dans la pratique, les contrôles sur place de la Cour ont mis en évidence les limitations qui réduisent l'indépendance du consultant externe. Compte tenu du temps limité dont l'évaluateur dispose, et de la dépendance existant de facto vis-à-vis des gestionnaires des programmes pour obtenir les informations nécessaires, la séparation des fonctions respectives est peu nette. Les résultats obtenus en matière de performance se limitent trop souvent à reproduire et à actualiser les informations du système de suivi en les présentant comme une contribution externe.

6.12. Par ailleurs, la procédure habituelle d'appel d'offres ouverte avec publication au journal officiel n'a pas toujours été appliquée en vue de sélectionner un consultant en matière d'évaluation. Aux Pays-Bas, elle consistait à inviter un nombre limité de consultants qui figuraient sur une liste d'évaluateurs potentiels en leur demandant de soumettre une offre. La sélection a été ensuite opérée parmi ces offres.

6.13. Alors que la Commission participe régulièrement aux réunions des comités de suivi et qu'elle a la possibilité d'y faire prévaloir ses critères en matière de sélection de consultants, son intervention dans ce processus n'est pas toujours identique. Ainsi, la participation des services de la Commission est active en Belgique, en Grèce, et au Portugal dès la procédure de sélection de l'évaluateur dans le cadre des groupes techniques ou du comité d'accompagnement technique ad hoc qui préparent le choix du consultant et suivent l'exécution de l'évaluation. Par contre, en France, les services de la Commission ne sont informés officiellement qu'après le choix des deux offres jugées les meilleures, accompagnées de la proposition finale pour laquelle le Préfet de région, maître d'ouvrage en la matière, demande de faire connaître les observations éventuelles. Pour les Pays-Bas, la Commission, qui participe aux travaux du comité d'accompagnement national pilotant les évaluations ex ante, intermédiaires et ex post des régions concernées par les objectifs 1 et 2 et aux travaux des comités de suivi, n'a réagi que tardivement au contenu du projet de rapport d'évaluation intermédiaire du DOCUP O1 Flevoland.

Priorités accordées aux objectifs d'évaluation

6.14. En ce qui concerne la mise en oeuvre des évaluations intermédiaires, la priorité accordée aux objectifs d'évaluation est variable, à l'exception de l'examen des réalisations physiques et financières au niveau des interventions, qui a une place importante dans toute évaluation intermédiaire. Les développements prioritaires correspondent souvent à un réel besoin régional, comme dans le cas de la Corse où l'accent est principalement mis sur le traitement des problèmes de gestion, de suivi et de lien entre évaluation et suivi. La poursuite de certains objectifs d'évaluation est d'ailleurs entravée par des problèmes techniques, comme la mesure des indicateurs pour l'évaluation de l'impact.

6.15. Souvent les évaluations intermédiaires ne donnent pas assez d'importance à l'appréciation critique de la stratégie de développement régional retenue, à la viabilité des projets financés par aux FS, aux critères de sélection des projets, aux effets et à l'impact au regard des objectifs spécifiques et généraux des programmes.

6.16. La valeur ajoutée communautaire, dont l'analyse constituait un des objectifs des évaluations ex post des CCA O1 et O2 pour la période de programmation 1989-1993, n'est traitée qu'exceptionnellement dans le cadre des évaluations intermédiaires.6.17. L'évolution du contexte socio-économique, sur lequel l'intervention communautaire agit et dont le suivi et l'actualisation sont généralement prévus dans les contrats d'évaluation, est traitée de manière systématique dans certains cas (par exemple par le biais de tableaux de bord très élaborés en ce qui concerne la région wallonne) et de manière insatisfaisante dans d'autres cas, ce qui influence directement la qualité et l'actualisation des analyses forces/faiblesses généralement effectuées dans le cadre de l'évaluation intermédiaire.

6.18. Le respect et le maintien dans le temps de la cohérence interne et externe de chaque programme dans toutes ses composantes (objectifs du programme, des sous-programmes et des mesures, relations de complémentarité et de synergie entre objectifs et entre mesures) ne sont que rarement examinés de manière systématique. Ainsi, pour le PO Brandebourg, les engagements financiers en faveur des axes 1.1 (investissements productifs) et 1.2 (infrastructures) représentent pour la période 1994-1996 respectivement 138 % et 242 % de la prévision initiale, sans qu'aucune justification en matière de stratégie de développement régional ait été apportée par l'évaluateur. Les synergies font parfois l'objet d'analyses, qui sont d'ailleurs souvent incomplètes. Cet aspect mériterait un traitement plus systématique, notamment en ce qui concerne les synergies entre les activités du FEDER et celles du FSE.

6.19. De même, lorsque la réorientation des priorités du programme et de l'affectation des moyens est un objectif explicite de l'évaluation, les travaux d'évaluation ne donnent pas toujours lieu à une présentation globale et cohérente des modifications proposées, ni à un exposé des motifs. Les implications des extensions ou contractions proposées au niveau des mesures ne sont pas non plus toujours précisées.

6.20. Beaucoup d'évaluations examinées montrent que l'évaluateur n'a pas été en mesure d'atteindre tous les objectifs prévus dans le contrat, notamment en ce qui concerne l'évaluation de l'impact. Le temps et les moyens disponibles n'étaient pas non plus toujours proportionnés aux objectifs.

Approches, méthodes et techniques

6.21. Comme les objectifs d'évaluation et les approches à appliquer restent souvent formulés en termes généraux dans les contrats, le choix des approches, méthodes et techniques est souvent laissé aux évaluateurs, qui parfois les adaptent en cours d'exécution aux difficultés rencontrées. Ainsi, il arrive que ceux-ci transforment en indicateurs la seule information disponible.

6.22. Les techniques et méthodes n'ont pas toujours été développées de manière à pouvoir répondre aux objectifs d'évaluation. Il n'existe d'ailleurs pas encore de véritable consensus sur la méthodologie opérationnelle appropriée pour évaluer le développement régional, et la Commission se contente de diffuser «les meilleures pratiques» en termes généraux sans véritablement coordonner ou harmoniser concrètement leur mise en oeuvre. Cette imprécision, liée aux disparités entre États membres en matière de programmation, de mise en oeuvre ou d'évaluation, génère des rapports d'évaluation de qualité variable et rend très difficile la comparabilité des résultats sur le plan européen.

6.23. La mesure de l'impact montre ainsi des lacunes dans les techniques appliquées, liées notamment à la spécificité et la complexité des effets à évaluer:

a) une recherche approfondie d'indicateurs encore plus pertinents n'a pas toujours été effectuée, parfois les indicateurs prévus ne servant qu'à mesurer la réalisation physique et financière;

b) les indicateurs d'impact n'ont pas toujours été renseignés;

c) l'évaluation de l'impact socio-économique ou de développement régional paraît entravée par la multiplication des actions, sous-programmes et mesures (objectif 1), tandis que de nombreux programmes visant à aider à la reconversion et/ou à la redynamisation du tissu industriel (PO, initiatives communautaires, programmes nationaux) peuvent être mobilisés conjointement. Par ailleurs, les actions communautaires et nationales ont parfois des couvertures différentes et les dates de lancement des actions diffèrent. Enfin, les objectifs sont souvent non quantifiés et formulés de manière trop générale (18). Dans ce contexte, les liens entre le diagnostic des problèmes socio-économiques à résoudre et les objectifs de l'ensemble des mesures, sous-programmes et projets mis en oeuvre, d'une part, et d'autre part, entre les objectifs de cet ensemble, ne paraissent pas toujours évidents compte tenu aussi du fait que les indicateurs physiques et d'impact affectés aux différents niveaux d'un programme ne reflètent pas complètement les besoins d'évaluation du programme. De même, il s'avère difficile d'identifier les résultats de chaque programme et de les séparer de ceux d'autres actions privées, régionales ou nationales;

d) la modélisation qui permet d'estimer les effets et impacts attendus sur la base des réalisations à mi-parcours et des réalisations encore escomptées, reste peu appliquée. L'évaluation intermédiaire de certains CCA nationaux s'est appuyée sur un modèle input-output (Portugal) ou sur un modèle macro-économétrique (Espagne, Irlande), tandis que la modélisation régionale reste très marginale. L'exemple du modèle de développement pour la province du Hainaut (Belgique) utilisé dans le cadre de l'évaluation intermédiaire mérite à ce titre d'être cité. La modélisation des effets dans le cadre des mesures n'est pas non plus très répandue, sauf dans le domaine des infrastructures de transport. Il convient de citer l'application du modèle input-output au projet de l'Expo 1998 (Portugal) dans le cadre des évaluations ex ante et intermédiaire, même si les prévisions doivent être considérées avec précaution;

e) l'estimation des effets sur l'emploi reste également précaire. L'application de modèles et d'autres techniques d'analyse et d'enquête ne fournissent pas de précisions suffisantes concernant d'une part, le volume net d'emplois créés prenant notamment en compte les nouveaux emplois qui auraient été créés en dehors de l'action concernée, ainsi que les effets de substitution, d'autre part, le degré de durabilité des emplois. De plus, leur application n'a généralement pas donné d'indications sur les emplois créés non attribuables à la mise en oeuvre du programme.

6.24. Certains contrats d'évaluation prévoient, dans le cadre de l'approche bottom-up, des enquêtes à mener auprès de partenaires du développement économique local et de bénéficiaires finals, y compris des entreprises bénéficiaires d'aides communautaires, en vue d'apprécier quantitativement ou qualitativement la contribution du programme communautaire. Les résultats des enquêtes souffrent parfois de sous-représentativité compte tenu du nombre des entreprises et partenaires ayant répondu aux enquêtes, et d'une fiabilité incertaine, car ils ne font pas toujours l'objet de contrôles.

6.25. S'agissant des indicateurs de résultat et d'impact, il est constaté que:

a) les délais pour obtenir les données et les statistiques sont souvent longs;

b) les données existantes couvrent des zones géographiques qui ne correspondent pas aux zones ou bassins visés;

c) les données concernant les entreprises ne sont pas saisies au niveau des établissements, ce qui fausse les statistiques locales, lorsqu'un seul établissement est présent sur la zone alors que l'entreprise possède une multi-implantation sur le territoire national;

d) beaucoup d'organismes de statistiques ne peuvent segmenter les données globales de façon plus fine pour cibler une zone, un bassin ou une problématique donnée.

6.26. Au cas où l'évaluateur présente des indicateurs plus adéquats sous l'angle de la mesure de l'impact, que ce soit pour combler une lacune ou les substituer aux indicateurs prévus, il ne les renseigne pas et laisse planer des doutes quant au caractère opérationnel de ces indicateurs. De plus, il ne mentionne pas toujours les enquêtes restant à faire pour les concrétiser, ni n'estime leur coût. Il est également souligné que la quantification des indicateurs concernant les objectifs de programme peut être difficilement conduite sans information sur des séries historiques.

Réalisation des programmes de l'objectif 2 (1994-1996)

6.27. Les résultats de l'évaluation intermédiaire des DOCUP, CCA et PO de la période 1994-1996, de même que du suivi, mettent en évidence une inadéquation entre le financement programmé et la réalisation des programmes. Malgré de très nombreuses adaptations des programmes lors de la dernière phase de programmation 1994-1996 visant à absorber les montants des concours financiers, des transferts de crédits de la programmation 1994-1996, de l'ordre de 12 % en moyenne, ont été effectués vers la programmation 1997-1999. Cette situation risque de conduire à rendre prépondérant le souci de l'absorption des crédits et de sous-estimer le rôle de l'évaluation, notamment en ce qui concerne la cohérence entre les objectifs, les ressources affectées et l'impact des interventions structurelles.

7. IMPACT DES FONDS STRUCTURELS ET MODÈLES D'ÉVALUATION

Impact au niveau des CCA et des programmes

Résultats des modèles en matière d'impact des Fonds structurels

7.1. Les modèles utilisés dans le cadre de l'évaluation macro-économique dans le domaine des FS (voir annexe III), compte tenu de leurs caractéristiques propres, apprécient de manière différenciée l'impact des FS en ce qui concerne:

a) la réalisation des objectifs des FS en matière de croissance du PIB, de convergence réelle du PIB per capita, d'emploi et de chômage;

b) le respect des conditions liées à la mise en oeuvre des FS, telles que l'additionnalité, le développement durable référant notamment à la maîtrise de la dette publique et de la balance des paiements, à la distribution des revenus, au respect de l'environnement;

c) les effets en termes de demande et d'offre;

d) l'efficacité des instruments des FS, tels que les investissements publics, les investissements en ressources humaines et les aides aux entreprises privées.

Croissance du PIB

7.2. Comme le montre le tableau 7, il ressort de la démarche visant à apprécier l'impact des FS que les résultats des principaux modèles utilisés (HERMIN, OGM et DIO) indiquent pour les pays de la cohésion un accroissement positif du PIB et par conséquent une amélioration de la convergence. Ainsi, la croissance cumulative de l'économie des pays de la cohésion de 1994 à 1999 due aux actions structurelles inscrites dans les CCA serait en termes réels du PIB de 5,5 % pour le Portugal, 5,9 % pour la Grèce, 2,6 % pour l'Espagne et 3,3 % pour l'Irlande. Ces résultats supposent que le principe de l'additionnalité soit totalement respecté, et peuvent par conséquent être modifiés en cas de non-respect (voir points 8.11 à 8.13). Par ailleurs, les différents modèles macro-économiques ont produit des résultats suffisamment cohérents pour que l'impact des CCA 1994-1999 sur la croissance en termes réels de PIB annuel puisse être jugé comme vraisemblable. Toutefois, les effets liés à la demande restent majoritairement dominants à court terme, les effets sur l'offre ne se produisant que beaucoup plus tard. De même, le modèle régional HELM utilisé pour la région du Hainaut évalue l'impact du DOCUP en termes de croissance annuelle de la valeur ajoutée totale comme représentant une augmentation de 1,7 à 2,5 % si l'on prend la période 1994-2002. Par contre, dans le cas du Mezzogiorno en Italie, l'impact des FS sur la croissance semble très limité, voire proche de zéro. Le modèle QUEST de la Commission, en introduisant des hypothèses sur les anticipations des entreprises et des consommateurs, aboutit à des estimations sur les effets sur la croissance et l'emploi plus faibles que dans les modèles précédents. Les gains montrés par ce modèle concernant le potentiel de croissance et la réduction du chômage ne se manifestent qu'à plus long terme.

7.3. En termes d'accélération moyenne de la croissance annuelle due aux actions structurelles inscrites dans les CCA, le tableau 8 montre que les effets multiplicateurs d'une croissance de 1 % de la part des CCA dans le PIB aboutissent pour la période 1994-1999 à un supplément de croissance annuelle de 0,2 % à 0,3 % pour les effets de demande et de 0,2 % au plus pour les effets d'offre. Sur le plan économique, la dominance, mise en évidence par le modèle HERMIN, des effets sur la demande, qui disparaîtraient avec l'arrêt de l'aide communautaire, ne contribue à réaliser les objectifs de l'article 130 A du traité que si les effets sur l'offre se développent de manière durable et renforcent les capacités productives des régions concernées. Dans la mesure où les effets sur l'offre se développent beaucoup plus tard que ceux sur la demande, il est possible que les effets multiplicateurs correspondants soient sous-estimés.

Convergence réelle en termes de PIB per capita

7.4. Les modèles utilisés dans le cadre des FS montrent que le processus de convergence n'est pas toujours garanti et que certaines programmations de CCA peuvent au mieux réduire la divergence plutôt que développer la convergence.

7.5. En ce qui concerne l'Irlande, Bradley (HERMIN 1994) et Honohan (HERMIN 1997) prévoient ce que pourrait être l'effet de l'aide des CCA 1989-1993 et 1994-1999 sur le PIB per capita. Le premier estime que la contribution des CCA 1994-1999 à ce rattrapage s'avère modeste tandis que pour le second, les CCA jouent un rôle significatif dans le processus de convergence. Beutel (1997) prédit que l'Irlande rattrapera le reste de l'Europe même sans CCA 1994-1999, qui augmenterait le taux annuel de croissance de 0,6 %. De même, l'Espagne, le Portugal et la Grèce verraient leurs taux annuels de croissance augmenter respectivement de 0,4 %, 1,1 % et 1 % pour la période de 1994-1999 grâce aux FS, ce qui a eu dans tous les cas un effet positif sur la convergence réelle en termes de PIB per capita.

7.6. Les simulations prévisionnelles effectuées avec le modèle OGM portant sur la convergence en PIB réel per capita par rapport à la moyenne de l'Union montrent des estimations qui soulignent que, même si les tendances projetées en 1995 sont trop pessimistes pour l'Irlande (voir tableau 9), la contribution nette des CCA à la convergence reste modeste pour les pays de la cohésion.

7.7. En ce qui concerne le Hainaut, le modèle HELM prend en considération les aspects de la convergence réelle pour l'évaluation intermédiaire et estime que son taux annuel prévisionnel de croissance serait d'environ 1,4 % à 1,6 % supérieur à la moyenne européenne grâce aux FS, ce qui permettrait un réel rattrapage.

7.8. Ces estimations mettent en évidence que, compte tenu des différences dans les structures régionales ou sectorielles productives des États membres de l'O1, les concours des FS produisent des effets variables. Elles confirment également que la qualité de la programmation des FS doit être améliorée, afin que, dans un but de convergence, les interventions des FS permettent d'améliorer les capacités productives de l'économie.

Emploi et chômage

7.9. Le tableau 10 résume les résultats des évaluations en matière d'impact des FS sur l'emploi et le chômage. Pour toutes les études, les CCA génèrent des emplois nets. Ces nouveaux emplois sont souvent créés dans le secteur des services non marchands, alors que les effets de productivité des CCA sont principalement concentrés dans le secteur industriel. Enfin, certaines études relèvent une réduction de l'emploi industriel due à une augmentation de la productivité du travail.

Efficacité des instruments des CCA

7.10. Les évaluations HERMIN pour l'Espagne, l'Irlande et le Portugal montrent que les aides aux investissements publics, notamment ceux de l'infrastructure, sont plus productives en termes de croissance que les aides aux investissements en ressources humaines (à l'exception de l'Espagne) et celles aux investissements privés. Cela est mis en évidence dans le tableau 11 qui montre, par instrument, l'accroissement du PIB national résultant de l'augmentation de 1 % de la part du CCA dans le PIB cumulé de la période 1994-1999. L'étude HERMIN pour la Grèce arrive également à la conclusion que les investissements en infrastructure («hard infrastructure») repris dans les CCA contribuent davantage à la croissance du PIB que les investissements en ressources humaines. L'application du modèle OGM (Pereira 1991) pour évaluer les effets du remplacement d'aides aux investissements privés ou aux investissements en ressources humaines par des aides additionnelles aux investissements en infrastructure montre une amélioration des gains en croissance de PIB et dans le processus de convergence induits par les FS.

Obligation d'additionnalité et de cofinancement

7.11. Les modèles ont également permis d'évaluer l'importance de l'additionnalité et du cofinancement public. Ainsi, Honohan (HERMIN 1997) estime que, sans l'obligation de cofinancement public, le taux de croissance de l'économie irlandaise aurait été inférieur de 1 % à l'impact du CCA, de même que l'emploi se serait accru dans une moindre mesure. Par contre, Honohan prévoit une réduction plus sensible du rapport dette publique/PIB et de l'excédent de la balance des paiements en l'absence d'obligation de cofinancement public. Pour le Portugal, l'exigence de cofinancement conduit, selon l'évaluation HERMIN, à un gain additionnel cumulé de 1,3 % pour le PIB, mais donne également lieu à une évolution moins positive en matière de dette publique.

7.12. L'évaluation HELM pour le Hainaut attribue une grande importance à l'additionnalité. Le taux de croissance moyen de la valeur ajoutée pour la période 1994-1999 des trois scénarios - la politique régionale comprenant le DOCUP, la poursuite de la politique régionale sans aide communautaire, la politique régionale dont on a déduit le DOCUP - s'élève selon l'évaluation HELM à 2,5 %, 1,7 % et 0,1 % respectivement, de même que le taux de croissance de l'emploi tomberait de 0,8 % à 0,2 %. La situation de l'industrie se serait également détériorée de manière substantielle. L'évaluation HELM permettait également, en faisant varier le taux de subvention, de constater qu'un taux d'aide à l'investissement ne stimule pas celui-ci dans la même mesure et que de nombreux investissements seraient réalisés avec des niveaux d'aides plus bas.

Développement durable

7.13. Le tableau 10 montre que les effets des FS sur le solde de la balance commerciale, de la balance courante ou du déficit public, ne sont pas toujours évalués. Les différentes études débouchent par ailleurs sur des conclusions divergentes; ainsi l'expansion économique induite par les CCA conduit dans certains cas à améliorer les finances publiques à travers la fiscalité, alors que les CCA créent des déficits budgétaires selon d'autres modèles.

Rôle de l'évaluation au niveau macro-économique dans le processus décisionnel des Fonds structurels

7.14. Compte tenu des effets à court terme des FS sur la demande, l'évaluation intermédiaire a tendance à surestimer les problèmes d'absorption des fonds communautaires auprès des autorités politiques et à sous-estimer les effets à plus long terme sur l'offre. Les réorientations ou reprogrammations des PO ou CCA peuvent ainsi être biaisées. En effet, des mesures ou projets qui n'absorbent pas assez vite les crédits communautaires risquent d'être supprimés, notamment dans des domaines complexes à mettre en oeuvre comme l'innovation ou les technologies nouvelles, au profit de structures déjà existantes à productivité beaucoup plus faible, sans que les aspects macro-économiques de développement durable soient toujours considérés.

7.15. Dans ce contexte, les évaluations macro-économiques complémentaires qui intègrent les aspects de durabilité, de croissance ou de convergence sont indispensables avant toute prise de décision au niveau de la programmation initiale et de son réaménagement. Or, dans de nombreux cas comme en Espagne, en Grèce ou dans les nouveaux Länder allemands, des reprogrammations dans le cadre de l'évaluation intermédiaire ont déjà été effectuées sans analyse globale macro-économique sérieuse. En ce qui concerne les régions de l'O1 en Allemagne, aucune analyse macro-économique de l'impact n'a été effectuée lors de l'évaluation intermédiaire.

Impact au niveau des sous-programmes, mesures et projets

7.16. Au niveau des sous-programmes et mesures, il existe très peu d'évaluations, malgré le fait que les sous-programmes ou mesures constituent le moteur de la programmation des FS. La dispersion, le manque de définition et de cohérence de beaucoup de sous-programmes ou mesures, ainsi que la quantification insuffisante des objectifs spécifiques y relatifs peuvent contribuer à expliquer cette difficulté à mesurer l'impact.

7.17. Cette lacune rend difficile tout effort visant à identifier et à mesurer la synergie et la complémentarité des mesures entre elles ou entre différents programmes. Par ailleurs, les liens entre les objectifs généraux du programme et ceux spécifiques des sous-programmes ou des mesures sont très souvent peu évidents. Ainsi, de nombreux problèmes de cohérence dans les programmes des CCA 1994-1999 O1 ont été relevés dans les rapports d'évaluation intermédiaire.

7.18. Rares sont d'ailleurs les techniques adaptées pour mesurer l'impact d'un sous-programme ou d'une mesure spécifique. Ainsi, les modèles macro-économiques décrits ci-avant ne permettent de fournir une évaluation de l'efficacité des principaux instruments des CCA - les investissements publics, les investissements privés et les investissements en ressources humaines - qu'en ce qui concerne leur contribution respective à la croissance du PIB. Les dépenses d'infrastructure, étant complémentaires du capital privé, semblent augmenter le rendement de ce dernier et auraient un effet d'accélération de la vitesse de la convergence supérieur à d'autres formes d'investissement (voir tableau 11).

7.19. Néanmoins, le choix des mesures ou sous-programmes constituant le programme et leur financement n'est pas neutre en ce qui concerne l'impact du développement régional en termes de croissance endogène durable. Les travaux d'évaluation engagés par la Commission ou les États membres dans le cadre du partenariat au niveau des sous-programmes ou mesures sont d'ailleurs encore insuffisants pour permettre d'examiner les conséquences d'une mesure spécifique sur d'autres zones ou secteurs ou de la comparer avec d'autres mesures poursuivant des objectifs similaires. De plus, l'analyse de l'impact des mesures ou sous-programmes devra également prendre en considération l'arbitrage initial entre croissance et égalité interrégionale qui a prédéterminé son choix, afin de pondérer les gains d'efficacité attendus et réalisés.

7.20. Au niveau des projets, l'analyse coûts/avantages des projets est en principe élaborée en vue de l'approbation du financement du projet. Cette analyse est obligatoire conformément à l'article 5 du règlement n° 2083/93 (FEDER) pour les grands projets dont le coût total est supérieur à 25 Mio ECU pour les investissements en infrastructure et à 15 Mio ECU pour les investissements productifs. Ces appréciations ex ante des grands projets font partie de l'instruction des demandes de concours communautaires et déterminent l'enveloppe de financement, mais leurs évaluations ex post ne sont pas prévues dans les règlements des FS et ne peuvent être exigées par la Commission pour vérifier la réalisation effective des avantages socio-économiques attendus au regard des ressources communautaires mobilisées à cet effet. Cette déficience dans le processus de l'évaluation en matière de grands projets rend le concept même d'évaluation inopérant à ce niveau, car une appréciation ex ante ne peut se justifier que s'il y a effectivement une évaluation ex post. De plus, ces études micro-économiques et sectorielles pourraient aussi estimer l'impact potentiel des FS sur la productivité et devenir ainsi un instrument performant pour l'analyse à court ou à moyen terme de cet impact.

7.21. Les synergies et les complémentarités doivent être aussi prises en considération lors de l'évaluation de projets. Elles sont encore évaluées insuffisamment ou de façon superficielle. Une adéquation des complémentarités et synergies entre projets est indispensable pour ne pas fragiliser l'impact prévisible.

7.22. L'évaluation intermédiaire aborde souvent les problèmes de gestion des programmes, mais ne tient pas souvent compte des critères qui ont déterminé la sélection des projets, tels que la durabilité du projet ou la contribution du projet au développement régional. Or, le système de gestion des programmes doit pouvoir garantir que les critères de sélection des projets sont utilisés de manière à optimiser les résultats du programme. Il faudrait éviter notamment les projets ayant une très faible valeur ajoutée en matière de développement, même si ceux-ci présentent l'avantage de consommer très vite les crédits. Le système de sélection de projets doit être plus transparent afin de permettre son contrôle et d'assurer son évaluabilité.

8. CONCLUSION

8.1. La démarche d'évaluation des interventions structurelles communautaires découle des obligations réglementaires issues des décisions du Conseil et se trouve actuellement largement utilisée dans le cadre du partenariat. L'évaluation est devenue un système d'aide à la conception et à la gestion des interventions, contribuant à une meilleure connaissance de leurs effets et de leur utilité. Pour la période 1994-1999, plus de 250 évaluations à mi-parcours ont été finalisées au niveau des comités de suivi (19) au cours de l'année 1997.

8.2. Avec la révision de la réforme des FS, l'évaluation entre dans une phase de maturité qu'il convient dès à présent de consolider à travers un meilleur encadrement méthodologique. Un effort important doit encore porter sur les méthodes d'évaluation les plus appropriées pour mesurer l'impact socio-économique des programmes, dans le cadre du développement régional, le programme MEANS n'ayant pas pu y donner une réponse satisfaisante.

8.3. Un autre effort soutenu devrait être fourni dans le domaine des indicateurs à tous les niveaux en ce qui concerne la pertinence, les modes de renseignement et le coût y afférent. Un effort de formalisation devrait également porter sur les aspects qualitatifs. Sans nouveaux progrès dans ces domaines, le processus d'évaluation risque de stagner.

8.4. Il en est de même en ce qui concerne les bases statistiques dont la faiblesse met en question la validité des indicateurs et conditionne fortement le processus de suivi et d'évaluation.

8.5. L'actuelle multiplicité des indicateurs, plus ou moins pertinents, nuit à la qualité de l'évaluation et empêche de la rendre opérationnelle. Un petit nombre d'indicateurs d'impact indispensables pour justifier ou réorienter une politique structurelle devrait être soigneusement sélectionné en tenant compte des contraintes de la régionalisation des données et des possibilités matérielles de collecte d'informations. La fiabilité de ces indicateurs devrait être contrôlée. La comparabilité entre indicateurs et leur agrégation à l'échelle européenne devraient être améliorées.

8.6. Pour que l'évaluation puisse être prise en compte pleinement dans le processus décisionnel et la gestion opérationnelle des FS, il conviendrait d'assurer la transparence et l'objectivité des évaluations, la correspondance de leurs objectifs aux besoins et une date de finalisation adéquate.

8.7. Pour garantir l'objectivité des résultats de l'évaluation, l'indépendance des évaluateurs doit être préservée par rapport aux gestionnaires et aux autorités publiques concernés.

8.8. L'utilisation d'un cadre de référence commun faciliterait la lisibilité et la comparabilité des rapports d'évaluation ainsi que les échanges d'expériences.

8.9. Pour chaque évaluation, il conviendrait de définir des objectifs plus opérationnels. Les termes de référence et le cahier des charges, généralement approuvés par la Commission, devraient clairement indiquer la méthodologie la plus appropriée selon qu'elle s'adresse aux aspects régionaux, sectoriels ou nationaux ou selon qu'elle doit porter particulièrement sur les effets à court terme ou à long terme. Toute autre méthodologie devrait faire l'objet d'une analyse forces/faiblesses en comparaison avec la méthodologie de la Commission. De même, le cadre de référence de chaque évaluation devrait comprendre une liste minimale d'indicateurs proposée par la Commission pour mesurer la performance des objectifs des programmes, afin d'assurer une cohérence indispensable à l'analyse. D'autres indicateurs de situation socio-économique et structurelle peuvent naturellement être utilisés pour compléter et affiner cette analyse.

8.10. Compte tenu de la diversité des approches liées à l'évaluation, la Commission doit exiger que les évaluateurs explicitent beaucoup mieux leur approche dans la phase de l'appel d'offres, notamment le type d'effets ou d'impact qu'elle est supposée mesurer et sur quelle durée, afin de pouvoir apprécier le degré d'exhaustivité des méthodologies utilisées. De plus, l'évaluation devrait contenir une analyse détaillée des liens entre les objectifs des programmes et les axes et mesures mises en oeuvre pour réaliser ces objectifs, ainsi que la nécessaire articulation en cascade des objectifs/résultats/réalisations des programmes, des axes et des mesures.

8.11. Dans ce contexte, une meilleure segmentation de l'évaluation en fonction des destinataires concernés est nécessaire pour en accroître l'efficacité et pour mieux répondre à leurs attentes spécifiques, notamment dans le domaine des évaluations intermédiaires. De même, une meilleure maîtrise du coût devrait être recherchée, car la Commission ne connaît pas toujours les dépenses affectées à l'évaluation dans le cadre du partenariat.

8.12. La Commission devrait également indiquer les aspects de la politique régionale qui doivent être plus particulièrement évalués: additionnalité, convergence, partenariat, concentration, emploi, développement économique endogène ou bien-être social. La mesure du PIB per capita ne doit pas être la seule référence pour juger de l'efficacité des interventions structurelles.

8.13. L'estimation des effets, de l'impact et de la valeur ajoutée communautaire devrait pouvoir s'appuyer sur des modèles de développement national et régional au niveau du programme, ainsi que sur des modèles d'impact concernant des mesures.

8.14. Les résultats macro-économiques des actions structurelles devraient être affinés en tenant compte des imperfections des modèles qui les sous-tendent, des effets secondaires provoqués par ces mêmes actions et de tous leurs effets sur le bien-être social.

8.15. La modélisation macro-économique fait une distinction fondamentale entre les effets sur la demande à plus court terme et les ajustements structurels de l'offre. La programmation des interventions des FS devrait davantage viser à améliorer la capacité productive de l'économie, afin d'assurer la permanence des effets et d'éviter une dépendance trop marquée vis-à-vis de la demande qui conduirait à une situation où l'aide communautaire resterait indispensable à long terme.

8.16. Comme les effets sur l'offre ne se matérialisent que sur une période plus longue, l'évaluation intermédiaire est en général amenée à accorder plus d'attention aux effets sur la demande. La Commission devrait mener une action visant à développer les instruments nécessaires au suivi et à l'évaluation des effets structurants sur l'économie.

8.17. Il se dégage également des modèles macro-économiques qu'une politique de croissance économique n'est pas toujours compatible avec un développement durable. Il conviendrait d'analyser encore davantage les relations entre l'impact sur la croissance et les effets sur le développement durable et de tenir compte de manière systématique de cette dualité dans la programmation des interventions des FS.

8.18. Les effets de l'obligation d'additionnalité et de cofinancement public ne sont pas faciles à cerner et ne sont pas toujours examinés. Des analyses plus systématiques et plus approfondies devraient y être consacrées.

8.19. L'évaluation en soi ne prétend pas remplacer le processus de décision politique, lequel intègre des considérations plus larges, mais doit constituer un outil indispensable à une gestion saine et efficace des interventions structurelles communautaires qui tienne compte des résultats socio-économiques.

Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 23 septembre 1998.

Par la Cour des comptes

Bernhard FRIEDMANN

Président

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

>TABLE>

(1) Il s'agit particulièrement de:

a) l'article 6 du règlement cadre [règlement (CEE) n° 2052/88 tel que modifié par le règlement (CEE) n° 2081/93] concernant les missions des Fonds à finalité structurelle, leur efficacité ainsi que la coordination de leurs interventions;

b) l'article 26 du règlement de coordination des Fonds [règlement (CEE) n° 4253/88 tel que modifié par le règlement (CEE) n° 2082/93].

(2) L'«appréciation ex ante» est parfois également appelée «évaluation ex ante». Dans le présent rapport, la Cour a préféré retenir les termes réglementaires d'«appréciation ex ante».

(3) L'action communautaire structurelle est conçue comme un complément aux actions nationales correspondantes ou une contribution à celles-ci. Elle s'établit par une concertation étroite, dénommée «partenariat», entre la Commission, l'État membre, les autorités régionales et locales, les autres autorités compétentes, les partenaires économiques et sociaux et les autres organismes compétents. Le partenariat est mené en plein respect des compétences institutionnelles, juridiques et financières respectives de chacun des partenaires.

(4) Dans ses rapports annuels relatifs notamment aux exercices 1990 (chapitre 7), 1993 (chapitres 6, 7, 8 et 9) et 1994 (chapitre 4), la Cour faisait déjà état de nombreuses carences dans le domaine de l'évaluation pour la période de programmation de 1989 à 1993.

(5) Il s'agit des évaluations suivantes:

a) pour la période de programmation 1989-1993:

- appréciations ex ante des CCA O1 et O5b (1990-1991),

- évaluations ex post des CCA O1 (1994-1995),

- évaluations ex post des CCA O2 (1996-1997),

- évaluations thématiques (PME, télécommunications);

b) pour la période de programmation 1994-1999:

- appréciations ex ante des plans de développement régional O1,

- appréciations ex ante des programmes O5b,

- appréciations ex ante des DOCUP O2 1994-1996,

- appréciations ex ante des DOCUP O2 1997-1999,

- analyses critiques des DOCUP et CCA O1 (1995).

Des évaluations par État membre de l'impact des politiques structurelles européennes sur la cohésion économique et sociale de l'Union ont aussi été commandées par la Commission.

(6) Note de la DG XXII du 14 mars 1991.

(7) a) L'élaboration en 1994 des premiers «termes de référence pour l'évaluation on going des CCA et des formes d'intervention objectif 1». Ils confirment le rôle de l'évaluation intermédiaire comme outil d'aide à la décision pour les comités de suivi et sa réalisation en partenariat. Ils précisent également ses modalités de mise en oeuvre, notamment le profil de l'équipe d'évaluation et ses tâches;

b) la diffusion en 1995 des «orientations communes pour le suivi et les évaluations intermédiaires» pour les FS communautaires, qui définissent les éléments d'analyse (objectifs globaux et spécifiques, indicateurs), ainsi que le lien entre le suivi et l'évaluation intermédiaire;

c) l'envoi de lettres aux États membres (1995) rappelant l'obligation de l'évaluation intermédiaire et précisant de nouveau les modalités de mise en oeuvre souhaitées.

(8) Telles que:

a) la conférence de Bruxelles sur l'évaluation de la politique régionale européenne (16 novembre 1995) concernant principalement les résultats des évaluations ex post de l'O1 1989-1993 et des appréciations ex ante 1994-1999;

b) la conférence européenne sur les méthodes d'évaluation des interventions des FS (Berlin, 2 et 3 décembre 1996) portant essentiellement sur les problèmes d'évaluation d'impact aux niveaux micro-économique, macro-économique et thématique;

c) la conférence de Séville en mars 1998 visant à favoriser les échanges d'expérience en matière d'évaluation dans le cadre du partenariat.

(9) Ce programme est géré conjointement par la Commission et un consultant externe, dont la participation est financée sur la ligne B2-1820 pour un montant annuel de 932 000 ECU.

(10) L'approche par programme a été entravée par:

i) les courts délais de planification impliquant notamment l'absence d'évaluation ex ante;

ii) l'absence d'objectifs concrets, d'indicateurs quantifiés en matière de réalisation, de résultat et d'impact;

iii) des contraintes administratives, notamment lorsque des sous-programmes d'un même programme dépendent d'administrations différentes, ou lorsque les approches sectorielles et régionales se croisent;

iv) des faiblesses dans les règles communautaires, aboutissant notamment à agréer dans le cadre d'initiatives communautaires des projets rejetés par les PO O1;

v) l'approche par projet du Fonds de cohésion, qui ne joue pas non plus en faveur d'une application harmonieuse de l'approche par programme.

(11) Cela ne signifie cependant pas qu'il s'agisse de créations d'emploi, le modèle économétrique étant basé sur l'hypothèse du plein emploi et les entreprises disposant, en période de basse conjoncture, de sur-capacités de production.

(12) Le 8ème rapport annuel sur les FS fait état d'effets de levier importants qui se réfèrent à des résultats bruts tels que la création d'emplois ou d'entreprises.

(13) Evaluación intermedia de programas operativos regionales del objetivo n° 2 (fase 1994-1996). Orientaciones sobre contenidos comunes a recoger en los pliegos de condiciones técnicas, 23 mai 1996.

(14) DATAR, Calendrier réglementaire et administratif.

(15) General criteria to underpin Terms of Reference for Mid-Term Evaluation of Operational Programmes/Community Initiatives.

(16) Evaluatiekader voor de programma's van de Europese Structuurfondsen, Terp Advies-CBEA Pieter van Run, décembre 1997.

(17) Dont 36 ont été examinées sur place et/ou auprès de la Commission.

(18) Par exemple: revitalisation du monde rural, renforcement du tissu économique dans la région, modifications structurelles liées au développement régional.

(19) Les comités de suivi comprennent des représentants des instances nationales concernées et de la Commission.

ANNEXE I

SYNTHÈSE DE LA MÉTHODOLOGIE À APPLIQUER DANS LE CADRE DE L'ÉVALUATION EX POST DES CCA OBJECTIF 1 1989-1993

1. L'évaluation ex post des CCA O1 1989-93 avait explicitement pour but de:

a) apprécier la stratégie et les objectifs retenus dans les CCA et en tirer des enseignements pour la future action. Analyser les conséquences, sur les objectifs initialement fixés, de la redéfinition et adaptation des interventions pendant la période de la mise en oeuvre;

b) faire un premier bilan au niveau des CCA et des PO des réalisations physiques pour les actions significatives et procéder à une première appréciation de leur impact;

c) analyser l'efficacité des mécanismes de la mise en oeuvre et tirer des enseignements pour d'éventuelles adaptations dans l'avenir.

2. Des approches méthodologiques ont été élaborées par le consultant principal chargé de la coordination des évaluations effectuées par d'autres consultants pour les États membres concernés:

a) pour le premier objectif, afin d'évaluer la logique inhérente aux CCA et PO et aux ajustements dont les CCA et PO ont fait l'objet depuis 1989 - et plus spécifiquement pour analyser les causes de ces ajustements, la valeur ajoutée communautaire, la cohérence interne, la cohérence externe, la pertinence de la stratégie face aux problèmes et l'adéquation des financements - les tâches suivantes, qui relèvent d'une approche top-down, devaient être menées:

- collecte d'informations et de données clés: données financières, objectifs ex ante, outputs/effets escomptés, groupes et domaines cibles, instruments principaux utilisés, nombre de projets/mesures approuvés, nombre de projets réalisés,

- description de l'environnement du programme et de son évolution (situation initiale - situation actuelle); identification des facteurs externes influençant l'évolution du programme et son succès/échec; analyse des problèmes et des causes de base; concrétiser les indicateurs clés du développement régional, incluant des indicateurs du changement des disparités,

- identification des instruments de politique (prêts, subventions, assistance technique),

- hiérarchisation des objectifs, identification des niveaux de hiérarchie, et des liens entre objectifs et instruments;

b) pour le second objectif, les analyses à développer relevaient à la fois d'approches top-down et bottom-up:

- analyse des outputs et des effets au niveau de PO, de mesures et de projets, compte tenu de «pertes sèches» et d'effets de substitution et de multiplication,

- analyse de l'efficacité relative de mesures et de combinaisons de mesures; analyse des facteurs causals de succès/échecs,

- comparaison d'outputs et d'inputs;

il s'agissait également de concrétiser des indicateurs clés et facultatifs;

c) pour le troisième objectif, on visait à analyser l'efficacité des mécanismes de mise en oeuvre au niveau du CCA et des PO et d'un nombre réduit de mesures, et à identifier les améliorations apportées et à apporter dans le processus de programmation, de mise en oeuvre, de suivi et d'évaluation; on examinerait pour chaque État membre les mécanismes de prise de décision, de planification, de contrôle financier, de mise en oeuvre, de suivi, de contrôle et les circuits financiers, le partenariat, l'additionnalité, la coordination des fonds, le processus de simplification et d'harmonisation, de plus grande flexibilité, de meilleure transparence; on analyserait en profondeur la mise en oeuvre et le