Glossaire

Autorité de gestion Autorité désignée par l’État membre pour gérer une intervention (programme opérationnel/document unique de programmation).

Efficacité Mesure de la relation entre les effets obtenus et les objectifs fixés au départ.

Égalité entre les femmes et les hommes Notion selon laquelle tout être humain est libre de développer ses propres aptitudes et de procéder à des choix, indépendamment des restrictions imposées par les rôles réservés aux hommes et aux femmes, et que les divers besoins des femmes et des hommes sont considérés, appréciés et promus sur un pied d’égalité.

Établissement de critères de référence Comparaison quantitative et qualitative de la performance d’une intervention avec ce qui est considéré comme optimal dans le même domaine d’intervention ou dans un domaine similaire.

Évaluations Évaluation ex ante Élément clé de l’élaboration des programmes, elle relève de la responsabilité d’autorités désignées par les États membres. Elle consiste principalement en une analyse des forces, des faiblesses et des potentialités de l’État membre, de la région ou du secteur concerné, ainsi qu’en une appréciation de la cohérence de la stratégie et des objectifs retenus avec les caractéristiques des régions ou des zones concernées, y compris leur évolution démographique, et l’impact attendu des priorités d’action envisagées.

Évaluation à mi-parcours Évaluation réalisée en milieu de période de programmation, qui porte sur les premiers résultats des interventions, leur pertinence et le degré de réalisation des objectifs. Elle est effectuée sous la responsabilité de l’autorité de gestion du programme concerné, en collaboration avec la Commission.

Évaluation ex post Évaluation réalisée par des experts indépendants, au plus tard trois ans après la fin de la période de programmation, sous la responsabilité de la Commission, en collaboration avec les États membres et les autorités de gestion. Elle vise à rendre compte de l’utilisation des ressources, de l’efficacité et de l’efficience des interventions et de leur impact, et à en tirer des enseignements pour la politique de cohésion économique et sociale, sur la base des facteurs de réussite ou d’échec de la mise en œuvre et d’obtention de résultats.

Fonds social européen (FSE) En tant que l’un des Fonds structurels, il soutient les mesures de prévention du chômage et de lutte contre celui-ci, ainsi que les mesures de développement des ressources humaines et d’intégration sociale au marché du travail afin de promouvoir un niveau élevé d’emploi, l’égalité entre les hommes et les femmes, un développement durable et la cohésion économique et sociale.

Fonds structurels Le principal instrument politique utilisé par l’Union pour réaliser les objectifs de cohésion économique et sociale inscrits dans le traité.

Formation professionnelle Toute forme d’enseignement qui prépare à une qualification pour une profession, un métier ou un emploi spécifiques, ou qui confère les aptitudes particulières requises pour exercer ces profession et métier ou occuper cet emploi.

Indicateurs Indicateur de réalisation Outil permettant de mesurer les réalisations physiques (par exemple, le nombre de participants à une formation) qui montrent les progrès réalisés au niveau de la mise en œuvre des actions financées.

Indicateur de résultat Outil permettant de mesurer les effets immédiats produits sur les bénéficiaires directs par les actions financées (par exemple, le nombre de participants ayant obtenu les qualifications requises).

Indicateur d’impact Outil permettant de mesurer les conséquences socio-économiques à plus long terme des actions financées, au-delà des effets immédiats sur les bénéficiaires directs (par exemple, le nombre de personnes ayant un emploi douze mois après la formation).

Période de programmation Le cadre pluriannuel dans lequel les dépenses relatives aux Fonds structurels sont planifiées et exécutées.

Programme opérationnel (PO) et document unique de programmation (DOCUP), appelés "programmes" dans le rapport Un cadre communautaire d’appui — qui contient la stratégie et les priorités de l’action des Fonds structurels et de l’État membre, leurs objectifs spécifiques, la participation des Fonds et les autres ressources financières — est mis en oeuvre par l’intermédiaire de différents programmes opérationnels. Un PO est un document élaboré au niveau central ou régional d’un État membre et approuvé par la Commission, qui prend la forme d’un ensemble cohérent de priorités comprenant des mesures pluriannuelles. Les projets à cofinancer au titre des Fonds structurels doivent relever du champ d’application d’une mesure. Dans certaines circonstances, un cadre communautaire d’appui et un programme opérationnel peuvent prendre la forme d’un "document unique de programmation".

Promoteur de projet Personne ou organisation (autorité locale, association, entreprise, etc.) pouvant proposer des projets et obtenir une subvention des Fonds structurels.

Ségrégation (verticale et horizontale) sur le marché du travail Différences entre la participation des femmes et des hommes dans divers secteurs (ségrégation hori - zontale) et dans le processus de prise de décisions (ségrégation verticale).

Synthèse

I. L’un des objectifs des Fonds structurels est la promotion de l’égalité des chances pour les femmes et les hommes sur le marché de l’emploi. Le principal instrument de promotion de cette égalité des chances est le Fonds social européen (FSE). Le présent rapport traite des actions de formation professionnelle pour les femmes, cofinancées par le FSE au cours de la période de programmation 2000-2006. Un montant estimé à 3 milliards d’euros a été consacré à des actions de formation pendant cette période.

II. L’audit de la Cour était axé sur les deux questions suivantes:

a) Les actions de formation professionnelle pour les femmes étaient-elles sélectionnées en fonction d’une analyse claire des priorités du marché du travail?

b) Les informations de suivi étaient-elles suffisantes pour apprécier si ces actions avaient atteint leurs objectifs?

III. L’audit a été réalisé auprès de la Commission, ainsi que dans cinq États membres (l’Allemagne, l’Espagne, la France, le Royaume-Uni et l’Italie) qui représentent, ensemble, 76 % des dépenses dans ce domaine. Les conclusions figurant dans le présent rapport sont fondées sur un examen de la mise en place des programmes et sur celui d’un échantillon de projets achevés.

IV. Globalement, s’agissant de la définition et de la sélection des actions de formation professionnelle pour les femmes, il a été constaté que les actions de formation figurant dans les programmes audités n’ont pas été mises en place directement en réponse aux travaux d’analyse des exigences du marché du travail et que les mesures prises, n’étant pas suffisamment axées sur des groupes cibles déterminés, tendaient à laisser une marge de manœuvre considérable pour la mise en œuvre des actions.

V. En outre, les critères de sélection des projets dans les États membres audités ne tenaient pas suffisamment compte de ces analyses du marché du travail pour garantir que les objectifs des projets sélectionnés étaient conformes aux objectifs globaux du programme.

VI. La Cour a recommandé que les futurs programmes opérationnels soient établis à partir d’une analyse du marché du travail et que le type de formation et les objectifs établis constituent une réponse directe à cette analyse. Elle a également recommandé la mise en place d’une procédure de sélection de projets efficace, qui permette d’approuver les projets les plus à même de résoudre les problèmes mis en évidence dans l’analyse.

VII. S’agissant de l’évaluation de la réalisation des objectifs, la Cour a constaté que les informations en matière de suivi ne permettaient pas l’accomplissement, car les indicateurs mis en place étaient trop précisément ciblés, les objectifs étaient rarement indiqués et les informations elles-mêmes étaient peu fiables ou incomplètes. En conséquence, la Cour est d’avis que ni les autorités chargées de la mise en œuvre dans les États membres ni la Commission n’étaient à même d’évaluer dans quelle mesure les objectifs étaient atteints.

VIII. La Cour a observé qu’il fallait que la Commission continue à suivre la mise en place, par les États membres, d’indicateurs appropriés et réalistes, et que des données fiables soient recueillies, ce qui permettrait de tirer des conclusions valables sur l’efficience et l’efficacité des actions cofinancées.

Introduction

Contexte

1. L’article 2 du traité instituant la Communauté européenne inscrit la promotion de l’égalité entre hommes et femmes parmi ses principes fondamentaux. Le règlement (CEE) no 2081/93 du Conseil [1] stipule que le principe de l’égalité des chances entre hommes et femmes sur le marché de l’emploi est un objectif communautaire et que l’action structurelle doit y contribuer. L’égalité des sexes s’entend comme la possibilité, pour les femmes et les hommes confondus, de participer et d’être représentés sur un pied d’égalité dans le domaine économique, dans les processus de décision et dans la vie sociale, culturelle et civile [2]. La Commission fait le point, une fois par an, sur la situation de l’égalité entre les femmes et les hommes, en communiquant les tendances observées dans des domaines où les principaux écarts entre les sexes existent, par exemple, le taux d’emploi et la rémunération, la ségrégation sectorielle et occupationnelle et la représentation des femmes à des postes de direction [3]. L’illustration 1 montre l’évolution dans le temps de l’écart entre les taux d’emploi des hommes et des femmes. S’il y a un écart dans tous les États membres, entre 2001 et 2007 il s’est réduit dans la majorité des pays de l’UE-27.

Illustration 1

Écarts absolus de taux d’emploi (entre les hommes et les femmes âgés de 15 à 64 ans) dans les États membres de l’UE en 2001 et 2007 (différence entre le taux d’emploi des hommes et celui des femmes)

+++++ TIFF +++++

Source: Eurostat, enquête communautaire sur les forces de travail (EFT), moyennes annuelles, EU-27.

NB: Dans tous les pays, le taux d’emploi des hommes était plus élevé que celui des femmes.

2. Le présent rapport traite des actions de formation professionnelle pour les femmes, cofinancées par le FSE au cours de la période de programmation 2000-2006, lesquelles constituent les principaux moyens, spécialement financés par le FSE, de promotion de l’égalité des chances entre hommes et femmes sur le marché du travail [4]. Outre les mesures cofinancées par le FSE, les États membres ont également la possibilité de mettre en œuvre des programmes et des actions sans le concours de l’UE.

3. Pour la période de programmation 2000-2006, une double approche de l’utilisation des fonds du FSE a été adoptée pour atteindre les objectifs d’égalité entre les femmes et les hommes. Elle combine des actions spécifiques avec l’"approche intégrée de la dimension hommes-femmes". Il s’agit de "la procédure d’évaluation de la participation des femmes ou des hommes à toute action planifiée, y compris à la législation, aux politiques ou aux programmes, dans tous les domaines et à tous les niveaux [5]".

4. Parmi les actions spécifiques visant à améliorer l’accès et la participation des femmes au marché du travail figurent des actions de formation professionnelle concernant l’évolution de carrière, l’accès des femmes à de nouvelles perspectives d’emploi, la création d’entreprise et la réduction de la ségrégation verticale et horizontale fondée sur le sexe sur le marché du travail. Pour la période de programmation 2000-2006, 4 milliards d’euros du FSE ont été affectés à des "actions positives pour les femmes sur le marché du travail" [6]. La plus importante de ces actions spécifiques concernait la formation professionnelle, dont le montant s’élevait à environ 3 milliards d’euros pour l’EU-25 [7]. Pour la période de programmation 2007-2013, le budget affecté aux actions spécifiques a baissé sensiblement par rapport à celui de la période précédente, l’accent ayant été mis davantage sur l’intégration de la dimension hommes-femmes.

5. Dans le cadre d’actions positives en faveur des femmes sur le marché du travail, il importe de choisir comment améliorer au mieux l’égalité des chances sur ce marché. D’une part, pour que la formation soit considérée comme une réussite, elle devrait normalement déboucher sur la possibilité réaliste d’obtenir un emploi et, en tant que telle, la formation reçue doit être en rapport avec les conditions actuelles du marché du travail, par exemple l’absence marquée de certaines compétences. D’autre part, il y aura également certaines conditions spécifiques aux femmes en tant qu’employées potentielles, telles que l’existence de services adéquats de garde d’enfants et de régimes de travail flexibles. Ces questions sont importantes pour que les actions positives atteignent les objectifs d’amélioration et de renforcement de la participation des femmes au marché du travail.

Responsabilités concernant la mise en œuvre des actions cofinancées

6. L’illustration 2 présente en termes simplifiés la programmation et certains aspects du processus de mise en œuvre des actions cofinancées par le FSE dans le domaine de la formation professionnelle pour les femmes [8].

7. Les projets financés par le FSE sont mis en œuvre dans le cadre de programmes pluriannuels (qui peuvent prendre la forme de programmes opérationnels (PO) ou de documents uniques de programmation (DOCUP)). Ces programmes présentent les priorités établies, avec un certain nombre de mesures défini pour chacune d’elles. Les mesures peuvent comprendre des actions de formation professionnelle pour les femmes.

8. Les programmes sont élaborés par les États membres à l’issue d’un processus de consultation avec la Commission (DG Emploi, affaires sociales et égalité des chances) et avec les autorités régionales et locales et les autres autorités publiques compétentes, ainsi qu’avec les partenaires économiques et sociaux. La Commission évalue et approuve les programmes.

9. Pour cette phase d’élaboration, et en particulier pour la fixation des objectifs et l’affectation des ressources financières aux priorités et aux mesures, l’un des éléments clés est l’évaluation ex ante des points forts, des faiblesses et du potentiel de l’État membre, de la région ou du secteur concerné. Elle relève de la responsabilité des autorités désignées par les États membres et vise notamment à apprécier le caractère approprié de la stratégie et des objectifs sélectionnés par rapport à la situation particulière des régions ou des domaines concernés.

10. Les États membres sont chargés de la mise en œuvre des programmes et, en coopération avec la Commission, ils doivent garantir que l’utilisation des fonds communautaires est conforme aux principes de la bonne gestion financière. La Commission reste globalement responsable de l’exécution budgétaire.

Illustration 2

Qui fait quoi?

+++++ TIFF +++++

11. Différents projets sont proposés par des promoteurs de projets — considérés comme étant les bénéficiaires dans la mesure où ils obtiennent une aide du FSE pour organiser la formation — et approuvés par les autorités nationales, régionales ou locales désignées. Les promoteurs sont chargés de fournir aux autorités de gestion compétentes des informations de suivi sur l’état d’avancement du projet et la réalisation des objectifs. La Commission reçoit chaque année les données de suivi agrégées.

12. Pour la période de programmation 2000-2006, une évaluation à mi-parcours de chaque programme a dû être effectuée par un évaluateur indépendant, sous la responsabilité des autorités de gestion et en collaboration avec la Commission. Elle comportait plusieurs éléments importants, consistant notamment à apprécier:

a) si l’analyse des points forts, des faiblesses et du potentiel réalisée dans le cadre de l’évaluation ex ante était toujours valable;

b) si la stratégie était toujours pertinente;

c) si la quantification des objectifs était appropriée;

d) l’efficacité, l’efficience et l’incidence probable;

e) la qualité des dispositifs de mise en œuvre et de suivi.

13. L’évaluation à mi-parcours a permis de constater que l’analyse de l’efficience, de l’efficacité et de l’incidence probable avait été entravée par le démarrage tardif ou lent de nombreux programmes, peu de réalisations ou de résultats étant disponibles à la mi-2003. Des problèmes affectant les systèmes de suivi, qui n’ont pas fourni de données fiables ou complètes, ont également été signalés [9].

14. En outre, l’aide structurelle communautaire fait l’objet d’une évaluation ex post concernant l’utilisation des ressources, ainsi que l’efficacité et l’efficience du concours octroyé. Cette évaluation, qui doit être effectuée par des experts indépendants, sous la responsabilité de la Commission et en collaboration avec les États membres et les autorités de gestion, vise notamment à apprécier la réussite ou l’échec de la mise en œuvre, ainsi que les réalisations et les résultats.

Étendue et approche de l’audit

15. Pour la période de programmation 2000-2006, 75 % des "actions positives pour les femmes sur le marché du travail" mises en œuvre étaient des actions spécifiques relevant de la formation professionnelle. L’audit de la Cour visait à déterminer dans quelle mesure les actions de formation professionnelle pour les femmes cofinancées par le FSE étaient bien ciblées et faisaient l’objet d’un suivi approprié. Les deux questions suivantes étaient posées:

a) Les actions de formation professionnelle pour les femmes étaient-elles sélectionnées sur la base d’une analyse claire des priorités du marché du travail?

b) Les informations en matière de suivi étaient-elles suffisantes pour déterminer si ces actions avaient atteint leurs objectifs?

16. L’audit a été mené auprès des services de la Commission ainsi que dans cinq État membres (Allemagne, Espagne, France, Royaume-Uni et Italie) qui figuraient parmi les principaux bénéficiaires des fonds déboursés par le FSE au titre des "actions positives pour les femmes sur le marché du travail", représentant au total 76 % des dépenses de l’EU-25. Au sein de chaque État membre, un programme a été choisi en fonction de l’importance relative des activités de formation professionnelle dans la mesure, soit 75 % au moins dans quatre cas. Cinq programmes ont été audités: Saxe-Anhalt (Allemagne), Andalousie (Espagne), Écosse (Royaume-Uni), Lombardie (Italie) et Île-de-France (France) [10].

17. Selon les estimations, ces cinq programmes comprenaient 490 millions d’euros de crédit affectés, soit 12 % des dépenses totales, consacrés à des "actions positives pour les femmes sur le marché du travail". Sur ce montant, 380 millions d’euros environ étaient affectés à des actions de formation professionnelle.

18. Huit projets ont été sélectionnés pour chaque pays en vue d’un contrôle sur place, selon des critères combinant l’importance financière et la couverture des types de projets financés par la mesure. Les projets audités peuvent être considérés comme étant représentatifs de leur programme, mais aussi d’autres programmes relevant de la rubrique actions de formation professionnelle pour les femmes.

19. L’examen du processus de sélection et l’analyse des informations en matière de suivi ont été effectués auprès des autorités chargées de la mise en œuvre des programmes et par le biais de contrôles sur place des projets.

Observations

Les actions de formation professionnelle pour les femmes ont-elles été sélectionnées de manière appropriée?

Contexte

20. Afin d’établir les priorités pour la période de programmation 2000-2006, les États membres devaient procéder à des évaluations ex ante visant à démontrer le caractère approprié de la stratégie qu’ils avaient choisie et à justifier l’affectation des ressources financières proposée. Autrement dit, pour faire de la formation une priorité et pour déterminer les objectifs que celle-ci doit permettre d’atteindre, il fallait tenir compte des besoins en matière de compétences et de formation ainsi que des autres exigences du marché du travail.

21. Le règlement (CE) no 1260/1999 stipule que l’évaluation ex ante des plans élaborés doit comprendre une appréciation de la situation en termes d’égalité des hommes et des femmes, ainsi que des mécanismes de mise en œuvre et de l’impact attendu de la stratégie et des interventions [11]. La stratégie finalement retenue et les priorités du programme qui en découlent devaient être cohérentes avec l’analyse effectuée dans le cadre de l’évaluation ex ante. La Commission a communiqué des orientations précises concernant l’analyse, à intégrer dans l’évaluation ex ante, des tendances du marché de l’emploi et du travail [12].

22. Des procédures appropriées de sélection des projets devaient être mises en place et appliquées de manière homogène pour garantir que les projets retenus aient des objectifs de formation qui soient cohérents avec les objectifs généraux du programme [13].

23. Sur la base de ce qui précède, la Cour a examiné:

a) si, au cours de l’élaboration des programmes, les autorités régionales ou nationales concernées avaient analysé les différents marchés du travail et si les objectifs sous-tendant les actions spécifiques de formation professionnelle auditées avaient été fixés en fonction de cette appréciation;

b) si la sélection des projets et des participants reposait sur des critères établis conformément aux priorités définies pour le marché du travail correspondant, ainsi qu’aux objectifs fixés pour le programme.

Les objectifs ne reposaient pas sur les analyses

24. Les analyses faisaient état des principaux obstacles à l’intégration des femmes sur le marché du travail, ainsi que des "écarts entre les sexes" dans plusieurs domaines importants, tels que les taux d’emploi, les taux d’activité non salariée, l’occupation de postes à responsabilité et la ségrégation sur le marché de l’emploi.

25. La principale faiblesse constatée au cours de l’audit était cependant l’absence de lien clair entre les résultats des analyses et les objectifs de formation proposés. Il n’y avait aucune logique claire à la base du type de formation professionnelle convenu ou à celle des compétences ou secteurs d’activité visés (voir exemples dans l’encadré 1).

26. Les mesures élaborées à l’issue du processus d’analyse comportaient essentiellement des actions à large spectre, avec une orientation générale vers la participation des femmes, plutôt que des actions ciblées tenant compte des moyens de faire progresser au mieux l’égalité hommes-femmes sur les différents marchés du travail concernés. Dans trois des cinq programmes audités, il n’y avait guère de différence entre les actions de formation destinées exclusivement aux femmes et celles ouvertes tant aux hommes qu’aux femmes. Des ressources supplémentaires sous forme de places dans des formations étaient simplement mises à la disposition des femmes. En revanche, la situation illustrée dans l’encadré 2 est un exemple de bon ciblage.

Encadré 1

En Lombardie, il n’y avait pas d’analyse spécifique des secteurs où les femmes étaient sous- représentées, alors que l’un des objectifs de la mesure consistait à réduire la ségrégation horizontale et verticale.

Dans le programme français, il était fait état de secteurs offrant des perspectives d’emploi, mais aucune analyse du potentiel qu’ils représentaient pour les femmes en termes d’emploi n’était effectuée. L’un des objectifs de la mesure consistait à accorder la priorité à des mesures de formation qui, bien que susceptibles de développer l’emploi, avaient eu tendance, jusque-là, à ne pas inclure les femmes. Toutefois, le type de mesures considérées comme relevant de cette catégorie n’avait fait l’objet d’aucune discussion.

27. La fragilité du lien entre l’analyse des marchés du travail et les objectifs de programmes qui en résultent aurait pu être partiellement compensée au niveau des projets, les promoteurs devant indiquer comment leurs différents projets tenaient compte des caractéristiques du marché du travail local. Toutefois, la mesure dans laquelle cette compensation aurait pu être opérée dépendait du niveau d’informations dont disposaient les promoteurs (voir encadré 3) et de la qualité du processus de sélection des projets (voir point 29).

28. Des faiblesses du type de celles qui ont été observées dans les programmes audités et décrites aux points 25 et 26 étaient déjà bien connues. Dans une communication de la Commission de 2002 [14], il était indiqué, dans le cadre de la stratégie visant à atteindre l’égalité hommes-femmes, que "la plupart des programmes accusent un décalage considérable entre l’analyse et la stratégie de programmation". Il était ensuite précisé qu’une analyse des écarts résultant des conditions socio-économiques différentes pour les femmes et les hommes était rarement effectuée et que, même lorsqu’elle l’était, la stratégie appliquée pour réduire ces écarts n’était pas toujours cohérente avec l’analyse. En dépit de cette prise de conscience à un stade précoce de la période de programmation, la Commission n’a pris aucune mesure concernant des questions telles que la sélection des projets, afin de remédier aux déficiences connues.

Encadré 2

Le programme Saxe-Anhalt ciblait des groupes spécifiques de femmes à intégrer dans ses programmes de stage: chômeuses de longue durée, femmes de plus de 45 ans et mères célibataires qui avaient déjà suivi une formation, mais étaient toujours sans emploi 3 à 12 mois après la formation.

Encadré 3

Dans le cas du programme Lombardie, les promoteurs de projets devaient faire la preuve de la cohérence entre les compétences visées et, notamment, les priorités fixées pour la région. Cependant, les informations relatives aux priorités régionales ne figuraient ni dans le programme, ni dans l’appel à candidatures.

La sélection des projets ne tenait pas suffisamment compte des travaux d'analyse des marchés du travail ni des objectifs des programmes

29. Pour trois des cinq programmes audités, les critères de sélection n’ont pas permis de garantir une prise en considération suffisante des problèmes révélés par l’analyse du marché du travail, et n’ont pas fourni de base solide pour atteindre les objectifs du programme (voir encadré 4). Dans un cas, les appels à propositions de projets n’étaient pas liés à une mesure spécifique, les projets étaient intégrés en tant qu’"actions positives pour les femmes sur le marché du travail" sur la seule base du pourcentage escompté de femmes qui participeraient au stage. Dans un autre cas, même si les critères de sélection se rapportaient aux principaux objectifs de la mesure, l’évaluation de la relation avec les priorités du marché du travail n’était pas un critère déterminant pour l’approbation ou le rejet des projets.

Encadré 4

L’un des objectifs de la principale action mise en œuvre dans le cadre du programme andalou "actions de formation professionnelle pour les femmes" était de faire en sorte que les formations tiennent compte des conditions du marché du travail local. Cinq critères de sélection prioritaires ont été établis par arrêté ministériel [15] et trois d’entre eux étaient axés sur la situation locale. Pour deux d’entre eux ("engagement à embaucher la personne formée" et "inclusion d’un stage en entreprise"), la plupart des propositions de projets ne comportaient pas ce type d’engagements. Bien souvent, les données concernant le troisième critère ("taux d’emploi des personnes ayant participé aux cours précédents") n’étaient pas reprises.

Dans l’évaluation à mi-parcours du programme Lombardie, il a été observé que lors du processus de sélection des projets, il n’avait pas été tenu dûment compte des actions de formation requises dans les secteurs du marché du travail présentant des déséquilibres sensibles entre les sexes, et que les différentes formes de discrimination et d’inégalité affectant l’accès au marché du travail n’avaient pas non plus été suffisamment prises en considération.

Même si la mesure auditée du programme Lombardie s’adressait exclusivement aux femmes, les données montrent que 27 % des participants à la formation étaient des hommes.

30. L’un des principaux objectifs des mesures était la promotion des femmes dans des secteurs où, historiquement, elles étaient sous-représentées. Malgré cela, pour trois des programmes audités, l’accent était toujours mis sur des secteurs employant traditionnellement des femmes, telles que la culture, la santé et le nettoyage.

31. En l’absence de groupes cibles spécifiques, les candidats sélectionnés n’étaient pas toujours ceux qui avaient le plus besoin d’aide pour intégrer ou réintégrer le marché du travail, comme le montrent les exemples de l’encadré 5.

Encadré 5

Lors de l’évaluation à mi-parcours du programme Lombardie, il a été constaté que la formation était principalement offerte à des personnes occupant déjà une position "solide" sur le marché du travail (par exemple, des personnes jeunes et/ou diplômées de l’enseignement supérieur, qui avaient déjà de fortes chances de trouver un emploi sans formation complémentaire).

S’agissant de l’action du programme andalou la plus importante, une évaluation à mi-parcours, dont les résultats étaient disponibles en 2005, concluait que la mesure de formation n’était pas adaptée aux besoins des femmes connaissant les plus grandes difficultés étant donné que, d’une part, le niveau d’éducation requis excluait les femmes qui avaient seulement achevé l’enseignement primaire et que, d’autre part, les horaires de formation ne convenaient pas aux femmes qui devaient s’occuper de leur famille.

Les informations de suivi ont-elles permis d’évaluer si les actions de formation professionnelle pour les femmes ont atteint leurs objectifs?

Contexte

32. Mesurer les résultats des actions de formation est un exercice difficile, car:

a) un certain nombre de facteurs externes aux actions de formation peuvent s’avérer prépondérants en ce qui concerne la capacité d’insertion professionnelle des individus (par exemple, évolution de l’offre et de la demande sur le marché de l’emploi en fonction de la situation économique globale);

b) les actions cofinancées par le FSE ne sont qu’un élément d’un éventail plus large d’actions mises en œuvre au sein des États membres et ayant une influence sur l’emploi;

c) certains résultats sont difficiles à mesurer en termes de réalisation des objectifs du programme, mais présentent des avantages dans un cadre sociétal plus large (par exemple, réapprendre à s’adapter à des activités routinières, y compris à respecter des contraintes de temps, retrouver confiance en soi, etc.).

33. En dépit de ces difficultés, certaines réalisations à court et à moyen terme peuvent cependant être mesurées. Des indicateurs pertinents par rapport aux objectifs à atteindre pourraient être établis, ainsi qu’un ensemble d’objectifs correspondants, à l’aide de critères de référence ou d’autres éléments de comparaison équivalents concernant les réalisations, les résultats et l’incidence. Cela constituerait une base pour tout suivi et toute évaluation ultérieurs de mesures et d’actions et, partant, pour une appréciation de leur efficacité.

34. Les indicateurs ci-après constituent le minimum requis pour l’évaluation d’actions de formation professionnelle [16]:

a) indicateurs de réalisation: nombre de participant(e)s, nombre de cours proposés;

b) indicateurs de résultats: nombre de participants achevant les cours, nombre de participants obtenant les qualifications requises;

c) indicateurs d’impact: nombre de participants s’inscrivant à une formation de perfectionnement, nombre de participants ayant trouvé un emploi et toujours employés pendant un certain laps de temps (par exemple, 6 ou 12 mois) après la fin du cours.

35. La Cour a examiné:

a) si des indicateurs appropriés avaient été définis et des objectifs fixés pour mesurer les réalisations, les résultats et l’impact, comme cela est indiqué au point 34;

b) si, pour ces indicateurs, les données de suivi recueillies par les organismes chargés de la mise en œuvre des actions étaient fiables;

c) si, pour autant que les données de suivi disponibles permettaient de l’établir, ces objectifs avaient été atteints.

Indicateurs trop précisément ciblés

36. Alors que des indicateurs de réalisation avaient été établis pour l’ensemble des programmes audités, la situation concernant les indicateurs de résultats et d’impact différait. Dans un cas, les deux types d’indicateurs existaient, tandis que dans une autre, il n’en avait été établi aucun. Les trois autres programmes comprenaient soit des indicateurs de résultats, soit des indicateurs d’impact, mais pas les deux en même temps. Il a été observé ce qui suit:

a) la situation de l’emploi six à douze mois après la formation n’a pas servi d’indicateur au niveau de la mesure pour quatre programmes même si, dans certains cas, les informations étaient disponibles au niveau des différents projets (voir encadré 6). Par ailleurs, d’autres paramètres, tels que la durée de l’emploi (à court ou à long terme) et le niveau de l’emploi (qualité et rémunération), n’ont pas été pris en considération;

b) pour l’un des programmes, l’éventail d’indicateurs n’était pas assez large pour permettre d’effectuer une analyse valable et, dans un autre cas, le type d’indicateurs établis ne convenait pas pour mesurer les réalisations des actions de formation mises en œuvre (voir encadré 7).

Encadré 6

En Lombardie, les autorités ont examiné un échantillon de projets en s’intéressant à la situation professionnelle des participants douze mois après la fin des actions de formation, ce que la Cour a considéré comme un exemple de "bonne pratique".

En Andalousie, un indicateur a été établi en ce qui concerne la réussite ou l’absence de réussite des participants à la formation dans leur recherche d’emploi ultérieure. Toutefois, certaines insuffisances ont été constatées en ce qui concerne la collecte des données; par exemple, pour l’une des actions, qui bénéficiait de 35 % des dépenses totales pour la mesure, les informations correspondantes n’étaient disponibles que pour 42 % des formations de l’échantillon.

Encadré 7

En Andalousie, l’indicateur "nombre d’emplois obtenus dans les six mois qui suivent l’action" ne tenait pas suffisamment compte des spécificités des mesures cofinancées. Étant donné que 40 % des dépenses concernaient des actions d’orientation et de préformation, des indicateurs plus pertinents auraient pu porter sur le nombre de personnes s’inscrivant à une formation de perfectionnement ou en tant que demandeurs d’emploi. Par ailleurs, 20 % des participants avaient déjà un emploi, et leurs réponses ont donc faussé les résultats apparents de cet indicateur.

S’agissant du programme écossais, certains indicateurs étaient trop peu ciblés pour être d’une grande utilité pour mesurer le résultat des actions de formation, par exemple, le "nombre de femmes/ personnes obtenant une qualification partielle/complète". Pour cet indicateur, la réussite d’une unité d’apprentissage menant à une qualification complète équivalait à l’obtention de la qualification complète, même si l’effet d’apprentissage ne pouvait en aucun cas être jugé comparable.

Objectifs non fixés pour toutes les mesures

37. Les objectifs à atteindre n’ont pas été fixés pour toutes les mesures auditées [17]: dans deux cas, il n’y avait pas la moindre quantification et dans un autre, malgré la définition d’un certain nombre d’indicateurs de réalisations et de résultats, le seul objectif quantifié concernait le "nombre de participants".

38. S’agissant des deux mesures pour lesquelles des objectifs avaient été fixés, il n’y avait aucune explication quant à la manière dont ils l’avaient été et, dans un cas, les objectifs avaient dû être révisés en profondeur à la suite de l’examen à mi-parcours (voir encadré 8).

Données de suivi peu fiables et parfois incomplètes

39. Pour deux des cinq programmes, les indicateurs de réalisation portant sur le nombre de participants se sont révélés peu fiables. En ce qui concerne quatre programmes, les indicateurs de résultats, tels que le nombre de personnes achevant la formation et acquérant des compétences, se sont également révélés peu fiables.

Encadré 8

Pour le programme écossais, des objectifs quantifiés avaient été fixés, comme l’indique le tableau ci-après. En dépit de ses efforts, la Cour n’a pas pu obtenir d’informations sur la méthode employée pour établir des critères de référence ou pour fixer les objectifs, initiaux et révisés.

Indicateur | Objectif (initial) | Objectif (révisé) | Points de référence |

Pourcentage de femmes trouvant du travail | 31 % | 5,51 % | 25-40 % |

Nombre de femmes suivant une formation de perfectionnement | 42 % | 17,56 % | 20-30 % |

40. Les déficiences ci-après ont été relevées en ce qui concerne les données sous-jacentes:

a) leur caractère incomplet, en particulier s’agissant de l’activité des personnes formées 6 à 12 mois après la formation (voir également point 36);

b) des problèmes liés aux définitions ou à leur interprétation. En Écosse, par exemple, il suffisait de déclarer vouloir s’inscrire à une formation de perfectionnement pour que ce perfectionnement soit considéré comme ayant eu lieu. De même, en Écosse et en France, les personnes qui suivaient des cours pluriannuels étaient comptées plusieurs fois (par exemple, une fois par année de participation);

c) des divergences entre les données fournies. En Écosse, par exemple, les résultats d’une enquête menée sur la situation des personnes ayant achevé une formation ne correspondaient aux résultats communiqués que pour la moitié des projets audités; de plus, dans le rapport annuel d’exécution relatif à 2006, le nombre déclaré de personnes ayant bénéficié d’orientations était de 14371, tandis que le nombre total de participants inscrits était de 11972.

41. Pour pouvoir dégager des conclusions valables quant aux réalisations des projets cofinancés, il est essentiel que les données de suivi fournies par les promoteurs de projets soient fiables et complètes. Il a été observé au cours de l’audit que, dans la plupart des cas, l’autorité de gestion et l’organisme délégué pour effectuer les contrôles n’avaient procédé à aucune évaluation des données de suivi fournies par les promoteurs.

42. Pour sa part, la Commission, qui reçoit les rapports annuels d’exécution, n’a pas examiné les incohérences présentes dans ces rapports ni commenté l’absence d’indicateurs d’impact (tels que la "situation en matière d’emploi des participants x mois après la formation"). En outre, elle n’a pas vérifié la fiabilité des données de suivi dans le cadre de ses contrôles sur place [18], alors que les évaluations à mi-parcours, réalisées pour chaque programme, révélaient des faiblesses en matière de suivi et de communication d’informations.

Évaluation entravée par le défaut d’objectifs, de points de référence et de données fiables concernant les résultats et l’incidence

43. Toute évaluation de l’efficacité des actions de formation cofinancées a été rendue difficile par des insuffisances au niveau des indicateurs et des objectifs (voir points 36 à 38), et par des problèmes concernant la fiabilité des données (voir points 39 et 40).

44. S’agissant de deux des programmes audités, les autorités de gestion se sont efforcées d’évaluer si la formation avait été correctement ciblée, en vérifiant si les emplois obtenus à la suite de la formation étaient en rapport avec le type de formation suivie. Diverses conclusions ont été tirées de ces analyses. En Lombardie, 77 % des participants ayant trouvé un travail ont confirmé que les compétences acquises étaient celles demandées par leur employeur, tandis que pour l’une des principales actions en Andalousie, les personnes ayant obtenu un travail n’étaient que 28 % à avoir l’impression que leur emploi avait un rapport avec les cours suivis.

Conclusions et recommandations

45. L’audit des actions de formation professionnelle pour les femmes, cofinancées par le FSE pour la période 2000-2006, a permis de révéler un certain nombre de faiblesses affectant l’élaboration des mesures et la sélection des projets audités par la Cour, ainsi que des déficiences au niveau du suivi de la performance des programmes.

Sélection des actions de formation professionnelle

46. S’agissant de la définition et de la sélection des actions de formation professionnelle pour les femmes, la Cour conclut que les programmes opérationnels faisaient certes état des principaux obstacles à l’intégration des femmes sur le marché du travail, ainsi que des écarts entre les sexes, mais que les actions de formation inscrites dans les programmes audités n’ont pas été mises en place pour répondre de manière directe à une analyse des exigences du marché du travail (voir points 24 à 28).

47. Les mesures mises en place par les États membres et approuvées par la Commission ont eu tendance à laisser un large champ d’application à la mise en œuvre des actions et ne sont pas parvenues à cibler suffisamment les actions de formation sur des groupes spécifiques (voir points 29 à 31).

48. Au lieu de cela, pour les programmes examinés, il appartenait aux promoteurs de projets de mettre en rapport, de manière satisfaisante, la formation proposée et les besoins réels du marché du travail. Les autorités compétentes n’ont pas dûment vérifié, au cours du processus de sélection des projets, la validité des justifications avancées par les promoteurs de projets (voir point 27).

49. Certains projets, dont l’objectif déclaré était de promouvoir l’emploi des femmes dans des secteurs où elles étaient sous-représentées, ont continué d’être centrés sur la formation à des activités exercées traditionnellement par des femmes (voir point 30). Pour certains projets audités, les candidats sélectionnés n’étaient pas nécessairement ceux qui avaient le plus besoin d’aide pour intégrer le marché du travail (voir point 31).

50. Compte tenu de ce qui précède, la Cour recommande:

a) d’une part, que les futurs programmes opérationnels élaborés par les États membres et approuvés par la Commission soient établis à partir d’une analyse des conditions du marché du travail, tant en ce qui concerne les besoins à satisfaire en matière de compétences que pour ce qui concerne les actions spécifiques requises pour améliorer l’accès et la participation des femmes au marché du travail; d’autre part, que le type de formation et les objectifs fixés constituent une réponse directe à cette analyse;

b) qu’une procédure de sélection de projets bien conçue soit mise en place dans les États membres et appliquée de manière appropriée, afin de permettre l’approbation des projets qui sont les plus à même de résoudre les problèmes sur le marché du travail mis en évidence par l’analyse susmentionnée, et d’optimiser ainsi la valeur ajoutée des mesures.

Réalisation des objectifs

51. Les informations de suivi disponibles pour les programmes audités ne permettent pas d’apprécier si les actions de formation professionnelle pour les femmes ont atteint leurs objectifs déclarés, car:

a) les indicateurs établis étaient insuffisants du point de vue de l’éventail de paramètres à évaluer (voir point 36);

b) les objectifs étaient rarement indiqués (voir point 37);

c) les informations de suivi étaient incomplètes ou peu fiables et ne permettaient donc pas de tirer des conclusions globales fiables (voir points 39 et 40).

52. En conséquence, ni les autorités chargées de la mise en œuvre dans les États membres ni la Commission ne sont à même d’évaluer dans quelle mesure les objectifs visés par les mesures spécifiques ont été atteints.

53. Sur la base de ce qui précède, la Cour recommande que la Commission continue à suivre la mise en place, par les États membres, d’indicateurs appropriés et réalistes, et que des données fiables soient recueillies dans les États membres, ce qui permettrait de tirer des conclusions valables sur l’efficience et l’efficacité des actions cofinancées.

Le présent rapport a été adopté par la Cour des comptes à Luxembourg en sa réunion du 12 novembre 2009.

Par la Cour des comptes

+++++ TIFF +++++

Vítor Manuel da Silva Caldeira

Président

[1] Règlement (CEE) no 2081/93 du Conseil modifiant le règlement no 2052/88 (JO L 193 du 31.7.1993, p. 5).

[2] Communication de la Commission au Conseil, au Parlement européen, au Comité économique et social et au Comité des régions "Vers une stratégie-cadre communautaire en matière d’égalité entre les femmes et les hommes (2001-2005)", COM(2000) 335 final.

[3] Le dernier rapport (COM(2008) 10 final) de la Commission au Conseil, au Parlement européen, au Comité économique et social européen et au Comité des régions est daté du 23.1.2008.

[4] Règlement (CEE) no 2084/93 du Conseil modifiant le règlement (CEE) no 4255/88 (JO L 193 du 31.7.1993, p. 39) pour la période de programmation 1994-1999, notamment son article 1, paragraphe 1, point d), et règlement (CE) no 1784/1999 du Parlement européen et du Conseil (JO L 213 du 13.8.1999, p. 5) pour la période de programmation 2000-2006, notamment son article 2, paragraphe 1, points b) et e).

[5] Conclusions concertées 1997/2 du Conseil économique et social (Ecosoc) sur l’intégration d’une perspective sexospécifique dans toutes les politiques et tous les programmes du système des Nations unies.

[6] Correspondant au code 25 du classement des interventions établi dans le règlement (CE) no 438/2001 concernant les systèmes de gestion et de contrôle du concours octroyé au titre des Fonds structurels (JO L 63 du 3.3.2001).

[7] Il n’existe pas de code de déclaration distinct pour les dépenses concernant des actions de formation professionnelle pour les femmes. En conséquence, le montant total alloué ne peut être estimé que sur la base des informations fournies par les États membres audités.

[8] Le processus de base décrit est valable pour toutes les mesures cofinancées par le FSE.

[9] Pour de plus amples informations, voir le rapport spécial no 1/2007 relatif à l’exécution des processus à mi-parcours dans le cadre des Fonds structurels 2000-2006 (JO C 124 du 5.6.2007).

[10] 1)Allemagne: PO Saxe-Anhalt, objectif 1 — 1999DE161PO003Priorité sélectionnée: no 4, mesure 4.51 ("mesures spécifiques en faveur des compétences et de l’intégration des femmes");2)Espagne: PO Andalousie, objectif 1 — 2000ES161PO003Priorité sélectionnée: no 45, mesures 45.16 ("améliorer la capacité d’insertion professionnelle des femmes") et 45.17 ("promouvoir l’activité professionnelle des femmes");3)France: DOCUP France, objectif 3 — 1999FR053DO001Priorité sélectionnée: no 5, mesure 8/9 ("développer l’accès et la participation des femmes au marché du travail, favoriser l’articulation de l’emploi du temps et la professionnalisation des acteurs");4)Royaume-Uni: PO Écosse, objectif 3 — 1999GB053PO002Priorité sélectionnée: no 5, mesure 5.1 ("aborder le déséquilibre entre hommes et femmes: promouvoir des actions positives");5)Italie: PO Lombardie, objectif 3 — 1999IT053PO010Priorité sélectionnée: E, mesure E1 ("promotion de l’accès et de la participation des femmes au marché du travail").

[11] L’article 41, paragraphe 2, point c) du règlement (CE) no 1260/1999 du Conseil du 21 juin 1999 portant dispositions générales sur les Fonds structurels (JO L 161 du 26.6.1999, p. 1) exige expressément une évaluation de la situation en termes d’égalité des hommes et des femmes en ce qui concerne leurs chances sur le marché du travail et le traitement dans le travail, y inclus les contraintes spécifiques de chaque groupe; une estimation de l’impact attendu de la stratégie et des interventions, notamment pour l’intégration des femmes et des hommes dans le marché de l’emploi, pour l’éducation et la formation professionnelle, pour l’entrepreneuriat des femmes et pour la conciliation entre vie familiale et vie professionnelle.

[12] L’évaluation ex ante des interventions des Fonds structurels. Document à l’intention des autorités nationales, régionales ou locales chargées de la programmation des interventions structurelles communautaires pour la période 2000-2006.

[13] L’article 41, paragraphe 3 du règlement (CE) no1260/1999 précise que l’évaluation ex ante doit vérifier la pertinence des critères de sélection une fois qu’elle a démontré la cohérence des mesures prévues dans le programme avec les objectifs des axes prioritaires correspondants.

[14] Communication de la Commission sur la mise en œuvre de l’intégration de la dimension hommes-femmes dans les documents de programmation des Fonds structurels 2000-2006, COM(2002) 748 final du 20.12.2002.

[15] Arrêté ministériel (BOJA no 146 du 19 décembre 2000, p. 18 647).

[16] Les indicateurs ont été déterminés sur la base d’un examen, réalisé par la Cour, des programmes audités, d’orientations publiées par la Commission européenne en 1999 (la "collection MEANS", visant à améliorer les méthodes d’évaluation des actions de nature structurelle) et de ses orientations spécifiques de 1999, les "lignes directrices pour les systèmes de suivi et d’évaluation des interventions du FSE durant la période 2000-2006".

[17] La Cour avait déjà tiré une conclusion similaire dans son rapport spécial no 7/2003 (JO C 174 du 23.7.2003) relatif à la mise en œuvre de la programmation des interventions de la période 2000-2006 dans le cadre des Fonds structurels. Au point 89 de ce rapport il était observé que "les indicateurs restent insuffisamment quantifiés ou pertinents".

[18] La Cour a déjà abordé cette question, notamment au point 120 du rapport spécial no 10/2006 relatif aux évaluations ex post des programmes relevant des objectifs nos 1 et 3 pour la période 1994-1999 (JO C 302 du 12.12.2006): "Pour améliorer le processus d’évaluation, de meilleures procédures de contrôle de la qualité doivent être mises en place et réellement appliquées par la Commission, afin que les problèmes rencontrés au cours des évaluations examinées ne se reproduisent pas lors de prochaines évaluations ex post. Ces procédures devraient garantir que a) des données pertinentes et fiables sont régulièrement collectées et qu’elles sont disponibles à chaque étape du processus d’évaluation […]."

--------------------------------------------------