# L'évaluation de programmes de formation: contributions de l'évaluation institutionnelle pour la qualité dans la formation

Manuela Terrasêca

Universidade do Porto - Faculdade de Psicologia e de Ciências da Educação
terraseca@fpce.up.pt

João Caramelo

Universidade do Porto - Faculdade de Psicologia e de Ciências da Educação
caramelo@fpce.up.pt

## Résumé:

L'évaluation d'une mesure de politique de formation dans le domaine de la formation professionnelle et de la promotion de l'employabilité, se confronte à des problèmes qui relèvent soit de la complexité des défis auxquels cette mesure-là doit répondre, soit de la pluralité et diversité d'intervenants dans le système de relations crée pour implémenter la politique. Le choix d'un modèle d'évaluation doit être fortement influencé par la négociation qui met en dialogue les conceptions d'évaluation des évaluateurs et le sens de la demande des commanditaires. Dans ce sens, la demande, à une équipe universitaire, pour réaliser une évaluation externe d'une formation professionnelle, pour produire des suggestions et des recommandations permettant l'amélioration de la qualité et de l'efficacité de la formation, surtout en ce qui concerne son insertion territoriale et l'employabilité, a permis de développer un modèle qu'on désigne «évaluation institutionnelle».

Dans cette communication on se propose discuter quelques traits caractéristiques de ce modèle, notamment l'accent sur le processus de négociation, l'approche holistique et systémique et la multireferentialité de l'évaluation. C'est l'articulation entre ces traits distinctifs que caractérise l'évaluation institutionnelle comme un processus essentiellement communicationnel, basé sur une relation démocratique entre évaluateurs/évalués, en permettant l'expression de subjectivités, mais aussi la production conjointe de sens pour la formation. Ce modèle d'évaluation n'est pas définit comme un exercice de contrôle de la mesure de politique de formation, mais comme une contribution pour discuter le sens de la «qualité» et de «l'efficacité» dans le processus de formation avec des conséquences sur la régulation des actions.

**Mots clés:** — Évaluation institutionnelle — évaluation-sens — négociation — qualité — multireferentialité

## Introduction

L'axe 4 du Cadre Communautaire d'Appui de l'Union Européenne pour les années 2000-2006, appelé «Promouvoir le Développement Soutenable des Régions et la Cohésion Nationale» a permis le développement d'un Programme Opérationnel, au Portugal, dans la Région Nord du pays, ayant pour but la cohésion, l'augmentation de la compétitivité et la dynamisation socio-économique de cette région portugaise.

Conformément à ces finalités ont été établies des priorités stratégiques en cherchant, à travers l'appui à la candidature et à la mise en oeuvre de projets de développement régional, améliorer la qualification des personnes, augmenter leur employabilité et promouvoir la cohésion sociale, valoriser les systèmes productifs régionaux et promouvoir un aménagement équilibré et soutenable de cette région portugaise. C'est dans ce contexte politique et socio-
économique que s'insère une Mesure stratégique - désignée Mesure 2.5 - Employabilité – co-financée par le Fonds Sociaux Européen qui a, entre ses buts, la qualification des ressources humaines pour améliorer la capacité de création d'emploi dans les secteurs d'activité traditionnelle, la promotion de la culture d'entreprise et le développement de nouvelles compétences dans des secteurs économiques et institutionnels émergents, à travers la qualification des ressources humaines. En synthèse, cette Mesure 2.5 - Employabilité est supposé contribuer à la cohésion et au développement intégré du territoire de la Région Nord du Portugal, à travers des processus de formation qui participent, entre autres desseins, à la promotion de l'employabilité.

Ce que nous voulons souligner c'est le fait que la Mesure 2.5 - Employabilité est au
centre d'une conjonction de plusieurs déterminations qui conditionnent sa mise en forme en
amont (dès le Cadre Communautaire d'Appui III jusqu'à quelques programmes stratégiques
définis pour la Région Nord), et qui en aval créent des contraintes qui établissent et
réglementent leur concrétisation sur le terrain. Nous nous rapportons, ici, aux normes qui
permettent de sélectionner, hiérarchiser et organiser les projets concurrents, ainsi que définir
les entités qui peuvent poser candidature à l'organisation de la formation et, ainsi, à
bénéficier de subventions. Cet encadrement institutionnel est constitué par une multiplicité
d'instances entre lesquelles, théoriquement, est supposé l'établissement d'une relation
directe, séquentielle et exclusive entre des instances adjacentes, dans une logique
d'emboîtage dont l'évidence tout en n'étant pas nécessairement assurée réuni, néanmoins
dans sa présentation, une cohérence superficielle facilement acceptable (cf. Annexe 1). Cette
logique d'emboîtage comporte aussi une logique de rétrécissement en particulier la rétraction
de l'étendue des interventions, ayant des conséquences contradictoires: le rétrécissement et la
spécialisation de plus en plus étroite des interventions, d'une part, fournissent une meilleure
possibilité d'opérationnalisation des objectifs; d'autre part, cette plus grande spécialisation
peut contribuer à la décontextualisation des interventions. Celle-ci ne facilite ni la
compréhension, ni la perspective globale de ces interventions. Ainsi, cette logique
d'emboîtage peut signifier pour les agents sur le terrain, situés à la fin de cette chaîne, la
perte du sens de l'intervention face aux objectifs initiaux. Néanmoins, cette conséquence ne
doit pas être considérée comme nécessairement négative si elle signifie une traduction et
recontextualisation du sens des interventions en fonction des logiques des acteurs et du
terrain.

La sollicitation à une équipe universitaire de faire une évaluation externe apparaît au
moment où les projets de formation dans le contexte de la Mesure 2.5 - Employabilité se
trouvent en plein développement (les premiers projets datent de 2001). Au moment où était
pondérée l'efficacité de la Mesure, soit dans la promotion de l'employabilité, soit dans son
articulation avec des investissements matériels promus par d'autres programmes de
financement (FEDER), la demande d'évaluation, focalisant la formation professionnelle
réalisée, prétendait que l'étude d'évaluation produisait des suggestions et des
recommandations qui devraient permettre l'amélioration de la qualité et de l'efficacité de la
formation, surtout dans ce que concerne l'insertion territoriale et l'employabilité. Il faut
éclaircir que l'entité qui a produit la demande est un organisme public qui est l'expression
régionale du pouvoir central, en ce que concernent les questions du développement, et, soit
disant, fortement influencé par des logiques techniques-administratives de gestion et soumis
à des logiques de contrôle et de prestation de comptes au niveau national et même
supranational.

Le contrat établi entre cet organisme d'état et l'institution universitaire à laquelle appartient l'équipe d'évaluation prévoyait, ainsi, de manière rigide, des moments de prestation de comptes à travers la présentation, discussion et approbation de rapports
intercalaires du travail d'évaluation en cours. Ce moment initial supposait une nette séparation de rôles et de fonctions à jouer par des évaluateurs et évalués, et là, on peut même parler d'une subordination de la logique de l'évaluation à la logique de la commande.

Néanmoins, le type de relation entre les deux entités, établi à partir de la présentation de la demande, a été développé dans le but de passer de la logique contractuelle de la commande d'un travail, à la logique communicationnelle de négociation d'une étude d'évaluation. En effet, comme réponse à une demande d'évaluation externe formulée dans une logique de prestation de services, notre équipe a essayé de répondre à travers d'une proposition d'évaluation, que nous désignons d'évaluation institutionnelle. Fondé sur un processus de négociation intense, ce type d'évaluation s'étaye sur une régulation tendanciellement démocratique, dans l'affaiblissement des frontières entre intervenants internes et externes, cherchant la déconstruction/recomposition de sens pour les actions en évaluation.

La négociation est un principe structurateur des caractéristiques inhérentes à l'évaluation institutionnelle, construit pendant sa durée, c'est à dire, elle ne résulte pas d'une somme d'accords, plus ou moins tacites, en se distinguant, ainsi, de l'usage commercial du mot. Comme tel, la négociation rejette les rittes d'interaction étayés sur la manipulation et/ou l'acquiescence non discutée: notre conception de négociation suppose un esprit d'ouverture entre les divers intervenants permettant la discussion profonde des perspectives, comptant sur l'implication des acteurs et fondée sur une interaction forte pour construire un ordre de négociation pas stabilisé mais que nécessite de permanents processus de construction de sens partagés, ce que veut dire que la négociation confronte les implicites et les ambiguïtés inhérentes à toute relation humaine. Ce processus de négociation contribue à la construction du collectif des acteurs comme partenaires d'un processus de travail, ainsi qu'à l'explicitation de l'argumentaire justificatif des actions, ceci constituant une forme de produire une compréhension autre sur l'action développée. C'est à travers ce processus de négociation que la communication entre les acteurs – nous nous rapportons non seulement à la communication inter-équipes, mais aussi intra-équipes – s'enrichit parce qu'elle se complexifie, impliquant la création d'une base d'accord établie à partir d'un dénominateur communicationnel commun maximum, c'est à dire, une base d'accord qui rassemble, dans la discussion, soit les idées communes, soit les idées divergentes, soit les idées qui émergent de la discussion elle-même. Dans le travail d'évaluation que nous présentons ici, c'était toute cette procédure de négociation développée dans le cours d'une continuité temporelle qui a rendu possible transformer un contrat d'évaluation centré sur le produit et contrôlé hiérarchiquement par l'entité commanditaire, dans un processus évaluatif d'interpellation mutuelle, c'est à dire, dans une évaluation institutionnelle. Ce processus de négociation a permis, aussi, de rendre compte des implicites sous-jacents à la conception des projets de formation développés sur le terrain et incorporer sa discussion comme recours transversal du processus d'évaluation.

La naturalisation de ces implicites crée des dispositions pour l'action en supposant l'existence de consensus autour de ces idées implicites, ce qui a comme conséquence la non problématisation de ces fondements de l'action. Parmi les consensus qui ont émergé à partir du processus d'évaluation réalisé, nous détachons quatre considérés les plus pertinents dans le contexte de cette communication:

* l'organisation de la formation se fait dans le présupposé de l'existence d'une relation linéaire entre la formation et l'employabilité. Ainsi, la problématique de l'employabilité se joue dans le champ de l'exclusive responsabilité des personnes par leur capacité ou incapacité de se rendre et se maintenir susceptibles d'employabilité, indépendamment des enjeux politiques et économiques;
* la conception des rapports entre la formation et le monde du travail est basée dans la subordination de la première face au deuxième, en préjugeant que cette subordination est naturelle et désirée et la finalité ultime de l'école et de la formation consiste à la préparation pour la vie, ce qui, par voisinage de concepts se convertit dans la préparation pour la vie active;

* une autre conception implicite, importée du champ plus structuré de l'éducation scolaire, s'enracine dans des siècles de fonctionnement de l'école selon une nette division de tâches, une répartition asymétrique de pouvoirs et dans une distribution et localisation également différenciée de savoirs. Cette façon de penser et de concevoir la formation est concomitante avec deux autres idées fortes: a) l'apprentissage est un processus, essentiellement basée dans des procédures individuellement assumées, où la mémoire joue un rôle essentiel; b) l'enseignement est une activité où les rythmes individuels peuvent devenir facilement compatibles, donc il peut être dirigé à plusieurs personnes en même temps, comme si le groupe pouvait incorporer les manières d'être d'une seule personne. L'idée partagée par consensus et perpétuée, selon laquelle la formation peut être collectivisée et se réaliser dans une simultanéité de temps et d'espaces, a comme conséquence son éloignement des contextes réels de vie, étant la formation professionnelle conçue dans une extériorité face à l'exercice professionnel lui-même, impliquant la sortie des professionnels de leurs contextes de travail;

* la notion de développement est essentiellement identifiée au développement économique qui résulte de l'agrégation de qualifications individuelles, fondamentalement centrées sur la dimension productive des sujets, ne prenant pas en considération l'insertion territoriale de ces qualifications et leurs articulations avec des structures matérielles – existantes et à mettre en oeuvre – et avec les réseaux de relations sociales.

De certaine façon, en prenant en considération ces implicites, la conception de ces projets de formation articule cognitivement formation-employabilité-développement, ce que produit un effet notoire au niveau de la définition de ce que c'est la qualité et l'efficacité de la formation. La discussion autour de ces théories implicites a replacé au centre des préoccupations de l'évaluation, soit dans la perspective des évaluateurs, soit dans la perspective des commanditaires, la conception d'employabilité, de formation et de développement, en rompant aussi avec une traditionnelle et persistante conception d'évaluation exclusivement centrée dans la vérification de la conformité entre des produits et des objectifs.

La conception d'évaluation institutionnelle mise en oeuvre et partagée par l'équipe a parmi ses idées fondamentales le principe selon lequel l'objet d'évaluation se construit dans la durée de l'évaluation elle-même, et n'a pas une existence préalable. C'est en ce sens que la mise en contexte de la formation dans le cadre de la Mesure 2.5 que nous sommes en train de présenter n'est pas ni étrange ni extérieure au processus d'évaluation développé, dans la mesure où elle a contribué à la construction de l'objet d'évaluation.

L'évaluation institutionnelle incorpore, aussi, aspects qui habituellement sont imputés à l'évaluation externe, notamment ceux qui contribuent à identifier des points forts et faibles, signaler des initiatives innovatrices, détecter des problèmes, comprendre et expliquer l'action et son fonctionnement, prêter des comptes, formuler des recommandations et des suggestions, supporter des décisions, légitimer des mesures, permettre l'exercice du contrôle social (Terrasêca, 2002).
De ce fait, la question si récurrente de la rigueur en évaluation, devient plus aiguë. Dans le modèle d'évaluation développé par notre équipe, la rigueur n'est pas fournie par l'illusoire sécurité et objectivité, mais se construit par le débat inter-subjectif de perspectives et sensibilités diverses. Ceci dit, la rigueur de l'évaluation est assurée par la discussion des résultats provisoires, et, ainsi la dévolution devient "un des processus pour assurer le plus possible de rigueur et une réflexion autour des diverses partialités et subjectivités, lesquelles, mises en question, nous rendent plus proches d'évaluations plus fiables" (Terrasêca, 2002: 57). Ainsi, l'évaluation institutionnelle essaye de secondariser l'axe technique de l'évaluation – rationnel et dépuré –, donnant une importance majeure à son axe éthique – complexe et ambivalent – lequel est, pour l'essentiel, son axe opérant (Lecointe, 1997).

**En synthèse:**

Tout au long de notre exposition nous avons relevé que l'évaluation institutionnelle permet une analyse et proportionne une réflexion qui facilite à ceux que s'y impliquent, une perspective plus élucidée des processus dont ils participent, ou dans lesquels ils interviennent, c'est à dire, elle permet de discuter des questions autour des valeurs que, d'un point de vue étymologique, l'évaluation toujours admet qu'existent.

En effet, c'est important ne pas oublier que l'évaluation est toujours un acte éminemment politique, qui se développe autour de l'interrogation à propos des valeurs qu'elle suppose, autour de choix, c'est à dire, de définitions personnelles et/ou de groupe ou collectives de perspectives et de postures face au monde.

Dans cette perspective, l'évaluation se constitue dans une question de recherche/attribution de sens, d'où son développement suppose que les relations de pouvoir, toujours présentes, ne soient pas trompées, et que dans les relations établies entre les divers acteurs intervenants dans le processus s'établisse un intense et participé processus de débat et de négociation.

Comme nous l'avons essayé d'expliciter, parce que le processus d'évaluation institutionnelle inscrit ces préoccupations dans son noyau, il constitue une expérience de partage de pouvoir, réglée par une relation démocratique, où les divers intervenants expriment leurs subjectivités et sens pour l'action dont ils participent.

Ainsi, le travail d'évaluation est aussi un travail d'autorisation. Il faut donc mettre en équation les conséquences de cette position évaluative dans la discussion des notions de qualité et d'efficacité, référées aux systèmes de formation et d'éducation. Un premier aspect concerne l'importance attribuée au caractère éminemment intersubjectif et contextuel de la qualité comme finalité et/ou attribut des systèmes, processus et produits de la formation. En effet, c'est dans la compréhension localisée de la trame constituée par des pouvoirs et des positions différenciées dans le système de formation, associés à des langages et mandats et/ou projets inhérents, que l'évaluation institutionnelle établit ses formes d'action.

Ce que nous voulons souligner, ici, c'est que le processus d'évaluation institutionnelle cherche à amplifier et à mettre en communication les distinctes façons dont les différents acteurs du système de formation conçoivent la "qualité" et "la construisent" à travers leurs interactions, dans la mesure où cette confrontation argumentée permet, à ceux qui sont impliqués dans le processus d'évaluation, non seulement l'altérité, mais aussi l'altération (Ardoino, 2000), essentiel quand nous comprenons l'évaluation comme potentiellement transformatrice de l'action.

Le discours (pré)dominant à propos de la qualité et de l'efficacité dans le champ de l'éducation et de la formation tend à se procurer sa légitimité politique et sociale dans une rationalité technique, fréquemment instrumentale ou instrumentalisée. Ce discours, dans le champ de l'évaluation, trouve son corollaire logique dans la "standardisation" des procédures
et des résultats. Les conséquences de ce discours et des pratiques qui le prolongent sont, de
certaine façon, déjà contenues dans leurs présuppositions: rendre invisibles les langages, les
subjectivités et les logiques locales, réduire l'évaluation à une logique comptable et de contre-
rôle (Ardoino et Berger, 1986), bien que sans abandonner leur souci de légitimation
médiatique. Par contre, l'évaluation institutionnelle retrouve les bénéfices du conflit et de la
contradiction, en ce que ces concepts comportent de construction et d'invention, de
production et de mobilisation pour l'action. C'est en ce sens que, dans l'évaluation
institutionnelle, il faut absolument que tous ceux qui sont concernés par elle soient impliqués
dans la conception et le développement du dispositif d'évaluation, veillant à une relation
équitable, démocratique, en dialogue et capable de confronter les simulations et
dissimulations de pouvoirs.

Références Bibliographiques:

ARDOINO, Jacques, *Les Avatars de l'Éducation*. Paris: PUF, 2000.

ARDOINO, Jacques; BERGER, Guy, *D'une Évaluation en Miettes à une Évaluation en Actes. Le cas des Universités*. Paris: ANDSHA/Matrice, 1986.

LECOINTE, Michel, *Les Enjeux de l'Évaluation*. Paris et Montréal: L'Harmattan, 1997.

SÁ COSTA, Alexandra; JORDÃO, Filomena; TERRASÊCA, Manuela, *Estudo de Avaliação da Medida 2.5 «Acções Integradas de Base Territorial: Empregabilidade – Relatório Final*. Porto: CCDRN e FPCEUP, 2004.

TERRASÊCA, Manuela, *Avaliação de Sistemas de Formação*. Tese de Doutoramento. Porto: FPCEUP, 2002.
**Anexe 1: Contextualisation de la Mesure 2.5 - Employabilité:** QCA III ⇒ Programme ON ⇒ Axe Prioritaire 2

<figure><img src="image_1.png" /></figure>