# Entre indépendance et connivence, la délicate posture de
“ l’évaluateur embarqué ”

Jean-Marie Dubois, Gérard Podevin

► To cite this version:

Jean-Marie Dubois, Gérard Podevin. Entre indépendance et connivence, la délicate posture de “l’évaluateur embarqué”. Céreq Bref, 2011, 294, pp.1-4. halshs-04918480

HAL Id: halshs-04918480

https://shs.hal.science/halshs-04918480v1

Submitted on 29 Jan 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
Études

Opinion

Ouvertures

Territoires

## Entre indépendance et connivence, la délicate posture de « l'évaluateur embarqué »

À l'heure où les questions d'évaluation deviennent centrales, s'interroger sur la posture de l'évaluateur est essentiel. Dans le cadre des projets financés par le Fonds d'expérimentation pour la jeunesse, cette posture est particulière : action et évaluation sont concomitantes et pour partie liées. Si l'indépendance radicale de l'évaluateur est illusoire, comment alors coopérer en toute impartialité ?

territoires

évaluation

insertion

formation

apprentissage

individus

travail

méthodologie

Jean-Marie Dubois
Gérard Podevin
(CREM, centre associé régional du Céreq pour la région Bretagne)

### Proposition du Céreq

Définir un code déontologique spécifique aux évaluations « embarquées ».

L'évaluation des politiques publiques revêt des formes diverses, tant par ses méthodes que par la manière dont elle s'insère dans un système d'actions. Ainsi, la Société française de l'évaluation a adopté en 2003, puis actualisé en 2006, une charte de l'évaluation des politiques publiques et des programmes qui formalise les principes généraux de l'évaluation : pluralité, distanciation, compétence, respect des personnes, transparence, opportunité, responsabilité. Elle rappelle ainsi que : « L'évaluation est conduite de façon impartiale, (...) de façon autonome par rapport aux processus de gestion et de décision ». L'évaluateur doit rester fidèle à ces principes de neutralité et d'extérieurité qui lui garantissent une certaine indépendance.

Dans le cadre des expérimentations sociales lancées par le Haut Commissariat à la jeunesse (HCJ) en 2009 et maintenant gérés par le Fonds d'expérimentation pour la jeunesse (FEJ), l'évaluateur s'est retrouvé confronté à une incertitude sur la posture à adopter. Les éclaircissements apportés par le HCJ semblaient de ce point de vue ambivalents : d'un côté, il souhaitait qu'évaluateur et expérimentateur travaillent conjointement (« expérimentation et évaluation ont tout à

gagner à être associées de façon étroite »), jusqu'à les inciter à une certaine « connivence » dès la conception même du projet, selon les termes mêmes des documents de cadrage ; d'un autre côté, il demandait la garantie de l'indépendance de l'évaluateur (« l'évaluation est effectuée de façon externe et indépendante de l'expérimentateur »).

L'observation de deux expérimentations sociales en cours d'évaluation interroge sur la posture spécifique de l'évaluateur, sur l'exigence d'indépendance et les contraintes qu'une telle posture impose.

### L'évaluation constitutive du processus d'expérimentation

De manière innovante, les expérimentations lancées par le HCJ ont été construites en intégrant un protocole d'évaluation dès leur conception. La qualité de ce protocole aura été déterminante dans la sélection des projets, faisant de l'évaluation une des clés du dispositif. Sa rigueur méthodologique devait garantir que les enseignements tirés soient fondés au plan scientifique, aient une validité interne et soient transférables à d'autres programmes (validité externe).

<figure><img src="image_2.png" /></figure>

EXPERIMENTATIONS
SOCIALES
## « Science Insert » et « Les appreneuriales » : deux expérimentations sociales en région Bretagne

Dans le cadre des expérimentations sociales financées par le Fonds d'expérimentation pour la jeunesse (FEJ), deux universités bretonnes expérimentent la mise en œuvre d'actions innovantes consacrées à l'amélioration de l'insertion professionnelle de leurs étudiants. Le centre associé régional du Céreq de Bretagne a été retenu comme évaluateur de ces deux projets.

Sous l'impulsion du Service orientation insertion entreprise (SOIE), l'université de Rennes 1 s'est engagée en janvier 2010 dans un projet intitulé « Science Insert». Elle expérimente la mise en œuvre d'actions spécifiques, consacrées à l'insertion professionnelle des étudiants inscrits en master de sciences, technologie et santé (STS) : modules de techniques de recherche de stage/ emploi, forum des masters scientifiques, annuaire des anciens diplômés...

Sous l'impulsion de son Service de formation continue (SFC), l'université de Bretagne Sud s'est engagée en décembre 2009 dans un projet intitulé « Les appreneuriales : je pense donc j'agis ». Elle expérimente une méthodologie innovante de l'alternance à destination des étudiants inscrits en licence langues, lettres et sciences humaines (UBS) et en activités physiques et sportives (université de Rennes 2). L'objectif principal de ce dispositif est de permettre aux jeunes étudiants des licences concernées de découvrir le monde professionnel et d'améliorer les conditions de leur insertion professionnelle en s'appuyant sur des réalisations novatrices (mise en place d'une Unité d'Enseignement adaptée, d'un forum entreprises, d'un accompagnement/ tutorat renforcé...).

Dans les deux cas étudiés, l'évaluation est constitutive du processus d'expérimentation. Elle prend place tout au long du projet et, pour cette raison, peut être rapprochée d'une évaluation « chemin-faisant ». Cette posture se rapproche clairement des nouvelles générations de pratiques évaluatives qui s'inscrivent dans le temps même de l'action qu'elles visent à enrichir. L'incomplétude des expérimentations à leur commencement pousse à cette posture pragmatique au fil de l'eau, sans rechercher la production de résultats immédiats. La tempora-lité retenue se révèle d'ailleurs insuffisante pour juger des effets durables des dispositifs étudiés, surtout si l'on veut neutraliser les influences de facteurs conjoncturels ou les effets combinés induits par d'autres programmes.

Plus généralement, on peut rapprocher ce type d'évaluation des démarches de « recherche-action » : comme elle, l'évaluation dans l'action se retrouve confrontée à une savante dialectique qui articule implication et distanciation, affec-tivité et rationalité, impartialité et médiation.

Pris dans le processus d'expérimentation, l'évaluateur doit alors adopter une posture spécifique, difficile à identifier pour le porteur de projet : ni expert externe, ni auditeur interne réa-lisant une sorte de bilan-diagnostic. Il convient donc de préciser cette posture, que nous avons qualifiée d'évaluation « embarquée » (cf. encadré page suivante), où se conjuguent indépendance et solidarité.

## Une évaluation neutre et indépendante comme condition de crédibilité

Les rôles d'expérimentateur et d'évaluateur doivent être clairement distingués pour garantir l'indépendance et la légitimité de l'éva-luation. Cette exigence n'est pas propre aux cas qui servent ici d'illustration, mais y trouve une acuité particulière dans la mesure où ils exposent davantage l'évaluateur au risque d'une conni-vence excessive. D'un côté, on ne peut évaluer de manière objective un programme que l'on aurait contribué à construire. L'évaluateur doit rester neutre, ne pas juger la justesse et la valeur des objectifs stratégiques. Il n'est donc pas engagé par une responsabilité qui porterait sur la perti-nence des objectifs ou leur cohérence. D'un autre côté, on ne peut garantir la rigueur des méthodes évaluatives si celles-ci se trouvent conçues et mises en œuvre par les porteurs de projet. L'expérimentateur ne doit donc pas intervenir dans le choix de la méthodologie d'évaluation.

L'indépendance suppose alors que l'évaluation soit effectuée par des personnes et des organi-sations qui ne sont pas en situation de subordi-nation ou de sujétion vis-à-vis des concepteurs ou réalisateurs de l'action. Cette indépendance peut s'apprécier plus particulièrement au regard du respect de trois critères qui se cumulent.

L'absence de conflits d'intérêts, qui relève d'un code de déontologie ou de bonne conduite. Elle implique qu'aucune relation ou engagement professionnel passé, présent ou à venir ne vienne influencer le jugement de l'évaluateur et par la même hypothéquer la qualité et l'objectivité du travail d'évaluation.

L'indépendance organisationnelle doit assurer qu'il n'y a pas de lien fonctionnel ou hiérarchique entre l'évaluateur et les acteurs qui sont en charge du projet et les décideurs de l'organisa-tion porteuse. La fiabilité de l'évaluation dépend fortement des conditions qui permettent aux évaluateurs qui disent les choses telles qu'elles sont de bénéficier d'une protection et d'une reconnaissance qui encouragent la rigueur et l'honnêteté. Elle doit aussi garantir un accès illimité à l'information ; la possibilité d'enquêter sans entrave auprès de toute personne considé-rée comme pouvant jouer un rôle dans le projet et renseigner sur sa marche.

Si l'indépendance contribue à crédibiliser l'évaluation, elle n'est toutefois pas suffisante pour en garantir la qualité. La compétence des évaluateurs, la rigueur et la formalisation des méthodes employées, l'accès aux ressources, la volonté de transparence sont tout aussi essen-
tiels. **L'indépendance comportementale** ainsi acquise sera garante d'une qualité affranchie de toute tentation à la complaisance et du risque d'autocensure.

Mais, une indépendance totale n'est ni possible
ni souhaitable : elle risquerait même d'être
contre-productive si elle venait à rompre les
relations avec les acteurs du projet, limiter
l'accès aux informations, paralyser tout proces-
sus d'apprentissage.

Les limites opérationnelles d'une
indépendance radicale

L'expérience acquise sur une partie des évalu-
tions conduites par le Céreq montre qu'il est
difficile de garantir l'indépendance et la légiti-
mité de l'évaluateur en toutes circonstances. En
effet, certains porteurs de projet, qui ont disposé
de relativement peu de temps pour livrer leur
dossier de candidature, se sont sentis fragilisés
pour porter seuls le dispositif expérimental. Ils
ont alors sollicité très tôt l'évaluateur, faisant de
ce dernier un acteur significatif dans l'ingénierie
du projet. Par ailleurs, d'autres porteurs se sont
avérés très curieux, voire influents, sur le choix
des méthodes adoptées par l'évaluateur. Lors du
recours à une évaluation quantitative, dite ran-
domisée, la constitution des échantillons tests
et témoins et la répartition aléatoire des jeunes
entre groupes ont été, dans certains cas, sujettes
à d'après négociations entre expérimentateur
et évaluateur.

Par ailleurs, contrairement à une évaluation
« ex-post » qui opère après plusieurs mois de

fonctionnement d'un programme, ici l'évalu-
ation se déroule et s'adapte au fil de l'avancée
d'un projet expérimental. L'évaluateur y est en
situation d'observation, de collecte et d'analyse
de ce qui se déroule sous ses yeux durant la
phase de mise en mouvement des acteurs. Il est
souvent amené à organiser des entretiens avec
les porteurs de projet, les bénéficiaires, des tiers
impliqués... Bien que s'efforçant d'adopter une
attitude neutre et distante lors de ces entretiens,
sa simple présence introduit des biais difficile-
ment maîtrisables.

Aux limites d'une indépendance totale s'ajoute
le risque que l'obtention de financements auprès
d'un commanditaire tiers ne soit remis en cause
prématurément, par exemple si les résultats
intermédiaires venaient à s'éloigner trop des
objectifs prévus. L'importance des enjeux finan-
ciers peut ainsi entrainer de fortes tensions avec
certains interlocuteurs amenés à « voiler » la
réalité, à en exagérer les succès, ou à en mini-
miser les échecs. N'y a-t-il pas alors un risque
mal contrôlé qu'expérimentateur et évaluateur
passent d'une connivence heuristique à une
complicité d'intérêts pour conserver l'intégralité
des financements ? De multiples concessions
peuvent ainsi être faites entre expérimentateur
et évaluateur.

Une fois dépassées ces limites et abandonnée la
poursuite d'une indépendance inatteignable, il
parait néanmoins utile de chercher à construire
de **nouveaux modes d'interdépendances**. Les
relations avec les porteurs du projet doivent
alors s'inscrire sous l'horizon de la confiance
et de la compréhension empathique. On peut
même aller jusqu'à dire qu'une des épreuves du

Le Céreq réalise vingt-six
évaluations dans le cadre
des expérimentations
sociales financées par le
Fonds d'expérimentation
pour la jeunesse (FEJ).

La collection Bref du Céreq
se fait régulièrement
l'écho des progrès et
des premiers résultats
des différents chantiers,
l'ensemble devant se
conclure fin 2012.

L'évaluation « embarquée », de quoi parle t-on ?

Cette notion « d'embarquement » se rencontre dans des contextes divers. Elle s'inspire notamment de l'**Embedded reporter** : le « journaliste embarqué » à une unité combattante en opération, sur la base d'un accord contractuel. Tout le débat lié à cette posture tourne autour de la capacité de celui qui est embarqué à garder comme principe non négociable sa neutralité, son extérieurité, sa liberté de jugement ; l'autorité responsable de « l'embarquement » garantissant les principes d'indépendance et assurant la protection.

Dans le cas de nos expérimentations, la configuration triangulaire avec un commanditaire/financeur qui n'est pas le responsable politique du projet évalué rend à la fois plus simple et plus compliquée cette affaire d'indépendance. En effet, cette triangulation joue favorablement pour minimiser le risque de biais inhérents à toute situation où un des acteurs serait à la fois responsable du projet et commanditaire de son évaluation.

En revanche, elle fait peser un doute sur l'impartialité de l'évaluateur dans la mesure où il y a, par construction, solidarité entre expérimentateur et évaluateur, liés par un même destin sur les modalités de l' « embarque- ment » et les chances d'arriver à « bon port ». Ainsi, les conventions plu- riannuelles d'expérimentation, conclues avec le HCJ, lient explicitement le sort de l'évaluateur et de l'expérimentateur, puisque si l'une des par- ties est défaillante, il est clairement stipulé que ladite convention pourra être résiliée. Autrement dit, pour filer la métaphore, si l'expérimentateur coule, l'évaluateur disparaîtra avec lui.

Commanditaire public
FEJ

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>
professionnalisme de l'évaluateur embarqué
consiste à savoir articuler confiance et inté-
grité, coopération et impartialité.

Des interdépendances
nécessaires pour un processus
d'apprentissage

L'évaluateur a la responsabilité pédago-
gique d'expliquer aux porteurs du projet,
dans le cadre des comités de pilotage, ses
propres choix de méthodes, les protocoles
associés, les outils mobilisés. La temporalité
de l'évaluation étant liée contractuellement
à celle de l'expérimentation, il peut rendre
compte régulièrement de l'avancement de
ses actions et des résultats intermédiaires.
Les constats et analyses proposés peuvent
ainsi être réappropriés, peu ou prou, par le
porteur du projet pour infléchir, réorienter,
approfondir le cours des actions, modifier
certaines pratiques, ou encore créer de nou-
veaux outils. Les types d'argumentations
entre parties prenantes, de même que la
communication au sein des comités de
pilotage, conditionnent la possibilité qu'une
confiance réciproque s'établisse entre évalua-
teur et expérimentateur. Ils permettent que
les rôles, périmètres, outils respectifs, soient
clairement distingués, acceptés, et que l'on
puisse éviter d'éventuels recoupements,
redondances des actions, notamment lors
d'enquêtes auprès de publics bénéficiaires.

L'expérimentateur et l'évaluateur vont alors
se retrouver rapidement en situation de co-
construction et de co-responsabilité pour
mettre en œuvre les conditions nécessaires
à l'évaluation du dispositif. Il en est ainsi pour
la mise en place d'outils qui vont contribuer
à structurer le processus évaluatif (« arbre
des objectifs », qui permet de réinterpréter
et de hiérarchiser les différents objectifs
stratégiques et opérationnels, « logigramme »
qui rend compte de la fabrique de l'action...).
Ces différents outils doivent pouvoir être
appliqués dans le cadre d'interactions où les
parties prenantes justifient la qualité de leur
choix et leur cohérence.

En définitive, la posture singulière de l'évalua-
teur embarqué débouche sur un paradoxe :
d'une part, son indépendance est renforcée

lorsqu'elle est associée, comme ici, à des
relations triangulaires, et, d'autre part, elle est
menacée par le jeu même de cette immersion
dans l'action. Ce paradoxe peut se résoudre
grâce à une gestion des nombreuses inter-
dépendances consenties entre évaluateur et
expérimentateur au sein d'un nécessaire pro-
cessus d'apprentissage. Restent alors entières
la question de la prédisposition des acteurs
à respecter **un code éthique de bonne
conduite**, encore largement implicite, et
celle, tout aussi incertaine, de leur confiance
mutuelle dans les volontés et capacités de
chacun à respecter indépendance d'esprit
et autonomie d'action. Ces questions sont
bien sûr redoutables en l'absence de dispo-
sitif opérationnel contraignant qui viendrait
s'imposer aux parties et garantir l'effectivité
de ces principes, et par là même la légitimité
de l'évaluation. L'administration de la preuve
porte alors autant sur l'expérimentateur qui
doit rendre compte de l'effectivité de ses
réalisations, que sur l'évaluateur qui doit
convaincre de la pertinence de sa posture
et refuser de s'inscrire dans une logique de
conseils normatifs pour privilégier le dialogue
et la collaboration.

Ainsi comprise, l'évaluation ne peut être
qu'une démarche cognitive et d'appro-
priation, par les acteurs eux-mêmes, de la
réflexion sur les pratiques et les résultats.
**L'évaluateur doit se caractériser par
la modestie de sa démarche, et non
s'inscrire dans un rapport conflictuel
qui débouchera toujours sur un échec
de l'évaluation.** Ce principe régulateur
se trouve bien illustré aujourd'hui dans
les chartes de la SFE ou de la SWEP,
par exemple, au sein de the *European
Evaluation Society*. Il s'inscrit en effet par-
faitement, au plan européen comme au
plan national, dans la triple logique de
l'action publique, de la démocratie et du
débat scientifique. Il prend en compte, de
façon raisonnée, la pluralité des intérêts
en présence et la diversité des points de
vue qui s'expriment sur l'action évaluée.
Les enseignements qui peuvent être tirés
des expérimentations sociales deviennent
alors constitutifs et emblématiques de
ce débat général sur l'évaluation comme
ressort de toute gouvernance qui cherche
à se renouveler.

Pour en savoir plus

« Éléments pour une sociologie de l'évaluation des politiques publiques en France », J.-C. Barbier, *Revue française des affaires sociales*, 1/2010.

Connaissance et action
publique, M. Baslé,
Economica, 2010.

L'évaluation qualitative :
objectiver sans compter,
S. Divay, Bref n° 286, juin 2011.

« La « recherche-action » : un
processus d'émancipation et
d'apprentissage pour et par
l'évaluation », N. Beaupère
et G. Podevin, in *Evaluation
et données longitudinales,
quelles relations*, Relief
n°30, Céreq, 2010.

« Processus évaluatif d'une
recherche-action et démarche
prospective : quelles
convergences ? », G. Podevin,
IWEPS, *Reflets perspectives de
la vie économique*, T-L 2011.

SFE • Société française
d'évaluation

SWEP • Société wallone de
l'évaluation et de la prospective

réagir sur
www.cereq.fr

Bref n° 294-1 ● novembre 2011

Bulletin de recherche
emploi-formation du Céreq

Directeur de la publication

Frédéric Wacheux

Secrétariat de rédaction et mise en page

Elsa Personnaz

Centre d'études
et de recherches
sur les qualifications

10, place de la Joliette,
BP 21321,
13567 Marseille cedex 02

T 04 91 13 28 28

www.cereq.fr

Commission paritaire
n° 1063 ADEP.

Reproduction autorisée à condition
expresse de mentionner la source.
Dépôt légal n° 49-459.

Publication gratuite
ISSN 2116-6110

ministère
du travail
de l'Emploi
et de la Santé

<figure><img src="image_5.png" /></figure>

ministère
Éducation
l'Enseignement
du travail
et de la santé
et de la santé

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>