Étude de cas

# COMMENT ÉVALUER LES INTERVENTIONS COMPLEXES DE PRÉVENTION DES TMS ET DES RPS ?

L'évaluation des interventions en prévention est souvent perçue comme une remise en question du savoir professionnel. Qui plus est, évaluer des interventions, surtout en prévention des troubles musculosquelettiques ou des risques psychosociaux, peut représenter un défi hors d'atteinte. Pourtant, l'évaluation peut avoir une perspective apprenante et une vertu formative et, grâce au nouvel outil Evala développé par l'INRS et l'Anact, elle est facilitée : pour les intervenants l'ayant expérimenté, les bénéfices sont probants.

DOMINIQUE CHOUANIÈRE, INRS, direction générale

AUDE CUNY-GUERRIER, INRS, département Homme au Travail

CHARLES PARMENTIER, Anact, département Élaboration de solutions de transfert

PHILIPPE DOUILLET, Anact, département Études, capitalisation, prospective

ANNE-MARIE GALLET, Anact

→ **LA PROBLÉMATIQUE:** Comme le développe l'article paru concomitamment dans la revue *Références en santé au travail* de l'INRS [1], la prise de conscience au sein des structures de travail françaises, des problématiques des troubles musculosquelettiques (TMS) au début des années 1990 et des risques psychosociaux (RPS) une dizaine d'années plus tard, a progressivement bousculé les modèles traditionnels de la prévention « technicienne » des risques professionnels, donnant lieu à un renouveau et à un foisonnement des démarches. Après une vingtaine d'années de développement, les démarches de prévention des TMS et des RPS apparaissent hétérogènes et complexes, ce qui représente une source de difficultés pour les évaluer. Elles sont hétérogènes, parce qu'elles sont, entre autres, ajustées à chaque milieu de travail dans lequel elles se déploient et qu'elles relèvent de modèles issus de mondes disciplinaires très différents : sciences humaines ou gestionnaires (ergonomie, psychologie, sociologie, économie, etc.) ou biomédicales (santé et hygiène au travail, physiologie, épidémiologie d'intervention), chaque modèle disposant de ses propres critères pour attester de son efficacité [1-4].

Elles sont complexes, car elles sont multi-cibles, intéressant de nombreuses catégories d'acteurs au sein des structures bénéficiaires et car elles cominent plusieurs activités qui interagissent (par exemple, une formation des managers à la prévention des TMS, qui s'accompagne d'un aménagement de postes de travail, est réputée comme plus efficace). Autre facteur de complexité, elles engagent la subjectivité des acteurs, tant pour l'évaluation de

la situation initiale que pour son évolution. Enfin, elles visent souvent des transformations profondes sur, d'une part, les connaissances, représentations et comportements des opérateurs vis-à-vis des RPS ou des TMS et sur, d'autre part, les processus, l'organisation et les relations sociales dans les structures bénéficiaires [1-4].

L'évaluation des interventions en santé publique, en santé et sécurité au travail (S&ST) ou encore dans le domaine social est un sujet scientifique en débat depuis vingt ans : où, quand, comment et pourquoi ces interventions complexes obtiennent-elles ou non des résultats¹ ?

Ces questions ne concernent pas seulement le monde de la recherche. Elles interrogent, toujours de façon implicite mais parfois explicitement, les intervenants de terrain – qu'ils soient consultants privés, institutionnels des Carsat, SIST ou du réseau Anact-Aract² ou exerçant au sein des structures de travail : est-ce que l'intervention a produit les effets attendus ? Ceux-ci sont-ils liés aux actions engagées ou aux changements qui affectent en permanence les milieux de travail (restructurations, turnover des personnels, évolution des produits ou des processus de production, etc.) ? [2-4]

Enfin, l'évaluation concerne les structures bénéficiaires qui investissent dans la prévention des TMS ou des RPS. En effet, de plus en plus, les commanditaires s'interrogent sur l'efficacité a priori des démarches que les praticiens leur proposent (d'autant que l'offre est large et diversifiée et qu'il n'existe pas de référentiel pour guider les choix) ou envisagent d'objectiver a posteriori les résultats voire le coût-avantage d'une intervention [2-4].
Cependant, si l'évaluation s'impose dans le paysage
de la prévention, force est de constater que les
méthodes d'évaluation à disposition au début des
années 2010 n'étaient pas adaptées aux enjeux
des interventions complexes en S&ST [1, 4].

→ LA RÉPONSE DE L'INRS ET DE L'ANACT

Depuis 2011, l'INRS et l'Anact ont conduit des tra-
vaux théoriques et applicatifs sur l'évaluation
des interventions complexes, en particulier celles
qui concernent la prévention des TMS et des RPS
(cf. Encadré / Focus). Le projet a donné lieu à un
ouvrage sur les enjeux, modèles et méthodes de
l'évaluation en situation complexe [4]. À partir des
réflexions théoriques et bénéficiant de l'expérience
d'une cinquantaine de praticiens de terrain, le projet
a également développé et expérimenté une nouvelle
démarche, Evalia. Cet article a pour but de présenter
cette démarche d'évaluation, ses conditions d'uti-
lisation, sa méthode et au travers des résultats de
l'expérimentation, d'en envisager forces et limites.
Les aspects théoriques de l'évaluation font l'objet
de l'article [1] concomitant et précédemment cité,
lequel est un préalable conseillé avant la lecture du
présent article.

Evalia : présentation et conditions d'utilisation

Evalia désigne la méthode d'évaluation des inter-
ventions de prévention des TMS ou des RPS mise
au point par l'Anact et l'INRS. Elle a fait l'objet d'un
guide, mis en ligne début 2017 sur les sites des deux
institutions [5].

Ce guide fournit trois types d'informations :

* des notions générales, préalable nécessaire à une démarche d'évaluation ;

• une présentation de la méthode ;

* en annexes, trois listes de critères caractérisant une structure de travail (ou contexte), la préparation et le déroulement d'une intervention et les effets les plus courants qui en découlent.

Il s'adresse aux intervenants qui souhaitent évaluer
leur intervention. Il s'agit d'une démarche volontaire
et à finalité formative³, différente d'un audit ou
d'une évaluation de compétences.

Pour accompagner le praticien dans son exer-
cice évaluatif, le guide est complété d'un livret
« Document d'évaluation de mon intervention » qui
permet de consigner les éléments-clés des diffé-
rentes étapes d'une évaluation en situation.

Comme toute démarche d'évaluation, Evalia repose
sur les fondements théoriques suivants :

* La connaissance grâce à une collecte d'informations diversifiées, qui portent ici, sur :

- les effets de l'intervention, attendus ou non,
directs et indirects, précoces, intermédiaires ou
finaux ;

- le contexte de l'intervention : effectif, histoire,
statut juridique, secteur d'activité, contexte terri-

torial, etc. de la structure dans laquelle l'interven-
tion se déploie ;

- l'intervention, préfigurée et réelle.

* Le jugement qui se rapporte à une appréciation critique des données collectées. La démarche proposée ici invite, en effet, à analyser les effets observés au regard d'une part, de la singularité du contexte rencontré (« gravité » de la situation de départ, familiarisation des acteurs de la structure aux démarches de prévention, etc.) et d'autre part, du déroulement réel de l'intervention (implication de la direction, attribution de moyens adéquats, respect du planning des activités, etc.). Cette phase permet, au-delà de la simple vérification de l'adéquation objectifs/résultats, d'approcher le comment et le pourquoi des résultats obtenus ou non.

* La prise de décisions vis-à-vis de l'intervention (réorientation, poursuite à l'identique, etc.) mais aussi vis-à-vis de la pratique professionnelle car la démarche évaluative proposée permet d'en tirer des enseignements pour le futur.

La démarche Evalia peut être utilisée :

* par tout professionnel, intervenant sur les TMS et RPS : préventeur institutionnel, personnel d'un service de santé au travail, consultant dans un cabinet ou indépendant, quelle que soit son ancien nettoyage vis-à-vis de la prévention de ces thématiques ;

* pour tout type de structure bénéficiaire, quels que soient le secteur d'activité, la structure juridique, l'effectif, etc. ;

* quels que soient le modèle et la méthode d'intervention auxquels le praticien se réfère, la démarche d'évaluation étant compatible avec toute méthode d'intervention ;

* quels que soient les objectifs de l'intervention. Cependant, l'évaluation exigeant des moyens et du temps, il est difficile d'évaluer toutes les interventions. L'intervenant pourra privilégier les interventions complexes, susceptibles de lui apporter des retours pertinents pour améliorer sa pratique, la démarche évaluative ayant d'abord et avant tout une finalité apprenante, tout en tenant compte de demandes d'évaluation émanant des structures commanditaires d'intervention, éventualité actuellement en croissance.

Une méthode structurée en quatre étapes

Si la décision d'évaluer revient à l'intervenant,
il est fortement recommandé lors de sa mise en
œuvre d'associer *a minima* les acteurs de la struc-
ture bénéficiaire, voire des partenaires externes ou
des pairs. La participation des bénéficiaires assure
l'accès aux données indispensables au processus
d'évaluation, permet de recenser un plus large
spectre des effets (selon la position des acteurs

<figure><img src="image_1.png" /></figure>
dans la structure, leur repérage est différent et complémentaire) et redynamise une démarche de prévention à l'occasion du point d'étape que représente l'exercice évaluatif.

La démarche Evalia se déroule en quatre étapes :

* Étape 1 : préparation du projet d'évaluation (négociation des moyens, constitution d'un comité d'évaluation, éventuelle contractualisation, etc.). Il est conseillé de le prévoir avant le début de l'intervention même s'il est possible d'évaluer *a posteriori*, avec le risque que la nécessaire reconstitution de données relatives à la situation initiale les dénature.

* Étape 2 : définition a priori des effets attendus et des critères d'évaluation. Cette étape primordiale permet de recenser collectivement les objectifs formels et informels que les différents acteurs fixent à l'intervention. Il s'agit ensuite de lister, en fonction des objectifs recensés, les effets prévisibles de l'intervention⁴ et d'envisager leur chronologie d'apparition (court, moyen et long termes). Ceci permet de « câler », selon les effets pressentis, le planning de collecte des données. Après avoir défini les effets attendus de l'intervention, il faut également prévoir les critères qui permettront d'évaluer ces effets ; par exemple si l'effet souhaité d'une intervention est l'amélioration de la prise en compte des RPS on peut choisir de mesurer cet effet par différents critères : inscription des RPS dans le Document unique ou/et formation de 100% des managers à la problématique ou/et satisfaction vis-à-vis de la prise en compte des RPS de 80% des salariés, etc.

* Étape 3 : recueil des données relatives aux effets pressentis, au contexte et à l'intervention.

* Étape 4 : analyse des résultats et enseignements à en retirer, incluant six sous-étapes :

- analyse des écarts entre effets prévus et observés ;

- identification et analyse des effets non attendus ;

- analyse de l'impact du contexte sur la surveillance ou non des effets ;

- analyse de l'impact de la mise en œuvre de l'intervention sur la survenue ou non des effets ;

- bilan « compréhensif » de l'intervention (mécanismes, obstacles, facilitateurs, etc.) ;

- analyse rétrospective et critique de chaque étape de l'intervention en termes de pratiques à conserver, améliorer, ou à éviter.

## Une expérimentation prometteuse

La première version du guide consacré à la démarche Evalia a fait l'objet d'une expérimentation. Il s'agissait de tester la démarche d'évaluation en situation et plus concrètement d'améliorer le contenu et la forme du guide. Un auto-questionnaire en ligne, regroupant des questions fermées et

ouvertes, a été renseigné par chaque expérimentateur, pour chaque intervention évaluée, à la fin de sa démarche d'évaluation ; ses 800 items permettaient d'explorer sept thèmes :

* les expérimentateurs-intervenants (formation, ancienneté, etc.) ;

* la structure bénéficiaire de l'intervention ;

* l'intervention évaluée (objectifs, mise en œuvre et effets obtenus) ;

* les objectifs et le dispositif de l'évaluation mis en place pour l'expérimentation ;

* les critères de jugement utilisés pour l'expérimentation ;

* la pertinence estimée d'Evalia, ses bénéfices et difficultés ;

* la qualité de l'organisation et la clarté du contenu du guide.

Les résultats du questionnaire ont été enrichis des retours qualitatifs des expérimentateurs lors de cinq journées d'échanges de pratiques, qui ont eu lieu pendant la période de l'expérimentation.

## Expérimentateurs et interventions évaluées

La démarche Evalia a été expérimentée entre octobre 2014 et juillet 2015 par vingt-sept des 47 participants aux cinq groupes-métier (voir figure 1). Leur appartenance institutionnelle reflétait le paysage de la prévention en S&ST : SIST (neuf expérimentateurs), cabinets conseils (six), Aract (cinq), Carsat (un) et autres structures de prévention, telles que l'OPPBTP, la MSA⁵, etc. (six). Les intervenants avaient majoritairement une formation académique en ergonomie, psychologie du travail et/ou sociologie et une ancienneté moyenne, dans le domaine de la prévention des RPS ou des TMS, de plus de 10 ans. Les 27 intervenants-expérimentateurs ont évalué trente-deux interventions, cinq d'entre eux ayant réalisé deux évaluations. Les interventions ont concerné des structures de taille moyenne et grande, appartenant principalement aux secteurs santé et action sociale, manufacturier, services et transports. La prévention des RPS a été l'objet de vingt-deux interventions, celle des TMS, six, la combinaison TMS-RPS, une. Trois interventions ont porté sur d'autres thématiques que TMS ou RPS : accompagnement du management au changement, prise en compte de la pénibilité ou amélioration de la qualité de vie au travail. Le cadre théorique de l'intervention était ergonomique, psycho-ergonomique, psychologique ou métissé (combinant plusieurs approches disciplinaires). L'indicateur de durée des interventions (nombre de journées de travail d'un intervenant) était compris entre 3 et 80, la moyenne étant à 26. Les interventions ont été menées par l'intervenant seul dans douze cas et par plusieurs intervenants dans vingt cas, dont seize avec des collègues de la même institution et quatre, d'institutions différentes.
## Objectifs et dispositifs d'évaluation expérimentés

Compte tenu du calendrier contraint de l'expérimentation dans la durée et dans le temps, les interventions choisies par les intervenants étaient terminées depuis quelques mois voire années dans deux tiers des cas et en cours pour un tiers des cas. Les dispositifs d'évaluation n'ont donc pas pu être mis en place, comme recommandé, avant l'intervention.

L'auto-questionnaire post-expérimentation interrogeait les participants sur les buts qu'ils avaient fixés à leur démarche d'évaluation. Du fait du décalage temporel entre intervention et évaluation, les objectifs avancés par les intervenants étaient de façon prédominante, relatifs à l'amélioration de leur pratique (27/32) et à une meilleure objectivation des effets en particulier tardifs (21/32). Seuls six des intervenants ayant recouru à Evalia en cours d'intervention ont affiché des objectifs d'ajustement de celle-ci au fur et à mesure de l'évolution de la situation.

L'intervenant-expérimentateur seul a majoritairement défini (24 fois) puis piloté (22 fois) le dispositif d'évaluation en collaboration avec les acteurs de la structure, représentés par le responsable seul ou un comité de pilotage. Dans sept cas, l'exercice évaluatif a fait l'objet d'un contrat formel entre l'expérimentateur et la structure bénéficiaire.

Le processus évaluatif a consisté dans tous les cas à recueillir des données et à les analyser. De façon plus marginale, ont été adjoints, un journal de bord pour consigner les évènements signifiants en cours d'intervention (deux fois), des entretiens qualitatifs (deux fois) ou un protocole quasi-expérimental⁶ (deux fois). Compte tenu de la prédominance de processus évaluatifs menés à posteriori, seuls six expérimentateurs ont pu formaliser la chronologie des effets attendus de l'intervention et seulement deux en ont déclaré des bénéfices.

Dans dix-huit cas, les résultats de l'évaluation avaient été ou allaient, au moment du renseignement du questionnaire, être restitués à la structure bénéficiaire.

## Évaluation de la démarche par les intervenants-expérimentateurs

Les bénéfices et difficultés de la démarche Evalia ont fait l'objet d'une vingtaine d'items dans l'auto-questionnaire. La démarche d'évaluation a été jugée globalement positive puisque 95 % des intervenants ont déclaré vouloir la réutiliser. Les vingt-six réponses à la question ouverte : « Que vous a globalement apporté cette expérience d'évaluation ? » ont rapporté des bénéfices, classables en quatre catégories :

* possibilité d'établir des liens directs entre processus et effets et compréhension de ces liens. La réflexivité sur l'intervention à l'occasion de l'éva-

luation a permis une prise de recul et l'identification de ce qui a été efficace ou non ;

* valorisation des actions menées durant l'intervention et mise en visibilité des effets. Pour nombre d'intervenants (et même d'acteurs des structures bénéficiaires), l'exercice évaluatif a permis de rétablir la réalité sur l'importance et la diversité des effets : l'évaluation « m'a conduit à modifier mon point de vue sur les résultats de l'intervention que je considérais très faibles. Après évaluation, il s'avère que plus de choses ont été réalisées que je ne le pensais » ;

* aspect structurant de la démarche d'évaluation pour la conduite de l'intervention. Pour les six cas où l'évaluation a été conduite en cours d'intervention, la réflexion et le partage sur les effets attendus de l'intervention et les critères pour les mesurer, ainsi que l'élargissement à des critères habituellement non mobilisés ont amélioré le processus même de l'intervention : « Le fait de devoir définir en amont et précisément (en co-construction avec le demandeur) les effets attendus de l'intervention, ainsi que les critères de jugement et par ricochet, cela a un impact sur la construction de l'intervention » ;

* évolution des perceptions vis-à-vis de l'évaluation. Certains expérimentateurs ont souligné l'évolution de leur point de vue sur l'évaluation, ses objectifs et ses méthodes : « remise en question de ma conception de la limite de l'évaluation : l'évaluation doit faire partie intégrante de l'intervention ».

En ce qui concerne les difficultés rencontrées, deux expérimentateurs ont déploré, dans la version initiale du guide, une insuffisance d'explications pour définir les objectifs formels et informels de l'intervention et déterminer les critères de jugement.

## Conséquences de l'expérimentation sur la méthode Evalia et le guide

Cette expérimentation n'est pas exempte de quelques limites :

* la faiblesse de l'échantillon des interventions évaluées (32), compensée néanmoins par un recueil, qualitatif et quantitatif, extensif et en profondeur de données relatives aux expérimentations (méthode, contexte, déroulement de l'intervention, dispositif d'évaluation, etc.);

* la non-représentativité statistique des expérimentateurs, au profit cependant d'une couverture complète des modes d'exercices de la prévention en S&ST;

* la contrainte temporelle de l'expérimentation, qui a réduit le choix des interventions évaluables. Toutefois, les interventions expérimentées reflétaient, de l'avis des expérimentateurs, leur activité habituelle;

* le caractère uniquement déclaratif des informations recueillies (lors des journées d'échanges et

<figure><img src="image_2.png" /></figure>
# FOCUS SUR...

## Présentation du projet INRS-Anact :
« Évaluation des interventions de prévention des TMS/RPS »

Le but général de ce projet était d'inciter les intervenants de terrain à s'engager dans une évaluation qui puisse optimiser leurs interventions mais plus largement faire évoluer leur pratique professionnelle. Les objectifs opérationnels visaient à :

* dégager des typologies d'intervention de prévention RPS/TMS et élaborer, en pluridisciplinarité, un cadre conceptuel de l'évaluation de ces interventions ;

* identifier les attentes et les besoins des préventeurs en matière de méthodes et d'outils pour l'évaluation de leurs interventions de prévention RPS et TMS ;

* concevoir et tester une démarche d'évaluation à partir du cadre théorique et des besoins des préventeurs de terrain.

Ce projet qui a déployé plusieurs axes d'activités (voir figure 1), a donné lieu à une synthèse pluridisciplinaire en matière d'évaluation des interventions de prévention, en particulier en S&ST et produit deux livrables : un guide d'évaluation adaptée aux interventions complexes de prévention des TMS et RPS et un ouvrage collectif de synthèse sur le sujet.

### Synthèse pluridisciplinaire de l'évaluation des interventions de prévention

Grâce à des revues de littérature et des séminaires de recherche, de multiples données ont été compilées puis synthétisées.

### Revues de la littérature

Elles ont concerné :

* les modèles d'intervention et d'évaluation dans le domaine de la prévention des RPS et des TMS et l'effica-

cité de ces interventions selon les différents modèles ;

* les modèles d'évaluation traditionnels et novateurs (pluridisciplinaires, élargis, etc.) utilisés dans les domaines de l'action sociale, en santé publique et en S&ST.

### Séminaires de recherche

(16 journées entre mai 2012 et janvier 2014)

Des séminaires ont réuni une cinquantaine d-experts à l'échelle nationale ou internationale (universitaires, spécialistes en prévention, évaluation, etc.).

Ils ont permis un état des lieux sur :

* l'évaluation des interventions de prévention des RPS et des TMS ;

* les différentes conceptions et pratiques de l'évaluation dans les disciplines en lien avec les interventions de prévention des RPS et des TMS (sociologie, ergonomie, psychologie, épidémiologie, économie de la santé, etc.);

* les « pratiques de terrain » en matière d'évaluation déjà déployées dans le champ de la S&ST.

### Séminaires de synthèse

(7,5 journées de novembre 2012 à janvier 2014)

Le volumineux corpus de connaissances, issu de la littérature et des séminaires a été organisé et un cadre général de l'évaluation des interventions de prévention des TMS ou des RPS a été élaboré. Cette synthèse a été déclinée en un « tableau-inventaire » avec en lignes, les caractéristiques de l'évaluation propres à chacune des disciplines et en colonnes, les disciplines. Ce tableau a constitué la première étape de l'élaboration de la démarche Evalia.

par auto-questionnaires) qui n'ont effectivement pas été croisées avec des données d'observation ;

* la subjectivité des expérimentateurs, qui a nécessairement « teinté » les données recueillies.

Néanmoins, l'expérimentation a permis d'adapter la démarche et de reformuler certaines parties du guide. La version actuelle propose une démarche plus complète et structurée que la version initiale. Elle accompagne le praticien, depuis sa décision d'évaluer jusqu'à l'utilisation des résultats. A été ajoutée, entre autres, une première étape de préparation du projet, non spécifique de l'évaluation mais jugée nécessaire. Pour faciliter l'appropriation de notions théoriques, telles que les « critères de jugement », des simplifications conceptuelles et des

adaptations sémantiques ont été nécessaires.

La lourdeur de la démarche d'évaluation évoquée par certains intervenants a été relativisée par d'autres. Car, si une démarche d'évaluation nécessite, comme tout projet, du temps et des moyens, l'investissement a été perçu comme compensé par les bénéfices qui en ont découlés (meilleure connaissance de la structure bénéficiaire et des effets de l'intervention, reprise du processus interventionnel, visibilité des impacts différés, etc.) lesquels ont pu concerner la conception même des interventions.

Evalia est conçue pour et a été testée par des intervenants n'appartenant pas aux structures bénéficiaires. L'usage d'Evalia pour autoévaluer en interne une intervention a été envisagé. Si la
## Mise à disposition du guide relatif à la démarche Evala [5]

Les perceptions, attentes et expériences vis-à-vis de l'évaluation ont été recensées auprès d'un panel d'intervenants de terrain en les regroupant, pour tenir compte de leurs spécificités, en cinq groupes - métiers (cf. Figure 1). Ceux-ci ont d'abord renseigné par écrit une grille relative aux différents aspects de l'évaluation. Les données recueillies ont été synthétisées et mises en débat lors de journées d'échanges (deux à trois journées par groupe - métier) afin d'en dégager des consensus. A partir des apports théoriques formalisés dans le « tableau-inventaire » et des conclusions concordantes des douze réunions des groupes-métier, une première version d'un guide présentant la démarche Evala a été élaborée. Celle-ci a été expérimentée dans 32 interventions par 27 intervenants des groupes - métier. Les retours de l'expérimentation récoltés lors de 5 réunions d'échanges avec les expérimentateurs et par un questionnaire post-évaluation de 800 items, ont permis d'améliorer la méthode et d'élaborer une version optimisée du guide lequel a été mis en ligne début 2017 sur les sites respectifs de l'Anact et de l'INRS (voir les détails de la mise au point et de la démarche dans le corps de l'article).

## Édition du « Précis d'évaluation des interventions en santé au travail » [4]

Prenant en compte le corpus de connaissances réuni à la faveur du projet et les mises à jour régulières de la littérature (particulièrement riche depuis une dizaine d'années), et bénéficiant des retours d'expériences des intervenants-expérimentateurs de la démarche Evala, cet ouvrage constitue, pour des praticiens, des chercheurs ou des étudiants, une synthèse actualisée et novatrice vis-à-vis de l'évaluation des interventions de prévention en S&ST.
Sa première partie dresse un bilan bibliographique sur les modalités de prévention des TMS et des RPS en milieu de travail et des modèles d'évaluation mobilisés pour ces

<figure><img src="image_3.png" /><figcaption>↑FIGURE 1. Organisation des activités du projet INRS-Anact « Évaluation » (GM : groupe métier).</figcaption></figure>

interventions, incluant les résultats sur l'efficacité des différents types d'intervention. Un cinquième chapitre synthétise les enjeux de l'évaluation d'interventions complexes en particulier pour la prévention des RPS et TMS. La seconde partie témoigne, à partir de six disciplines (sciences de l'éducation, ergonomie, sociologie, psychologie, épidémiologie et économie), de toute la diversité et la richesse conceptuelles de l'évaluation.

Dans la troisième partie, sont relatées expériences et pratiques de l'évaluation de terrain, mettant en relief les différences d'approches selon la structure d'appartenance des intervenants, leur statut, leur formation académique, etc. La dernière partie décrit les modèles d'évaluation les plus performants et les plus aboutis pour évaluer les interventions complexes dans l'action sociale, en santé publique ou en S&ST avec un focus sur les modèles adaptés à la complexité des interventions de prévention. Dans le dernier chapitre, sont présentés la démarche Evala, ses usages, bénéfices et limites.

En complément, quatre annexes abordent des thèmes périphériques nécessaires à l'appréhension de l'évaluation et un glossaire rend accessible au lecteur, quelle que soit sa formation d'origine, les concepts de base des disciplines convoquées dans l'ouvrage.

démarche est adaptée sur le plan opérationnel, le risque de glissement de l'évaluation d'une action à celle des acteurs qui l'ont portée n'est pas à exclure, d'autant que la confusion entre ces deux types d'évaluation est socialement fort répandue. Face à cet écueil, l'Anact a conçu un guide, spécifiquement dédié à l'auto-évaluation paritaire des démarches d'entreprise, détaillant particulièrement les enjeux d'un tel exercice et les précautions à prendre lors de l'étape préparatoire [6].

Le recours à Evala pour des thématiques autres que RPS ou TMS, a été expérimenté avec succès dans trois cas. Questionnés sur la légitimité de ce type d'extension, 66 % des expérimentateurs ont jugé Evala suffisamment flexible pour s'adapter à toutes les interventions de prévention des risques profes-

sionnels. En effet, la liste des 37 effets mentionnés en annexe 1 du guide [5], sans être exhaustive, a été conçue comme indicative des effets les plus usuels d'interventions de prévention ou d'amélioration des conditions de travail, quelle qu'en soit la thématique de départ. De plus, la liste peut être enrichie d'effets particuliers à un contexte de travail. Une seule classe d'effets, relative aux facteurs de risque, est spécifique des thématiques des RPS et TMS. Pour les praticiens qui utiliseront cette démarche d'évaluation pour d'autres problématiques que les TMS ou les RPS, il est recommandé, au démarrage de l'intervention, d'adapter à leur thématique, la catégorie « facteurs de risque ».

Un mésusage possible concerne précisément cette liste d'effets. Des commanditaires d'une interven-

<figure><img src="image_4.png" /></figure>
tion pourraient en détourner la fonction, considérant la liste comme une référence des résultats à obtenir et évaluer la pratique d'un prestataire à l'aune de celle-ci. Des mises en garde contre ce dévoiement ont été ajoutées dans le guide [5].

## Conclusion

La pratique évaluative poursuivie par un intervenant peut viser :

* le simple ajustement d'une intervention en cours;

* la comparaison avant/après de différents para-mètres pour un retour documenté, entre autres, à la structure bénéficiaire (SB). Le recours à la démarche Evalia permet, dans ce cas, de faciliter le dialogue avec les différents interlocuteurs bénéficiaires des interventions, responsables d'entreprises, représentants des salariés, institutionnels, etc.;

* un usage plus systématique avec éventuellement un partage avec des pairs. En dépit des différences de formation académique et de méthodologie, la démarche Evalia permet à des intervenants, sur la base de recueils de données standardisées, de pouvoir expliciter le choix de méthode au regard du contexte de départ, commenter les résultats obtenus eu égard au contexte et au processus réellement déployé, approfondir les conditions générales du succès ou de l'échec de certains types de démarches, etc.

Ces trois niveaux d'évaluation ne sont pas indépendants, ils témoignent de l'intégration progressive de l'évaluation dans la pratique de l'intervenant. Une telle pratique évaluative permet la construction de nouveaux repères méthodologiques avec, au final, non seulement une amélioration de l'efficacité des interventions, mais également une harmonisation

des pratiques, voire un renforcement en légitimité du métier d'intervenant en prévention.

1. Les discussions méthodologiques qui en découlent, ainsi que les enjeux pour les interventions en prévention des RPS et des TMS, sont détaillés dans l'article concomitant déjà mentionné [1].

2. Carsat : Caisse d'assurance retraite et de la santé au travail. SIST : Service interprofessionnel ou interentreprises de santé au travail. Anact-Aract : Agence nationale pour l'amélioration des conditions de travail - Association régionale pour l'amélioration des conditions de travail.

3. Les sciences de l'éducation ont très tôt distingué « évaluation formative », qui accompagne l'élève et « évaluation normative » ou « sommative », qui sanctionne ses acquis par des examens ou des concours. Dans le domaine de l'intervention, les définitions ont été adaptées : - Évaluation formative : processus en parallèle d'un programme d'action pour mesurer en continu ses effets et l'ajuster.

- Évaluation normative : dispositif comparant les données d'une action (résultats, moyens, etc.) à une référence (norme, référentiel, guide, etc.).

4. Pour aider à définir les effets attendus d'une intervention, l'annexe 1 du guide fournit une liste de 37 types d'effets les plus usuels, chacun des items étant assorti d'un exemple [5].

5. OPPBTP : organisme professionnel de prévention du bâtiment et des travaux publics. MSA : mutualité sociale agricole.

6. Les protocoles expérimentaux sont des dispositifs de recherche utilisés dans les essais thérapeutiques pour démontrer l'efficacité d'un traitement. Cherchant à établir une relation de causalité entre un traitement et l'amélioration de la santé, ils doivent, pour être valides, respecter de strictes conditions : recours à un groupe cible et un groupe contrôle, affectation aléatoire des sujets dans les groupes, usage du placebo, etc. Pour évaluer l'efficacité d'une intervention de prévention, la méthodologie expérimentale doit être adaptée à la réalité du terrain. Ces protocoles sont alors dits quasi-expérimentaux [4]. Pour plus d'informations, voir l'article paru dans Références en santé au travail [1].

## BIBLIOGRAPHIE

[1] CHOUANIÈRE D. – Aspects théoriques de l'évaluation des interventions complexes de prévention en S&ST : exemples des TMS et RPS. Références en santé au travail, septembre 2019, n° 159., pp. 79-98.

[2] CHOUANIÈRE D., PARMENTIER C., HUMBEY E., RAGAZZI C. – Évaluer les interventions complexes en milieu professionnel : des enjeux à la pratique. In : Actes du 51e congrès de la Société internationale d'ergonomie de langue française (SELF), Marseille, 21-23 septembre 2016.

[3] ANACT – Évaluer les interventions en prévention : un défi aux enjeux multiples. Travail et Changement, janvier-avril 2018, n° 369, 15 p.

[4] INRS – Précis d'évaluation des

interventions en santé au travail. Pour une approche interdisciplinaire, appliquée aux RPS et TMS. Toulouse, Octarès, 2019, 670 p.

[5] ANACT / INRS – Évaluer les interventions de prévention des RPS-TMS. Guide à l'usage des intervenants, 2017. Accessible sur : www.inrs.fr/actualites/anact-inrs-guide-rps-tms.html et : www.anact.fr/guide-devaluation-des-interventions-de-prevention-des-rps-tms.

[6] DOUILLET P., GRANDJACQUES B., FOURNIER P.S. – L'évaluation des démarches de prévention des risques psychosociaux en entreprise. Repères issus d'expériences d'entreprises de conduite de projets d'auto-évaluation paritaires. Lyon, Anact, 2014, 42 p.

## Remerciements

Les travaux pluridisciplinaires et multi-institutionnels engagés depuis 2011 par l'INRS et l'Anact ont mobilisé une centaine d'experts. Leurs noms sont disponibles au début de l'ouvrage et du guide. Qu'ils soient ici tous chaleureusement remerciés. Nos remerciements s'adressent ici plus spécialement aux vingt-sept expérimentateurs de la première version du guide et à leurs responsables qui ont autorisé leur participation, mais également aux membres du groupe en charge du guide qui, aux côtés de Philippe Douillet et Charles Parmentier (pour l'Anact) et Dominique Chouanière (pour l'INRS), ont apporté leur précieuse expertise : Jean-Jacques Atain-Kouadio, Anne Benedetto, Anne-Marie Gallet, Marie-Anne Gautier, Valérie Langevin, Anne Montagnez, Julien Pelletier, Caroline Ragazzi et Claude Vadeboin.