# Étude de l'accord dans des textes annotés sans consignes précises : le cas de la charge mentale dans des témoignages professionnels

Iuliia Arsenteva, Caroline Dubois, Philippe Le Goff, Sylvie Plantin, Ludovic

Tanguy

► To cite this version:

Iuliia Arsenteva, Caroline Dubois, Philippe Le Goff, Sylvie Plantin, Ludovic Tanguy. Étude de l'accord dans des textes annotés sans consignes précises: le cas de la charge mentale dans des témoignages professionnels. Journées Internationales de Linguistique de Corpus, ICAR, Oct 2025, Lyon, France. hal-05386089

HAL Id: hal-05386089

https://hal.science/hal-05386089v1

Submitted on 27 Nov 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Étude de l'accord dans des textes annotés sans consignes précises : le cas de la charge mentale dans des témoignages professionnels

Iuliia Arsenteva ¹,², Caroline Dubois ¹, Philippe Le Goff ¹, Sylvie Plantin ¹ et Ludovic Tanguy ²

¹ Orange Innovation ² Laboratoire CLLE, CNRS - Université Toulouse 2

## Introduction

Les campagnes d'annotation linguistique de texte visent généralement l'application d'une grille spécifique en visant un consensus, même si plusieurs annotateurs participent à l'effort, en retenant au final les propositions majoritaires (Pustejovsky et al., 2017). De plus en plus, la communauté du Traitement Automatique du Langage remet en question cette méthode, suggérant de considérer la multiplicité des annotations, ou plus précisément la diversité des perspectives dans l'annotation, en les intégrant aux modèles lors de l'apprentissage. Cette approche, qui vise essentiellement les phénomènes sémantiques avec une forte subjectivité (opinion, sentiment, pragmatique...) porte le nom de perspectivisme et a été formulée par Cabitza et al. (2023). Le sujet soulève un ensemble de questions à la fois méthodologiques (Plank, 2022) et éthiques (Valette, 2024).

Malgré un intérêt croissant du public pour la notion de la charge mentale, il n'existe pas de définition consensuelle (Cain, 2007). Mais ce concept est très important dans le contexte de l'entreprise, car il est lié au bien-être des salariés. L'étude de ce concept peut contribuer à la qualité de vie au travail. Nous considérons ici que la notion de charge mentale est l'effort mental permettant d'anticiper et d'investir les ressources nécessaires, en fonction de la quantité disponible, pour la réalisation de la composante mentale de la tâche (Le Gonidec, 2022).

Ce travail s'inscrit dans un projet de recherche et développement dans une grande entreprise, qui vise à recueillir des messages issus de l'expression de salariés, et à partir de ceux-ci d'extraire des indicateurs psycho-sociaux, marqueurs de la relation aux autres, à l'entreprise, et notamment de la charge mentale.

Nous avons appliqué le principe du perspectivisme en le poussant un peu plus loin en utilisant une tâche d'annotation pour explorer les différentes façons dont est perçue et intégrée la notion de charge mentale dans ces messages écrits, par des utilisateurs (eux-mêmes salariés de l'entreprise) n'ayant pas d'expérience de l'annotation.

Plus techniquement, il s'agit ici de comparer les résultats des annotations d'un petit ensemble de textes et d'identifier les points de convergence et de différence. Ceci a aussi pour but de voir s'il existe pour ces utilisateurs un "socle" commun de connaissances sur le thème de la charge mentale, et d'en identifier des indicateurs.

## Corpus et méthodologie

### Corpus

Le corpus utilisé dans cette étude est constitué de données recueillies à l'aide d'un outil interne développé dans l'entreprise, qui permet aux salariés de partager leurs expériences, leurs idées et leurs pensées de façon spontanée et anonyme, autour d'une thématique donnée.

Pour cette étude, nous avons choisi 8 messages (entre 78 et 245 mots) issus de diverses campagnes portant sur des sujets tels que le retour d'expérience suite à un déménagement vers un nouveau site, ou un événement majeur de la vie de l'entreprise. Aucun des verbatims ne parle explicitement de la charge mentale de travail.

### Méthodologie

Pour notre expérimentation, nous avons recruté 28 personnes : 24 salariés de différents profils (managers, spécialistes de ressources humaines, et autres cadres) ainsi que 4 experts académiques de la charge mentale.

L'étude a été réalisée sous forme d'entretiens semi-directifs avec chaque participant (environ une heure trente) et consistait en deux phases. Dans la première phase, les participants devaient tout
d'abord donner leur propre définition de la *charge mentale*. À partir de cette définition, et pour la deuxième phase, les participants définissaient leur propre grille d'annotation avec l'aide des expérimentateurs en choisissant les étiquettes. La particularité de notre approche consiste dans le fait qu'aucun guide n'a été donné aux participants. Au contraire, ce sont eux qui devaient définir leurs propres étiquettes et les utiliser dans la tâche d'annotation. Les huit messages ont été présentés aux participants dans un ordre aléatoire. Les participants n'avaient pas accès aux annotations des autres, et ne se connaissaient pas.

La tâche d'annotation a été effectuée avec l'outil Doccano de Nakayama et al. (2018) avec l'assistance d'un expérimentateur (pour la mise en place et la configuration). En lisant un message, le participant-annotateur devait surligner (librement) les parties du texte qui révélaient pour lui une indication de la charge mentale de la personne s'étant exprimée dans le message, et attribuer à chaque segment une étiquette. L'annotation n'était pas limitée et participants pouvaient attribuer autant d'étiquettes qu'ils voulaient sur un seul segment.

La définition personnelle de la charge mentale par les participants, puis les étiquettes qu'ils ont définies, et les segments de message annotés constituent les informations principales que nous avons étudiées. D'autres informations (type de participant, durée d'annotation, etc..) seront aussi étudiées.

# Résultats

## Statistiques générales

Le nombre d'étiquettes utilisées varie de 5 à 15 avec une moyenne de 10 par participant. Au total, nous avons recueilli 197 étiquettes uniques pour 28 annotateurs. Ce grand nombre peut être expliqué par le fait que les annotateurs n'avaient pas de guide d'annotation et avaient la liberté de définir leurs propres étiquettes sans connaître les propositions des autres. Il s'est avéré que certaines étiquettes présentaient des similitudes, par exemple, *priorité* et *priorisation*. Toutefois, nous les avons jugées comme étant distinctes.

Parmi ces 197 étiquettes, 143 ont été proposées par un seul participant. À l'inverse, les étiquettes les plus souvent mentionnées sont *individu*, *temporalité* et *sens* qui ont été proposées 7, 6 et 5 fois respectivement. Cette similarité des étiquettes proposées par des utilisateurs a pu être expliquée par leur représentation proche du concept de charge mentale ainsi que par l'influence des textes à annoter.

Pour avoir une vision plus globale des dimensions considérées par les participants, nous avons utilisé un modèle d'IA générative, en l'occurrence Claude 3.5 (Anthropic, 2024), pour proposer un regroupement de toutes les étiquettes. Le prompt demande simplement un regroupement des 197 étiquettes sur la base de leur interprétation contextualisée, sans indication du nombre de clusters voulu. Le résultat est une liste de 14 thématiques présentée dans l'annexe A, avec une indication du nombre d'étiquettes correspondantes et du nombre d'annotateurs concernés. Par exemple, les étiquettes comme *échéance*, *urgence*, *temps*, *manque de temps* et *temporalité* ont été regroupées dans le cluster Temporalité. Dans ces 14 clusters, on trouve bien les grandes tendances de la charge mentale et notamment les dimensions qui apparaissent dans les travaux de Galy (2016) et Le Gonidec (2022) sur la charge mentale.

En revanche, les étiquettes ayant été proposées par les annotateurs eux-mêmes, il est possible que ceux-ci leur attribuent des définitions complètement différentes de l'un à l'autre, et donc employées pour décrire des éléments textuels différents.

## Segments les plus annotés

Si l'on regarde maintenant les segments de textes sélectionnés, en les considérant indépendamment des étiquettes attribuées, nous avons pu observer que les participants annotent entre 13 et 248 segments au total (69 en moyenne). Les segments eux-mêmes vont d'un seul caractère (un point d'interrogation pour annoter l'emphase) à 1144 caractères (soit l'intégralité d'un message) avec une longueur moyenne de 39 caractères. Cette fluctuation était prévisible du fait de l'absence de directives et de restrictions.

Nous avons regroupé les annotations en considérant, pour chaque élément du texte (au niveau du caractère), le nombre d'annotateurs différents qui l'ont inclus dans au moins un segment annoté (donc en ignorant à la fois les étiquettes et le fait qu'un même segment peut être annoté plusieurs fois par le même participant).
Il est possible d'obtenir une visualisation des segments les plus annotés dans chaque texte, comme dans la Figure 1. *Les segments sont montrés en bleu, les plus annotés étant les plus foncés et ceux très peu annotés plus clairs.*

> Bonjour et merci de nous inclure dans cette réflexion. Ce qui me frappe le plus dans l'organisation du partage d'information, c'est la lourdeur de la logistique et des règles. Il me semble que le partage d'informations doit d'abord bien se faire au niveau des sites, c'est à dire en proximité. Les équipes, grâce aux managers, conservent des réunions formelles, mais certains ne sont pas inclus, comme les Responsables de programme par exemple. Il me semble donc que des repas (cantine ou autre) /points de synchronisation, cafés, par sites physiques seraient utiles. Ils favoriseraient le tissage des liens sociaux, renforçant par là même la collaboration et le partage d'informations et d'idées. Ce serait un bon complément aux réunions plus formelles. Ce qui fait une équipe se passe souvent en-dehors des temps de travail...

<caption>FIGURE 1 – Exemple de texte avec marquage des zones annotées
Contexte : Collecte d'expériences sur le partage d'informations au sein de la Direction XX-XXX.</caption>

Pour une approche plus qualitative, nous avons cherché à délimiter les segments qui ont été le plus considérés par les annotateurs. En étudiant l'évolution de la taille et du nombre de segments en fonction du seuil, et en nous basant sur le point d'inflexion, nous avons fixé un seuil à 14. Au total, sur les 8 textes, 52 segments ont été annotés par au moins 14 annotateurs; la liste complète de ces segments est citée dans l'Annexe B.

Après une première analyse de ces segments, nous pouvons remarquer que le vocabulaire contenant des mots à connotation négative attirait le plus l'attention. Les annotateurs se sont concentrés sur les éléments de texte exprimant l'inconfort, l'accablement, la surcharge et la déconnexion, des thèmes étroitement associés à une charge mentale de travail accrue. Cet aspect sera plus précisément détaillé dans la présentation.

## Conclusion et futurs travaux

Cette première recherche a examiné les perceptions individuelles de la charge mentale de travail grâce à une méthode d'annotation incluant des participants de différents milieux professionnels. En donnant la possibilité aux annotateurs de créer leurs propres étiquettes et d'identifier sans contrainte des parties de texte, nous avons saisi un éventail de points de vue sur la charge mentale, et cela malgré la dispersion d'annotation et d'étiquettes (du fait que nous n'avions pas donné de consignes aux participants) et malgré la vision différente qu'ils peuvent avoir du concept de charge mentale. Comme supposé, les utilisateurs ont intégré un "socle" commun de connaissances sur le thème de la charge mentale dans le cadre de l'entreprise considérée, comme on peut le constater avec la liste des clusters en annexe A.

Nous avons voulu observer les étiquettes et les segments les plus annotés. Dans la suite du projet, nous allons aussi étudier les segments qui n'ont pas été annotés du tout par les utilisateurs. Ensuite, nous voudrions étudier plus les étiquettes et leurs relations avec les segments pour trouver les similarités maximale et minimale entre les mêmes étiquettes.

Comme nous avons enregistré toutes les passations, nous disposons de données très riches avec les définitions de la charge mentale, les reformulations, les explicitations et les commentaires lors de l'annotation. Nous allons pouvoir ainsi étudier les nuances des choix des étiquettes, la polysémie et observer les relations entre les groupes d'annotateurs et ses annotations. Nous prévoyons également de mener la deuxième phase d'expérimentation en recrutant davantage de participants avec des profils variés, non seulement au sein d'une même entreprise, mais aussi dans des autres entreprises. Pour compléter l'annotation avec un point de vue plus objectif nous allons aussi donner la même tâche d'annotation avec le même ensemble de données à des grands modèles de langue. Cela nous permettra d'intégrer les perspectives extérieures du contexte de l'entreprise et du domaine.

Dans le cadre d'un projet plus vaste, ces travaux nous servirons dans le développement d'un outil d'annotation automatique de la charge mentale de travail dans les messages de salariés. Cette nouvelle approche ouvre la voie à une meilleure compréhension des nuances linguistiques et culturelles qui influencent l'évaluation de la charge de travail mentale, tout en soulignant l'importance d'intégrer différentes perspectives pour enrichir les modèles d'analyse des données textuelles.
Bibliographie

Anthropic (2024). Claude 3.5 Sonnet.

Cabitza, F., Campagner, A., and Basile, V. (2023). Toward a perspectivist turn in ground truthing for predictive computing. In *Proceedings of the 37th AAAI Conference on Artificial Intelligence (AAAI 2023)*, pages 6860–6868.

Cain, B. (2007). A review of the mental workload literature. Technical Report RTO-TR-HFM-121-Part-II, Defence Research and Development Canada, Toronto.

Galy, E. (2016). Approche intégrative de la charge mentale de travail : une échelle d'évaluation basée sur le modèle ICA (Individu – Charge – Activité). In *Actes du 51e Congrès de la Société d'Ergonomie de Langue Française (SELF)*, Marseille, France.

Le Gonidec, N. (2022). *Conceptualiser et évaluer la charge mentale de salariés dans un contexte d'usage d'outils numériques : Le cas d'une entreprise de télécommunications*. PhD thesis, Université Côte d'Azur, France.

Nakayama, H., Kubo, T., Kamura, J., Taniguchi, Y., and Liang, X. (2018). Doccano : Text annotation tool for human. Software available from https://github.com/doccano/doccano.

Plank, B. (2022). The 'problem' of human label variation : On ground truth in data, modeling and evaluation. In *Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing*, pages 10671–10682. Association for Computational Linguistics.

Pustejovsky, J., Bunt, H., and Zaenen, A. (2017). Designing annotation schemes : From theory to model. *Handbook of Linguistic Annotation*, pages 21–72.

Valette, M. (2024). What does perspectivism mean ? an ethical and methodological countercriticism. In *Proceedings of the 3rd Workshop on Perspectivist Approaches to NLP (NLPerspectives)@ LREC-COLING 2024*, pages 111–115.
# Annexe

## A. Clusters définis par Claude avec le nombre d'étiquettes et le nombre d'utilisateurs

<table><thead><tr><td>Clusters</td><td>Annotateurs</td><td>Étiquettes</td></tr></thead><tbody><tr><td>Aspects Émotionnels et Psychologiques</td><td>18</td><td>24</td></tr><tr><td>Relations et Interactions</td><td>18</td><td>19</td></tr><tr><td>Charge de Travail</td><td>17</td><td>15</td></tr><tr><td>Environnement et Contexte</td><td>17</td><td>17</td></tr><tr><td>Temporalité</td><td>17</td><td>10</td></tr><tr><td>Organisation et Gestion</td><td>14</td><td>16</td></tr><tr><td>Aspects Cognitifs et Mentaux</td><td>13</td><td>16</td></tr><tr><td>Contraintes et Difficultés</td><td>13</td><td>15</td></tr><tr><td>Équilibre et Bien-être</td><td>13</td><td>14</td></tr><tr><td>Capacités et Compétences</td><td>11</td><td>11</td></tr><tr><td>Impact et Conséquences</td><td>11</td><td>12</td></tr><tr><td>Processus et Actions</td><td>9</td><td>11</td></tr><tr><td>Adaptation et Changement</td><td>8</td><td>9</td></tr><tr><td>Management et Reconnaissance</td><td>5</td><td>8</td></tr></tbody></table>

## B. Liste de segments annotés par au moins 14 personnes

'lourdeur de la logistique et des règles', 'ne sont pas inclus', 'points de synchronisation', 'tissage des liens sociaux', "collaboration et le partage d'informations et d'idées", 'en-dehors des temps de travail', 'on fait quoi maintenant', 'ne sais pas trop', 'peut-être dû réfléchir un peu', 'sens', 'un peu perdus', 'on ne sait pas vers où, ni pourquoi', 'malaise général', 'pas promus', 'absolument', 'garder autant', 'fallait-il pas simplifier', 'donner du sens', "dans les hiérarchies supérieures il n'y en a pas assez", 'numérique', 'les écrans ont raison de notre bien-être', 'Se reconnecter à la nature, à notre environnement, aux humains', 'moi', 'primordial', 'essentiel', 'revenir à des choses simples', 'reconnecter', 'non pas', 'des robots', 'nos émotions', 'réponse différente', 'tu as certainement un problème hormonal', 'gêne occasionnée', 'réponse différente', 'gêne', 'interrompre le travail', 'nous sommes très heureux', 'déshumanisé', 'perso', 'nauséabonde', 'très froid', 'heureuse', 'retrouver mes collègues', "perdu une part de la bonne humeur, de l'ambiance", 'échange convivial', 'informel', 'un mois avant le salon', 'et pas 3 jours avant', 'imposées', 'très importantes', 'surcharge de travail', 'laisser dans le flou'
Index

Arsenteva Iuliia (iuliia.arsenteva@orange.com), 1

Dubois Caroline (caroline.dubois@orange.com), 1

Le Goff Philippe (philippe2.legoff@orange.com), 1

Plantin Sylvie (sylvie.plantin@orange.com), 1

Tanguy Ludovic (ludovic.tanguy@univ-tlse2.fr), 1