# Le bruit dans la mesure de la composante cognitive de l'émotion pour l'évaluation de l'acceptabilité des innovations

Jonas Noblet

► To cite this version:

Jonas Noblet. Le bruit dans la mesure de la composante cognitive de l'émotion pour l'évaluation de l'acceptabilité des innovations. Corpus, 2025, 26, 10.4000/1364u.hal-04989549

HAL Id: hal-04989549

https://hal.science/hal-04989549v1

Submitted on 13 Mar 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Le bruit dans la mesure de la composante cognitive de l'émotion pour l'évaluation de l'acceptabilité des innovations

Jonas Noblet

<figure><img src="image_2.png" /></figure>

OpenEdition
Journals

**Electronic version**

URL: https://journals.openedition.org/corpus/9267

DOI: 10.4000/1364u

ISSN: 1765-3126

**Publisher**

Bases de corpus et langage - UMR 6039

Provided by Service Interétablissement de la Documentation SID2 Université Grenoble

<figure><img src="image_3.png" /></figure>

**Electronic reference**

Jonas Noblet, "Le bruit dans la mesure de la composante cognitive de l'émotion pour l'évaluation de l'acceptabilité des innovations", *Corpus* [Online], 26 | 2025, Online since 13 January 2025, connection on 13 March 2025. URL: http://journals.openedition.org/corpus/9267 ; DOI: https://doi.org/10.4000/1364u

This text was automatically generated on February 1, 2025.

The text and other elements (illustrations, imported files) are "All rights reserved", unless otherwise stated.
# Le bruit dans la mesure de la composante cognitive de l'émotion pour l'évaluation de l'acceptabilité des innovations

Jonas Noblet

## 1. Introduction

<footnote n="1">1. Depuis une quarantaine d'année¹, différents chercheurs se sont intéressés à la question de mesurer l'acceptabilité des innovations. La notion d'acceptabilité désigne l'usage potentiel d'une innovation telle que l'individu ciblé se la représente, avant les premières manipulations (Terrade et al. 2009) ; i. e., l'acceptabilité détermine à quel point les personnes ciblées par l'innovation se projettent dans son utilisation. Au fur et à mesure de l'avancée des travaux sur le sujet, la place des émotions a été mise de plus en plus en avant. D'abord faiblement prise en compte (Nielsen 1994, Venkatesh et al. 2003), la composante affective s'est vu attribuer un rôle clé par Kulviwat et al. (2007) dans la modélisation de l'acceptabilité.</footnote>

<footnote n="2">2. C'est dans la continuité de ces avancées qu'a été développée la méthode EMINOSA au sein de la société Ixiade et du LIP/PC2S². Cette méthode, dont nous proposons de faire l'étude, tire parti de la théorie multi-componentielle de l'émotion développée par Scherer et al. (2001) pour modéliser l'acceptabilité des innovations. À terme, EMINOSA vise à être intégrée aux prestations proposées par Ixiade, cabinet de conseil qui accompagne des entreprises tierces dans le développement de concepts (produits ou services) innovants. Les prestations, ou projets³, pour lesquelles l'application d'EMINOSA est envisagée se déroulent selon le protocole suivant : représentation du concept innovant par le biais d'une vidéo explicative, présentation de la vidéo au public ciblé (les évaluateurs), recueil des opinions via questions ouvertes, annotation des opinions et synthèse des résultats. Aujourd'hui, la problématique générale qui nous</footnote>
occupe est l'automatisation d'une partie de l'analyse selon la méthode EMINOSA, cette tâche étant chronophage et fastidieuse dans sa conception actuelle.

C'est dans ce contexte que nous en sommes venu à nous intéresser à la question du bruit dans l'annotation. Le bruit nuisible en particulier est défini comme « toute perturbation non désirée qui est soit nuisible, soit inutile, soit les deux à la fois : nuisible en ce qu'elle affecte le sens voulu du texte et/ou la performance du système de TAL ; et inutile en ce que son existence ne sert aucune fin »⁴ [traduction de notre part] (Al Sharou et al. 2021). Cette définition du bruit présuppose un objet porteur d'information, l'entrée (input), et un traitement qui lui est appliqué pour produire un résultat, la sortie (output). Par ailleurs, nous ajoutons que le bruit est une perturbation aléatoire, ce qui distingue cette notion de celle de biais, qui désigne une perturbation systématique et anticipable (Kahneman et al. 2021).

<figure><img src="image_4.png" /><figcaption>Figure 1. Le bruit dans la chaîne de traitement de l'analyse EMINOSA</figcaption></figure>

Dans notre cas, il est possible de concevoir le bruit à différents niveaux (voir Figure 1). Plusieurs points de référence peuvent constituer l'entrée à partir de laquelle on envisage des perturbations : les évaluations textuelles (rectangle C), les réactions brutes (les processus cognitifs provoqués par la confrontation avec le concept innovant, rectangle B), voire le concept lui-même avant sa représentation sous forme vidéo (rectangle A)⁵. Le bruit peut ainsi se situer à chaque étape de transition (flèches 1, 2 et 3) jusqu'à la sortie finale, les annotations selon la méthode EMINOSA. Le bruit est jugé en ce qu'il perturbe la déduction que l'on fait des émotions des évaluateurs et à plus large échelle, la déduction de l'acceptabilité des concepts innovants. Nous nous concentrons toutefois uniquement sur la juste modélisation des émotions et gardons pour de futurs travaux la validation de l'acceptabilité.

Notre travail se divise en trois temps : dans une première section nous présentons en détail la mesure EMINOSA et le corpus de projets évalués. Dans une deuxième section, nous décrivons un ensemble d'expériences pilotes à la lumière d'un premier critère de qualité, basé sur la cohérence des annotateurs. Ce critère et le modèle sur lequel il s'adosse aboutissent à l'invalidation d'une grande part des données collectées, ce qui nous conduit à le remettre en question. Dans une troisième partie nous exposons donc un modèle alternatif du jugement humain, qui nous permet de redéfinir la validité de nos annotations. De ce fait, nous replaçons le bruit dans un cadre où son influence est minorée, ce qui rend envisageable l'exploitation des annotations.
# 2. L'émotion en contexte industriel

## 2.1. EMINOSA – une mesure de l'émotion face aux innovations

6 La mesure EMINOSA a été originalement développée par Loeser (2019), dans le cadre de travaux de recherche réalisés au sein d'Ixiade et du LIP/PC2S. Cette mesure est inspirée du modèle multi-componentiel de l'émotion développé par Scherer et al. (2001). Ces auteurs définissent l'émotion comme « un épisode de changements, interdépendants et synchronisés, des états de tous ou de la plupart des cinq sous-systèmes de l'organisme, en réponse à l'évaluation d'un stimulus, externe ou interne, comme pertinent pour les occupations majeures de l'organisme »⁶ [traduction de notre part] (Sander et al. 2005). Selon le modèle multi-componentiel, l'émotion peut donc être caractérisée selon cinq composantes qui interagissent entre elles : cognitive, conative, subjective, expressive et physiologique. Pour mesurer l'émotion exprimée par les évaluateurs, EMINOSA s'appuie sur les composantes subjectives et cognitives⁷. C'est à cette dernière que l'on s'intéresse plus particulièrement (nous nommons plus loin $E_{cog}$ la modélisation de la composante cognitive par EMINOSA).

7 La composante $E_{cog}$ d'EMINOSA est elle-même décomposée en quatre dimensions :

• la Familiarité – le concept innovant testé évoque des choses connues et, par extension, son fonctionnement est bien compris;

• l'Agréabilité – indépendamment de l'Utilité, le concept est plaisant/attractif⁸;

• l'Utilité – le concept remplit une fonction ou améliore l'existant;

• la Légitimité – Le concept est en accord avec les valeurs personnelles/professionnelles.

8 Pour mesurer ces quatre dimensions, $E_{cog}$ propose de les reconnaître dans les productions textuelles des évaluateurs, via des annotateurs⁹ humains. Pour chacune des quatre dimensions, les annotateurs attribuent une valeur à chaque verbatim¹⁰ produit pour un concept donné :

• +1 si la dimension est présente positivement (pour l'Utilité par exemple, l'évaluateur exprime que le concept est utile);

• -1 si la dimension est présente négativement (le concept est inutile);

• 0 si la dimension est absente ou présente de manière ambigüe.

9 Pour l'Exemple (1), un annotateur aura tendance à associer la valeur +1 à l'Agréabilité (intuitif, facile d'utilisation), -1 à l'Utilité (ne résout pas le problème du poids), et 0 pour la Familiarité et la Légitimité.

(1) Cela semble très intuitif, facile d'utilisation mais cela ne résout pas le problème principal du poids.

## 2.2. Le corpus Yoomaneo – un corpus textuel pour observer l'émotion

10 Le corpus sur lequel se fonde le travail de recherche que nous présentons est le corpus Yoomaneo. Ce corpus est composé de messages écrits (posts) formulés par les évaluateurs, en réponse à des questions ouvertes portant sur des concepts innovants, via la plateforme Yoomaneo (Masson & Parmentier 2023).
11 Les questionnaires qui guident l'évaluation suivent généralement un déroulé standard, réadapté en fonction des concepts testés et des interrogations spécifiques des clients porteurs des projets. Les questions posées explorent la perception spontanée, la compréhension du concept, de son usage et de ses fonctions, l'adéquation aux valeurs et aux structures sociales. Toutes les questions demandent aux évaluateurs de rédiger un message pour répondre.

12 Le corpus Yoomaneo regroupe 2 446 *posts*, correspondant à 22 concepts testés, produits par 238 évaluateurs distincts. Pour l'annotation selon la méthode $E_{cog}$ décrite en sous-section 2.1, les *posts* sont divisés en verbatims ; le corpus compte au total 4 980 verbatims.

## 3. L'incohérence inéluctable de l'annotation des émotions

13 La méthode EMINOSA a été développée récemment et la mesure de la composante cognitive $E_{cog}$ n'a pas été testée en conditions d'annotation réelles, sur des verbatims issus de projets clients. C'est pourquoi nous avons mené plusieurs expériences pilotes qui nous ont permis, d'une part, de collecter des premiers résultats pour évaluer la qualité de la mesure et, d'autre part, de tester différentes configurations d'annotation. Plusieurs analystes¹¹ d'Ixiade ont contribué en tant qu'annotateurs pour les différentes études pilotes.

14 Pour valider la qualité des annotations, nous ne pouvons pas recourir à une « vérité terrain » puisque nous n'avons pas accès aux émotions des évaluateurs pour les projets passés dont nous faisons annoter les verbatims. Une manière de contourner le problème est de recourir au jugement de plusieurs annotateurs, puis de tester la cohérence des annotations produites (Artstein & Poesio 2008). Si les annotations sont fiables, les annotateurs d'accord entre eux, alors nous pouvons concevoir une forme de vérité sous-jacente. Pour tester la fiabilité des jugements nous mesurons l'accord inter-annotateurs, pour chaque verbatim et dimension $d'E_{cog}$. Par là, nous admettons l'existence d'une valeur de référence, qui correspond à l'annotation majoritaire. Symétriquement, nous estimons la quantité de bruit en fonction du taux de désaccord dans les annotations (ibid. ; Kahneman et al. 2021).

15 Pour chacune des études pilotes, nous avons mesuré l'accord inter-annotateurs à l'aide de l'alpha de Krippendorff (noté $\alpha$ ; Krippendorff 2011) que nous avons adapté à $E_{cog}$ (Noblet 2023). Pour cette mesure, un alpha d'au moins 0,66 est généralement attendu pour valider la cohérence des données. L'ensemble des résultats est consigné dans le Tableau 1.

16 **Première étude** : Les verbatims correspondant à deux projets ont été annotés. Le premier projet comptait 170 verbatims annotés par 3 analystes et le second projet 212 verbatims annotés par 4. Pour cette première étude, la mesure de l'accord inter-annotateurs a révélé un score faible pour l'Utilité ($\alpha$ < 0,6) et très faible ($\alpha$ < 0,4) pour les 3 autres dimensions.

17 **Deuxième étude** : Dans le but d'améliorer l'accord entre les annotateurs, nous avons conçu un guide d'annotation en collaboration avec les analystes eux-mêmes. Ces derniers ont été consultés individuellement et collectivement sur leurs pratiques
d'annotations et les éléments qu'il leur semblait pertinent de relever. Le guide décrivait plus en détail les définitions de chaque dimension et donnait des exemples pour illustrer certains des contextes d'annotation possibles.

18 Nous avons ensuite entrepris une deuxième campagne d'annotation : nous avons proposé d'annoter un unique projet comptant 229 verbatims et 7 analystes ont participé à l'étude. Le guide et les différentes concertations collectives pouvaient justifier d'une amélioration des résultats. Néanmoins, l'accord inter-annotateurs s'est révélé encore trop faible pour valider la mesure.

19 **Troisième étude** : Nous avons développé un concept innovant fictif pour pouvoir tester un questionnaire mieux adapté à la mesure $E_{\text{cog}}$. Le concept imaginé était un siège ergonomique pouvant prévenir les maux de dos. Le nouveau questionnaire a été formulé de sorte à favoriser l'émergence des dimensions d'{$E_{\text{cog}}$ dans le discours des évaluateurs}^{12}. Pour cette troisième étude, 262 verbatims annotés ont été étiquetés par 7 annotateurs.

20 Même si les résultats semblent positifs (nous constatons une amélioration de l'accord pour l'Agréabilité, l'Utilité et la Légitimité), il est difficile d'attribuer cette amélioration au seul questionnaire. La nature du projet - factice et à destination du grand public - peut également expliquer les résultats observés. Par ailleurs, la mise en place d'un questionnaire adapté ne peut pas s'appliquer aux projets passés, ce qui limite notre capacité à tester cette configuration d'étude.

21 **Quatrième étude** : Une dernière expérience d'annotation a été menée sans le questionnaire, 191 verbatims ont été annotés par 7 personnes. En comparaison de l'étude précédente, les résultats d'accord inter-annotateurs baissent ou stagnent pour l'ensemble des catégories.

<table><caption>Tableau 1. Alpha de Krippendorff des dimensions d'{$E_{\text{cog}}$ pour chacune des études pilotes</caption><thead><tr><th>Études</th><th>Familiarité</th><th>Agréabilité</th><th>Utilité</th><th>Légitimité</th></tr></thead><tbody><tr><td>Étude 1</td><td>0,31</td><td>0,34</td><td>0,44</td><td>0,33</td></tr><tr><td>Étude 2</td><td>0,28</td><td>0,16</td><td>0,55</td><td>0,35</td></tr><tr><td>Étude 3</td><td>0,32</td><td>0,44</td><td>0,63</td><td>0,61</td></tr><tr><td>Étude 4</td><td>0,33</td><td>0,10</td><td>0,45</td><td>0,56</td></tr></tbody></table>

22 De manière générale, les scores d'accord sont faibles voire très faibles et la question du statut même de mesure scientifiquement valide d'{$E_{\text{cog}}$ pourrait se poser, tant les annotations paraissent incohérentes. L'ensemble des études montre des résultats hétéroclites, d'un projet à l'autre et pour chaque dimension. La Familiarité obtient un score d'accord inter-annotateurs très faible, qui varie peu indépendamment du concept évalué ou du contexte expérimental. La dimension Utilité varie en accord (on observe une amplitude de 19 points entre l'accord le plus élevé et le plus faible) mais obtient le meilleur score quelle que soit l'étude prise en compte. Les dimensions d'Agréabilité et de Légitimité ont des accords très variables (respectivement 34 points et 28 points d'amplitude), la seconde dimension étant en moyenne mieux annotée que la première. En dehors du questionnaire conçu pour la 3e étude, qui semble avoir eu un impact positif, peu d'explications en apparence justifient la variation que nous observons,
sinon les différences inhérentes aux projets (concepts innovants testés, types d'évaluateurs).

23 Dans la littérature, la tâche d'annoter l'émotion dans le texte a été réalisée à plusieurs occasions. Néanmoins, les expériences menées donnent lieu à des résultats hétérogènes : les accords inter-annotateurs différent grandement selon le type de texte étudié (conte pour enfant, Alm et al. 2005 ; titres de journaux, Strapparava & Mihalcea 2007 ; poèmes, Haider et al. 2020), l'émotion annotée (joie, surprise, colère ou autre) et la mesure d'accord utilisée. Il est donc difficile d'identifier une cause précise aux faibles valeurs d'accord que nous avons nous-même obtenu.

## 4. Des jugements valides malgré le désaccord

24 Pour expliquer le désaccord apparent dans l'annotation des dimensions d'E<sub>cog</sub>, remarquons en premier lieu que la valeur 0 a un statut particulier. En effet, cette valeur est associée à l'absence d'expression de la dimension considérée. En cela les dimensions d'E<sub>cog</sub> peuvent être comparées à la mesure du poids d'un objet : le 0 indique, plus souvent qu'un poids nul, l'absence d'objet sur l'instrument de mesure.

25 Il est donc possible de concevoir la tâche d'annotation comme un processus en deux étapes, pour lesquelles nous pouvons mesurer l'accord inter-annotateur séparément :

* Une première étape d'évaluation de la pertinence – l'une des dimensions est-elle exprimée dans le verbatim que l'on considère ? Pour mesurer l'accord, nous considérons les valeurs -1 et +1 comme étant similaires, en remplaçant les valeurs d'annotation par leur valeur absolue.

* Une seconde étape d'évaluation de la polarité – la dimension est-elle exprimée positivement ou négativement ? Pour mesurer l'accord nous retirons les annotations 0 et évaluons l'accord entre les seules valeurs +1 et -1.

26 Nous présentons l'accord global pour l'ensemble des expériences pilotes ainsi que les accords pour les deux sous-tâches d'évaluation de la pertinence et de la polarité dans le Tableau 2. Nous observons que l'accord pour la tâche de polarité est bon (α = 0,65 pour la Familiarité) voire très bon (α > 0,8 pour les autres dimensions). Le désaccord relève essentiellement du critère de pertinence (propre à chaque évaluateur) qui détermine quel verbatim contient ou ne contient pas l'expression d'une des dimensions d'E<sub>cog</sub>. Ainsi, on constate que le désaccord sur la pertinence est très proche du désaccord global¹³.

<table><caption>Tableau 2. Accord inter-annotateurs pour les dimensions d'E<sub>cog</sub>, sur l'ensemble des expériences pilotes, suivant différentes modalités de mesure</caption><thead><tr><td>Modalité</td><td>Familiarité</td><td>Agréabilité</td><td>Utilité</td><td>Légitimité</td></tr></thead><tbody><tr><td>Global</td><td>0,32</td><td>0,37</td><td>0,53</td><td>0,47</td></tr><tr><td>Pertinence</td><td>0,35</td><td>0,36</td><td>0,50</td><td>0,48</td></tr><tr><td>Polarité</td><td>0,65</td><td>0,95</td><td>0,89</td><td>0,81</td></tr></tbody></table>

27 Se pose alors toujours la question, comment traiter et expliquer le désaccord entre les jugements de pertinence, synonyme de bruit ? Toutefois, peut-on employer le terme
bruit quand la variabilité est inhérente au phénomène étudié ? Dans la situation de l'annotation de l'émotion, il est légitime de se demander si la diversité des pratiques d'annotation n'est pas intrinsèquement liée à l'objet d'étude lui-même.

Pour décrire les données en tenant compte de leur variabilité intrinsèque, nous émettons l'hypothèse qu'il existe un modèle probabiliste sous-jacent qui gouverne les pratiques d'annotation ; les annotations $E_{\text{cog}}$, bien qu'aléatoires, suivraient des tendances statistiques explicables. Ainsi, chaque annotateur peut avoir un jugement différent de celui des autres sans nécessairement que cela soit dû au bruit. Pour chaque verbatim et dimension, nous présupposons une variable aléatoire discrète X qui associe à chaque valeur possible $v \in \{-1;0;+1\}$ une probabilité $p_v$ d'être annotée. La juste représentation d'un verbatim est cette variable aléatoire et non plus, comme précédemment, une unique valeur de référence.

Pour tester la validité des annotations, ne pouvant recourir aux données elles-mêmes, nous utilisons un critère externe : le lien entre annotations et phénomènes linguistiques observables dans les verbatims. Nous hiérarchisons les verbatims en les regroupant selon la valeur moyenne¹⁴ annotée par l'ensemble des annotateurs, pour chacune des dimensions. Plus la valeur moyenne est proche de 1, plus la proportion d'annotateurs à avoir étiqueté positivement la dimension est grande. Nous considérons ensuite les verbatims correspondant à différents niveaux de valeur moyenne. En première approche, nous cherchons à identifier, pour chaque niveau et dimension, des critères linguistiques apparents qui restent valides indépendamment du projet pris en compte.

À cette fin, une nouvelle campagne d'annotation a été lancée : 21 des 22 projets du corpus Yoomaneo ont été annotés par 6 annotateurs, externes à Ixiade (nous notons Yoom₂₁ le corpus annoté). Quelques-uns des verbatims issus de l'un des projets sont retranscrits dans les Tableaux 4, 5 et 6, respectivement pour les dimensions d'Utilité, Légitimité et Agréabilité. Nous rapportons les verbatims dans leur forme originale, sans aucune correction. Pour des raisons de confidentialité, le projet choisi est basé sur un concept factice (comme pour la 3ᵉ étude pilote), qui porte sur un vêtement de sport connecté. Pour comparaison avec les études précédentes, nous présentons dans le Tableau 3 l'accord inter-annotateurs pour le sous-corpus Yoom₂₁ ainsi que le projet pris pour exemple.

<table><caption>Tableau 3. Accord inter-annotateurs pour les dimensions d'E<sub>cog</sub>, sur un projet de vêtement connecté (noté Projet VC) et pour le sous-corpus Yoom₂₁</caption><thead><tr><th>Sous-corpus</th><th>Familiarité</th><th>Agréabilité</th><th>Utilité</th><th>Légitimité</th></tr></thead><tbody><tr><td>Yoom<sub>21</sub></td><td>0,25</td><td>0,32</td><td>0,53</td><td>0,38</td></tr><tr><td>Projet VC</td><td>0,32</td><td>0,18</td><td>0,62</td><td>0,44</td></tr></tbody></table>

<table><caption>Tableau 4. Exemples correspondant à différents niveaux d'Utilité moyenne positive</caption><thead><tr><th>N°</th><th>Utilité</th><th>Exemples</th></tr></thead><tbody><tr><td>1</td><td>1,00<br>(6/6)</td><td>J'utiliserais cette solution afin de me motiver à faire des activités sportives au quotidien, ou à des moments où la fatigue accentue mes douleurs musculaires.</td></tr></tbody></table>
<table><caption>Tableau 5. Exemples correspondant à différents niveaux de Légitimité moyenne positive</caption><tr><td>2</td><td>0,83<br>(5/6)</td><td>Au travail, en position assise pour m'alerter de ma mauvaise posture et m'encourager à l'améliorer.</td></tr><tr><td>3</td><td>0,67<br>(4/6)</td><td>La fonction 1 : car ce la va permettre de répondre à un problème bien précis.</td></tr><tr><td>4</td><td>0,50<br>(3/6)</td><td>Je pense que c'est utile de façon exceptionnelle et non régulière pour les personnes qui ont des douleurs et qui aimeraient savoir pourquoi.</td></tr><tr><td>5</td><td>0,33<br>(2/6)</td><td>Le produit me donne envie envie d'en savoir plus.</td></tr><tr><td>6</td><td>0,17<br>(1/6)</td><td>Innovante, technologique, confort.</td></tr></table>

<table><thead><tr><td>N°</td><td>Utilité</td><td>Exemples</td></tr></thead><tbody><tr><td>7</td><td>1,00<br>(6/6)</td><td>Cette solution s'appuie sur une approche "objet connecté", clairement dans l'air du temps.</td></tr><tr><td>8</td><td>0,83<br>(5/6)</td><td>De plus, si ce produit peut se décliner pour corriger nos postures au quotidien même au travail, cela répond au souci de préservation de sa santé sur le long-termes.</td></tr><tr><td>9</td><td>0,67<br>(4/6)</td><td>On est en plein dans les objects connectés du futurs, reliés complètement à nos smartphones (ce n'est pas un mal).</td></tr><tr><td>10</td><td>0,50<br>(3/6)</td><td>Iot, bien être, sport à la maison.</td></tr><tr><td>11</td><td>0,33<br>(2/6)</td><td>Préventif : permet de soigner mais aussi d'anticiper les douleurs.</td></tr><tr><td>12</td><td>0,17<br>(1/6)</td><td>Repond a un besoin, propose une solution complete, suscite l'interet.</td></tr></tbody></table>

31 Le sujet de cette communication ne se prête pas à une étude approfondie des caractéristiques de chaque niveau de valeur moyenne, défini par dimension et polarité. Nous présentons seulement certains des éléments, qui feront l'objet d'une étude plus poussée à venir, permettant d'argumenter en faveur de la validité des annotations.

32 Les verbatims annotés par une grande majorité des annotateurs sont caractérisés par un lexique explicitement associé aux dimensions. Pour l'Utilité par exemple, des verbes comme permettre, faciliter, gagner ou éviter constituent souvent le noyau verbal des verbatims. Beaucoup sont aussi construits avec un prédicat nominal : on retrouve donc plusieurs adjectifs récurrents comme pratique, efficace ou utile pour compléter la tête. Des connecteurs comme les conjonctions car ou afin de (Tableau 4, Exemple 1) sont également fréquemment utilisés. La Légitimité est associée à des termes comme tendance actuelle, en phase, santé, écologique ou futuriste.

<table><caption>Tableau 6. Exemples correspondant à différents niveaux d'Agréabilité moyenne positive</caption><thead><tr><td>N°</td><td>Utilité</td><td>Exemples</td></tr></thead></table>
<table><tr><td>13</td><td>0,83 (5/6)</td><td>Il a aussi l'air plutôt discret donc on peut le porter dans beaucoup de situations.</td></tr><tr><td>14</td><td>0,67 (4/6)</td><td>Solution simple, à priori facile d'utilisation.</td></tr><tr><td>15</td><td>0,50 (3/6)</td><td>Adaptative, intelligente et pratique.</td></tr><tr><td>16</td><td>0,33 (2/6)</td><td>Repond a un besoin, propose une solution complete, suscite l'interet.</td></tr><tr><td>17</td><td>0,17 (1/6)</td><td>Pour moi qui ne suis pas une grande sportive, ce type d'innovation pourrait être source de motivation dans mon quotidien.</td></tr></table>

Par ailleurs, en dehors du lexique, des structures *modalisatrices*, signalant le degré d'adhésion du sujet d'énonciation aux contenus énoncés¹⁵, semblent jouer un rôle dans l'annotation des dimensions d'E<sub>cog</sub>. En effet, plus l'évaluateur qui s'exprime se met en retrait de son propos, plus la valeur moyenne annotée est basse. Des exemples de structures modalisatrices sont *Je pense que* (Tableau 4, Exemple 4), *a priori* (Tableau 6, Exemple 14) ou *Pour moi qui ne suis pas une grande sportive* (Tableau 6, Exemple 17).

Enfin, en dernière observation, notons que plus un verbatim est générique moins il sera annoté. Le caractère générique peut se manifester par une structure syntaxique simplifiée, sous la forme d'énumérations ou de juxtapositions (voir Tableau 4, Exemple 6 ; Tableau 5, Exemple 10), ou un vocabulaire non spécifique (*innovant*, *technologique* – Tableau 4, Exemple 6 ; suscite l'interet – Tableau 5, Exemple 12).

Un faisceau d'indices linguistiques semble donc expliquer la valeur d'annotation moyenne. En extrapolant, l'existence de tendances statistiques, qui orientent l'annotation EMINOSA et déterminent par le contenu linguistique des verbatims, semble fondée. Malgré ces signes encourageants, il reste nécessaire de confirmer ces observations par une étude longitudinale de plus grande échelle.

Dans ce cadre, quel statut donnons-nous au bruit ? Le bruit est, comme dit précédemment, une perturbation mais qui nuit cette fois à la juste estimation de la variable aléatoire sous-jacente. Dans cette nouvelle conception du bruit, il n'est plus possible de distinguer les annotations bruitées des annotations non bruitées, dans la mesure où la variabilité fait partie intégrante de la réalité que l'on cherche à approcher. Une solution à ce bruit-là est la multiplication des annotations qui, par la loi des grands nombres, permet de saisir la diversité des réactions émotionnelles en rendant négligeables les perturbations ponctuelles.

## 5. Discussion et conclusion

Dans cet article nous avons interrogé la question du bruit dans l'annotation de la composante cognitive d'EMINOSA, une méthode d'évaluation de l'acceptabilité des innovations. Dans un premier temps nous avons défini et mesuré la part de bruit dans les données à partir de l'accord inter-annotateur. Cette approche éprouvée par une série d'expériences pilotes a conduit à discréditer une grande part des annotations qui ont présenté des scores d'accord faibles. En réponse, nous avons présenté une approche alternative : nous proposons de modéliser les annotations sous la forme d'un modèle
probabiliste qui endosse la variabilité des données produites. Par ce biais, il devient néanmoins difficile d'estimer la proportion d'annotations bruitées, qui se confondent avec celles valides. Pour défendre la validité du modèle probabiliste que nous mettons en avant, nous avons menées une courte étude des verbatims annotés. Cette étude a visé à évaluer succinctement la présence de marqueurs linguistiques qui pourraient expliquer les tendances d'annotations.

38

Trois axes de recherche sont envisagés dans la prolongation des travaux de recherche que nous avons présentés. Le premier est l'extension de l'étude linguistique menée pour confirmer le bien-fondé de l'approche probabiliste. En parallèle, le second axe de réflexion porte sur la détermination du modèle statistique sous-jacent, propre à décrire les données traitées étant donné leurs caractéristiques. Enfin le dernier axe, qui constitue la finalité du projet de recherche dans lequel s'inscrit cette communication, est le développement d'un modèle computationnel pour automatiser le processus d'annotation. Il sera alors nécessaire de bien restituer la variabilité des annotations telle que nous l'aurons observée, dans la mesure où celle-ci sera corroborée par nos observations.

BIBLIOGRAPHY

Al Sharou K., Li Z. & Specia L. (2021). « Towards a Better Understanding of Noise in Natural Language Processing », in Mitkov R. & Angelova G. (éd.) *Proceedings of the International Conference on Recent Advances in Natural Language Processing* (RANLP 2021), 53-62. INCOMA Ltd. https://aclanthology.org/2021.ranlp-1.7.

Alm C. O., Roth D. & Sproat R. (2005). « Emotions from text : Machine learning for text-based emotion prediction », *Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing*, 579-586. https://doi.org/10.3115/1220575.1220648.

Antonova I. (à paraitre). *Pratiques, méthodes et enjeux sociétaux dans la conception d'interfaces interactives d'innovation intégrant la question des affects*, Thèse en préparation, Université Grenoble Alpes. https://theses.fr/348840.

Artstein R. & Poesio M. (2008). « Survey Article: Inter-Coder Agreement for Computational Linguistics », *Computational Linguistics* 34(4): 555-596. https://doi.org/10.1162/coli.07-034-R2.

Davis F. D. (1985). *A technology acceptance model for empirically testing new end-user information systems : Theory and results*, Thèse, Massachusetts Institute of Technology. https://dspace.mit.edu/handle/1721.1/15192.

de Jager S. (2023). « Semantic Noise and Conceptual Stagnation in Natural Language Processing », *Angelaki* 28(3): 111-132. https://doi.org/10.1080/0969725X.2023.2216555.

Haider T., Eger S., Kim E., Klinger R. & Menninghaus W. (2020). « PO-EMO : Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry », in Calzolari N., Béchet F., Blache P. et al. (éd.) *Proceedings of the Twelfth Language Resources and Evaluation Conference*. European Language Resources Association, 1652-1663. https://aclanthology.org/2020.lrec-1.205.
Kahneman D., Sibony O. & Sunstein C. R. (2021). *Noise: A Flaw in Human Judgment*. Hachette UK.

Kerbrat-Orecchioni C. (2009). *L'énonciation: De la subjectivité dans le langage*. Paris: Armand Colin.

Krippendorff K. (2011). « Computing Krippendorff's Alpha-Reliability », *Departmental Papers (ASC)*. https://repository.upenn.edu/asc_papers/43.

Kulviwat S., Bruner II G. C., Kumar A., Nasco S. A. & Clark T. (2007). « Toward a unified theory of consumer acceptance technology », *Psychology & Marketing* 24(12): 1059-1084. https://doi.org/10.1002/mam.20196.

Loeser F. (2019). *Modélisation probabiliste de l'influence des émotions sur l'acceptabilité des innovations*, Université Grenoble Alpes (ComUE). https://www.theses.fr/2019GREAH003.

Masson Z. & Parmentier G. (2023). « Innover avec une communauté en ligne : Les cas de Yoomaneo et d'EDF Pulse and You », in Ruiz É. (éd.) *Les capacités créatives des organisations ouvertes* (vol. 2 : 163-191). ISTE Editions. https://www.istegroup.com/fr/produit/les-capacites-creatives-des-organisations-ouvertes/.

Nielsen J. (1994). *Usability Engineering*. Amsterdam: Morgan Kaufmann.

Noblet J. (2023, juillet). *Mesurer l'accord inter-juge avec l'Alpha de Krippendorff: Une étude des fonctions de différence*. Laboratoire LIDILEM (UGA). https://hal.science/hal-04194831.

Sander D., Grandjean D. & Scherer K. R. (2005). « A systems approach to appraisal mechanisms in emotion », *Neural Networks* 18(4): 317-352. https://doi.org/10.1016/j.neunet.2005.03.001.

Scherer K. R., Schorr A. & Johnstone T. (2001). *Appraisal Processes in Emotion: Theory, Methods, Research*. Oxford: Oxford University Press.

Strapparava C. & Mihalcea R. (2007). « SemEval-2007 task 14: Affective text », *Proceedings of the 4th International Workshop on Semantic Evaluations*, 70-74.

Terrade F., Pasquier H., Reerinck-Boulanger J., Guingouain G. & Somat A. (2009). « L'acceptabilité sociale : La prise en compte des déterminants sociaux dans l'analyse de l'acceptabilité des systèmes technologiques », *Le travail humain* 72(4): 383-395. https://doi.org/10.3917/th.724.0383.

Venkatesh V., Morris M. G., Davis G. B. & Davis F. D. (2003). « User Acceptance of Information Technology : Toward a Unified View », *MIS Quarterly* 27(3): 425-478. https://doi.org/10.2307/30036540.

## NOTES

1. Historiquement, l'un des premiers modèles de l'acceptabilité a été le *Technology Acceptance Model* (Davis 1985).

2. Laboratoire Inter-universitaire de Psychologie. Personnalité, Cognition, Changement Social.

3. Nous réservons le terme projet pour désigner spécifiquement les études de test de concepts innovants conduites par Ixiade. Chaque projet est associé à un concept innovant, porté par un client donné.

4. We define harmful noise as any unwanted disturbances that are either harmful or useless or both: *Harmful in that it affects the intended meaning of the text and/or the performance of the NLP system; and useless in that their existence does not serve a purpose*.

5. Des travaux menés par Antonova (à paraitre) portent notamment sur la manière dont le mode de représentation du concept innovant peut affecter et perturber les réactions des évaluateurs.
6. An episode of interrelated, synchronized changes in the states of all or most of the five organismic subsystems in response to the evaluation of an external or internal stimulus event as relevant to major concerns of the organism.

7. En termes simples, la composante cognitive assure l'évaluation des nouveaux stimuli. Elle répond à des problématiques comme « À quel point un nouveau stimulus me concerne ? », « Quels en sont les conséquences pour moi ? pour les autres ? » ou « À quel point suis-je capable d'y faire face ? ». La composante subjective est la partie consciente des émotions. On lui attribue la fonction de surveillance des états internes et de contrôle des interactions entre le sujet et l'environnement.

8. Cette définition inclut les propriétés ergonomiques et la facilité/difficulté d'utilisation.

9. Nous distinguons les termes évaluateurs – individus qui évaluent les concepts innovants et répondent aux questionnaires – et annotateurs – personnes qui étiquettent les productions textuelles des évaluateurs.

10. Segment de texte, généralement de la taille d'une phrase.

11. Nous nommons analystes les employés d'Ixiade qui contribuent à la réalisation des projets. Pour l'ensemble des études pilotes, les annotateurs sont exclusivement des analystes.

12. Pour bien clarifier la démarche : 1) Un concept innovant fictif est imaginé ; 2) des évaluateurs expriment leur avis à propos du concept fictif via un nouveau questionnaire ; 3) des annotateurs identifient dans les réponses des évaluateurs les catégories E<sub>cog</sub>.

13. Le désaccord sur la pertinence est inférieur au désaccord global pour certaines des dimensions. Ceci est dû à la méthode de calcul de l'alpha de Krippendorff qui compare le désaccord observé et le désaccord attendu comme fruit du hasard. En réduisant le nombre de valeurs possibles, en passant à la valeur absolue ou en retirant les 0, le désaccord observé est mécaniquement réduit mais le désaccord attendu lui aussi diminue.

14. Même si la valeur moyenne n'est pas propre à représenter toutes les distributions, notamment les distributions asymétriques et multimodales, nous l'utilisons comme approximation de la valeur vers laquelle tendent les annotations.

15. Kerbrat-Orecchioni (2009) emploie l'expression « adverbes modalisateurs » pour désigner les adverbes qui remplissent cette fonction.

ABSTRACTS

This article explores the notion of noise in emotion annotation, within the context of measuring the acceptability of innovations. For the task under study, using annotator disagreement as a measure of noise tends to overestimate its presence in the data. An alternative approach is proposed, which involves modeling the annotation process through a probabilistic model. This method accounts for the variability in annotations, though it does limit the ability to accurately assess the noise component.

Nous présentons dans cet article un travail orienté autour de la notion de bruit dans l'annotation de l'émotion, dans le cadre d'une mesure de l'acceptabilité des innovations. Nous mettons en lumière, pour la tâche d'annotation étudiée, qu'utiliser le désaccord entre annotateurs comme mesure du bruit conduit à surestimer la part de celui-ci dans les données. Une approche alternative que nous proposons consiste à modéliser le processus d'annotation via un modèle
probabiliste. De cette manière, nous prenons en charge la variabilité des annotations, en nous
privant toutefois d'un moyen d'évaluer précisément la part bruitée.

INDEX

**Mots-clés:** émotion, bruit, annotation, accord inter-annotateurs, traitement automatique du langage

**Keywords:** emotion, noise, annotation, inter-rater agreement, natural language processing

AUTHOR

JONAS NOBLET

LIDILEM, Université Grenoble Alpes

Société Ixiade, Grenoble