Repérage et caractérisation automatique des émotions dans des textes : traiter aussi leurs modes d’expression indirects (2024)

Abstract: Cet article présente un modèle capable de prédire (A) si une phrase contient l’expression d’une émotion, (B) selon quel(s) mode(s) cette émotion est exprimée, (C) si elle est basique ou complexe, et (D) quelle est sa catégorie exacte. Notre principale contribution est d’intégrer le fait qu’une émotion puisse s’exprimer selon différents modes : depuis un mode direct, essentiellement lexicalisé, jusqu’à un mode plus indirect, où des émotions vont être seulement suggérées, mode dont les approches en TAL ne tiennent généralement pas compte. Nos expériences sur des textes en français pour les enfants mènent à des résultats tout à fait acceptables en comparaison de ce sur quoi des annotateurs humains experts en psycholinguistique s’accordent et à des résultats meilleurs que ceux produits par GPT-3.5 via du prompting. Ceci offre une perspective intéressante de prise en compte des émotions comme facteur d’analyse automatique de la complexité dans les textes, cadre plus général de nos travaux.

## introduction en traitement automatique des langues (tal), la tâche de repérage des émotions est assez souvent abordée à propos de textes produits dans un cadre d'interactions ou conversations (par ex. @xcite ), orales comme écrites (chats, forums, tweets) avec des jeux de données souvent multimodaux (par ex. @xcite @xcite . la visée est généralement de pouvoir identifier les émotions ressenties par les locuteurs en situation dialogique. l'analyse des émotions dans des textes autres que de type conversationnel, comme par exemple des textes journalistiques et encyclopédiques ou encore des romans est un domaine moins développé en tal. elle relève de fait d'un autre type de visée qui n'est plus celui de caractériser l'état émotionnel du locuteur mais plutôt des personnages qui composent ces textes. comme le soulignent certains travaux en psycholinguistique, les émotions sont dédiées dans ces types de textes -de manière plus ou moins contrôlée par le scripteur -à capter l'attention du lecteur. elles permettent en outre de créer du lien entre les situations décrites et donc sont un facteur clé dans la compréhension (par ex. pour les enfants dans @xcite . encore faut il que ces émotions elles-mêmes soient identifiées et comprises. là se joue une question qui devient alors celle d'envisager les émotions comme un facteur de complexité, au moins relative pour reprendre la terminologie @xcite , c'est-à-dire qui tient compte de la difficulté perçue par les locuteurs en termes d'apprentissage ou de compréhension de la langue. un texte sera ainsi d'autant plus complexe qu'il contient d'émotions considérées comme complexes par un type de locuteur donné. dans le cas d'enfants par exemple, on sait que certaines catégories émotionnelles ne sont pas accessibles avant un certain âge et que leur mode d'expression (direct vs. indirect ou implicite) joue également un rôle dans l'accessibilité à leur signification. de ces réflexions sur la question des émotions comme facteur de complexité, nous avons choisi d'orienter nos travaux vers une meilleure prise en compte de la diversité des modes d'expression des émotions. nous présentons un modèle qui introduit ainsi la notion de mode d'expression en plus des informations habituelles sur les catégories émotionnelles (par ex., joie, peur, etc.). en pratique, le modèle classe les émotions dans les textes à travers quatre tâches : (a) prédire si une phrase contient ou non une émotion ; (b) si oui, comment elle est exprimée (le mode) ; (c) s'il s'agit d'une catégorie d'émotion basique ou complexe ; et (d) dans quelle catégorie émotionnelle elle se situe. le modèle est construit à partir du modèle camembert @xcite et de données dérivées d'un schéma d'annotation psycho-linguistiquement motivé comprenant différents types de sources. l'évaluation montre que le modèle proposé surpasse des approches fondées sur des resources expertes, des architectures non neuronales (svm et xgboost), et de l'inférence en-contexte (in-context learning d'un grand modèle de langue (gpt-3.5). de plus, l'évaluation humaine menée en complément montre que les erreurs de prédiction faites par le modèle proposé se situent généralement dans les mêmes proportions que celles faites par les humains. dans la suite, la section 2 dresse une panorama de la littérature dédiée à l'identification des émotions dans les textes, notamment en tal. les sections 3, 4 et 5 détaillent respectivement les tâches traitées, les données associées, puis le modèle proposé. la section 6 rapporte enfin les expériences et résultats. ## cadre d'analyse des émotions et travaux connexes cette section fournit un bref aperçu du cadre d'analyse des émotions dans lequel nous nous situons et qui justifie le choix du schéma et des données (annotées avec ce schéma). elle positionne également notre travail parmi les études en tal sur l'identification automatique des émotions. ## tâches construit dans la perspective globale de permettre l'analyse des émotions en tant que facteur de complexité, notre travail tient ainsi compte de deux éléments clé pour aborder la complexité d'une émotion : sa catégorie et son mode d'expression. l'objectif est de proposer un modèle transformer pour 4 tâches de classification (notés a, b, c et d) au niveau de la phrase, par opposition au niveau du texte (cela peut, par exemple, permettre d'étudier comment la présence d'émotions évolue le long d'un texte). les phrases peuvent contenir plusieurs émotions et les classifications sont donc multi-étiquettes. toutes les tâches sont apprises ensemble, menant à un modèle unique. tâche a : présence d'émotion la première tâche vise à prédire la présence d'informations émotionnelles dans une phrase donnée (prédiction binaire). ## données notre corpus est dérivé de celui fourni dans @xcite . il se compose de 1 594 textes en français (28k phrases, 515k mots) destinés aux enfants de 6 à 14 ans, répartis en 3 types : très principalement des textes journalistiques (91 % des phrases), des articles encyclopédiques (9 %) et des romans (1 %). originellement, le corpus est accompagné d'annotations d'experts délimitant des unités émotionnelles (segments) dans les textes. chaque unité est décrite par son mode d'expression et sa catégorie émotionnelle. nous avons fusionné ces annotations depuis le niveau des segments vers le niveau de la phrase. ainsi, une phrase donnée peut couvrir plusieurs unités émotionnelles. la présence d'émotions et les types d'émotions ont été dérivés des étiquettes de mode d'expression et les données sont divisées en ensembles d'entraînement, de développement et de test (70/10/20% des phrases, respectivement), tel que toutes les phrases d'un texte se trouvent dans le même sousensemble, ceci afin d'éviter un biais d'entraînement sur les particularités des textes (par ex., le nom d'un personnage). le tableau 2 présente la proportion des étiquettes au sein du corpus. globalement, les proportions sont comparable d'un sous-ensemble à un autre. plusieurs déséquilibres apparaissent au sein des tâches. (a) seulement 15-20% des phrases sont émotionnelles. (b) les modes d'expression sont assez uniformément répartis, 'désigné' étant le moins fréquent (3% des phrases) et suggéré le plus courant (6%). les sommes des pourcentages de chaque mode sont supérieures aux pourcentages de l'étiquette émotionnelle car une phrase peut certaines émotions sont véhiculés par plusieurs modes et une phrase peut aussi contenir plusieurs unités émotionnelles dont les modes respectifs diffèrent. (c) les étiquettes des types d'émotions sont très déséquilibrées, avec une nette dominance des émotions basiques. la catégorie émotionnelle 'autre' (tâche d) n'est associée à aucun type d'émotion, d'où le fait que la somme des pourcentages basique et complexe est inférieure à celle des phrases émotionnelles. (d) les étiquettes des catégories émotionnelles sont déséquilibrées, avec des pourcentages toujours en dessous de 5% des phrases. les catégories colère, peur, joie, tristesse, surprise et autre sont dominantes, alors que d'autres sont très rares (dégoût, culpabilité et jalousie). ## modèle proposé le modèle proposé résulte d'un affinage (fine-tuning) de la version de base du modèle pré-entraîné camembert @xcite . il s'agit d'un modèle de type encodeur (bert) de 110 millions de paramètres et 12 couches bert. il a été pré-entraîné sur 138 go de textes français @xcite . bien que des modèles de langue plus récents et plus grands (génératifs) comme llama2 ou mistral conduiraient probablement à de meilleurs résultats, le choix d'un modèle de taille raisonnable est motivé par deux raisons. premièrement, notre objectif est de montrer que, contrairement à plusieurs autres tâches en tal, la caractérisation fine des émotions dans les textes ne peut pas être réalisée en sollicitant des modèles de langage génériques (c.-à-d. non spécialisés) de grande taille via de l'apprentissage en-contexte (c.-à-d. sans affinage). ensuite, notre travail vise une solution légère, de sorte que la caractérisation des émotions puisse être intégrée comme un processeur pour l'analyse de la complexité des textes dans une collection massive de textes d'un moteur de recherche public. ainsi, même si l'affinage de modèles plus grands fait partie de nos perspectives, l'article ne l'aborde pas. nous affinons le modèle camembert en remplaçant sa dernière couche de prédiction de jetons par une couche de classification binaire de la taille du nombre d'étiquettes, avec l'entropie croisée binaire comme fonction de perte. l'affinage porte sur tous les poids du modèle, c.-à-d. qu'aucune couche n'est gelée. suite à des travaux de prototypage sur l'ensemble de développement, le modèle final n'est pas directement appris à partir de camembert. un premier affinage est conduit sur la seule tâche a pendant 3 époques (couche de classification de taille 1), puis le modèle final est affiné sur toutes les tâches en partant de ce modèle intermédiaire pendant 6 époques supplémentaires (la couche de classification finale est remplacée par une couche vierge de taille 19). l'optimiseur est adam avec un taux d'apprentissage de 10 -5 (sans décroissance) et des lots de 8 exemples. d'autres expérimentations (non rapportés dans cet article) ont été conduites sur l'ensemble de développement, par exemple sur le choix d'une fenêtre ou non autour des phrases, la pondération des classes ou non, ou encore le choix d'un premier affinage uniquement sur la tâche a ou non. au final, les résultats présentés sont ceux de la meilleure stratégie obtenues sur l'ensemble de développement en moyenne les résultats sur 3 exécution de l'apprentissage avec des initialisation aléatoire différentes. notamment, une pondération entre classes est adoptée afin que ne favorise pas trop les classes majoritaires. le facteur de pondération maximal est borné à 50 pour, à l'inverse, ne pas donner non plus trop d'importance aux classes très rares. enfin, le modèle prend en entrée un triplet de phrases où la phrase cible à étiqueter est entourée de sa phrase précédente et suivante sous la forme avant : {précédente}</@xmath0: {cible}</@xmath1: {suivante}
. pour plus de détails, le lecteur est invité à consulter (etienne, 2023). ## évaluations automatique et humaine 6.1 comparaison avec d'autres modèles le modèle proposé est comparé à trois autres types de modèles. des modèles svm ont été entraînés car c'est une approche historique dans le domaine. deux types de descripteurs d'entrée ont été utilisés : (i) des sac-de-jetons où les jetons proviennent du tokeniseur de camembert, restreints à ceux de l'ensemble d'entraînement, résultant en des vecteurs d'entrée de dimension 18 437 ; (ii) des plongements de phrases de taille 768 obtenus avec sentencetransformer @xcite et camembert 1 . des modèles xgboost ont été entraînés car c'est une technique plus récente, légère et compétitive pour de nombreuses tâches de classification, en particulier avec des données déséquilibrées @xcite . les descripteurs d'entrée sont les mêmes que pour les svm. notre approche est comparée à gpt-3.5 @xcite . pour un échantillon d'entrée donné, gpt-3.5 est sollicité de manière incrémentale pour l'annoter avec des étiquettes binaires (oui/non). consécutivement pour chaque tâche et étiquette, une description en langage naturel de ce qui est ## conclusion et perspectives nous avons proposé un modèle d'analyse des émotions dans des textes qui est original en tal car il prend en compte leurs modes d'expression directs mais aussi indirects. de plus, les expériences montrent que ce modèle a de bonnes performances par rapport à d'autres approches, des travaux comparables et des solutions à partir de ressources sur étagère. l'évaluation humaine a montré que ce niveau est presque équivalent à ce que les humains peuvent faire. à l'avenir, des prédictions intra-phrastiques, délimitant des unités, permettant l'inclusion d'autres notions, comme celle d'expérienceur, sont des pistes pour sophistiquer encore l'analyse. l'affinage de modèles génératifs semble alors nécessaire. sur un autre plan, une application directe de notre modèle est l'analyse de la complexité -contexte plus large de notre travail -, puisque les étiquettes prédites reflètent des marqueurs de complexité. plus largement, notre travail pourrait contribuer à la recherche en psychologie pour étudier le lien entre le langage émotionnel et l'état psychologique du scripteur/locuteur, dans la lignée des études rapportées dans @xcite .