SEC : contexte émotionnel phrastique intégré pour la reconnaissance émotionnelle efficiente dans la conversation (2024)

Abstract: L’essor des modèles d’apprentissage profond a apporté une contribution significative à la reconnaissance des émotions dans les conversations (ERC). Cependant, cette tâche reste un défi important en raison de la pluralité et de la subjectivité des émotions humaines. Les travaux antérieurs sur l’ERC fournissent des modèles prédictifs utilisant principalement des représentations de la conversation basées sur des graphes. Dans ce travail, nous proposons une façon de modéliser le contexte conversationnel que nous incorporons à une stratégie d’apprentissage de métrique, avec un processus en deux étapes. Cela permet d’effectuer l’ERC dans un scénario de classification flexible et d’obtenir un modèle léger et efficace. En utilisant l’apprentissage de métrique à travers une architecture de réseau siamois, nous obtenons un score de macroF1 de 57,71 pour la classification des émotions dans les conversations sur le jeu de données DailyDialog, ce qui surpasse les travaux connexes. Ce résultat état-de-l’art est prometteur en ce qui concerne l’utilisation de l’apprentissage de métrique pour la reconnaissance des émotions, mais est perfectible au regard du microF1 obtenu.

## introduction la communication médiée par ordinateur (cmo) est en constante évolution et de nouveaux moyens de communication apparaissent régulièrement. avec l'avènement des agents conversationnels, il devient nécessaire de détecter les émotions au sein d'une conversation. bien que plusieurs modalités soient désormais prises en compte dans le processus de communication, la modalité textuelle reste essentielle pour une communication quotidienne rapide et facile, par le biais d'outils comme les applications de messagerie ou les médias sociaux. la modalité textuelle est toutefois ambiguë, car elle ne préserve pas le contexte extra-linguistique présent par exemple dans les conversations dyadiques. l'une des principales ambiguïtés est l'état émotionnel de l'orateur, souvent mal interprété par les humains à travers des messages courts et non polis. cela motive la reconnaissance d'émotions en conversation (emotion recognition in conversation, erc) qui vise non seulement à l'identification des émotions dans les messages, mais aussi à la prise en compte du contexte conversationnel pour reconnaître les émotions. l'erc s'est révélée être un défi, notamment en ce qui concerne la représentation du contexte @xcite . récemment, les modèles multimodaux et les approches basées sur les graphes se sont multipliés. ils représentent souvent le contexte conversationnel à travers un profil des locuteurs, ce qui est performant mais moins efficace, en plus de dépendre des étiquettes émotionnelles. les approches existantes sont principalement supervisées et confrontées à un fort déséquilibre des étiquettes en raison de la rareté de certaines émotions. dans cet article, nous adressons ces deux défis en incorporant le contexte conversationnel dans un scénario d'apprentissage de métrique (que l'on désignera par metric learning), tout en contrôlant le déséquilibre des données de plusieurs façons. dans notre cas, afin de rendre notre modèle utilisable pour d'autres émotions que les 6 émotions primaires @xcite , nous n'utilisons pas l'apprentissage contrastif supervisé @xcite dans notre méthode. l'apprentissage de métrique permet justement de s'abstraire d'une dépendance aux définitions strictes des émotions, ce qui se révèle indispensable pour des émotions fines. pour cela, nous mettons à jour le modèle en utilisant à la fois les prédictions d'étiquettes isolées (fonction de perte d'entropie croisée), et l'attribution d'étiquettes contextuelles relatives (fonction de perte contrastive). ce processus en deux étapes est assez simple pour des énoncés isolés. cependant, à notre connaissance, la représentation contextuelle par apprentissage contrastif pour l'erc n'a pas encore été utilisée. ceci représente notre principale contribution puisque nous présentons un modèle qui peut atteindre des performances compétitives par rapport à l'état-de-l'art tout en étant utilisable avec de nouvelles étiquettes d'émotions. ainsi, notre modèle peut être appliqué et adapté dans de multiples contextes nécessitant la reconnaissance d'émotions à différents niveaux de granularité. notre principale contribution réside dans le développement d'une stratégie de metric learning pour la reconnaissance d'émotions en utilisant le contexte conversationnel. le modèle présenté exploite des plongements lexicaux à l'échelle de la phrase et déploie de l'attention à l'aide d'un transformer @xcite pour obtenir une représentation contextuelle de chaque tour de parole (que nous désignerons également par "énoncés" dans ce qui suit). nous utilisons ici des réseaux siamois @xcite mais l'approche peut être adaptée à n'importe quel modèle de metric learning. nous démontrons en outre que notre approche est plus performante que certains des derniers grands modèles de langage (large language models, llms) tels que les versions allégées de falcon @xcite ou llama 2 @xcite . en outre, notre méthode est efficace dans le sens où elle implique des modèles légers, adaptables et rapidement entraînables, qui donnent des scores état-de-l'art sur dailydialog en macrof1 avec 57.71% et des résultats satisfaisants en microf1 avec 57.75%. dans les sections suivantes, nous passons d'abord en revue les travaux relatifs à l'erc (section 2). nous présentons ensuite notre méthodologie (section 3) et décrivons le dispositif expérimental que nous utilisons (section 4). nous évaluons ensuite nos modèles par rapport à une référence sans contexte conversationnel et aux modèles état-de-l'art pour l'erc dans la section 5. enfin, nous exposons nos principales conclusions ainsi que des perspectives pour les travaux futurs dans la section 6. nous mettrons à disposition notre code et nos modèles sur github et huggingface models. les travaux existants en erc s'appuient principalement sur l'évaluation de leur modèle en microf1 en excluant l'étiquette neutre (pas d'émotion), souvent majoritaire. cependant, des travaux récents se passent de cette évaluation pour se concentrer uniquement sur la macrof1 @xcite , tandis que d'autres ont considéré le coefficient de corrélation de matthews comme une métrique adaptée à cette tâche @xcite . dans ce travail, nous nous concentrons sur dailydialog, qui consiste en des conversations générées artificiellement par l'homme sur les préoccupations de la vie quotidienne, avec un étiquetage des émotions au niveau du tour de parole. @xcite proposent un modèle basé sur un réseau neuronal de graphes (graph neural network, gnn) et un champ aléatoire conditionnel (conditional random field, crf) qui atteint 64,01% en microf1. bien qu'il soit connu pour ne pas fournir les meilleures performances par rapport aux approches d'apprentissage frugal @xcite , le metric learning permet une meilleure généralisation grâce à un entraînement plus robuste @xcite , ce qui est particulièrement adapté à la détection d'émotions humaines complexes et variées @xcite . metric learning. @xcite expliquent que le méta-apprentissage consiste en un méta-optimiseur qui décrit les mises à jour du méta-apprenant, une méta-représentation qui stocke les connaissances acquises et un méta-objectif orienté vers la tâche souhaitée. cette configuration basée sur l'optimisation fournit des algorithmes complets souvent basés sur des scénarios épisodiques @xcite @xcite qui reflètent l'idée d'"apprendre à apprendre". mais cela implique des calculs de gradient au second ordre, ce qui est coûteux. des solutions palliatives comme la différenciation implicite (lorraine et al., 2020) impliquent toujours un compromis entre performance et coût mémoire @xcite . c'est pourquoi des variantes sont apparues, telles que le metric learning, dont le méta-objectif est l'apprentissage de la méta-représentation elle-même. par exemple, les réseaux siamois @xcite dans ce travail, nous utilisons un réseau siamois. ce modèle à l'architecture simple est facilement contrôlable et évolutif, mais on pourrait tout à fait adapter l'approche à des structures plus complexes. les réseaux siamois ont été utilisés en tal pour la détection d'intentions dans le texte @xcite , en vision par ordinateur pour la reconnaissance faciale @xcite et dans l'apprentissage de représentations complexes @xcite . ## méthodologie nous utilisons le metric learning pour l'apprentissage relatif des émotions, ce qui permet d'extraire des méta-informations des données. notre réseau siamois comporte trois sous-réseaux identiques, dont les sorties sont comparées à l'aide de la fonction de coût par triplet @xcite , dénommée ci-après triplet loss. initialement appliquée aux problèmes de vision par ordinateur @xcite , la triplet loss est définie sur un triplet d'échantillons de données (a, p, n) de sorte que si a et p appartiennent à la même classe et n à une classe différente, alors : en considérant la triplet loss, plusieurs stratégies s'offrent à nous : récupérer les triplets les plus difficiles, lorsque le positif est loin de l'ancre, tandis que l'ancre est proche du négatif ; ou encore ignorer les triplets les plus faciles, c'est-à-dire lorsque le positif est plus proche de l'ancre. compte tenu de la taille limitée de nos données, nous abordons la stratégie globale en considérant chaque triplet. bien que la triplet loss puisse être utilisée dans plusieurs stratégies, nous n'abordons la stratégie globale qu'en considérant chaque triplet dans nos données, en raison de leur taille limitée. représentations isolées. l'objectif de nos expériences étant de caractériser la contribution du contexte conversationnel à la prédiction des émotions dans le cadre d'un apprentissage contrastif, nous avons développé, dans un premier temps, un modèle sur des énoncés isolés. il s'agit formellement de prédire l'émotion des énoncés indépendamment de leur contexte. pour ce faire, nous considérons d'abord une projection pour chaque mot de l'énoncé vers sa représentation fasttext associée @xcite . à partir de ces plongements lexicaux, les triplets (a, p, n) susmentionnés sont échantillonnés aléatoirement et donnés en entrée au réseau siamois, dont le sous-réseau s'améliore dans la prédiction des émotions au fur et à mesure de la rétro-propagation de la triplet loss. représentations contextuelles. dans le cas contextuel, nous construisons des représentations d'énoncés contextuels à partir d'un encodage de type bert @xcite . les plongements lexicaux utilisés sont à l'échelle de la phrase et non du mot car ils fournissent des représentations d'énoncés plus légères. une fois que le dialogue est représenté avec la série de plongements pré-entraînés qui lui est associée, ces sorties sont concaténées pour former une représentation du dialogue, et les informations contextuelles sont prises en compte en déployant l'attention sur elles. concrètement, une couche d'encodeur de transformer est appliquée aux plongements gelés concaténés. cette représentation contextuelle du dialogue est ensuite divisée au niveau des marqueurs [sep] pour aboutir à des représentations contextuelles au niveau de l'énoncé, sur lesquelles on prédit l'émotion. afin d'adapter les représentations contextuelles des énoncés à l'objectif de prédiction des émotions, nous ajoutons un classificateur d'émotions pré-entraîné sur les données d'entraînement de dailydialog, qui participe également à la rétro-propagation. en parallèle, les représentations contextuelles sont optimisées selon l'objectif lié à la triplet loss. ceci est illustré en figure 1 . ce scénario permet l'apprentissage des émotions individuelles et relatives, de telle sorte que chaque phase d'apprentissage renforce l'autre. grâce à ce cadre de méta-apprentissage, des méta-informations sur les émotions sont extraites, et nous pouvons nous attendre à ce que ce modèle soit capable de réaliser une classification pertinente sur de nouvelles étiquettes en apprentissage frugal. évaluation quantitative. nous considérons à la fois la performance et la pertinence de l'entraînement afin que bénéficier des capacités de généralisation du méta-apprentissage. ainsi, nous avons choisi, en plus des mesures de performance habituelles, une métrique très exigeante : le coefficient de corrélation de matthews (mcc) @xcite . il mesure la corrélation de pearson @xcite entre classe prédite et classe réelle. le mcc est défini dans (matthews, 1975) comme suit : comparaison avec les llms. afin de mettre en perspective les résultats de nos modèles isolés et contextuels, nous comparons nos modèles avec des llms état-de-l'art, à savoir llama 2 (touvron et al., 2023) et falcon (penedo et al., 2023). les deux sont considérés dans leur version adaptée aux instructions (instruction fine-tuning) et évalués en génération sur un seul essai (zero-shot). nous avons développé une requête (cf. fig. 2, prompt en anglais) demandant une prédiction sur le dernier énoncé de chaque dialogue du jeu de test de dailydialog. les requêtes sont conçues de sorte à ce que le modèle ne génère qu'une seule étiquette. la requête est la même pour chaque modèle du même type (llama ou falcon). il est difficile de trouver une bonne requête pour falcon car le modèle génère happiness (joie) sur l'ensemble des données, à l'exception d'un dialogue. modèles état-de-l'art en erc cnn+clstm @xcite -50.24 -ket @xcite -53.37 -cosmic @xcite 51.05 58.48 -roberta @xcite 48.20 55.16 -rpe-rgat @xcite -54.31 -glove-drnn @xcite 41.80 55.95 -roberta-drnn @xcite 49.65 57.32 -cnn @xcite 36.87 50.32 -dag-erc @xcite -59.33 -todkat @xcite 52.56 58.47 -skaig @xcite 51.95 59.75 -sentic gat @xcite al., 2022) -54.45 -cauain (zhao et al., 2022) -58.21 -dialoguerole (ong et al., 2022) -60.95 -s+page (liang et al., 2022) -64.07 -dualgat (zhang et al., 2023) -61.84 -cd-erc (pereira et al., 2023) 51.23 --llms llama2-7b (touvron et al., 2023) 09.70 24.92 0.08 llama2-13b (touvron et al., 2023) 22.26 43.37 0.15 falcon-7b (penedo et al., 2023) 07.54 42.75 0.01 notre approche sentemocontext 57.71 57.75 0.49 notre modèle. sentemocontext obtient 57,75% en microf1, un résultat décent mais quelque peu modeste comparé aux travaux connexes. la notre modèle est très performant car nous n'avons besoin que de 20 minutes par époque et nous l'entraînons en utilisant seulement 5 époques. ceci dénote des approches existantes qui utilisent plusieurs flux par locuteur @xcite , la modélisation graphique pour la représentation du contexte et des connaissances @xcite , ou d'autres représentations lourdes dans leur modèle @xcite . notre modèle est stable avec un écart-type de seulement 0,01 en moyenne pour chaque métrique, ce qui renforce la qualité de cette approche efficace.