Analyse de la perception de l’offre INTERCITÉS de jour : Classification multi-étiquettes des émotions dans les tweets (2024)

Abstract: La Direction Marketing de SNCF Voyageurs INTERCITÉS souhaite améliorer l’expérience des voyageurs en procédant à l’analyse automatique de la perception de son offre à travers les ressentis partagés sur les réseaux sociaux. L’un des axes de notre recherche se focalise sur la détection des émotions en multi-étiquettes qui traduisent cette perception. Pour accomplir cette tâche, nous ajustons tout d’abord un modèle de langue pré-entraîné à l’aide d’un corpus préalablement annoté en émotions, puis nous le spécialisons sur notre corpus, axé sur le contexte ferroviaire d’INTERCITÉS. Notre approche obtient un F1-Micro score de 0,55, un F1-Macro score de 0,44 et une exactitude de 0,826.

## introduction l'amélioration constante de l'expérience client demeure une préoccupation centrale pour les entreprises opérant dans le secteur des services, et plus particulièrement dans le domaine du transport ferroviaire. dans cette ère numérique, où les clients comme les non-clients expriment leurs opinions et ressentis de manière instantanée et publique sur les plateformes en ligne, l'analyse des données issues des réseaux sociaux offre de nouvelles perspectives pour mieux comprendre les attentes, les préoccupations et les satisfactions des voyageurs. en nous basant sur un corpus de tweets concernant l'offre intercités de jour, notre recherche s'attache à analyser les émotions des utilisateurs telles qu'elles transparaissent dans les tweets. l'analyse des émotions des tweets est une tâche complexe, non seulement en raison de leur nature textuelle, mais aussi parce qu'un seul tweet peut véhiculer des émotions complexes, définies comme une combinaison d'émotions simples ou de processus cognitifs plus nuancés, tels que l'amour ou la culpabilité. l'annotation des émotions en multi-étiquettes semble nécessaire et permet de saisir la nuance des messages humains. dans un tweet, un auteur peut en effet exprimer des avis divergents sur différentes thématiques. par exemple, dans le tweet suivant issu de notre corpus intercités, «@intercites bah t'es bien t'es coincé tu ne peux plus bosser», l'auteur exprime à la fois de l'«angoisse» et de la «colère». nous avons ainsi exploré les stratégies permettant de surmonter la complexité de la détection de plusieurs émotions au sein d'un même tweet. de plus, nous nous sommes interrogées sur les moyens de gérer un corpus d'étude non annoté. en réponse à ces défis, un modèle de classification multi-étiquettes a été entraîné sur un corpus préalablement annoté en émotions selon une typologie adaptée à nos données et aux objectifs du projet. les données issues des réseaux socio-numériques, et plus particulièrement de twitter/x, ont donné lieu à de nombreux travaux en sentiment analysis, emotion recognition ou opinion mining, notamment parce qu'ils sont un lieu de polémique. d'un point de vue linguistique, les tweets peuvent inclure des textes linéaires simples, des émoticônes, des liens url vers des sites externes, ainsi que des éléments spécifiques aux réseaux sociaux tels que les hashtags (marqués par un #) pour organiser l'information et les pseudos (précédés de @) qui identifient les utilisateurs @xcite . d'après @xcite , l'utilisation de ces formes de communication spécifiques éloigne les tweets des structures linguistiques traditionnelles et rend leur traitement complexe. ainsi, diverses approches sont étudiées pour détecter les émotions dans les tweets. lora et al. (2020) évaluent plusieurs techniques d'apprentissage automatique, comme les modèles bayésiens naïfs, les svm (support vector machine), et la régression logistique, ainsi que diverses architectures de réseaux de neurones. les méthodes d'apprentissage automatique affichent un score f1 supérieur ; toutefois, l'approche utilisant les cnn (convolutional neural networks) avec des plongements lexicaux pré-entraînés surpasse les autres approches en termes d'exactitude. plusieurs travaux suggèrent l'utilisation de réseaux de neurones récurrents, en particulier les lstm (long short-term memory), pour effectuer la détection des émotions dans les tweets @xcite . @xcite combinent deux réseaux neuronaux récurrents différents, les lstm et les gru (gated recurrent units), et leur modèle atteint une exactitude de 0.91. les auteurs observent que diminuer la taille du corpus d'entraînement entraîne une baisse de performance du modèle. par ailleurs, l'utilisation des modèles basés sur les transformers @xcite est largement répandue @xcite , et plus particulièrement le modèle de langage bert @xcite . notamment, @xcite appliquent des lstm après avoir ajusté le modèle bert pour la classification des émotions ; cette approche combinatoire permet d'atteindre un score f1 de 0,71. quant à la classification multi-étiquettes des émotions, kim & klinger (2018) présentent une analyse des émotions dans les textes littéraires, ayant pour objectif d'identifier les émotions et de les relier aux personnages, à leur origine (causes) et à leurs cibles. ils construisent pour cela des modèles lstm bidirectionnels avec une couche de crf (conditional random fields). l'étude montre que l'intégration des crf améliore l'étiquetage des séquences lorsque les données montrent des dépendances entre les éléments. enfin, dans sa thèse, etienne (2023) introduit un modèle capable de réaliser des prédictions simultanées du caractère émotionnel d'un texte, des modes d'expression présents dans les textes, et des types d'émotions véhiculées, tout en effectuant une classification multi-étiquettes des catégories émotionnelles. l'auteure démontre que l'approche prenant en compte plusieurs aspects émotionnels peut améliorer la robustesse du modèle. beaucoup plus récemment, dans le domaine des llms (larges language models) génératifs, wang et al. (2023) développent un test psychométrique nommé seceu (situational evaluation of complex emotional understanding) et l'appliquent sur différents llms pour évaluer la compréhension émotionnelle des llms et des humains. le llm génératif le plus efficace pour comprendre les émotions s'est avéré être gpt-4. liu et al. (2024) décrivent quant à eux emollms, formés par l'affinage de différents llms en utilisant un ensemble de données nommé aaid (affective analysis instruction dataset) construit par le semeval-2018 @xcite . dans les tâches semeval-2018, ces modèles surpassent les llms génératifs open source. certaines études se heurtent au manque de données annotées pour détecter les émotions dans les textes. pour répondre à cette problématique, différentes solutions sont proposées. par exemple, @xcite utilisent un corpus de 550 millions de tweets en anglais pour entraîner les plongements lexicaux et un deuxième corpus de 61 854 tweets constitué par semeval-2017 @xcite dans le but de réaliser un apprentissage par transfert. le modèle est ensuite affiné à l'aide des données dans le corpus de semeval-2018. cette étude montre que l'utilisation de plusieurs corpus permet de créer un ensemble de données diversifié et représentatif des différentes expressions des émotions. cependant, cela augmente le coût en temps pour normaliser et harmoniser les données. @xcite , pour leur part, explorent l'utilisation de deux corpus distincts pour la classification des émotions dans des dialogues : le premier est utilisé pour la phase d'entraînement, et le second pour évaluer la performance du modèle. l'utilisation de différents corpus permet de tester la généralisation du modèle à diverses sources de données et également d'offrir une évaluation robuste de sa performance. compte tenu des travaux existants, plusieurs paramètres doivent être considérés afin de capter les émotions des utilisateurs à propos des services intercités : le genre textuel ainsi que les émotions significatives présentes dans notre corpus, et l'architecture du système de prédiction. ainsi, nous envisageons d'explorer l'utilisation de modèles basés sur les transformers, en particulier l'architecture bert @xcite @xcite . la combinaison de divers modèles nous parait aussi pertinente comme approche, car cela permet d'avoir une architecture plus complexe et de traiter plus finement les données afin d'avoir de meilleures performances, notamment pour la classification des émotions @xcite .