Participation de l’ IRISA à D e FT 2018 : classification et annotation d’opinion dans des tweets ( IRISA at D e FT 2018: classifying and tagging opinion in tweets ) (2018)

Abstract: Cet article décrit les systèmes développés par l’équipe LinkMedia de l’IRISA pour la campagne d’évaluation DeFT 2018 portant sur l’analyse d’opinion dans des tweets en français. L’équipe a participé à 3 des 4 tâches de la campagne : (i) classification des tweets selon s’ils concernent les transports ou non, (ii) classification des tweets selon leur polarité et (iii) annotation des marqueurs d’opinion et de l’objet à propos duquel est exprimée l’opinion. Nous avons utilisé un algorithme de boosting d’arbres de décision et des réseaux de neurones récurrents (RNN) pour traiter les tâches 1 et 2. Pour la tâche 3 nous avons expérimenté l’utilisation de réseaux de neurones récurrents associés à des CRF. Ces approches donnent des résultats proches, avec un léger avantage aux RNN, et ont permis d’être parmi les premiers classés pour chacune des tâches.

## introduction cet article présente les systèmes que l'irisa a développés dans le cadre de sa participation à la campagne d'évaluation deft 2018. cette campagne porte sur l'analyse de sentiments dans des tweets qui concernent les transports. elle fait suite à la campagne deft 2017 portant elle-aussi sur la @xcite . notre équipe a participé à trois des quatre tâches proposées par les organisateurs : la tâche 4, à laquelle nous n'avons pas participé, consiste à déterminer l'entité qui exprime le sentiment (source), les négations et les modifieurs, ainsi que les relations entre ces éléments. des données d'entraînement étant fournies par les organisateurs du challenge, nous avons classiquement adopté une approche d'apprentissage supervisé. nous avons expérimenté deux méthodes d'apprentissage reposant sur des fondements différents, et sur des représentations différentes des données : le boosting d'arbres de décision et les réseaux de neurones récurrents. dans la suite de l'article, nous présentons dans la section 2 notre participation aux tâches 1 et 2, puis dans la section 3 nous détaillons nos expérimentations dans le cadre de la tâche 3. la tâche 1 consiste à classer les tweets selon qu'il y soit question des transports ou non. pour cela nous avons à disposition un corpus de 68 916 tweets dont 35 468 sont classés transport (voir le tableau 1). le corpus distribué par les organisateurs est composé de deux sous-corpus : "simple" et "batch_b". dans la sous-partie "batch_b" du corpus, aucun tweet n'est classé transport, même si un grand nombre de tweets concerne les transports. nous avons donc décidé de n'utiliser que le sous-corpus "simple" pour entraîner nos modèles. ## annotation fine d'opinion/sentiment/émotion : tâche 3 la tâche 3 consiste à annoter les empans de texte exprimant une opinion, un sentiment ou une émotion, ainsi que la cible du sentiment, c'est-à-dire l'objet 5 à propos duquel est exprimée une opinion. les marqueurs qui expriment un sentiment, une émotion ou une opinion (osee) sont associés à 20 types différents. dans le tableau 5, nous présentons les différents types de marqueurs et leur distribution dans les données d'entraînement. il nous était ensuite demandé de relier la cible à l'expression de l'opinion. cette tâche se rapproche de la tâche "aspect-based sentiment analysis" qui a eu lieu pour la première fois à semeval 2014 @xcite . elle consistait en quatre sous-tâches, les deux premières étant les plus proches de la tâche 3 de deft2018 : (i) extraction de l'aspect, c'est-à-dire l'attribut de l'objet sur lequel une opinion est donnée ; (ii) identification de la polarité associée à l'aspect. à semeval 2016 @xcite , la tâche est devenue multilingue avec entre autres des données pour le français @xcite . les deux meilleurs systèmes pour le français étaient basés sur des crf (conditional random field) @xcite . ## conclusion nous avons présenté dans cet article la participation de l'équipe linkmedia de l'irisa à la campagne d'évaluation deft 2018. nous avons développé des systèmes basés sur le boosting d'arbres de décisions et sur des réseaux de neurones récurrents pour les deux premières tâches. nous avons observé que l'algorithme de boosting obtient des résultats comparables aux rnn pour la tâche 1 de classification des tweets en transport/non-transport. en revanche pour la tâche 2, classification selon la polarité, les rnn obtiennent des meilleures performances. pour la tâche 3, que nous avons traité comme une tâche de sequence labelling, nous avons développé une méthode à base de rnn et crf. nous sommes les seuls participants de cette tâche, nous n'avons donc pas de points de comparaison avec d'autres approches. nous espérons pouvoir très prochainement entraîner de nouveau nos modèles sur des données propres (c'est-à-dire pour lesquelles les offsets ont été corrigés). c atala 2018