Notre tweet première fois au DEFT -2018 : systèmes de détection de polarité et de transports (Systems for detecting polarity and public transport discussions in F rench tweets) (2018)

Abstract: Cet article décrit les systèmes de l’équipe Eloquant pour la catégorisation de tweets en français dans les tâches 1 (détection de la thématique transports en commun) et 2 (détection de la polarité globale) du DEFT 2018. Nos systèmes reposent sur un enrichissement sémantique, l’apprentissage automatique et, pour la tâche 1 une approche symbolique. Nous avons effectué deux runs pour chacune des tâches. Nos meilleures F-mesures (0.897 pour la tâche 1 et 0.800 pour la tâche 2) sont au-dessus de la moyenne globale pour chaque tâche, et nous placent dans les 30% supérieurs de tous les runs pour la tâche 2.

## introduction cet article décrit les méthodes et les résultats obtenus par l'équipe sémantique d'eloquant aux tâches 1 et 2 du défi fouille de textes 2018 @xcite , qui concerne l'analyse des thématiques et des opinions exprimées dans un corpus de 68 916 tweets annotés manuellement 1 dans le cadre du projet request 2 . la tâche 1 consiste à déterminer automatiquement si un tweet concerne ou non les transports en commun. il s'agit donc de classification binaire. la tâche 2 est également une tâche de classification et consiste à déterminer, pour les tweets qui concernent les transports en commun (51% du total), leur polarité globale parmi quatre catégories : positif, négatif, neutre et mixposneg (à la fois positif et négatif). la partie du corpus d'entrainement annotée par polarité contient environ 37% de tweets négatifs, 36% de tweets neutres, 21% de tweets positifs et 7% de tweets à polarité mixte. les outils d'analyse sémantique d'eloquant ont été développés dans le but de traiter des verbatim issus du domaine de la relation client (sms ou formulaires web). il n'était donc a priori pas trivial pour nous de réaliser les deux tâches (1 et 2) avec nos méthodes symboliques existantes car elles sont composées de règles très spécifiques au style de notre secteur. en effet, l'attitude langagière adoptée dans le cadre de la relation client et celle que l'on trouve sur twitter sont extrêmement différentes. c'est pourquoi, nous avons suivi deux voies : développer pour l'occasion une méthode symbolique (tâche 1, run 1), et proposer des méthodes entièrement statistiques (tâche 1 run 2, et tâche 2 run 1 et 2). ces deux approches reposent sur un enrichissement sémantique, nous en parlerons plus précisément dans la suite de cet article. dans le reste de l'article nous décrivons les étapes (communes pour toutes les tâches et spécifiques pour chaque tâche) de traitement du corpus, de création de classifieurs, leurs évaluations et la mise en perspective des résultats par rapport à la qualité des données et les limites théoriques des approches utilisées. ## chaîne de traitement des données qu'il s'agisse de la phase d'apprentissage d'une méthode statistique, de la phase de test ou encore d'une méthode symbolique, nous avons procédé à un travail de représentation des documents, qui se traduit par un pré-traitement, une analyse morphosyntaxique et enfin un enrichissement sémantique. ## evaluation cette section décrit les performances de toutes les équipes aux tâches 1 et 2. onze équipes ont soumis un total de 38 runs à la tâche 1, et 39 runs à la tâche 2. les résultats obtenus sont issus de notre propre formule qui diffère de celle utilisée pour le deft. ## conclusion nous avons présenté les systèmes de l'équipe eloquant pour la catégorisation de tweets en français dans les tâches 1 (détection de la thématique transports en commun) et 2 (détection de la polarité globale) du deft 2018. en adaptant nos outils existants, reposant sur un enrichissement sémantique, l'apprentissage automatique et, pour la tâche 1, une approche symbolique, nous avons obtenu des f-mesures audessus de la moyenne globale pour chaque tâche, nous plaçant dans les meilleurs 30% de tous les runs pour la tâche 2. il est également notable que pour cette tâche, seul le système avec la meilleure performance a une différence statistiquement significative avec celle de notre système. cela implique que notre système est en réalité comparable aux systèmes classés en deuxième position, ce que nous considérons un très bon résultat. nous considérons très satisfaisants les résultats obtenus dans les deux tâches. les systèmes que nous avons présentés ont été adaptés à partir du système que nous utilisons habituellement pour le domaine de la relation client @xcite , qui traite un type de langage assez différent de celui de twitter et des opinions sur les transports en commun. ainsi, être comparable aux systèmes qui obtiennent les deux ou trois meilleurs résultats nous parait une indication de la maturité de nos systèmes d'analyse sémantique, qui ont pu être adaptés à ce nouveau domaine avec une intervention assez minimale.