DEFT 2018 : recherche d’information et analyse de sentiments dans des tweets concernant les transports en Î le de F rance ( DEFT 2018 : Information Retrieval and Sentiment Analysis in Tweets about Public Transportation in Î le de F rance Region ) (2018)

Abstract: Cet article présente l’édition 2018 de la campagne d’évaluation DEFT (Défi Fouille de Textes). A partir d’un corpus de tweets, quatre tâches ont été proposées : identifier les tweets sur la thématique des transports, puis parmi ces derniers, identifier la polarité (négatif, neutre, positif, mixte), identifier les marqueurs de sentiment et la cible, et enfin, annoter complètement chaque tweet en source et cible des sentiments exprimés. Douze équipes ont participé, majoritairement sur les deux premières tâches. Sur l’identification de la thématique des transports, la micro F-mesure varie de 0,827 à 0,908. Sur l’identification de la polarité globale, la micro F-mesure varie de 0,381 à 0,823.

## introduction dans la continuité de l'édition 2015 @xcite , la treizième édition du défi fouille de textes (deft) porte sur l'extraction d'information et l'analyse de sentiments dans des tweets rédigés en français sur la thématique des transports. la campagne s'est déroulée sur une période limitée avec une ouverture des inscriptions le 31 janvier, la diffusion des données d'entraînement à partir du 19 février, et le déroulement de la phase de test entre le 28 mars et le 5 avril, sur une durée de trois jours fixée par chacun des participants. quinze équipes se sont inscrites, dont une hors de france (canada) et quatre issues d'entreprises privées. au final, douze équipes auront participé (voir tableau 1). ## corpus le corpus est constitué de tweets en français qui portent sur les transports en île-de-france. il contient 76 732 tweets sélectionnés parmi 80 000 tweets annotés manuellement. les messages sont issus d'une sélection à base de mots-clés et de mesure d'entropie pour filtrer les doublons et les messages dépourvus de texte intelligible. chaque message a été annoté parmi cinq types de groupes et quatre types de relations. ## conclusion l'édition 2018 du défi fouille de texte (deft) s'est révélée un succès en terme de nombre de participants, portée par une thématique connue mais toujours en vogue (la fouille d'opinion) et un ensemble de techniques (classification, notamment par réseaux de neurones récurrents) faciles à mettre-en-oeuvre. parmi les quatre tâches proposées, seules les deux premières ont été traitées par les participants. sur l'identification de la thématique des transports, la micro f-mesure varie de 0,827 à 0,908 tandis que pour l'identification de la polarité globale, la micro f-mesure varie de 0,381 à 0,823. nous observons des résultats très homogènes entre participants sur chacune des deux premières tâches, que nous pouvons expliquer par plusieurs points : -les techniques utilisées sont similaires ; -la première tâche était relativement facile, probablement parce que la sélection initiale des tweets s'est faite sur mots-clés, amenant les systèmes à des performances quasi optimales ; -la deuxième tâche, plus difficile au vu des résultats qui doivent être relativisés par le bruit résiduel présent dans les annotations, a aussi amené les systèmes à une sorte de plafond, difficile à dépasser au regard des données. le faible nombre de participants (une seule équipe) sur la tâche 3 et l'absence de participants sur la tâche exploratoire est un peu décevant. bien que nécessitant des techniques d'annotations de texte plutôt que de classification comme sur les deux premières tâches, de nombreux outils et retours d'expérience sur des tâches similaires sont disponibles et auraient pu permettre à un plus grand nombre de participer. le calendrier serré de cette édition (au maximum un mois et demi pour la phase d'entraînement) aura pu décourager certaines équipes de s'engager dans ces tâches plus complexes.