Participation d’ EDF R & D à DEFT 2018 (Here the title in E nglish) (2018)

Abstract: Ce papier décrit la participation d’EDF R&D à la campagne d’évaluation DEFT 2018. Notre équipe a participé aux deux premières tâches : classification des tweets en transport/non-transport (Tâche T1) et détection de la polarité globale des tweets (Tâche T2). Nous avons utilisé 3 méthodes différentes s’appuyant sur Word2Vec, CNN et LSTM. Aucune donnée supplémentaire, autre que les données d’apprentissage, n’a été utilisée. Notre équipe obtient des résultats très corrects et se classe 1ère équipe non académique. Les méthodes proposées sont facilement transposables à d’autres tâches de classification de textes courts et peuvent intéresser plusieurs entités du groupe EDF.

## introduction plusieurs éléments nous ont motivés à participer à l'édition 2018 du défi deft @xcite :  edf r&d travaille en appui de la direction edf commerce à la mise en oeuvre d'une chaine de récupération des tweets, de classification et d'attribution d'une polarité (travail en cours qui s'apparente à la tâche 2).  dans la phase de récupération des tweets, nous avons une problématique similaire à la tâche 1, non pas sur la distinction des tweets « transport » / « inconnu », mais edf « electricité de france » / edf « equipe de france ».  la volumétrie importante des tweets mis à disposition pour ce concours nous permettait d'envisager des méthodes de type machine learning. participer à deft était l'occasion de travailler sur plusieurs méthodes de classification dont les résultats contribueront directement à edf commerce et à d'autres entités du groupe edf. ## description des méthodes utilisées les trois méthodes que nous avons proposées partagent la même approche à savoir d'entrainer deux modèles chacune (un pour la tâche 1 et un autre pour la tâche 2). le premier modèle permet de discriminer les tweets entre les catégories « transport » et « inconnu ». le second modèle discrimine les tweets selon leur polarité. deux corpus étaient fournis pour l'apprentissage « batch_b », composé d'environ 14 000 tweets, et « simple », composé d'environ 54 000 tweets. comme tous les tweets de « batch_b » étaient étiquetés « inconnu », nous avons préféré ne pas les utiliser. aucune donnée externe supplémentaire n'a été utilisée. pour entrainer nos méthodes, nous avons découpé le corpus « simple » en deux parties : 80% étant réservé pour l'apprentissage et 20% ont servi pour les tests. quelques tweets vides ou erronés ont été éliminés. ## résultats obtenus les tables 1 et 2 récapitulent les résultats obtenus par nos méthodes sur les tâches 1 et 2. f-mesure est la f-mesure obtenu par nos méthodes, f-mesure moyenne, est la moyenne des f-mesure de tous les run de tous les participants et f-mesure max est le maximum des f-mesures des participants. tâche 1, nom de la méthode : f-mesure f-mesure moyenne f-mesure max word2vec + classifieur random forest 0,90286 0,88813 0,90785 lstm + prétraitements 0,90124 0,88813 0,90785 ## conclusion participer à la campagne deft 2018, nous a permis de tester 3 méthodes de classifications de textes courts basées sur word2vec, lstm et cnn. aucune donnée supplémentaire, autre que les données d'apprentissage, n'a été utilisée. les résultats obtenus sont satisfaisants. les méthodes que nous avons mises en oeuvre sont facilement transposables à d'autres tâches de classification de textes courts et peuvent intéresser plusieurs entités du groupe edf.