LSE au DEFT 2018 : Classification de tweets basée sur les réseaux de neurones profonds ( LSE at DEFT 2018 : Sentiment analysis model based on deep learning) (2018)

Abstract: Dans ce papier, nous décrivons les systèmes développés au LSE pour le DEFT 2018 sur les tâches 1 et 2 qui consistent à classifier des tweets. La première tâche consiste à déterminer si un message concerne les transports ou non. La deuxième, consiste à classifier les tweets selon leur polarité globale. Pour les deux tâches nous avons développé des systèmes basés sur des réseaux de neurones convolutifs (CNN) et récurrents (LSTM, BLSTM et GRU). Chaque mot d’un tweet donné est représenté par un vecteur dense appris à partir des données relativement proches de celles de la compétition. Le score final officiel est de 0.891 pour la tâche 1 et de 0.781 pour la tâche 2.

## introduction la classification de textes est une des tâches importantes du traitement automatique du langage naturel (taln). elle consiste à attribuer une catégorie à un texte. la classification thématique et l'analyse des sentiments sont les applications les plus répandues auprès des entreprises. par exemple, les fournisseurs d'actualités comme google actualités et yahoo actualités collectent des informations en provenance des sites d'information afin de les regrouper en thèmes. d'autres compagnies utilisent les tweets pour connaître l'opinion des utilisateurs sur un produit ou un service. ## systèmes proposés dans cette section, nous présentons les trois étapes de notre approche : ## résultats et analyse nous avons opté pour l'utilisation de différents types de réseaux profonds : notre première approche fut de maximiser individuellement le score de chacun de ces réseaux et de mieux comprendre les données de test à partir de leurs sorties. cnn : il s'agit d'un cnn d'une couche de convolution de 64 neurones et une fenêtre de taille 5. on applique ensuite un max pooling global avant d'insérer une couche de 128 neurones, un dropout de 0.1 et la couche de sortie. cnn 2 : le modèle est composé de deux couches de convolutions de 64 filtres et d'une taille de fenêtre de 5. un max pooling est appliqué après chaque convolution. on insert un dropout de 0.3 après la première couche de convolution. enfin, on ajoute une couche dense de 64 neurones suivie par une couche de sortie de taille correspondante au nombre de classes. cnn 3 : on définit 3 sous modèles avec les paramètres suivants : une couche de convolution de 64 neurones et des fenêtres de tailles 3, 4 puis 5. on y ajoute un max pooling global. ces 3 modèles sont fusionnés grâce à la couche merge de keras. on ajoute par la suite un dropout de 0.5 suivi d'une couche dense de 64 neurones et de la couche de sortie. blstm : la taille du lstm est de 64 neurones (128 pour le blstm). on y ajoute un dropout de 0.5 suivi de la couche de sortie. gru : une couche gru de 64 neurones suivie de la couche de sortie. lstm : une couche lstm de 64 neurones suivie de la couche de sortie. combinaison 1 : une combinaison de nos meilleurs modèles : les sorties de chaque modèle nourrissent un réseau de neurones de 3 couches cachées de 20, 20 et 10 neurones. entre les 2 premières couches, on applique un dropout de 0.2. combinaison 2 : une moyenne des prédictions de chaque modèle.