Détection des mots non-standards dans les tweets avec des réseaux de neurones (Detecting non-standard words in tweets with neural networks) (2017)

Abstract: Dans cet article, nous proposons un modèle pour détecter dans les textes générés par des utilisateurs (en particulier les tweets), les mots non-standards à corriger. Nous utilisons pour cela des réseaux de neurones convolutifs au niveau des caractères, associés à des “plongements” (embeddings) des mots présents dans le contexte du mot courant. Nous avons utilisé pour l’évaluation trois corpus de référence. Nous avons testé différents modèles qui varient suivant leurs plongements pré-entrainés, leurs configurations et leurs optimisations. Nous avons finalement obtenu une F1-mesure de 0.972 en validation croisée pour la classe des mots non-standards. Cette détection des mots à corriger est l’étape préliminaire pour la normalisation des textes non standards comme les tweets.

## introduction les contenus générés par des utilisateurs sur le web, par exemple via les tweets, sont devenus une source de données importante. ces textes, sous la forme de petits messages d'au maximum 140 caractères, véhiculent souvent des opinions sur l'actualité ou sur des produits de consommation. ils sont donc particulièrement intéressants à analyser automatiquement dans le cadre de la fouille d'opinion. cependant, les outils traditionnels de traitement automatique des langues (tal) se comportent rarement bien face à ces textes, courts et souvent écrits dans une langue non standard. par exemple, le stanford pos tagger, étiqueteur morpho-syntaxique appris avec le penn treebank 1 @xcite atteint 96.86% d'exactitude sur les textes journalistiques, mais seulement 81.3% sur les tweets @xcite . ce phénomène se retrouve aussi pour d'autres tâches de tal, comme l'analyse syntaxique @xcite . la normalisation de texte est la tâche qui consiste à transformer a minima un texte "non standard" pour le faire se rapprocher le plus possible d'un texte "standard" sans modifier son sens. c'est devenu une étape de prétraitement nécessaire pour certains textes, avant d'essayer de leur appliquer d'autres étapes de tal @xcite . elle opère pour l'instant essentiellement au niveau lexical, par l'identifiaction et le remplacement des mots (ou "tokens") non standards. beaucoup de travaux montrent qu'une telle normalisation appliquée sur des tweets peut améliorer le résultat de l'extraction des entités nommées qu'ils contiennent @xcite . dans certains cas, la détection des unités non-standards peut à elle seule améliorer ce résultat @xcite . notre travail dans cet article s'inspire de certaines expériences @xcite . il vise au final à améliorer l'extraction des entités nommées dans les tweets après une phase de normalisation. nous nous focalisons en particulier sur le pré-traitement lexical permettant de rendre les tweets un peu mieux formés, en remplaçant les mots non-standards qui y figurent par une forme standard. nous essayons ici, dans un premier temps, de détecter dans un tweet ces mots non-standards avant de proposer une liste de candidats pour les corriger. nous proposons pour cela un modèle de réseau de neurones convolutifs au niveau des caractères, associé à des "plongements" de mots, pour déterminer si un mot est non-standard (à corriger). nous avons utilisé pour nous évaluer des corpus de tweets en anglais dans lesquels les mots non standards ont été manuellement corrigés et avons mené diverses expériences avec divers protocoles (en validation croisée, ou avec un autre corpus d'évaluation). cet article est organisé de la manière suivante : ## les corpus annotés nous avons utilisé trois corpus annotés : 2577 tweets provenant de (li & liu, 2014) d'une part, les corpus de développement et d'évaluation du workshop wnut d'autre part @xcite les conditions d'expérimentation sont les suivantes : nous avons testé les configurations suivantes :