DEFT 2018: Attention sélective pour classification de microblogs ( DEFT 2018 : Selective Attention for Microblogging Classification ) (2018)

Abstract: Dans le cadre de l’atelier DEFT 2018 nous nous sommes intéressés à la classification de microblogs (ici, des tweets) rédigés en français. Ici, nous proposons une méthode se basant sur un réseau hiérarchique de neurones récurrent avec attention. La spécificité de notre architecture est de prendre en compte –via un mechanisme d’attention et de portes– les hashtags et les mentions directes (e.g., @user), spécifiques aux microblogs. Notre modèle a obtenu de très bon résultats sur la première tâche et des résultats compétitifs sur la seconde.

## introduction l'atelier deft 2018 @xcite proposait différentes tâches autours de l'extraction d'informations de tweets francophones. ici, nous nous sommes focalisés sur les deux premières tâches de classification. pour résoudre ces deux problèmes, nous proposons ici de nous inspirer d'un modèle neuronal hiérarchique issu de l'analyse de sentiments @xcite que nous modifions pour proposer un modèle de représentation prenant en compte les diverses spécificités des microblogs. en effet, les tweets ont souvent une orthographe approximative (lettres répétées, ponctuation excessive ou manquante, smileys...), un vocabulaire spécifique (acronymes, mentions, hashtags...) et même des lettres particulières (emojis en unicode). aussi, ils regorgent de mots-clés (dits hashtags) et de mentions directes (@user). ces mots spécifiques, précédés de marqueurs (# et @), ont souvent une forte valeur informative qu'il convient de proprement intégrer au sein du modèle d'encodage. pour toutes ces raisons, représenter efficacement un tweet est particulièrement compliqué, surtout sur des petits corpus. c'est généralement au prix d'une multitude d'heuristiques complexes qu'il est possible de dépasser toutes ces contraintes pour atteindre des performances proches de celles des modèles neuronaux. à l'inverse, en apprenant des représentations latentes du texte (ou en utilisant des représentation pré-apprises @xcite ), les réseaux de neurones profonds sont moins impactés par ces problèmes syntaxiques et sémantiques. ils sont capables -sans aucun pré-traitement-de détecter des constructions textuelles avancées (comme les doubles négations) et peuvent même encoder une certaine information sémantique (pluriel, féminin-masculin,...). de ce fait, les machines à vecteur de support se basant sur des représentations de type sac de mots ou de n-grams, qui furent longtemps les modèles les plus performants pour résoudre les tâches de classification de documents, sont désormais majoritairement surpassés par les modèles neuronaux avec leurs représentations continues. ici, nous nous inspirons des travaux de @xcite pour construire notre modèle de représentation et de classification de microblogs. ils proposent d'encoder hiérarchiquement le texte (mot par mot puis phrase par phrase) tout en apprenant conjointement -via un mécanisme d'attention-quels sont les éléments discriminants. contrairement à eux, nous faisons l'hypothèse qu'encoder les tweets caractère par caractère est plus pertinent que mot à mot. nous postulons qu'un tel encodage permet de nous abstraire de chacun des problèmes grammaticaux énoncés précédemment. aussi, pour prendre en compte les hashtags et les mentions, nous y ajoutons un mécanisme d'attention et d'interpolation spécifique. cet article est organisé de la façon suivante : nous détaillons dans un premier temps les principaux éléments de notre modèle avant de présenter son architecture globale (section 2). ensuite, nous évaluons notre modèle quantitativement et commentons les résultats obtenus lors de la phase d'évaluation (section 3). enfin, nous proposons certaines pistes pour l'amélioration de notre méthode de représentation de tweet (section 4). 2.1 module récurrent bi-directionel avec attention : le rba ce module est le principal bloc de notre modèle de classification. il prend en entrée une séquence et retourne une représentation transformée et pondérée de celle-ci. dans le reste de l'article, nous appelons ces sous-modules rba pour module reccurent bi-directionnel avec attention. encodage d'une séquence avec un rba formellement, soit une séquence @xmath0, . . . , s i , . . . , s n } composée de n éléments. pour obtenir sa représentation e s , la séquence est d'abord passée par un réseau de neurones récurrent bi-directionnel @xmath1, ← --rb} qui, en parcourant la séquence dans les deux sens, encode le contenu intraséquence. les sorties du réseau récurrent sont concaténées à chaque pas de temps pour obtenir l'ensemble des représentations cachées h i (eq. 1). ici, nous utilisons une cellule gru (chung et al., 2014) comme cellule récurrente. ensuite, chaque élément h i est projeté de manière non linéaire dans un espace d'attention afin de calculer son affinité α i avec un vecteur de tâche a -qui est lui-même appris lors de l'optimisationselon la formule suivante : ces affinités α i sont normalisées à l'aide d'une fonction softmax afin qu'elles somment à 1. ce vecteur de tâche a correspond au point optimal dans l'espace d'attention. (yang et al., 2016) a c atala 2018 montré qu'un tel vecteur de tâche -appris comme un paramètre-permettait au modèle de se focaliser automatiquement sur les éléments discriminants d'une séquence en fonction de la tâche. enfin, la représentation finale e s de la séquence d'entrée est la somme des représentations cachés h i , pondérée par l'attention α. ## evaluation dans le cadre de cet atelier, nous présentons une modification du modèle de @xcite prenant en compte certaines spécificités des microblogs. proposant un modèle de classification, nous participons aux tâches 1 et 2. l'une étant bi-classes et l'autre multi-classes. dans cette section, nous présentons dans un premier temps les données ainsi que les deux tâches que nous avons considérés. puis, nous reportons les évaluations de notre modèle. enfin, nous commentons les résultats obtenus.