Plongements lexicaux spécifiques à la langue arabe : application à l’analyse d’opinions ( A rabic-specific embedddings : application in Sentiment Analysis) (2019)

Abstract: Nous nous intéressons, dans cet article, à la tâche d’analyse d’opinions en arabe. Nous étudions la spécificité de la langue arabe pour la détection de polarité. Nous nous focalisons ici sur les caractéristiques d’agglutination et de richesse morphologique de cette langue. Nous avons particulièrement étudié différentes représentations d’unité lexicale : token, lemme et light stemme. Nous avons construit et testé des espaces continus de ces différentes représentations lexicales. Nous avons mesuré l’apport de tels types de representations vectorielles dans notre cadre spécifique. Les performances du réseau CNN montrent un gain significatif de 2% par rapport à l’état de l’art.

## introduction avec internet et l'explosion des réseaux sociaux, un grand nombre d'internautes expriment leurs points de vue et leurs sentiments sur des entités, des produits, des personnes, etc. dans ce cadre, le domaine d'analyse automatique d'opinions est en plein essor. il consiste souvent à identifier la subjectivité et la polarité (positive, négative, neutre) d'un énoncé donné @xcite . dans ce travail, nous nous intéressons à l'analyse d'opinions à partir de textes rédigés en langue arabe. les travaux effectués dans ce domaine permettent de distinguer trois approches. la première est symbolique, elle utilise des lexiques @xcite et des règles linguistiques @xcite . la deuxième consiste en une approche statistique qui s'appuie sur des méthodes d'apprentissage automatique @xcite . quant à la troisième, elle est hybride, elle utilise à la fois des lexiques et des algorithmes d'apprentissage automatique @xcite @xcite . la recherche en analyse d'opinions a tiré profit des avancées scientifiques dans les techniques d'apprentissage profond, et plusieurs travaux ont été récemment réalisés avec ce type d'apprentissage. @xcite teste différents réseaux profonds. @xcite , quant à eux, utilisent une architecture à base de réseau convolutif cnn. la majorité des réseaux neuronaux prennent comme entrée des représentations vectorielles continues (embeddings) de mots. l'espace de projection est un espace continu supposé préserver les similarités sémantiques et syntaxiques des mots. les word embeddings se sont révélés être un atout fondamendal pour plusieurs tâches de traitement du langage naturel, y compris l'analyse d'opinions. word2vec @xcite et glove @xcite sont parmi les algorithmes de construction d'embeddings les plus répandus. plus récemment, les embeddings contextuels elmo @xcite et bert @xcite sont apparus pour gérer à la fois les contextes linguistiques et la syntaxe/sémantique des mots. pour la langue arabe, quelques ressources d'embeddings sont disponibles. @xcite a entrainé le modèle word2vec @xcite de type cbow sur des pages web. @xcite regroupe six modèles d'embeddings @xcite entrainés sur trois types de corpus différents : twitter, wikipédia et des pages web. @xcite utilise ces embeddings de mots pré-entrainés et obtient de bonnes performances pour l'analyse d'opinions en arabe. néanmoins, des améliorations peuvent encore être obtenues si l'on prend en compte les nombreuses spécificités de la langue arabe. notamment, si l'on considère que la définition d'un mot, au sens graphique, est une séquence de caractères délimitée par deux séparateurs (blanc ou autre marqueur de séparation, tel que la ponctuation), alors un mot en arabe peut avoir une structure très complexe. en effet, ce mot peut être décomposable en proclitique(s), forme fléchie et enclitique(s). par exemple, le mot /asyejbh/ (est-ce qu'il va lui plaire), se compose d'une particule d'interrogation et de futur , de la forme fléchie et du pronom relatif qui sont tous agglutinés. dans cette perspective, nous supposons qu'une décomposition en éléments simples du mot complexe pourrait réduire la taille du vocabulaire arabe (comprenant plusieurs centaines de millions de mots) et augmenter les occurrences de chacun des éléments et leurs contextes. ceci pourrait améliorer la qualité des représentations vectorielles. dans cet article, notre objectif consiste donc à vérifier et valider cette hypothèse. les embeddings pré-entrainés existants représentent un mot arabe sans considération des caractéristiques d'agglutination et de la richesse morphologique de l'arabe. nous nous focalisons dans ce travail sur la spécificité de la langue arabe et nous construisons des embeddings pour différentes représentations du mot : le token (unité morpho-syntaxique simple, le mot est notamment séparé de la ponctuation), le lemme (forme canonique du token) et le light stemme (suppression des affixes du token). à notre connaissance, c'est le premier travail proposant la construction de tels embeddings. ces derniers seront prochainement disponibles gratuitement. dans cet article, nous nous intéressons à la détection d'opinions par les méthodes d'apprentissage profond pour la langue arabe. nous effectuons nos experiences sur le corpus large-scale arabic book review (labr), corpus de critiques de livres en arabe. nous présentons en section 2 notre méthodologie pour la contruction des embeddings spécifiques à l'arabe. nous proposons ensuite, en section 3, notre système neuronal basé sur un réseau de neurones convolutifs (cnn) en justifiant le choix de quelques hyperparamètres suite à une analyse du corpus. nous présentons et analysons, en section 4, les performances. finalement, nous concluons et exposons les perspectives de ce travail en section 5. les différents espaces d'embeddings sont construits en utilisant le modèle word2vec @xcite . la version skip-gram de ce dernier est meilleure pour l'analyse d'opinions en anglais (kim, 2014) et arabe @xcite . nous avons donc construit 3 espaces d'embeddings (de dimension 300) dédiés aux 3 différentes unités lexicales (tokens, lemmes et light stemmes) avec le type skip-gram. la ## système d'analyse d'opinions pour l'arabe les réseaux convolutifs cnn ont prouvé leurs performances dans l'analyse d'opinions pour l'anglais (kim, 2014) et l'arabe @xcite . nous avons donc choisi cette architecture pour implémenter notre système et évaluer ses performances pour l'arabe 5 . nous décrivons dans la suite l'architecture du cnn et nous détaillons le choix de quelques hyperparamètres liés à notre analyse du corpus. ## conclusion et perspectives nous avons souhaité prendre en compte les spécificités de la langue arabe. ainsi, nous avons proposé et construit 3 espaces d'embeddings prenant en compte l'agglutination et la richesse morphologique de la langue arabe. nous avons mesuré l'utilité de tels embeddings et nous avons trouvé des performances proches, de l'ordre de 91%. le meilleur résultat sur le corpus de développement est obtenu par les tokens tandis que sur le corpus de test, il est atteint avec des embeddings de lemmes ou light stemmes. nous notons une amélioration d'environ 2% par rapport à la baseline (89,34%). à notre connaissance, c'est le premier travail qui contruit et teste les embeddings de différentes représentations lexicales en arabe.