Des représentations continues de mots pour l’analyse d’opinions en arabe: une étude qualitative (Word embeddings for A rabic sentiment analysis : a qualitative study) (2018)

Abstract: Nous nous intéressons, dans cet article, à la détection d’opinions dans la langue arabe. Ces dernières années, l’utilisation de l’apprentissage profond a amélioré des performances de nombreux systèmes automatiques dans une grande variété de domaines (analyse d’images, reconnaissance de la parole, traduction automatique, . . .) et également celui de l’analyse d’opinions en anglais. Ainsi, nous avons étudié l’apport de deux architectures (CNN et LSTM) dans notre cadre spécifique. Nous avons également testé et comparé plusieurs types de représentations continues de mots (embeddings) disponibles en langue arabe, qui ont permis d’obtenir de bons résultats. Nous avons analysé les erreurs de notre système et la pertinence de ces embeddings. Cette analyse mène à plusieurs perspectives intéressantes de travail, au sujet notamment de la constitution automatique de ressources expert et d’une construction pertinente des embeddings spécifiques à la tâche d’analyse d’opinions.

## introduction avec la montée d'internet et la révolution des réseaux sociaux, un grand nombre d'individus peuvent exprimer leurs points de vue et leurs sentiments sur des entités, des produits, des personnes, etc. dans ce contexte, le domaine de l'analyse automatique d'opinions connait un intérêt croissant de la part des entreprises et de la communauté scientifique 1 . par ailleurs, les avancées scientifiques récentes dans les techniques d'apprentissage profond ainsi que la croissance des puissances de calcul, a mené à l'amélioration significative des performances dans différents domaines tels que la reconnaissance de la parole ou la traduction automatique. la recherche en analyse d'opinions a également tiré profit de l'apprentissage profond, et plusieurs travaux ont été réalisés avec ce type d'apprentissage. dans cet article, nous nous focalisons sur la détection d'opinions par des méthodes à base de réseaux de neurones pour la langue arabe. nous effectuerons nos experiences sur le corpus large-scale arabic book review (labr) qui est un corpus de critiques de livres en langue arabe. nous présentons en section 2 un état de l'art du domaine. nous proposons ensuite, en section 3, nos deux systèmes neuronaux. le premier s'appuie sur un réseau de neurones convolutifs cnn et le second sur un réseau neuronal réccurent de type long short-term memory lstm. nous étudions particulièrement l'utilisation de plusieurs types de représentations continues de mots disponibles pour la langue arabe (section 4). nous analysons, en section 5, les erreurs de nos systèmes puis menons une analyse afin d'évaluer la pertinence des embeddings pour la tâche spécifique de détection d'opinions. nous concluons et exposons les perspectives en section 6. les travaux effectués dans ce domaine peuvent être classés selon trois approches. la première est symbolique, elle utilise des lexiques et des règles linguistiques. la deuxième consiste en une approche statistique qui s'appuie sur des méthodes d'apprentissage automatique. pour finir, il existe une approche hybride qui est une combinaison des deux précédentes : elle utilise à la fois des lexiques et des algorithmes d'apprentissage automatique. jusqu'à récemment, les machines à vecteurs de supports svm @xcite et les classifieurs naïfs de bayes nb @xcite représentaient les classifieurs les plus répandus dans ce domaine. suivant la mouvance actuelle, les travaux récents font recours à l'apprentissage profond @xcite @xcite . peu de travaux ont été réalisés pour l'analyse d'opinions en langue arabe. ceci s'explique par le faible nombre de ressources développées et leur non disponibilité @xcite . nous citons quelques travaux existants selon leur catégorie. suivant une approche linguistique, @xcite proposent une méthode s'appuyant sur un ensemble de patrons permettant d'extraire les polarités d'un document financier. pour les travaux à base de lexiques, @xcite construisent manuellement un lexique contenant 4815 mots. leur système calcule le nombre de mots positifs et négatifs dans un texte afin de générer sa polarité globale. @xcite ont mis en place un outil qui détermine la subjectivité, la polarité d'une opinion et son intensité. ils utilisent deux lexiques généraux et seize lexiques spécifiques. suivant une approche statistique, @xcite proposent un système de détection de subjectivité et de polarité dans les réseaux sociaux en utilisant des attributs morphologiques. @xcite comparent trois classifieurs : svm, nb et un réseau de neurones simple. pour finir, nous présentons les travaux à base de systèmes hybrides. (el-halees, 2011) est le premier à avoir proposé un système hybride pour l'analyse d'opinions pour l'arabe. il propose une hiérarchie séquentielle de classifications combinées. (ibrahim et al., 2015) utilise un lexique de 5244 adjectifs, un lexique de 3296 idiomes pour améliorer la classification de phrases avec un svm. (refaee & rieser, 2016) appliquent une approche hybride pour la prédiction de l'intensité de la polarité dans les tweets. ils ont utilisé particulièrement la régression logistique pour prédire les scores initiaux qui sont ajustés en appliquant des règles extraites à partir d'un lexique de polarité. plusieurs travaux récents appliquent des techniques d'apprentissage profond pour l'analyse d'opinion. @xcite utilise les représentations continues de documents combinées avec un perceptron multicouche (pmc) tandis que @xcite utilisent un cnn. nous détaillons dans la suite les différents systèmes que nous avons mis en place pour l'analyse d'opinions en arabe avec des méthodes d'apprentissage neuronal. ## systèmes d'analyse d'opinions pour l'arabe dans ce travail, nous nous intéressons à la classification selon leur polarité de critiques de livres en langue arabe. nous avons implémenté deux systèmes : un cnn et un lstm dont nous détaillons, dans la suite, les architectures. nous décrivons également les différents types d'embeddings que nous avons utilisés.