Exploration de l’apprentissage par transfert pour l’analyse de textes des réseaux sociaux (Exploring neural transfer learning for social media text analysis ) (2019)

Abstract: L’apprentissage par transfert représente la capacité qu’un modèle neuronal entraîné sur une tâche à généraliser suffisamment et correctement pour produire des résultats pertinents sur une autre tâche proche mais différente. Nous présentons dans cet article une approche fondée sur l’apprentissage par transfert pour construire automatiquement des outils d’analyse de textes des réseaux sociaux en exploitant les similarités entre les textes d’une langue bien dotée (forme standard d’une langue) et les textes d’une langue peu dotée (langue utilisée en réseaux sociaux). Nous avons expérimenté notre approche sur plusieurs langues ainsi que sur trois tâches d’annotation linguistique (étiquetage morpho-syntaxique, annotation en parties du discours et reconnaissance d’entités nommées). Les résultats obtenus sont très satisfaisants et montrent l’intérêt de l’apprentissage par transfert pour tirer profit des modèles neuronaux profonds sans la contrainte d’avoir à disposition une quantité de données importante nécessaire pour avoir une performance acceptable.

## introduction les méthodes d'apprentissage automatique qui reposent sur les réseaux de neurones (rns) obtiennent des performances qui s'approchent de plus en plus de la performance humaine dans plusieurs applications du traitement automatique de la langue (tal) qui bénéficient de la capacité des différentes architectures des rns à généraliser à partir des régularités apprises à partir d'exemples d'apprentissage. en particulier, la structure ordonnée et les dépendances temporelles des données textuelles nécessitent un traitement spécifique. en effet, le contexte joue un rôle important pour identifier le sens d'un mot ou comprendre une phrase dans un document. pour ce type de tâches, les rns récurrents (rnns pour reccurent neural networks) et ses variantes ; dont les deux principales : le modèle long short-term memory (lstm) et sa version simplifiée gated recurrent units (grus) sont les plus adaptés grâce à leur capacité à conserver en mémoire les informations pertinentes en analysant les mots (ou les caractères) dans un ordre précis. en outre, les rns à convolutions (cnns pour convolutional neural networks) ont aussi montré leur efficacité pour l'encodage des caractères. plusieurs études @xcite ont montré que les cnns représentaient l'architecture idéale pour l'extraction et l'encodage des informations morphologiques (racine, préfixe, suffixe, etc.), en particulier pour les langues avec une morphologie riche @xcite comme l'arabe, les langues slovaques, le hindi, etc. toutefois, pour être performants, ces modèles neuronaux ont besoin de corpus annotés de taille importante. par conséquent, uniquement les langues et les domaines bien dotés peuvent bénéficier directement de l'avancée apportée par les rns, comme par exemple les formes standard de l'anglais, du français, de l'arabe, entre autres. cependant, la majorité des langues ne sont pas dotées en données d'apprentissage ou ayant des données annotées de très petite taille @xcite . dès lors, les systèmes les plus performants de l'état de l'art pour les langues peu dotées sont ceux fondés sur des règles, construites manuellement dans la majorité des cas. la principale limitation de ces systèmes réside dans leur incapacité à s'adapter à de nouvelles langues et de nouveaux domaines. pour pallier au problème de la dépendance des rns aux données annotées, de nombreux travaux récents s'intéressent à la construction de modèles statistiques et particulièrement des modèles neuronaux pour les domaines peu dotés en exploitant les données annotées des domaines bien dotés @xcite . particulièrement, la succession de couches dans les rns leur permet d'apprendre les connaissances d'une façon hiérarchique, en d'autres termes, des connaissances générales aux couches inférieures et des connaissances spécifiques au problème d'apprentissage aux couches supérieures. par exemple en traitement d'images les premières couches ont tendance à apprendre les bordures @xcite et les connaissances morphologiques en tal @xcite , d'où l'intérêt de l'apprentissage par transfert neuronal (tl pour transfer learning) qui consiste à transférer les connaissances acquises lors de l'apprentissage des problèmes sources aux problèmes cibles. nous étudions plus particulièrement dans cet article l'apport du tl par fine-tuning pour l'adaptation au domaine, pour contourner le problème de manque de données d'apprentissage dans le domaine des réseaux sociaux (rs). en effet, les performances des outils tal utilisant des modèles neuronaux appris sur des corpus volumineux annotés manuellement tels que le corpus wall street journal (wsj) de penn treebank (ptb) @xcite et évalués sur des données du même domaine se rapprochent des performances humaines (97.96% de précision par @xcite ). en revanche, les performances de ces outils chutent fortement lorsque ceux-ci sont appliqués sur des données hors domaine telles que les textes générés par les internautes sur les rs notamment les textes de nature conversationnelle (twitter, sms, etc.). cela est dû principalement aux erreurs linguistiques, aux incohérences orthographiques, aux abréviations informelles et au style idiosyncratique. de plus, twitter pose un problème supplémentaire en imposant une limite de 280 caractères pour chaque tweet. les expériences menées sur trois tâches : l'étiquetage des séquences des textes des rs : l'annotation en parties de discours (pos tagging), l'annotation morpho-syntaxique (ms tagging) et la reconnaissance des entités nommées (ne recognition) montrent l'efficacité du fine-tuning pour l'annotation des textes des rs. le reste de cet article est organisé comme suit : nous commençons dans la section 2 par formaliser l'approche que nous utilisons pour le transfert de connaissances apprises à partir de la forme standard des langues pour l'amélioration de l'annotation des textes des rs. ensuite, nous décrivons dans la section 3 l'architecture neuronale, les tâches et les corpus sur lesquels nous avons expérimenté notre approche. nous discutons, par la suite, les résultats que nous avons obtenus dans la section 4. et finalement, la section 5 conclut notre étude et présente nos travaux futurs.