Apprentissage de plongements de mots sur des corpus en langue de spécialité : une étude d’impact (Learning word embeddings on domain specific corpora : an impact study ) (2020)

Abstract: Les méthodes d’apprentissage de plongements lexicaux constituent désormais l’état de l’art pour la représentation du vocabulaire et des documents sous forme de vecteurs dans de nombreuses tâches de Traitement Automatique du Langage Naturel (TALN). Dans ce travail, nous considérons l’apprentissage et l’usage de plongements lexicaux dans le cadre de corpus en langue de spécialité de petite taille. En particulier, nous souhaitons savoir si dans ce cadre, il est préférable d’utiliser des plongements préappris sur des corpus très volumineux tels Wikipédia ou bien s’il est préférable d’apprendre des plongements sur ces corpus en langue de spécialité. Pour répondre à cette question, nous considérons deux corpus en langue de spécialité : O HSUMED issu du domaine médical, et un corpus de documentation technique, propriété de SNCF. Après avoir introduit ces corpus et évalué leur spécificité, nous définissons une tâche de classification. Pour cette tâche, nous choisissons d’utiliser en entrée d’un classifieur neuronal des représentations des documents qui sont soit basées sur des plongements appris sur les corpus de spécialité, soit sur des plongements appris sur Wikipédia. Notre analyse montre que les plongements appris sur Wikipédia fournissent de très bons résultats. Ceux-ci peuvent être utilisés comme une référence fiable, même si dans le cas d’O HSUMED, il vaut mieux apprendre des plongements sur ce même corpus. La discussion des résultats se fait en interrogeant les spécificités des deux corpus, mais ne permet pas d’établir clairement dans quels cas apprendre des plongements spécifiques au corpus.

## introduction les approches contemporaines en traitement automatique des langues privilégient une représentation des mots au travers de plongements de mots (ou plongements lexicaux) décrits notamment par @xcite et @xcite . les plongements lexicaux sont des représentations vectorielles compactes des mots, qui encapsulent les liens sémantiques et syntaxiques présents dans les textes des corpus sur lesquels ils ont été appris. l'apprentissage de plongements de mots s'effectue le plus souvent sur un corpus comportant une grande quantité de documents en langue générale comme wikipédia @xcite @xcite . dans notre cas, nous nous concentrons sur la langue de spécialité. la langue de spécialité est celle qui est utilisée pour rendre compte de connaissances sur un sujet ou une discipline spécialisée @xcite @xcite @xcite . par conséquent, le lexique employé est la plupart du temps imposé par la discipline abordée et le vocabulaire employé diffère donc de celui que l'on retrouve dans un corpus non spécialisé. ainsi, il semble nécessaire, pour représenter efficacement le vocabulaire et les documents de tels corpus, d'apprendre les plongements lexicaux sur ces mêmes corpus. cependant, la taille de ces corpus est très nettement inférieure à celle de corpus comme wikipédia, ce qui peut nuire à l'apprentissage des plongements qui repose sur les cooccurrences du vocabulaire. or, plus le nombre de cooccurrences est faible, moins l'algorithme dispose d'informations pour apprendre une représentation du lexique. de ce fait, on cherche à savoir quelle représentation adopter lorsque l'on traite des données en langue de spécialité : est-il préférable d'utiliser des plongements lexicaux appris sur une grande quantité de données non spécialisés ou sur une faible quantité de données spécialisées ? plusieurs études s'intéressent à l'apprentissage de plongements lexicaux sur un corpus spécialisé du domaine médical @xcite en adaptant des modèles appris sur des données en langue générale au domaine médical. @xcite étudient l'apprentissage de plongements lexicaux sur des corpus médicaux et concluent que les plongements lexicaux appris sur un corpus spécialisé capturent mieux les liens sémantiques et syntaxiques que ceux appris sur un corpus non spécialisé. cet article s'inscrit dans la continuité de ces travaux en proposant une étude sur deux corpus en langue de spécialité : ohsumed, un corpus issu du domaine médical, et sncf, un corpus ad hoc de documents techniques. à la différence des approches proposées par @xcite nous décidons de comparer les performances des modèles appris sur des données en langue générale et spécialisée ainsi qu'une spécialisation aussi bien à une tâche de classification de document qu'au domaine spécialisé. dans un premier temps, nous tentons d'estimer la spécificité de ces deux corpus automatiquement, à travers plusieurs indicateurs extraits de la littérature et décrits section 2.1. ensuite, section 2.2, nous détaillons le protocole d'apprentissage des plongements de mots sur les corpus spécialisés ohsumed et sncf, et sur les corpus non spécialisés. dans cette même section, nous présentons le protocole mis en oeuvre pour évaluer les performances des différents plongements appris. ce protocole repose sur une tâche de classification en classes multiples par un réseau neuronal convolutif. puis, nous décrivons les corpus ohsumed et sncf section 3. enfin, nous détaillons section 4 les résultats avant de conclure et de discuter des perspectives de ce travail en cours. ## méthodologie l'objectif de ce travail est de savoir, si utiliser des plongements de mots préappris sur des corpus très volumineux tels que wikipédia est préférable à l'utilisation de plongements lexicaux appris sur nos corpus en langue de spécialité. avant de détailler nos expérimentations sur les plongements lexicaux dans le cadre d'une utilisation sur un corpus spécialisé, nous commençons par définir ce qu'est un corpus spécialisé et présentons quelques indicateurs de la spécialité d'un corpus. ## corpus utilisés nous disposons de deux corpus de documents en langue de spécialité annotés en classes : le corpus sncf (section 3.1) et le corpus ohsumed (section 3.2). nous utilisons le corpus wikipédia comme un corpus en langue non spécialisée (section 3.3). les modèles appris avec les plongements de mots spécialisés obtiennent des résultats significativement meilleurs que ceux obtenus avec des plongements génériques. cette différence est bien plus prononcée sur le corpus ohsumed qu'elle ne l'est sur le corpus sncf. pourtant, le corpus ohsumed est cinq fois plus petit que le corpus sncf, et apprendre une représentation correcte du vocabulaire de ce corpus semble intuitivement plus difficile que pour le corpus sncf. d'après l'indicateur de couverture (section 2.1), le corpus sncf semble plus spécialisé que le corpus ohsumed, et pourtant c'est pour ohsumed qu'il est plus pertinent d'apprendre des plongements spécialisés. ces résultats vont donc à l'encontre des intuitions que nous pouvons avoir à l'issue de la section 2.1. en revanche, ces résultats confirment qu'il est préférable de mettre à jour les plongements de mots lors de l'apprentissage de la tâche de classification (courbes continues trainable). ## conclusion et perspectives dans cet article, nous cherchons à déterminer quels types de plongements utiliser lorsque l'on considère des documents issus d'un corpus en langue de spécialité. en effet, il est possible d'utiliser des plongements préappris sur un corpus plus volumineux tel que wikipédia, ou bien d'apprendre des plongements sur le corpus spécialisé de taille réduite. pour mener à bien nos expérimentations, nous utilisons deux corpus en langue de spécialité, ohsumed et sncf. nous détaillons dans un premier temps quelques indicateurs pour tenter d'estimer le degré de spécialité de ces corpus, par ex. la couverture du vocabulaire, la diversité du lexique et des scores de lisibilité. on constate que le vocabulaire du corpus sncf semble particulièrement spécialisé, il est très peu couvert par les dictionnaires alors qu'il est moins varié. le corpus ohsumed est lui plutôt bien couvert. par ailleurs, nous montrons avec les scores de lisibilité que ces corpus semblent complexes, c.-à-d. construits avec des phrases longues et de nombreux mots polysyllabiques, en particulier pour ohsumed. enfin, le corpus ohsumed est cinq fois plus petit que le corpus sncf au regard du nombre d'unités lexicales, il semble donc plus difficile d'obtenir des plongements de bonne qualité sur ce corpus. nous apprenons ensuite à catégoriser les documents de ces corpus en utilisant en entrée de nos classifieurs soit des plongements appris sur des corpus wikipédia (générique), soit des plongements appris sur le corpus considéré spécialisé. il s'agit de voir quels types de plongements sont les plus efficaces pour résoudre ce problème. les résultats confirment les travaux @xcite sur les corpus médicaux : dans le cas d'ohsumed, les résultats sont meilleurs avec des plongements appris sur ce même corpus. pourtant, ce corpus est plus petit que sncf et son vocabulaire mieux couvert avec un dictionnaire classique. en revanche, dans le cas de sncf, les plongements appris sur ce dernier ne sont pas plus performants que ceux appris sur wikipedia. le corpus est pourtant moins bien couvert, et de plus grande taille. il est donc difficile de conclure avec ces résultats préliminaires. nous pouvons tout de même dire que des plongements appris sur un corpus non spécialisé permettent d'obtenir une baseline de bonne qualité, même si dans le cas d'ohsumed, réapprendre les plongements améliore les résultats. par ailleurs, il est nécessaire de faire la rétropropagation jusqu'à la couche de plongements lexicaux. spécialiser les plongements pour la tâche garantit de bons résultats pour la classification. enfin, la couverture, la lisibilité ou la taille du corpus ne semblent pas être des indicateurs suffisants pour pouvoir décider s'il faut ou non apprendre des plongements spécialisés. par exemple, de façon contreintuitive, même si l'on dispose de peu de cooccurrences sur ohsumed, il vaut mieux apprendre des plongements sur ce corpus pour classifier ses documents. et même si le vocabulaire de sncf semble plus spécialisé, contre-intuitivement, des plongements appris sur un corpus non spécialisé obtiennent de bons résultats. en perspective, il s'agirait bien entendu de reproduire cette étude sur d'autres corpus. dans notre étude, nous disposons de deux corpus en langue différente, et cela peut fragiliser nos conclusions : les dictionnaires sont différents, les corpus wikipédia également. de plus, pour mieux caractériser la spécificité des corpus, nous pourrions utiliser d'autres indicateurs. par exemple, la couverture des acronymes et abréviations à l'aide d'un lexique, la distribution des étiquettes morphosyntaxiques (pos), ou encore la distribution des transitions entre ces étiquettes semblent être des estimateurs utiles @xcite . par ailleurs, il serait également intéressant d'étudier les effets possibles de la terminologisation en nous basant sur des ontologies spécialisées au domaine des corpus traités. enfin, il serait également intéressant de comparer les espaces appris par la méthode de plongements afin d'étudier de manière qualitative ce qui différencie les plongements appris sur les corpus spécialisés, des plongements appris sur les corpus non spécialisés.