Adaptation au domaine de modèles de langue à l’aide de réseaux à base de graphes (Graph Neural Networks for Adapting General Domain Language Modèles Specialised Corpora) (2022)

Abstract: Les modèles de langue prodonds encodent les propriétés linguistiques et sont utilisés comme entrée pour des modèles plus spécifiques. Utiliser leurs représentations de mots telles quelles pour des domaines peu dotés se révèle être moins efficace. De plus, ces modèles négligent souvent les informations globales sur le vocabulaire au profit d’une plus forte dépendance à l’attention. Nous considérons que ces informations influent sur les résultats des tâches en aval. Leur combinaison avec les représentations contextuelles est effectuée à l’aide de réseaux de neurones à base de graphes. Nous montrons que l’utilité de cette combinaison qui surpassent les performances de baselines.

## introduction l'analyse distributionnelle repose sur l'hypothèse harrissienne @xcite selon laquelle le degré de similarité des contextes de deux mots définit leur proximité sémantique, en traitant le sens et les concepts comme des dimensions sous-jacentes du texte. traditionnellement, les modèles de sémantique distributionnelle prennent deux formes : la première consiste à créer une matrice pondérée de mots cibles et de leurs contextes de distribution associés. la seconde, l'approche prédictive, consiste à utiliser des méthodes neuronales pour créer des représentations denses des mots : @xcite @xcite . les sorties de ces modèles sont utilisées, en aval, comme moyen de caractériser les unités sémantiques dans des tâches de traitement automatique des langues (tal). grâce aux récents progrès en tal, de nouvelles architectures telles que @xcite , ont vu le jour. ces modèles de langues contextuels occupent désormais une place centrale dans un large éventail de tâches classiques du tal et sont construits à l'aide de gigantesques corpus de langue générale @xcite . la qualité des représentations issues de ces méthodes est souvent corrélée au volume de données disponibles. dans le cas des domaines spécialisés, les corpus sont généralement de taille plus modeste, et ces méthodes se révèlent moins efficaces foot_0 . les modèles utilisant des mécanismes d'attention, tels que bert, capturent efficacement les informations contextuelles et les nuances locales au sein d'une phrase ainsi que bon nombre d'informations sémantiques et syntaxiques, mais leur capacité à capturer des informations globales sur le vocabulaire est plus limitée @xcite . l'utilisation de l'auto-attention ou self-attention contribue à la construction de représentations plus riches, en considérant la relation d'un mot (ou d'un "token") et de ses voisins dans la phrase, mais cela peut ne pas être suffisant : pour la plupart des tâches spécialisées, des informations supplémentaires sur la façon dont les mots et les termes sont liés de façon globale sont souvent essentielles pour obtenir de bons résultats sur des tâches en aval. pertinent pour générer une représentation contextualisée, le contexte seul pourrait ne pas être suffisamment discriminant pour générer une bonne représentation. des approches ont été récemment développées pour explorer et exploiter la façon dont les mots sont liés les uns aux autres dans le corpus. les méthodes à base de graphes s'y prêtent bien : on peut citer les réseaux convolutifs à base de graphes (gcn) @xcite et ses variants, text-gcn @xcite et vgcn @xcite . à la manière de ce dernier, nous proposons de combiner les principales forces des deux modèles (gcn et bert) dans la même architecture, limitant ainsi l'influence du contexte sur la représentation des mots rares ou du domaine en y ajoutant des informations plus conceptuelles. ## tâches et ressources termeval 2020 les méthodes existantes pour l'extraction terminologique ne répondent souvent pas aux attentes des spécialistes du domaine, et sont considérés comme pouvant être considérablement améliorées. nous utilisons les données de termeval 2020 foot_1 , qui consiste en quatre corpus traitant de corruption, dressage, énergie éolienne et d'insuffisance cardiaque, en anglais, français et néerlandais. medsts and biosses créé par @xcite , biosses comprend 100 paires de phrases en langue anglaise, tirées du jeu de données d'entraînement de la tac (text analysis conference) biomedical summarization track, contenant des articles du domaine biomédical. medical semantic textual similarity (medsts) @xcite est une tâche de similarité sémantique entre phrases du domaine clinique. le jeu de données est composé de 1642 paires de phrases, provenant de la tâche partagée de 2018 et de 2 dossiers médicaux électroniques, ge et epic. ## méthodologie adaptation au domaine les plongements de mots pré-entraînés sont un élément essentiel dans de nombreuses architectures tal. tirés de modèles de langue tout-venant, ils sont intégrées dans un modèle spécifique à la tâche, ce qui améliore souvent les résultats. l'adaptation de ces modèles prend généralement deux formes @xcite : l'extraction de descripteurs, où les poids du modèle sont utilisés tels quels en entrée d'un autre système, et le "fine-tuning", où les poids du modèle continuent à être entraînés sur les nouvelles données pour une tâche spécifique. réseaux convolutifs à base de graphes les gnn sont connus pour traiter des problèmes de représentations hiérarchisées : on peut les utiliser pour créer des graphes de vocabulaire et des embeddings conservant les relations hiérarchiques entre les mots dans un texte. la version convolutive de ce modèle, le gcn, permet d'effectuer des opérations de convolution sur les noeuds voisins dans le graphe, ce qui permet d'obtenir une représentation d'un mot qui intègre des informations de son voisinage, ce qui permet d'intégrer des informations sur le contexte global de mot. puisque nous utilisons le vocabulaire pour construire le graphe, nous utilisons le vgcn @xcite . le vgcn prend en compte les informations plus globales sur le vocabulaire, mais échoue à capturer les informations locales, c'est pourquoi nous l'utilisons conjointement avec bert. le graphe de vocabulaire est construit en utilisant à la fois les tokens @xcite et les cooccurrences des mots dans les documents. nous le combinons ensuite cette représentation au niveau de la couche d'embedding de bert. ces embeddings sont alors passés directement au premier encodeur à auto-attention (self-attention) de bert. pour chaque token, l'embedding du graphe et l'embedding du mot interagissent au travers du mécanisme d'auto-attention tout en adaptant le modèle pour la tâche. assez traditionnellement, notre gcn comporte deux couches @xcite . avec un gcn à une couche, chaque noeud ne peut obtenir les informations que de ses voisins immédiats. en ajoutant une autre couche convolutive par-dessus, nous répétons cette "agrégation" du voisinage, mais cette fois, les voisins ont déjà des informations sur leurs voisins, qui leur viennent de la convolution précédente. le nombre de couches est en réalité le nombre maximal de sauts que chaque noeud peut atteindre. cependant, nous ne voulons généralement pas aller trop loin dans le graphe au risque de le lisser, d'en effacer des informations importantes, et de rendre la représentation générée moins significative, ce qui peut entraîner une baisse des performances @xcite dans la tâche en aval. les noeuds du gcn sont des "entités" de la tâche, telles que des mots, des "tokens" ou des documents. cette architecture exige donc que toutes les entités, c'est-à-dire celles de l'ensemble d'apprentissage, de validation et de test, soient présentes dans le graphe pendant l'entraînement. inspiré de @xcite , notre modèle combine les plongements du gcn et les plongements de bert et les transmets au premier encodeur de bert. cela permettra de conserver l'information liée à l'ordre des mots dans la phrase et d'utiliser les informations locales et contextuelles de la représentation bert, tout en y incorporant les informations plus globales obtenues par gcn. ces dernières interagiront avec la représentation bert au travers des 12 couches d'encodeurs du modèle profond. nous testons également deux autres méthodes de combinaison : pour la première, au lieu d'intégrer le gcn directement au niveau des couches d'encodeurs de bert, nous l'ajoutons simplement au plongement de bert avant de le transmettre à l'encodeur. la seconde consiste à produire deux sorties, une du gcn et une du bert, à les concaténer juste avant d'appliquer un relu et à les transmettre à la couche de classification "fully-connected". 38,6 ± 0,3 69.3 ± 1.0 49.1 ± 0.1 42.8 ± 0.9 61.3 ± 0.7 49.8 ± 0.7 34.2 ± 0.8 75.4 ± 1.0 47.0 ± 1.0 + gcn embed 40,0 ± 0,7 68,7 ± 0,5 49,7 ± 0,4 42,2 ± 0,6 62,8 ± 0,6 50,3 ± 0,9 34,1 ± 0,1 72,2 ± 0,9 47,6 ± 0,1 mots rares et wordpieces les modèles de langue ont du mal à représenter les mots peu fréquents @xcite . ce problème est quasiment inévitable lorsque nous disposons de corpus d'entraînement de petite taille : l'exploitation des informations globales et locales permet alors d'obtenir des représentations plus riches (1a). en effet, pour les entités multi-mots contenant des constituants rares, les résultats sont souvent meilleurs pour bert augmenté. par ailleurs, bert décompose les mots en wordpieces : ainsi, "adenocarcinoma" sera décomposé en "aden", "oca", "rc", "ino", "ma" et "carcinoma" sera décomposé en "car", "cino", "ma", faisant de "ma" le seul wordpieces qu'ils partagent, même si les deux mots sont sémantiquement très proches. pour ce problème, des méthodes existent, notamment pour la génération de wordpieces adaptés aux textes cliniques @xcite , mais leur utilisation signifie que nous devons ré-entraîner du modèle bert. pour tenter de contrer le problème des wordpieces, nous utilisons à la fois des mots complets et les wordpieces pour construire nos graphes de vocabulaire. cela permet au modèle d'associer les informations des wordpieces à des contextes plus riches. nous pouvons voir (figure 1b ) que pour les entités multi-mots contenant un certain nombre de wordpieces, la f1 mesure de bert augmenté avec le gcn est plus élevé, suggérant que la fusion des informations sur les mots complets et les wordpieces dans le graphe est effectivement bénéfique. pour plus de sept mots, la performance chute. cela peut être imputé à des problèmes d'empans, comme les erreurs de type 5 ( ## discussion globalement, les résultats que nous reportons suggèrent qu'il est effectivement bénéfique de fusionner les informations locales et globales. cela se constate lors de la lecture du tableau 4, où le nombre d'erreurs diminue lorsque des informations globales sont ajoutées. cette baisse des erreurs, en particulier de faux positifs, est visible dans le tableau 1, où une augmentation de la précision est notée dans tous les cas. cependant, les scores globaux et le pourcentage élevé d'erreurs de span indiquent que des améliorations sont encore possibles. une analyse plus approfondie peut également être menée sur les wordpieces. bert décompose les mots wordpieces. le problème pour les domaines spécialisés est qu'une méthode de tokenisation des wordpieces plus orientée vers le domaine est probablement plus appropriée. par exemple, avec le tokeniseur de mots de bert, "adenocarcinoma" sera décomposé en "aden", "oca", "rc", "ino", "ma" et, étonnamment, "carcinoma" sera décomposé en "car", "cino", "ma", faisant de "ma" le seul wordpieces qu'ils partagent, même si les deux mots sont sémantiquement très proches. certaines méthodes ont été développées, notamment pour les wordpieces adaptés aux textes cliniques @xcite . cependant, leur utilisation signifie que nous devons réentraîner l'ensemble du modèle bert (comme pour clinicalbert, par exemple), ce qui va à l'encontre de la notion de l'adaptation ou de transfer learning. nous comptons donc sur le gcn pour récupérer ces éléments d'information manquants et les réintégrer dans le modèle bert. d'après les résultats de la figure 1b, pour les mots contenant des wordpieces, le f1-score est plus élevé avec le bert augmenté qu'avec le bert classique. les mêmes tendances peuvent être observées pour les mots rares : même si tous les modèles sont moins performants sur ces mots rares, dans l'ensemble, les résultats sont plus élevés pour bert avec des informations globales supplémentaires. cependant, l'une des principales limites de ce travail -et des travaux sur les réseaux de neurones à base de graphes en général -est la nécessité d'utiliser toutes les entités, y compris celles de l'ensemble d'apprentissage, de l'ensemble de validation et de l'ensemble de test, pour construire le graphe de vocabulaire. une autre chose à mentionner est que des travaux antérieurs (nejadgholi et al., 2020) ont souligné qu'un certain nombre de ces erreurs de type 5, comme vu dans le tableau 4 sont en fait des entités valides, et les catégoriser comme faux positifs pourrait en fait être un défaut des mesures d'évaluation existantes et spécifiques à la tâche, en particulier dans le cas de la reconnaissance d'entités nommées et de l'étiquetage de séquences. dans ce travail, nous avons voulu examiner s'il était possible d'améliorer les modèles tout-venant pour des langues et des domaines pour lesquels il n'existe pas de biobert et de clinical bert. par exemple, il n'existe pas de windbert ou de politicalbert pour la tâche termeval, et donc cette étape d'adaptation au domaine a du sens et est même nécessaire, si l'on souhaite utiliser bert. l'utilisation d'un réseau neuronal à base de graphes construit sur le vocabulaire du corpus exclusivement, sans ajouter de ressources provenant de terminologies ou de graphes de connaissances externes, suit la même logique et découle de notre décision de trouver un moyen d'améliorer le modèle de manière intrinsèque sans utiliser de ressources externes. comme nous l'avons dit précédemment, même si de nombreuses ressources existent pour la langue anglaise, il est toujours important d'explorer divers moyens d'adapter les modèles existants à nos tâches spécialisées en aval où le volume de données est souvent insuffisant. le point le plus important à retenir de ce travail est le fait d'obtenir ces résultats sans aucun corpus supplémentaire, de façon tout à fait endogène. cela en dit long sur la puissance de ces architectures neuronales et sur la façon dont les représentations contextuelles et non contextuelles peuvent être améliorées en modifiant simplement l'architecture des modèles et en réarrangeant astucieusement les données d'entraînement. 7 conclusion la qualité des représentations vectorielles de mots obtenues à partir des modèles de langue est souvent corrélée au volume de données disponibles pour l'entraînement de ces derniers. les tâches liées aux domaines spécialisés s'en trouvent désavantagées : l'utilisation de ces méthodes implique une phase d'adaptation gourmande en ressources textuelles alors que les corpus spécialisés sont généralement de taille modeste. dans ce travail, nous tentons de comprendre comment ces méthodes peuvent être adaptées en utilisant des descripteurs supplémentaires pour une série de tâches spécialisées. les résultats obtenus avec nos méthodes surpassent les baselines sur nos tâches sans jeu de données supplémentaires, montrant qu'il est bénéfique de fusionner les informations locales (bert) et globales (gcn). nos travaux futurs porteront sur une analyse plus approfondie des couches d'attention après l'ajout d'informations globales, ainsi que sur la prise en compte des relations plus complexes pour construire le gcn, avec notamment l'exploitation de graphes orientés pour coder les relations de dépendances, la synonymie, l'hypo-et l'hyperonymie. références bojanowski p., grave e., joulin a. & mikolov t. (2017). enriching word vectors with subword information. transactions of the association for computational linguistics, 5, 135-146. doi : 10.1162/tacl_a_00051. devlin j., chang m.-w., lee k. & toutanova k. (2019). bert : pre-training of deep bidirectional transformers for language understanding. in proceedings of the 2019 conference of the north american chapter of the association for computational linguistics : human language technologies (naacl-hlt'18), p. 4171-4186, minneapolis, mn, usa. doi : 10.18653/v1/n19-1423. eisenschlos j., ruder s., czapla p., kadras m., gugger s. & howard j. (2019). multifit : efficient multi-lingual language model fine-tuning. in proceedings of the 2019 conference on empirical methods in natural language processing and the 9th international joint conference on natural language processing (emnlp-ijcnlp), p. 5702-5707, hong kong, china : association for computational linguistics. doi : 10.18653/v1/d19-1572. graff d., kong j., chen k. & maeda k. (2003). english gigaword. linguistic data consortium, philadelphia, 4(1), 34. harris z. s. (1954). distributional structure. word, 10(2-3), 146-162. doi : 10.1080/00437956.1954.11659520.