Intégration de connaissances structurées par synthèse de texte spécialisé (2023)

Abstract: Les modèles de langue de type Transformer peinent à incorporer les modifications ayant pour but d’intégrer des formats de données structurés non-textuels tels que les graphes de connaissances. Les exemples où cette intégration est faite avec succès requièrent généralement que le problème de désambiguïsation d’entités nommées soit résolu en amont, ou bien l’ajout d’une quantité importante de texte d’entraînement, généralement annotée. Ces contraintes rendent l’exploitation de connaissances structurées comme source de données difficile et parfois même contre-productive. Nous cherchons à adapter un modèle de langage au domaine biomédical en l’entraînant sur du texte de synthèse issu d’un graphe de connaissances, de manière à exploiter ces informations dans le cadre d’une modalité maîtrisée par le modèle de langage.

## introduction et travaux connexes en raison du vocabulaire spécialisé et de la spécificité des concepts traités dans certains domaines de spécialité, les performances des modèles de langage pré-entraînés sur du texte général, tels que bert @xcite , ont tendance à souffrir dans ces domaines. diverses approches de spécialisation existent, la plus notable et évidente d'entre elles étant la spécialisation par pré-entraînement sur du texte issu du domaine ciblé. la performance de cette approche a été étudiée par @xcite , et de nombreux modèles ont été couronnés de succès en suivant cette méthode, comme par exemple legalbert @xcite dans le domaine légal et patentbert @xcite dans le domaine des brevets. dans le domaine biomédical, sur lequel nous décidons de nous focaliser (bien que les concepts dont nous traitons soient a priori applicables à tout domaine de spécialité), une variété de modèles appliquent la même méthode générale, comme biobert @xcite , bluebert @xcite ou pubmedbert @xcite . cette approche n'est cependant pas sans défauts. en particulier, elle est susceptible à l'oubli catastrophique @xcite , et requiert une quantité importante de texte issu du domaine, ce qui n'est pas une option disponible dans tous les domaines de spécialité. de surcroît, comme observé par @xcite , la distribution des mots dans langage naturel est fortement biaisée, ce qui a pour conséquence qu'accroître le nombre de concepts couverts par le corpus nécessite une augmentation exponentielle de la quantité de texte. une classe concurrente d'approches consiste à intégrer des informations issues d'une base de connaissance spécialisée. diverses stratégies ont été mises en oeuvre, comme l'utilisation du mécanisme d'attention des modèles transformer pour combiner les informations issues des mots avec celles issues des entités (par ernie @xcite , knowbert @xcite , k-adapter (wang et al., 2021a) et dragon @xcite en particulier), l'alignement de plongements de mots et de plongements d'entités @xcite , coder @xcite ), ou encore le changement de la fonction de coût en entraînement de manière à modéliser explicitement la synonymie des termes spécialisés (umlsbert @xcite ). bien que ces approches puissent donner des résultats remarquables, leur champ d'applicabilité est limité par le fait qu'elles ne permettent pas (ou peu) de réduction de la quantité de texte nécessaire à la spécialisation, et souvent même requièrent du texte aux entités annotées ; or ces ressources ne sont pas disponibles pour tous les domaines. de plus, la majorité des approches requièrent, en entraînement comme, généralement, en déploiement, que les entités de la base de connaissance soient identifiées dans le texte pour fonctionner. or, ce problème n'est pas résolu pour tous les domaines, et les meilleurs outils actuels sont gourmands en temps de calcul, limitant l'échelle à laquelle ils peuvent être déployées. a l'heure d'écriture, l'état de l'art en désambiguïsation d'entités nommées biomédicales (bhowmik et al., 2021) atteint une f-mesure de 0, 564 sur le corpus medmentions @xcite . nous cherchons donc une méthode d'intégration de connaissances telle qu'aucun texte du domaine cible et aucune désambiguïsation -en entraînement comme en inférence -ne soient nécessaires. la combinaison de modalités différentes débouchant invariablement sur un besoin de données d'entraînement supplémentaires, nous cherchons à exploiter notre base de connaissance sous forme textuelle. nous proposons une procédure permettant de générer un corpus contenant une phrase par paire de concepts liés par une relation dans une base de connaissance. il est attendu qu'un corpus produit ainsi soit plus dense en informations factuelles liées au domaine que du texte naturel, et couvrira une plus grande variété de concepts pour le même volume de texte, la fréquence d'apparition des concepts étant dictée par la topologie du graphe de connaissances et non l'usage du langage naturel. ## méthode 2.1 graphe de connaissances nous nous plaçons dans le cas où les noeuds de notre graphe de connaissances représentent des concepts et les arêtes des relations. nous pouvons donc extraire des triplets (c i , r, c j ) tels qu'il existe un lien sémantique entre les concepts c i et c j qui peut être formulé en langage naturel. spécifiquement, nous cherchons à associer des groupes nominaux n i à c i et n j à c j , ainsi qu'un syntagme verbal v r à r de sorte que la phrase n i v r n j soit une phrase grammaticalement correcte qui capture le sens de la relation dans le graphe. la base de connaissance peut ensuite être représentée par un ensemble de phrases factuelles, exploitable comme corpus d'apprentissage par un modèle de langue. nous utilisons le graphe de connaissances umls, dans sa version 2022ab, avec toutes et seulement les ressources anglophones. il existe dans notre version de la base de connaissance 1008 types de relations et environ 4, 6 millions d'entités distinctes pour un total d'environ 39, 7 millions de triplets. chaque concept dispose d'un identifiant unique c et d'un ou plusieurs « noms » n 1 c , . . . , n k c c , groupes nominaux qui correspondent à des formulations récurrentes du concept en langage naturel, et dont un est considéré préféré. chaque type de relation est représenté par une courte chaîne de caractères r proche du langage naturel, décrivant grossièrement la relation. le graphe umls est représenté sous forme de base de données relationnelle, avec une table contenant les triplets d'intérêt, représentés de la manière suivante : c i , r, c j . ## conclusions et futurs travaux nous proposons une procédure d'intégration de connaissances pour l'adaptation des modèles de langage aux domaines de spécialité simple à mettre en oeuvre, et qui ne dépend ni de texte issu du domaine, ni d'outils d'annotation d'entités, ni d'une architecture de modèle spécialisée. nous démontrons que, malgré la qualité dégradée du texte généré par rapport à du texte naturel, il peut être exploité par un modèle de langue pour l'adaptation au domaine avec, pour une quantité de texte fixe, plus de succès que du texte naturel. enfin, les faiblesses exhibées par les modèles entraînés sur du texte synthétique peuvent être minimisées par l'incorporation, dans le corpus de spécialisation, de texte issu du domaine lorsqu'il est disponible. outre l'application de cette méthode à d'autres bases de connaissance comme yago @xcite ou worldkg @xcite , nous aimerions à l'avenir intégrer à cette méthode un posttraitement intelligent capable d'identifier les séquences grammaticalement incorrectes, excessivement complexes ou autrement problématiques, et de les supprimer ou les corriger. par ailleurs, le manque de variété linguistique constitue une faiblesse importante de notre approche. s'il serait sans doute difficile d'automatiser des variations sur la formulation des relations, une amélioration envisageable serait d'intégrer des informations concernant la variété des formulations de concepts, soit en sélectionnant aléatoirement, étant donné un concept c, une formulation parmi n 1 c , . . . , n k c c , soit en ajoutant au corpus de synthèse des séquences dédiées à expliciter les synonymes (par exemple : « "n 2 c " is another name for "n 1 c ". ») enfin, cette méthode d'intégration de connaissances étant applicable à tout modèle de langue, la combiner avec d'autres méthodes comme knowbert, kepler ou dragon pourrait être une manière peu coûteuse d'accroître leurs performances, et pourrait établir un nouvel état de l'art dans ce domaine de recherche.