Enrichissement des modèles de langue pré-entraînés par la distillation mutuelle des connaissances (2023)

Abstract: Les bases de connaissances sont des ressources essentielles dans un large éventail d’applications à forte intensité de connaissances. Cependant, leur incomplétude limite intrinsèquement leur utilisation et souligne l’importance de les compléter. À cette fin, la littérature a récemment adopté un point de vue de monde ouvert en associant la capacité des bases de connaissances à représenter des connaissances factuelles aux capacités des modèles de langage pré-entraînés (PLM) à capturer des connaissances linguistiques de haut niveau et contextuelles à partir de corpus de textes. Dans ce travail, nous proposons un cadre de distillation pour la complétion des bases de connaissances où les PLMs exploitent les étiquettes souples sous la forme de prédictions d’entités et de relations fournies par un modèle de plongements de bases de connaissances, tout en conservant leur pouvoir de prédiction d’entités sur de grandes collections des textes. Pour mieux s’adapter à la tâche de complétion des connaissances, nous étendons la modélisation traditionnelle du langage masqué des PLM à la prédiction d’entités et d’entités liées dans le contexte. Des expériences utilisant les tâches à forte intensité de connaissances dans le cadre du benchmark d’évaluation KILT montrent le potentiel de notre approche.

## introduction une base de connaissances (kb) est un graphe multirelationnel comprenant des entités et des relations et contenant des faits sous la forme de triplets (entité tête (h), relation (r), entité queue (t)). les alignements entre le langage naturel et les triplets de la base de connaissances (kb) sont des éléments essentiels d'un large éventail de tâches de traitement du langage naturel (tal) telles que l'extraction de relations (re), la complétion de la base de connaissances (kbc) et la réponse aux questions (qa). comme exemple récent dans cette direction de recherche, le leaderboard kilt @xcite a popularisé deux collections à forte intensité de connaissances, t-rex @xcite et zsre @xcite , et fournit une collection wikipédia alignés en tant que source de connaissances externe. en particulier, l'objectif général de kbc @xcite consiste à combler les lacunes dans la connaissance actuelle d'une kb, en se basant sur les informations structurées sur les entités et les relations entre les entités. plus formellement, la tâche consiste à calculer le score de plausibilité f (h, r, t) de triplets (h, r, t) non présents dans la base de données, en se basant sur la connaissance capturée dans une ressource. dans la littérature, les pipelines kbc sont généralement composés de plusieurs modules de base, y compris la classification des faits des entités, la mise en relation des entités, la prédiction des liens et les méthodes de classification des relations @xcite . une approche fréquemment adoptée dans la littérature pour kbc, s'appuie sur les plongements de graphes pour apprendre des représentations d'entités et des relations entre entités, notamment transe @xcite . cependant, tout en ayant permis de réaliser des progrès significatifs dans le domaine de la recherche sur le kbc, ces modèles suivent l'hypothèse du monde fermé en vertu de laquelle de nouvelles relations et de nouveaux types d'entités ne pourraient pas être découverts, ce qui nuit à leur capacité de généralisation à l'extérieur de la kb, et limite leur adéquation aux kb hautement évolutives @xcite . ainsi, une tendance de recherche émergent assouplit cette hypothèse en plaidant pour une interprétation du monde ouvert @xcite où les modèles sont capables de prédire soit des relations non vues, soit des entités non vues. une façon intuitive d'aborder cette question est l'utilisation d'une ressource de connaissances externe qui fournit des idées sur les nouvelles entités et relations. une première ligne de travail tente de tirer parti de ces connaissances supplémentaires dans une variété de tâches à forte intensité de connaissances, y compris, mais sans s'y limiter, le kbc. un important corpus de travaux qui a attiré beaucoup d'attention, exploite en particulier la grande capacité des modèles de langage pré-entraînés (plm) tels que bert @xcite , qui peut modéliser des relations sémantiques complexes qui peuvent être observées dans le langage du monde ouvert @xcite . en conséquence, de nombreux modèles ont été développés, soit en incorporant les plongements de la kb comme caractéristiques d'entrée pour les plms @xcite , soit en apprenant à représenter les entités directement à l'intérieur du modèle de langage grâce à un objectif de pré-entraînement guidé par les plongements de la kb @xcite @xcite . ces modèles se sont révélés être des alternatives appropriées pour améliorer les tâches à forte intensité de connaissances (par exemple, la complétion de slots 1 ), mais sans que leur impact sur le kbc ne soit clairement établi @xcite . une autre ligne de travail cible spécifiquement le kbc en utilisant des sources textuelles dans le cadre d'apprentissage sous la forme de descriptions d'entités au niveau local @xcite @xcite ou de statistiques de corpus au niveau global @xcite . hormis le modèle d'intégration de graphes régularisés assisté par le texte présenté dans (chen et al., 2019), la principale caractéristique commune de ces travaux est qu'ils effectuent un alignement conjoint des espaces sémantiques, ce qui soulève des problèmes critiques dans le cas d'espaces hétérogènes avec des entités qui ne se chevauchent pas. d'un point de vue radicalement différent de tous les travaux cités ci-dessus, y compris (chen et al., 2019), nous proposons un plm piloté par la kb en laissant les représentations d'entités de la kb et du plm apprises dans leurs espaces inhérents mais partageant des étiquettes souples pendant une étape additionnelle de pré-apprentissage via la distillation des connaissances. notre idée sous-jacente est d'élargir les capacités de prédiction d'un plm en injectant des connaissances relationnelles à partir de la kb. un exemple de cette distillation entre les plm et les kb est illustré à la figure 1 , où une base de connaissances de très petite taille (6 entités, 5 relations et 6 triplets) est utilisée pour entraîner un modèle de plongement de la kb sur la tâche de prédiction de liens, afin d'extraire les principales entités susceptibles de remplir le triplet [romeo and juliet, genre, ?]. de même, un texte est utilisé pour entraîner le plm en utilisant la stratégie de masquage où la réponse est la même que pour la tâche de prédiction de liens. dans une configuration traditionnelle, les modèles à source unique basés sur les plm sont entraînés à prédire un token masqué tel que "tragedy" dans la phrase "romeo and juliet is a [mask]". nous proposons plutôt d'apprendre à notre plm à récupérer non seulement le token masqué de la vérité de terrain, mais aussi à produire des logits plus élevés pour les tokens qui y sont liés, c'est-à-dire "drame", "poesie", .., "comedy" , où ces étiquettes souples de haute qualité sont obtenues à partir d'un modèle plongement de la kb, tel que transe @xcite . pour enseigner les représentations d'entités et de relations plm, nous concevons une stratégie de masquage au niveau de l'entité qui force la modélisation traditionnelle du langage masqué (mlm) à se concentrer sur les entités mentionnées dans un corpus. en outre, pour enrichir les mlm avec des connaissances factuelles dans la kb, nous étudions la définition de deux variantes de fonctions de perte de distillation. dans la première variante, nous considérons une distillation traditionnelle professeur-élève où le modèle plm tire parti des prédictions du modèle de plongements de la kb. dans la seconde variante, nous considérons une distillation coopérative, telle qu'elle a été explorée précédemment, exclusivement pour les plongements des kbs @xcite , où le modèle plm tire parti d'un modèle de plongements de la kb distillé à son tour. les principales contributions de notre article sont les suivantes : le reste de cet article est structuré comme suit. la section 2 présente les travaux connexes. dans la section 3, nous présentons notre procédure de pré-entraînement coopératif. dans la section 4, nous présentons et discutons les résultats expérimentaux. enfin, la section 5 conclut l'article. ## travaux connexes bien que de multiples travaux aient été proposés dans le contexte des modèles enrichis par des connaissances, à notre connaissance, aucune de ces méthodes ne repose sur l'apprentissage coopératif entre deux espaces distincts, l'un dédié à la représentation du langage et l'autre à la représentation des connaissances. nous présentons ici les avancées récentes sur ces trois sujets. ## plm enrichi via la distillation coopérative des connaissances considérons deux sources d'informations :