Exploitation de plongements de graphes pour l’extraction de relations biomédicales (2023)

Abstract: L’intégration de connaissances externes dans les modèles neuronaux est très étudiée pour améliorer les performances des modèles de langue pré-entraînés, notamment en domaine biomédical. Dans cet article, nous explorons la contribution de plongements de bases de connaissances à une tâche d’extraction de relations. Pour deux mentions d’entités candidates dans un texte, nous faisons l’hypothèse que la connaissance de relations entre elles, issue d’une base de connaissances (BC) externe, aide à prédire l’existence d’une relation dans le texte, y compris lorsque les relations de BC sont différentes de celles du texte. Notre approche consiste à calculer des plongements du graphe de BC et à estimer la possibilité pour chaque paire d’entité du texte qu’elle soit reliée par une relation de BC. Les expériences menées sur trois tâches d’extraction de relations en domaine biomédical montrent que notre méthode surpasse le modèle PubMedBERT de base et donne des performances comparables aux méthodes de l’état de l’art.

## travaux connexes dans cette section, nous présentons d'abord des études antérieures sur un composant important de notre modèle : les méthodes de plongement de graphe. nous présentons ensuite d'autres méthodes visant à intégrer les informations d'une base de connaissances dans les modèles neuronaux. ces recherches ont en commun un objectif de performance en domaine de spécialité. ## méthode proposée dans cette partie, nous présentons notre modèle kb-pubmedbert qui exploite une base de connaissances. ce modèle contient deux composants : pubmedbert pré-entraîné, et un composant de plongement de graphe qui inclut une couche de plongement de concepts et une couche de plongement de relations. nous choisissons pubmedbert comme base car il crée son propre vocabulaire de sous-mots contenant des termes biomédicaux, et ses performances dépassent des variantes de bert spécifiques précédentes telles que biobert et scibert sur plusieurs tâches biomédicales @xcite .