Augmentation des modèles de langage français par graphes de connaissances pour la reconnaissance des entités biomédicales (2023)

Abstract: Des travaux récents dans le domaine du traitement du langage naturel ont démontré l’efficacité des modèles de langage pré-entraînés pour une grande variété d’applications générales. Les modèles de langage à grande échelle acquièrent généralement ces capacités en modélisant la distribution statistique des mots par un apprentissage auto-supervisé sur de grandes quantités de texte. Toutefois, pour les domaines spécialisés à faibles ressources, tels que le traitement de documents cliniques, en particulier dans des langues autres que l’anglais, la nécessité d’intégrer des connaissances structurées reste d’une grande importance. Cet article se concentre sur l’une de ces applications spécialisées de la modélisation du langage à partir de ressources limitées : l’extraction d’informations à partir de documents biomédicaux et cliniques en français. En particulier, nous montrons qu’en complétant le pré-entraînement en mots masqués des réseaux neuronaux transformer par des objectifs de prédiction extraits d’une base de connaissances biomédicales, leurs performances sur deux tâches différentes de reconnaissance d’entités nommées en français peuvent être augmentées.

## introduction les développements des dernières années en informatique et science des données représentent des pistes de recherche assez prometteuses pour le domaine de la santé, et l'utilisation généralisée des dossiers de santé électroniques (dsé) dans l'informatique médicale a beaucoup augmenté la disponibilité de dossiers cliniques en texte libre qui peuvent potentiellement être utilisés pour aider à la prise de décision par les professionel.les de santé @xcite . simultanément, les progrès dans le traitement automatique du langage naturel (taln), notamment des approches basées sur l'apprentissage profond, ont rendu possible un traitement du texte beaucoup plus sophistiqué et efficace, et ont facilité l'amélioration de l'état de l'art dans plusieurs domaines d'application. en particulier, la modélisation de langage générale par des réseaux de neurones transformer @xcite s'est avérée très efficace pour de nombreuses applications. l'utilité de cette modélisation repose sur le paradigme d'apprentissage par transfert, où les représentations des données apprises sur une certaine tâche d'apprentissage, habituellement auto-supervisée, peuvent être utilisées d'une manière performante pour une autre tâche dans le même domaine d'application. cette approche est d'autant plus utile pour les domaines à faibles ressources, tels que le domaine du traitement des textes cliniques, pour lesquels la quantité de données disponibles pour entraîner des algorithmes sur des tâches spécifiques n'est souvent pas suffisante @xcite . la communauté de la recherche biomédicale fait alors un usage de plus en plus intensif de ces techniques d'exploration de texte pour toute une série d'applications différentes @xcite . toutefois, la modélisation de langage faite uniquement à partir du texte libre se trouve souvent insuffisante pour bien intégrer dans ces modèles les connaissances du domaine clinique qui sont nécessaires pour un traitement efficace et fiable des documents cliniques @xcite . dans ce travail, nous nous concentrons sur la tâche de la reconnaissance des entités nommées, l'une des tâches supervisées les plus étudiées dans le domaine du traitement des textes cliniques. le travail d'adaptation des modèles de langage est divisé en trois parties : ## conclusion et perspectives cet article présente une étude sur l'effet de l'augmentation des modèles de langage en utilisant une phase de pré-entraînement supplémentaire sur un graphe de connaissances médicales. cette augmentation permet notamment d'améliorer les performances des modèles considérés sur deux tâches de reconnaissance d'entités nommées. le code et les modèles utilisés seront mis à disposition pour permettre l'éventuelle reproduction des expériences et l'amélioration des approches. limitations et travaux futurs la mise en oeuvre des approches proposées dans ce travail présente de nombreuses limitations qui peuvent entraver les performances. celles-ci seront abordées dans des travaux ultérieurs. premièrement, pour faciliter la comparaison directe des différentes phases d'entraînement, nous avons enchaîné de manière séquentielle les pré-entraînements mlm et kb, ce qui risque d'introduire un biais en faveur des objectifs les plus récents, étant donné la tendance de tels modèles de langue d'oublier des informations précédemment apprises @xcite . dans les prochaines étapes de ce travail, nous comptons mélanger les séquences d'entraînement en provenance du métathésaurus avec celles provenant des corpus du texte libre, et faire apprendre les modèles avec une fonction objectif mixte @xcite . la continuation de ce travail comprendra également l'élargissement de l'éventail des objectifs supplémentaires ; nous étudierons l'impact de la prédiction des liens entre les concepts du graphe, ainsi que la classification des concepts par rapport à leurs catégories sémantiques dans l'ontologie umls. enfin, il est important de noter la limitation des tâches d'évaluation en termes de taille des corpus et de granularité et d'exhaustivité des catégories d'entités considérées. les travaux futurs impliqueront aussi des évaluations sur la reconnaissance des entités d'une granularité plus riche ainsi que d'autres types de tâches d'évaluation du domaine du traitement du langage clinique.