Annotation d’entités cliniques en utilisant les Larges Modèles de Langue (2023)

Abstract: Dans le domaine clinique et dans d’autres domaines spécialisés, les données sont rares du fait de leur caractère confidentiel. Ce manque de données est un problème majeur lors du fine-tuning de modèles de langue.Par ailleurs, les modèles de langue de très grande taille (LLM) ont des performances prometteuses dans le domaine médical. Néanmoins, ils ne peuvent pas être utilisés directement dans les infrastructures des établissements de santé pour des raisons de confidentialité des données. Nous explorons une approche d’annotation des données d’entraînement avec des LLMs pour entraîner des modèles de moins grandes tailles mieux adaptés à notre problématique. Cette méthode donne des résultats prometteurs pour des tâches d’extraction d’information

## introduction les notes cliniques contiennent l'ensemble des interactions entre le patient et le personnel de santé. les personnels de santé y indiquent notamment leurs observations et les différents actes médicaux réalisés. malgré l'informatisation des documents cliniques, les notes doivent rester dans un format assez expressif et libre afin de faire gagner du temps au personnel soignant et de permettre la description de situations inhabituelles @xcite . de plus, un grand nombre d'informations cruciales est contenu exclusivement dans ces notes. selon une étude de @xcite , environ 80% des phénotypes (ensemble de caractères biologiques, physiques observables pouvant caractériser une maladie) de patients ne sont présents que dans du texte libre. cela rend ces documents difficilement exploitables sans l'utilisation de méthodes avancées comme le deep-learning en nlp. l'utilisation de telles méthodes requiert de collecter et d'annoter un nombre important de données médicales. cependant, @xcite met en avant le fait que les données d'apprentissage dans le domaine biomédical sont peu accessibles, peu documentées et rarement réutilisables dans un cadre commercial ou de recherche, une situation qu'il qualifie de dataset debt. il montre par exemple que seulement 13% des 167 datasets analysés dans son étude sont accessibles et téléchargeables, que 22% utilisent un format standard structuré ou encore que 40% sont dans le domaine public. ces dernières années, les larges modèles de langage (llms) comme gpt3 ont prouvé leur capacité à effectuer un large panel de tâches avec des performances prometteuses en contexte de zero-shot ou de few-shots. c'est une tendance très intéressante pour le développement du traitement automatique du langage naturel clinique, et ses résultats préliminaires sont prometteurs pour les tâches d'extraction d'informations @xcite . cependant, l'utilisation des llms soulèverait des préoccupations majeures en matière de confidentialité. en effet, il est important de garantir que le déploiement du modèle est maîtrisé et la prédiction issue du modèle doit évoluer pour s'adapter à des directives d'annotation spécifiques et changeantes. par ailleurs, la plupart des llms ne sont pas disponibles librement @xcite @xcite et à notre connaissance, seul bloom est open-source et déployable dans une infrastructure locale. enfin, les ressources informatiques nécessaires pour utiliser ces modèles en inférence restent importantes, constituant de fait un obstacle de plus à leur adoption par les établissements de santé. l'une des approches permettant de résoudre ces enjeux consiste à distiller les llms en modèles de taille moins conséquente via des méthodes de supervision faible. la supervision faible a récemment attiré l'attention de la communauté scientifique car elle soulage la tâche d'annotation @xcite . en effet, cette technique consiste à annoter automatiquement des ensembles de données à l'aide de méthodes basées sur des règles, des dictionnaires ou des techniques plus avancées, puis à entraîner le modèle sur cet ensemble de données. ## contributions notre travail étudie l'utilisation de llms dans la technique de distillation de connaissances par le biais de techniques de supervision faible dans le domaine clinique français, en particulier dans l'extraction d'entités cliniques. plus précisément : ## travaux connexes supervision faible le deep learning a connu un succès remarquable dans plusieurs domaines au-delà du nlp @xcite . cependant, le principal obstacle est la collecte massive de données annotées. pour remédier à ce problème, la supervision faible remplace l'annotation de vérité terrain par une annotation automatique basée sur des règles heuristiques ou des règles linguistiques de contrainte. certaines techniques appelées supervision distante exploitent des liens sémantiques à partir de bases de connaissances ou d'ontologies @xcite . @xcite propose une méthode d'autoapprentissage itérative pour combiner la supervision faible classique et l'inférence du modèle d'apprentissage afin d'extraire des entités non couvertes par les règles heuristiques initiales. dans le domaine clinique, la supervision faible a déjà été utilisée pour certains cas d'usages cliniques spécifiques @xcite @xcite . ## conclusion nos résultats montrent que l'approche de distillation de connaissances avec instructgpt-3 surpasse l'approche d'extraction de dictionnaire pour extraire les entités cliniques. nous avons montré que mélanger ces approches pour construire un ensemble de données d'entraînement apporte de la diversité aux annotations et améliore les performances du modèle entraîné. l'approche de faible supervision avec les llms est prometteuse pour créer un ensemble de données d'entraînement. cela réduit le coût d'annotation et, en même temps, concentre l'annotation manuelle sur l'ensemble de test, qui est l'un enjeux majeurs des domaines à enjeux élevés comme la santé. dans les travaux futurs, nous aimerions tester cette solution sur plusieurs langues proposées dans e3c et étendre notre travail à d'autres tâches. nous voulons également combiner plusieurs prédictions de différents grands modèles de langage pour obtenir plus de diversité dans les annotations. de plus, nous avons l'intention d'étudier des techniques plus avancées pour combiner les différentes annotations en incorporant des mesures de confiance provenant des différentes prédictions ou bien des mesures de performance (telles que le rappel et la précision) pour décider quel type d'annotations (b clin ou i clin ) conserver pour chaque méthode de prédiction. enfin, l'adaptation de cot ou de connaissances générées @xcite pour l'extraction d'entités cliniques pourrait être bénéfique pour améliorer la précision des llms. nous pourrions créer un prompt où les différentes étapes d'annotation sont présentées à travers différents exemples. à chaque étape d'annotation, nous décrivons une instruction précise et son résultat. par exemple, nous pouvons rédiger dans une instruction, les trois étapes d'annotation e3c pour encourager le llm à être plus proche des guidelines d'identification de termes cliniques.