Stratégies d’adaptation pour la reconnaissance d’entités médicales en français (Adaptation strategies for biomedical named entity recognition in F rench) (2022)

Abstract: Dans un contexte où peu de corpus annotés pour l’extraction d’entités médicales sont disponibles, nous étudions dans cet article une approche hybride combinant utilisation de connaissances spécialisées et adaptation de modèles de langues en mettant l’accent sur l’effet du pré-entraînement d’un modèle de langue généraliste (CamemBERT) sur différents corpus. Les résultats sont obtenus sur le corpus QUAERO. Nous montrons que pré-entraîner un modèle avec un corpus spécialisé, même de taille réduite, permet d’observer une amélioration des résultats. La combinaison de plusieurs approches permet de gagner un à sept points de F1-mesure selon le corpus de test et la méthode.

## introduction l'émergence de gros modèles de langue pré-entraînés tels que bert @xcite a développé la définition et l'application de stratégies d'apprentissage par transfert (transfer learning), en particulier par le biais de la notion d'affinage (fine-tuning). bien que ce développement facilite l'apprentissage de modèles pour des domaines spécialisés à partir de modèles plus généraux, cet apprentissage souffre toujours de l'absence de données annotées en quantités suffisamment importantes. dans cet article, nous nous focalisons plus spécifiquement sur le domaine médical et sur la tâche de reconnaissance d'entités nommées en français. nous explorons plus précisément deux voies pour faciliter l'adaptation aux domaines spécialisés. la première reprend l'idée, explorée initialement par @xcite , qu'utiliser un corpus non annoté du domaine cible et l'utiliser afin de poursuivre l'entraînement d'un modèle pré-entraîné sur sa tâche de modélisation du langage permet de spécialiser ce modèle pour ce domaine et d'améliorer les résultats de l'affinage sur la tâche finale visée. cette approche a été appliquée en particulier par copara et al. (2020) pour la reconnaissance d'entités nommées médicales en français. la seconde voie exploite quant à elle les connaissances existant pour le domaine cible qui sont particulièrement riches dans le cas du domaine médical. plus précisément, parmi les nombreux travaux réalisés pour utiliser conjointement les modèles de langue et des connaissances données a priori @xcite , se distinguent les approches que l'on peut qualifier de précoces, visant à injecter les connaissances directement au sein des modèles (lors de leur construction ou a posteriori), des approches dites tardives dans lesquelles modèles de langue et connaissances sont fusionnés au niveau des résultats. nous nous situons dans cette seconde perspective en nous distinguant néanmoins des approches de type auto-apprentissage @xcite dans lesquelles les connaissances sont utilisées pour réaliser une forme d'augmentation de données. plus précisément, au travers des contributions de cet article, nous montrons pour la reconnaissance d'entités nommées dans le domaine médical que : ## approche pour entraîner, malgré des données annotées en quantité limitée, un modèle de langue spécialisé pour la reconnaissance d'entités nommées médicales en français, nous nous appuyons sur deux éléments : l'exploitation de connaissances structurées dans le domaine médical, sous forme principalement de thésaurus (cf. section 2.1), et l'adaptation d'un modèle de langue au domaine médical (cf. section 2.2). comme les deux approches présentées précédemment reposent sur des techniques très différentes, les résultats obtenus par chacune d'entre elles peuvent se compléter efficacement (cf. section 2.3).