D r BERT : Un modèle robuste pré-entraîné en français pour les domaines biomédical et clinique (2023)

Abstract: Ces dernières années, les modèles de langage pré-entraînés ont obtenu les meilleures performances sur un large éventail de tâches de traitement automatique du langage naturel (TALN). Alors que les premiers modèles ont été entraînés sur des données issues de domaines généraux, des modèles spécialisés sont apparus pour traiter plus efficacement des domaines spécifiques. Dans cet article, nous proposons une étude originale de modèles de langue dans le domaine médical en français. Nous comparons pour la première fois les performances de modèles entraînés sur des données publiques issues du web et sur des données privées issues d’établissements de santé. Nous évaluons également différentes stratégies d’apprentissage sur un ensemble de tâches biomédicales. Enfin, nous publions les premiers modèles spécialisés pour le domaine biomédical en français, appelés DrBERT, ainsi que le plus grand corpus de données médicales sous licence libre sur lequel ces modèles sont entraînés.

## introduction au cours des dernières années, les modèles de langage pré-entraînés ont permis d'améliorer considérablement les performances de nombreuses tâches du traitement automatique du langage naturel (taln). les modèles récents, tels que bert @xcite ou roberta @xcite , tirent profit des énormes quantités de données non étiquetées grâce à des approches non-supervisées fondées sur l'architecture transformers @xcite . la plupart de ces modèles sont souvent pré-entraînés sur des corpus de domaines généraux et une étape supplémentaire de réglage fin (fine-tuning) peut être appliquée pour utiliser ces modèles sur une tâche cible @xcite . l'adaptation des modèles de langue à un domaine de spécialité suit généralement deux stratégies. la première consiste à entraîner à partir de zéro (from scratch) un nouveau modèle en utilisant uniquement les données de la spécialité cible. la seconde approche, appelée pré-entraînement continué @xcite , poursuit l'entraînement de modèles déjà pré-entraînés, permettant de passer d'un modèle générique à un modèle spécialisé. bien que des études aient montré que la première stratégie offre généralement de meilleures performances @xcite , la seconde nécessite un nombre de ressources moins important @xcite que ce soit en termes de ressources informatiques ou de quantité de données. récemment, de multiples modèles de langue ont été développés pour les domaines biomédical et clinique, principalement pour l'anglais. les modèles biobert @xcite , bluebert @xcite et clinicalbert @xcite ont utilisé le pré-entraînement continué à partir d'un modèle bert générique. d'autres modèles, comme scibert @xcite et pubmed-bert @xcite , ont été pré-entraînés à partir de zéro. dans les langues autres que l'anglais, les modèles s'appuyant sur bert sont plus rares et reposent principalement sur un pré-entraînement continué. pour le français, il n'existe, à notre connaissance, aucun modèle disponible publiquement pour le domaine biomédical. dans cet article, nous décrivons et diffusons librement drbert, les premiers modèles spécialisés dans le domaine biomédical pour le français, ainsi que le corpus qui a permis leur entraînement. nous proposons également une étude originale évaluant les différentes stratégies de pré-entraînement de modèles de langue pour le domaine médical, en comparant les modèles drbert avec un modèle pré-entrainé sur des données cliniques privées, nommé chubert. nos contributions sont : ## corpus de pré-entraînement les travaux précédents dans le domaine biomédical @xcite sur les modèles de langue ont souligné l'importance de faire correspondre les sources de données utilisées lors de l'entraînement avec les tâches cibles. en raison de leur nature sensible, les données cliniques sont extrêmement difficiles à obtenir. la collecte massive de données web relatives à ce domaine apparaît comme une solution permettant de pallier ce manque. le tableau 1 donne un aperçu général des deux corpus collectés. les données publiques issues du web ont permis la constitution d'un corpus, appelé nachos large , à partir de sources disponibles ouvertement en ligne contenant 7,4 go de données. le jeu de données privées, appelé xbdw small , corpus taille #mots #phrases nachos large (public) 7,4 go 1,1 g 54,2 m nachos small (public) 4 go 646 m 25.3 m xbdw small 1 (privé) 4 go 655 m 43.1 m xbdw mixed (public+privé) 4+4 go 1,3 g 68,4 m corpus privé -xbdw le corpus privé, appelé xxx biomedical data warehouse (xbdw), a été obtenu en utilisant l'entrepôt de données du chu de xxx. cet entrepôt de données comprend différentes dimensions de données relatives aux patients : socio-démographiques, prescriptions médicamenteuses et autres informations associées au séjour hospitalier (diagnostic, biologie, imagerie, etc.). l'autorisation de mise en oeuvre et d'exploitation de l'entrepôt de données xbdw a été accordée en xxxx foot_1 par la cnil (commission nationale de l'informatique et des libertés) ; autorisation n°x xx foot_2 . pour ce travail, un échantillon de 1,7 millions de comptes-rendus hospitaliers désidentifiés a été sélectionné aléatoirement et extrait de l'entrepôt de données. les comptes-rendus proviennent de différents services hospitaliers, tels que les urgences, la gynécologie et la cardiologie. ce corpus contient 655 millions de mots, issus de 43,1 millions de phrases, pour une taille totale d'environ 4 go. nous proposons donc d'évaluer l'impact des différentes sources de données en comparant nachos small et xbdw small entre elles comme décrit dans la section 2. de plus, nous proposons de comparer les résultats obtenus avec ceux d'un modèle pré-entraîné sur une quantité de données plus grande (nachos large ) afin d'étudier si le fait de disposer de presque deux fois plus de données permet d'améliorer les performances. pour finir, nous avons évalué une combinaison des corpus public (nachos small ) et privé (xbdw small ) pour un total de 8 go (xbdw mixed ), afin de démontrer si la combinaison de données de qualité variable permettent des représentations complémentaires. ## résultats et discussions comme décrit précédemment, nous évaluons les performances de nos modèles de langue pré-entraînés sur un ensemble de tâches publiques et privées liées au domaine biomédical. nous proposons d'analyser les résultats en fonction des différentes stratégies de pré-entraînement (section 5.1) puis de discuter de l'impact des données de pré-entraînement, que ce soit en termes de taille ou de nature (section 5.2). tous les modèles ont été réglés finement (fine-tuned) de la même façon pour toutes les tâches. tous les résultats rapportés sont la moyenne des scores de quatre exécutions. les performances obtenues sur les tâches biomédicales sont présentées dans les tableaux 4 et 5 pour les tâches privées et publiques respectivement. pour des raisons de lisibilité, la première partie de chaque tableau présente les résultats des modèles déjà existants, la deuxième partie nos modèles spécialisés entraînés à partir de zéro, et la dernière partie nos modèles utilisant un pré-entraînement continué.