C amem BERT -bio : Un modèle de langue français savoureux et meilleur pour la santé (2023)

Abstract: Les données cliniques dans les hôpitaux sont de plus en plus accessibles pour la recherche à travers les entrepôts de données de santé, cependant ces documents sont non-structurés. Il est donc nécessaire d’extraire les informations des comptes-rendus médicaux. L’utilisation du transfert d’apprentissage grâce à des modèles de type BERT comme CamemBERT ont permis des avancées majeures, notamment pour la reconnaissance d’entités nommées. Cependant, ces modèles sont entraînés pour le langage courant et sont moins performants sur des données biomédicales. C’est pourquoi nous proposons un nouveau jeu de données biomédical public français sur lequel nous avons poursuivi le pré-entraînement de CamemBERT. Ainsi, nous présentons une première version de CamemBERT-bio, un modèle public spécialisé pour le domaine biomédical français qui montre un gain de 2,54 points de F-mesure en moyenne sur différents jeux d’évaluations de reconnaissance d’entités nommées biomédicales.

## introduction on observe ces dernières années un développement des entrepôts de données de santé (eds) dans les hôpitaux. ce sont des bases de données cliniques ayant pour but d'être plus accessibles pour la recherche. ces documents représentent une opportunité pour des études cliniques massives sur des données réelles. elles peuvent prendre plusieurs formes, comme des comptes-rendus, des imageries médicales ou encore des prescriptions. cependant c'est dans les comptes-rendus que la plupart des informations se trouvent. on estime que jusqu'à 80% des entités sont absentes des autres modalités @xcite . ces données, bien que très riches, sont non-structurées, ce qui implique un pré-traitement avant de pouvoir être utilisées dans une étude clinique.