MORFITT : Un corpus multi-labels d’articles scientifiques français dans le domaine biomédical (2023)

Abstract: Cet article présente MORFITT, le premier corpus multi-labels en français annoté en spécialités dans le domaine médical. MORFITT est composé de 3 624 résumés d’articles scientifiques issus de PubMed, annotés en 12 spécialités pour un total de 5 116 annotations. Nous détaillons le corpus, les expérimentations et les résultats préliminaires obtenus à l’aide d’un classifieur fondé sur le modèle de langage pré-entraîné CamemBERT. Ces résultats préliminaires démontrent la difficulté de la tâche, avec un F-score moyen pondéré de 61,78%.

## introduction depuis maintenant plusieurs années, le domaine médical suscite l'engouement des chercheurs de par les enjeux importants qui lui sont liés, avec par exemple une attente sociétale forte autour d'outils liés au traitement automatique du langage naturel (taln) @xcite . la multiplication de ces travaux a conduit à une explosion des articles scientifiques disponibles, entraînant une surcharge d'informations et de connaissances à traiter par les scientifiques mais également les professionnels de la santé afin d'être en capacité de rester informé sur les avancées scientifiques @xcite . par exemple, dans le cadre de la pandémie de covid-19, cela a pu avoir un impact sur la qualité des soins prodigués, entraînant des retards dans la prise de décision ou la prescription potentielle de traitements inadaptés @xcite . une approche possible consiste à indexer automatiquement chaque document reçu afin d'aider les professionnels de santé à prioriser la lecture des documents, ou à accéder plus rapidement aux documents recherchés. cette indexation peut être réalisée grâce à des méthodes de classification automatique multi-labels qui consistent, à partir du contenu textuel d'un document, à identifier automatiquement une ou plusieurs spécialités qui lui sont liées. ces classifieurs automatiques reposent sur des modèles entraînés sur des ensembles de données préalablement étiquetées dans le but de pouvoir mettre en avant les caractéristiques importantes et identifier la ou les spécialités traitées dans le document. nous pouvons trouver, dans la littérature, plusieurs corpus multi-labels dans le domaine médical. par exemple, litcovid (chen et al., 2021) est un corpus de résumés d'articles scientifiques, extraits depuis pubmed, portant sur la covid-19 et annotés en 8 spécialités. nous pouvons également citer le corpus hallmarks of cancer (hoc) @xcite , un autre corpus de résumés d'articles scientifiques issus de pubmed et annotés avec 10 caractéristiques du cancer. malheureusement, tous ces corpus sont en langue anglaise et, à notre connaissance, il n'existe actuellement aucun corpus multi-labels disponible librement en français dans le domaine médical. afin de palier ce manque, nous présentons dans cet article morfitt, le premier corpus multi-labels en français composé de 3 624 résumés d'articles scientifiques dans le domaine médical extraits depuis pubmed, lesquels ont été annotés en 12 spécialités. nous avons également évalué ce corpus au moyen d'un système état-de-l'art intégrant un classifieur multi-labels fondé sur le modèle de langue pré-entrainé sur le français (ici, camembert @xcite ). les premiers résultats obtenus sur ce corpus sont rapportés dans cet article. l'article est organisé comme suit. la section 2 présente le corpus morfitt, puis la section 3 introduit les expériences et les résultats préliminaires que nous avons obtenu sur ce corpus. enfin, la section 4 conclut l'article. ## présentation du corpus morfitt le corpus que nous proposons est constitué d'articles scientifiques dans le domaine médical provenant de pubmed foot_1 , un moteur de recherche de données bibliographiques qui indexe l'ensemble des documents issus des domaines de spécialisation de la biologie et de la médecine. nous avons, dans un premier temps, téléchargé l'ensemble des résumés des articles indexés par pubmed ainsi que les motsclés mesh foot_2 associés aux résumés d'articles en français à l'aide d'un script maison partant des 303 go d'archives brutes. les mots-clés mesh principaux des articles sont utilisés pour définir les spécialités d'un article. nous avons sélectionné une liste de mots-clés mesh principaux, correspondant à 12 spécialités médicales ciblées (tableau 1). il est à noter que les mots-clés mesh principaux associés aux articles sont sélectionnés manuellement par leurs auteurs à partir d'une liste de choix prédéfinis : bien que cette annotation manuelle soit réalisée par les auteurs eux-mêmes, nous avons cependant réalisé une vérification et correction manuelle afin de s'assurer de la qualité des spécialités assignées. notons que nous n'avons pas corrigé les omissions de mots-clés par les auteurs vu l'ampleur de ce travail. le corpus a été découpé en trois sous-ensembles de données, à savoir le corpus d'entraînement, de développement et de test, contenant respectivement 1 514 (41,77 %), 1 022 (28,20 %) et 1 088 (30,02 %) documents. la distribution des spécialités dans le corpus est présentée dans le tableau 1. notons que chaque document peut être associé à plusieurs spécialités, ce qui explique le décalage entre nombre de documents et nombre de spécialités. de plus, nous avons porté une grande attention à la distribution des classes dans chacun des sous-ensembles, dans le but d'avoir des distributions de classes similaires, malgré la difficulté qui est liée à l'annotation multi-labels sur chaque document. cette contrainte a ainsi entraîner une distribution générale du corpus assez peu commune, de 41.77 % pour le train, 28.20 % pour le dev et 30.02 % pour le test. de plus, comme nous pouvons le voir, les spécialités vétérinaire, étiologie et psychologie sont les plus représentées, suivies de la chirurgie et de la génétique. de plus, 30,51 % des articles sont attribués à plus d'un sujet, comme présenté dans la figure 1 . ## expériences et résultats pour identifier automatiquement les différentes spécialités, nous utilisons le modèle pré-entraîné camembert @xcite . afin d'améliorer les performances, nous avons affiné ce modèle sur le corpus d'apprentissage morfitt. nous avons également entraîné une couche de classification de dimension 12, qui correspond aux spécialités traitées, sur laquelle nous avons appliqué une fonction objective bce pendant 32 itérations avec un taux d'apprentissage de 2e -5. nous avons fixé le seuil de sélection des classes à 0, 70 pour toutes les spécialités en utilisant un processus manuel d'essais et d'erreurs. ces méta-paramètres ont été optimisés sur le corpus de développement. nous évaluons les performances du système en utilisant trois métriques : la précision moyenne pondérée et macro, le rappel ainsi que le score f1. ## conclusions nous avons proposé le premier corpus multi-labels d'articles scientifiques biomédicaux annotés en spécialités. les données ainsi que le modèle état-de-l'art s'appuyant sur camembert sont disponibles librement. dans de futurs travaux, nous expérimenterons des modèles bert spécifiques au domaine médical comme le modèle français drbert @xcite ou anglais biobert @xcite