Comment évaluer un grand modèle de langue dans le domaine médical en français ? (2025)

Abstract: Les récentes avancées en Traitement Automatique des Langues liées aux grands modèles de langue (LLM) auto-régressifs investissent également les domaines spécialisés dont celui de la santé. Cette étude examine les questions qui se posent dans l’évaluation de LLM appliqués au domaine de la santé en se focalisant sur le français. Après un bref tour d’horizon des tâches et des données d’évaluation disponibles pour ce domaine de spécialité, l’article examine le mode d’évaluation des LLM dans des tâches de nature discriminante (détection d’entités nommées, classification de textes) et génératives (résumé de comptes rendus, génération de cas cliniques). L’article n’a pas vocation à rapporter une évaluation concrète, mais à discuter et préparer la méthodologie pour le faire.

## introduction les grands modèles de langue (llm) ont montré des capacités qui dépassent celles attendues dans le traitement automatique des langues en offrant des performances notables pour la génération de texte, la traduction, les tâches de question-réponse, etc. @xcite @xcite @xcite . dans le domaine médical, et notamment en français, diverses initiatives ont vu le jour pour créer des modèles de langue : des modèles à masquage @xcite puis des modèles auto-régressifs @xcite . d'autres initiatives en cours visent la création d'autres modèles francophones auto-régressifs pour ce domaine, comme dans le cadre du projet partages. l'une des questions centrales de ces initiatives concerne la question de l'évaluation de ces modèles et plus particulièrement : comment évaluer un llm dans le cadre du domaine médical en français ? lors de l'évaluation dans le cadre d'un domaine spécialisé comme le domaine médical, on peut bien sûr se demander s'il y a une spécificité à évaluer un llm francophone adapté au domaine par rapport à un llm non-spécialisé. dans notre étude, nous nous focalisons sur le cas spécifique de l'évaluation d'un llm francophone spécialisé dans le domaine médical. cependant, certains points abordés sont de fait généraux, et une grande partie de ces considérations s'appliqueront à d'autres situations. considérant ce cadre particulier, cela impacte notre étude selon deux axes principaux. d'une part, l'usage du français et d'un domaine spécialisé restreignent de fait les corpus disponibles, ce qui est source de difficultés qu'il faudra résoudre. d'autre part, cibler des tâches particulières, choisies selon les besoins des utilisateurs de ce domaine, amène à se placer dans un contexte concret qui peut se départir des tâches « académiques » 1 et qui peut amener des points particuliers dans les méthodes d'évaluation. dans cet article, nous étudions les problématiques d'évaluation rencontrées dans ce contexte (section 2), dont le besoin de jeux de données (section 3). nous rappelons les méthodes classiques pour l'évaluation de tâches discriminantes comme la détection d'entités et la classification de textes (section 4) et discutons celles qui sont utiles pour l'évaluation de tâches génératives comme la génération de textes ou le résumé (section 5). nous terminons par l'examen de plusieurs campagnes d'évaluation récentes portant sur des textes médicaux (section 6), puis concluons sur des recommandations générales (section 7). ## problématiques ces problématiques d'évaluation d'un llm concernent les méthodes d'évaluation et les données sur lesquelles elles s'appliquent. ## jeux de données existants plus d'une centaine de jeux de données ont été créés pour évaluer des tâches de traitement automatique des langues en anglais dans le domaine biomédical @xcite : recherche d'information, reconnaissance d'entités nommées, classification de textes, traduction, etc. cependant, en français, peu de données sont disponibles. cette rareté est fortement liée aux contraintes d'utilisation des données médicales en europe : ces données relèvent de la vie privée et sont donc protégées @xcite . on peut citer les corpus quaerofrenchmed, e3c, cas, et frenchmedmcqa (tableau 1). ces jeux de données ont été principalement utilisés dans des campagnes d'évaluation comme clef @xcite et deft @xcite @xcite @xcite . à noter, certaines campagnes d'évaluation ont pu mettre à disposition d'autres jeux de données temporairement, sous conditions, comme dans clef ehealth 2017 @xcite . ils ne peuvent de ce fait pas être considérés comme « disponibles ». quaerofrenchmed @xcite est composé de deux jeux de données : emea et medline. emea est une collection de notices patient concernant des médicaments commercialisés en europe, tandis que medline est une collection de titres d'articles scientifiques indexés dans la base de données bibliographique medline foot_1 . ces deux parties sont annotées en dix types d'entités nommées (anatomy, chemical and drugs, devices, disorders, geographic areas, living beings, objects, phenomena, physiology, procedures). e3c @xcite est un corpus multilingue européen de descriptions de cas de patients publiés dans des revues (case report) collectés à partir de multiples sources scientifiques telles que pubmed et scielo. ce corpus est annoté en entités de type événement, expression temporelle, acteur, partie du corps, mesure et résultat d'examen, et en relations temporelles et aspectuelles. ## tâches discriminantes les tâches de nature « discriminante » produisent des données prises dans des catégories prédéfinies, comme la détection d'entités ou la classification de textes. la question d'évaluation principale soulevée par l'usage d'un modèle génératif dans une tâche discriminante est le mode d'évaluation du texte qu'il génère. en effet, un llm peut ne pas respecter le format de sortie qui lui est demandé. cela rend difficile l'exploitation de ses résultats @xcite . il se peut alors que le score automatiquement assigné à ce résultat lors d'une évaluation automatique soit faible, voire nul, alors qu'une interprétation humaine de la sortie du système aurait pu y déceler une réponse correcte. certains auteurs concluent qu'il faut évaluer les llm différemment. dans notre contexte, l'usage visé est la production de données structurées, pas une lecture humaine. de ce fait, si la forme produite n'est pas celle attendue et que cela empêche d'interpréter automatiquement les résultats fournis, il est pertinent que l'évaluation automatique produise un score bas. donner des consignes pour que le llm produise une sortie structurée (json, etc.) est généralement possible, mais cela ne garantit pas que ces consignes soient respectées. la génération contrainte est une autre piste @xcite . en tout état de cause, ces méthodes relèvent de la conception d'un système et pas de son évaluation. ce que l'évaluation doit prendre en compte est la sortie du système global formé du modèle, des consignes qui lui sont données, et du post-traitement du texte généré. les méthodes employées pour réaliser ce système global sont du ressort des personnes qui l'ont conçu, pas de celles qui l'évaluent. les métriques automatiques d'évaluation restent celles utilisées dans les autres domaines, à savoir, la précision, le rappel, la f-mesure et l'exactitude. ## conclusion nous avons discuté des modes d'évaluation des grands modèles de langue (llm) pour le domaine de la santé en français pour plusieurs tâches pertinentes dans ce domaine. nous avons indiqué en préalable que comme pour l'évaluation d'autres méthodes, le manque de données de référence en français et les restrictions d'accès aux données médicales rendent cette évaluation d'autant plus difficile. concernant l'évaluation de tâches discriminantes, nous considérons que l'évaluation de systèmes à base de llm ne doit pas être différente de celle d'autres méthodes : c'est le système global que l'on évalue, indépendamment de son mode de fonctionnement interne. l'utilisation de méthodes pour assurer que le système génère une sortie respectant le format attendu, comme la génération contrainte ou la production de json ou xml, est du ressort des auteurs du système. dans le cadre de l'évaluation de tâches génératives, la notion de diversité dans la génération de cas cliniques n'est que peu abordée. dans la génération de résumé, outre les mesure de similarité de surface et celles fondées sur des représentations vectorielles, la complétude et la véracité du contenu du résumé sont particulièrement importants dans un domaine sensible comme la santé. les systèmes à apprentissage supervisé sont sujets aux biais des corpus sur lesquels ils sont entraînés. l'exacerbation des biais dans les grands modèles de langue amène à porter une attention particulière à l'évaluation de ces biais, dans les tâches discriminantes comme génératives. enfin, du fait du coût computationnel nettement plus élevé de l'usage de très grands modèles de langue, il faut ajouter aux évaluations de qualité l'estimation du coût computationnel du système et de son impact écologique. cela devrait aider les utilisateurs de systèmes à choisir le meilleur compromis entre la qualité des sorties produites et les coûts induits.