Evaluation et analyse des performances des grands modèles de langue sur des épreuves d’examen de médecine français (2025)

Abstract: Les grands modèles de langue (GMLs) ont démontré leur capacité à répondre correctement à des questions de médecine sur des bases anglaises. Or, leur paramétrage par apprentissage profond les soumet au biais linguistique et doivent ainsi être évalués dans la langue de l’utilisateur. Nous avons évalué des GMLs sur 278 questions à choix multiples provenant d’examens de médecine (Lyon-Est 2024) de différentes spécialités et respectant les recommandations nationales. Nos résultats montrent que les GMLs sont aussi bons que les étudiants mais qu’il existe d’importantes variations selon les spécialités. Améliorer la consigne en précisant de s’appuyer sur les recommandations françaises modifie significativement les notes obtenues ce qui démontre la nécessité d’éprouver les GMLs selon différents contextes géographiques et linguistiques. Nous avons également analysé le type d’erreur que font les GMLs ce qui ouvre la porte à des améliorations plus ciblées.

## introduction le secteur de la santé manifeste un intérêt croissant pour les grands modèles de langue (gmls). leur performance doit pour cela être évaluée afin d'assurer leur efficacité et leur sécurité. les grands modèles de langue ont démontré leur capacité à répondre correctement à des questions de médecine mais principalement sur des bases de données anglaises (medqa, medmcqa, pubmedqa, ...) @xcite . ces modèles basés sur l'apprentissage sont très dépendants de leur base d'entraînement. ainsi, le texte produit en sortie des modèles de langage les plus communs mettent en avant les sources anglaises. or en france, la médecine et les bonnes pratiques médicales sont régies par des recommandations d'autorités nationales ou européennes. cela permet de garder une cohérence vis à vis des ressources disponibles et des particularités des populations. les grands modèles de langage, du fait de leur nature à contenir une quantité massive de paramètres entraînés non équitablement entre les différentes langues, sont soumis au biais linguistique et doivent alors être éprouvés dans chacune des langues de leur utilisation @xcite . une simple traduction d'une langue à une autre des réponses obtenues ne permet pas de les contextualiser aux recommandations médicales locales. il existe pour l'instant deux bases de données publiques françaises qui traite de questions de médecine mais elles présentent des limites importantes : ces questions-réponses sont organisé en 2 ou 3 parties dans les épreuves : nous travaillons actuellement avec le doyen de la faculté de médecine lyon-est afin de rendre cette base de données disponible en ligne. voici un exemple du type de question posée, ici la première question d'un dossier progressif de psychiatrie (figure 1 ).