Étude comparative de réponses humaines et de grands modèles de langue à des QCM en pharmacie (2025)

Abstract: Cet article propose d’étudier les réponses générées par plusieurs Grands Modèles de Langue à un ensemble de Questions à Choix Multiple en pharmacie. Ces réponses sont comparées aux réponses données par des étudiants, afin de comprendre quelles sont les questions difficiles pour les modèles par rapport aux humains et pour quelles raisons. Nous utilisons les logits internes des modèles pour construire des distributions de probabilité et analyser les caractéristiques principales qui déterminent la difficulté des questions via une approche statistique. Nous apportons aussi une extension du jeu de données FRENCH MEDMCQA avec des paires question-réponses en pharmacie, enrichies avec les réponses des étudiants, la ponctuation assignée aux réponses, les thématiques cliniques correspondantes et des annotations manuelles sur la structure et certains traits sémantiques des questions.

## introduction les grands modèles de langue (large language model -llm) comme @xcite ont marqué une avancée significative dans le domaine de la génération automatique de texte. ces progrès ont eu un impact considérable sur de nombreuses tâches de traitement automatique du langage naturel (taln) comme le résumé automatique, la réponse à des questions ou la traduction automatique. afin d'évaluer les capacités de ces modèles, de nombreux travaux ont été réalisés pour mesurer leurs performances sur divers référentiels d'évaluations (benchmarks). au fil du temps, ces référentiels ont évolué, passant des tâches simples (la prédiction du mot suivant ou le calcul de la perplexité) à des tâches plus complexes @xcite , telles que des examens médicaux @xcite ou juridiques @xcite . les performances des modèles sur les référentiels d'évaluations, comme par exemple la précision prédictive (accuracy) ou la f-mesure, font partie des métriques les plus communes pour évaluer les capacités des llm. en revanche, elles n'apportent qu'une compréhension superficielle des systèmes, indiquant principalement si un modèle peut compléter une tâche donnée de manière efficace, telle que répondre à des questions, sans pour autant apporter une perception plus profonde du comportement sous-jacent des modèles, ce qui pourrait permettre de mieux comprendre les causes des erreurs ou les subtilités dans la dégradation des performances @xcite . les difficultés rencontrées par les modèles quand il s'agit de répondre à des questions dépendent de plusieurs facteurs. d'une part, certaines questions sont intrinsèquement complexes, car elles requièrent des compétences telles qu'une connaissance approfondie du contexte, la capacité d'établir des liens entre différents sujets ou de mener des raisonnements en plusieurs étapes. d'autre part, la fréquence des concepts pendant l'entraînement joue un rôle clé : les llms ont plus de difficultés à traiter des termes rares ou à répondre à des questions très spécifiques. dans ce travail, nous proposons d'explorer pourquoi ces modèles échouent dans certaines conditions et dans quelle mesure ils rencontrent les mêmes obstacles que les humains quand il s'agit de répondre à des questions. nous pensons qu'améliorer notre compréhension sur ces questions est essentiel pour pouvoir concevoir des modèles plus robustes et capables de raisonner de manière plus fiable dans des contextes variés. nous proposons d'utiliser le jeu de données frenchmedmcqa (labrak et al., 2022) constitué de questions à choix multiples (qcm). ce jeu de données, qui contient des paires question-réponses du domaine public provenant d'annales du concours d'entrée aux formations d'internat en pharmacie, et pour lequel il est possible d'obtenir les taux de réponse des étudiants, nous permet de comparer les résultats de plusieurs modèles à ceux d'humains. les principales contributions de ce travail sont les suivantes :