Tâches et systèmes de sélection automatique de réponses à des QCM dans le domaine médical : Présentation de la campagne DEFT 2024 (2024)

Abstract: L’édition 2024 du DÉfi Fouille de Textes (DEFT) met l’accent sur le développement de méthodes pour la sélection automatique de réponses pour des questions à choix multiples (QCM) en français. Les méthodes sont évaluées sur un nouveau sous-ensemble du corpus FrenchMedMCQA, comprenant 3 105 questions fermées avec cinq options chacune, provenant des archives d’examens de pharmacie. Dans la première tâche, les participants doivent se concentrer sur des petits modèles de langue (PML) avec moins de 3 milliards de paramètres et peuvent également utiliser les corpus spécifiques au domaine médical NACHOS et Wikipedia s’ils souhaitent appliquer des approches du type Retrieval-Augmented Generation (RAG). La second tâche lève la restriction sur la taille des modèles de langue. Les résultats, mesurés par l’Exact Match Ratio (EMR), varient de 1,68 à 11,74 tandis que les performances selon le score de Hamming vont de 28,75 à 49,15 pour la première tâche. Parmi les approches proposées par les cinq équipes participantes, le meilleur système utilise une chaîne combinant un classifieur CamemBERT-bio pour identifier le type de question et un système RAG fondé sur Apollo 2B, affiné avec la méthode d’adaptation LoRA sur les données de l’année précédente.

## introduction le défi fouille de textes (deft) est une campagne d'évaluation annuelle francophone qui permet à plusieurs équipes, souvent issues du monde académique et/ou industriel, de confronter des méthodes originales en traitement automatique du langage naturel (taln) sur une ou plusieurs tâches régulièrement renouvelées. l'édition 2024 du défi foot_0 est dans la continuité de l'édition 2023. elle porte sur la mise en place d'approches permettant de répondre automatiquement à des questionnaires à choix multiples issus d'annales d'examens de pharmacie. une des difficultés et originalités du corpus réside dans le fait que chaque question contient une inconnue sur le nombre de réponses associées, là où d'autres corpus @xcite @xcite attendent une seule réponse par question. cette difficulté a permis aux équipes participantes d'explorer et de proposer de nouvelles approches pouvant s'écarter de celles actuellement proposées pour des tâches plus classiques en taln. les données d'évaluation proviennent du corpus frenchmedmcqa @xcite qui se compose de questions fermées en français issues d'annales d'examens de pharmacie en français. pour l'édition 2024, un nouveau corpus d'évaluation a été collecté à partir d'une source de données différente et reprend le format du corpus frenchmedmcqa. nous ferons référence à ce nouveau corpus d'évaluation sous la dénomination (def t 2024 ). le défi propose deux tâches aux participants : la campagne, lancée le 11 mars 2024, a permis l'accès aux données d'entraînement après la signature d'un accord par tous les membres des équipes participantes. la phase d'entraînement s'est déroulée sur presque deux mois, du 11 mars 2024 au 27 mai 2024, suivie de la phase de test du 27 mai au 31 mai 2024. cinq équipes se sont inscrites et ont mené la campagne à son terme : -limics (delourne et al., 2024) : équipe du laboratoire d'informatique médicale et d'ingénierie des connaissances en e-santé (limics) de l'université sorbonne paris-nord. -lium-cren (okat et al., 2024) : équipe jointe entre les équipes du cren et du lium de le mans université, et le centre hospitalier du mans. -crim (moubtahij et al., 2024) : équipe du centre de recherche informatique de montréal (crim). -exbert (charlot et al., 2024) : équipe du laboratoire des sciences du numérique de nantes (ls2n) et de la faculté des sciences (master atal) de nantes université. -spqrr (lejeune, 2024) : équipe jointe entre l'équipe stih du ceres de sorbonne université, le lig de l'université de grenoble alpes, le loria de l'université de lorraine et l'équipe dtipg de la sncf. 2 corpus lors de ce défi, nous avons mis à disposition le corpus frenchmedmcqa (labrak et al., 2022), ainsi qu'un nouveau corpus collecté spécialement pour deft 2024. ces deux corpus de qcm portent sur le domaine médical et sont constitués à partir d'annales d'examens réels de pharmacie en français. ils sont similaires à ceux que l'on retrouve dans d'autres langues, telles que l'anglais, avec les corpus medmcqa (pal et al., 2022b) et sciq (welbl et al., 2017). chaque qcm contient cinq réponses potentielles, parmi lesquelles se trouvent une ou plusieurs réponses correctes, réalisées manuellement par des experts médicaux et utilisées lors d'examens de pharmacie. le corpus de l'édition 2023 de deft, frenchmedmcqa, contient un ensemble de 3 105 qcms. il a été constitué en collectant des questions et leurs réponses associées à partir du site remede.org foot_1 . pour cette nouvelle édition, un nouveau corpus d'évaluation (def t 2024 ), contenant un ensemble de 477 qcms, a été collecté. ce corpus a été constitué à partir de questions et de leurs réponses associées provenant d'annales d'examens réels de pharmacie en français obtenues sur le site medshake foot_2 . le corpus def t 2024 suit les mêmes contraintes que le corpus frenchmedmcqa, à savoir cinq réponses potentielles par question, et une ou plusieurs réponses correctes possibles. le tableau 1 ci-dessous fournit la distribution du jeu de données frenchmedmcqa selon son découpage pour l'apprentissage, le développement ainsi que du corpus d'évaluation collecté spécialement pour cette nouvelle édition. le corpus de test (def t 2024 ) est constitué de 477 nouvelles questions. le nombre de questions avec une réponse unique passe de 52% à 19%, permettant de tester la généralité des systèmes à ce changement de distribution. # réponses frenchmedmcqa def t 2024 total apprentissage développement test test 1 595 164 321 93 1 173 2 528 45 97 146 816 3 718 71 141 160 1 090 4 296 30 56 73 455 5 34 2 7 5 48 total 2 171 312 622 477 3 582 chaque instance du corpus comprend un identifiant, une question, cinq réponses potentielles (étiquetées dans le corpus de a à e), et la (ou les) réponse(s) correcte(s). la longueur moyenne des questions du corpus frenchmedmcqa est de 14,17 mots et la longueur moyenne des réponses est de 6,44 mots. le vocabulaire compte 13 000 mots, sachant que 3 800 d'entre-eux (soit environ 29 %) sont spécifiques au domaine médical. dans le détail, en moyenne, chaque question contient 2,5 mots spécifiques au domaine médical (représentant 17 % des mots dans une question) et chaque réponse en contient 2 en moyenne (représentant 36 % des mots dans une réponse). enfin, toujours en moyenne, un mot spécifique au domaine médical apparaît dans 2 questions et dans 8 réponses. pour le corpus d'évaluation def t 2024 , ces métriques sont similaires au corpus frenchmedmcqa. la longueur moyenne des questions est de 15,79 mots et la longueur moyenne des réponses est de 6,90 mots. le vocabulaire de ce jeu d'évaluation compte 7 531 mots, dont 1 856 sont spécifiques au domaine médical (soit environ 24,64%). en moyenne, chaque question contient 2,57 mots spécifiques au domaine médical (représentant 15,28% des mots dans une question) et chaque réponse en contient 2,13 (représentant 35,05% des mots dans une réponse). enfin, toujours en moyenne, un mot spécifique au domaine médical apparaît dans 0,64 question et 2,71 réponses. la figure 1 donne un exemple d'une instance pour une question contenant plusieurs réponses correctes. pour l'ensemble des tâches et pistes, les participants ont eu à leur disposition les données d'entraînement, de développement et de test de l'année précédente, comme décrit dans la section 2. les annotations du nouveau corpus de test (def t 2024 ), sur lequel toutes les équipes ont été évaluées, n'ont jamais été fournies durant la campagne d'évaluation. cependant, elles ont été rendues disponibles librement à la fin de la campagne, permettant ainsi aux équipes d'évaluer les systèmes non soumis. enfin, nous avons fourni à l'ensemble des équipes un système état-de-l'art pour chacune des deux tâches. ces premiers résultats permettaient aux équipes d'avoir un repère quant aux performances de leurs approches. ## résultats cinq équipes ont participé à la tâche principale, tandis qu'aucune n'a pris part à la tâche annexe. dans les sections suivantes, nous présentons tous les résultats officiels de la campagne deft 2024, y compris de brèves descriptions des systèmes proposés par chaque équipe ainsi que plusieurs systèmes de référence évalués par les organisateurs de l'événement. ## conclusion l'édition 2024 du défi fouille de textes (deft) s'est concentrée sur le développement de méthodes permettant de choisir les réponses dans des questions à choix multiples (qcms) en français. la première tâche a rassemblé cinq équipes et consistait à sélectionner automatiquement le sousensemble de réponses correctes parmi celles proposées pour une question donnée. les équipes participantes avaient à leur disposition le corpus frenchmedmcqa de deft 2023, et pouvaient également s'aider de connaissances externes avec les corpus nachos et wikipedia. les résultats obtenus sur les données de test de deft 2024 ont été fournis selon la métrique emr, variant de 1,68% à 11,74%, alors que les performances en termes de distance de hamming s'échelonnaient de 28,75% à 49,15%. notre système baseline a obtenu 2,73% et 35,11% respectivement avec l'emr et la distance de hamming. l'utilisation de grands modèles de langue associés à des méthodes de rag sur les corpus externes fournis s'est révélée la plus efficace. cette nouvelle édition de deft se termine avec une grande variété de méthodes testées sur chacune des tâches proposées, et montre que l'utilisation de grands modèles de langue s'avère très efficace, alors même que certains de ces modèles ne sont pas adaptés au domaine traité (ici, le domaine médical).