Qui de D r BERT , Wikipédia ou Flan-T5 s’y connaît le plus en questions médicales ? (2023)

Abstract: Ce papier décrit la participation de l’équipe LIUM-IRISA à la campagne d’évaluation DEFT 2023.Notre équipe a participé à la tâche principale. Cette année, celle-ci consiste à la mise en placed’approches afin de répondre automatiquement à des questions à choix multiples. Nous avons mis enplace plusieurs systèmes, un premier avec une base de connaissances, un second système utilisant unmodèle génératif, un système à base de similarité et un dernier système combinant un ensemble dedescripteurs.

## introduction l'édition 2023 du défi fouille de textes (deft) porte sur l'exploration d'un corpus de questions fermées en français. elles proviennent d'annales d'examens de pharmacie et sont réunies dans le corpus frenchmedmcqa @xcite . les questions offrent la possibilité de choisir une ou plusieurs réponses parmi celles proposées. le challenge consiste en la mise en place d'approches afin de répondre automatiquement à ces questions à choix multiples. il s'agit donc d'associer, de choisir, un ensemble fini de réponses à une question énoncée en langage naturel dans le domaine spécifique du médical. une des difficultés de cette tâche provient en partie du fait que le vocabulaire à traiter est très spécifique. potentiellement, les mots les plus caractéristiques du sens de la question et des réponses n'ont que très peu d'occurrences dans le corpus. ainsi, appliquer les méthodes classiques de représentation vectorielles des mots par des modèles neuronaux pré-entraînés peut s'avérer plus complexe que pour des mots usuels présentant de nombreuses occurrences et de nombreux contextes différents d'apparition. par ailleurs, cette tâche peut s'apparenter à un cas particulier de la tâche classique question/réponse pour laquelle il existe plusieurs systèmes à l'état de l'art. ces systèmes combinent généralement un modèle qui recherche un contexte permettant de répondre à la question avec un modèle lecteur/générateur qui à partir du contexte et de la question extrait la réponse. comme décrit dans l'article de weng @xcite , plusieurs méthodes existent afin de trouver un contexte, mais cela reste limité aux questions ouvertes sur un sujet précis. il est plus difficile de trouver un contexte dans notre application aux questions fermées. cependant, des systèmes comme t5 @xcite ou @xcite peuvent s'affranchir de contextes grâce à leur nombre élevé de paramètres. le nombre de paramètres (plusieurs milliards) que peuvent contenir les deux modèles génératifs précédents permet de stocker de l'information et des connaissances. cela permet d'atteindre des performances similaires à plusieurs modèles de type bert @xcite associés à un système de recherche de contexte. pour cette édition, deux tâches sont proposées. la tâche principale consiste à identifier automatiquement et exactement quelles sont les réponses correctes. la tâche annexe se limite à identifier le nombre de réponses correctes sans indiquer précisément lesquelles sont correctes. notre équipe a porté son attention sur la tâche principale, pour laquelle nous avons élaboré plusieurs systèmes de classification. le premier système repose sur de la fouille dans une base de connaissances, le deuxième utilise un modèle génératif tandis que le dernier combine un ensemble de descripteurs. la structure de l'article est la suivante : après une brève description du corpus et de la tâche dans la section 2, la section 3 présente les différents systèmes proposés. les résultats des expériences menées sont exposés dans la section 4, suivis d'une synthèse des conclusions dans la section 5. ## analyse du corpus le corpus frenchmedmcqa est une collection de 3 105 questions fermées en français provenant d'annales d'examens de pharmacie. ce corpus est divisé en trois sous-ensembles, à savoir l'entraînement, le développement et le test. les questions sont réparties de la manière suivante entre ces trois ensembles : 70% des questions pour l'entraînement, 10% pour le développement et 20% pour le test. nous avons utilisé l'entrainement pour apprendre nos modèles et le corpus de test n'a été fourni que pendant la phase d'évaluation. chaque question est représentée par un identifiant et contient l'énoncé en langage naturel de la question, les cinq énoncés en langage naturel des options de réponse et l'ensemble des réponses correctes à la question. la question contient également le nombre de réponses correctes ainsi que le type de question : simple pour une seule réponse et multiple pour plusieurs réponses possibles. on note ainsi une première différence entre les questions : soit on recherche une seule réponse, soit plusieurs réponses sont correctes. on note également une deuxième différence, d'un point de vue de la sémantique : énoncé 1 "parmi les propositions suivantes, une seule est exacte. laquelle ? la sérotonine est le (la) :" énoncé 2 "parmi les affirmations suivantes, une seule est fausse, indiquer laquelle : les particules alpha" énoncé 3 "parmi les propositions suivantes, laquelle (lesquelles) est (sont) exacte(s) ?" partant de ce constat, nous avons choisi d'appliquer un premier système permettant de déterminer le type de la question avant d'appliquer ensuite un de nos systèmes entraînés pour détecter les réponses à associer aux questions. l'ensemble de ces systèmes est présenté dans la section suivante. ## systèmes nous avons mis en place plusieurs systèmes et un méta-système par apprentissage qui tente de fusionner un ensemble de descripteurs. ces systèmes ont pour objectif d'estimer la pertinence qu'une réponse candidate soit bonne. comme les énoncés demandent de trouver soit la/les bonnes réponse(s) soit le(s) intru(s), nous avons développé un détecteur de type d'énoncé qui va conditionner la manière dont nous allons utiliser le score de pertinence calculé par les systèmes pour associer les réponses recherchées à l'énoncé de la question. tout ceci est détaillé dans la section suivante.