LIMICS @ DEFT ’24 : Un mini- LLM peut-il tricher aux QCM de pharmacie en fouillant dans Wikipédia et NACHOS ? (2024)

Abstract: Ce papier explore deux approches pour répondre aux questions à choix multiples (QCM) de pharmacie du défi DEFT 2024 en utilisant des modèles de langue (LLMs) entraînés sur des données ouvertes avec moins de 3 milliards de paramètres. Les deux approches reposent sur l’architecture RAG (Retrieval Augmented Generation) pour combiner la récupération de contexte à partir de bases de connaissances externes (NACHOS et Wikipédia) avec la génération de réponses par le LLM Apollo-2B. La première approche traite directement les QCMs et génère les réponses en une seule étape, tandis que la seconde approche reformule les QCMs en questions binaires (Oui/Non) puis génère une réponse pour chaque question binaire. Cette dernière approche obtient un Exact Match Ratio de 14.7 et un Hamming Score de 51.6 sur le jeu de test, ce qui démontre le potentiel du RAG pour des tâches de Q/A sous de telles contraintes.

## introduction cette nouvelle édition 2024 du défi fouille de textes (deft) propose, à l'instar de l'édition 2023, d'utiliser le corpus frenchmedmcqa @xcite . pour cette nouvelle édition, un nouveau corpus de test de 477 questions a été collecté. la tâche principale consiste à identifier les réponses correctes aux questions parmi les cinq options proposées. toutefois, les systèmes proposés doivent respecter les contraintes suivantes : chatgpt, mistral et autres modèles de ce type ne peuvent pas être utilisés). 3. utiliser uniquement comme corpus additionnels nachos et wikipédia. 4. faire moins de 3 milliards de paramètres. la tâche secondaire est identique à la tâche principale mais il n'y a aucune limite sur la taille des modèles. avec l'ajout d'un nouveau corpus de test de 477 questions, nous avons décidé de répartir le corpus frenchmedmcqa en deux sous-parties : le corpus d'entraînement (2171 questions, 70% du total) et le corpus de développement (934 questions, 30% du total). l'édition deft 2023 (favre, 2023) a mis en évidence la performance des grands modèles de langues (llms) tels que gpt ou llama. cependant, cette année, les participants doivent utiliser des systèmes ne dépassant pas 3 milliards de paramètres et dont les données de pré-entraînement sont ouvertes, ce qui exclut les grands llms de la tâche principale. l'objectif de cette année est d'utiliser des petits llms, parmi ces modèles on retrouve appolo-2b (wang et al., 2024a), bloom-3b @xcite ou encore croissantllm @xcite qui remplissent les exigences du défi. ces modèles ont été entrainés sur des données multilingues incluant le français, ce qui est nécessaire pour le traitement du corpus du défi frenchmedmcqa, ce qui nous a poussé à les évaluer. la contrainte sur le faible nombre de paramètres de notre système nous pousse également à utiliser une base de connaissance externe pour aider le système à répondre aux questions. cette fouille en comparant les documents préalablement convertis en embeddings à l'aide d'un modèle de langue de type sentencebert @xcite qui est un modèle de type bert affiné pour la comparaison de phrases. ## résultats le tableau 1 présente les résultats du premier système. 5 annexe