Flan-T5 avec ou sans contexte, telle est la question à choix multiples (2024)

Abstract: Ce travail présente les systèmes développés par l’équipe LIUM-CREN pour l’atelier DEFT 2024. Nous avons participé à la tâche principale qui vise à inférer automatiquement les réponses correctes à des questions à choix multiples dans le domaine médical en utilisant le corpus FrenchMedMCQA. Nous avons soumis trois approches : (a) explorer l’espace de plongements afin de mettre en évidence les liens éventuels entre les questions et les réponses associées ; (b) utiliser la capacité de génération des modèles Text-To-Text tels que Flan-T5-Large pour générer les réponses correctes ; et (c) mettre en place une technique basique de Retrieval Augmented Generation (RAG) afin de fournir du contexte spécifique au modèle génératif Flan-T5-Large. Cet article vise à rapporter les résultats que nous avons obtenus et à étudier l’impact du contexte sur la capacité du Flan-T5 à inférer les réponses correctes.

## introduction répondre à un qcm dans un domaine spécifique, tel que le médical, soulève des défis particuliers en raison de la complexité du lexique et des connaissances spécialisées requises. les stratégies adoptées par les humains pour répondre aux qcms varient selon les individus et les contextes. parmi ces stratégies, on retrouve les connaissances préalables et d'étude @xcite , l'analyse des questions @xcite , et la compréhension du format de qcm @xcite , ainsi que bien d'autres @xcite @xcite . quelles stratégies les machines mettent en oeuvre pour répondre à un qcm ? des études récentes ont mis en évidence les difficultés des techniques avancées d'apprentissage automatique telles que les transformers @xcite à répondre à des qcms. la campagne d'évaluation deft2023 @xcite ) proposait d'explorer ces difficultés dans le domaine spécifique du médical. plusieurs équipes participantes avaient utilisé des grands modèles de langue (llm) @xcite @xcite pour résoudre ce challenge. l'édition 2024 propose à nouveau le même défi, en ajoutant dans la tâche principale comme contraintes une limitation de taille du modèle utilisé et la transparence des données utilisées durant son apprentissage. nous avons eu accès aux données du corpus frenchmedmcqa @xcite . ce corpus contient un ensemble de qcms avec, pour chaque question, cinq propositions de réponses. deux des principales difficultés résident dans le fait que le nombre de réponses correctes à sélectionner pour chaque question est inconnu, et que le vocabulaire utilisé est très spécifique au domaine pharmaceutique. notre étude reprend certains éléments mis en avant par l'équipe lium-irisa @xcite , notamment la prise en compte des schémas de question et l'exploitation d'un contexte par les llms. nous souhaitons aller plus loin en focalisant notre travail sur : la définition du schéma de la question permet d'adater la stratégie de réponse de nos systèmes aux exigences spécifiques de chaque question et ainsi d'optimiser le processus de sélection des réponses. ## approches d'identification des réponses attendues nous avons envisagé deux approches afin de répondre à la tâche principale proposée dans deft2024. la première de ces approches repose sur l'exploitation d'espaces de plongements afin de tenir compte de la proximité sémantique entre les questions et les réponses. la seconde approche est basée sur la génération des réponses à l'aide de grands modèles de langue (llm). ## procédures expérimentales notre équipe a participé à la tâche principale de la campagne d'évalution deft 2024, consistant à identifier automatiquement l'ensemble des réponses correctes parmi les cinq proposées pour une question donnée. les systèmes pour cette tâche avaient comme contraintes de faire moins de 3 milliards de paramètres, de ne pas rechercher sur internet les originaux des données fournies, et de ne pas utiliser de corpus additionnels autres que nachos @xcite et wikipédia. enfin, l'utilisation de modèles pré-entraînés était limitée à ceux dont les données d'entraînement sont connues. ## conclusion nos systèmes, bien que basés sur le même modèle affiné de flan-t5-large, montrent des performances différentes. cela met en évidence les forces et les faiblesses spécifiques de chaque approche sur certaines particularités des jeux de données. les architectures avec rag étaient lourdes à mettre en place. néanmoins, nous avons réussi à exploiter ces architectures et obtenus des réponses nous permettant de participer à la campagne deft 2024. il nous apparaît que l'espace de plongements seul ne suffit pas pour répondre avec précision aux questions à choix multiples. notre analyse met en évidence la nécessité de continuer à affiner nos modèles et d'explorer de nouvelles approches pour améliorer la précision et l'exactitude des réponses. l'optimisation des processus de recherche de contexte, l'intégration de bases de connaissances enrichies, et l'expérimentation avec diverses architectures de rag sont autant de pistes prometteuses pour l'avenir.