Participation d’ EDF R & D au défi DEFT 2023 : réponses automatiques à des questionnaires à choix multiples à l’aide de « Larges Modèles de Langue » (2023)

Abstract: Ce papier présente la participation d’EDF R&D à la campagne d’évaluation DEFT 2023. Notre équipe a participé à la tâche de réponse automatique à des questions à choix multiples issus d’annales d’examens en pharmacie en français. Le corpus utilisé est FrenchMedMCQA. Nous avons testé des Large Language Models pour générer des réponses. Notre équipe s’est classée A COMPLETER.

## introduction l'objectif du défi deft 2023 est de répondre automatiquement à des questionnaires à choix multiples issus d'annales d'examens de pharmacie. le corpus utilisé, frenchmedmcqa @xcite , se compose de questions fermées en français provenant d'annales d'examens de pharmacie. chaque question contient : un identifiant, la question posée, cinq réponses possibles et l'ensemble des réponse(s) correcte(s). à la différence des défis des années passées, il est impossible de répondre aux questions posées sans avoir accès à des connaissances extérieures. plusieurs possibilités existent comme utiliser des bases de données spécialisées dans le domaine concerné (comme pubmed, par exemple), utiliser le web comme source de données ou bien utiliser les larges modèles de langues (llm en anglais) construits sur de grosses quantités de données et qui ont ainsi « acquis » un certain nombre de connaissances @xcite . en participant à ce défi, nous avons choisi de tester plusieurs "larges modèles de langue" comme gpt3 et bloom, ainsi que leur sur-couche chatgpt et bloomz. ## chatgpt l'arrivée de chatgpt (openai, 2021) a provoqué une onde choc assez impressionnante dans le monde du tal. cette technologie est très prometteuse et offre de belles perspectives pour la résolution des tâches classiques du tal mais également pour de nouvelles. nous en voulons pour preuve les nombreuses solutions concurrentes qui commencent à émerger comme « open assistant foot_0 ». plusieurs articles utilisent déjà cette technologie pour répondre à des questions à choix multiples tels que @xcite et @xcite . il nous a semblé intéressant d'utiliser le cadre de ce défi pour tester cette technologie en mode zero-shot, c'est-à-dire sans entraînement particulier et en demandant directement à chatgpt quelles étaient les bonnes réponses parmi les cinq réponses possibles.