SPQR @Deft2023: Similarité Sorbonne Pour les Systèmes de Question Réponse (2023)

Abstract: Nous présentons le travail de SPQR (Sorbonne Question-Réponses) au DÉfi Fouille de Textes 2023 sur la réponse automatique à des questionnaires à choix multiples dans le domaine de la pharmacologie. Nous proposons une approche fondée sur la constitution de corpus de spécialité et la recherche de phrases similaires entre ces corpus et les différentes réponses possibles à une question. Nous calculons une similarité cosinus sur des vecteurs en n-grammes de caractères pour déterminer les bonnes réponses. Cette approche a obtenu un score maximal en Hamming de 0,249 sur les données de test (0,305 sur le dev) et de 0,0997 en Exact Match Ratio (0,16 sur le dev).

## introduction cette nouvelle édition du défi fouille de textes (deft) porte sur le corpus frenchmedmcqa @xcite composé de 3 105 questions fermées, issues des annales d'examens de pharmacie en français. chaque question possède un identifiant, cinq options de réponses et les corrections. deux tâches sont proposées dans cette édition du deft @xcite . la tâche principale proposée consiste en l'identification de réponses correctes parmi cinq réponses possibles proposées. la tâche annexe propose d'identifier le nombre de réponses (entre 1 et 5) potentiellement correctes pour une question. nous avons participé aux deux tâches. le corpus frenchmedmcqa est découpé en 3 sous-parties. le corpus d'entraînement (70 % du corpus total), le corpus de développement (10 %) et le corpus de test (20 %). il était attendu que les performances des systèmes soient évaluées avec la métrique exact match ratio, ou taux de réponses parfaitement juste, et le hamming score, taux de bonnes réponses parmi l'ensemble des réponses données par le système. nous faisons l'hypothèse que l'identification des bonnes réponses à une question de manière automatique s'apparente à une recherche de similarité entre les réponses possibles et des données textuelles de référence sur le sujet. plus précisément, qu'il s'agit de chercher comment nous pouvons montrer que les bonnes réponses à une question sont similaires à des phrases trouvées dans un texte de référence. pour démarrer nos expériences, nous avons exploré différentes techniques pour constituer des corpus de référence, que nous présentons dans l'article. nous nous sommes appuyés sur la détection de technolectes biomédicaux dans les questions et les réponses du corpus d'entraînement pour les lier soit avec des définitions issues du manuel merck @xcite soit pour interroger l'api openai foot_0 @xcite . enfin, nous avons constitué un corpus de manière intrinsèque en transformant les questions et les réponses du jeu d'entraînement en énoncés définitoires. cet article débute par un état de l'art sur l'évaluation des systèmes de questions-réponses à choix multiple (section 2) puis nous proposons une description du jeu de données frenchmed mcqa dans la section 3. la construction des corpus qui servent de base à nos méthodes est présentée dans la section 4, nous décrivons les différentes méthodes développées dans la section 5 puis nous présentons nos résultats et des éléments de discussion dans la section 6. ## méthodes pour les systèmes de question-réponse les systèmes de questions-réponses à choix multiple (ou multiple choice question answering) visent à sélectionner la ou les bonne(s) réponse(s) parmi un ensemble d'options données à une question. cette tâche est particulièrement utilisée dans le domaine de l'éducation @xcite . ce défi du traitement du langage naturel (tal) est un problème complexe du fait qu'il nécessite a priori une compréhension fine du langage utilisé pour analyser la question d'une part, et, d'autre part, d'appliquer des techniques de résolution de problèmes différents pour sélectionner la ou les bonne(s) réponse(s) parmi plusieurs options. ainsi, les systèmes de questions-réponses peuvent fonctionner en analysant la typologie des questions (factuelle, liste, booléenne, définition) selon la catégorisation proposée par @xcite et en fonction des réponses qu'ils attendent. concernant la détection des bonnes réponses, les modèles et techniques sont divers : des méthodes de raisonnement telles que le raisonnement multi-sauts (clark et al., 2018) ou encore le raisonnement logique @xcite @xcite . on trouve aussi dans la littérature des travaux s'appuyant sur des sources sémantiques incluant des connaissances généralistes (ou de sens commun) @xcite et des connaissances spécialisées (ou scientifiques) @xcite . il est aussi possible d'adopter des méthodes de déduction par l'erreur, sur le principe de l'élimination des réponses, ces méthodes impliquent la sélection de toutes les mauvaises options afin de faciliter la détermination de la bonne réponse. cette stratégie utilisée par (kim & fung, 2020) vise à entraîner le modèle en imitant la stratégie où le répondant exclut intuitivement les options improbables. sans être exhaustif, cet état de l'art montre que les modèles existants se spécifient selon la tâche d'application et ne sont pas directement applicables dans le cadre de notre étude. le contexte de l'étude induit une complexité linguistique qui se caractérise principalement par la compréhension de la question/réponse qui est relativement courte mais fortement spécialisée. la section suivante de cet article propose une description du jeu de données de questions-réponses du deft. ## description et analyse du jeu de données le corpus frenchmed mcqa est un ensemble de questions à choix multiple extraites d'examens de pharmacologie français. les questions et les réponses ont été créées manuellement par des experts médicaux et destinés à des étudiants de niveau universitaire. ## méthodes de résolution automatique nous avons procédé à la détection des technolectes médicaux à l'aide d'une similarité cosinus entre les phrases de nos corpus de référence et les questions/réponses du défi.