DÉ fi Fouille de Texte 2024 (2024)

Abstract: Cet article présente une série d’expériences sur la tâche de réponse à des questions à choix multiples de DEFT2024. En s’appuyant sur le corpus FrenchMedMCQA, nous avons mis en œuvre plusieurs approches, incluant des techniques de Récupération augmenté de modèle de langue pré entraîné (REALM).

## introduction afin de confronter différentes méthodes sur des thématiques diverses, la campagne d'évaluation francophone défi fouille de textes (deft) est organisée chaque année. cette édition 2024 est la continuité de celle de l'année précédente, qui consistait à répondre automatiquement à des questionnaires à choix multiples dans le domaine pharmaceutique. l'objectif est d'explorer d'autres méthodes et de les comparer à celles de 2023. dans cet article, nous allons continuer dans le même esprit que l'édition de l'année précédente, en lui implémentant la récupération augmenté de modèle de langue pré entraîné, ou retrieval-augmented language model pre-training (realm). ## corpus le corpus frenchmedmcqa @xcite répertorie un total de 3105 questions à choix multiples sur le domaine de la pharmacie. chaque question est représentée par un identifiant et 5 réponses possibles. les données sont en français et sont réparties en 3 ensembles : 70% de questions pour l'entraînement, 10% pour la validation et 20% pour le test. en plus de ces fichiers, l'utilisation figure 1 -illustration de la répartition du nombre de bonnes réponses par fichiers. les différentes parties des camemberts représentent la répartition du nombre de réponses. si on prend l'exemple du camembert du test, dans 51,6% des cas il n'y a qu'une seule réponse uniquement, dans 22,7% des cas, il y a 3 réponses uniquement. ces graphiques illustrent que les jeux de données possèdent globalement plus de réponses uniques que de réponses à plusieurs choix. par exemples les réponses à 5 choix corrects sont très rares (moins de 2% du corpus). on observe aussi que les proportions entre les différents nombres de réponses sont relativement respectées entre les différents jeux de données, sauf pour le jeu d'entraînement (train), ce qui pourrait biaiser le modèle et expliquer de moindres performances globales sur le jeu de test. nous pouvons observer que les questions où 5 réponses sont possibles sont les moins récurrentes. ## présentation de la tâche la tâche principale de cette édition de deft est d'identifier l'ensemble des réponses correctes d'une question donnée parmi cinq réponses possibles de manière automatique. pour réaliser cette tâche, nous devrons proposer des systèmes de moins de 3 milliards de paramètres. à cela s'ajoute l'évaluation des systèmes. nous utiliserons les métriques exact match ratio (emr), correspondant au taux de réponses parfaitement justes, et hammering score, le taux de réponses justes parmi l'ensemble des réponses de références. la tâche annexe est identique à la tâche principale, sans la limite de taille pour les systèmes. nous n'étudierons cependant pas ce cas ici. ## conclusion bien que nous n'ayons pu montrer les qualités de ces approches, nous pensons qu'elles méritent d'être tout de même explorées de manière plus approfondie, notamment la mixture d'expert à partir de modèles pré-existants. celle-ci soulève plusieurs questions dont celle de la combinaison de modèles aux langues distinctes permettant ou non le transfert des connaissances, par exemple, d'un modèle français spécialisé dans le domaine médical à un modèle japonais spécialisé dans un autre domaine. cela permettrait, en somme, de réutiliser au mieux les modèles pré-entraînés déjà existants.