Passe ta pharma d’abord ! (2023)

Abstract: Nous présentons les 3 expériences menées par l’équipe ALMAnaCH - Arkhn et leurs résultats pour le DÉfi Fouille de Textes (DEFT) 2023. Les scores sont encourageants mais suggèrent surtout de nouveaux éléments à prendre en compte pour réussir ce défi. Nous avons exploré différentes approches avec des modèles de tailles variables et modélisé la tâche de différentes manières (classification multi-labels, implication textuelle, séquence à séquence). Nous n’avons pas observé des gains de performance significatifs. Nos expériences semblent montrer la nécessité de l’utilisation de bases de connaissances externes pour obtenir de bons résultats sur ce type de tâche.

## introduction dans cet article, nous présentons notre participation au défi fouille de textes (deft) 2023, une campagne d'évaluation francophone. l'objectif de ce défi est de développer des approches permettant de répondre automatiquement à des questionnaires à choix multiples issus d'annales d'examens de pharmacie. frenchmedmcqa @xcite est composé de 3105 questions fermées, extraites d'annales françaises d'examens de pharmacie. chaque question est associée à un identifiant et cinq réponses possibles. le nombre de bonnes réponses par question varie entre 1 et 5. le corpus est divisé en trois sous-ensembles : entraînement, développement et test. le corpus d'entraînement représente 70% des questions, celui de développement 10%, et celui de test 20%. une exploration des données fig. 1 montre un faible nombre de questions à 4 ou 5 réponses correctes. la majorité des questions n'ont qu'une seule bonne réponse, ce qui est souvent explicité dans la question elle-même. le nombre de bonnes réponses n'est pas précisé dans la question quand il est supérieur à 1. ## description de la tâche le défi comporte deux tâches principales. la première tâche consiste à identifier automatiquement l'ensemble des réponses correctes parmi les cinq options proposées pour chaque question. l'évaluation de cette tâche est basée sur le taux de réponses parfaitement justes (exact match ratio, emr) et le taux de réponses justes parmi l'ensemble des réponses et références (hamming score). le classement final des équipes se fait en fonction de l'exact match ratio. la deuxième tâche annexe consiste à estimer le nombre de réponses supposément justes pour chaque question, qui peut varier de 1 à 5. l'évaluation de cette tâche se fait à l'aide des métriques de précision et de score f1. seule la première tâche a été étudiée dans notre participation. ## conclusion et perspectives notre participation au défi fouille de textes (deft) 2023 nous donne des conclusions intéressantes. les scores relativement faibles de nos systèmes, bien que d'approches différentes, semblent montrer qu'il est difficile d'obtenir de bonnes performances pour cette tâche sans utilisation de bases de connaissances externes. ni les connaissances apprises à l'aide du jeu d'entraînement de french-medmcqa, ni celles apprises lors du pré-entraînement de nos modèles ne semblent suffisantes. les jeux de pré-entraînement de nos modèles sont variés, avec des jeux spécialisés pour camembert-bio et drbert, ou des jeux de très grande taille comme avec flan-t5 @xcite . ces types de modèle montrent de bonnes performances sur un certain nombre de tâches biomédicales sans utilisation de bases de connaissances externes @xcite . en effet, les questions de ce jeu de données sont très spécifiques et basées sur de la connaissance. il serait alors intéressant d'explorer par la suite des méthodes qui exploitent des bases de connaissances externes. une première méthode serait d'injecter dans les instructions que l'on donne à notre modèle de langue, un contexte pertinent vis-à-vis de la question. ce contexte pourrait alors être extrait depuis un corpus biomédical dans laquelle on aurait fait une recherche sémantique ou une recherche par mots clés type mesh, et ainsi donner les connaissances nécessaires pour répondre à la question @xcite . cette méthode n'assure cependant pas que le contexte contient les informations nécessaires pour répondre, mais seulement des phrases sémantiques proches de la question dans un corpus donné. une autre approche serait de reconnaître les différents types de question. en effet certaines sont basées sur du calcul numérique. on pourrait alors détecter le type de question et faire appel par la suite à un agent spécialisé pour ce problème. schick et al. (2023) montrent qu'un modèle de langue génératif est capable d'identifier différents problèmes et d'utiliser d'autres agents pour y répondre. cela demande cependant de trouver à l'avance les différents types de questions et de construire ou identifier un agent pertinent pour chacun d'entre eux. il est également possible d'utiliser une base de connaissances externe pour générer de nouvelles questions (sileo et al., 2023). cela nous permettrait d'avoir un jeu d'entraînement plus conséquent d'une part, et d'autre part d'encoder des connaissances externes directement dans le jeu d'entraînement. en conclusion, pour améliorer les performances de réponse automatique à des questionnaires à choix multiples en pharmacologie, il serait intéressant d'explorer des méthodes qui exploitent des bases de connaissances externes, en générant de nouvelles questions, en injectant du contexte pertinent dans les instructions données à un modèle génératif ou en construisant et en appelant des agents pertinents pour chacun des types de questions possibles. ces pistes de recherche offrent des perspectives intéressantes pour de futurs travaux dans le domaine. références akiba t., sano s., yanase t., ohta t. & koyama m. (2019). optuna : a next-generation hyperparameter optimization framework. corr, abs/1907.10902. chung h. w., hou l., longpre s., zoph b., tay y., fedus w., li e., wang x., dehghani m., brahma s., webson a., gu s. s., dai z., suzgun m., chen x., chowdhery a., narang s., mishra g., yu a., zhao v., huang y., dai a., yu h., petrov s., chi e. h., dean j., devlin j., roberts a., zhou d., le q. v. & wei j. (2022). scaling instruction-finetuned language models. doi : 10.48550/arxiv.2210.11416. labrak y., bazoge a., dufour r., daille b., gourraud p.-a., morin e. & rouvier m. (2022). frenchmedmcqa : a french multiple-choice question answering dataset for medical domain. in proceedings of the 13th international workshop on health text mining and information analysis (louhi), p. 41-46, abu dhabi, united arab emirates (hybrid) : association for computational linguistics.