LIS @ DEFT ’23 : les LLM s peuvent-ils répondre à des QCM ? (a) oui; (b) non; (c) je ne sais pas. (2023)

Abstract: Cet article présente un ensemble d’expériences sur la tâche de réponse à des questions à choix multiple de DEFT 2023. Des grands modèles de langage sont amorcés avec les questions afin de collecter les réponses générées. Les résultats montrent que les modèles ouverts sans affinage obtiennent des performances similaires à celles d’un système supervisé fondé sur BERT, et que l’affinage sur les données de la tâche apporte des améliorations.

## introduction les récents progrès en traitement automatique des langues ont montré que les grands modèles de langage (llm, pour large language models) ont des propriétés de généralisation qui leur permettent d'adresser un grand nombre de tâches, y compris sans y avoir été soumis en entraînement, et ont la capacité de puiser dans les connaissances accumulées dans leurs données d'entraînement pour construire des raisonnements simples. dans ce travail nous nous intéressons aux capacités de ces modèles pour répondre à des questions à choix multiples dans le domaine médical. cet article présente en particulier le système proposé par le lis 1 pour la tâche partagée deft 2023. nous tentons de répondre aux questions suivantes : ## expériences et résultats une première série d'expériences teste les compétences sur la tâche d'une série de modèles disponibles pour la recherche sur le hub huggingface foot_0 . tous les modèles testés sont des modèles "instruits", qui ont été préalablement affinés sur des jeux de triplets (instruction, entrée et réponse attendue) à réaliser les tâches décrites en amorce plutôt que générer du texte ressemblant à leur corpus d'entraînement. malgré le fait que le format d'instruction recommandé pour chaque modèle puisse être différent, nous avons conservé l'amorce décrite ci-avant. la plupart des modèles sont entraînés sur des corpus majoritairement en anglais, mais contenant du français, et affinés avec des instructions en anglais. le tableau 1 présente les résultats en termes d'emr sur l'ensemble de développement de deft 2023 pour les modèles : bloomz @xcite , issu du projet bigscience et affiné sur environ 80 millions d'instructions des corpus xp3/xp3-mt synthétisées à partir de corpus de tal existants, flan-t5 @xcite et flan-ul2 @xcite 15 millions d'instructions multilingues et variées, tk-instruct @xcite un modèle t5 affiné avec des instructions naturelles collectées auprès d'humains, pythia affiné sur les instructions naturelles d'openassistant @xcite ciblant le cas d'utilisation d'un assistant, opt-iml @xcite un modèle affiné sur 2000 tâches de tal, galactica (taylor et al., 2022) un modèle entraîné majoritairement sur des publications scientifiques, mpt @xcite un modèle ouvert reproduisant llama et instruit sur de petits jeux d'instructions naturelles, pmc-llama @xcite une version de llama affinée sur des articles médicaux. ces modèles ont été sélectionnés pour leur pertinence potentielle à la tâche, selon plusieurs tailles représentatives, et avec la contrainte de fonctionner sur un seul gpu. on observe les tendances suivantes dans ces résultats : dans une famille de modèles, la taille est corrélée avec les performances ; certains modèles ont des performances bien supérieures à taille égale, possiblement à cause d'une meilleure représentation du français ; les modèles entraînés spécifiquement sur des données médicales ou scientifiques n'offrent pas d'avantage par rapport aux modèles génériques. on observe aussi que les meilleures performances obtenues par tk-instruct-11b dans un contexte zero-shot sont proches de celles rapportées par labrak et al. sur le corpus de test de deft'23 avec des systèmes supervisés fondés sur bert/bart dont les instances sont augmentées par un contexte provenant d'articles scientifiques @xcite . une seconde série d'expériences présente des résultats à partir de la famille de modèles llama @xcite avec ou sans affinage. dans ces expériences, les paramètres des modèles llama sont convertis en 8 bits afin d'occuper moins de mémoire gpu, puis ils sont affinés pendant une époque avec la méthode lora décrite plus haut, et avec comme paramètres @xmath0, α = 16, un dropout de 0.05, une taille de batch de 24, un taux d'apprentissage de 3 × 10 -4 , une longueur maximale de 256 tokens pour le mécanisme d'attention, et une optimisation par la méthode adam avec un warmup de 5% des batches. seules les matrices de paramètres de projection de la clé et la valeur du mécanisme d'attention sont modifiées par lora (q_proj et v_proj dans le modèle). la taille de micro-batches est ajustée pour maximiser la vitesse d'entraînement ; le modèle 65b peut être entraîné sur un gpu a100 avec 80gb de ram avec une taille de micro-batch de 1. les modèles sont affinés selon quatre jeux d'entraînement : les 2171 instances d'entraînement de deft 2023 qui correspondent exactement à la tâche ciblée, le jeu de données ## conclusion et perspectives les expériences montrent que certaines familles de modèles ont des performances très différentes à taille similaire, ce qui pourrait être expliqué par les compétences en français des modèles, et donc par la quantité de données en français sur lesquelles ils ont été entraînés. nous observons aussi que la taille des modèles, à travers une famille, est un bon prédicteur des performances. ceci peut s'expliquer par une meilleure compréhension du texte et une meilleure fidélité des connaissances représentées dans les modèles. toutefois, une autre explication pourrait provenir de la présence des questions et réponses du corpus dans les données d'apprentissage des modèles. il serait intéressant de tester cette hypothèse avec la méthode meld @xcite qui détermine si une question a été mémorisée par un modèle en générant la fin de la question à partir de son début avec une température de 0 et en la comparant à l'original. une autre façon de faire serait de retrouver les questions dans les données d'apprentissage des modèles. d'autres perspectives pour améliorer les systèmes seraient d'explorer l'espace des amorces afin de comprendre les caractéristiques d'une amorce associées à la tâche, de donner des exemples de réponses attendues (few-shot learning), de générer un contexte à partir de connaissances externes comme des ouvrages du domaine, de faire des ensembles à partir de modèles initialisés différemment. d'un point de vue des ressources nécessaires pour affiner les grands modèles, des méthodes alternatives à lora devraient être étudiées.