Étude des facteurs de complexité des modèles de langage dans une tâche de compréhension de lecture à l’aide d’une expérience contrôlée sémantiquement (2024)

Abstract: Cet article propose une méthodologie pour identifier les facteurs de complexité inhérents aux tâches de traitement automatique du langage (TAL), indépendamment de la dimension des modèles. Il montre que la performance inférieure de certains exemples est attribuable à des facteurs de complexités spécifiques. Plutôt que de procéder à des évaluations générales, nous préconisons des évaluations restreintes portant sur des tâches, des ensembles de données et des langues spécifiques, décrites de manière linguistique. Appliquée à une tâche de compréhension de texte via un corpus de questions-réponses, notre méthode met en évidence des facteurs de complexité sémantique affectant divers modèles de tailles et d’architectures différentes. En outre, nous proposons plusieurs corpus de complexité sémantique croissante dérivés de ces facteurs, avançant que l’optimisation de leur traitement dépasse la simple augmentation de la taille des modèles.

## introduction les modèles de langage génératifs constituent actuellement l'état de l'art pour presque toutes les tâches de traitement du langage naturel, en particulier grâce au développement de grands modèles de langage, dont le nombre et la taille ne cessent de croître. toutefois, malgré l'intense activité de recherche les concernant, de nombreuses zones d'ombre demeurent quant à leurs capacités, limites, et risques. l'étude académique de ces modèles est entravée par des défis significatifs : les modèles "ouverts" nécessitent des ressources considérables non accessibles à tous, tandis que l'analyse des modèles "fermés", accessibles via des api, est limitée par des coûts potentiellement élevés et un manque de transparence sur leur fonctionnement et apprentissage. cette réalité encourage l'examen de modèles plus petits, dont la gestion, le développement, et l'analyse sont simplifiés. cependant, cette approche est freinée par le risque que les améliorations apportées ne soient pas transférables à des modèles possédant plus de paramètres, posant ainsi la question de leur impact réel sur le développement futur. pour remédier à cette limitation, nous présentons dans cet article une approche axée sur l'identification de facteurs de complexité inhérents à des tâches spécifiques, indépendamment de la taille des modèles développés. cette méthode postule que peu importe leur capacité individuelle, ces modèles sont uniformément influencés par ces facteurs de complexité. pour obtenir ces facteurs, au lieu d'effectuer des évaluations "boîte noire" couvrant de nombreuses tâches, jeux de données et langues @xcite nous préconisons des analyses précises, confinées à des contextes spécifiquement définis et décrits sous un angle linguistique. cette méthode permet de comparer des modèles de différentes tailles et cherche à révéler les facteurs de complexité linguistique inhérents aux capacités de résolution de tâches de chaque modèle. cet article présente un cas d'application de notre méthode à une tâche de compréhension de texte, en utilisant le corpus français calor @xcite , qui comprend des paires question-réponse (qr) enrichies d'annotations sémantiques fines détaillant la relation entre questions et réponses. en analysant les résultats de différents modèles de tailles diverses sur ces paires et en tenant compte des annotations sémantiques, nous visons à identifier des facteurs de complexité pertinents pour tous les modèles. les principales contributions de cette étude consistent à proposer et à valider des facteurs de complexité sémantique qui ont un impact négatif sur des modèles d'architectures et de tailles diverses. en outre, l'étude définit des corpus de complexité sémantique croissante dérivés de ces facteurs, obtenus par des partitions du corpus calor . nous soutenons que l'amélioration du traitement de ces corpus nécessite plus qu'une simple augmentation du nombre de paramètres du modèle. cette tâche présente plusieurs avantages malgré ses contraintes : (1) elle facilite la comparaison directe entre modèles classificateurs et génératifs dans un contexte unifié, où les classificateurs, bien que moins complexes, parviennent à égaler les performances des génératifs ; (2) elle peut être partiellement décrite par un modèle linguistique formel détaillant les liens syntaxiques et sémantiques entre questions et réponses, contrairement aux tâches exclusivement génératives comme le résumé ou la traduction, plus difficiles à formaliser linguistiquement. dans cette étude, nous utilisons le corpus calor contenant des paires question/réponse enrichies d'annotations sémantiques selon le modèle berkeley framenet @xcite . ce corpus, destiné à l'origine à l'évaluation de la génération de questions, rassemble des textes en français issus de wikipedia et de cliotexte 1 , un ensemble de documents historiques utilisés dans l'enseignement en france, couvrant principalement trois sujets : la première guerre mondiale, l'archéologie, et l'antiquité, avec des sources variées, depuis les documents historiques de cliotexte jusqu'aux articles encyclopédiques de wikipedia. les annotations s'articulent autour de cadres sémantiques (frames), définissant des scénarios prototypiques (tels que décider, perdre, attaquer, vaincre, etc.). le processus d'annotation consiste d'abord à identifier l'unité lexicale ou lexical unit (lu) déclenchant le cadre, suivie par celle des éléments constitutifs du cadre, ou frame elements (fe). un exemple est donné dans la figure 1 pour une phrase annotée avec les deux frames, losing déclenché par le mot perdu et attack déclenché par assauts. les armées qui ont lancé les assauts le 10 décembre ont perdu 80% de leur effectif fe:assaillant fe:time fe:result lu frame:attack fe:owner fe:possession lu frame:losing fe:time figure 1 -exemple de phrase annotée avec les cadres sémantiques framenet la création d'un corpus de questions/réponses structuré sémantiquement a été réalisée selon la méthode suivante : initialement, une sélection aléatoire d'un cadre sémantique f et d'un élément de cadre e est effectuée dans une phrase spécifique. des annotateurs humains sont ensuite chargés de formuler une question dont e constitue la réponse, exploitant pour cela la relation sémantique existant entre f et e. les autres fe présents dans la phrase servent de contexte c à la question, offrant ainsi une contextualisation supplémentaire. par la variation des éléments f , e, et c au sein d'une même phrase, il est possible de générer un large éventail de questions, accompagnées de leurs réponses et catégorisées selon leur classe sémantique correspondant au type du fe. prenons pour exemple la phrase mentionnée dans la figure 1 . avec @xmath0, @xmath1, et @xmath2, possession, il est possible pour les annotateurs de formuler des questions comme : pour encourager une diversité lexicale dans la formulation des questions, la phrase source n'était pas révélée aux annotateurs. cette approche leur donnait la latitude de choisir librement les mots lorsqu'ils construisaient les questions et de décider des éléments contextuels c à intégrer. lorsque les réponses exigeaient une analyse de coréférences, les chaînes de coréférence menant à la réponse appropriée étaient annotées. dans l'exemple mentionné précédemment, la réponses (les armées) nécessitaient une résolution de coréférence pour déterminer la réponse exacte, bien que l'annotation des cadres se fasse au niveau de la phrase. il en résulte que répondre correctement pourrait demander d'extraire des informations au-delà de la phrase donnée, dans d'autres sections du texte. cette méthodologie a permis d'enrichir le corpus calor de 1821 questions issues de 54 cadres sémantiques différents. ## modèles de langage pour la compréhension de la lecture dans cette étude, nous comparons six modèles de langage pré-entraînés sur notre tâche de questionréponse en utilisant le corpus calor . parmi ces modèles, l'un est un modèle de classification basé sur une architecture bert développée pour la langue française, camembert @xcite tous ces modèles pré-entraînés, à l'exception de gpt3.5, ont été affinés sur notre tâche de questionréponse (qr) en utilisant le corpus français @xcite . ce corpus, construit de manière similaire à squad @xcite , contient des questions basées sur des documents wikipédia en français. il convient de noter que si la plupart des textes du corpus calor proviennent également de wikipédia, calor est nettement plus difficile que fquad. cette différence s'explique par le fait que les textes de calor sont spécialisés et que les réponses annotées sont significativement plus longues, correspondant aux éléments de cadre de nos annotations sémantiques. pour l'évaluation sur le corpus calor , nous avons harmonisé les formats des corpus fquad et calor , facilitant ainsi l'évaluation directe des systèmes affinés avec fquad sur calor . cette unification a permis d'appliquer un affinage spécifique à chaque modèle en vue de leur évaluation. pour camembert et les variantes de t5, nous avons procédé à un affinage sur le corpus fquad pendant deux époques. concernant llama2, nous avons employé la méthode low-rank adaptation (lora), tandis que pour gpt-3.5 et mixtral 8x7b, une approche d'amorçage à respectivement un et deux exemples a été utilisé. cette dernière consiste à fournir au modèle un exemple d'entrée et de sortie dans le format désiré, lui indiquant explicitement de se concentrer sur l'extraction de contenu à partir du document source. les performances de ces sept modèles ont été évaluées sur le corpus calor . pour comparer l'efficacité des modèles extractifs (comme camembert) et abstractifs (les autres modèles considérés), la métrique rouge-l, via l'outil rouge 3 a été utilisé. une évaluation humaine a également été menée, nous n'indiquons ici que le pourcentage de réponses annotées comme correctes. les résultats obtenus, illustrés dans le tableau 1, montrent les scores moyens en rouge-l et en pourcentage de réponses correctes via l'annotation manuelle pour l'ensemble des 1821 questions composant le corpus. ## travaux connexes notre travail se situe dans le domaine de l'évaluation des modèles. notre approche contraste avec les évaluations à grande échelle qui couvrent plusieurs tâches, corpus et langues @xcite @xcite @xcite . il se rapporte à des études ciblées traitant de phénomènes linguistiques spécifiques tels que les négations @xcite @xcite , l'ambiguïté dans les tâches d'inférence @xcite , et l'extraction d'informations ouverte (lechelle et al., 2019), qui utilisent des ensembles de données petits et méticuleusement organisés pour évaluer avec précision les capacités des modèles pour la tâche. notre étude fait écho à cette dernière, en explorant des évaluations linguistiques ciblées. cette étude est également liée à d'autres efforts de recherche qui ont été dirigés vers l'évaluation de la fiabilité des llms "fermés" accessibles uniquement via une api comme chatgpt sur des benchmarks dans le domaine de la question-réponse basée sur la connaissance (kbqa) (tan et al., 2023), ainsi que son applicabilité générale à travers un large éventail de tâches nlp (kocoń et al., 2023; laskar et al., 2023). ces études suggèrent que bien que chatgpt présente une performance robuste sur un ensemble de tâches très large et diversifié, il peut également être devancé par des modèles spécialisés spécifiques à la tâche. nous avons trouvé des résultats similaires dans notre étude mais montrons également que malgré ses forces, un modèle tel que chatgpt peut être sensible aux mêmes facteurs de complexité qu'un modèle beaucoup plus petit comme t5 ou même camembert. dans l'ensemble, cette étude promeut l'idée que nous avons besoin d'un cadre d'évaluation plus précis et peut être reliée à d'autres études telles que (ribeiro et al., 2020) qui identifient des échecs critiques dans les modèles commerciaux et à la pointe de la technologie en proposant une méthodologie de test agnostique au modèle et à la tâche ou (gehrmann et al., 2023) insistant sur le fait que pour comparer les modèles, nous avons besoin d'un processus d'annotation plus "soigné [...] pour caractériser leur qualité de sortie et les distinguer". ## conclusion dans cette étude, nous avons mené une expérience utilisant un corpus de questions-réponses annoté sémantiquement pour identifier des facteurs de complexité sémantique inhérents à cette tâche, indépendamment de l'architecture et de la taille des modèles. cette investigation est cruciale car elle souligne les avantages potentiels de se concentrer sur des modèles avec moins de paramètres pour gérer des ensembles de données difficiles. il convient de noter que les gains de performance réalisés avec des modèles plus petits pourraient être éclipsés par des modèles plus grands. en partitionnant les ensembles de données basés sur des phénomènes linguistiques d'une complexité équivalente, indépendamment du modèle, nous pouvons nous attendre à ce que les améliorations de performance se généralisent à travers les modèles. nos résultats démontrent que les facteurs de complexité sémantique identifiés catégorisent efficacement le corpus en sous-corpus de niveaux de difficulté variables, indépendamment du modèle employé.