Évaluation de mesures d’accord sur des structures relationnelles par la dégradation contrôlée d’annotations (2024)

Abstract: Les mesures d’accord inter-annotateurs sont essentielles pour évaluer la qualité des annotations humaines sur les corpus. Dans le cadre des structures relationnelles, la question de la qualité et de l’interprétabilité de ces mesures reste cependant ouverte. Cet article présente l’adaptation d’un outil déjà utilisé pour d’autres paradigmes d’annotation dont le but est de générer de manière contrôlée des annotations artificielles erronées. Les annotations obtenues sont fournies à des mesures d’accord adaptées aux structures relationnelles, permettant l’identification des comportements des mesures ainsi que les différences entre elles.

## introduction les corpus textuels sont des jeux de données précieux pour la recherche scientifique. déjà indispensables pour toute démarche expérimentale dans le domaine du tal, leur intérêt a été encore grandissant ces dernières décennies avec les approches d'apprentissage machine qui ont révolutionné nos disciplines. pour que ces jeux de données soient utilisables pour l'entraînement des systèmes d'apprentissage supervisés et semi-supervisés, et comme référence pour évaluer les performances de ces systèmes @xcite , il est nécessaire qu'ils fassent l'objet d'une étape supplémentaire d'annotation. le procédé d'annotation consiste en l'identification et la mise en avant du phénomène recherché par la communauté. sur ces corpus plusieurs types d'annotation, éventuellement complémentaires, sont possibles. selon @xcite , l'annotation peut être vue comme une information interprétative rajoutée à un jeu de données brutes, ou déjà précédemment annotées. une annotation de référence est un jeu de données enrichi de connaissances que l'on juge fiables (ce jeu de données constitue alors une référence ou gold standard). la littérature présente de nombreux exemples de campagnes d'annotation sur des corpus textuels ou oraux retranscrits afin de mettre en lumière les phénomènes linguistiques. si l'annotation de référence peut parfois s'obtenir au moyen d'un unique expert, dans de nombreux cas, notamment pour les tâches inédites ou difficiles, la méthode classique consiste à procéder à une annotation multiple du jeu de données. l'hypothèse sous-jacente à cette annotation multiple est que plus l'accord entre les annotateurs est important et plus l'annotation se rapproche de la vérité. pour l'annotation multiple, différents annotateurs produisent chacun leur propre annotation, indépendante des autres. les annotateurs peuvent lors de cette étape avoir des productions différentes. une mesure de l'accord inter-annotateurs adaptée à la tâche d'annotation permet alors d'évaluer le degré d'accord de la multi-annotation. la qualité et le sens des mesures d'accord est une problématique étudiée depuis plusieurs décennies par la communauté. ce questionnement s'illustre par la diversité des mesures d'accord inter-annotateurs, nombreuses pour la tâche de catégorisation (où l'annotateur doit typer des unités déjà identifiées), plus rares pour la tâche d'identification d'unités (où l'annotateur doit de surcroît identifier et positionner les unités dans le continuum textuel), tâche souvent dite d'unitizing @xcite . bien que l'état de l'art soit riche pour ces deux types de tâches d'annotation, les travaux sur l'accord pour d'autres tâches d'annotation telles que les structures relationnelles sont plus rares. c'est dans ce contexte que nos présents travaux se positionnent. nous préciserons tout d'abord le cadre de l'annotation des structures relationnelles dans les corpus textuels. nous reprendrons à notre compte le principe du corpus shuffling tool @xcite , dédié initialement à l'identification d'unités, en l'appliquant à ce type de structures. cet outil permet en effet d'évaluer et de mieux comprendre les comportements des différentes mesures et de pouvoir les comparer entre elles. enfin, nous présenterons nos résultats expérimentaux suite à la mise à l'épreuve de mesures d'accord adaptées aux structures relationnelles grâce à notre outil de dégradation contrôlée. ## cadre des structures relationnelles nous nous intéressons ici à des structures relationnelles, c'est-à-dire des configurations au sein desquelles deux ou plusieurs unités d'intérêt sont mises en relation. le tal et la linguistique offrent de nombreux exemples de telles structures, parmi lesquelles on peut citer par exemple les structures syntaxiques, les structures rhétoriques ou encore les structures argumentatives. ## principe des dégradations contrôlées pour aider à la comparaison des mesures existantes et le cas échéant à l'élaboration de nouvelles mesures, nous proposons un environnement dans lequel on peut étudier le comportement des mesures en les confrontant à des données dont on contrôle la fiabilité. ## expérimentations sur des structures argumentatives 4.1 jeu d'annotations et instance étudiée pour évaluer les métriques de l'accord inter-annotateurs avec le cst il faut en premier lieu lui fournir une référence annotée que l'outil viendra dégrader. afin de nous procurer une structure argumentative annotée que nous pourrions employer à ces fins, nous nous sommes tout d'abord tourné vers le corpus icnale @xcite qui est utilisé par @xcite pour introduire les mesures mar. néanmoins, ce corpus propose des structures d'argumentation avec peu d'unités argumentatives puisque nous y retrouvons environ 13,9 phrases par texte argumentatif, dont toutes ne sont pas ca. or, nous pensons qu'apporter une simple dégradation aléatoire à des objets argumentatifs de si petite taille modifierait déjà substantiellement la structure argumentative et son sens. pour opérer nos dégradations sur des objets dont le sens global n'est pas totalement altéré après quelques dégradations successives, et ainsi pouvoir comparer nos mesures sans craindre de trop grandes variations entre chaque itération des dégradations, tout en conservant un coût de calcul acceptable, nous proposons comme référence du cst une structure argumentative de taille suffisante avec 101 ca et 100 relations, représentée sur la figure 2. la structure argumentative de référence que nous fournissons à notre implémentation du cst représente l'exemple d'une structure que nous attendons d'une argumentation fournie avec de nombreux arguments et contre-arguments dirigés vers un argument principal. sur l'illustration, les relations sont dépourvues d'étiquettes puisque les catégories des relations n'influent pas sur les mesures que nous évaluons dans notre étude (cf. 4.3). chaque relation a néanmoins été annotée avec une étiquette lors de l'élaboration par nos soins de cette structure. ## conclusion et perspectives de manière similaire à @xcite , notre implémentation du cst pour des structures relationnelles présente des résultats exploitables pour les mesures d'accord inter-annotateurs et les paradigmes de dégradations étudiés. les comparaisons offertes par cet outil mettent en évidence des similarités entre certaines méthodes, mais surtout les différences et les écueils qui caractérisent les mesures les plus récentes dans le domaine de l'annotation de l'argumentation. au rang des perspectives nous prévoyons dans de futurs travaux avec notre outil d'utiliser des références issues directement de campagnes d'annotation et d'améliorer la simulation des dégradations en tentant de nous rapprocher des erreurs commises par les annotateurs humains et de leur fréquence. de plus, l'implémentation du cst que nous proposons aujourd'hui est conçue et spécialisée pour la question de l'accord dans les structures argumentatives. il serait intéressant de travailler sur d'autres paradigmes de structures relationnelles tels que celui de la coréférence qui possèdent un grand panel de mesures d'accord inter-annotateurs dédiées.