Annotation Linguistique pour l’Évaluation de la Simplification Automatique de Textes (2023)

Abstract: L’évaluation des systèmes de simplification automatique de textes (SAT) est une tâche difficile, accomplie à l’aide de métriques automatiques et du jugement humain. Cependant, d’un point de vue linguistique, savoir ce qui est concrètement évalué n’est pas clair. Nous proposons d’annoter un des corpus de référence pour la SAT, ASSET, que nous utilisons pour éclaircir cette question. En plus de la contribution que constitue la ressource annotée, nous montrons comment elle peut être utilisée pour analyser le comportement de SARI, la mesure d’évaluation la plus populaire en SAT. Nous présentons nos conclusions comme une étape pour améliorer les protocoles d’évaluation en SAT à l’avenir.

## introduction la simplification automatique de textes (sat) consiste à rendre des textes plus accessibles pour un public donné. plusieurs états de l'art sur le sujet ont été publiés ces dernières années @xcite @xcite . la sat est principalement étudiée avec des approches par apprentissage profond @xcite @xcite , mais d'autres travaux poursuivent les recherches par le biais de systèmes à base de règles @xcite . un des verrous majeurs du domaine est l'évaluation des systèmes de sat @xcite . il existe deux approches courantes : le jugement humain et l'évaluation automatique. dans la première approche, il est demandé à des personnes de noter la sortie d'un système selon trois critères : grammaticalité, préservation du sens, et simplicité. pour l'évaluation automatique, les métriques les plus courantes sont : bleu @xcite , empruntée à la traduction automatique ; sari @xcite , spécifiquement proposée pour la sat ; et la formule de lisibilité flesch-kincaid @xcite . bien que ces métriques ne soient pas idéales @xcite @xcite , leur facilité d'utilisation rend leur application répandue. bleu et sari nécessitent des simplifications de référence et sont décrites comme étant plus fiables à mesure que le nombre de références augmente. comme différents publics ont différents besoins en termes de simplification @xcite , il est crucial de s'assurer qu'un jeu de référence reflète ces besoins. d'autres métriques sont moins fréquemment utilisées, tel que bertscore (zhang et al., 2020) -initialement conçue pour la génération automatique -et samsa @xcite ) -conçue pour la sat, mais difficile à utiliser car elle nécessite une annotation sémantique. en anglais, trois corpus sont couramment utilisés pour l'évaluation : turkcorpus @xcite , asset (alva-manchego et al., 2020a) et newsela @xcite . les deux premiers ont les mêmes phrases sources, avec différentes simplifications obtenues par production participative (crowdsourcing). pour les autres langues, qui reçoivent moins d'attention de la communauté, les systèmes sont évalués avec des corpus adhoc @xcite @xcite @xcite . la manière dont les métriques automatiques sont liées aux opérations de simplification n'est pas connue. des travaux récents (vásquez-rodríguez et al., 2021) ont exploré la relation de ces métriques avec les opérations computationnelles basiques comme l'ajout et la suppression, mais aucun travail n'a étudié cette relation avec les opérations de simplification présentes dans des typologies linguistiques @xcite @xcite . dans cet article, nous souhaitons étudier l'impact du type d'opérations linguistiques sur les métriques automatiques d'évaluation de la sat. pour cela, nous avons annoté le corpus asset avec les opérations linguistiques qu'il contient. nous présentons un état de l'art sur les typologies de transformations pour la simplification (section 2). ensuite nous décrivons le processus d'annotation et la ressource produite (section 3) puis des analyses menées sur sari avec notre ressource (section 4). enfin nous concluons (section 5) par une synhèse des enseignements obtenus suite à nos expériences. ## état de l'art avant que les méthodes neuronales soient au centre de la recherche en sat, les typologies d'opérations étaient nécessaires au développement des systèmes, car elles représentaient la base conceptuelle des approches à base de règles. comme présenté par @xcite , les premiers systèmes de sat s'occupaient de syntaxe @xcite @xcite et décrivaient les typologies d'opérations syntaxiques qui étaient visées pour simplifier la structure des phrases. actuellement, nous distinguons deux ensembles pour les typologies d'opérations de simplification : l'un basé sur la description linguistique et l'autre basé sur l'édition de chaînes de tokens. ## annotation deux des trois corpus d'évaluation décrits en section 1 sont librement accessibles : turkcorpus et asset. nous retenons asset, qui a été décrit indépendamment comme meilleur que turkcorpus @xcite . cette section présente la typologie d'opérations que nous utilisons pour son annotation (section 3.1). nous décrivons le processus d'annotation (section 3.2), puis nous décrivons la ressource produite (section 3.3). ## analyse de sari nous utilisons asset ann pour analyser le comportement de sari et ses sous-composants en relation avec les opérations de simplification. sari utilise trois sous-composants, dont la moyenne représente le score final. ces sous-composants sont keep, add et delete. pour chaque sous-composant, le score f1 est calculé entre les transformations appliquées de la phrase d'origine pour arriver à la référence ou aux références, et les transformations appliquées de la phrase d'origine pour arriver à la phrase à évaluer. ces transformations sont observées en n-grammes de tokens, où n va de 1 à 4 foot_3 : nous représentons les couples de phrases par le nombre d'occurrences de chaque opération dans l'annotation. en observant la relation entre la présence d'opérations spécifiques et le score global sari, nous trouvons une faible corrélation. de plus, même les opérations en correspondance avec les sous-composants de sari (insertions et suppression) ne sont pas corrélées avec les scores sari (voir pour aller plus loin, nous analysons comment la combinaison des opérations permet de prédire le score sari, par paire de phrases. un modèle de régression lasso (tibshirani, 1996) avec optimisation des hyperparamètres a ainsi été entraîné et évalué avec r 2 , estimé via une validation croisée à 10 plis. le r 2 de notre modèle est de 0 pour la prédiction du score sari, ce qui indique que le modèle ne peut pas prédire mieux qu'en utilisant la moyenne. il ne trouve donc aucun lien entre les opérations de simplification annotées et le score sari. nous obtenons le même résultat avec d'autres algorithmes, tels que les arbres de régression @xcite , les random forests @xcite et un perceptron multi-couches @xcite 5 . cependant, prédire les sous-composants de sari semble partiellement possible avec lasso, avec un r 2 moyen de 0,24, 0,03 et 0,23 respectivement pour keep, add et del. la