Un corpus d’évaluation pour un système de simplification discursive (An Evaluation Corpus for Automatic Discourse Simplification) (2020)

Abstract: Nous présentons un nouveau corpus simplifié, disponible en français pour l’évaluation d’un système de simplification discursive. Ce système utilise des chaînes de référence pour simplifier et pour préserver la cohésion textuelle après simplification. Nous présentons la méthodologie de collecte de corpus (via un formulaire, qui recueille les simplifications manuelles faites par des participants experts), les règles présentées dans le guide, une analyse des types de simplifications et une évaluation de notre corpus, par comparaison avec la sortie du système de simplification automatique.

## introduction la simplification discursive est un domaine peu exploité dans le domaine de la simplification automatique. la plupart des corpus pour l'évaluation automatique sont constitués de phrases alignées extraites de corpus comparables ou des simplifications automatiques jugées par des humains en termes de simplicité, d'information préservée, de fluidité. mais il n'y a pas de ressource comparable pour le français, à part le lexique resyf @xcite ou cardon (2018) pour le domaine médical. le corpus anglais le plus connu pour la simplification automatique lexicale est @xcite dans lequel listes de synonymes sans ambiguïté ont été classés par complexité par 5 anglophones non natifs. pour la simplification syntaxique, il y a newsela @xcite qui propose des adaptations graduées des articles de journal faites par leurs auteurs. il y a peu de ressources annotées avec leur transformations, car le recours à des annotateurs non spécialisés (par exemple avec amturk) introduit des erreurs. outre les erreurs d'alignement, les corpus extraits par des méthodes d'alignement @xcite , ne disposent pas d'une annotation des opérations de simplification. l'évaluation des systèmes de simplification est une tâche difficile à cause de la rareté des corpus et des coûts importants nécessaires pour créer des corpus simplifiés manuellement. les métriques d'évaluation doivent être corrélées avec le jugement de simplicité des humains. la plus adaptée est samsa @xcite , qui nécessite une pré-annotation sémantique des états, des événements et des participants , indisponible actuellement en français. alternativement, bleu compte le nombre de n-grammes communs entre le texte original et simplifié : par conséquent, plus le texte original est proche, meilleur est le score. sari, une autre mesure utilisée dans des travaux de simplification, plus proche des jugements humains, évalue les simplifications par leur simplicité @xcite et prend en compte plusieurs références. en effet, plusieurs simplifications sont possibles et sari prend en compte cet aspect. nous adoptons cette mesure pour évaluer les références multiples. cependant, ces mesures ne prennent pas en compte des contraintes de discours. les marques de cohésion textuelle, telles que les chaînes lexicales @xcite ou les chaînes de coréférence @xcite , aident la compréhension @xcite . en particulier, les enfants faibles lecteurs rencontrent des difficultés dans la résolution des inférences et des relations anaphoriques @xcite . même si les marqueurs de cohésion sont fortement liés à la lisibilité et à la complexité du texte @xcite , il y a peu de travaux qui les traitent en simplification. certains systèmes les appliquent après la simplification syntaxique @xcite , ou remplacent des pronoms anaphoriques par leurs antécédents @xcite . si des corpus annotés pour évaluer la détection automatique des anaphores @xcite ou de la coréference @xcite sont disponibles, il n'y a pas encore de corpus simplifié en discours marquant ces transformations. à cet égard, nous avons étudié les restrictions de cohésion liées aux chaînes de référence et leur applicabilité à la simplification automatique en français. par conséquent, dans cet article, nous proposons un corpus original d'évaluation, disponible en français, pour aborder le niveau de discours parmi les différents niveaux de simplification. le corpus présente plusieurs simplifications alternatives (annotées) pour chaque phrase, pour le niveau discursif mais aussi au niveau lexical et syntaxique. dans cet article, nous présentons notre projet et les choix que nous avons faits pour la simplification automatique qui prend en compte les liens de coréférence (section 2). la méthodologie de construction de corpus, la description du corpus et du guide d'annotation appliqué pour créer le corpus de simplification sont présentées dans la section 3. ensuite, nous présentons l'évaluation du corpus et nous le comparons avec la sortie du système de simplification (section 4). ## le projet alector dans le cadre du projet 1 nous avons développé un système de simplification automatique de texte appliqué au niveau lexical, syntaxique et discursif pour proposer des contenus adaptés aux enfants dyslexiques ou faibles lecteurs. vu le manque de ressources adaptées pour l'évaluation de la simplification automatique, nous avons construit un corpus d'évaluation. nous adoptons une approche à base de règles pour notre système. d'une part, les corpus parallèles originaux et simplifiés sont de petite taille, ce qui rend difficile l'application des méthodes par apprentissage automatique. d'autre part, nous étudions l'influence de chaque type de transformation sur les capacités de compréhension et de lecture du public visé (faibles lecteurs et enfants dyslexiques). dans le cadre de cet article, nous évaluons le module de simplification discursive (wilkens et al., 2020), qui réduit les inférences nécessaires pour identifier liens anaphoriques et coréférentielles, en modifiant la structure des chaînes de référence (schnedecker, 1997) foot_0 , car ces liens sont des éléments de difficulté pour les enfants faibles lecteurs. l'architecture, ainsi que les étapes de traitement, sont représentées sur la figure 1 . le schéma regroupe les 4 modules pour la simplification : prétraitement, simplification discursive, simplification syntaxique et simplification lexicale et morphologique. la première étape nécessite le prétraitement du texte brut afin d'appliquer les règles de simplification proposées. d'abord, le texte est pré-annoté en chaînes de coréférence en utilisant le système proposé par wilkens et al. (2020) qui obtient le score conll de 85 %. ce module délimite les expressions potentiellement référentielles (noms propres, groupes nominaux définis, déterminants démonstratifs, etc.) et identifie les liens de coréférence entre ces expressions. l'annotation en dépendances est réalisée avec l'analyseur stanford nlp (qi et al., 2019), car ces informations sont nécessaires pour les transformations syntaxiques foot_1 . ensuite, les données sont traitées par le module de simplification discursive qui modifie la structure des chaînes de référence annotées par le module de détection automatique de la coréférence. ce module implémente plusieurs règles de simplification discursives : précision de l'entité (remplacement de pronoms par leur antécédent), spécification de l'entité (remplacement d'un déterminant par un autre de plus basse accessibilité pour réduire les inférences nécessaires pour trouver son antécédent), remplacement d'un groupe nominal possessif (gnp) par un référent plus explicite ou suppression de pronoms. ces règles ont été proposées après l'analyse d'un corpus d'étude (voir la figure 1 ), composé de textes originaux et leurs versions simplifiées manuellement pour dyslexiques (wilkens et al., 2020), brièvement présentée dans la section 3.1. le troisième module, de simplification syntaxique, inspiré par les travaux de @xcite ; @xcite , applique des règles permettant la suppression des informations secondaires (non-essentielles) : subordonnées relatives, participes passés et présents, compléments circonstanciels de temps, de lieu ou de manière. les règles de simplifications syntaxiques sont décrites sur la base d'une étude de corpus de textes originaux et simplifiés pour dyslexiques @xcite . le dernier module de simplification lexicale et morphologique, vise la suppression des mots porteurs d'informations secondaires (adjectifs, adverbes) ou le remplacement d'un mot par un synonyme plus fréquent et plus simple, à l'aide du lexique gradué @xcite . d'autres simplifications visent la forme morphologique : remplacer un mot par un autre de la même famille morphologique (remplacer un verbe par sa nominalisation) ou remplacer l'imparfait par la forme présent du verbe. pour évaluer ce système, en particulier le module de simplification discursive, nous avons créé un corpus d'évaluation avec les simplifications annotées, par plusieurs lecteurs experts. la sortie du système est d'abord jugée par les experts humains, en termes de fluidité et de grammaticalité. nous comparons la sortie du système avec le corpus d'évaluation (comprenant de multiples simplifications), à l'aide de la mesure sari. le corpus d'étude, d'évaluation et le système de simplification sont disponibles à l'adresse github.com/rswilkens/text-rewrite. ## méthodologie de construction de corpus pour construire les règles de simplifications présentées dans la section précédente, nous avons constitué un corpus parallèle d'étude, constitué de contes pour enfants, simplifiés manuellement pour des enfants dyslexiques. d'abord, nous avons analysé les transformations, en particulier les transformations discursives (les propriétés des chaînes de référence). afin de construire un corpus d'évaluation pour notre système de simplification (voir figure 1 ), nous avons mis en place un système de collecte de textes simplifiés. sur la base de l'analyse du corpus d'étude, nous avons défini un guide de simplification discursive (qui résume les transformations identifiées entre les textes originaux et simplifiés). les participants à la collecte de corpus sont des étudiants linguistes (niveau master) qui ont reçu les mêmes textes originaux et ont suivi le guide de simplification. nous avons mis en place la collecte de transformations à l'aide des rédacteurs ayants des bonnes connaissances linguistiques, afin d'obtenir des données plus fiables que celles qu'on pourra obtenir à l'aide d'amazone mechanical turk. les étudiants ont pris connaissance du guide et sont passés par une phase d'entraînement.