Abstraction ou hallucination ? État des lieux et évaluation du risque pour les modèles de génération de résumés automatiques de type séquence-à-séquence (Abstraction or Hallucination ? Status and Risk assessment for sequence-to-sequence Automatic) (2022)

Abstract: La génération de texte a récemment connu un très fort intérêt au vu des avancées notables dans le domaine des modèles de langage neuronaux. Malgré ces avancées, cette tâche reste difficile quand il s’agit d’un résumé automatique de texte par abstraction. Certains systèmes de résumés génèrent des textes qui ne sont pas forcément fidèles au document source. C’est sur cette thématique que porte notre étude. Nous présentons une typologie d’erreurs pour les résumés automatique et ainsi qu’une caractérisation du phénomène de l’abstraction pour les résumés de référence afin de mieux comprendre l’ampleur de ces différents phénomènes sur les entités nommées. Nous proposons également une mesure d’évaluation du risque d’erreur lorsqu’un système tente de faire des abstractions sur les entités nommées d’un document.

## introduction le résumé automatique de texte par abstraction consiste à générer automatiquement une synthèse d'un document en capturant ses informations importantes. cette tâche a connu un regain d'intérêt grâce à l'arrivée des modèles transformers et des modèles de langue pré-entraînés @xcite . malgré ces avancées, la tâche reste difficile surtout quand il s'agit d'un résumé par abstraction -résumé un texte utilisant de nouveaux mots ou des paraphrases. @xcite document : il tourna sept films de la saga, dont "l'espion qui m'aimait", "rien que pour vos yeux" et "octopussy". outre sa carrière cinématographique, roger moore s'était illustré au début de sa carrière dans plusieurs séries télévisées comme "ivanhoé", "le saint" ou "amicalement vôtre", où il partageait l'affiche avec tony curtis. avec plus de cinquante films à son actif, roger moore avait quelque peu délaissé le grand écran ces dernières années. ses dernières apparitions se sont faites essentiellement dans des téléfilms ou des séries. en 2003, il est fait chevalier commandeur de l'ordre de l'empire britannique et obtient également, en 2008, le titre de commandeur des arts et des lettres décerné par la france. très sensible à la cause animale, il soutenait activement l'association peta. après trois divorces, roger moore était marié depuis 2002 à une richissime danoise, kristina tholstrup. ref : roger moore [s'est éteint]. [l'acteur britannique] connu pour [son élégance en toutes circonstances et son humour] avait endossé [le costume de james bond ] [de 1973 à 1985 ]. ptgen : "roger moore, association peta, [est décédé] [ dimanche ] [à l'âge de 85 ans ], [a annoncé sa famille à l' afp ] .l'association peta a également [fait part de son passage] à roger moore, "" ivanhoé""." c2c : [l'acteur britannique] roger moore, connu notamment pour son rôle dans "l'espion qui m'aimait", [est décédé] [ mardi ] [à l'âge de 87 ans ], [a annoncé sa famille à la télévision]. barthez : l'acteur et [réalisateur américain] roger moore, [décédé] [à l'âge de 95 ans ], est connu pour son rôle dans "l'espiosn qui m'aimait", "rien que pour vos yeux" et "octopussy". mt5 : le [cinéaste] [britannique] roger moore [est décédé] [ mardi ] [à l'âge de 77 ans ], [a annoncé son avocat] tony curtis. une illustration de ces phénomènes est donnée dans l'exemple de la pour tenter de limiter la production d'hallucinations, @xcite ont utilisé le « textual entailment », c'est à dire la capacité d'un texte à inférer un autre texte, comme mesure de sélection d'un résumé le plus aligné à la source possible. ces travaux ont montré que le « textual entailment » n'était pas une mesure suffisante pour garantir la fidélité du résumé par rapport au document source. durmus et al., 2020 ont proposé d'exploiter un système de question-réponse pour évaluer la factualité l'acteur britannique roger moore, connu notamment pour son rôle dans "l'espion qui m'aimait", est décédé mardi à l'âge de 87 ans a annoncé sa famille à la télévision. figure 1 -exemple des types d'hallucination définit par maynez et al. (2020). résumé d'un article de « orange-sum abstract » (kamal eddine et al., 2021) généré par le système camem-bert2camembert (c2c) (martin et al., 2020). en bleu les hallucinations extrinsèques : informations tirées du document mais non inférable à partir de celui-ci. et en rouge les hallucinations extrinsèques : informations n'étant pas mentionné dans le document. d'un résumé, en générant des questions à partir des phrases du résumé et en vérifiant que leur réponse dans le document est identique à celle à l'origine de la question. bien que plusieurs études aient été publiées sur les hallucinations dans le cadre de résumés automatiques en anglais, il n'y en a aucune sur le français. dans cet article, nous analysons les sorties de systèmes de résumé de l'état de l'art sur un corpus français afin de savoir à quel point les modèles sous-jacents sont sujets aux hallucinations. nous proposons tout d'abord une typologie des erreurs et abstractions contenues dans les résumés. puis, nous nous concentrons sur les hallucinations extrinsèques, et en particulier sur les entités nommées qui peuvent apparaître dans un résumé hypothèse mais pas dans le document source. ceci nous permet de comparer les productions de systèmes de génération rnn et transformers à l'aide d'une analyse manuelle de leurs erreurs, et de proposer une mesure d'évaluation du risque potentiel d'erreurs (le risque d'hallucination) lorsqu'un modèle essaie de faire des abstractions sur les entités. 2 typologie d'hallucination dans le résumé automatique le concept d'hallucination trouvé dans la littérature anglophone fait appel à la fois à la notion d'erreur et à celle d'abstraction, ce qui rend peu intuitives les analyses que l'on peut en tirer. nous proposons de l'affiner sous la forme d'une typologie double. typologies des erreurs plusieurs études proposent une typologie des erreurs du résumé automatique. alors que maynez et al., 2020 se sont concentrés sur les types d'hallucination intrinsèque et extrinsèque, pagnoni et al., 2021 décrivent une typologie d'erreurs plus détaillée prenant en compte la vérification du contenu, les erreurs liées au discours et à la sémantique de surface. une étude plus ancienne définit un bon résumé comme étant un texte grammatical, non redondant, dont les références sont claires, et qui est structuré et cohérent (dang, 2005). nous nous appuyons sur ces typologies pour proposer une liste d'erreurs adaptée à l'annotation des résumés produits par les systèmes par abstraction : -hors du document (horsdoc) : informations qui ne proviennent pas du document source ; -agrammaticalité (agram) : concerne les phrases qui ne sont pas correctement formées ; -erreur de référence (refe) : lorsqu'une proposition a un sujet erroné ou remplacé par un autre. il concerne également les pronoms non résolus (erreurs de coréférence) ; -contresens (ctrsens) : toutes les informations qui contredisent le document source ; -non inférable (noninf) : informations non inférerable à partir du document ; -autres : autres erreurs. typologie des abstractions a la différence de pagnoni et al., 2021, nous avons décidé d'annoter les résumés de référence afin de comprendre les différents types d'abstraction. en effet durmus et al., 2020 a montré que l'abstractivité d'un modèle dépend des données (plus les données d'entraînement sont abstractives et plus les modèles tenteront d'atteindre le même niveau d'abstractivité). ainsi, nous avons identifié 3 catégories d'abstractions : -les abstractions inférables à partir du document source (absdoc) : ce sont des abstractions qui peuvent être déduites en lisant le document source ; -les abstractions inférables à partir des connaissances générales de l'annotateur (absinf) : ce sont des abstractions que l'annotateur peut déduire grâce à son bagage intellectuel et sa culture générale ; -les abstractions non inférables (absninf) : ce sont des abstractions qui peuvent être déduites ni depuis le document, ni par l'annotateur. le tableau 1 présente un exemple contenant quelques erreurs des différents systèmes ainsi que quelques abstractions du résumé de référence. ## contexte expérimental dans cette étude nous nous sommes intéressés au corpus orange-sum car il est l'un des seuls corpus disponibles pour la langue française de taille suffisante pour apprendre un modèle de génération de résumés par abstraction. enfin nous avons considéré 4 modèles de génération. données pour nos expériences, nous avons utilisé le corpus de résumé automatique en français orange-sum @xcite . c'est un corpus d'articles d'actualité provenant du site « orange actu » de février 2011 à septembre 2020. il comprend plusieurs catégories (la france, le monde, la politique, l'automobile et la société) et possède deux versions : ## conclusion nous avons proposé une typologie des erreurs et abstractions en résumé automatique, et avons annoté un corpus de sorties de systèmes à l'aide de cette typologie. l'analyse des sorties des différents systèmes a montré que malgré des scores rouge très intéressants, ces systèmes sont encore affectés par de nombreuses erreurs liées à la factualité des informations qu'ils présentent. notre mesure d'évaluation du risque d'hallucination sur les entités nommées a permis de constater que les systèmes séquence à séquence à base de transformers prennent énormément de risque en essayant de prédire des entités hors du document. cette étude ouvre plusieurs axes de recherches comme le fait de minimiser le risque d'hallucination de chaque modèle en les pénalisant lorsqu'ils génèrent des entités nommées hors du document source ou encore de faire un modèle de sélection des meilleurs résumés suivant le risque d'hallucination. ces travaux ont aussi montré les limites du corpus orange-sum pour l'apprentissage de systèmes, car ces résumés de référence contiennent des informations non présentes dans les documents. ainsi, il peut être intéressant d'analyser le comportement des modèles entraînés sur un jeu de données dont les résumés de référence contenant des informations hors document ont été supprimés.