Étude de la fidélité des entités dans les résumés par abstraction (2023)

Abstract: L’un des problèmes majeurs dans le résumé automatique de texte par abstraction est la fidélité du résumé généré vis-à-vis du document. Les systèmes peuvent produire des informations incohérentes vis-à-vis du document. Ici, nous mettons l’accent sur ce phénomène en restant focalisé sur les entités nommées. L’objectif est de réduire les hallucinations sur celles-ci. Ainsi, nous avons généré des résumés par sampling et avons sélectionné, à l’aide d’un critère basé sur le risque d’hallucination sur les entités et les performances du modèle, ceux qui minimisent les hallucinations sur les entités. Une étude empirique du critère montre son adaptabilité pour la sélection de résumé. Nous avons proposé des heuristiques pour la détection des entités qui sont des variations ou flexions d’autres entités. Les résultats obtenus montrent que le critère réduit les hallucinations sur les entités nommées en gardant un score ROUGE comparable pour CNN/DM.

## introduction le résumé automatique de texte consiste à faire une synthèse d'un document en gardant les informations pertinentes. il existe deux types de résumé automatique : le résumé par extraction et le résumé par abstraction. le résumé par extraction qui consiste à extraire dans un premier temps les informations importantes du document puis dans un second temps à en faire un résumé. le résumé par abstraction consiste quant à lui à faire la synthèse d'un document en utilisant des paraphrases et des nouveaux mots. la tâche de résumé automatique a beaucoup évolué depuis l'apparition des modèles à base de transformers et de modèles de langue pré-entraînés @xcite @xcite . pendant que la tâche de résumé par extraction devient de plus en plus atteignable, celle du résumé par abstraction reste un grand défi. en effet, @xcite a montré que les systèmes produisent des informations qui ne sont pas toujours fidèles au document source et cela n'est pas vérifiable par l'utilisation de mesures d'évaluation du résumé telles que rouge @xcite , meteor @xcite ou encore le bertscore @xcite . 30% des résumés générés par des systèmes abstractifs contiennent des incohérences vis-à-vis du document source selon @xcite a utilisé le terme « hallucination » pour qualifier ces incohérences. elles peuvent être dues à une mauvaise association d'informations provenant du document ou à l'utilisation d'informations hors du document. plusieurs études ont été menées pour l'évaluation factuelle des résumés générés @xcite ainsi que pour la réduction d'hallucinations @xcite @xcite . pour notre part, nous étudions les hallucinations au niveau des entités nommées, ce qui s'est avéré assez fréquent dans les résumés générés @xcite . plutôt que d'intervenir en amont, pendant l'entraînement du modèle, nous avons généré plusieurs résumés dans un espace afin de sélectionner le meilleur résumé suivant un critère qui pourra réduire les hallucinations et donc corriger les problèmes de fidélité du résumé généré par rapport au document source. l'idée étant de réduire le nombre d'entités hallucinées, nous avons introduit un critère de sélection de résumé basé sur le « risque » d'avoir des entités qui n'apparaissent pas dans le document source (entités hallucinées). ce critère nous permet ainsi de choisir un résumé avec le moins d'entités hallucinées dans l'ensemble des résumés générés. nous avons sélectionné, conjointement, les résumés ayant le meilleur score rouge avec la référence et avions procédé à une évaluation humaine de leurs entités pour vérifier que les entités du résumé sont correctement utilisées (leur emploi ne contredit pas le document source), et que les entités dites hors du document le sont vraiment. cette évaluation, permet ainsi d'étudier de manière empirique le critère de sélection. ce critère étant basé sur les entités nommées, nous avons donc mis sur place des heuristiques afin de détecter les variations d'entités nommées (ex. les nombres écrits en lettres ou en chiffres, les erreurs d'orthographe, les flexions). nos contributions se résument donc à : document : she said she will seek a judicial review against mark h durkan because he took the decision to adopt the planning policy without the agreement of the full northern ireland executive. helen jones reports for bbc newsline. résumé : helen jones seek a judicial review against mark h durkan, the northern ireland's environment minister reports bbc. ## génération de résumés par échantillonnage (sampling) la plupart des méthodes pour la génération automatique de texte se font par l'utilisation du « beam search » pour parcourir l'espace de recherche de manière efficace. le « beam search » conserve les num_beams ayant la probabilité élevée à chaque étape. il minimise la possibilité de manquer des séquences cachées à forte probabilité. cela ne permet pas d'avoir un ensemble de résumés variés dans l'espace de génération. de cette façon, la méthode de sampling est la plus adaptée pour générer plusieurs résumés. nous avons donc généré des résumés en l'utilisant pour la sélection du prochain token à générer. ainsi, les résumés obtenus proviennent de l'utilisation de « greedy search », « beam search », la température, du top-p et du top-k. tandis que le « greedy search » consiste à sélectionner le token ayant la probabilité la plus élevée, l'échantillonnage avec la température consiste à remettre à l'échelle les logits avant d'appliquer la fonction softmax. le top-k (fan et al., 2018b) consiste à prendre les k mots suivants les plus probables et à redistribuer la probabilité entre ces k mots. le top-p quant à lui ou échantillonnage nucleus @xcite consiste, sachant une probabilité p, à prendre le plus petit ensemble possible de mots suivants dont la probabilité cumulée est supérieure à la probabilité p. il y a également une redistribution de la probabilité entre les mots de l'ensemble. pour notre part, nous avons fait varier les différents paramètres comme suit : dans la suite du papier, nous introduisons un critère de sélection de résumé basé sur les entités nommées afin de réduire les hallucinations sur celles-ci. ## sélection de résumé par critère pour réduire le problème de fidélité des entités du résumé généré par rapport au document source, il est important d'étudier le risque d'hallucinations sur les entités nommées. nous avons donc introduit « nehr named entities hallucination risk » une mesure sur les entités nommées comme @xcite . cette mesure peut être utilisée pour construire un modèle de sélection de résumés minimisant les hallucinations sur les entités nommées. certains ont proposé d'utiliser l'entailment textuel @xcite ou encore un système de question-réponse @xcite ) afin d'évaluer la fidélité du résumé par rapport au document source. ce sont des méthodes qui sont plutôt gourmandes en termes de ressources. pour notre part, nous avons décidé de mettre en place une heuristique qui considère que si une entité est en dehors du document source alors elle est hallucinée. elle rend donc le résumé non fidèle au document source. ceci nous permet de définir le critère comme suit.