Résumé automatique multi-documents guidé par une base de résumés similaires (2023)

Abstract: Le résumé multi-documents est une tâche difficile en traitement automatique du langage, ayant pour objectif de résumer les informations de plusieurs documents. Cependant, les documents sources sont souvent insuffisants pour obtenir un résumé qualitatif. Nous proposons un modèle guidé par un système de recherche d’informations combiné avec une mémoire non paramétrique pour la génération de résumés. Ce modèle récupère des candidats pertinents dans une base de données, puis génère le résumé en prenant en compte les candidats avec un mécanisme de copie et les documents sources. Cette mémoire non paramétrique est implémentée avec la recherche approximative des plus proches voisins afin de faire des recherches dans de grandes bases de données. Notre méthode est évalué sur le jeu de données MultiXScience qui regroupe des articles scientifiques. Enfin, nous discutons de nos résultats et des orientations possibles pour de futurs travaux.

## introduction le résumé multi-documents automatique s'effectue à l'aide de deux méthodes : extractive @xcite ou par abstraction @xcite . les méthodes dites extractives classent les phrases des documents sources afin d'obtenir un résumé. ces méthodes réutilisent bien les informations importantes pour construire un résumé de qualité mais manquent de cohérence entre les phrases. pour surmonter ce problème, les méthodes par abstraction sont étudiées pour rendre les résumés obtenus avec une meilleure cohérence. les modèles générant des résumés par abstraction montrent d'excellentes performances sur le style d'écriture, mais oublient souvent des informations clés pour obtenir un résultat de qualité. pour que les modèles par abstraction tiennent compte des informations essentielles, @xcite guide leur modèle avec des informations supplémentaires comme un ensemble de mots-clés, des triplets de graphes, des phrases importantes des documents sources ou des résumés similaires récupérés depuis une base de connaissances. avec comme mesure de similarité, la similarité cosinus. leur méthode, qui utilise toutes les formes d'informations mentionnées précédemment, améliore la qualité et la contrôlabilité du résumé par rapport aux modèles non guidés. cependant, le guidage nécessite des données d'entraînement spécifiques, notamment pour les mots-clés, les triplets de graphes et les phrases surlignées. notre proposition est qu'en guidant avec des résumés préexistants, le modèle puisse s'inspirer du résumé dans sa globalité mais aussi de pouvoir extraire des mots-clés et des phrases en utilisant un mécanisme de copie @xcite . par conséquent, ce travail se concentre sur le guidage par des résumés similaires extraits d'une base de connaissances en utilisant la similarité cosinus. le modèle, inspiré de rag (lewis et al., 2020), est entièrement différentiable. en outre, le générateur du modèle utilise un mécanisme de copie sur les résumés remontés de la base de connaissances inspiré @xcite . les conclusions de ces deux travaux ont motivé l'élaboration de notre modèle pour la tâche de résumé de texte multi-documents. nous démontrons le potentiel de notre méthode sur la base multixscience @xcite regroupant des articles scientifiques. dans le cas d'articles scientifiques, les documents sources sont souvent insuffisants pour générer la partie "related work". des connaissances externes sont nécessaires pour rédiger un tel paragraphe. notre objectif est de générer la partie "related work" avec notre méthode en intégrant des informations externes, dans notre cas des résumés préexistant et qui sont proches du résumé cible. dans cet article, nous étudions un modèle séquence à séquence guidé par une mémoire non paramétrique de résumés similaires. notre contribution est double : premièrement, nous intégrons une mémoire non paramétrique comme définis dans (lewis et al., 2020) afin de récupérer les candidats à la génération du résumé, et deuxièmement, nous utilisons un mécanisme de copie pour intégrer ces candidats dans la procédure de génération. le code de notre travail est disponible sur github 1 . ## travaux similaires nous commençons par une revue des travaux similaires, tout d'abord les travaux sur les résumés d'articles scientifiques. en effet, @xcite proposent de résumer des articles scientifiques provenant de arvix et pubmed, ils capturent la structure du document pour mieux représenter l'information du document source. cependant cela concerne le résumé automatique d'un seul document. dans le même but, @xcite proposent de résumer un article avec les articles qui le citent. l'inconvénient de cette méthode est qu'elle ne peut pas être utilisée lors de la rédaction d'un article. dans ce travail, nous utilisons les méthodes de résumé de texte multi-documents avec les références et non les articles qui citent les documents à résumer contrairement aux deux travaux précédents. les modèles utilisant des guidages sont proches de notre travail. @xcite 1. https://github.com/florianbaud/retrieval-augmented-mds extraient des résumés similaires d'une base de connaissances pour aider la génération du résumé cible. cependant, ils utilisent des systèmes de recherche d'information tels que elasticsearch pour trouver des candidats à la génération du résumé. de même, @xcite introduisent un système de recherche avec des vecteurs denses pour le résumé de texte, mais ils n'entraînent pas le système de recherche avec le reste du modèle. dans notre cas, la recherche est effectuée avec des vecteurs denses et est entraînable pour trouver les candidats les plus pertinents à la génération du résumé. le domaine des modèles augmentés avec un système de recherche d'information différentiable partagent des points communs avec notre travail. rag, (lewis et al., 2020) qui a introduit ce type de modèle, est utilisé pour la tâche de questions-réponses, où un contexte est donné pour répondre à la question. le modèle récupère plusieurs contextes avec un système de recherche d'information entraînable end-to-end, puis répond à la question en utilisant chacun des candidats récupérés. ces types de modèles sont également utilisés dans la tâche de traduction, où @xcite traduit une phrase avec une base de traduction préétablie. leur modèle recherche dans cette base des traductions possibles de la phrase à traduire, puis les intègre dans la génération de la traduction par un mécanisme de copie. l'architecture que nous proposons repose sur la même idée : elle est basée sur un système de recherche d'information différentiable qui intègre la mémoire au moyen d'un mécanisme de copie. il est intéressant de déterminer si le mécanisme de copie employé avec succès en traduction apporte également un gain au résumé multi-documents. ## expérimentation dans cette section, nous présentons les expériences réalisées sur le jeu de données multixscience pour évaluer notre modèle. l'entraînement du modèle complet est plus difficile en raison de sa taille mais aussi du problème du démarrage à froid du système d'informations. ce dernier correspond au fait que les résumés similaires récupérés ne sont pas suffisamment pertinents pour aider le modèle à générer des résumés de qualité. pour réduire la charge de calcul, nous avons utilisé un modèle réduit où la base de connaissances n'est pas du tout reconstruite. en outre, les paramètres de l'encodeur de mémoire ont été gelés afin de réduire la complexité de l'apprentissage. ces deux modifications ont permis de réduire considérablement le temps d'apprentissage. le modèle réduit a moins de paramètres entraînables (1.4 milliard). le modèle a été entraîné pendant deux jours sur quatre gpu v100 avec l'optimiseur adam et un taux d'apprentissage de 1e -4, une taille de données d'entraînement de 32, un top-k de 5 pour le récupérateur et avec 2k étapes de warmup et une décroissance linéaire jusqu'à 20k étapes. les scores rouges @xcite malgré sa réduction de taille, nous observons que le modèle est compétitif par rapport à l'état de l'art avec des méthodes n'utilisant pas de mécanisme de copie couplé avec un système de recherche d'informations sur des résumés similaires. ## conclusion cet article présente une architecture pour le résumé de texte multi-documents inspirée par des modèles augmentés par un système de recherche d'informations. cette architecture comprend un système de recherche d'informations qui cherche dans une base de connaissances des résumés similaires pour la génération d'un résumé. ces documents sont intégrés dans la génération au moyen d'un mécanisme de copie. une version réduite du modèle a été évaluée sur le jeu de données multixscience. les résultats sont compétitifs par rapport à l'état de l'art, mais nous espérons améliorer encore nos résultats, d'une part en corrigeant correctement le problème du démarrage à froid, et d'autre part en utilisant le modèle complet. pour la suite des travaux, nous prévoyons également d'augmenter la taille de la base de connaissances avec de nouvelles données, et d'appliquer notre méthode à d'autres jeux de données pour la tâche de résumé multi-documents.