R ésume SVD : Un outil efficace et performant pour le résumé de texte non supervisé ( R ésume SVD : An efficient and effective tool for unsupervised text summarization ) (2022)

Abstract: Cet article présente une nouvelle méthode, RésumeSVD, pour le résumé automatique extractif non supervisé. Cette méthode est fondée sur la décomposition en valeurs singulières afin de réduire la dimensionnalité des plongements de mots et de proposer une représentation de ces derniers sur un petit nombre de dimensions, chacune représentant un sujet latent. En effet, dans un contexte spécifique et restreint, de multiples dimensions des plongements de mots deviennent moins pertinentes puisqu’apprises dans des contextes plus larges. Elle utilise également le regroupement automatique de mots pour réduire la taille du vocabulaire, et est suivie d’une heuristique d’extraction de phrases. La méthode surpasse en efficacité les approches extractives les plus récentes tout en étant plus efficiente. De plus, RésumeSVD nécessite peu de ressources, en termes de données et de puissance de calcul. Elle peut donc être exécutée sur de longs documents, tels que des articles scientifiques, ainsi que sur de grands corpus à documents multiples. Notre méthode est suffisamment rapide pour être utilisée dans des systèmes de résumé en direct. Nous partageons publiquement le code source de notre approche permettant de reproduire tous nos résultats.

## introduction la recherche sur le résumé automatique s'est récemment concentrée sur les approches supervisées. depuis pointer generator @xcite , des progrès considérables ont été réalisés dans le domaine du résumé génératif supervisé. cependant, ces approches nécessitent des corpus d'apprentissage substantiels composés d'une grande quantité de paires de documents et résumés, et malgré les avancées récentes sur le réglage fin et l'apprentissage par transfert, elles sont limitées à des domaines spécifiques. la recherche sur les méthodes de résumé non supervisées ne peut donc pas être laissée de côté. dans cet article, nous abordons le résumé extractif non supervisé, qui vise à sélectionner des phrases dans un ou plusieurs documents et à les assembler afin de construire un résumé. cette sélection se fait souvent selon un compromis entre deux critères : la centralité d'une phrase au sein du ou des documents à résumer (c'est-à-dire à quel point le résumé restitue les informations centrales), et la diversité (la couverture par le résumé des différentes informations). inspirés par les travaux @xcite sur le calcul de la similarité des textes longs, nous supposons que des thèmes cachés spécifiques à un texte peuvent émerger à partir des vecteurs de mots, calculés à partir d'un corpus général. chaque sujet représente un aspect particulier de la sémantique du texte. ces thèmes cachés permettent d'éliminer les informations inutiles des représentations de mots et peuvent être considérés comme une nouvelle représentation du texte. les mots peuvent être mis en correspondance avec un sujet latent et de cette façon, nous pouvons dériver des scores de centralité de mots à partir d'un texte représenté à l'origine comme une matrice de vecteurs de mots. compte tenu de ces scores de mots, des heuristiques d'extraction de phrases peuvent être appliquées pour générer un résumé extractif. nous proposons une nouvelle méthode de résumé extractif non supervisé, appelée résumesvd que nous évaluons sur des corpus de résumé hétérogènes afin de tester sa généralisation. la décomposition en valeurs singulières (svd) des textes a été utilisée à l'origine pour la comparaison de documents dans la technique d'analyse sémantique latente (lsa) introduite par @xcite . les documents sont représentés par une matrice document-terme remplie des occurrences des termes dans les documents, un terme par ligne et un document par colonne. la méthode svd est donc utilisée pour réduire le nombre de termes tout en préservant la similarité entre les documents. @xcite ont été les premiers à utiliser lsa pour le résumé automatique. lsa permet de détecter les thèmes principaux, puis les phrases les plus proches des thèmes sont extraites pour constituer un résumé. la méthode a été améliorée par @xcite en pondérant la probabilité de sélection des phrases par l'importance des sujets (proportionnellement à leur variance explicative). l'analyse latente dirichlet a également été utilisée pour le résumé automatique @xcite : les résumés sont construits en maximisant la couverture des thèmes identifiés par l'analyse latente. cependant, il a été montré dans @xcite que cette méthode était moins performante que les méthodes à base de graphes ou de centroïdes @xcite . les méthodes de plongement de mots ont permis d'améliorer considérablement les méthodes de résumé supervisées, néanmoins ces modèles nécessitent des corpus alignés massifs et des ressources computationnelles conséquentes. leur usage efficace dans un cadre non-supervisé présente des défis que nous nous proposons de relever au travers d'une méthode qui vise d'abord à réduire la dimensionnalité de ces modèles avant de les utiliser efficacement pour du résumé automatique. 3 notre méthode : résumesvd 1 modèle proposé : les plongements de mots sont devenus incontournables pour la représentation sémantique. cependant, dans un contexte restreint, par exemple un document ou plusieurs documents sur un même sujet, l'information sémantique pertinente peut être contenu sur un sous-ensemble restreint de dimensions. même le calcul de la similarité sémantique entre deux mots d'après leur représentation vectorielle reste un défi @xcite . nous proposons d'adapter des méthodes de regroupement non supervisées afin d'exploiter ces vecteurs denses et d'identifier les phrases les plus centrales des textes. nous pouvons représenter les textes dans une matrice où une ligne représente un mot et une colonne représente une dimension de vectorisation : m @xmath0. comme un résumé peut être interprété comme une compression d'un texte, nous compressons cette matrice. nous décrivons un processus en deux étapes où nous pouvons d'abord réduire le nombre de mots (lignes) par une méthode de regroupement, puis le nombre de dimensions (colonnes) par une décomposition en valeurs singulières. une vue d'ensemble du modèle est donnée à la figure 1 . regroupement des mots : afin de réduire le nombre de mots, et donc de vecteurs, nous utilisons une méthode de regroupement vectorielle non supervisée. de cette façon, les vecteurs les plus proches supposés partager les mêmes contextes seront regroupés. en fonction de la méthode de regroupement, il est possible de contrôler le nombre de groupes. ainsi, plus le nombre de groupes est faible, plus le taux de compression est élevé. au sein d'un même groupe les vecteurs des mots sont substitués par un vecteur unique, représentant l'ensemble. ce vecteur est calculé comme le vecteur moyen de tous les vecteurs d'un groupe. décomposition : la décomposition en valeurs singulières (svd) d'une matrice permet notamment de la compresser en réduisant son nombre de colonnes. nous proposons d'utiliser la svd pour réduire le nombre de dimensions des représentations vectorielles des mots. en effet, puisque les vecteurs ont une grande dimension (300 dans nos expériences), la svd a la capacité d'identifier les dimensions portant la plupart des informations, ce qui nous permet de conserver les plus importantes. comme dans lsa @xcite , nous nommons les vecteurs propres comme des sujets. score des mots : le score d'un mot sur un sujet donné (trouvé par la svd) est défini par : le score est une similarité cosinus entre le vecteur représentant le mot et un sujet. intuitivement, plus un mot est proche d'un thème, plus il explique la variation de cet axe, donc plus il contient d'informations et devrait être sélectionné pour faire partie du résumé. extraction des phrases : afin d'extraire les meilleures phrases de la matrice réduite obtenue par regroupement et décomposition, nous utilisons deux heuristiques : une pour le résumé mono et une pour le multi-document. dans le cas mono-document, le score d'une phrase est défini par la somme des similarités cosinus entre les mots qui la composent et un axe sélectionné (selon le w ordscore). les k meilleures phrases constituent alors le résumé. en multi-document, plusieurs sujets différents pouvant être traités, les k premiers axes sont pris en compte. la meilleure phrase de chaque axe est sélectionnée (avec la même méthode que pour le cas mono-document) pour constituer le résumé. ## expériences nous effectuons l'évaluation de notre méthode sur des corpus hétérogènes : par leur fonction (mono ou multi-document), le type des documents source (presse, réseaux sociaux, articles scientifiques) et la taille des documents et résumés. ces corpus et leurs caractéristiques sont présentés en tableau 1. tous les corpus présentés sont disponibles dans la plateforme open source tensorflow 2 , à l'exception de duc2004 qui est disponible sur demande auprès du nist. afin de produire une comparaison signifiante de notre méthode, nous comparons notre modèle à différentes approches de l'état de l'art : textrank : nous implémentons textrank @xcite ) largement répandue dans le domaine du résumé de texte. cette méthode, décrite dans la section 2, est à ce jour, l'une des méthodes non supervisées les plus rapides pour produire des résumés. lsa : nous utilisons lsa @xcite , une méthode fondée sur la svd comme décrit dans la section 2. elle permet de mettre en évidence les avantages de notre approche. bert svd : nous implémentons une approche complètement nouvelle fondée sur la vectorisation des phrases par bert, suivie d'un processus de sélection similaire à notre approche principale résumesvd. l'étape finale de sélection des phrases est également directe, les phrases les plus proches des sujets sont considérées comme les meilleures et constituent donc notre résumé. pmi : nous reproduisons @xcite en utilisant l'implémentation donnée par les auteurs. notre exécution ne concerne que les ensembles de données de résumé de document simple, car pmi est une méthode de résumé de document simple. summpip : nous exécutons l'implémentation de summpip publiée par @xcite . summpip étant conçu pour le résumé multi-documents, nous l'exécutons uniquement sur ce type de données. supervisé : le modèle matchsum @xcite . il s'agit d'une approche extractive supervisée par apprentissage profond. c'est à notre connaissance une des meilleures approches existantes. afin de garder la méthode légère et réellement non supervisée, nous avons décidé empiriquement d'utiliser une méthode générique de vectorisation de mots : glove(300d) @xcite . nous avons testé trois méthodes de clustering : optics @xcite ; une version améliorée de @xcite , l'algorithme des k-moyennes @xcite , et agglomerative clustering, toutes trois dans leur implémentation de la bibliothèque scikit-learn @xcite . l'utilisation d'agglomerative clustering induit une légère perte de score rouge, de l'ordre de 0.5% à 1.3% par rapport aux k-moyennes et de l'ordre de 1% à 1.9% par rapport à optics, mais permet des gains de vitesse d'exécution respectivement de 40% à 700% et de 1100% à 2300% selon les corpus. l'algorithme agglomerative clustering est donc un bon compromis entre qualité et temps d'exécution, un aspect important pour le passage à l'échelle permis par la linéarité de notre méthode.