Segmentation de texte non-supervisée pour la détection de thématiques à l’aide de plongements lexicaux (Unsupervised text segmentation for topic detection using embeddings ) (2020)

Abstract: Cet article présente les principales méthodes de segmentation automatique de documents textuels spécifiques. La tâche de segmentation thématique de texte consiste à analyser un document pour en extraire des sections cohérentes. Les méthodes de segmentation non supervisées cherchent à optimiser une fonction de probabilité de segmentation ou une fonction de similarité qui peut être calculée entre les blocs ou au sein des blocs. Elles sont réparties en trois catégories : les méthodes statistiques, les méthodes à base de graphes et les approches neuronales. Parmi les approches neuronales utilisées, nous nous intéressons tout particulièrement à celles qui utilisent des plongements lexicaux pour représenter des phrases et définir des segments thématiques. Tout d’abord, nous montrons que les plongements lexicaux permettent une amélioration nette des performances par rapport à des méthodes statistiques. Ensuite, nous évaluons l’impact du choix de la représentation vectorielle des phrases pour cette tâche de segmentation non supervisée.

## introduction la segmentation de texte en thématiques cohérentes est une tâche fondamentale en traitement automatique des langues (tal), à différentes granularités. un ensemble d'approches appelées segmentation thématique (topic segmentation en anglais) s'emploie à diviser un document en segments thématiquement cohérents. ces approches sont souvent considérées comme un pré-requis pour d'autres tâches telles que l'analyse du discours @xcite et l'analyse de sentiments @xcite . la segmentation en thèmes permet de répondre à des problématiques variées comme le résumé automatique @xcite , la recherche d'information @xcite et l'analyse de dialogues @xcite . à un niveau plus fin, la segmentation de texte consiste à segmenter des phrases en unités élémentaires du discours (edu pour elementary discourse units) @xcite définies comme des unités similaires à des clauses servant de blocs élémentaires pour la segmentation du discours. afin de répondre à ces problématiques de segmentation de texte, des méthodes supervisées et non supervisées de fouille de texte sont généralement mises en oeuvre. les méthodes supervisées nécessitent un grand volume de données d'apprentissage spécifiques à un domaine d'application très structurées (documents juridiques, rapports médicaux, . . .) et sont sensibles au bruit. dans cet article, nous nous intéressons à la segmentation de texte non supervisée, où la spécificité de la méthode réside dans le choix de la fonction objectif et dans la représentation des phrases du corpus (dense ou latente). depuis de nombreuses années, différentes approches ont été explorées pour segmenter des textes comme la détection de cooccurences de mots entre des segments, la détection de thématiques, l'utilisation de représentations de phrases ou de mots sous forme de graphes et l'utilisation d'architectures neuronales. ici, nous nous intéressons à l'utilisation de plongements lexicaux pour la segmentation automatique de texte en sections thématiques pertinentes dans des corpus de données spécifiques. les plongements lexicaux ont connu un grand succès ces dernières années sur plusieurs tâches d'apprentissage non supervisé, en permettant une représentation syntaxique et sémantique des mots dans un corpus. les évaluations seront réalisées sur le corpus construit lors de la compétition défi fouilles de texte (deft) de l'édition 2006 @xcite composé de discours politiques et de textes juridiques. les méthodes testées dans cet article ont été retenues pour cette tâche spécifique à partir d'un état de l'art assez large des méthodes neuronales de segmentation de texte et comparées à des méthodes statistiques fréquemment utilisées. après avoir présenté un état de l'art des méthodes de segmentation thématique de documents et de représentations du langage (section 2), nous décrivons le corpus deft utilisé (section 3), puis nous présentons les expériences réalisées pour cette tâche (section 4) avant de conclure et de définir nos perspectives de recherche (section 5). ## état de l'art dans cette section, nous présentons tout d'abord les grandes familles de méthodes non supervisées de segmentation de texte. ensuite, nous nous intéressons aux évolutions récentes qui permettent d'améliorer les représentations de texte : les plongements lexicaux. puis, nous détaillons deux méthodes proposées ces dernières années pour utiliser des plongements de mots pour la segmentation automatique de texte. enfin, nous nous intéressons aux méthodes courantes d'évaluation des modèles de segmentation. ## conclusion