Prétraitement syntaxique pour enrichir le Bag of Words en Topic Modeling (2025)

Abstract: Cet article propose une méthode de prétraitement innovante pour la topic modeling avec les modèles Latent Dirichlet Allocation (LDA) (Blei et al. , 2003) et Embedding Topic Model (ETM) (Dieng et al. , 2019), qui repose sur l’analyse des dépendances syntaxiques afin de construire des représentations plus riches du texte. En extrayant les têtes des groupes nominaux et verbaux ainsi que leurs compléments, notre approche génère des n-grammes syntaxiques (sn-grammes) plus informatifs que des bigrammes linéaires. Nous démontrons que cette stratégie permet de capturer les structures sémantiques complexes dans un corpus scientifique en français sur les énergies. Une évaluation expérimentale montre que, comparée à un prétraitement classique basé sur des unigrammes, notre approche accroît la diversité des sujets générés, tout en maintenant une cohérence raisonnable. Nous recommandons l’usage de métriques supplémentaires, telles que l’ Inversed Rank-Biased Overlap (IRBO), pour évaluer cette diversité thématique. Nos résultats suggèrent que cette méthode enrichit la granularité des sujets extraits et permet des analyses plus fines de grands corpus textuels. Ce travail s’inscrit dans un projet de thèse de fouille de textes dans le but de mieux cibler des startups innovantes dans les énergies et les analyser selon la méthode TRIZ de résolution de contradictions techniques.

## introduction le topic modeling (modélisation de sujets) est une technique d'apprentissage automatique non supervisée qui vise à identifier automatiquement les thématiques et à classifier de grands corpus textuels. les méthodes modernes de topic modeling utilisent soit des approches statistiques et/ou probabilistes, soit s'appuient sur des représentations vectorielles de mots word embeddings et des modèles de langue existants afin d'extraire des informations à partir de texte non structuré. le topic modeling a connu des avancées significatives ces dernières années, avec des équipes explorant de nouvelles possibilités comme les modèles basés sur les embeddings @xcite , @xcite , @xcite , @xcite et les méthodes de prétraitement basées sur les n-grammes @xcite , @xcite , @xcite , @xcite , à la fois pour les modèles à base d'embeddings que pour l'algorithme de topic modeling latent dirichlet allocation (lda) @xcite . nous proposons une nouvelle façon, à base de sn-grammes @xcite de prétraiter des corpus en langue française pour améliorer l'utilité des modèles utilisant des corpus de type bag of words (bow). nous constatons une amélioration de la diversité des mots trouvés au sein des topics sans dégradation de la cohérence. ## modèles le premier algorithme choisi pour illustrer cette technique de prétraitement est l'algorithme classique de topic modeling lda @xcite , sélectionné en raison de sa prédominance dans le domaine et servant de référence pour évaluer la performance de notre approche expérimentale. cet algorithme représente le corpus sous forme de sac de mots bag of words, c'est-à-dire que le vocabulaire est traité sans prise en compte de l'ordre des mots. comme cette caractéristique est une limite de l'approche, de nombreux chercheurs ont proposé des méthodes visant à optimiser l'algorithme, notamment : le modèle ctm (contextualized topic model) @xcite a été considéré, mais nous ne l'utilisons pas, en raison du conseil de ne pas l'utiliser sur des corpus de plus de 200 documents. ## sn-grammes les sn-grammes sont un concept introduit pour la première fois par @xcite en 2013. deux applications distinctes ont été explorées par l'équipe : l'attribution d'auteur @xcite et la correction grammaticale pour l'anglais langue seconde @xcite . ce concept diffère des techniques classiques de prétraitement n-grammes telles que les approches bigrammes, trigrammes et skipgrammes @xcite . la principale différence entre les techniques n-grammes traditionnelles et les techniques sn-grammes réside dans la définition des éléments considérés comme voisins. dans une approche n-grammes classique, les voisins sont simplement les tokens suivants et/ou précédents selon une fenêtre glissante. en revanche, dans une approche par sn-grammes, les voisins sont identifiés à l'aide d'un arbre de dépendance syntaxique. en utilisant l'approche par sn-grammes, nous pouvons relier les noms et leurs compléments en analysant l'arbre syntaxique et en identifiant les dépendances correspondantes. par exemple, il est possible de former des n-grammes à partir d'adjectifs et du nom tête du syntagme. des n-grammes peuvent également être formés à partir du verbe et de son complément, afin de prendre aussi en compte les actions. grâce à l'association par voisins syntaxiques, il devient possible de créer des n-grammes sémantiquement riches, tels que bien public et énergie renouvelable, même si les mots individuels se trouvent à des distances de plusieurs tokens. par exemple, dans la phrase : les bigrammes simples linéaires détecteront des séquences comme : une approche fondée sur les dépendances syntaxiques permet, elle, d'identifier "politique énergétique" comme une unité conceptuelle, car elle suit une relation de modification du nom par un adjectif postposé -fréquente en français. ces associations syntaxiques révèlent donc des collocations thématiquement riches, impossibles à détecter par des méthodes à base de n-grammes classiques. ## discussion & suite du projet notre méthode démontre trois avantages principaux par rapport aux approches traditionnelles : bien que les résultats soient prometteurs, cette étude présente certaines limitations. la taille restreinte de notre corpus expérimental (7,294 articles) ne permet pas d'évaluer pleinement la scalabilité de la méthode. les travaux futurs s'orienteront vers trois axes principaux :