Clustering de résumés LLM guidés par l’utilisateur : vers une approche constructiviste et réaliste unifiée (2025)

Abstract: Nous introduisons un cadre hybride combinant grands modèles de langage et techniques de regroupement pour extraire, résumer, évaluer et structurer automatiquement les connaissances de larges collections textuelles. Après avoir sélectionné, via une métrique d’entropie sémantique, la stratégie de prompt la plus stable, un LLM génère des résumés modulables qui font l’objet d’une évaluation factuelle assurant leur fiabilité. Ces résumés validés sont ensuite vectorisés, projetés en basse dimension et regroupés en thématiques. Optionnellement, un second LLM affine ensuite leurs libellés pour renforcer l’interprétabilité. Expérimentée sur un corpus majeur d’incidents aériens, cette approche augmente la cohérence et la granularité des clusters thématiques par rapport à une analyse directe des textes, ouvrant de nouvelles perspectives pour la recherche d’information et l’exploration de bases documentaires.

## introduction face à l'explosion du volume de données textuelles, l'extraction et la formalisation des connaissances à partir de grandes collections de documents posent des défis à la fois techniques et méthodologiques. les approches classiques de modélisation thématique (topic modeling), telles que lda (latent dirichlet allocation) @xcite , et leurs évolutions vers les neural topic models, comme bertopic @xcite , permettent de représenter les documents par des distributions sur des thématiques ou via des représentations contextuelles issues de modèles pré-entraînés. toutefois, ces méthodes présentent des limites importantes : elles peinent à modéliser la sémantique fine des thématiques et à s'aligner sur les préférences des utilisateurs finaux. des alternatives fondées sur l'utilisation des grands modèles de langage (llms) ont récemment émergé @xcite visant à produire directement des résumés thématiques ou des représentations synthétiques de documents. toutefois, ces approches n'intègrent pas explicitement les préférences des utilisateurs et offrent un contrôle limité sur le niveau de granularité ou la structuration des contenus. dans ce contexte, nous introduisons la notion de résumé constructiviste, que nous définissons comme suit : ce résumé, pour un document d, est une sortie textuelle générée par un llm conditionnée sur un prompt p spécifiant : cette définition permet de produire des résumés adaptés à des besoins spécifiques, en précisant non seulement quoi résumer, mais aussi comment le faire. elle repose sur une approche constructiviste, où l'information est activement construite en fonction des intentions de l'utilisateur. dans un second temps, nous structurons ces résumés à l'aide d'une approche que nous qualifions de réaliste, c'est-à-dire fondée sur la structuration thématique intrinsèque des résumés obtenus. il s'agit ici de faire émerger des regroupements pertinents à partir des données elles-mêmes, sans imposer de catégories a priori. cette dichotomie fait écho à la distinction constructiviste / réaliste décrite par @xcite , qui souligne que la notion de « vérité » en regroupement dépend tantôt des objectifs et préférences de l'utilisateur (constructivisme), tantôt de structures intrinsèques aux données (réalisme). la synergie entre ces deux dimensions -le constructivisme, en amont pour la génération de résumés, et le réalisme, en aval pour leur organisation thématique -permet d'articuler les niveaux micro (interprétation locale) et macro (structure globale) dans l'analyse de collections textuelles. la section 2 décrit en détail la méthodologie proposée, la section 3 expose et analyse les résultats obtenus, et la section 4 discute des verrous ainsi que des perspectives de recherche. ## résultats préliminaires dans cette étude préliminaire, nous exploitons un jeu de données relatif aux incidents aériens issu de la base de la national transportation safety board (ntsb) foot_0 . les quatre stratégies de génération de résumés, décrites dans la section 2 et adaptées à notre contexte applicatif, sont présentées en annexe a. pour chacune de ces variantes, nous générons des résumés avec mistral 7b v0.3 @xcite . les mesures d'entropie sémantique et le filtrage de cohérence résumé / document source sont réalisés avec le modèle deberta-large-mnli @xcite . nos choix de modèles sont guidés par des critères d'accessibilité, en privilégiant ceux pouvant fonctionner sur du matériel local. après génération des résumés et leur filtrage, nous les vectorisons dans un espace de plongement, puis réalisons un regroupement hiérarchique, suivi d'une extraction de thématiques et leur raffinement, comme décrit dans les étapes 3, 4, et 5 de la section 2. ## conclusion et perspectives cette étude préliminaire présente une méthode hybride alliant l'adaptabilité des llm à la robustesse du regroupement hiérarchique pour extraire et organiser efficacement les connaissances de vastes collections, comme les rapports d'incidents en aviation. les résumés constructivistes fournissent une interprétation contextualisée selon les besoins des utilisateurs, tandis que le regroupement et l'extraction de thématiques structurent les données de façon cohérente et hiérarchique. ensemble, ils enrichissent les thématiques et clarifient les représentations, bien au-delà d'une simple analyse des documents bruts. cependant, plusieurs défis subsistent quant à l'utilisation de la méthodologie proposée, ouvrant la voie à de nouvelles perspectives de recherche : évaluation des résumés constructivistes le contrôle de la factualité demeure un enjeu central, notamment la gestion des hallucinations, qui peut compromettre la confiance dans les contenus générés. le recours à des approches de raisonnement avec llm, telles que les chaînes de pensée @xcite , constitue une piste prometteuse pour améliorer la transparence et la fiabilité des inférences réalisées sur le document. nous avons évalué la cohérence résumé / document source, mais ses limites soulignent la nécessité d'un cadre multicritère plus large pour évaluer la qualité des résumés générés, articulé autour de trois axes : évaluation de la structure hiérarchique thématique la structuration thématique requiert le développement de métriques adaptées, capables de mesurer la pertinence des relations de subsomption, de la granularité des regroupements, ainsi que de quantifier la cohérence et la diversité des noeuds à la fois sur le plan hiérarchique et sémantique. il est également envisageable d'évaluer cette structure thématique en mobilisant un llm comme évaluateur (llm-as-a-judge) @xcite , pour analyser la cohérence globale et la qualité des liens hiérarchiques obtenus. validation extrinsèque et usages applicatifs une perspective importante consiste à valider le cadre proposé dans des contextes applicatifs concrets, tels que la recherche d'information, l'aide à la décision, ou les systèmes de recommandation. la structuration obtenue pourrait y jouer un rôle en facilitant la navigation dans des corpus complexes. les travaux futurs envisagés s'orienteraient vers une formalisation plus rigoureuse des résumés constructivistes, ainsi que le développement de protocoles d'évaluation capables de rendre compte des spécificités propres à ce type de résumés. l'articulation entre préférences utilisateur, inférences et ancrage documentaire constituerait un axe de recherche prometteur.