<figure><img src="image_1.png" /></figure>

HAL
open science

# Clustering de documents avec des plongements LLMs : évaluation de la réduction de dimension

Imed Keraghel, Stanislas Morbieu, Mohamed Nadif

► To cite this version:

Imed Keraghel, Stanislas Morbieu, Mohamed Nadif. Clustering de documents avec des plongements LLMs : évaluation de la réduction de dimension. Les 29èmes Rencontres de la Société Francophone de Classification (SFC), Nov 2024, Marseille, France. hal-04848093

HAL Id: hal-04848093

https://hal.science/hal-04848093v1

Submitted on 19 Dec 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

Public Domain
# Clustering de documents avec des plongements LLMs :
## évaluation de la réduction de dimension

Imed Keraghel* **, Stanislas Morbieu** Mohamed Nadif*

*Centre Borelli UMR 9010, Université Paris Cité, 75006 Paris

**Kernix Software, 75014 Paris

**Résumé.** Le clustering de documents est crucial pour la gestion et l'analyse d'importants volumes de données textuelles. Les progrès récents dans les grands modèles de langage (LLMs), comme GPT, ont transformé la manière dont les textes peuvent être analysés et interprétés par les machines. Cette étude vise à examiner les effets de différentes techniques de réduction de dimension sur les performances du clustering de documents en utilisant des plongements provenant des LLMs.

## 1 Introduction

Dans le domaine en évolution rapide du traitement automatique des langues (TAL), le regroupement de documents par similarité est essentiel pour la gestion et l'analyse de grands volumes de données textuelles. Avec la croissance exponentielle des données, provenant de sources telles que les actualités en ligne, les réseaux sociaux et les forums, des techniques efficaces pour organiser les documents en fonction de leur similarité deviennent crucales pour diverses applications, notamment les systèmes de recherche d'information.

Les avancées récentes dans les grands modèles de langage (LLMs), tels que *Generative Pre-trained Transformer (GPT)* (OpenAI, 2023) et *Bidirectional Encoder Representations from Transformers (BERT)* (Vaswani et al., 2017; Devlin et al., 2018), ont révolutionné la façon dont les textes peuvent être analysés et compris par les machines. Ces modèles capturent des nuances contextuelles et sémantiques complexes, offrant une base riche pour le clustering de documents. Cependant, la haute dimensionnalité de ces plongements textuels pose des défis significatifs en termes de calcul et d'efficacité, rendant la réduction de la dimensionnalité une étape critique dans le processus de clustering.

L'objectif de cette étude est de comparer l'impact de diverses techniques de réduction de la dimension sur la performance du clustering de documents en utilisant des plongements issus des LLMs.

## 2 Méthodologie

### 2.1 Sélection des ensembles de données

Nous avons sélectionné divers ensembles de données pour évaluer l'efficacité des techniques de clustering et des plongement de documents. Une description détaillée des datasets
utilisés est disponible dans Table 1.

<table><caption>TAB. 1 – *Description des jeux de données utilisés*.</caption><thead><tr><td>Dataset</td><td>Domaine</td><td>Description</td><td>Volume</td></tr></thead><tbody><tr><td>BBC News</td><td>Actualités</td><td>Collection d'articles d'actualités couvrant cinq thèmes distincts. Utilisée pour évaluer la capacité des algorithmes à différencier divers sujets d'actualité.</td><td>2,225</td></tr><tr><td>20 Newsgroups</td><td>Forums en ligne</td><td>Discussions issues de 20 groupes de discussion Usenet, représentant un large éventail de sujets. Utilisé pour tester les capacités de clustering textuel.</td><td>18,846</td></tr><tr><td>E-Commerce</td><td>Commerce en ligne</td><td>Commentaires et avis de produits collectés sur des plateformes d'e-commerce. Utile pour analyser les sentiments et les préférences des consommateurs.</td><td>50,000+</td></tr><tr><td>Emotion Recognition</td><td>Médias sociaux</td><td>Tweets annotés selon les émotions exprimées, utilisés pour évaluer la capacité des modèles à identifier et regrouper des expressions émotionnelles.</td><td>5,052</td></tr><tr><td>Web Content</td><td>Contenu Web</td><td>Articles et contenus Web liés à divers sujets médicaux, utilisés pour tester la précision du clustering dans un contexte de contenu spécialisé.</td><td>1,408</td></tr></tbody></table>

## 2.2 Sélection des représentations de documents

Pour évaluer l'efficacité des différentes techniques de plongement et de réduction de la dimensionnalité dans un but de clustering de documents, nous avons sélectionné une variété de représentations de textes. Ces représentations incluent :

- **Term Frequency-Inverse Document Frequency (TF-IDF)** : Pondération qui améliore le modèle classique de sac de mots en diminuant l'importance des mots qui apparaissent fréquemment dans l'ensemble du corpus.

- **BERT** : Emploie un *Transformer* pré-entraîné afin de générer des embeddings contextuels pour les mots, qui sont ensuite moyennés pour représenter des documents. Dans notre étude, nous avons utilisé le modèle *bert-base-uncased*.

- **GPT** : Semblable à BERT, cependant, il emploie une architecture distincte fondée sur les décodeurs. Pour cette étude, nous avons employé l'API OpenAI afin d'extraire les vecteurs en utilisant le modèle *text-embedding-ada-002*.

- **Joint Spherical Embedding (JoSE)** : Un modèle qui projette des textes sur une hyper-sphère pour capturer la similitude sémantique (Meng et al., 2019). Un modèle de 100 dimensions a été entraîné pour chaque jeu de données en utilisant les mêmes paramètres spécifiés dans l'article (Meng et al., 2019).

- **E5** : Ce modèle est entraîné de manière contrastive avec des signaux de supervision faibles sur le jeu de données CCPairs (Wang et al., 2022). Nous avons employé le modèle *e5-base-v2* dans cette étude.

- **INSTRUCTOR** : Une variante de l'architecture *Transformer* permettant de diriger la création des vecteurs via des instructions (Su et al., 2022). Dans cette étude, nous avons utilisé le modèle *instructor-base*.
## 2.3 Clustering et réduction de la dimension

Les algorithmes suivants ont été employés pour évaluer la performance des différentes représentations de documents : K-means (Lloyd, 1982; MacQueen, 1967), Spherical K-means, Deep K-means (Fard et al., 2020), CAEclust (Affeldt et al., 2022, 2020), et Deep Clustering Network (DCN) (Yang et al., 2017). Afin d'analyser l'impact de la réduction de dimension sur la performance du clustering, nous avons utilisé l'Analyse en Composantes Principales (ACP) (Pearson, 1901) et *Uniform Manifold Approximation and Projection* (UMAP) (McInnes et al., 2020).

# 3 Résultats et discussion

## 3.1 Evaluation en termes de clustering

Les performances ont été mesurées à l'aide de l'information mutuelle normalisée (NMI, Normalized Mutual Information) (Strehl et Ghosh, 2002). Table 2 résume les performances obtenues pour chaque combinaison de technique de plongement et d'algorithmes de clustering. Les expériences réalisées ont révélé une variabilité significative des performances selon les différentes combinaisons. Les vecteurs de plongement des modèles GPT et INSTRUCTOR ont surpassé les autres modèles, surtout dans les contextes nécessitant une compréhension contextuelle approfondie; notamment pour les jeux de données BBC News et Web Content. Le modèle E5 s'est également montré performant, rivalisant de près avec l'efficacité de GPT dans les contextes de 20 Newsgroups et de BBC News. Par ailleurs, INSTRUCTOR dépasse notablement GPT dans les jeux de données Emotion Recognition et E-Commerce. JoSE, bien que plus simple et moins coûteux, produit des résultats compétitifs, surpassant BERT et TF-IDF sur tous les ensembles de données à l'exception de l'ensemble de données Emotion Recognition. Ces résultats mettent en lumière l'importance du choix des modèles de plongement et des algorithmes de clustering pour maximiser les performances dans divers contextes.

## 3.2 Impact des techniques de réduction de la dimension

La réduction de dimension aide non seulement à maintenir la robustesse du modèle, mais améliore également ses performances. Cette réduction de la dimension augmente l'efficacité computationnelle, ce qui est crucial pour l'implémentation pratique et la scalabilité de ces modèles dans des situations réelles. Une illustration convaincante de ceci est observée dans le cas de l'algorithmes K-means appliqué au jeu de données E-Commerce. En utilisant les plongements GPT en combinaison avec l'ACP, l'algorithmes K-means s'est avéré être 17 fois plus rapide comparé à sa version standard, qui ne comprend pas de réduction de dimension.

Lorsque UMAP est appliqué, GPT s'améliore pour des jeux de données tels que E-Commerce et 20 Newsgroups, et maintient généralement la performance, avec une légère baisse dans Emotion Recognition, comme indiqué dans Table 3. E5, cependant, enregistre de bonnes améliorations sur la plupart des jeux de données, suggérant l'efficacité de UMAP à préserver les structures locales. Cependant, la performance de INSTRUCTOR varie, indiquant que les bénéfices de l'UMAP sont spécifiques au jeu de données et dépendent des paramètres.

Comme K-Means est une variante classifiante de l'algorithmes EM (Dempster et al., 1977) lors de l'utilisation de modèles de mélanges gaussiens *diagonaux*, nous avons cherché à amé-
Clustering de documents avec des plongements LLMs

<table><caption>TAB. 2 – Comparaison des performances des diverses techniques d'emplacement et des algorithmes de clustering sur l'ensemble des jeux de données. KM, SKM et DKM font référence respectivement à K-means, Spherical K-means, et deep K-means.</caption><thead><tr><th>Plongement</th><th>BBC News</th><th>20 Newsgroups</th><th>E-Commerce</th><th>Emotion Recognition</th><th>Web content</th></tr></thead><tbody><tr><td><strong>TF-IDF</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td>0.81</td><td>4.49</td><td>3.55</td><td>0.70</td><td>8.44</td></tr><tr><td>SKM</td><td>1.18</td><td>31.74</td><td>54.74</td><td>3.71</td><td>61.08</td></tr><tr><td>DKM</td><td>0.72</td><td>3.46</td><td>7.48</td><td>0.94</td><td>18.69</td></tr><tr><td>CAEclust</td><td>3.84</td><td>33.83</td><td>47.73</td><td>3.88</td><td>4.48</td></tr><tr><td>DCN</td><td>0.75</td><td>4.20</td><td>7.59</td><td>1.33</td><td>8.88</td></tr><tr><td><strong>BERT</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td>81.85</td><td>38.64</td><td>43.45</td><td>1.84</td><td>37.90</td></tr><tr><td>SKM</td><td>82.45</td><td>40.05</td><td>53.08</td><td>3.29</td><td>35.18</td></tr><tr><td>DKM</td><td>82.38</td><td>50.99</td><td>35.92</td><td>4.35</td><td>48.97</td></tr><tr><td>CAEclust</td><td>80.50</td><td>48.04</td><td>61.45</td><td>4.36</td><td>51.28</td></tr><tr><td>DCN</td><td>72.52</td><td>47.73</td><td>38.67</td><td>4.16</td><td>47.93</td></tr><tr><td><strong>JoSE</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td>85.65</td><td>57.05</td><td>63.30</td><td>0.33</td><td>71.56</td></tr><tr><td>SKM</td><td>85.17</td><td>55.41</td><td>61.32</td><td>0.35</td><td>73.30</td></tr><tr><td>DKM</td><td>81.75</td><td>54.85</td><td>60.56</td><td>0.54</td><td>70.60</td></tr><tr><td>CAEclust</td><td>86.59</td><td>48.00</td><td>65.52</td><td>0.37</td><td>70.04</td></tr><tr><td>DCN</td><td>71.16</td><td>51.25</td><td>51.12</td><td>0.50</td><td>59.60</td></tr><tr><td><strong>E5</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td>90.94</td><td>70.76</td><td>63.50</td><td>17.15</td><td>77.12</td></tr><tr><td>SKM</td><td>90.77</td><td>63.21</td><td>45.92</td><td>17.14</td><td>70.92</td></tr><tr><td>DKM</td><td>85.56</td><td>41.00</td><td>46.42</td><td>13.83</td><td>75.70</td></tr><tr><td>CAEclust</td><td>62.57</td><td>60.01</td><td>73.37</td><td>22.55</td><td>38.49</td></tr><tr><td>DCN</td><td>77.94</td><td>50.12</td><td>47.93</td><td>23.77</td><td>49.17</td></tr><tr><td><strong>INSTRUCTOR</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td>90.60</td><td>66.42</td><td>72.24</td><td>29.17</td><td>75.00</td></tr><tr><td>SKM</td><td>90.00</td><td>64.99</td><td>72.31</td><td><strong>30.14</strong></td><td>73.63</td></tr><tr><td>DKM</td><td>85.92</td><td>67.05</td><td>61.17</td><td>11.90</td><td>47.93</td></tr><tr><td>CAEclust</td><td>87.59</td><td>68.69</td><td><strong>75.39</strong></td><td>29.30</td><td>48.48</td></tr><tr><td>DCN</td><td>78.47</td><td>65.57</td><td>78.83</td><td>29.34</td><td>68.17</td></tr><tr><td><strong>GPT</strong></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>KM</td><td><strong>91.20</strong></td><td>68.84</td><td>71.67</td><td>29.00</td><td><strong>82.67</strong></td></tr><tr><td>SKM</td><td>90.91</td><td>68.83</td><td>71.70</td><td><strong>29.22</strong></td><td>79.09</td></tr><tr><td>DKM</td><td>87.36</td><td>69.22</td><td>57.55</td><td>24.77</td><td><strong>83.24</strong></td></tr><tr><td>CAEclust</td><td>90.05</td><td><strong>74.83</strong></td><td><strong>74.40</strong></td><td>23.85</td><td>75.79</td></tr><tr><td>DCN</td><td>83.38</td><td>67.83</td><td>61.86</td><td>25.64</td><td>78.32</td></tr></tbody></table>

lierer les résultats en initialisant EM par K-means; les résultats rapportés dans Table 3 sont approximativement équivalents. Il est également important de mentionner que, à part CAE-clust, qui présente une performance satisfaisante, les techniques qui emploient la réduction de la dimension en utilisant des auto-encodeurs, notamment Deep K-means et DCN, affichent des performances inférieures comparées aux alternatives simples basées sur l'ACP ou UMAP.
<table><caption>TAB. 3 – Mesure de l'impact de la réduction de la dimension en utilisant différentes stratégies sur les meilleurs plongements.</caption><thead><tr><th>Algorithme</th><th>Plongement</th><th>Emotion Recognition</th><th>20 Newsgroups</th><th>E-Commerce</th><th>BBC News</th><th>Web Content</th></tr></thead><tbody><tr><td>KM</td><td>GPT</td><td>29.00</td><td>68.84</td><td>71.67</td><td>91.20</td><td>82.67</td></tr><tr><td>ACP KM</td><td>GPT</td><td>29.01 (+0.01)</td><td>68.91 (+0.07)</td><td>71.48 (-0.29)</td><td>91.05 (-0.15)</td><td>81.55 (-1.12)</td></tr><tr><td>UMAP KM</td><td>GPT</td><td>28.61 (-0.39)</td><td>74.90 (+6.06)</td><td>74.38 (+2.71)</td><td>91.35 (+0.15)</td><td>83.78 (+1.11)</td></tr><tr><td>UMAP EM</td><td>GPT</td><td>28.60 (-0.40)</td><td>73.19 (+4.35)</td><td>75.08 (+3.41)</td><td>91.47 (+0.27)</td><td>84.10 (+1.43)</td></tr><tr><td>KM</td><td>INSTRUCTOR</td><td>29.17</td><td>66.42</td><td>72.24</td><td>90.60</td><td>75.00</td></tr><tr><td>ACP KM</td><td>INSTRUCTOR</td><td>29.71 (+0.54)</td><td>66.85 (+0.43)</td><td>72.60 (+0.36)</td><td>89.93 (-0.67)</td><td>74.08 (-0.92)</td></tr><tr><td>UMAP KM</td><td>INSTRUCTOR</td><td>21.79 (-7.38)</td><td>71.62 (+5.20)</td><td>74.53 (+2.29)</td><td>88.27 (-2.33)</td><td>79.84 (+4.98)</td></tr><tr><td>UMAP EM</td><td>INSTRUCTOR</td><td>22.88 (-6.29)</td><td>71.34 (+4.92)</td><td>75.05 (+2.81)</td><td>88.19 (-2.41)</td><td>80.95 (+5.95)</td></tr><tr><td>KM</td><td>E5</td><td>17.15</td><td>70.76</td><td>63.50</td><td>90.94</td><td>77.12</td></tr><tr><td>ACP KM</td><td>E5</td><td>17.14 (-0.01)</td><td>70.92 (+0.16)</td><td>70.92 (+7.42)</td><td>90.95 (+0.01)</td><td>78.98 (+1.86)</td></tr><tr><td>UMAP KM</td><td>E5</td><td>17.62 (+0.47)</td><td>73.25 (+2.49)</td><td>73.19 (+9.69)</td><td>90.31 (-0.63)</td><td>81.45 (+4.33)</td></tr><tr><td>UMAP EM</td><td>E5</td><td>17.85 (+0.70)</td><td>74.38 (+3.62)</td><td>73.95 (+10.45)</td><td>90.73 (-0.18)</td><td>81.67 (+4.55)</td></tr></tbody></table>

## 4 Conclusion

Cette étude a exploré l'efficacité de différentes techniques de réduction de la dimension dans un objectif de clustering de documents, en se focalisant particulièrement sur l'utilisation de plongements issus de LLMs tels que GPT, INSTRUCTOR et E5. Les résultats démontrent clairement que les performances des algorithmes de clustering sont fortement influencées par le choix des techniques de plongement et de réduction de la dimension.

Il ressort d'abord que les plongements GPT et INSTRUCTOR offrent des performances supérieures. L'efficacité de ces plongements peut être attribuée à leur capacité à capturer des nuances contextuelles qui sont crucales pour le regroupement de textes. Par ailleurs, l'utilisation de techniques de réduction de la dimension, comme ACP et UMAP, a non seulement permis de maintenir la robustesse des modèles, mais aussi d'améliorer significativement leur efficacité en terme de clustering.

Cependant, il est important de noter que les performances peuvent varier en fonction des spécificités du jeu de données et du paramétrage des techniques de réduction de la dimension. En effet, il est à souligner l'importance des paramètres des techniques de réduction de dimension telles que ACP et UMAP ou encore l'architecture de certaines techniques de type apprentissage profond.

## Références

* Affeldt, S., L. Labiod, et M. Nadif (2020). Spectral clustering via ensemble deep autoencoder learning (SC-EDAE). *Pattern Recognition* 108, 107522.

* Affeldt, S., L. Labiod, et M. Nadif (2022). Caeclust : A consensus of autoencoders representations for clustering. *Image Processing On Line* 12, 590–603.

* Dempster, A. P., N. M. Laird, et D. B. Rubin (1977). Maximum likelihood from incomplete data via the em algorithm. *Journal of the royal statistical society : series B (methodological)* 39(1), 1–22.
Clustering de documents avec des plongements LLMs

Devlin, J., M.-W. Chang, K. Lee, et K. Toutanova (2018). Bert : Pre-training of deep bidirectional transformers for language understanding. *arXiv:1810.04805*.

Fard, M. M., T. Thonet, et E. Gaussier (2020). Deep k-means : Jointly clustering with k-means and learning representations. *Pattern Recognition Letters* 138, 185–192.

Lloyd, S. (1982). Least squares quantization in pcm. *IEEE Transactions on Information Theory* 28(2), 129–137.

MacQueen, J. (1967). Classification and analysis of multivariate observations. In *Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability*, pp. 281–297.

McInnes, L., J. Healy, et J. Melville (2020). Umap : Uniform manifold approximation and projection for dimension reduction.

Meng, Y., J. Huang, G. Wang, C. Zhang, H. Zhuang, L. Kaplan, et J. Han (2019). Spherical text embedding. *Neurips* 32.

OpenAI (2023). Gpt-4 technical report.

Pearson, K. (1901). Liii. on lines and planes of closest fit to systems of points in space. *The London, Edinburgh, and Dublin philosophical magazine and journal of science* 2(11), 559–572.

Strehl, A. et J. Ghosh (2002). Cluster ensembles—a knowledge reuse framework for combining multiple partitions. *Journal of machine learning research* 3(Dec), 583–617.

Su, H., J. Kasai, Y. Wang, Y. Hu, M. Ostendorf, W.-t. Yih, N. A. Smith, L. Zettlemoyer, T. Yu, et al. (2022). One embedder, any task : Instruction-finetuned text embeddings. *arXiv preprint arXiv:2212.09741*.

Vaswani, A., N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, et I. Po-losukhin (2017). Attention is all you need.

Wang, L., N. Yang, X. Huang, B. Jiao, L. Yang, D. Jiang, R. Majumder, et F. Wei (2022). Text embeddings by weakly-supervised contrastive pre-training. *arXiv preprint arXiv:2212.03533*.

Yang, B., X. Fu, N. D. Sidiropoulos, et M. Hong (2017). Towards k-means-friendly spaces : Simultaneous deep learning and clustering. In *ICML*, pp. 3861–3870.

Summary

Document clustering is essential for the effective management and analysis of large volumes of textual data. Recent advances in large language models (LLMs), such as GPT, have revolutionized the way machines can analyze and interpret text. This study aims to investigate the impact of various dimensionality reduction techniques on the performance of document clustering using embeddings derived from LLMs.