# Clustering guidé dans des autoencodeurs variationnels

Violaine Courrier, Christophe Biernacki

► To cite this version:

Violaine Courrier, Christophe Biernacki. Clustering guidé dans des autoencodeurs variationnels. JdS'2025 - 56es Journées de Statistique, Jun 2025, Marseille, France. hal-05442676

HAL Id: hal-05442676

https://inria.hal.science/hal-05442676v1

Submitted on 5 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# CLUSTERING GUIDÉ DANS DES AUTOENCODEURS VARIATIONELS

Violaine Courrier<fnref n="1" /> & Christophe Biernacki<fnref n="2" />

**Résumé.** Dans ce travail, nous proposons le Guided Clustering Variational Autoencoder (GCVAE), un modèle qui combine un mélange gaussien et un autoencodeur variationnel. Sa particularité est d'intégrer une "variable guide" pour influencer la formation des clusters, tout en maintenant la possibilité de traiter de nouvelles données où cette variable guide est absente. Le GCVAE exploite à la fois la richesse des informations initiales et les connaissances contextuelles pour une segmentation plus pertinente et plus aisée à interpréter que les méthodes de clustering purement non supervisées.

**Mots-clés.** Clustering, VAEs, IA générative, inférence variationnelle

**Abstract.** This article introduces the Guided Clustering Variational Autoencoder (GC-VAE), a model that combines a Gaussian Mixture Model (GMM) with a Variational Autoencoder (VAE). Its distinguishing feature is the integration of a "guiding" variable to influence cluster formation, while preserving the ability to handle new data where the guiding variable is unavailable. By doing so, the GCVAE leverages both the richness of the original information and the contextual knowledge, resulting in more relevant and interpretable segmentation than purely unsupervised clustering methods.

**Keywords.** Clustering, VAEs, Generative AI, variational inference

## 1 Introduction

Le clustering est une technique couramment employée pour segmenter des données x selon leurs similarités. Pourtant, dans la pratique, des considérations liées au domaine ou à la tâche influencent grandement la formation et l'interprétation des groupes. Par exemple, à partir d'un même jeu de données clients (fréquence d'achats, montants dépensés, engagement, etc.), le service logistique peut classifier ces clients pour optimiser les stocks et anticiper la demande, tandis qu'une équipe marketing privilégiera l'engagement et le comportement d'achat pour adapter ses campagnes promotionnelles.

Les méthodes traditionnelles de clustering ignorent souvent ces facteurs contextuels et se concentrent uniquement sur la séparation ou la variance. Pour pallier cette limite, nous proposons un modèle qui intègre une variable guide y afin d'orienter la formation des clusters tout en préservant la structure initiale des données. Ainsi, notre approche offre une flexibilité

<footnote n="1">¹ Withings, Paris & Inria, Université de Lille ; violaine.courrier@inria.fr</footnote>

<footnote n="2">² Inria, Université de Lille, CNRS, UMR 8524, Lille ; christophe.biernacki@inria.fr</footnote>
permettant d'adapter le clustering à des objectifs spécifiques (portés par $y$), sans sacrifier la richesse des informations de départ (portées par $x$).

Le Guided Clustering Variational Autoencoder (GCVAE) intègre un modèle de mélange gaussien [2] dans un Variational Autoencoder [5]. Il se distingue en générant en plus des données d'entrée $x$ une variable guide $y$. En utilisant $y$ uniquement dans le modèle génératif, la procédure d'inférence reste dépendante uniquement de $x$ — un choix de conception qui préserve la capacité de regrouper de nouveaux échantillons même lorsque $y$ n'est pas disponible. Ce modèle offre une nouvelle approche du clustering à la fois flexible et interprétable, répondant au besoin de segmentation consciente du contexte dans des jeux de données complexes.

# 2 Le modèle

Le modèle GCVAE proposé vise à segmenter les données d'entrée $X = (x_1, ..., x_n)$ tout en étant guidé par les informations contextuelles fournies par $Y = (y_1, ..., y_n)$, avec $n$ le nombre d'observations. Nous supposons que les données sont générées par un processus impliquant des variables latentes $Z = (z_1, ..., z_n)$ et des clusters $c \in \{1, ..., K\}$, avec $K$ le nombre prédéfini de clusters. Dans le reste de ce document, on omettra l'indice $i \in \{1, ..., n\}$.

## 2.1 Modèle génératif

<figure><img src="image_2.png" /><figcaption>Figure 1: Une représentation graphique des décodeurs dans les Équations 3 et 4, et le GMM dans l'Équation 2, respectivement. *Les losanges indiquent que les variables sont latentes, tandis que les ronds désignent les observations.*</figcaption></figure>

Le processus génératif de notre modèle se compose des étapes suivantes :

1. Choisir un cluster $c$ en utilisant une distribution Multinomiale : $p_{\pi}(c) = \text{Cat}(c; \pi)$.

2. Générer un vecteur latent $z$ conditionné par le cluster $c$ : $p_{\mu_c, \sigma_c}(z|c) = \mathcal{N}(z; \mu_c, \sigma_c^2 I)$.

3. Générer la variable $x$ à partir du vecteur latent $z$ : $p_{\theta_x}(x|z) = \mathcal{N}(x; f_{\theta_x}(z), I)$.

4. Générer la variable $y$ à partir du vecteur latent $z$ : $p_{\theta_y}(y|z) = \mathcal{N}(y; f_{\theta_y}(z), I)$.

Ici, $\pi = (\pi_1, ..., \pi_K) \in [0, 1]^K$, avec $\pi_c$ la probabilité à priori pour le cluster $c$, $\sum_{c=1}^K \pi_c = 1$, $\mu_c$ et $\sigma_c^2$ sont les paramètres de la distribution normale multivariée correspondante au cluster
## 2.2 Modèle d'inférence

c, I est la matrice identité, $f_{\theta_a}(z)$ avec $a \in \{x, y\}$ sont des réseaux avec entrée z et paramétrés par $\theta_a$.

Selon le processus génératif ci-dessus, illustré dans la Figure 1, avec $\Theta = \{\mu_c, \sigma_c, \pi_c, \theta_x, \theta_y\}$, la probabilité jointe du modèle est donnée par :

$$p_{\Theta}(z, c, x, y) = p_{\Theta}(y|z)p_{\Theta}(x|z)p_{\Theta}(z|c)p_{\Theta}(c). \qquad (1)$$

## 2.2 Modèle d'inférence

Pour effectuer l'inférence, nous devons approcher la loi a posteriori, mais non calculable, $p_{\Theta}(z, c | x, y)$. Nous utilisons alors l'inférence variationnelle [1] pour y parvenir, en utilisant un modèle d'inférence $q_{\phi}(z, c|x)$ qui repose uniquement sur les données d'entrée $x$. Cette approche garantit que le modèle reste applicable même lorsque la variable guide $y$ n'est pas disponible au moment de la prédiction.

Nous supposons aussi une approximation de champ moyen, pour des raisons de simplicité :

$$q_{\phi}(z, c|x) = q_{\phi}(z|x)q(c|x) \qquad (2)$$

avec

$$q_{\phi}(z|x) = \mathcal{N}(z; \tilde{\mu}, \tilde{\sigma}^2 I) \qquad (3)$$

$$[\tilde{\mu}, \log \tilde{\sigma}] = g_{\phi}(x) \qquad (4)$$

où $\tilde{\mu} \in \mathbb{R}^J$ et $\tilde{\sigma} \in \mathbb{R}^{J+}$, avec $J$ qui correspond à la dimension de l'espace latent. Le modèle exprimé dans l'Équation 3 est illustré dans la Figure 2. Ici, $g_{\phi}$ est un réseau neuronal paramétré par $\phi$, et le détail de l'estimation de $q(c|x)$ est décrit à la fin de la partie 2.3.

<figure><img src="image_3.png" /><figcaption>Figure 2: Une représentation graphique du modèle d'inférence.</figcaption></figure>

## 2.3 Objectif d'entraînement

L'entraînement du GCVAE est guidé par l'objectif d'inférence variationnelle, spécifiquement la Evidence Lower Bound (ELBO) que l'on cherche à maximiser :

$$\arg \max_{\Theta, \phi} \mathrm{ELBO}(x, y) = \arg \max_{\Theta, \phi} \mathbb{E}_{q_{\phi}(z, c|x)} \left[ \log \frac{p_{\Theta}(z, c, x, y)}{q_{\phi}(z, c|x)} \right].$$
L'ELBO peut être décomposée en plusieurs termes, en utilisant l'Équation 1, avec les termes de reconstruction pour $x$ et $y$, et les termes de la divergence KL qui régularisent l'espace latent :

$$ \mathrm{ELBO}(x, y) = \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(y|z)] + \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(x|z)] - \mathrm{KL}[q_{\phi}(z, c|x) || p_{\Theta}(z|c)p_{\Theta}(c)]. $$

Elle peut être ensuite développée comme ci-dessous :

$$ \begin{aligned} \mathrm{ELBO}(x, y) = & -\frac{1}{L} \sum_{l=1}^{L} \|y - f_{\theta_y}(z^{(l)})\|_2^2 - \frac{1}{L} \sum_{l=1}^{L} \|x - f_{\theta_x}(z^{(l)})\|_2^2 \\ & -\frac{1}{2} \sum_{c=1}^{K} q(c|x) \sum_{j=1}^{J} \left( \log \sigma_{cj}^2 + \frac{\tilde{\sigma}_j^2}{\sigma_{cj}^2} + \frac{(\tilde{\mu}_j - \mu_{cj})^2}{\sigma_{cj}^2} \right) \\ & + \sum_{c=1}^{K} q(c|x) \log \pi_c + \frac{1}{2} \sum_{j=1}^{J} (1 + \log \tilde{\sigma}_j^2) - \sum_{c=1}^{K} q(c|x) \log q(c|x). \end{aligned} $$

avec $z^{(l)} \sim \mathcal{N}(\tilde{\mu}, \tilde{\sigma}^2 I)$, et $[\tilde{\mu}, \log \tilde{\sigma}^2] = g_{\phi}(x)$. $L$ est le nombre d'échantillons Monte Carlo dans l'estimateur Stochastic Gradient Variational Bayes (SGVB).

Nous allons approximer $q(c|x)$ en utilisant l'estimateur SGVB :

$$ q(c|x) = \mathbb{E}_{q_{\phi}(z|x)}[p(c|x)] \approx \frac{1}{L} \sum_{l=1}^{L} \frac{p_{\Theta}(z^{(l)}|c)p_{\Theta}(c)}{\sum_{c'} p_{\Theta}(z^{(l)}|c')p_{\Theta}(c')}. $$

# 3 Ajustements du modèle

Pour garantir que le GCVAE capture efficacement l'information fournie par la variable guide $y$, nous proposons plusieurs ajustements liés à l'architecture du modèle et au processus d'entraînement.

## Encodeur et décodeurs simplifiés
Pour éviter que l'encodeur et les décodeurs ne capturent directement l'information des groupes, nous optons pour des architectures de réseau plus simples. Nous maintenons également la dimension de l'espace latent petite. Ces décisions aident à garantir la structuration de l'espace latent.

### $q(c|x)$ binaire
Pour mettre en avant l'apprentissage des paramètres du GMM, nous avons imposé une décision binaire dans la distribution de probabilité $q(c | x)$. Cette approche garantit que le modèle attribue chaque individu à un seul cluster, affinant ainsi les frontières des clusters.
**Fonction de perte pondérée** Inspirés par le cadre beta-VAE [3], nous introduisons des poids dans la fonction de perte pour équilibrer les termes de reconstruction et la structure de l'espace latent, conduisant à une nouvelle formulation de l'ELBO :

$$ \mathrm{ELBO}_{\beta}(x, y) = \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(y|z)] + \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(x|z)] \\ - \beta \times \mathrm{KL}[q_{\phi}(z, c|x) || p_{\Theta}(z|c)p_{\Theta}(c)]. $$

Nous choisissons $\beta \in \mathbb{R}^+$ de sorte que le terme KL et le terme de reconstruction contribuent de manière similaire à la perte globale. Cette stratégie aide à stabiliser l'entraînement en empêchant un composant unique de dominer le processus d'optimisation.

**Initialisation GMM** Dans ce travail, une étape de pré-entrainement est utilisée pour initialiser les paramètres du GMM $(\mu, \sigma)$, une pratique courante dans le deep clustering [4, 6]. Nous introduisons le poids $\alpha$ dans la fonction de perte pour équilibrer la reconstruction de $x$, $y$ et la structure de l'espace latent sans les clusters, conduisant à l'ELBO suivante :

$$ \mathrm{ELBO}_{\alpha, \beta}(x, y) = \alpha \times \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(y|z)] + \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\Theta}(x|z)] \\ - \beta \times \mathrm{KL}[q_{\phi}(z|x) || \mathcal{N}(z; 0_J, I)] $$

avec $0_J$ un vecteur nul de dimension $J$.

En priorisant la reconstruction de $y$ avec $\alpha > 1$, nous encourageons ainsi le modèle à aligner l'espace latent avec la variable guide.

# 4 Conclusion

Dans ce travail, nous avons présenté le Guided Clustering Variational Autoencoder (GCVAE), qui intègre une variable guide $y$ afin d'orienter la formation des clusters vers des objectifs contextuels. En mariant un modèle de mélange gaussien à un autoencodeur variationnel, GCVAE construit un espace latent interprétable préservant la structure de $x$ tout en exploitant l'information supplémentaire apportée par $y$. Des expériences présentées pendant la conférence, sur un dataset MNIST-SVHN et un jeu de données réel de l'entreprise Withings<fnref n="1" />, confirment que cette approche guidée améliore la pertinence et l'interprétation des clusters.

# References

[1] David M. Blei, Alp Kucukelbir, and Jon D. McAuliffe. Variational inference: A review for statisticians. Journal of the American Statistical Association, 112(518):859–877, April 2017.

<footnote n="1">¹Withings est une entreprise française qui conçoit des objets médicaux connectés tels que des montres, des balances ou encore des tensiomètres. https://www.withings.com/fr/fr/</footnote>
REFERENCES

[2] A. P. Dempster, N. M. Laird, and D. B. Rubin. Maximum likelihood from incomplete data via the EM algorithm. *Journal of the Royal Statistical Society: Series B*, 39:1–38, 1977.

[3] Irina Higgins, Loic Matthey, Arka Pal, Christopher Burgess, Xavier Glorot, Matthew Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-VAE: Learning basic visual concepts with a constrained variational framework. In *International Conference on Learning Representations*, 2017.

[4] Zhuxi Jiang, Yin Zheng, Huachun Tan, Bangsheng Tang, and Hanning Zhou. Variational deep embedding: A generative approach to clustering. *CoRR*, abs/1611.05148, 2016.

[5] Diederik P Kingma and Max Welling. Auto-encoding variational bayes, 2022.

[6] Junyuan Xie, Ross Girshick, and Ali Farhadi. Unsupervised deep embedding for clustering analysis, 2016.