# Détection d'anomalies non supervisée dans NSL-KDD en utilisant un β-VAE: une approche basée sur l'espace latent et l'erreur de reconstruction

Dylan Baptiste, Ramla Saddem, Alexandre Philippot, François Foyer

► To cite this version:

Dylan Baptiste, Ramla Saddem, Alexandre Philippot, François Foyer. Détection d'anomalies non supervisée dans NSL-KDD en utilisant un β-VAE: une approche basée sur l'espace latent et l'erreur de reconstruction. 3ème Congrès Annuel de la SAGIP, SAGIP, May 2025, Mulhouse, France. hal-05115092

HAL Id: hal-05115092

https://hal.science/hal-05115092v1

Submitted on 16 Jun 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Détection d'anomalies non supervisée dans NSL-KDD en
utilisant un β-VAE : une approche basée sur l'espace latent et
l'erreur de reconstruction

Dylan Baptiste¹,², Ramla Saddem¹, Alexandre Philippot¹, François Foyer²

¹ Université de Reims Champagne-Ardenne, CRESTIC, Reims, France
{dylan.baptiste, ramla.saddem, alexandre.philippot}@univ-reims.fr

² Seckiot, Paris, France
francois.foyer@seckiot.fr

**Mots-clés** : autoencodeur, apprentissage profond, intelligence artificielle, apprentissage non supervisé, détection d'anomalies, cybersécurité, système de détection d'intrusion

## 1 Introduction

L'intégration croissante de la technologie opérationnelle (OT) avec les systèmes de technologie de l'information (IT) a conduit à un besoin croissant de systèmes de détection d'intrusion (IDS) dans les environnements industriels. Dans cet article, nous explorons une approche non supervisée de détection d'anomalies dans le trafic réseau en utilisant les autoencodeurs β variationnels (β-VAE) [1]. Généralement, dans un contexte de classification non supervisé, les β-VAE sont entrainés sur des données dites normales puis la classification s'effectue via un système de seuil sur l'erreur de reconstruction. Dans cette étude, nous proposons d'exploiter la projection des données dans l'espace latent du modèle afin d'effectuer cette classification. Nous évaluons les performances de ces méthodes sur le dataset NSL-KDD [4].

## 2 Méthodologie

### 2.1 Modèle β-VAE

Le modèle β-VAE [1] étend le modèle VAE [2] en introduisant un coefficient β qui permet de contrôler l'importance du terme de divergence de Kullback-Leibler [3] ($D_{KL}$) dans la fonction d'erreur :

$$ \mathcal{L}(\theta, \phi) = \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\theta}(x|z)] - \beta \cdot D_{KL}(q_{\phi}(z|x)||p(z)) \quad (1) $$

L'architecture β-VAE se compose d'un encodeur $q_{\phi}(z|x)$ qui mappe les données d'entrée $x$ vers la distribution latente $z$, et d'un décodeur $p_{\theta}(x|z)$ qui reconstruit les données d'entrée à partir de $z$. Le modèle est entraîné en minimisant la fonction de perte (1) en utilisant la méthode de descente de gradient stochastique. Dans la suite de ce travail nous nommerons la partie $\mathbb{E}_{q_{\phi}(z|x)}[\log p_{\theta}(x|z)]$ dans (1) l'erreur de reconstruction $\mathcal{L}_{rec}$.
## 2.2 Dataset NSL-KDD

Le dataset NSL-KDD [4] est un jeu de données de référence pour évaluer les performances des systèmes de détection d'intrusions. Il s'agit d'une version modifiée du jeu de données KDD Cup 1999, qui contient des données de trafic réseau. Les attaques de NSL-KDD se regroupent en cinq classes de trafic : normal, Denial of Service (DoS), Probe, User-to-Root (U2R), et Remote-to-Local (R2L).

Nous exploitons une approche d'apprentissage non supervisée, nous n'utilisons que les données labélisées normal issues du dataset d'entrainement. Nous avons donc redivisé NSL-KDD en 3 parties : Un ensemble de données anormales $X_{attack}$ qui regroupe toutes les données d'attaques du dataset d'entrainement et de test, un ensemble de données d'entrainement $X_{train}$ qui reprend uniquement les données labélisées normal du dataset d'entrainement et un ensemble de données de test $X_{test}$ qui reprend uniquement les données labélisées normal du dataset de test.

# 3 Exploitation du β-VAE pour la classification

La détection d'anomalies peut être abordée de deux manières distinctes dans le cadre de notre modèle β-VAE : via l'erreur de reconstruction ou en analysant l'espace latent. Chacune de ces méthodes permet de classifier les données en anomalies et en données normales, mais sur des bases différentes. Dans les deux cas nous allons évaluer les performances du modèle en fonction du taux de faux positifs (False Positive Rate, FPR) et du taux de vrais positifs (True Positive Rate, TPR) pour différents seuils.

## 3.1 Détection d'anomalies basée sur l'erreur de reconstruction

La première approche de détection d'anomalies repose sur l'erreur de reconstruction, une méthode classique en apprentissage non supervisé. Après l'entraînement du modèle β-VAE, chaque donnée provenant de l'ensemble $X_{attack} \cup X_{test}$ est projetée dans l'espace latent par l'encodeur $z = q_{\phi}(z|x)$, puis reconstruite par le décodeur $\hat{x} = p_{\theta}(x|z)$. L'objectif est de quantifier la différence entre la donnée originale $x$ et sa reconstruction $\hat{x}$ à partir de l'espace latent. Cette différence est mesurée par l'erreur de reconstruction $\mathcal{L}_{rec}$ présenté dans la Section 2.1.

Une fois l'erreur de reconstruction calculée, un seuil est défini pour distinguer les données normales des données anormales. Les données pour lesquelles l'erreur dépasse ce seuil sont considérées comme anormales, tandis que celles avec une erreur inférieure au seuil sont classées comme normales. Cette approche de détection nommée $\mathcal{L}_{rec}$-classification dans la suite de ce travail.

## 3.2 Détection d'anomalies basée sur l'espace latent

La deuxième approche consiste à exploiter l'espace latent du modèle β-VAE pour détecter les anomalies. L'idée est de projeter les données normales de l'ensemble d'entraînement $X_{train}$ dans l'espace latent à l'aide de l'encodeur $q_{\phi}$ du modèle β-VAE.

Cette approche sera nommée $\mathcal{Z}_k$-classification, où $k$ est un entier représentant le nombre de voisins à prendre en compte pour le calcul de la distance moyenne. Nous noterons $\mathcal{Z}_k^X(x)$ la distance moyenne entre $z$ (la projection de $x$) aux $k$ plus proches voisins des projections de $X$. Cette moyenne est calculée en utilisant la formule (2).

$$ \mathcal{Z}_k^X(x) = \frac{1}{k} \sum_{j=1}^{k} \|z - z'_{(j)}\|_2 \quad \text{avec } z = q_{\phi}(z|x) \text{ et } z'_{(j)} \in \{q_{\phi}(z'|x') | x' \in X\} \quad (2) $$

où $z'_{(j)}$ désigne le $j$-ème plus proche voisins de $z$ dans l'ensemble des projections de $X$.

Pour effectuer la $\mathcal{Z}_k$-classification nous évaluons $\mathcal{Z}_k^{X_{train}}(x) \quad \forall x \in X_{test} \cup X_{attack}$.
Similairement à la méthode basée sur l'erreur de reconstruction, si une distance moyenne dépasse un seuil, la donnée sera considérée comme anormale, sinon elle sera classée comme normale.

# 4 Résultats expérimentaux

<figure><img src="image_2.png" /><figcaption>FIG. 1 – (a) courbe ROC sur $X_{test}$ et $X_{anormal}$. (b) Distribution de la $Z_{100}$-classification et de la $L_{rec}$-classification sur $X_{test}$ et $X_{attack}$.</figcaption></figure>

La Figure 1 montre les performances des deux méthodes de détection d'anomalies, $L_{rec}$-classification et $Z_{100}$-classification, sur les ensembles de données $X_{test}$ et $X_{attack}$. La courbe ROC (Receiver Operating Characteristic) de la Figure 1a montre que les méthodes $Z_{100}$-classification et $L_{rec}$-classification obtiennent des performances similaires pour la classification binaire des données normales et anormales. La Figure 1b montre la distribution des données classées par les deux méthodes. Nous pouvons noter que ces deux approches obtiennent toutes deux d'excellents résultats pour la classification des données normales.

# 5 Conclusions et perspectives

Dans cet article, nous avons exploré deux approches de détection d'anomalies non supervisées dans le trafic réseau en utilisant un modèle β-VAE. Nous avons montré que la méthode basée sur l'espace latent obtient de résulats similaires à la méthode basée sur l'erreur de reconstruction. Nous pouvons clairement voir que sur la Figure 1b les deux méthodes sont complémentaires pour certains points de données.

# Références

[1] Irina Higgins, Loic Matthey, Arka Pal, Christopher Burgess, Xavier Glorot, Matthew Botvinick, Shakir Mohamed, and Alexander Lerchner. beta-vae: Learning basic visual concepts with a constrained variational framework. In *International conference on learning representations*, 2017.

[2] Diederik P Kingma and Max Welling. Auto-encoding variational bayes, 2022.

[3] S. Kullback and R. A. Leibler. On information and sufficiency. *The Annals of Mathematical Statistics*, 22(1):79-86, 1951.

[4] Mahbod Tavallaee, Ebrahim Bagheri, Wei Lu, and Ali A. Ghorbani. A detailed analysis of the KDD CUP 99 data set. In *2009 IEEE Symposium on Computational Intelligence for Security and Defense Applications*, pages 1-6, July 2009.