# Anonymisation réversible des LLM: Une approche basée sur la dispersion des embeddings pour la connaissance d'entités nommées

Sébastien Warichet, Asma Trabelsi, Emmanuel Helbert, Hamed Kallo, Rym Djamouri

► To cite this version:

Sébastien Warichet, Asma Trabelsi, Emmanuel Helbert, Hamed Kallo, Rym Djamouri. Anonymisation réversible des LLM: Une approche basée sur la dispersion des embeddings pour la connaissance d'entités nommées. Extraction et Gestion des Connaissances, EGC'2025, Jan 2025, Starsbourg, France. hal-04932055

HAL Id: hal-04932055

https://inria.hal.science/hal-04932055v1

Submitted on 6 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Anonymisation réversible des LLM : Une approche basée sur la dispersion des embeddings pour la reconnaissance d'entités nommées

Sébastien Warichet*, Asma Trabelsi* Emmanuel Helbert* Hamed Kallo* Rym Djamouri*

* Alcatel-Lucent Enterprise

## 1 Introduction

Les grands modèles de langage (LLM) révolutionnent le monde du travail, mais soulèvent des défis majeurs concernant la confidentialité des données sensibles. L'anonymisation réversible offre une solution innovante, permettant de masquer temporairement des informations sensibles tout en préservant la qualité des interactions.

## 2 Identification et gestion des informations sensibles

L'identification des données sensibles repose sur une reconnaissance d'entités nommées (NER) en trois étapes : (1) les mots monosemiques, simples et non ambigus, sont traités via un dictionnaire, sans calcul inutile ; (2) les mots polysémiques complexes sont isolés et analysés avec un modèle LDA dédié, simplifiant leur classification ; (3) les mots restants sont traités efficacement grâce à la simplification des étapes précédentes.

Pour entraîner nos modèles LDA, nous utilisons une méthode inspirée de la distillation des connaissances : des NER type Flair sont d'abord employés pour labelliser un dataset. Le LDA, léger et rapide à entraîner, garantit un équilibre entre précision et flexibilité. Les entités détec- tées sont anonymisées via des tags uniques (ex. : ORG_1), avec désanonymisation contrôlée par des tables sécurisées. Une description succincte des organisations est ajoutée au contexte afin de ne pas dégrader les performances du LLM

<figure><img src="image_2.png" /><figcaption>FIG. 1 – NER description</figcaption></figure>
<figure><img src="image_3.png" /><figcaption>FIG. 2 – L’anonymisation réversible en 4 étapes</figcaption></figure>

<table><caption>TAB. 1 – Comparaison des modèles NER : taille et précision par classe</caption><thead><tr><th>Modèle NER</th><th>Taille</th><th>Précision (ORG)</th><th>Précision (MISC)</th></tr></thead><tbody><tr><td>LDA</td><td>7 Ko - 37 Ko</td><td>97.93%</td><td>100%</td></tr><tr><td>spaCy</td><td>741 Mo</td><td>95.56%</td><td>82.43%</td></tr><tr><td>Stanza</td><td>300 Mo</td><td>98.80%</td><td>84.14%</td></tr><tr><td>Flair</td><td>1 Go</td><td>98.95%</td><td>99.19%</td></tr></tbody></table>

## 3 Conclusion

Notre approche d’anonymisation réversible combine la dispersion des embeddings vec-toriels et un modèle LDA spécialisé, offrant une solution légère, modulaire et adaptée aux contraintes computationnelles. Contrairement aux réseaux de neurones, qui nécessitent des ressources importantes, notre méthode exploite la simplicité des LDA pour une convergence rapide avec peu de données. En s’appuyant sur les embeddings contextuels générés par BERT, notre solution tire parti du transfert learning pour simplifier l’entraînement et garantir des performances optimales. Idéale pour des applications en temps réel, cette méthodologie allie pré- cision, flexibilité et efficacité.