Détection et évaluation de la communication toxique pour la relation client par des LLM s (2025)

Abstract: Cet article présente une méthode de détection de la toxicité dans les interactions et dialogues client avant des générations par un LLM. En proposant une taxonomie originale, adaptée aux échanges conversationnels et à la relation client, nous avons conçu un processus d’évaluation rigoureux, accompagné de deux corpus annotés : Toximini-fr etToxiMaxi-multilingual . Ces corpus combinent des requêtes issues de données réelles — extraites de logs de nos chatbots en production — et de jeux de données de référence, ainsi que des exemples générés de manière synthétique afin de couvrir un large éventail de situations. Nos expérimentations comparent différents modèles, dont GPT-4o mini et Mistral Moderation , sur des requêtes multilingues dans des contextes variés. Les résultats montrent que notre approche permet une détection robuste, notamment sur les contenus bruités ou implicites. Cette étude ouvre la voie à une meilleure maîtrise des risques liés aux comportements toxiques dans les échanges conversationnels automatisés.

## introduction les grands modèles de langage (llms) sont de plus en plus utilisés dans des échanges interactifs et trouvent notamment des applications dans les services de gestion de la relation client, où ils permettent d'automatiser des tâches allant du renseignement produit à l'assistance technique @xcite . en outre, un atout majeur des llms réside dans leur capacité à contextualiser et personnaliser une réponse suivant le contenu d'un message utilisateur. des techniques populaires comme la retrieval-augmented generation (rag) @xcite et plus récemment l'agentic rag @xcite , qui guident les générations avec des sources, sont souvent employées afin de favoriser la fiabilité des réponses. bien que ces méthodes réduisent le phénomène d'hallucination, elles ne permettent pas de l'éliminer totalement @xcite . en effet, plusieurs travaux ont montré que les hallucinations sont inhérentes au fonctionnement des llms, du fait de la nature probabiliste de leur génération et de la manière dont les représentations sont acquises durant le pré-entraînement @xcite . néanmoins, les erreurs factuelles ne constituent qu'un aspect des risques posés par les llms. en plus de la génération de contenus incorrects, ces modèles peuvent également produire ou amplifier des réponses et comportements toxiques @xcite , qui représentent un enjeu majeur dans des contextes sensibles. les hallucinations et la toxicité, bien que distinctes, relèvent d'un même problème fondamental : le manque de contrôle ou d'alignement du llm dans des contextes sensibles. contrairement aux hallucinations, qui relèvent de la production d'informations incorrectes, la toxicité concerne la forme ou l'intention du message généré, ces éléments pouvant être explicites ou implicites. alors que la toxicité explicite est souvent caractérisée par la présence d'insultes ou de propos offensants directs, la toxicité implicite se manifeste de manière plus subtile, par des comparaisons dévalorisantes, des insinuations malveillantes ou des formulations biaisées @xcite . ce type de toxicité est particulièrement difficile à détecter car il ne repose pas uniquement sur des mots-clés évidents et échappe souvent aux filtres automatiques @xcite . ainsi, au sein de ces interactions avec des chatbots, la toxicité peut prendre différentes formes, allant des attaques personnelles aux formulations passives-agressives, en passant par des réponses involontairement biaisées @xcite . ces manifestations de toxicité nuisent à l'expérience utilisateur et peuvent aggraver les enjeux réputationnels d'une entreprise, en particulier dans le cadre de la relation client. ces phénomènes soulignent la nécessité de disposer d'outils adaptés pour identifier et mesurer la toxicité, en tenant compte des spécificités de ces échanges conversationnels et des défis posés par la diversité linguistique. forts de notre expérience en relation client et de nos expérimentations avec les llms, nous avons identifié un ensemble de risques associés à leur usage dans les interfaces conversationnelles. si la personnalisation offerte par ces modèles constitue un avantage indéniable, elle peut devenir problématique lorsque la requête initiale de l'utilisateur contient une forme de toxicité. il devient alors essentiel de détecter ces signaux le plus tôt possible afin d'éviter qu'ils ne compromettent la qualité de l'interaction. en effet, dans le meilleur des cas, ces élements de toxicité peuvent entraîner des réponses maladroites ; dans le pire, ils peuvent conduire à des générations inappropriées et inadaptées, nuisant ainsi à la qualité du service de relation client et -plus dramatique -à une image de marque. pour répondre à cet enjeu, nous proposons dans cet article une approche de détection de la toxicité en amont de la génération, c'est-à-dire dès la première étape d'un tour de dialogue. cette approche repose sur un processus d'évaluation complet, spécifiquement conçu pour le domaine de la relation client. elle s'appuie notamment sur : une modélisation adaptée (section 3) de la toxicité conversationnelle, incluant une taxonomie spécifique (section 3.1) ; la construction itérative de deux corpus d'évaluation (section 4), dont toximaxi-multilingual, le plus exhaustif (section 4.2) ; des expérimentations mettant à l'épreuve plusieurs llms sur une tâche de prédiction de la toxicité à partir des corpus élaborés (section 5). ## modélisation nos travaux sur la communication toxique s'appuient sur une analyse préalable d'interactions issues de la relation client. l'exploration de fichiers journaux de conversations réelles a révélé des tendances récurrentes, suggérant que certaines requêtes toxiques pouvaient être regroupées selon des schémas communs. cette observation a mis en évidence la nécessité d'une catégorisation systématique pour différencier les types de toxicité. nos analyses, combinées aux travaux récents sur la toxicité conversationnelle, ont conduit à la construction de toximini-fr (cf. section 4.1), une première version de notre corpus, qui nous a servi de base pour affiner notre approche. cette étape exploratoire nous a permis de formaliser une nouvelle taxonomie adaptée aux échanges client. dans cette dernière, la toxicité est déclinée en quatre grandes catégories couvrant à la fois les formes explicites et implicites. dans cette section, nous détaillons la modélisation mise en oeuvre pour répondre aux enjeux de détection de la toxicité conversationnelle. nous présentons d'abord la taxonomie retenue et les principes d'annotation, avant d'introduire les métriques d'évaluation et les approches mobilisant les llms pour cette tâche.