MOSAIC : Mélange d’experts pour la détection de textes artificiels (2025)

Abstract: La diffusion auprès du grand public de grands modèles de langue facilite la production de contenus nuisibles, médisants, malhonnêtes ou falsifiés. En réponse, plusieurs solutions ont été proposées pour identifier les textes ainsi produits, en traitant le problème comme une tâche de classification binaire. Les premières approches reposent sur l’analyse d’un document par un modèle détecteur, avec l’hypothèse qu’un faible score de perplexité indique que le contenu est artificiel. Des méthodes plus récentes proposent de comparer les distributions de probabilité calculées par deux modèles. Cependant, s’appuyer sur une paire fixe de modèles peut fragiliser les performances. Nous étendons ces méthodes en combinant plusieurs modèles et en développant une approche théoriquement fondée pour exploiter au mieux chacun d’entre eux.

## introduction la fluidité et la diversité des textes produits par des machines ont considérablement progressé avec le développement de très grands modèles de langue. avec la sortie de chatgpt, openai a suscité de vives discussions sur les nouvelles possibilités offertes par ces assistants d'écriture alimentés par intelligence artificielle (ia), et notamment sur les menaces que ceux-ci peuvent induire. en effet, la production de contenus toxiques, voire malhonnêtes @xcite , ou encore de désinformation @xcite n'a jamais été aussi simple. actuellement, les méthodes permettant de détecter l'origine d'un texte donné afin d'atténuer la diffusion de tels contenus ou encore d'empêcher les étudiants d'utiliser ces outils lors de leurs travaux semblent avoir du mal à suivre les rapides progrès de l'ia 1 . de nombreux travaux cherchent à identifier les textes produits par des modèles de langues afin de se prémunir contre les potentielles menaces mentionnées ci-dessus. en général, ces outils utilisent un modèle détecteur, afin de différencier entre des écrits provenant de modèles générateurs et des productions humaines. cette tâche de classification se décline en de nombreuses versions, faisant varier granularité et type de supervision (voir section 2). étant donnée la popularité de ce modèle, la plupart des travaux sont concentrés sur chatgpt, pour lequel il est aisé d'obtenir de grands volumes de données. notre contribution. dans cet article, nous présentons une nouvelle méthode d'ensemble (décrite figure 1 ) motivée par les principes de compression universelle de la théorie de l'information. cet ensemble combine les forces de plusieurs modèles détecteurs pour obtenir un score qui permet de distinguer les contenus artificiels des contenus naturels. nos expériences, qui s'appuient sur des jeux de données standards contenant plusieurs langues et plusieurs domaines, montrent que notre méthode d'ensemble permet d'obtenir un système qui identifie de nombreux générateurs. à modèles fixés, nos résultats sont comparables avec l'état-de-l'art. nous présentons également de nombreuses ablations complémentaires, détaillées dans la section 6. notre code et les données produites dans le cadre de cet article sont disponibles sur le github suivant : https://github.com/baggerofwords/ mosaic. méthodes supervisées. sous l'hypothèse d'un unique modèle générateur, la détection dans un cadre supervisé semble très bien fonctionner, avec des résultats proches de la perfection @xcite @xcite , obtenus avec des classifieurs reposant sur les représentations calculées par des grands modèles de langue comme roberta @xcite ou t5 @xcite . cependant, ces approches sont fragiles car elles dépendent de la paire générateurdétecteur utilisée à l'entraînement @xcite , ce qui incite par exemple @xcite à concevoir des extracteurs de caractéristiques automatiques à partir de plusieurs détecteurs afin d'améliorer la robustesse de leur système. méthodes non supervisées. en l'absence d'hypothèse sur le ou les générateurs, il faut s'en remettre à des méthodes non-supervisées capables de détecter des textes sans exemple. les approches actuelles reposent sur l'idée que les textes humains sont en général plus « surprenants » que les textes artificiels foot_0 , ce qui entraîne ainsi une différence de log-probabilité au niveau des unités textuelles (tokens) foot_1 . c'est l'idée principale de gptzero foot_2 . ainsi, un simple seuillage sur log-vraisemblance moyenne ou la perplexité des textes permet d'avoir de bons résultats de référence (voir @xcite @xcite ). ces méthodes sont cependant très dépendantes du choix d'un modèle détecteur, nécessaire pour le calcul des log-probabilités, qui doit également être robuste à des changements de domaine, de genre, de style, de langue @xcite ou encore de modèle générateur @xcite . ce modèle de base est détaillé à la section 3.3. ces travaux pointent ainsi du doigt la sur-dépendance à l'égard d'un modèle détecteur spécifique comne une limitation majeure de l'état de l'art.. la méthode que nous proposons essaie de remedier à cette faiblesse, en utilisant un ensemble de modèles, à l'instar de méthodes supervisées @xcite @xcite . autres méthodes. d'autres approches demandent à un modèle de réécrire les textes à analyser @xcite , en partant du principe qu'un modèle de langue aura tendance à peu modifier ses propres productions. une autre stratégie communément utilisée est le filigranage (watermarking) @xcite , dont l'efficacité fait encore l'objet de débats @xcite .