Une revue sur les hallucinations des LLM (2025)

Abstract: Nous présentons une taxonomie des hallucinations dans les LLM, classées en trois catégories : hallucinations infidèles, contradictions factuelles et fabrications factuelles. Ces hallucinations peuvent se produire à cause des données de pré-entraînement et d’alignement, conduisant à des informations erronées, des préjugés et des erreurs de connaissance. Les méthodes d’entraînement peuvent introduire des problèmes tels que l’ajustement excessif, les effets boule de neige ou la sycophantie. Les stratégies de décodage peuvent également rendre les modèles trop confiants et enclins à attribuer des probabilités aux résultats incorrects. Une bibliographie sur la détection et atténuation des hallucinations est présentée: des méthodes de TALN, telles que la vérification des faits et la classification, de même que des méthodes basées sur les LLM. Les solutions d’atténuation des hallucinations comprennent l’amélioration de la qualité des données de pré-entraînement, l’injection de nouvelles connaissances (par ex. avec RAG), l’optimisation, SFT et RLHF, ainsi que des méthodes de décodage.

## introduction l'introduction de transformers @xcite a ouvert la voie à la création de grands modèles de langage (large language models ; llms), c'est-à-dire des modèles qui sont entraînés sur de grande quantité de données textuelles, utilisant généralement le pré-entraînement et l'auto-supervision, contenant au moins 1m de paramètres et applicables dans un large éventail de contextes. les llms ont révolutionné le domaine du traitement du langage naturel (nlp), établissant un nouvel état de l'art sur des tâches telles que la génération de langage naturel @xcite et le raisonnement @xcite . leurs capacités avancées peuvent être attribuées à leurs architectures sous-jacentes de transformers et d'autorégression, ainsi qu'à des quantités massives de données (corpus de textes ou données multimodales) entraînées avec une infrastructure informatique puissante. malgré leur adaptation répandue aux tâches du taln, les llms se heurtent à des problèmes de fiabilité et de raisonnement avancé sur les connaissances acquises. ils sont enclins à générer des textes qui peuvent sembler plausibles mais qui peuvent s'écarter du contexte précédent, des instructions de l'utilisateur ou des connaissances factuelles. ces informations inexactes ou fabriquées sont communément appelées «hallucinations». les hallucinations peuvent s'expliquer par le volume massif de données d'entraînement, l'architecture sous-jacente des modèles ou la nature polyvalente des llms qui favorise les performances inter-domaines au détriment d'une compréhension et d'une connaissance approfondies @xcite @xcite . par ailleurs, la recherche sur l'atténuation des hallucinations est en plein essor @xcite @xcite . dans cet article, nous présentons une taxonomie des différents types d'hallucinations qui se produisent dans les sorties des llms (section 2). nous explorons les causes possibles de ces hallucinations pour chaque étape de la création d'un llm dans la section 3. enfin, nous examinons les méthodes pour détecter (section 4) et atténuer (section 5) les hallucinations dans les sorties des llms 2 taxonomie le terme «hallucination» a été inspiré par l'homonyme psychiatrique préexistant ; selon @xcite , les hallucinations chez les humains sont des perceptions qui se produisent sans déclencheur externe et sont renforcées par une forte sensation de réalité. dans le domaine du taln, et plus particulièrement de la génération de langage naturel, les chercheurs ont commencé à appeler familièrement «hallucinations» les sorties de modèles contenant des faits inventés, des informations infidèles et des déclarations absurdes ; ce terme a été largement adopté ces dernières années @xcite . l'exactitude grammaticale et la fluidité du texte généré peuvent rendre les hallucinations difficiles à détecter, en particulier en ce qui concerne les faits et les informations historiques. ces résultats invérifiables ou incohérents posent un problème et constituent potentiellement une menace, à la fois pour l'avenir de l'intelligence artificielle et pour les destinataires humains de ces résultats. selon les différents types d'erreurs produites, une taxonomie des hallucinations, basée sur les travaux @xcite peut être définie comme suit. des exemples de chaque type d'hallucination, produits par divers modèles, sont présentés en annexe. ## détecter les hallucinations 4.1 métriques basées sur les faits l'extraction de faits sert à extraire les déclarations factuelles faites dans les résultats du llm. elle peut être réalisée à l'aide d'outils externes, par exemple, des mesures qui décomposent le texte généré en faits et les comparent à des sources de connaissances externes @xcite @xcite , ou en vérifiant la sortie en interrogeant le modèle avec une combinaison de l'entrée de l'utilisateur et de la sortie @xcite . les mesures n-gramme traditionnelles ne parviennent pas à distinguer les différences subtiles entre les informations produites et et celles issus des sources @xcite . afin de détecter les associations erronées ou l'infidélité au contexte, les mesures basées sur les entités mesurent le chevauchement des entités @xcite ou le chevauchement des tuples de relations extraits à l'aide de modèles d'extraction de faits formés de bout en bout @xcite . ## conclusion malgré les progrès rapides dans le domaine des llms et la publication continue de modèles puissants, les hallucinations restent un sujet pressant qui mérite une investigation continue. notre étude a exploré les origines et les mécanismes des hallucinations survenant dans les sorties des llms et les moyens de les atténuer. les approches traditionnelles d'évaluation peuvent donner un aperçu des capacités des modèles dans des cas spécifiques, mais ne sont pas nécessairement utiles dans le cas des hallucinations. d'autre part, l'utilisation de llm pour évaluer et atténuer leur propre sortie ou celle d'autres modèles peut être compromise. bien que ces approches puissent offrir une amélioration significative avec un faible coût de calcul, elles dépendent fortement de la fidélité des llm, qui restent toujours sujets à des erreurs. notre conclusion, fondée sur la bibliographie, est que le développement de points de référence spécifiques aux llms, ainsi que de meilleures stratégies d'exploitation des connaissances à partir des données, est nécessaire.