Quelles évolutions sur cette loi ? Entre abstraction et hallucination dans le domaine du résumé de textes juridiques (2023)

Abstract: Résumer automatiquement des textes juridiques permettrait aux chargés de veille d’éviter une surcharge informationnelle et de gagner du temps sur une activité particulièrement chronophage. Dans cet article, nous présentons un corpus de textes juridiques en français associés à des résumés de référence produits par des experts, et cherchons à établir quels modèles génératifs de résumé sont les plus intéressants sur ces documents possédant de fortes spécificités métier. Nous étudions quatre modèles de l’état de l’art, que nous commençons à évaluer avec des métriques traditionnelles. Afin de comprendre en détail la capacité des modèles à transcrire les spécificités métiers, nous effectuons une analyse plus fine sur les entités d’intérêt. Nous évaluons notamment la couverture des résumés en termes d’entités, mais aussi l’apparition d’informations non présentes dans les documents d’origine, dites hallucinations. Les premiers résultats montrent que le contrôle des hallucinations est crucial dans les domaines de spécialité, particulièrement le juridique.

## introduction la veille juridique est une activité cruciale pour les entreprises afin de rester en phase avec l'actualité juridique. elle leur permet d'être en permanence au fait des réglementations en cours et d'anticiper leurs évolutions à venir, afin de les appliquer au plus tôt. cependant, avec l'inflation législative permanente, les chargés de veille éprouvent eux-mêmes une surcharge informationnelle qui complique leurs activités. il devient très difficile pour eux d'analyser des centaines voire des milliers d'articles par jour. la synthèse de l'information qualifiée de pertinente requiert un effort considérable : identifier dans les amas de textes et de médias les éléments informationnels qui ont réellement de l'importance est particulièrement chronophage. les chargés de veille travaillent ensuite par extraction et par abstraction de l'information pour construire des résumés dans des newsletters qui soient synthétiques et digestes. la génération automatique de résumé représente donc une solution intéressante pour aider les chargés de veille dans leurs activités de veille juridique. les approches de résumé peuvent être « extractives » ou « abstractives ». les approches extractives, comme @xcite @xcite , retournent des extraits des textes à résumer, tandis que les approches abstractives, comme @xcite @xcite , peuvent formuler de nouvelles phrases. les approches abstractives visent donc à produire des résumés analogues à ce que produisent les chargés de veille. à l'instar d'autres tâches liées au traitement automatique des langues (tal), les approches récentes de résumé automatique utilisent des modèles de langue neuronaux. ces approches ont été essentiellement appliquées sur des collections d'actualités (« news ») @xcite . à notre connaissance, aucune étude de ce type d'approche n'a été réalisée dans le contexte d'informations juridiques, qui plus est en langue française. cet article vise donc à étudier dans quelle mesure les modèles de langue peuvent être appliqués à du résumé abstractif dans le cadre d'informations juridiques. plus précisément, nous cherchons à répondre aux questions de recherche suivantes : rq1. quelle collection de documents juridiques en français peut être utilisée pour une telle étude ? rq2. quelles sont les performances atteignables par les modèles génératifs de l'état de l'art ? quels sont les modèles qui fonctionnent le mieux ? rq3. dans quelle mesure les métriques traditionnelles permettent-elles d'interpréter correctement les résultats d'évaluation dans un contexte métier ? pour répondre à chacune de ces questions, les contributions de cet article sont : c1. l'identification d'une collection de test sur le juridique en langue française adaptée à l'évaluation de modèles génératifs de langue pour le résumé abstractif, c2. la comparaison de modèles de l'état de l'art suivant les familles de métriques traditionnellement reportées @xcite , c'est-à-dire rouge et bleu, complétées par une similarité sémantique, c3. l'utilisation de métriques basées sur les entités et les mots-clés relatifs à un domaine métier, notamment pour évaluer la couverture des résumés et l'apparition d'informations non présentes dans les documents d'origine, dites « hallucinations » @xcite . l'article est organisé comme suit. la section 2 présente une synthèse des travaux relatifs à la génération automatique de résumé abstractif et son évaluation. la section 3 présente la collection de documents juridiques en langue française permettant d'évaluer les performances des modèles génératifs de l'état de l'art. dans la section 4, nous présentons le cadre expérimental puis détaillons et analysons les résultats suivant les métriques rouge, bleu et de similarité sémantique . la section 5 détaille ensuite les résultats des évaluations suivant les entités d'intérêt. enfin, la section 6 conclut l'article et annonce les pistes de travaux futurs. ## expérimentations et résultats nous présentons dans cette section le protocole d'expérimentations que nous avons utilisé, les modèles que nous avons choisis pour la génération automatique du résumé abstractif ainsi que les résultats obtenus. il est à noter que les expérimentations que nous avons effectuées n'avaient pas pour objectif d'améliorer les performances des modèles utilisés en termes de génération de résumé, mais plutôt d'évaluer leur capacité de compréhension des textes de nature juridique.