Optimisation de la Recherche d’Information Juridiques à travers l’Agrégation des Signaux Contextuels Multi-niveaux des Modèles de Langue Préentraînés (2025)

Abstract: L’accès croissant aux documents juridiques sous format numérique crée à la fois des opportunités et des défis pour les professionnels du droit et les chercheurs en intelligence artificielle. Cependant, bien que les Modèles de Langue Préentraînés (PLMs) excellent dans diverses tâches de TAL, leur efficacité dans le domaine juridique demeure limitée, en raison de la longueur et de la complexité des textes. Pour répondre à cette problématique, nous proposons une approche exploitant les couches intermédiaires des modèles du Transformer afin d’améliorer la représentation des documents juridiques. En particulier, cette méthode permet de capturer des relations syntaxiques et sémantiques plus riches, tout en maintenant les interactions contextuelles au sein du texte. Afin d’évaluer notre approche, nous avons mené des expérimentations sur des ensembles de données juridiques publiques, dont les résultats obtenus démontrent son efficacité pour diverses tâches, notamment la recherche et la classification de documents.

## introduction la recherche d'informations (ir) juridiques consiste à retrouver, au sein de vastes collections de textes juridiques, les documents les plus pertinents en réponse à une requête donnée. cette tâche vise à identifier des affaires similaires, des lois applicables ou des précédents pertinents à partir de sources textuelles souvent non structurées. ces systèmes jouent un rôle crucial dans l'aide à la prise de décision juridique et la préparation des affaires. cependant, la performance des systèmes ir dans le domaine juridique dépend fortement de la manière dont les documents sont représentés. compte tenu de la complexité, du caractère non structuré et de la terminologie spécifique aux documents juridiques, le choix de méthodes de représentation appropriées est essentiel pour capturer les subtilités du langage juridique. dans ce contexte, différentes approches de recherche d'informations ont été développées pour améliorer l'accès aux textes juridiques, reposant principalement sur des modèles lexicaux et sémantiques. les modèles lexicaux, tels que bm25, exploitent la correspondance exacte des termes pour évaluer la pertinence des documents. en parallèle, les modèles sémantiques, notamment ceux basés sur les embeddings de mots ou les modèles de langue préentraînés, tentent d'améliorer la compréhension du contexte en capturant des relations plus complexes entre les termes. plus récemment, les architectures de type transformers ont permis d'améliorer considérablement la qualité de la recherche en exploitant des représentations contextuelles riches. toutefois, l'un des défis majeurs dans l'application de ces méthodes au domaine juridique réside dans la taille volumineuse des documents. par conséquent, ce travail se concentre sur les récentes techniques de représentation d'embeddings contextuels afin d'améliorer la capacité des systèmes ir à fournir des résultats plus précis et adaptés au contexte juridique. plus précisément, cette étude se concentre sur deux défis majeurs dans le traitement des textes juridiques. d'une part, la longueur et la complexité des documents juridiques. d'autre part, la spécificité du langage juridique, marquée par une terminologie spécialisée et des expressions nuancées, limite souvent l'efficacité des modèles de langue préentraînés, impliquant ainsi des adaptations ciblées pour mieux capturer ces subtilités. pour résoudre ces problèmes, nous proposons plusieurs contributions essentielles dans le domaine du traitement des textes juridiques : ## travaux connexes les modèles de langue préentraînés basés sur l'architecture transformer @xcite ont récemment obtenu des performances de pointe en taln, y compris en recherche d'information juridique (lir). plusieurs travaux, tels que ceux de @xcite @xcite @xcite , ont exploité des modèles comme bert, roberta et albert en les ajustant pour améliorer la recherche et le classement des documents juridiques. par exemple, @xcite ont développé bert-pli, un modèle optimisé sur un jeu de données de raisonnement juridique pour évaluer la pertinence des relations entre les affaires. cependant, @xcite ont montré que les modèles de langue généralistes ne sont pas toujours adaptés aux spécificités du domaine juridique, ce qui a motivé la création de legal-bert, un modèle préentraîné spécifiquement sur des textes légaux. @xcite ont également proposé une approche combinant bm25 pour la correspondance lexicale et bert pour l'analyse sémantique dans la recherche des affaires juridiques. toutefois, la question majeur dans l'application des transformers aux documents juridiques réside dans leur longueur, souvent incompatible avec les contraintes des modèles traditionnels, comme la limite de 512 tokens imposée par bert. pour répondre à cette problématique, plusieurs solutions ont été proposées. par exemple, (xiao et al., 2021) ont développé lawformer, basé sur longformer, pour mieux gérer les longues séquences grâce à l'attention globale et à une fenêtre glissante. ce modèle, préentraîné sur un vaste corpus de documents légaux chinois, a démontré une amélioration significative dans des tâches telles que la prédiction des jugements et la sélection d'affaires similaires. de son côté, (limsopatham, 2021) a exploré l'impact du préentraînement de bert sur des textes juridiques spécialisés, mettant en évidence l'intérêt de modèles adaptés comme bigbird et longformer. ces recherches ont montré que le préentraînement sur des données spécifiques, associé à des stratégies comme la troncature intelligente et le pooling sur segments de texte, permet d'améliorer considérablement la performance des modèles sur des documents longs. d'autres approches ont cherché à optimiser la recherche d'information juridique en combinant des techniques lexicales et sémantiques. (bui et al., 2022) ont ainsi développé un modèle intégrant legal-bert pour l'analyse sémantique et bm25 pour la sélection lexicale, améliorant la précision des résultats. (askari et al., 2022) ont proposé une reformulation des requêtes via keybert, suivie d'un résumé automatique avec longformer-encoder-decoder (led) afin d'adapter les requêtes à la longueur des documents. une fois ces requêtes reformulées, elles sont utilisées pour extraire un ensemble initial d'affaires via bm25, puis affinées avec sentence-bert pour mieux capturer les similarités sémantiques. dans cette optique, (nigam et al., 2022) ont appliqué une approche combinant bm25 et sentence-bert pour sélectionner les affaires les plus pertinents, en exploitant une mesure de similarité cosinus avec max-pooling pour comparer les représentations textuelles. par ailleurs, (rabelo et al., 2022) ont mis en oeuvre une stratégie combinant deux modèles de sentence-transformers, allmpnet-base-v2 et mpnet-base, afin de créer des représentations vectorielles multidimensionnelles des documents. ces vecteurs sont ensuite utilisés pour entraîner un classificateur gradient boosting, permettant d'identifier les affaires les plus pertinentes. plus récemment, (li et al., 2023) ont développé sailer, un modèle sensible à la structure des textes juridiques, conçu pour capturer la logique d'écriture et les éléments juridiques clés, améliorant ainsi la recherche de documents légaux longs. malgré ces avancées, la majorité des travaux en lir se limitent à l'exploitation de la dernière couche des modèles de langue préentraînés, négligeant les informations riches capturées par les couches intermédiaires. pourtant, plusieurs études (yang & zhao, 2019; van aken et al., 2019; huang et al., 2021) ont démontré que les représentations les plus transférables proviennent souvent des couches intermédiaires, tandis que la dernière couche est davantage spécialisée pour la modélisation du langage. (udagawa et al., 2024) ont également montré que l'agrégation de plusieurs couches intermédiaires améliore la robustesse des modèles, notamment dans la reconnaissance automatique de la parole, renforçant ainsi leur rôle clé dans l'extraction d'informations contextuelles. cependant, à notre connaissance, aucune étude en lir n'a encore exploré de manière approfondie l'exploitation des couches intermédiaires des modèles de langue préentraîné. c'est précisément l'objet de notre approche à ce problème. elle vise à exploiter les représentations intermédiaires issues de différentes couches des modèles de langue préentraînés, tout en prenant en compte l'intégralité du document juridique. cette méthode permet de préserver les relations contextuelles entre les phrases adjacentes et d'intégrer davantage d'informations pour les tâches de recherche d'information juridique . 3 représentation basée sur plusieurs couches cachées intermédiaires dans cette section, nous présentons notre approche proposée, qui exploite plusieurs couches cachées intermédiaires des plms. nous discutons également des motivations théoriques qui rendent cette approche particulièrement intéressante. 3.1 rôle des couches cachées dans les plms : de la compréhension syntaxique à la sémantique de haut niveau les travaux antérieurs de (yang & zhao, 2019; van aken et al., 2019; huang et al., 2021), qui ont analysé le rôle des différentes couches cachées des plms, ont démontré que les premières couches capturent principalement des propriétés syntaxiques élémentaires du texte. cela inclut le tagging morphosyntaxique (part-of-speech tagging) et les dépendances grammaticales de base entre les mots proches. ces couches sont sensibles au contexte local et aux caractéristiques lexicales, ce qui les rend essentielles pour comprendre la structure des phrases. ensuite, les couches intermédiaires intègrent progressivement des structures syntaxiques plus complexes avec des informations sémantiques. à ce niveau, le modèle commence à construire une compréhension plus approfondie du sens des phrases, notamment en établissant des relations entre les entités présentes dans le texte. ces couches jouent également un rôle important dans la résolution de coréférence (c'est-à-dire l'identification des noms faisant référence à la même entité) et la capture de certaines relations sémantiques. enfin, les couches supérieures sont hautement spécialisées et adaptées aux tâches spécifiques sur lesquelles le modèle a été préentraîné ou affiné. dans le cas de modèles comme bert, qui sont entraînés sur une variété de tâches, ces couches combinent les informations des couches inférieures pour former des représentations sémantiques de haut niveau. ces couches sont cruciales pour les tâches qui nécessitant une compréhension profonde du contexte, ainsi que pour l'analyse de la structure argumentative ou narrative d'un document. dans le cadre de cet article, nous concentrons sur l'expérimentation et l'évaluation de la contribution des différentes couches cachées à la représentation des documents juridiques.