Le rôle du contexte dans la classification séquentielle de phrases pour les documents longs (2025)

Abstract: La classification séquentielle de phrases étend la classification traditionnelle en intégrant un contexte plus large. Cependant, les approches de pointe rencontrent deux défis majeurs dans le traitement automatique des documents longs : les modèles de langue préentraînés sont limités par des contraintes de longueur d’entrée, tandis que les modèles hiérarchiques proposés introduisent souvent du contenu non pertinent. Nous proposons une approche de recherche d’information au niveau du document visant à extraire uniquement le contexte le plus pertinent. Nous introduisons deux types d’heuristiques : Séquentiel , qui capture l’information locale, et Sélectif, qui sélectionne les phrases les plus sémantiquement similaires. Nos expériences sur trois corpus juridiques en anglais montrent que ces heuristiques améliorent les performances. Les heuristiques séquentielles surpassent les modèles hiérarchiques sur deux des trois jeux de données. démontrant l’apport du contexte ciblé.

## introduction la classification séquentielle de phrases (sequential sentence classification, ssc) consiste à catégoriser des phrases en fonction de leur rôle discursif au sein d'un document. le sens d'une phrase étant souvent influencé par le contexte qui l'entoure, la ssc est particulièrement utile pour l'analyse de textes structurés, tels que les décisions juridiques. l'identification des principaux rôles rhétoriques (par exemple, le préambule, l'énoncé du problème ou l'analyse ; voir figure 1 ) facilite plusieurs tâches en aval, notamment la recherche d'information @xcite et le résumé automatique de documents @xcite . les modèles hiérarchiques dans l'état de l'art ont démontré des performances remarquables en ssc en traitant l'ensemble des séquences d'un document simultanément, ce qui permet de capturer un contexte plus large @xcite @xcite . cependant, nous supposons que prendre en compte toutes les phrases n'est pas toujours nécessaire, car cela peut introduire du bruit dû à des contenus non pertinents @xcite . par ailleurs, les modèles de langue préentraînés (pretrained language models, plms) restent limités par leur longueur d'entrée @xcite , malgré les avancées récentes avec les grands modèles de langue @xcite . des études récentes ont exploré différentes stratégies pour sélectionner des informations pertinentes au niveau du document @xcite . cependant, à notre connaissance, aucun travail existant n'a explicitement étudié comment extraire le contexte le plus pertinent afin d'optimiser les performances des plms en ssc. dans cet article, nous apportons deux contributions principales : (1) une analyse du rôle du contexte en ssc à travers l'introduction de deux types heuristiques d'extraction d'information-séquentiel, qui exploite l'information locale autour de chaque phrase, et sélectif, qui identifie les phrases les plus proches sémantiquement à l'échelle du document. (2) démontrer comment ces stratégies améliorent les plms en leur fournissant un contexte plus pertinent. pour l'évaluation, nous utilisons des corpus de documents juridiques, qui constituent la principale référence pour la tâche ssc. afin de garantir la transparence et la reproductibilité, nous mettons notre code à disposition sous une licence open source 1 . ## extraction du contexte pour analyser l'impact du contexte sur les performances des plms, nous introduisons deux types d'heuristiques : séquentiel, qui exploite le contexte local, et sélectif, qui identifie les phrases les plus pertinentes. celles-ci s'inspirent de recherches antérieures sur l'enrichissement contextuel aves les llms @xcite @xcite . heuristiques séquentielles elles permettent d'extraire le contexte des phrases voisines à la phrase cible au sein du même document. nous définissons trois stratégies : heuristiques sélectives contrairement aux stratégies séquentielles, les heuristiques sélectives récupèrent des phrases dans n'importe quelle partie du document, indépendamment de leur position par rapport à la phrase cible. nous explorons trois techniques d'extraction : compte tenu des contraintes computationnelles, nous limitons notre analyse à @xmath0. notons que les heuristiques sélectives peuvent récupérer des phrases déjà incluses dans le contexte séquentiel, car elles opèrent sur l'ensemble du document. des exemples illustratifs sont fournis dans le tableau 3 en annexe. ordonnancement des phrases nous examinons l'influence de l'ordre des phrases récupérées sur la performance de la ssc. cette analyse s'inspire de nareor @xcite , qui explore la réorganisation des phrases afin d'évaluer la cohérence narrative. dans ce cadre, nous évaluons l'impact de la modification de l'ordre des phrases d'un document lorsque (@xmath1, en appliquant nos heuristiques. dans l'approche séquentielle, l'ordre d'apparition des phrases dans le document est conservé afin de préserver la structure logique et discursive du texte. dans l'approche sélective, les phrases sont réorganisées en fonction de leur pertinence par rapport à la phrase cible, tout en garantissant l'inclusion de l'ensemble des phrases extraites afin de maintenir une comparaison équitable entre les deux types d'heuristiques.