Une approche hybride pour la segmentation automatique de documents juridiques (A hybrid approach for automatic text segmentation) (2019)

Abstract: Cet article 1 propose une approche hybride pour la segmentation de documents basée sur l’agrégation de différentes solutions. Divers algorithmes de segmentation peuvent être utilisés dans le système, ce qui permet la combinaison de stratégies multiples (spécifiques au domaine, supervisées et nonsupervisées). Un ensemble de documents étiquetés, segmentés au préalable et représentatif du domaine ciblé, doit être fourni pour être utilisé comme ensemble d’entraînement pour l’apprentissage des méthodes supervisées, et aussi comme ensemble de test pour l’évaluation de la performance de chaque méthode, ce qui déterminera leur poids lors de la phase d’agrégation. L’approche proposée présente de bonnes performances dans un scénario expérimental issu d’un corpus extrait du domaine juridique.

## introduction la segmentation linéaire de texte consiste à diviser un document en parties sémantiquement cohérentes, en identifiant des segments contigus et distincts en fonction de leurs caractéristiques communes (telle que la cohésion lexicale). l'automatisation de cette tâche est une étape aussi cruciale que problématique et les questionnements qu'elle soulève occupent une place importante au sein du traitement automatique du langage naturel. en effet, la segmentation constitue une porte d'entrée pour aborder d'autres problèmes, tels que la fouille de textes, la synthèse de documents, la classification de documents, la recherche documentaire, ainsi que la visualisation. la segmentation automatique est aussi l'étape préliminaire pour tout système d'aide à l'interprétation qui aurait pour but de faciliter l'accès à des documents complexes pour des lecteurs novices. tel est le cas du langage juridique utilisé dans les décisions de justice, qui en plus de la technicité et de l'arduité de leur vocabulaire, présentent une organisation textuelle particulière. dans cet article, nous proposons une approche hybride pour la segmentation de documents issus d'un même corpus thématique. plus spécifiquement, nous proposons un système dans lequel plusieurs algorithmes de segmentation peuvent être combinés automatiquement. cela permet de faire collaborer différentes stratégies : des heuristiques fournies par un spécialiste du domaine, des mécanismes basés sur un apprentissage supervisé, et des méthodes non-supervisées. pour pouvoir être intégré au système, un algorithme de segmentation doit être capable, lui étant donné un nouveau document à découper, de proposer un score pour chaque paragraphe en tant que candidat pour marquer le début d'un segment. l'architecture étant adaptative, des nouvelles méthodes peuvent être ajoutées au système à tout moment. un ensemble de documents préalablement segmentés (étiquetés avec les frontières correctes où un segment se termine et un autre commence) doit être fourni au système. ces documents doivent être représentatifs du domaine ciblé. ils servent comme exemples pour toutes les méthodes d'apprentissage supervisé, mais aussi comme ensemble de test permettant d'évaluer la précision de chaque méthode dans la tâche de segmentation. cette évaluation de performance peut être interprétée comme une mesure de confiance sur chaque méthode, ce qui permet au système de leur attribuer un poids lors de l'agrégation des différentes solutions présentées dans une solution commune. cette approche a été testée sur un corpus extrait d'une base documentaire en ligne spécialisée dans la jurisprudence française en matière de transport. nous avons segmenté un sous-ensemble de ces documents suivant l'usage rhétorique du domaine. nous avons également défini un ensemble d'heuristiques, constituant un modèle linguistique qui est mis en oeuvre par l'une des méthodes dans le système. l'approche hybride a permis d'identifier les segments corrects au sein des nouveaux documents avec une précision supérieure à celle de chaque méthode prise isolément. dans la suite de l'article, la section 2 réalise un bref aperçu des approches et des méthodes les plus importantes en segmentation automatique du texte. la section 3 présente le corpus de documents et la spécificité de la segmentation en question. la section 4 définie l'approche hybride que nous proposons. la section 5 compare expérimentalement notre architecture contre d'autres algorithmes classiques. les conclusions et les travaux futurs sont discutés dans la section 6. ## travaux apparentés la stratégie prédominante pour automatiser la segmentation linéaire de texte est l'utilisation des méthodes non-supervisées. ces méthodes s'appuient sur la quantification de la cohésion lexicale entre différentes parties du document analysé @xcite . la cohésion lexicale correspond à la manière dont les mots sont enchaînés dans le flux des phrases afin de créer des unités sémantiques @xcite . ces méthodes essaient d'identifier la cohésion lexicale dans une zone du texte, et ensuite de partitionner le document en un ensemble de segments thématiquement cohérents @xcite . les zones de texte avec un vocabulaire similaire sont susceptibles de faire partie d'un même segment, et une variation lexicale peut être l'indicateur d'un changement de sujet. texttiling @xcite est le premier algorithme représentatif de cette approche. il compare deux blocs de mots adjacents de longueur fixe en mesurant la répétition des mots entre eux. en déplaçant petit-à-petit les deux blocs tout le long du document, une fonction de similarité peut être dessinée selon la position (i.e. la frontière entre deux segments supposés). les frontières qui affichent la plus petite similarité entre les blocs de texte qu'elles divisent sont sélectionnées comme candidates potentielles pour diviser le document en segments. des méthodes plus performantes ont été proposées dans cette même approche grâce à l'utilisation des modèles statistiques plus fins @xcite @xcite @xcite , grâce à l'utilisation des relations sémantiques (ontologies) pour considérer la similarité entre les mots @xcite , ou des différentes façons d'extraire les caractéristiques du document @xcite @xcite , ou par l'utilisation d'une représentation plus élaborée du lexique, s'éloignant du « bag-of-words » pour privilégier les « word embeddings » @xcite . cependant, lorsqu'un ensemble représentatif de documents segmentés est disponible, l'utilisation de techniques d'apprentissage supervisé devient une opportunité intéressante. pourtant peu de travaux suivant cette approche ont été publiés. @xcite utilise un algorithme de classification afin d'apprendre au système à détecter si une phrase donnée indique potentiellement le début ou la fin d'un segment. @xcite propose un modèle neuronal hiérarchique pour classifier l'appartenance d'une phrase à un segment spécifique. l'avantage d'utiliser l'apprentissage supervisé est que le critère de segmentation, même s'il est très complexe, est défini par extension. si le jeu de données d'apprentissage est représentatif, il peut être « appris » au travers d'exemples, sans qu'une définition explicite soit nécessaire @xcite . international des transports (idit) 6 . leur bibliothèque numérique, spécialisée dans la jurisprudence en matière de transport, dispose d'environ 40000 documents, dont 3000 en accès libre. nous avons analysé un sous-ensemble de 300 arrêts 7 , écrits en français, produits à différents moments, par différents juges, dans diverses cours d'appel 8 françaises. chacun de ces documents a été manuellement partitionné en 4 segments, suivant l'usage en pratique dans le domaine. ce corpus annoté constitue un ensemble de données d'entraînement permettant l'application de techniques d'apprentissage supervisé. en raison de la spécificité du domaine, la structure des segments dans les documents du corpus est régulière. chaque document présente 4 segments distincts et contigus, apparaissant toujours dans le même ordre : (1) le header, où sont déclarées des informations telles que le nom du tribunal, le juge, la ville, la date et le nom des parties en litige ; (2) les faits, où le contexte du désaccord est rappelé sous la forme de récit, ainsi que les prétentions des parties appelantes et intimées, et le verdict prononcé par la juridiction d'instance inférieure (le tribunal) ; (3) les motifs, où le juge expose les arguments qui justifient sa décision ; et (4) la conclusion, où le juge énonce son verdict final. ces segments constituent des unités de plusieurs paragraphes à l'intérieur du document. les frontières entre les segments se trouvent toujours dans le passage d'un paragraphe au suivant 9 . chaque paragraphe appartient nécessairement à un seul segment. formellement, le corpus est constitué d'un ensemble de n documents @xmath0, d 2 , ..., d i , ..., d n }. chaque document d i est une séquence de m i paragraphes {p 1 , p 2 , ..., p x , ..., p m i }. la tâche consiste à rechercher les limites {b 1 , b 2 , b 3 } qui séparent correctement les 4 segments cherchés {s 1 , s 2 , s 3 , s 4 } (header, faits, motifs, conclusion), où b j correspond à l'index du paragraphe qui marque le début du segment j + 1. chaque segment doit être constitué d'au moins un paragraphe. le premier segment commence toujours au premier paragraphe, et le dernier segment se termine toujours par le dernier paragraphe. on observe donc la contrainte 1 < b 1 < b 2 < b 3 ≤ m i . le défi est celui de pouvoir segmenter des nouveaux documents, jamais vus auparavant, uniquement à partir de l'ensemble de documents d'entraînement. ## méthode proposée la première approche que nous avons adoptée a été l'analyse textométrique du sous-ensemble de 300 documents étiquetés avec les frontières réelles entre les segments, pour en déduire un système d'expressions régulières capables de capturer la majorité des cas ( formellement, étant donné un ensemble de documents @xmath1, d 2 , ..., d i , ..., d n }, où les frontières b @xmath2, b 2 , b 3 } entre les segments sont connues pour chaque document d i , et un ensemble de z méthodes de segmentation @xmath3, a 2 , ..., a k , ..., a z }, nous calculons la qualité w k de la méthode a k dans la segmentation de l'ensemble de documents. les métriques classiques de précision, telles que celles proposées par @xcite et @xcite , considèrent la distance de chaque phrase par rapport à son segment correct. nous avons choisi un score plus simple et plus strict. la précision w k d'une méthode a k correspond à la proportion de frontières correctement trouvées, et est calculée comme suit : après avoir analysé un document donné d i , une méthode a k doit indiquer une valeur de confiance v k,i,j,x indiquant sa croyance que la frontière b j se trouve au début de chaque paragraphe p x du document. une confiance combinée peut être en suite calculée à partir des valeurs de confiance de chaque méthode individuelle, comme suit : nous avons essayé notre approche hybride en utilisant 3 différentes méthodes : les deux premières méthodes n'ont pas besoin d'être entraînés sur les documents préalablement étiquetés : la première est constituée d'heuristiques, et la deuxième est non-supervisée. leur évaluation peut être faite directement en regardant leur précision dans la segmentation du jeu de documents d'entraînement, ici servant à tester leur performance. la dernière méthode utilise l'apprentissage supervisé. dans ce cas, même si l'entraînement se fait avec l'intégralité de la base de documents étiquetés, sa précision doit être évaluée par validation croisée. dans la