# Le traitement automatique des langues naturelles comme outil de prédiction des jugements - Un pas à franchir entre le rêve et la réalité

Etienne Vergès, Maximin Coavoux, Olivia Vaudaux, Caroline Bazzoli, Géraldine Vial

► To cite this version:

Etienne Vergès, Maximin Coavoux, Olivia Vaudaux, Caroline Bazzoli, Géraldine Vial. Le traitement automatique des langues naturelles comme outil de prédiction des jugements - Un pas à franchir entre le rêve et la réalité. La Semaine juridique. Édition générale, 2025, supplément au numéro 6, pp.6001. hal-04939978

HAL Id: hal-04939978

https://hal.science/hal-04939978v1

Submitted on 21 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Le traitement automatique des langues naturelles comme outil de prédiction des jugements : un pas à franchir entre le rêve et la réalité

Étienne Vergès, université Grenoble Alpes, CRJ, Maximin Coavoux, université Grenoble Alpes, CNRS, Grenoble INP, LIG, Olivia Vaudaux, université Grenoble Alpes, CNRS, Grenoble INP, LIG, Caroline Bazzoli, université Grenoble Alpes, CNRS, UMR 5525, VetAgro Sup, Grenoble INP, TIMC et Géraldine Vial, université Grenoble Alpes, CRJ

1 - L'utilisation des technologies du traitement automatique du langage naturel (TAL) pour analyser les textes juridiques connaît un essor considérable depuis quelques années. En 2022, la communauté juridique a découvert les grands modèles de langage dans un mélange de fascination et de crainte. Certains ont exprimé leur scepticisme en affirmant que *ChatGPT* ne pourrait pas remplacer un juriste<fnref n="1" />, mais d'autres ont très rapidement imaginé des applications susceptibles de changer le quotidien des juristes. Dès le printemps 2023, il a ainsi été possible de dialoguer avec *LegiGPT*, un agent conversationnel spécifiquement entraîné sur les codes juridiques français<fnref n="2" />. Au moment de sa première mise en ligne, ce *chatbot* affirmait qu'il connaissait 148 191 articles de loi. Dans le monde académique, les techniques de TAL vivent également un développement très rapide. Par exemple, en 2017, la revue TAL, principale revue francophone dans le domaine du traitement automatique des langues, a publié un numéro spécial « *Traitement automatique de la langue juridique* »<fnref n="3" />. De son côté, la communauté scientifique du traitement automatique des langues a créé, depuis 2019, une conférence annuelle *Natural Legal Language Processing workshop*, sponsorisée par l'ACL (Association for Computational Linguistics). Cette conférence réunit une communauté scientifique très active dans laquelle les chercheurs partagent leurs résultats, mais également leurs modèles de langue (*Legal Bert*, *Legal GPT*, etc.) qui sont spécialement entraînés sur des textes juridiques.

2 - Le traitement automatique du langage au service de l'analyse des décisions de justice. - Les techniques du traitement automatique du langage créent de véritables espoirs dans le domaine juridique, car le matériau utilisé (les textes, la jurisprudence, la doctrine) repose précisément sur l'utilisation de la langue, qu'elle soit écrite ou orale. Dans un domaine où les images sont quasi inexistantes et où les chiffres sont rares, les outils de TAL font miroiter la possibilité d'analyser automatiquement des quantités gigantesques de données désormais accessibles en open data. Ce rêve de connaissances était exprimé en France par Antoine Garapon dans son article consacré à la justice prédictive<fnref n="4" />. L'auteur affirmait ainsi que le big data propose « *une connaissance littéralement surhumaine* » et il citait en exemple une start-up de la Silicon Valley qui promettait d'analyser en quelques heures quinze millions de

<footnote n="1">¹ N. Molfessis, *ChatGPT peut-il me remplacer ?* : JCP G 2023, act. 81.</footnote>

<footnote n="2">² https://legigpt.fr/.</footnote>

<footnote n="3">³ A. Nazarenko et A. Wyner, *Traitement Automatique des Langues. Traitement automatique de la langue juridique / Legal Natural Language Processing, Vol. 58, n° 2 : ATALA, 2017.*</footnote>

<footnote n="4">⁴ A. Garapon, *Les enjeux de la justice prédictive* : JCP G 2017, *doctr*. 31.</footnote>
dossiers. À la même époque, le fantasme devenait presque réalité lorsqu'une équipe de chercheurs publiait un premier article marquant sur la prédiction des décisions de la Cour européenne des droits de l'homme en utilisant une technique de TAL<fnref n="5" />. Par la suite, les recherches dans ce domaine se sont emballées, à tel point qu'une étude publiée en 2023 a recensé plus de 150 articles scientifiques dans le monde relatant des expériences de prédiction de décisions de justice utilisant cette technologie<fnref n="6" />.

Le traitement du langage naturel est une technique séduisante car elle développe une capacité d'extraire des informations d'un texte, mais également d'écrire un texte qui a du sens pour l'esprit humain.

Si les systèmes de TAL sont en capacité de traiter le langage naturel et particulièrement le langage des juristes, on peut alors se prendre à rêver que ces systèmes parviennent à analyser de très grandes quantités de textes juridiques et à en tirer du sens. C'est en suivant cette idée que les chercheurs analysent des corpus de décisions de justice pour tenter de voir si les outils informatiques peuvent lire et modéliser de façon automatique ces masses considérables de phrases. À lire certaines publications, on pourrait d'ailleurs s'en convaincre. Ainsi, des chercheurs canadiens ont fait analyser 667 305 décisions rendues par la régie du logement du Québec – une juridiction spécialisée dans le contentieux opposant des propriétaires et des locataires – et ils sont parvenus à créer un modèle de TAL capable de prédire l'issue d'un litige avec une précision de 93,7 %<fnref n="7" />.

**3 - Le traitement automatique du langage confronté aux décisions des juges du fond.** - Si les systèmes de TAL parviennent à prédire (ou à simuler) avec un taux de précision élevé le sens de décisions de justice, c'est qu'ils sont en capacité de modéliser ces décisions. Toutefois, la qualité du modèle dépend de l'homogénéité des données qui servent à l'entraîner. En d'autres termes, plus les décisions à analyser ressemblent à celles qui ont été vues lors de la phase d'apprentissage du système, plus le système aura des résultats corrects. En particulier, la structure des décisions de justice, le vocabulaire utilisé par les juges ou la répétition de formules linguistiques – qui deviennent récurrentes à l'usage – sont des facteurs qui contribuent à accroître la performance du traitement automatisé du langage. Cela explique en partie que les modèles entraînés sur des décisions rendues par une même juridiction soient performants. En effet, les systèmes de TAL parviennent à capter les raisonnements répétitifs des juges.

**4 - La difficulté surgit lorsque l'on tente de transposer ces expériences aux contentieux qui sont soumis à des juridictions du fond dispersées sur le territoire français et dont les**

<footnote n="5">⁵ N. Aletras, D. Tsarapatsanis, D. Preotioc-Pietro et V. Lampos, *Predicting judicial decisions of the European Court of Human Rights : a natural language processing perspective* : *PeerJ Computer Science*, **24 oct. 2016**, 2:e93.</footnote>

<footnote n="6">⁶ M. Medvedeva et P. McBride, *Legal Judgment Prediction : If You Are Going to Do It, Do It Right in Proceedings of the Natural Legal Language Processing Workshop* 2023, p. 73-84, *Singapour, déc. 2023*.</footnote>

<footnote n="7">⁷ O. Salaün, Ph. Langlais, A. Lou, H. Westermann et K. Benyekhlef, *Analysis and Multilabel Classification of Quebec Court Decisions in the Domain of Housing Law in Natural Language Processing and Information Systems (International Conference on Applications of Natural Language to Information Systems)*, 2020, p. 135-143.</footnote>
formations de jugement évoluent au gré des mutations des magistrats. Les données sont alors hétérogènes et l'apprentissage automatique s'avère plus délicat. On trouve plusieurs raisons à cela.

En premier lieu, les décisions rendues par les juridictions du fond sont faiblement structurées. Si la technique de rédaction des arrêts conduit à séparer les motifs du dispositif, ou encore les faits de la discussion, il n'en demeure pas moins que la structure interne des arrêts varie d'un juge à l'autre. Tel juge traitera d'abord les prétentions et les moyens des parties, puis les motifs de son jugement. Tel autre juge intégrera les allégations des parties dans sa propre analyse des faits ; chaque moyen recevant une réponse du juge dans un mouvement d'aller-retour. L'organisation interne des décisions rendues par les juridictions du fond est donc hétérogène.

En deuxième lieu, il est très difficile d'identifier dans une décision le degré de fiabilité des faits qui y sont exposés. Certains faits sont considérés comme « constants », car les parties ne les discutent pas. Ces faits sont acquis aux débats. D'autres faits sont allégués par les parties, mais ils ne sont pas prouvés. D'autres encore sont constatés ou formulés par le juge, et l'on peut alors considérer qu'ils sont établis (ou prouvés). Le système de TAL devrait donc être en capacité de saisir que tous les faits énoncés dans un arrêt n'ont pas le même degré de fiabilité. La tâche qui consiste à distinguer les faits simplement allégués des faits établis (ou prouvés) est, en soi, redoutablement complexe.

En troisième lieu, dans les décisions rendues par les juridictions du fond, la personnalité du juge joue un rôle déterminant. En présence des mêmes faits, deux juges peuvent développer des raisonnements différents. Par exemple, dans le contentieux que nous étudions, lorsqu'il apparaît que l'un des parents s'est éloigné géographiquement du lieu de résidence de l'autre parent, certains juges considèrent que ce comportement traduit le non-respect des droits de l'autre parent, ou un désijnérêt pour les enfants, alors qu'un autre juge estimera que le choix de sa résidence constitue un droit fondamental pour le parent qui s'est éloigné, et donc que ce parent n'a pas à supporter les conséquences de son choix.

On peut ainsi considérer que l'hétérogénéité des décisions rendues par les juridictions du fond tient non seulement à la subjectivité des juges qui rendent ces décisions, mais aussi à la variabilité des styles de rédaction.

5 - **Objectif de l'étude.** - Dans cette étude, nous avons cherché à savoir dans quelle mesure les outils de TAL étaient capables d'analyser le langage des juges et de percevoir dans les arrêts des critères, ou des indicateurs, qui permettraient ensuite de modéliser les processus de décision et finalement de prédire l'issue des litiges. Dans cette perspective, le recours à différentes techniques de TAL avait pour ambition de réduire les opérations d'annotation des décisions de justice. Il s'agissait en particulier d'indiquer au système de TAL quelles étaient les zones de texte figurant dans un arrêt, qui étaient susceptibles de contenir des informations pertinentes, à charge pour le système informatique d'analyser ces zones de texte.

Dans une perspective plus générale, il s'agissait de savoir comment ces outils d'intelligence artificielle étaient en mesure de lire des décisions de justice, d'en dégager du sens, de percevoir des raisonnements juridiques et, le cas échéant, de les prédire.

Pour parvenir à cet objectif, il a fallu construire une base de données permettant d'entraîner des systèmes de TAL (1), puis mettre en place le dispositif technique d'apprentissage et de
test par différents modèles de TAL (2). Les résultats de cette étude sont contrastés. Ils montrent à la fois une grande capacité des systèmes d'intelligence artificielle (IA) à assimiler le langage naturel, et dans le même temps, une incapacité à repérer avec précision les informations pertinentes qui influencent la prise de décision des juges (3).

# 1. Constitution de la base de données et zonage des décisions de justice

6 - Notre base de données était constituée de 987 décisions rendues par des cours d'appel durant la période allant de 2010 à 2022. Ces décisions ont été extraites manuellement à partir de mots-clefs, ce qui a permis de contrôler qu'elles portaient toutes sur un litige relatif à la fixation de la résidence d'un ou plusieurs enfants, à la suite de la séparation d'un couple. Chaque décision a fait l'objet d'une annotation distinguant les données de sortie (la solution de l'arrêt) et les données d'entrée (le contenu de l'arrêt).

7 - Les données de sortie : identifier la solution de l'arrêt. - S'agissant des données de sortie, elles ont été intégrées manuellement dans les métadonnées de la décision. Ces données ont été codées selon les règles que nous avons fixées pour l'ensemble des expérimentations : nous avons ainsi utilisé trois étiquettes : « M » pour une résidence habituelle chez la mère, « P » pour une résidence habituelle chez le père et « D » pour une résidence alternée (« D » signifiant « les deux »). La solution de chaque arrêt a dû être identifiée manuellement par les analystes<fnref n="8" />. En effet, la lecture du dispositif d'un arrêt de cour d'appel ne permet pas de connaître systématiquement le sens de la décision. Par exemple, il arrive que la cour se contente de confirmer le jugement sans énoncer explicitement la solution. Dans une telle hypothèse, il est nécessaire de retrouver dans l'arrêt quel a été le sens de la décision rendue en première instance. La solution peut également être exprimée en référence à l'identité d'un parent (son prénom). Par exemple, le dispositif de l'arrêt « fixe la résidence de D au domicile de Philippe C ». Pour identifier la solution du litige, il faut alors inférer que « Philippe C » est le père des enfants. Un tel lien est intuitif pour l'esprit humain, mais il doit faire l'objet d'un apprentissage pour le système informatique<fnref n="9" />, de sorte que l'annotation manuelle s'avère ici plus rapide et surtout plus fiable. Plus généralement, la rédaction du dispositif est parfois très claire, d'autres fois très complexe. Par conséquent, l'identification de la donnée de sortie est souvent plus facile à réaliser manuellement à partir des motifs de l'arrêt, comme nous le verrons plus loin.

8 - Dans la plupart des arrêts, la décision de la cour d'appel se présente de façon claire. Toutefois, dans un petit nombre de décisions, la solution est ambiguë. Par exemple, il arrive que la cour d'appel confirme le jugement rendu en première instance mais qu'au regard de l'évolution de la situation familiale, elle modifie le lieu de résidence des enfants. L'arrêt

<footnote n="8">⁸ Un premier jeu de données a été élaboré en 2021 par l'équipe de recherche (Étienne Vergès et Géraldine Vial), assistée par Djohar Sidhoum-Rahal (post-doctorante CRJ-Grenoble) et Pierre Antoine Cordier (étudiant en master). Le jeu complet de données a ensuite été réalisé en 2022 par Nour Safa (doctorante CRJ – Grenoble).</footnote>

<footnote n="9">⁹ Le système informatique devrait alors être capable de discerner des prénoms masculins et féminins et, dans le cas d'un prénom mixte, de rattacher tel ou tel prénom à l'une ou l'autre des parties au litige.</footnote>
comporte alors deux solutions différentes et il faut en choisir une. On trouve également des décisions dans lesquelles la résidence est fixée provisoirement chez un parent jusqu'à une certaine date, puis chez un autre parent à partir de cette date. Ici encore, l'arrêt adopte deux solutions et il est nécessaire d'effectuer un choix. Dans ces différentes situations, nous avons privilégié la solution définitive plutôt que la solution antérieure ou provisoire. Toutefois, il faut ici comprendre que l'ambiguïté contenue dans ces arrêts constitue un obstacle réel si l'on tente d'extraire automatiquement l'information portant sur le sens de la décision de justice à l'aide d'un système d'IA. Une nouvelle fois, c'est l'annotation manuelle de la décision, par une personne humaine, qui assure la fiabilité de l'opération d'extraction des données.

**9 - Les données d'entrée : le zonage du texte et la structure des arrêts d'appel.**
S'agissant des données d'entrée, nous avons décidé de sélectionner manuellement des zones de texte contenant seulement des informations pertinentes relatives à la résidence habituelle. Ce zonage manuel a permis d'écarter toutes les informations qui concernaient d'autres chefs de prétention (la prestation compensatoire ou la contribution à l'entretien et à l'éducation des enfants, par exemple). L'objectif était d'éviter que le système d'IA soit obligé d'analyser une masse importante d'informations inutiles et potentiellement perturbatrices. Nous avons ainsi défini quatre zones de textes : 1) les faits + les prétentions et moyens des parties ; 2) le jugement rendu en première instance et faisant l'objet d'un appel ; 3) la motivation de la cour d'appel ; 4) la solution du litige, exprimée dans les motifs.
Nous avons choisi de ne pas suivre la structure habituelle des décisions de justice (faits, procédure, motifs, dispositif) car cette structure n'est pas homogène d'une décision à l'autre. Par exemple, dans certains arrêts, les prétentions et moyens des parties figurent dans la partie « *procédure* » ou « *faits et procédure* », alors que dans d'autres arrêts, elles ils se trouvent dans la partie « *motifs de la décision* »<fnref n="10" />. Plus encore, certains juges amorcent la discussion avec l'énoncé complet des arguments des parties, avant de développer la motivation de l'arrêt ; alors que d'autres magistrats mêlent dans la discussion les arguments des parties et les motifs de leur décision. Cet entrelacement rend l'exercice du zonage particulièrement délicat. Nous avons donc choisi de distinguer les trois premières zones de texte en fonction de la personne à qui ces zones pouvaient être attribuées :

* **jugement attaqué** : il s'agit de la décision du juge de première instance ;

* **faits + moyens et prétentions** : les faits allégués et l'argumentation proviennent des parties ;

* **motifs de l'arrêt d'appel** : les faits et l'argumentation émanent de la cour d'appel.

Cette division de l'arrêt nous a permis d'avoir une vision assez nette des faits qui étaient simplement allégués (provenant des parties) et de ceux qui étaient établis (émanant de la cour d'appel).

Il est à noter que dans le contentieux de la séparation des couples, les faits énoncés en tête de l'arrêt sont très succincts. Ils tiennent généralement en une phrase courte rédigée sur le même modèle : « de l'union de A et de B, sont nés deux enfants, X et Y ». Les autres faits du litige étant débattus, ils sont énoncés plus loin, soit dans les moyens des parties, soit dans les motifs

<footnote n="10">¹⁰ Cette partie contient l'appréciation que la cour d'appel porte sur les faits de l'espèce. Elle est intitulée différemment selon les arrêts étudiés. On trouve ainsi les expressions « Discussion » ou encore « Sur ce la cour », « Sur ce » ou « La cour ».</footnote>
de l'arrêt. Autrement dit, les faits considérés comme « constants », c'est-à-dire ne donnant pas
lieu à un débat, sont réduits au minimum : l'identification des parents et des enfants.
Dans la zone de texte qui contient les faits, les moyens et les prétentions, on retrouve
essentiellement des faits allégués par les parties et sujets à discussion. La véracité de ces faits
est problématique. À l'inverse, dans les motifs de l'arrêt d'appel, on retrouve des faits qui sont
retenus par le juge. Il n'est pas possible de savoir si ces faits sont exacts ou non, mais le juge
a la conviction qu'ils sont prouvés et il les utilise pour fonder sa décision. Cela signifie que
les faits contenus dans les motifs sont déterminants pour la solution du litige car ils sont tenus
pour vrais.

10 - **Isoler la solution du litige qui figure dans les motifs afin de ne pas biaiser l'apprentissage.** - La dernière zone de texte concerne la solution du litige, qui conclut la motivation. Dans une vision idéaliste de la technique de rédaction des jugements, la solution ne devrait pas figurer dans les motifs, mais uniquement dans le dispositif. Toutefois, cela reviendrait à confondre deux éléments distincts de la décision : la solution et le chef de jugement. La solution du litige est l'aboutissement du raisonnement du juge. Par exemple, le raisonnement de la cour peut s'achever par la formule suivante : « attendu qu'au vu de l'ensemble de ces éléments, il convient, dans l'intérêt des enfants, d'accueillir la demande de Monsieur K et de fixer la résidence habituelle de S et L au domicile de leur père ». Dans la même décision, le dispositif comporte un chef de jugement ainsi rédigé : « et statuant à nouveau (...) – fixe la résidence habituelle des enfants S et L au domicile du père ». On comprend, à l'aide de cet exemple, que la décision du juge est exprimée deux fois : dans les motifs et dans le dispositif.

Dès lors, il est essentiel de définir la zone de texte figurant dans les motifs, qui exprime la
solution du litige pour deux raisons :

- d'une part, pour retirer cette zone de texte au moment de l'apprentissage, afin que l'analyse réalisée par le système informatique ne soit pas biaisée. En effet, si l'algorithme d'apprentissage prend connaissance de cette partie du texte, il a accès non seulement aux données d'entrée (les caractéristiques de l'affaire), mais également aux données de sortie (la solution du litige) ; C'est un peu comme si on demandait à l'algorithme de deviner une carte à jouer tout en lui indiquant qu'il s'agit d'un as de cœur.

- d'autre part, le zonage du texte nous a permis d'effectuer des tests d'apprentissage de la lecture par le modèle de TAL. Comme nous le verrons plus loin, il a été possible de vérifier que l'algorithme était capable de lire une phrase contenant la décision et d'inférer ensuite cette décision. Cela nous a permis de tester les capacités du système à comprendre un texte écrit et à en dégager le sens.

11 - **Zonage et annotation des décisions.** - Le zonage est une opération à la fois intellectuelle et technique. Tous les analystes doivent zoner les décisions de l'ensemble du corpus en respectant les mêmes règles. À cette fin, un guide de zonage a été élaboré pour assurer l'harmonisation de cette tâche. D'un point de vue technique, le zonage a été réalisé à partir du logiciel Notepad ++, qui permet de sélectionner une partie du texte, de poser des balises informatiques au début et à la fin de cette zone de texte et enfin d'indiquer que cette zone appartient à l'une ou l'autre des quatre catégories qui ont été prédéfinies : 1) faits,
moyens et prétentions ; 2) jugement de première instance ; 3) motifs de l'arrêt ; 4) décision exprimée dans les motifs). Ainsi, l'opération d'annotation comportait deux manipulations : d'une part le balisage d'une zone de texte, et d'autre part, l'attribution d'une étiquette correspondant à l'une des quatre catégories. Enfin, pour chaque arrêt, la solution était mentionnée dans les métadonnées du document sous la forme d'un label (« M », « P », « D »). Cette annotation manuelle a permis de mettre en œuvre la partie technique de l'étude, consistant à entraîner le système de TAL, puis à tester sa capacité de modéliser les processus de décision des juges et de prédire la solution d'un litige.

## 2. Techniques d'entraînement et de test des systèmes de traitement automatisé du langage

12 - Les méthodes d'apprentissage statistique supervisé consistent à apprendre à associer un objet (par exemple : un document, une image) à une étiquette (sujet du document, contenu de l'image). Dans notre cas, les objets sont des documents (décisions de cours d'appel) et les étiquettes sont les trois décisions possibles (M, P, D) comme cela est décrit dans le paragraphe précédent. Ces méthodes nécessitent d'avoir à disposition une base de données – un corpus – contenant des documents dont on connaît les étiquettes. Cette base de données se divise en deux parties. Une partie des documents, appelée corpus d'entraînement, est utilisée pour la phase d'apprentissage du système. Durant cette phase, le système « calibre » ses paramètres pour améliorer ses prédictions. Une deuxième partie de ce corpus, appelée corpus d'évaluation, est utilisée une fois la phase d'apprentissage terminée pour évaluer le taux de bonnes réponses du système sur des documents qu'il n'a jamais vus auparavant. On évalue ainsi sa capacité à généraliser (plutôt que sa capacité à restituer une réponse qu'il aurait apprise « par cœur »).

Le point commun aux méthodes d'apprentissage supervisé est qu'elles nécessitent que les objets à classer soient des vecteurs, au sens mathématique, c'est-à-dire une suite de nombres d'une taille fixe : chaque document est représenté par un vecteur de la même taille. Dans cet article, nous utilisons deux familles de systèmes d'apprentissage supervisé, que nous appellerons (i) systèmes « étalons » ou classiques ; (ii) systèmes basés sur des modèles de langue préentraînés. Ces deux types de modèles diffèrent fondamentalement par :

- leur méthode pour transformer un document en un vecteur ;

- leur coût en termes de ressources informatiques, c'est-à-dire leurs besoins en matériel informatique, en temps de calcul et en mémoire.

13 - **Systèmes étalons.** - Les systèmes « étalons » (également appelés systèmes de base ou baseline) sont des algorithmes d'apprentissage simples et très efficaces : l'entraînement dure quelques secondes ou minutes. Ces systèmes servent de point de référence : un système de classification complexe et gourmand en ressources de calcul ne sera utile que s'il est bien meilleur que les systèmes étalons. Ce type de système apprend à partir de la fréquence de mots ou de groupes de mots consécutifs dans un arrêt. Dans le jargon du traitement automatique des langues, on désigne un groupe de *n* mots consécutifs par *n*-gramme, on parle d'unigramme, bigrammes et trigrammes pour des groupes de respectivement un, deux et trois mots. En effet, certains *n*-grammes vont être plus fréquents dans les documents d'une
étiquette donnée. Par exemple, il est possible que les arrêts dont la solution est « P » contiennent plus d'occurrences du mot « père » que les autres mais que le mot « moyens » soit au contraire très peu fréquent dans les documents d'étiquette « P » mais fréquent dans les autres.

Pour chacune des trois étiquettes, le système va associer un bonus ou un malus à chacun des n-grammes du vocabulaire. Quand le système réalise une prédiction, il additionne les bonus et les malus de chacun des n-grammes présents dans le document. Il obtient ainsi un score pour chaque étiquette, et nous renvoie l'étiquette qui a le meilleur score. La phase d'apprentissage consiste à calibrer les bonus et les malus de chaque n-gramme pour chaque étiquette en se basant sur leurs fréquences.

Ces systèmes ont une propriété intéressante : en regardant les mots qui ont les plus gros bonus pour une étiquette donnée, on peut déterminer quels sont ceux qui sont les plus prédicteurs de cette étiquette. En revanche, ils nous donnent des représentations relativement superficielles des documents<fnref n="11" />, uniquement basées sur les fréquences des mots qu'elle contient. Notamment, elle prend peu ou pas en compte l'ordre des mots dans la phrase.

Plus précisément, les algorithmes que nous avons utilisés avec ces représentations par fréquence sont des algorithmes classiques comme Bayes naïf, les forêts aléatoires, les k plus proches voisins, les Séparateurs à Vaste Marge (SVM) ainsi qu'un réseau de neurones à propagation avant<fnref n="12" />. Dans la section suivante, nous ne reportons que le résultat pour la meilleure combinaison représentation-algorithme, telle que sélectionnée sur une partie des données distinctes du corpus de test. Cette meilleure combinaison consiste à utiliser un réseau à propagation avant qui prend en entrée des vecteurs contenant des comptes de trigrammes.

## 14 - Systèmes basés sur des modèles de langue pré-entraînés.
Les modèles de langues pré-entraînés désignent des réseaux de neurones profonds qui ont déjà subi une phase d'entraînement sur de très grandes quantités de textes non annotés en utilisant de l'apprentissage dit **autosupervisé**. Cette première phase d'entraînement, aussi appelée pré-entraînement, est réalisée une seule fois et nécessite des centaines d'heures de calculs. Toutefois, les équipes construisant ces modèles de langue les diffusent librement, si bien qu'ils sont utilisables par la communauté scientifique sans qu'il y ait besoin de refaire ce pré-entraînement à chaque nouvelle utilisation.

## 15 - Le pré-entraînement confère des connaissances générales sur les mots et leurs usages possibles, au contraire des systèmes étalons présentés plus haut dont toutes les connaissances lexicales sont tirées du corpus d'arrêts. De manière simplifiée, on peut dire qu'un modèle de langue pré-entraîné connaît de manière assez précise les propriétés linguistiques d'un mot, comme sa catégorie morphosyntaxique (« avocat » est un nom masculin) ou son sens (dans telle phrase, « avocat » désigne une profession juridique ou une personne et dans telle autre, il

<footnote n="11">¹¹ Sans rentrer dans les détails techniques, les nombres que contient le vecteur qui représente un document sont simplement les nombres d'occurrences des mots ou des n-grammes dans le document. Ainsi le vecteur contiendra beaucoup de valeurs nulles (car un document utilise peu de mots distincts par rapport à la taille du vocabulaire).</footnote>

<footnote n="12">¹² D. Jurafsky and J. H. Martin, *Speech and Language Processing* (3rd ed. draft) : https://web.stanford.edu/~jurafsky/slp3/.</footnote>
désigne un fruit). Ces connaissances sont inférées uniquement à partir des contextes d'utilisation des mots observés dans la très grande collection de textes utilisée lors du pré-entraînement. Par exemple, « avocat » est souvent précédé d'un déterminant masculin (comme « un »), ce qui donne un indice fort que ce soit un nom masculin.

Après cette phase de pré-entraînement, on peut voir un modèle de langue comme une fonction mathématique complexe qui permet de représenter un document sous la forme d'un vecteur. Cette représentation vectorielle est beaucoup plus fine que celles données par les fréquences de mots et de n-grammes. Elle prend en compte l'ordre des mots ainsi que les contextes d'apparition des mots. C'est grâce au contexte qu'elle peut donner une représentation différente à « avocat » selon son sens.

**16 - Entraînement du modèle.** - Cette nouvelle phase d'apprentissage a lieu cette fois sur notre corpus d'entraînement composé d'arrêts associés à leur solution. Le système de prédiction basé sur un modèle de langue procède alors comme les systèmes étalons pour réaliser une prédiction sur un arrêt. Il associe chaque coefficient du vecteur-document à un bonus ou un malus pour chacune des trois étiquettes possibles. Il fait ensuite la somme des bonus et des malus pour chaque étiquette et prédit celle qui a le meilleur score. La phase d'entraînement consiste à calibrer les bonus et malus. Simultanément, il peut également adapter sa façon de calculer les vecteurs de document pour se spécialiser sur la tâche de prédiction (procédé appelé affinage ou fine-tuning).

La différence fondamentale avec les méthodes étalons est que les coefficients du vecteur ne sont pas directement interprétables (ils ne correspondent pas à la fréquence d'un mot). Ainsi les bonus et malus ne sont pas interprétables non plus. Il est donc très difficile de savoir pour quelle raison le système a prédit une étiquette particulière ou de savoir quels passages du document ont le plus contribué à la réponse.

Dans notre cas, nous utilisons trois modèles de langues librement disponibles et pré-entraînés sur des textes français : FlaubERT<fnref n="13" />, CamembERT<fnref n="14" /> et JuriBERT<fnref n="15" />. Les deux premiers ont été pré-entraînés sur une grande variété de textes (journalistiques, littérature, encyclopédiques, web, etc.) alors que le dernier a été pré-entraîné uniquement sur des textes relevant du domaine juridique (Légifrance).

Notons enfin que l'utilisation des modèles de langue pré-entraînés nécessite plus de ressources informatiques que les systèmes étalons : d'une part, elle nécessite du matériel

<footnote n="13">¹³ H. Le, L. Vial, J. Frej, V. Segonne, M. Coavoux, B. Lecouteux, A. Allauzen, B. Crabbé, L. Besacier, and D. Schwab. 2020. FlaubERT: Unsupervised Language Model Pre-training for French in Proceedings of the Twelfth Language Resources and Evaluation Conference, p. 2479-2490, Marseille, France, European Language Resources Association.</footnote>

<footnote n="14">¹⁴ L. Martin, B. Muller, P. Javier Ortiz Suárez, Y. Dupont, L. Romary, É. de la Clergerie, D. Seddah, and B. Sagot. 2020. CamembERT: a Tasty French Language Model in Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, p. 7203-7219, Online. Association for Computational Linguistics.</footnote>

<footnote n="15">¹⁵ S. Douka, H. Abdine, M. Vazirgiannis, R. El Hamdani, and D. Restrepo Amariles. 2021. JuriBERT: A Masked-Language Model Adaptation for French Legal Text in Proceedings of the Natural Legal Language Processing Workshop 2021, p. 95-101, Punta Cana, Dominican Republic. Association for Computational Linguistics.</footnote>
spécifique (des cartes graphiques GPU<fnref n="16" />), d'autre part, il faut environ une heure pour entraîner un modèle sur notre corpus d'arrêts (contre quelques secondes ou minutes pour les systèmes étalons).

### 3. Résultats : très bons en lecture et médiocres en prédiction

17 - Pour analyser les capacités des systèmes de TAL à réaliser des tâches de prédiction, nous avons testé chaque modèle de langue sur différentes parties du texte, puis nous avons également effectué des tests en combinant plusieurs parties du texte pour accroître le nombre d'informations traitées par le système. Les résultats sont présentés dans le tableau ci-dessous.

<table><caption>Précision des prédictions pour chaque modèle de TAL en fonction des zones de textes analysées (en %)</caption><thead><tr><th></th><th></th><th>Modèle de base le plus performant</th><th>FlaubERT</th><th>CamenBERT</th><th>JuriBERT</th></tr></thead><tbody><tr><td>1</td><td>Faits + prétentions + moyens des parties</td><td>51</td><td>46</td><td>56</td><td>45</td></tr><tr><td>2</td><td>Motifs de l'arrêt</td><td>58</td><td>52</td><td>59</td><td>45</td></tr><tr><td>3</td><td>Jugement de 1<sup>re</sup> instance</td><td>53</td><td>49</td><td>69</td><td>54</td></tr><tr><td>4</td><td>Faits + prétentions + moyens + motifs de l'arrêt + jugement de 1<sup>re</sup> instance</td><td>56</td><td>55</td><td>49</td><td>55</td></tr><tr><td>5</td><td>Décision exprimée dans les motifs de l'arrêt</td><td>89</td><td>90</td><td>96</td><td>87</td></tr><tr><td>6</td><td>Décision exprimée dans les motifs + jugement de 1<sup>re</sup> instance</td><td>74</td><td>95</td><td>92</td><td>95</td></tr></tbody></table>

18 - Analyse globale des résultats. - Le tableau fait apparaître deux grandes catégories de résultats.

Les lignes 1 à 4 correspondent aux capacités des différents modèles de TAL à prédire le sens de la décision de la cour d'appel à partir de certaines données de l'affaire : les faits allégués par les parties, les faits retenus par la cour d'appel dans les motifs, la décision rendue en première instance, et enfin, ces trois éléments réunis. Ces données figuraient dans des zones de texte que le système d'IA devait analyser. La précision des prédictions est médiocre pour tous les modèles et pour toutes les catégories de données analysées. Cette précision s'étale sur

<footnote n="16">¹⁶ Les GPUs sont très performants pour réaliser des calculs en parallèle, et notamment les opérations mathématiques couramment utilisées par les algorithmes de deep learning, si bien que les constructeurs de GPU proposent maintenant des GPU spécialisés dans le deep learning.</footnote>
une plage de 45 à 69 % et si l'on se concentre en particulier sur la zone de texte qui est la plus riche en informations (la ligne 4 qui regroupe toutes les données pertinentes pour chaque espèce), la précision va de 49 à 56 %. Cela signifie que le système d'IA se trompe dans près d'un cas sur deux. Si on n'atteint pas les résultats que l'on aurait pu espérer, il convient de préciser que les modèles de TAL sont plus performants qu'un simple tirage au sort. En effet, il s'agissait ici de prédire la bonne solution parmi une option à trois branches (mère, père, résidence alternée). Autrement dit, une prédiction purement aléatoire aurait atteint une performance moyenne de 33 %. Il n'en reste pas moins que si l'on cherche à utiliser des technologies de TAL pour prédire correctement des décisions de justice à partir des données textuelles issues de décisions de justice, on peut dire que la performance optimale n'est pas atteinte et que les technologies que nous avons testées ne sont pas encore à la hauteur des attentes.

Les lignes 5 et 6 font apparaître de bien meilleurs résultats avec un taux de précision atteignant 96 % dans le meilleur des cas. Pour comprendre ce résultat, il faut revenir à la particularité des données qui étaient traitées. La ligne 5 correspond à la décision de la cour d'appel exprimée dans les motifs sous la forme d'une phrase. Voici plusieurs exemples issus du corpus d'arrêts que nous avons analysé :

- « Qu'il convient donc, de fixer, à compter du samedi de la semaine 37 du calendrier, la résidence des enfants au domicile de la mère » ;

- « Considérant au regard des motifs qui précèdent qu'afin de préserver aux enfants un cadre de vie stable, il convient de fixer leur résidence au domicile de Philippe R » ;

- « Considérant que dans un contexte de reproches réciproques et d'organisation professionnelle particulière, l'intérêt des enfants est de grandir dans un contexte d'équivalence parentale que seule une résidence alternée peut apporter » ;

- « dans l'intérêt des enfants, leur résidence doit être fixée au domicile maternel ».

La tâche qui était demandée au système d'IA consistait donc à analyser une phrase contenant la décision et à en inférer cette décision. Cette tâche était autrement plus simple que dans la première expérience, où le système devait prédire la solution du litige à partir des données de l'espèce, sans connaître la décision de la cour d'appel. Dans la seconde expérience, nous avons testé la capacité des modèles de TAL à lire des phrases, à analyser leur signification et à en déduire la décision. Cette capacité d'associer une phrase avec la solution du litige est très bonne. La tâche n'était pourtant pas évidente. Le système devait être capable de réaliser des tâches simples (associer « mère » à la solution « résidence chez la mère »), plus complexes (associer « maternel » à la résidence chez la mère) voire très complexes (associer « Philippe R » à la résidence chez le père).

L'expérience a été répétée, cette fois, en couplant la solution rendue en première instance à celle prise en appel (tableau, ligne 6). L'idée était ici de permettre au système d'analyser plus finement certains motifs, lorsqu'ils faisaient référence à la décision des premiers juges (par exemple, lorsque le motif contient la formule « qu'il convient de réformer (ou d'infirmer) la décision entreprise »). Les résultats ne sont pas convaincants : certains modèles progressent (FlauBERT et JuriBERT) tandis que d'autres régressent (CamemBERT). Le meilleur résultat obtenu lorsque l'on combine les deux décisions (1re instance et appel) culmine à 95 % et il est légèrement inférieur à celui issu de l'analyse uniquement de la décision de la cour d'appel (96 %). Cela signifie que la décision de première instance apporte parfois une information
Pour comprendre ces différences de résultats, on peut avancer plusieurs explications. Les techniques de prédiction reposent sur des analyses probabilistes. Cela signifie que les systèmes d'IA repèrent des récurrences dans les décisions de justice et les modèles sont construits à partir de ces récurrences. Par exemple, dans un arrêt rendu par la Cour de cassation, on sait que si l'arrêt contient un visa, le dispositif sera une cassation<fnref n="18" />. Le système de TAL peut ainsi associer la récurrence du mot « vu » avec un dispositif de cassation. Cet exemple très simple montre que plus une juridiction utilise un langage répétitif dans des décisions précisément structurées, plus il est possible de modéliser le processus de décision. Ce lien entre récurrence et précision des outils d'IA renvoie au caractère homogène ou hétérogène des décisions de justice. Lorsqu'un *corpus* de décisions est très homogène, la performance des systèmes d'IA est élevée. Tel est le cas lorsque les méthodes de TAL sont appliquées aux décisions rendues par une seule et même juridiction (une cour suprême, un tribunal spécialisé dans un contentieux). À l'inverse, lorsque l'on utilise ces mêmes techniques sur un *corpus* hétérogène, la capacité des systèmes à construire des modèles stables régresse. C'est probablement la raison principale qui explique qu'en travaillant à partir d'un *corpus* composé de décisions rendues par des juges répartis dans toute la France, ne partageant pas tous les mêmes méthodes, les mêmes représentations sociales, les mêmes valeurs et utilisant un langage qui connaît des variations (de vocabulaire, de style, de structure, etc.), on atteint un niveau d'hétérogénéité très élevé.

Pour dépasser cette hétérogénéité, il est possible d'accroître le *corpus* d'apprentissage. On peut ainsi espérer que le système de TAL aboutisse à une modélisation plus fine. L'expérience pourrait alors être reproduite sur un grand volume de décisions, à l'instar de l'étude précitée<fnref n="19" />, qui repose sur une collection de 131 830 arrêts de la Cour de cassation. Un nouvel écueil apparaît alors. Comme cela a été dit plus haut, pour être fiable, l'analyse du *corpus* doit être réalisée manuellement. En effet, les systèmes d'IA ne sont pas en mesure de repérer de façon fiable la solution d'un arrêt de cour d'appel et encore moins de distinguer les faits qui sont simplement allégués de ceux qui sont prouvés. Analyser manuellement d'importants *corpus* de décisions de justice repose donc sur l'utilisation de moyens humains – et donc financiers – considérables.

**21 - Conclusion.** - En définitive, cette étude montre qu'entre le rêve et la réalité, il existe un fossé technologique qui semble ne pas avoir été encore franchi. Les outils de TAL que nous avons utilisés se sont révélés efficaces pour inférer correctement le sens d'une décision de justice à partir d'une phrase qui exprime cette décision de façon plus ou moins explicite. C'est un succès tout relatif. En revanche, pour que ces technologies permettent de créer des outils de prédiction fiables et utiles pour les juristes, plusieurs obstacles doivent encore être franchis. Le premier résulte de la difficulté des tâches d'annotation. Pour que le système d'IA reçoive des données fiables, il est, aujourd'hui, nécessaire de procéder à une annotation manuelle. Les décisions rendues par les cours d'appel présentent une structure trop complexe

<footnote n="18">¹⁸ J. F. Weber, *Comprendre un arrêt de la Cour de cassation rendu en matière civile* : BICC, n° 702, 15 mai 2009.</footnote>

<footnote n="19">¹⁹ O. Sulea, M. Zampieri, Sh. Malmasi, M. Vela, L. Dinu et J. van Genabith, *Exploring the Use of Text Classification in the Legal Domain in Proceedings of the 2nd Workshop on Automated Semantic Analysis of Information in Legal Texts* : ASAIL, 2017.</footnote>
pour qu'un système informatique puisse repérer automatiquement les faits, les prétentions, les raisonnements du juge et même la solution du litige. De plus, les formules utilisées par les juges dissimulent parfois des informations essentielles pour la compréhension et l'analyse des données. L'IA ne perçoit pas ces informations car elles sont invisibles, éclatées ou disséminées. Le besoin d'annotation manuelle soulève une autre difficulté liée au volume de décisions de justice qu'il est possible d'analyser. Si les ressources liées à des projets financés par des fonds publics permettent d'analyser quelques centaines, et dans l'idéal, quelques milliers de décisions, cette masse est sans rapport avec les 4 millions de décisions de justice rendues chaque année en France. Autrement dit, la simple disponibilité des données ne suffit pas à leur donner de la valeur. Il faut encore que ces données soient structurées et annotées. L'open data des décisions de justice ouvre des perspectives générales pour l'IA, mais il ne garantit pas que les données disponibles soient vraiment utiles pour améliorer la connaissance des processus de décision des juges. Enfin, le dernier obstacle n'est pas des moindres : il s'agit de l'explicabilité. Si les progrès récents des techniques de TAL donnent de nouveaux espoirs – notamment avec l'apparition des grands modèles de langue – il n'en reste pas moins que ces outils qui peuvent traiter de grandes masses de données sont peu ou pas explicables. En d'autres termes, si l'on parvenait à prédire avec beaucoup de précision, grâce à une technique de traitement automatisé du langage, le sens d'une décision de justice à partir du texte de la décision, encore faudrait-il que l'IA qui a réalisé cette prédiction soit capable de divulguer quels sont les éléments qui ont conduit le juge à prendre cette décision. Cela signifie qu'il faudrait mettre en relation les faits de l'espèce, le raisonnement du juge et la solution du litige. Or, les techniques de TAL disponibles ne sont pas en mesure de faire apparaître de telles relations. On mesure ainsi que le chemin à parcourir est encore long pour passer du rêve à la réalité d'un outil opérationnel qui serait utile pour la communauté des juristes.■

Mots-clés : Justice - Justice prédictive