# Construire des outils de connaissance des activités de justice : automatiser l'analyse des décisions de justice ? L'expérience e-Juris

Isabelle Sayn

<figure><img src="image_1.png" /></figure>

https://amplitude-droit.pergola-publications.fr/index.php?id=738

DOI : 10.56078/amplitude-droit.738

## Référence électronique

Isabelle Sayn, « Construire des outils de connaissance des activités de justice : automatiser l'analyse des décisions de justice ? L'expérience e-Juris », Amplitude du droit [En ligne], 4 | 2025, mis en ligne le 17 janvier 2025, consulté le 20 janvier 2025. URL : https://amplitude-droit.pergola-publications.fr/index.php?id=738

## Droits d'auteur

Licence Creative Commons – Attribution 4.0 International – CC BY 4.0
# Construire des outils de connaissance des activités de justice : automatiser l'analyse des décisions de justice ? L'expérience e-Juris

Isabelle Sayn

## PLAN

### Introduction

1. Positionnement théorique

2. Méthode

2.1. Un travail collectif et pluridisciplinaire

2.2. Prémices : l'analyse manuelle d'un corpus de décisions de justice

2.3. Analyse secondaire : l'extraction algorithmique de données du corpus

3. Résultats

3.1. La prévisibilité des décisions

3.2. La validité des analyses fondées sur l'extraction algorithmique de données

4. Discussion

## TEXTE

### Introduction

1. L'expérience e-Juris que cet article se propose de relater résulte du croisement de trois évolutions parallèles : un intérêt croissant pour les analyses de contentieux, une accélération de l'ouverture des données, spécialement dans notre domaine un accès plus large aux décisions de justice, enfin le développement d'outils d'aide à la décision de type barème proposant aux professionnels du droit des références pour décider, particulièrement s'agissant de montants.

2. **Un intérêt croissant pour les analyses de contentieux.** Sur la base théorique de la distinction entre contentieux et jurisprudence (Serverin, 1993), le monde de la recherche sur le droit a développé des analyses de contentieux. Elle consiste dans l'analyse à la fois juridique et statistique d'un échantillon représentatif de décisions de justice ren-
3

dues par les juridictions du fond, idéalement de première instance. Les questions posées à cet objet sont variables, en fonction des hypothèses posées : quels sont les demandeurs et défendeurs à l'instance et leurs caractéristiques ; quelle partie obtient gain de cause – en tout ou partie ? quels textes sont mobilisés ? quels arguments sont développés et avec quels résultats ? quels sont les montants attribués dans tels et tels cas de figure... ? Certains travaux ajoutent à cet exercice l'appariement des données contenues dans les décisions avec des données qui leurs sont extérieures.

Jusqu'à une période récente, et en tout cas pour la France, ces travaux avaient seulement un objectif de connaissance. Ils sont restés assez peu nombreux, en raison d'une part du peu d'équipes impliquées dans des travaux de recherche empirique sur la justice, d'autre part de leur caractère nécessairement limité compte tenu de l'investissement que ces méthodes d'analyse supposent. Mais, à partir de cette connaissance, on peut aussi envisager d'utiliser les régularités constatées dans l'activité juridictionnelle pour fournir des outils d'aide à la décision. Il s'agit alors de proposer aux professionnels une information sur les solutions globalement fournies dans des affaires comparables, permettant pour les uns (avocats en particulier) d'envi-sager une stratégie contentieuse, pour les autres (magistrats en par-ticulier) d'apprécier leur raisonnement à l'aune des pratiques habi-tuelles de leur communauté. L'usage de rechercher quelques déci-sions comparables pour appuyer un raisonnement n'est évidemment pas nouveau, mais les analyses de contentieux autorisent un change-ment d'échelle. Elles permettent ou permettraient d'accéder à une in-formation plus globale, statistique, illustrative des pratiques habi-tuelles. L'accès annoncé à l'ensemble des décisions de justice du fond par la loi du 7 octobre 2016 pour une République numérique a suscité des vocations et les propositions d'analyses de contentieux se sont multipliées, le marché commercialisant des outils d'aide à la décision parfois qualifiés de justice prédictive, qui permettraient d'anticiper les décisions à venir en se fondant sur ces pratiques habituelles.

4

**L'accélération de l'ouverture des données.** La question de l'accès aux décisions de justice est un enjeu ancien (Serverin, 2009). Que ce soit à l'initiative des juridictions supérieures ou à l'initiative d'éditeurs juridiques, l'écosystème a très tôt mis en place des mécanismes d'accès à la jurisprudence, avec un objectif de connaissance de l'état du droit
positif tel qu'interprété par ces juridictions. Les analyses proposées par la doctrine se fondent traditionnellement sur ces décisions, permettant en effet de suivre l'évolution des textes et du sens qui leur est donné.

Au-delà de la possibilité offerte aux citoyens de demander au greffe telle ou telle décision¹ et sous réserve des règles d'accès aux archives, la mise à disposition sans délai de l'ensemble de la production des juridictions, sans sélection préalable des seules décisions considérées comme présentant un intérêt juridique ou jurisprudentiel, a été plus tardive et n'est pas encore achevée. La possibilité d'accéder à la masse des documents produits par le monde de la justice progresse cependant dans le cadre de la politique dite d'open data : en imposant l'ouverture au public de la presque totalité² des décisions de justice rendues par l'ensemble des juridictions, la loi du 7 octobre 2016 et ses suites ont suscité des mises en chantier considérables au sein des juridictions (Girard-Chanudet, 2023). Il s'agit en effet de récupérer en version numérique l'ensemble des décisions rendues³, de les pseudonymiser⁴ et de les reverser ensuite dans une base ouverte à tous et gratuite⁵. Le chantier avance, en conciliant accès aux sources et protection des données personnelles⁶.

Anticipant cette ouverture, des entreprises ont proposé sur le marché des produits élaborés à partir des décisions du fond déjà disponibles soit, pour l'ordre judiciaire, les décisions non pénales des cours d'appel. Non anonymisées, elles sont réunies dans la base JuriCA, constituée sous l'autorité de la Cour de cassation⁷ et d'accès payant pour les entreprises alors en charge de l'anonymisation des décisions. Certaines y ont ajouté ou tenté d'y ajouter des décisions obtenues via les greffes, en utilisant la possibilité ancienne et toujours en vigueur d'obtenir des décisions identifiées auprès des greffes des juridictions. Ce procédé est dorénavant expressément exclu pour la fourniture de décisions en masse⁸. La loi de 2016 a donc suscité ou renforcé des projets d'exploitation des décisions de justice, étendus aux décisions de première instance, annoncées comme accessibles et gratuites dans un avenir relativement proche. Ce nouveau matériau devait en effet, dans l'esprit des promoteurs du texte et c'était son objectif affiché, permettre de développer des services nouveaux et donc de la valeur. C'est dans ce mouvement que se sont développés les outils dits

5

6
de justice prédictive et les débats doctrinaux qui les ont accompa-
gnés, avant leur reflux relatif ⁹.

7 **L'émergence d'outils d'aide à la décision proposés aux professionnels.** Au développement des analyses de contentieux en lien avec l'acélération de l'ouverture des données s'ajoute l'émergence des outils d'aide à la décision proposant aux professionnels du droit des références pour décider. L'usage de barèmes par les professionnels du droit n'est pas nouveau et ils sont progressivement sortis de l'ombre dans laquelle ils ont prospéré (Sayn, Perrocheau, 2019) pour devenir un objet d'étude, indépendamment et avant même l'émergence de la notion de justice prédictive. Ces outils parfois très artisanaux, parfois nombreux sur le même segment contentieux¹⁰, créés par des praticiens et diffusés de façon très inégale, soulèvent des questions théoriques comparables à celles que soulèvent les outils proposés par les legaltech. Ils sont le plus souvent des barèmes construits¹¹, tendant à rationaliser la prise de décision du juge avec l'objectif de limiter les disparités entre des situations semblables. Ils sont plus rarement des barèmes constatés, qui ont pour ambition de donner à voir les pratiques habituelles, permettant éventuellement de les reproduire. Le barème Mornet constitue un bel exemple de situation intermédiaire : il adosse aux postes de préjudice corporel, proposés par la nomenclature Dinthilac, des montants de réparation qui sont présentés comme conformes aux pratiques habituelles, sans pour autant qu'ait été conduite une analyse systématique de décisions.

8
Qu'il s'agisse de barèmes construits, élaborés par des professionnels à partir de leur expérience, ou de barèmes constatés, qu'il s'agisse d'outils présentés comme conformes aux pratiques habituelles ou d'outils issus d'une analyse de contentieux, que cette analyse de contentieux résulte d'une analyse manuelle ou d'analyses algorithmiques des décisions de justice, une question commune se pose : dès lors que ces outils prétendent influencer les décisions prises (décisions de justice ou règlements amiables), ne serait-ce qu'en cadrant les prétentions des parties et de leurs avocats, la mise en débat des choix et des techniques qui ont présidé à leur fabrication est essentielle, quels que soient les procédés utilisés pour y parvenir, artisanaux ou numériques. Cette préoccupation n'a pas prospéré s'agissant des outils artisanaux qui ont précédé l'émergence de la notion de justice prédictive. En revanche, elle suscite des débats s'agissant des outils doréna-
vant issus d'analyses algorithmiques, parallèlement aux préoccupa-
tions portant sur leurs usages et la transformation crainte du travail
du juge. C'est donc au croisement de ces différentes évolutions que se
positionne l'expérience e-Juris relatée dans ce texte.

1. Positionnement théorique

9

L'approche proposée est radicalement empirique et ne se positionne
pas d'emblée par rapport à l'ensemble de la littérature juridique qui
s'est interrogée sur les bienfaits, les risques ou les évolutions atten-
dues de la justice prédictive¹². A particulièrement été discuté le
risque de déshumanisation et d'automaticité, jusqu'à évoquer les « ro-
bots juges », opposé au bénéfice d'une meilleure régularité des déci-
sions dans une perspective d'égalité (Archives de philosophie du
droit, 2018 ; Les cahiers de la justice, 2019). Le risque de disparition de
la hiérarchie des juridictions et de leur production, avec l'introduc-
tion d'une logique de common law dans notre raisonnement juridique
a également été très discuté (Cadiet, Chainais, Sommer, 2022 ; Cour
de cassation, 2024). Les réflexions conduites sur l'intelligence artifi-
cielle¹³ appliquée à la justice ont également mis en lumière de façon
inédite à notre connaissance les « biais » contenus dans les décisions
de justice, au sens de l'existence de déterminants des décisions qui ne
seraient pas des critères légaux de décision. Au-delà du syllogisme
judiciaire, on admet aujourd'hui plus facilement qu'hier que la déci-
sion de justice est aussi une construction humaine, nécessairement
élaborée en partie à partir d'autres déterminants que les seuls cri-
tères légaux de décision, y compris les décisions des juridictions du
fond¹⁴.

10

Cette préoccupation confirme l'intérêt des analyses de contentieux et répond de façon indirecte à la question de la légitimité de l'usage de barèmes comme outils d'aide à la décision : si l'on admet l'existence de biais, peut-on les mettre en évidence – au moins en partie – à l'aide des analyses de contentieux, qu'elles soient manuelles ou algorithmiques ? si oui, les constats issus de l'analyse de contentieux peuvent-ils ou doivent-ils alors être introduits dans un outil d'aide à la décision qui serait seulement constaté, biais compris ? ou, au contraire, le recours à un barème peut-il remédier, même partielle-ment, à l'introduction de biais dans le processus décisionnel ? Encore
en amont de ce questionnement sur l'usage des barèmes issus des analyses de contentieux, l'expérimentation rapportée ici tente de répondre à une interrogation finalement très terre-à-terre : en quoi les techniques évoquées sont-elles capables de répondre aux qualités qu'on leur prête en termes de justesse des données mobilisées et donc des résultats proposés ? Est-on assuré de leur fiabilité, au sens de connaissance consolidée des critères de décision constatés et utiles pour décider ? Partant, dans quelle mesure peut-on les laisser participer, même *a minima*, à la prise de décision rendue au nom du droit, que ce soit à l'occasion de leur usage par les magistrats, encore très confidentiel, ou à l'occasion de leur usage par les parties et leurs avocats ? Plus précisément, du seul point de vue méthodologique, et indépendamment de la possible élaboration d'outils d'aide à la décision, peut-on utiliser les techniques algorithmiques d'analyse des décisions pour produire des analyses de contentieux à moindre coût et donc envisager de les multiplier, offrant ainsi à la communauté une meilleure connaissance de la production des juridictions, jusque-là globalement inconnue ? Les techniques algorithmiques d'analyse des décisions peuvent-elles effectivement permettre l'élaboration à moindres frais d'outils d'aide à la décision reflétant les pratiques professionnelles ? À supposer que ce point soit acquis, ces techniques peuvent-elles être mobilisées dans une perspective de justice prédicative ?

11 C'est pour avancer sur ces questions qu'a été conçu le projet « e-Juris », un groupe de travail réunissant juristes, économistes, informaticiens et statisticiens. L'expérimentation conduite et ses conclusions sont présentées dans ce texte, sans rentrer toutefois dans une présentation technique du travail d'analyse réalisé par des informaticiens, statisticiens ou économistes, exposée par ailleurs<sup>15</sup>.

## 2. Méthode

12 En s'appuyant sur les résultats d'une analyse de contentieux menée au préalable dans le cadre du projet ANR COMPRES<sup>16</sup>, l'objectif général de ce groupe a été de comparer les résultats obtenus par l'analyse manuelle qui avait été réalisée à cette occasion aux résultats d'une analyse algorithmique menée sur le même échantillon de décisions : les données extraites *via* l'analyse algorithmique sont-elles de qualité
au moins équivalente aux données extraites *via* une analyse manuelle
ou en tout cas suffisante pour produire des informations utiles ? Pa-
rallèlement, les données issues de l'analyse manuelle ont été mobili-
sées dans une perspective de justice prédictive : les déterminants ex-
traits des décisions analysées permettent-ils effectivement d'antici-
per les décisions à venir ?

2.1. Un travail collectif et pluridiscipli-
naire

13

D'une façon générale, il faut souligner la nécessaire imbrication disci-
plinaire qu'implique ce type de projet et le travail incrémental que
nous avons dû réaliser. L'interdisciplinarité est nécessaire parce que
la lecture des décisions, leur compréhension, le choix et l'interprétation
des données extraites imposent une lecture juridique en même
temps que les méthodes utilisées relèvent d'autres disciplines. L'ac-
culturation croisée à laquelle nous avons abouti ne suffit pas à rendre
les uns et les autres autonomes dans ce type d'activité, même si l'on
assiste à la marge à l'émergence de chercheurs qui peuvent assumer
cette double compétence. Le travail incrémental a été réalisé à l'occasion
des multiples réunions de travail organisées au cours de ce projet,
nous permettant de faire le point sur son avancement et de faire
les choix qui s'imposaient au fur et à mesure des constats que nous
pouvions faire. La vie de ce groupe a ainsi permis à chacun de monter
en compétence sur ces questions à l'origine très nouvelles, non
seulement à partir de l'expérimentation qui a été menée mais également
grâce aux échanges qu'il a rendus possibles entre les disciplines
concernées et aux interventions assurées au cours du processus par
des intervenants extérieurs au groupe. L'activité de ce groupe s'est
déroulée sur plusieurs années alors que les techniques d'analyse automatique du contenu des décisions de justice mises en œuvre évoluent, pas tellement sur le terrain du traitement du langage naturel (TLM) mais sur celui de l'apprentissage automatique (intelligence artificielle). Mais les conclusions auxquelles nous aboutissons relèvent finalement beaucoup plus de l'application à notre corpus de techniques de TLM que de techniques d'apprentissage automatique, comme c'est d'ailleurs le cas semble-t-il de l'essentiel des produits commerciaux proposés sur le marché.
## 2.2. Prémices : l'analyse manuelle d'un corpus de décisions de justice

Le projet e-Juris s'est appuyé sur la recherche COMPRES évoquée *supra* ¹⁷, qui s'interrogeait sur les fondements théoriques, empiriques et politiques du versement d'une prestation compensatoire après divorce ¹⁸. En effet, bien que les conditions économiques et sociales du versement de cette prestation soient encore réunies, son principe est contesté, les montants fixés sont en baisse continue, elle semble ne pas être demandée dans des circonstances où elle pourrait être occroyée et elle est prévue dans seulement 12,5 % des divorces (Belmkhtar, Mansuy, 2016).

Partant du constat d'une règle de droit très ouverte ¹⁹, dont les praticiens affirment qu'elle les aide bien peu à apprécier les montants adéquats, l'objectif de cette recherche était notamment de détecter, au sein de ces décisions de justice, les déterminants du montant des prestations compensatoires finalement fixé par le juge. Il s'agissait également d'apprécier dans quelle mesure des situations susceptibles de conduire à la fixation d'une prestation compensatoire pouvait ne pas faire l'objet de demandes. L'équipe a donc procédé à l'analyse d'un corpus de quelque 5000 décisions de divorce rendues par des juges aux affaires familiales. Le projet supposait, outre un accès aux décisions ²⁰, la lecture d'un nombre suffisant de décisions pour élaborer une grille de lecture adaptée à toutes les hypothèses rencontrées et aux objectifs poursuivis, des tests de la grille et son adaptation progressive, une formation des codeurs, puis la lecture de la totalité des décisions pour saisir les données. Ce travail de grande ampleur a été rendu possible grâce à une collaboration étroite avec le service statistique du ministère de la Justice dont les agents ont spécialement été formés à cet exercice.

Les données recueillies concernaient les critères légaux de décision fournis au juge par l'article 271 du Code civil qui sont, « notamment », la durée du mariage, l'âge et l'état de santé des époux, leur qualification et leur situation professionnelles, les conséquences des choix professionnels faits par l'un des époux pendant la vie commune pour l'éducation des enfants et du temps qu'il faudra encore y consacrer ou pour favoriser la carrière de son conjoint au détriment de la
sienne, le patrimoine estimé ou prévisible des époux, tant en capital qu'en revenu, après la liquidation du régime matrimonial, leurs droits existants et prévisibles et enfin leur situation respective en matière de pensions de retraite « en ayant estimé, autant qu'il est possible, la diminution des droits à retraite qui aura pu être causée, pour l'époux créancier de la prestation compensatoire » par ses choix professionnels. On remarquera d'emblée la difficulté à extraire certaines de ces informations à partir de la lecture des décisions. Elles peuvent purement et simplement être passées sous silence, le magistrat devant décider à partir des éléments d'informations qui lui sont soumis et son pouvoir de contrôle étant d'autant plus limité qu'il est confronté à un accord des parties, y compris au sein d'une procédure contentieuse. Elles peuvent également être évoquées par le juge comme une affirmation des parties, la formulation de la décision laissant penser que ces affirmations resteraient à démontrer. Elles peuvent enfin être reprises dans le corps de la décision de façon incomplète et éparse, l'absence de normalisation des énoncés permettant une grande variabilité d'une décision à l'autre. C'est le cas en particulier pour la description des ressources des parties, plus encore pour l'évocation des ressources à venir. Or cet élément est essentiel, puisque la prestation compensatoire est due pour « compenser, autant qu'il est possible, la disparité que la rupture du mariage crée dans les conditions de vie respectives²¹ ». Pour ce type d'informations, la saisie imposait donc une attention particulière de l'équipe à la fois dans la construction de la grille de lecture des décisions et au stade du codage. Pour d'autres informations en revanche, la saisie était relativement simple, tel que l'âge des époux, le nombre et l'âge des enfants ou la durée du mariage, même si ces informations devaient faire l'objet d'une reconstruction, par exemple lorsque l'âge des enfants doit être déduit de leur date de naissance. Il faut enfin noter que le juge peut fonder sa décision sur tout ou partie de ces critères, et possiblement sur d'autres, sa motivation étant intimement liée aux arguments développés par les parties. Au-delà des critères légaux, la saisie effectuée concernait aussi des critères non prévus par la loi, dont on avait formulé l'hypothèse qu'ils pouvaient exercer une influence sur le montant de la prestation compensatoire. Parmi eux, on citera la cause du divorce, particulièrement le divorce pour faute exclusive, une demande de dommages et intérêts, le sexe du juge ou encore le ressort de la juridiction. Certains sont des critères non légaux, indifférents à
la loi, tels que le sexe du juge ou le ressort de la juridiction. D'autres sont des critères que l'on peut qualifier de contraire à la loi, telle que la cause du divorce, dans la mesure où les réformes successives depuis 1975 se sont efforcées de rompre le lien entre les causes du divorce et ses conséquences pécuniaires. La saisie concernait enfin les montants de prestation compensatoire demandés, offerts et finalement fixés, le rôle des demandes dans la décision finale étant majeur.

Cette méthode de recueil de données, coûteuse en temps et en énergie, a permis de produire des résultats avérés, y compris en tenant compte de la marge incompressible d'erreurs de saisies, permettant à la fois de fournir des données statistiques jusque-là inconnues (Belmokhtar, Mansuy, 2016), et de réaliser des analyses économétriques permettant de mieux identifier les déterminants du montant de la prestation compensatoire. L'analyse des données a ainsi permis à l'équipe de recherche d'établir des liens entre certains des déterminants recherchés et le montant de la prestation compensatoire. A pu ainsi être établi un lien certain avec la durée du mariage (critère légal), avec la faute exclusive dans le divorce (critère contraire à la loi) ou avec le sexe du juge (critère a-légal) [Jeandidier, 2023], les juges femmes semblant plus sévères avec les demandeuses, alors que les femmes constituent les bénéficiaires de cette prestation plus de neuf fois sur dix (Belmokhtar, Mansuy, 2016).

Ces données étant acquises (manuellement), le projet e-Juris s'est donné pour objectif de tester l'extraction algorithmique de données et de valider ou pas le recours à cette méthode pour la recherche. Ce test permet également plus globalement de mieux apprécier les capacités des méthodes algorithmiques d'extraction de données et partant les outils qui s'en réclament. Parallèlement, et à partir des données acquises manuellement, a été approfondie la possibilité de prévoir les décisions à venir.

## 2.3. Analyse secondaire : l'extraction algorithmique de données du corpus

C'est donc armée des données extraites manuellement et des analyses qui en avaient été faites que l'équipe s'est attelée à faire le même exercice à partir d'une extraction automatique des données utiles à l'analyse, après avoir reçu une autorisation d'utilisation secondaire
des décisions collectées pour COMPRES et jusque-là conservées sous
forme papier sur les étagères du service statistique du ministère de la
Justice 22. La première opération a donc été de numériser ces docu-
ments et de les océriser, afin de transformer les images ainsi obte-
nues et de les traiter comme du texte. Ce préalable indispensable est
signalé ici parce que ces opérations ont eu une conséquence sur la
qualité des documents traités, des documents nativement numé-
riques étant plus « propres », limitant ainsi même pour une part ré-
duite la qualité des résultats obtenus.

Les techniques envisagées au départ relevaient de l'apprentissage au-
tomatique supervisé. Il s'agissait d'« étiqueter » un nombre suffisant
de décisions, en donnant manuellement un label à des sections de
texte identifiées dans les décisions (ici : « durée du mariage », là :
« montant de la prestation compensatoire demandée »), de façon que
la machine puisse ensuite appliquer cette même technique à d'autres
décisions (apprentissage machine), ce qui a ainsi permis de traiter un
grand nombre de décisions. Nous avons pu ainsi tester plusieurs logi-
ciels d'étiquetage mais, face aux difficultés rencontrées, nous avons
dû renoncer et opter pour d'autres techniques, relevant pour l'essen-
tiel du traitement automatique du langage naturel (TAL).

20

3. Résultats

Le premier résultat concerne la possibilité de produire des prédic-
tions à partir de l'analyse des décisions, le second, la validité des ana-
lyses fondées sur l'extraction algorithmique de données des déci-
sions.

21

3.1. La prévisibilité des décisions

Une évaluation de la possibilité de prévoir les décisions à venir en se
fondant sur les données issues des décisions précédemment rendues
a été effectuée à partir de données extraites manuellement, extrême-
ment fouillées et dont on connaît l'exactitude. Sans revenir sur le dé-
tail de l'étude en question (Jeandidier, Ray, Mansuy, 2020), conduite
par des économistes, on en retiendra simplement la conclusion : la
grande variabilité des montants de prestation compensatoire, toutes
choses égales par ailleurs, ne permet pas d'anticiper les décisions à

22
venir. Autrement dit, et en prenant le risque de généraliser, l'anticipa-
tion serait possible seulement pour des contentieux dans lesquels la
dispersion des décisions est réduite, alors même que la faiblesse de la
dispersion rend un outil de prévisibilité moins utile. On entend ici par
dispersion des décisions la variabilité des résultats obtenus dans des
situations pourtant semblables. À l'inverse, s'agissant de décisions
plus dispersées comme c'est le cas en matière de prestation compen-
satoire, liée à des critères de décision nombreux, non hiérarchisés,
parfois difficiles à manipuler ou même contradictoires²³, cette prévi-
sibilité ne peut pas être déduite de l'analyse des décisions déjà ren-
dues. Ce constat constitue un argument important pour considérer
que l'on ne peut pas produire de barèmes constatés sur ces terrains,
c'est-à-dire des barèmes qui auraient pour ambition de reproduire
l'existant pour informer les praticiens des pratiques habituelles.

3.2. La validité des analyses fondées sur l'extraction algorithmique de données

23 Là encore sans entrer dans le détail des opérations effectuées, on re-
tiendra que ce projet d'extraction automatisée de données a obtenu
des résultats pour le moins mitigés. Les techniques utilisées se sont
révélées incapables de capter un grand nombre des éléments d'infor-
mation contenus dans les décisions et nécessaires à l'analyse, alors
même que nos échanges réguliers avaient abouti à réduire assez
drastiquement les informations à extraire par rapport aux informa-
tions extraites manuellement. Le cas le plus extrême est sans doute
celui des ressources des époux ou de leur capital, déjà difficiles à cap-
ter à partir d'une saisie manuelle. Des informations plus basiques ont
cependant pu être extraites, avec un taux de fiabilité plus ou moins
important selon la variabilité de la façon dont l'information apparaît
dans la décision de justice, renvoyant ainsi au formalisme des déci-
sions.

La fiabilité des données extraites est parfois sujette à caution, y com-
pris pour certaines données chiffrées pourtant les plus faciles à ex-
traire (dates, nombre d'enfants, montants en euros, âges). S'agissant
du montant des prestations compensatoires finalement retenu, il a
fallu commencer par distinguer le dispositif de la décision de ses
autres parties, afin de le capter en évitant des confusions avec
d'autres montants contenus dans la décision, en particulier la prestation demandée. Ensuite, la pauvreté des données extraites automatiquement, même fiables, ne permet pas de fournir une analyse des déterminants des décisions dès lors qu'elle doit se limiter aux critères les plus faciles à capter et par conséquent négliger les autres, y compris lorsqu'ils relèvent de la loi.

25 Peut-être le caractère très évolutif des techniques mises en œuvre permettra-t-il un jour des extractions plus fouillées et plus fiables mais, indépendamment des progrès techniques, c'est la question de la rédaction des décisions de justice qui est posée. On constate en effet que les décisions sont des œuvres essentiellement littéraires, dont la rédaction est liée à la plume de leur auteur, y compris lorsqu'il s'agit de reprendre des informations factuelles telles que la durée du mariage ou le nombre des enfants qui en sont issus ou même de distinguer les différentes parties de la décision (motifs, dispositif). Si cette diversité d'expression écrite soulève peu de difficultés pour un lecteur humain, ce n'est pas le cas pour une « lecture » automatisée. On remarquera cependant que le même constat peut être fait pour une lecture humaine, dès lors qu'il s'agit d'informations plus complexes. Même un lecteur humain ne peut que difficilement systématiser ou même retrouver les informations recherchées dans la décision, s'agissant par exemple des ressources des époux, celles-ci n'étant pas normalisées à partir d'un vocabulaire stabilisé. La comparabilité des décisions s'en trouve diminuée.

26 La rationalisation et l'harmonisation formelle des décisions judiciaires rendues par les juridictions du fond pourraient constituer une sorte d'effet retour du développement annoncé des outils d'aide à la décision fondés sur des analyses de contentieux : ne faut-il pas formaliser plus la rédaction des décisions pour rendre leur analyse comparée plus facile ? Cet effet s'articule avec une volonté qui semble émerger de standardiser la rédaction des décisions et de les rendre plus lissables. Cette évolution devrait cependant considérer le caractère souvent incomplet, contredit ou incertains des informations fournies au juge, qui doit malgré tout décider, ensemble qui n'est sans doute pas étranger à ces rédactions mouvantes (Cottin, 2024).

27 Quoi qu'il en soit, une analyse parallèle réalisée dans le cadre d'e-Juris montre qu'une rédaction plus maîtrisée, partagée par l'ensemble
des magistrats rédacteurs, permet des analyses des décisions ren-
dues par les juridictions administratives qui ne seraient pas possibles
avec des décisions judiciaires. Il est ainsi possible de faire ressortir
l'utilisation implicite des jurisprudences issues du Conseil d'État,
contenues dans ses considérants de principe, dans l'ensemble des dé-
cisions des cours administratives d'appel publiées dans la base de
données JADE. Ces décisions reprennent en effet les jurisprudences
exprimées sous la forme de considérants de façon suffisamment fi-
dèle pour qu'ils puissent être détectés automatiquement, les formula-
tions utilisées par le Conseil d'État n'étant pas ou très peu modifiées
par les auteurs des décisions d'appel. Il est ainsi possible de suivre
dans le temps et dans l'espace le destin de telle ou telle (Massein,
2023).

4. Discussion

28 Les tentatives d'extraction automatisée de données réalisées dans le cadre d'e-Juris s'inscrivent dans un projet visant à multiplier les analyses de contentieux, qui seraient dorénavant plus facilement réalisables, ce qui permettrait de mieux connaître les déterminants des décisions de justice et partant de fournir des outils d'aide à la décision. Mais, au-delà des limites techniques de l'extraction automatique des données, l'exercice de l'analyse de contentieux, même avec des données suffisamment précises et fiables, comporte ses propres limites, de sorte que le projet d'en déduire des outils d'aide à la décision doit être regardé avec précaution. Ces limites concernent tout autant les analyses issues d'une extraction automatiques que les analyses issues d'une extraction manuelles. Cependant, l'open data des décisions de justice, le développement attendu d'analyses qui y est associé, l'offre relativement nouvelle d'outils commerciaux qui se positionnent sur ce marché et les réflexions qu'elle a suscitées (Dumoulin, 2022) renforcent la nécessité de mettre ces limites en lumière.

29
Première limite : ce type d'exercice ne concerne qu'une partie seule-
ment de la démarche intellectuelle du juge et n'a pas pour objectif de
reconstruire ex post le raisonnement des juges. Il s'agit seulement de
se donner les moyens de mieux connaître l'activité des juges du fond,
largement méconnue et, s'agissant de la recherche des déterminants
de la décision rendue, de donner à voir les liens entre différents élé-
30

ments factuels contenus dans la décision. L'ensemble permet de
mieux appréhender l'exercice, par le juge, de son pouvoir souverain
d'appréciation, que ce soit sur le terrain de l'utilisation qu'il fait des
critères légaux de qualification ou sur celui de la détermination de
quantum.

L'exercice n'en est pas moins déstabilisant pour un système juridique
légaliste, vertical, dans lequel le pouvoir d'appréciation des juges du
fond reste relativement transparent dès lors que la focale est mise sur
la loi et son interprétation jurisprudentielle, essentiellement issue des
juridictions supérieures. De façon certes un peu caricaturale, le reste
ne relèverait pas véritablement du droit mais de la « pratique ». Cet
aspect du phénomène juridique ne fait d'ailleurs pas l'objet d'un en-
seignement, sous réserve peut-être du développement des cliniques
du droit ou, dans une moindre mesure, des ateliers locaux de juris-
prudence. La mise en évidence de déterminants non légaux des déci-
sions est d'autant plus déstabilisante qu'elle constitue une forme de
concrétisation ou de démonstration de l'aléa judiciaire, pouvant ainsi
mettre en évidence à la fois l'inégalité de traitement des justiciables
et la présence de critères exogènes qui pèsent sur la prise de décis-
sion. On peut en effet comparer, avec ces techniques, les décisions
rendues par un même juge, testant ainsi la constance de son raison-
nement dans le temps, entre différents juges (ce qui ne nécessite pas
de lever leur anonymat) ou entre différentes juridictions. On peut
également mettre en évidence le poids de critères a-légaux ou illé-
gaux dans la décision finalement retenue, comme c'est le cas dans
notre expérimentation de la faute exclusive dans le divorce²⁴.

31

Deuxième limite : l'analyse de contentieux rapportée ici se fonde
seulement sur les données contenues dans les décisions elles-
mêmes, indépendamment des facteurs extérieurs qui pourraient
peser sur les décisions rendues. Cette limite peut cependant être dé-
passée et l'a parfois été, en ajoutant à ces données des informations
issues d'autres sources, par exemple des données socio-économiques
(Fréchet, Chanut, 2020). On peut même envisager qu'elles soient is-
sues d'autres décisions de justice, mais cet appariement suppose
d'accéder à des décisions non pseudonymisées²⁵, ce qui permet de
réunir l'ensemble des décisions concernant une seule et même partie.
Ce sera le cas dans un avenir proche s'agissant des personnes mo-
rales. S'agissant des parties personnes physiques, cette extension
32

reste soumise à la possibilité d'accéder aux décisions avant leur pseudonymisation pour leur reversement dans Judilibre, ce qui reste discuté (Sayn, 2023), ce type de projet étant dans tous les cas soumis à des obligations strictes de protection des données personnelles.

Troisième limite : les difficultés rencontrées pour extraire des informations suffisamment précises pour apprécier le poids de certains des critères retenus pour l'analyse et la mise en évidence du rôle de déterminants non légaux dans la prise de décision incitent à une grande prudence sur le développement d'outils d'aide à la décision qui seraient supposés refléter l'activité juridictionnelle, qualifiés de barèmes constatés. En effet, les difficultés d'extraction d'informations pour apprécier le poids de tel ou tel critère peuvent aboutir à le passer sous silence, en limitant les outils proposés aux informations automatiquement accessibles. Et feraient-ils effectivement l'objet d'une extraction, que faut-il faire en présence de critères a-légaux ? Faut-il les intégrer à de tels outils dès lors qu'ils prétendent aider les professionnels à décider ? Les avocats peuvent être sensibles au rôle que jouent des facteurs non légaux dans la prise de décision du juge, dans une perspective stratégique, mais qu'en serait-il des juges, qui abandonnaient ainsi la prétention de juger en droit ? Plus globalement, et de façon très classique, les analyses produites dépendent des données extraites et des questions posées à l'objet et, pour reprendre l'exemple de la prestation compensatoire, certaines analyses pourraient négliger le montant de la demande tandis que d'autres refusaient de questionner le rôle du sexe du juge. Pour cette raison, il n'est pas envisageable de proposer aux praticiens des barèmes dits constatés, à la fois parce que le constat est incomplet et parce qu'ils charrient des critères non légaux. Si l'élaboration d'outils d'aide à la décision est jugée opportune, ceux-ci doivent donc être construits à partir des critères légaux de décision, en négligeant les critères non légaux possiblement repérés. Ils permettront ainsi de réduire la disparité des décisions justement en limitant le poids des critères non légaux, pour recentrer le raisonnement du juge sur les seuls critères légaux.

33

L'extraction de données issues des décisions de justice permet de produire des connaissances en rendant possible l'analyse à la fois statistique et juridique des décisions, mais c'est un processus long et complexe, coûteux en temps et en énergie. Sous réserve de progrès
techniques – ou peut-être de l'utilisation d'autres techniques –, l'extraction automatique de données pourrait permettre à terme de multiplier les analyses et donc de multiplier ces connaissances, dans le temps (passages répétés) et dans l'espace, concernant des contenieux plus nombreux et plus diversifiés. Notre groupe a cependant montré qu'en l'état actuel des techniques disponibles, une extraction de données de qualité suffisante est illusoire. Par ailleurs, et compte tenu de l'existence de déterminants a-légaux des décisions, cette production de connaissances n'est pas suffisante pour permettre la production d'outils d'aide à la décision : il n'est pas possible de transférer directement l'une à l'autre. D'une part, la production de connaissances impose un appareil méthodologique élaboré et soumis à la critique des pairs, processus qui ne s'impose pas aux opérateurs privés du marché. D'autre part, les connaissances ainsi produites, fussent-elles fiables, ne sauraient être directement reversées dans un outil d'aide à la décision sans distinguer ce qui relève du droit (critères légaux de décision) et ce qui relève des biais constatés dans les pratiques habituelles des juges. Si la production de connaissances fiables constitue un préalable indispensable – et nous venons de montrer que cette fiabilité reste à démontrer – elle n'est donc pas suffisante. On ne peut donc qu'appeler de nos vœux une régulation des outils mis à la disposition des professionnels26. Il n'en reste pas moins que les analyses de contentieux et leur développement attendu, lié à celui des analyses algorithmiques de contenu, pourrait abouvir à mieux connaître le fonctionnement de la justice, si tant est que les chercheurs se saisissent de cet objet.

## BIBLIOGRAPHIE

Les adresses Internet citées dans cet article ont été consultées le 25 novembre 2024.

ARCHIVES DE PHILOSOPHIE DU DROIT, 2018, La justice prédictive, tome 60, Paris, Dalloz

BELMOKHTAR Z., MANSUY J., 2016, *Infostat Justice*, n° 144

CADIET L., 2017, *L'open data des décisions de justice*. Mission d'étude et de préfiguration sur l'ouverture au public des décisions de justice, rapport à Madame la garde des Sceaux, [https://www.vie-publique.fr/files/rapport/pdf/184000019.pdf]

CADIET L., CHAINAIS C., SOMMER J.-M. (dir.), 2022, *La diffusion des données décision-
nelles et la jurisprudence, rapport remis
à la première présidente de la Cour de
cassation et au procureur général près
la Cour de cassation

COTTIN M., 2024, « Vers la standardisa-
tion dans la rédaction des décisions de
justice ? », dans I. SAYN, V. RIVOLLIER (dir.),
Justice et numérique, quels (r)apports ?,
Chambéry, Presses universitaires Sa-
voie Mont Blanc

COUR DE CASSATION, 2024, « Quelle juris-
prudence à l'ère des données judiciaires
ouvertes ? Actes du colloque du 27 no-
vembre 2023 », La semaine juridique.
Édition générale, supplément au n° 7-8

DESCHAMPS M., MANSUY J., JEANDIDIER B., 2022, « Les décisions des juges sont-elles influencées par la météo ? Application aux décisions en matière de divorce en France », [https://shs.hal.science/hal-03437622v1]

DUMOULIN L., 2023, « Les dispositifs algo-
rithmiques de traitement et d'analyse
des décisions de justice. Quelques
lignes de structuration de la contro-
verse sur la justice prédictive », dans I.
SAYN, V. RIVOLLIER (dir.), *Justice et numé-
rique, quels (r)apports ?, Chambéry,
Presses universitaires Savoie
Mont Blanc

DUMOULIN L., 2022, « De quoi la “justice prédictive” est-elle le nom ? Algorithmes, décision et jugement », HDR, Université Paris-Saclay, [https://shs.hal.science/tel-04227420]

FRÉCHET M., CHANUT O. (dir.), 2020, Les conflits judiciaires dans les relations de franchise, rapport, Mission de recherche Droit et Justice

GIRARD-CHANUDET C., 2023, La justice al-
gorithmique en chantier : sociologie du

travail et des infrastructures de l'intelli-
gence artificielle, thèse, Paris, EHESS

JEANDIDIER B., 2023, « L'hétérogénéité des décisions de justice réduit leur prévisibilité », dans I. SAYN, V. RIVOLLIER (dir.), *Justice et numérique, quels (r)apports ?, Chambéry, Presses universitaires Savoie Mont Blanc

JEANDIDIER B., RAY J.-Cl., MANSUY J., 2020, « Analyses quantitatives de décisions de justice en matière de prestation compensatoire (PC) dans une perspective de justice prédictive », [https://shs.hal.science/hal-02973071/]

LES CAHIERS DE LA JUSTICE, 2019, Dossier « Les défis de la justice numérique », n° 2

MASSEIN A., 2023, « La reconnaissance automatique de la jurisprudence au sein des décisions de justice : exploration des potentiels au travers d'un cas pratique », dans I. SAYN, V. RIVOLLIER (dir.), *Justice et numérique, quels (r)apports ?, Chambéry, Presses universitaires Savoie Mont Blanc

PRZYGODZKI-LIONET N., 2012, *Psychologie et justice. De l'enquête au jugement*, Paris, Dunod

SAYN I., 2023, « L'accès aux documents issus de l'activité des autorités publiques dans le monde du droit et de la justice », dans I. SAYN, V. RIVOLLIER (dir.), *Justice et numérique, quels (r)apports ?, Chambéry, Presses universitaires Savoie Mont Blanc

SAYN I., BOURREAU-DUBOIS C. (dir.), 2017, *Le traitement juridique des conséquences économiques du divorce. Une approche économique, sociologique et juridique de la prestation compensatoire*, Bruxelles, Bruylant
SAYN I., PERROCHEAU M. (dir.), 2019, *Les ba-rèmes (et autres outils techniques d'aide à la décision) dans le fonctionnement de la justice*, rapport, Mission de re-cherche Droit et Justice

SAYN I., RIVOLLIER V. (dir.), 2023, *Justice et numérique, Quels (r)apports ?*, Chambé-ry, Presses universitaires Savoie Mont Blanc

SERVERIN É., 2009, « Plaidoyer pour l'ex-haustivité des bases de données des

décisions du fond (à propos de l'ouver-ture à la recherche de la base JURI-CA) », Dalloz, p. 2882-2887

SERVERIN É., 2004, « V°- Barème », dans L. CADIET (dir.), *Dictionnaire de la justice*, Paris, PUF

SERVERIN É., 1993, « Juridiction et juris-prudence : deux aspects des activités de justice », Droit et société, n° 25, p. 339-349

## NOTES

1. Art. 1440 et suiv. du Code de procédure civile.

2. Pour un tableau des dispositions établissant des exceptions à la publicité des décisions rendues en matière civile et pénale, voir Cadiet (2017, An-nexes 1 et 2).

3. Soit près de 3 millions de décisions par an pour le seul ordre judiciaire.

4. La pseudonymisation est définie comme « le traitement de données à ca-ractère personnel de telle façon que celles-ci ne puissent plus être attri-buées à une personne concernée précise sans avoir recours à des informa-tions supplémentaires », ces informations supplémentaires pouvant être conservées séparément et de façon sécurisée pour garantir l'absence ulté-rieure de ré-identification (art. 4 du Règlement général sur la protection des données).

5. Pour les décisions judiciaires, voir la base Judilibre sur le site de la Cour de cassation.

6. Sur les débats qui ont eu lieu, notamment sur le périmètre de l'anonymi-sation des décisions et le retrait des noms de juges, voir Cadiet (2017).

7. On tiendra ici pour négligeables les décisions du fond proposées par Lé-gifrance, dans la mesure où elles sont peu nombreuses et que leur sélection est aléatoire, empêchant toute espèce de représentativité.

8. Circulaire NOR JUSB1833465N du 19 décembre 2018 relative au traitement des demandes de copie de décisions judiciaires émanant de tiers à l'ins-
tance, [https://www.justice.gouv.fr/sites/default/files/migrations/portail/bo/2018/20181231/JUSB1833465N.pdf].

9 Pour une présentation et une analyse de ces débats, voir Dumoulin (2023) ; voir également Cadiet, Chainais, Sommer (2022).

10 En matière de prestation compensatoire par exemple, qui constitue sans doute l'exemple le plus extrême, on compte au moins 11 barèmes différents proposés aux praticiens pour les aider à fixer un montant.

11 Sur la distinction entre barème construit et barème constaté, voir Serverin (2004).

12 Pour une présentation approfondie des débats doctrinaux suscités par l'émergence réelle ou supposée d'une justice prédictive, voir Dumoulin (2022).

13 L'utilisation marketing de l'expression « intelligence artificielle » rend son usage parfois délicat. On peut retenir en dernière analyse qu'il s'agit des techniques numériques qui relèvent de l'apprentissage machine, mais elle est aussi souvent employée pour désigner des techniques « simplement » algorithmiques. C'est la raison pour laquelle, dans la suite de cet article, on préférera utiliser l'expression « analyse algorithmique de décisions » ou « extraction algorithmique de données ».

14 Voir sur ce point les travaux de N. Przygodzki-Lionet, notamment Psychologie et justice. De l'enquête au jugement (Przygodzki-Lionet, 2012).

15 Voir Sayn, Rivollier (2023).

16 Voir [https://anr.fr/Projet-ANR-12-BSH1-0002].

17 Ibid.

18 Art. 270, al. 2, C. civ. : « L'un des époux peut être tenu de verser à l'autre une prestation destinée à compenser, autant qu'il est possible, la disparité que la rupture du mariage crée dans les conditions de vie respectives [...]. »

19 Les articles 270 et 271 C. civ. proposent aux juges des critères de décision nombreux, non hiérarchisés, non exhaustifs et ambigus en ce qu'ils oscillent entre logique alimentaire (assurer des ressources minimales), logique de compensation (compenser la disparité des revenus) et logique indemnitaire (compenser le manque à gagner de l'épouse lié à son investissement domestique).

20 Disposer d'un tel corpus de décisions de première instance, représentatif sur le plan national, était alors exceptionnel et, en attendant l'achève-
ment du projet de mise à disposition des décisions, l'est toujours. Le site Ju-
dilibre propose aujourd'hui les décisions rendues par neuf tribunaux judi-
ciaires, sachant que le calendrier prévu par l'arrêté du 28 avril 2021 pré-
voyait la mise en disposition de l'ensemble des décisions des tribunaux judi-
ciaires au 30 septembre 2025. Ce calendrier a fixé les dates du 30 juin 2023
et du 31 décembre 2024 s'agissant des décisions rendues respectivement
par les conseils de prud'hommes et les tribunaux de commerce, mais le
chantier est toujours en cours.

21 Art. 270 C. civ.

22 Constitutive d'archives, cette autorisation est donc passée par le respon-
sable des archives du ministère de la Justice sans l'implication duquel la réa-
lisation de ce projet n'aurait sans doute pas été possible.

23 Comment concilier la référence aux besoins de l'époux et aux ressources
de l'autre, qui renvoie à une logique alimentaire (art. 271, al. 1, C. civ.) avec la
notion de compensation de la disparité des conditions de vie après le di-
vorce (art. 270, al. 2, C. civ.) ? Sur les différentes logiques à l'œuvre, voir
Sayn, Bourreau-Dubois (2017).

24 Bien d'autres hypothèses peuvent être testées. Par exemple, et de façon plus iconoclaste : Deschamps, Mansuy, Jeandidier (2022).

25 Pour rappel, les données à caractère personnel ont été retirées d'une dé-
cision pseudonymisée, sans pour autant que celle-ci ne puisse plus être at-
tribuée aux parties concernées, à partir d'informations supplémentaires et
de croisement de données. C'est la raison pour laquelle on évite le terme
d'« anonymée », qui suppose l'impossibilité de réattribution ultérieure.

26 On remarquera cependant que des outils existent déjà, assez nombreux
et très utilisés, sans aucune régulation. Peut-être l'arrivée sur le marché
d'outils issus des analyses algorithmiques va-t-elle faire évoluer le débat
(Sayn, Perrocheau, 2019).

RÉSUMÉ

Français

La loi du 7 octobre 2016 a suscité ou renforcé des projets d'exploitation des décisions de justice, étendus aux décisions de première instance annoncées comme accessibles et gratuites dans un avenir relativement proche. C'est dans ce mouvement qu'ont été développés des outils algorithmiques d'analyse de décisions. Bien avant ce mouvement, le monde de la recherche sur le
droit avait développé des analyses de contentieux, restées assez peu nom-
breuses. Les questions posées sont variables : quels sont les demandeurs et
défendeurs, quelle partie obtient gain de cause, quels arguments sont déve-
loppés, quelles solutions sont retenues... ? Ces travaux produisent des
connaissances nouvelles sur l'activité juridictionnelle à partir de l'analyse
des (ir)régularités contenues dans les décisions. On peut également envisa-
ger que ces régularités soient utilisées pour fournir des outils d'aide à la dé-
cision. Dès lors que ces outils prétendent influencer les décisions de justice,
leur fiabilité devait être interrogée. Par ailleurs, le recours à ces méthodes
dans une perspective de connaissance, séduisant, devait être testé. C'est à
ces préoccupations qu'a tenté de répondre le groupe de travail interdiscipli-
naire « e-Juris » et ce sont ses conclusions, très mitigées, que cet article re-
trace.

INDEX

Mots-clés

jurimétrie, décisions de justice, contentieux, extraction algorithmique de données, intelligence artificielle

AUTEUR

Isabelle Sayn

Directrice de recherche au CNRS, Centre Max Weber (UMR 5283, CNRS, ENS Lyon, Université Jean Monnet Saint-Étienne, Université Lumière Lyon 2) ; isabellesayn@cnrs.fr