# Présentation du projet Lectaurep (Lecture automatique de répertoires)

Alix Chagué, Aurélia Rostaing

<figure><img src="image_1.png" /></figure>

To cite this version:

Alix Chagué, Aurélia Rostaing. Présentation du projet Lectaurep (Lecture automatique de réper-
toires). Atelier sur la transcription des écritures manuscrites - BnF DataLab, Jan 2021, Paris, France.
hal-03122019

HAL Id: hal-03122019

https://hal.science/hal-03122019v1

Submitted on 26 Jan 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# LECTAUREP

## Lecture automatique
de répertoires de notaires

Datalab - BnF - 26/01/2021

Alix CHAGUÉ - Inria - alix.chague@inria.fr

Aurélia ROSTAING - Archives nationales - aurelia.rostaing@culture.gouv.fr
<figure><img src="image_3.png" /></figure>

# LECTAUREP en quelques mots

## Lecture et exploitation de registres de notaires
assistées par apprentissage machine

<table><thead><tr><th rowspan="2">N°<br>DU<br>RÉPERTOIRE</th><th rowspan="2">DATES<br>DES<br>ACTES</th><th colspan="2">NATURE ET ESPÈCE<br>DES ACTES :</th><th rowspan="2">NOMS, PRÉNOMS ET DOMICILES DES PARTIES<br>INDICATIONS, SITUATIONS ET PRIX DES BIENS</th><th colspan="2">RELATION<br>DE<br>l'Enregistrement.</th></tr><tr><th>EN BREVETS</th><th>EN MINUTES</th><th>DATES</th><th>DROITS</th></tr></thead><tbody><tr><td>733</td><td>11</td><td></td><td>Obligation</td><td>An 1915, mois d'octobre</td><td></td><td></td></tr><tr><td>734</td><td>11</td><td></td><td></td><td>Bourgoing (de) Barou, Kanfredi Amore Paul alenis Camille, lune<br>adélo de Salbre, ép. de R. Marbeuf 24 à Arthur de Wattier, R de la Plume<br>13 à Bourguigne, 14e, de 10000 f, proof de 3 ans à 5/8</td><td>12</td><td>125</td></tr><tr><td>735</td><td>12</td><td>Néti reclus<br>Procuration</td><td>Notoriété</td><td>Darbois Léon Ludovic, Hyd, Bayette 140, décédé le 7 Nov 1914</td><td>12</td><td>3 79</td></tr><tr><td>736</td><td>12</td><td></td><td></td><td>Billet Louis Constant, Nuvoleo Bd. Angerle, g. de l. 7 av. de l'ancienne<br>Rouzel, Eugene Albert et Henriette Marie Calné, au Niel, en Bl. pr. vendre</td><td>13</td><td>3 76</td></tr><tr><td>737</td><td>12</td><td></td><td>Cont. de Mariage</td><td>Brisbeau, Emile, Clavel, 1 veu de Louise Valentine, Gesffroy et Marie Rey<br>au même lieu, V. Charles, Edmond Rose, Commissaire à l'arчет</td><td>14</td><td>3 75</td></tr><tr><td>738</td><td>12</td><td></td><td>Cont. de Mariage</td><td>Moyvly, Marie Louis, Alphonse, duc de l'ecclésie, Gop, H. de Alpys, et Frangoise<br>Nord, L'Isolite, Bertrand, 7, du crois, 5, Regline, total</td><td>14</td><td>104 98</td></tr><tr><td>739</td><td>12</td><td></td><td>Cont. de Mariage</td><td>Guilleve, yves, auguste, Marie, Partial, à Courbeville (senie) Jean de<br>Courbeville, 61, et Louise Vincent à Courbeville, 7 de Béton, 148, Joratot, de Brie</td><td>14</td><td>291 38</td></tr><tr><td>740</td><td>12</td><td></td><td>Depot Judiciaire</td><td>Bony, Hachilde, Modeste, edel R. du Chevouclier de la Barre, 8, du test. olog, 3 août/9</td><td>16</td><td>114 25</td></tr><tr><td>741</td><td>12</td><td></td><td></td><td>Nierhoun, Blanche, Louise, Jiffert, ép. Louis, Eugene, quai d'Aimant, Michel</td><td>23</td><td>9 38</td></tr><tr><td>742</td><td>14</td><td>Dechar de Mandal</td><td></td><td>15, du test. olog, du 27, sept. 1915</td><td>23</td><td>9 38</td></tr></tbody></table>
# LECTAUREP en quelques chiffres

- Un ensemble physiquement cohérent (~ 2000 registres préimprimés, ~ 1803-1944), échantillonné en deux jeux d'images numériques

- Ecritures, abréviations et mises en page nombreuses et variées (des milliers de mains)

- Une variété de supports numériques

<table><thead><tr><th>N°<br>du<br>Rép.</th><th>Dates<br>des<br>Actes.</th><th>NATURE ET ESPÈCE<br>DES ACTES</th><th>NOMS, PRÉNOMS ET DOMICILES DES PARTIES.</th><th>RELATION<br>de<br>l'enregistrement.</th></tr><tr><td></td><td></td><td>EN BREVETS.</td><td>INDICATIONS, SITUATIONS ET PRIX DES BIENS.</td><td>Dates, Droits.</td></tr></thead><tbody><tr><td></td><td></td><td></td><td>An 1850 mois de Janvier.<br>bac. n° 109, à Aglau, Gérray, son père<br>à l'effet de transférer une cote de 85 à<br>son fils.</td><td>S.C.</td></tr></tbody></table>

<table><thead><tr><th>N°<br>du<br>REP.</th><th>DATES<br>DES<br>ACTES</th><th>NATURE ET ESPÈCE<br>DES ACTES :</th><th>NOMS, PRÉNOMS ET DOMICILES DES PARTIES</th><th>RELATION<br>de<br>l'Enregistrement.</th></tr><tr><td></td><td></td><td>EN BREVETS</td><td>INDICATIONS, SITUATIONS ET PRIX DES BIENS.</td><td>DATES, DROITS</td></tr></thead><tbody><tr><td>186</td><td>5</td><td>1er Alin 1919</td><td>An 1919, mois de Mar.</td><td>6 3.75</td></tr><tr><td>189</td><td>5</td><td>1er Alin 1919</td><td>Carnoy n° 12, rue du Lycée, École belge de Paris, rue de l'École.</td><td></td></tr></tbody></table>

<table><thead><tr><th>N°<br>du<br>RÉP.</th><th>NATURE ET ESPÈCE<br>DES ACTES:</th><th>NOMS, PRÉNOMS ET DOMICILES DES PARTIES.</th><th>RELATION<br>de<br>l'Enregistrement.</th></tr><tr><td></td><td></td><td>INDICATIONS, SITUATIONS ET PRIX DES BIENS.</td><td>DATES, DROITS.</td></tr></thead><tbody><tr><td>107</td><td>Considérément à Mariage</td><td>An 1850 mois de Mai<br>Conte de Gélois par des contenant Emar<br>Français mais (guillaume) / Chambéllon du<br>Pas du Day, et n'a Paris, lue de Lendre, 13<br>en faveur de son fils à l'issue chérishe de Gélois</td><td>10 2.40</td></tr></tbody></table>

<table><thead><tr><th>N°<br>du<br>RÉP.</th><th>DATES</th><th>NATURE ET ESPÈCE<br>DES ACTES :</th><th>NOMS, PRÉNOMS ET DOMICILES DES PARTIES</th><th>RELATION<br>de<br>l'Enregistrement.</th></tr><tr><td></td><td></td><td>EN BREVETS</td><td>INDICATIONS, SITUATIONS ET PRIX DES BIENS.</td><td>DATES, DROITS</td></tr></thead><tbody><tr><td>312</td><td>25</td><td></td><td>An 1938, mois d'avril.</td><td>25</td></tr><tr><td>313</td><td>27</td><td></td><td>Petit chambéllon N° 12, rue du Lycée, École belge de Paris, rue de l'École.</td><td>27</td></tr><tr><td>314</td><td>27</td><td></td><td>École de l'École de Paris, rue de l'École.</td><td>27</td></tr></tbody></table>
# Plan B : réduire et simplifier le corpus

Contrats de mariage de négociants (41 registres, 1829-1934) ; Me Bronod (9 reg., 1719-1765) : écriture homogène et soignée, moins abrégée, plus aérée

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>
# Développements autour d'eScriptorium

TRACES6

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

déploiement

JAN 2021

<figure><img src="image_8.png" /></figure>

fonctionnalités déjà disponible dans eScriptorium

<figure><img src="image_9.png" /></figure>

contributions de LECTAUREP à eScriptorium

<figure><img src="image_10.png" /></figure>

solutions logicielles développées hors eScriptorium

<figure><img src="image_11.png" /></figure>

serveur

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /></figure>

KaMI :

un dashboard pour évaluer les performances d'un modèle sur un ensemble de données

<figure><img src="image_14.png" /></figure>

Aspyre :

un adaptateur pour la compatibilité des données à importer avec eScriptorium lorsque c'est nécessaire
# Visualisation de la chaîne complète

<figure><img src="image_15.png" /></figure>

Images
(SIV via sys. local
ou via IIIF)

<figure><img src="image_16.png" /></figure>

consultation
simple avec
recherche floue
ou exacte

<figure><img src="image_17.png" /></figure>

eScriptorium
(segmentation,
transcription,
correction)

<figure><img src="image_18.png" /></figure>

Vérité de terrain
mise à disposition
(via HTR-United)

<figure><img src="image_19.png" /></figure>

Export XML
PAGE et/ou
ALTO et/ou
TEI

<figure><img src="image_20.png" /></figure>

Transcription mise
à disposition de la
communauté pour
édition numérique

<figure><img src="image_21.png" /></figure>

transformation
vers XML EAD
ou texte simple

<figure><img src="image_22.png" /></figure>

Versement
dans la SIV
des AN

<footnote>*HTR-United est un projet de Commons pour les données d'entraînement pour l'HTR : https://htr-united.github.io/</footnote>
# Stratégie d'entraînement des modèles

## Segmentation :

* Un modèle générique opérationnel (lectau1_8) à affiner pour les cas particuliers (écritures serrées)

## Transcription :

*On ne peut pas entraîner un seul modèle pour l'ensemble du corpus!*

* Un modèle générique (objectif : 20 % CER max.)

* Un affinage du modèle générique pour chaque nouvelle main d'écriture ou quand aucun modèle ne fonctionne (objectif : 10 % CER max.)

L'objectif est de réduire la quantité de données nécessaire pour l'entraînement d'un modèle spécifique à chaque écriture.

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>
# Production des données d'entraînement

La performance du modèle dépend de la qualité des données d'entraînement :

- On ne peut pas se contenter d'une transcription / image : il faut **plusieurs annotateurs** pour une même image, et une comparaison des transcriptions !

- Il est nécessaire d'établir **un guide d'annotation** et d'identifier les points de désaccord des annotateurs !

- Il faut **former** les annotateurs aux règles d'annotation qui ont été décidées

- Il faudra **former** les contributeurs à ces règles d'annotation

<table><thead><tr><th>mainlevée</th><th>Mainlevée</th><th>mainlevée</th><th>mainlevée</th><th>mainlevée</th><th>mainlevée</th><th>mainlevée</th></tr></thead><tbody><tr><td>de sa fille<br>mineure, p^r<br>accepter d^on<br>à t. dep.ant à<br>celle ci, par</td><td>de sa fille<br>mineure, p^r<br>accepter d^on<br>à ts dep.ant à<br>celle ci, par</td><td>de sa fille<br>mineure, p^r<br>accepter d^on<br>à tr dep. ant à<br>celle ci, par</td><td>de sa fille<br>mineure, XX<br>accepter à XX<br>a celle ci, par</td><td>de sa fille<br>mineure, pr<br>accepter don<br>à tr dep. ant<br>àfor elle ci,<br>par</td><td>de sa fille<br>mineure, p^r<br>accepter d^on<br>à tr dep. ant à<br>celle ci, par</td><td>de sa fille<br>mineure, p^r<br>accepter d^on<br>à tr dep. ant à<br>ts dep.ant à<br>celle ci, par</td></tr><tr><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td><td>(suite du<br>13.10.23)</td></tr></tbody></table>

Extrait des résultats d'une expérimentation permettant d'illustrer les désaccords insoupçonnés !
# Production des données d'entraînement
(segmentation & transcription)

* Commencée avec le premier confinement, en interne, surtout en alternance d'autres tâches (4 agents, EPT : ~ 1,5 ; correction de la segmentation de 300 pages du golden set ; transcription de 700 pages du golden set : ~ 10/15 mains, ~ 1830/1836/1850/1901/1907, 6 notaires, 2 études);

* Poursuivie à partir du 16/09, en interne, surtout en discontinu (415 pages du random set par 5 agents, EPT 2 ; + correction de la segmentation et transcription de 254 doubles pages de registres de contrats de mariage par 8 personnes, EPT 2 ; commencé : Bronod, années 1740, 1 agent);

* Une équipe aux compétences hétérogènes, avec de grands débutants et des Lectaurépiens plus chevronnés : une préfiguration de la phase participative, sans les outils d'accompagnement et de formation requis;

* Des conventions qui doivent être évolutives en raison de la diversité des systèmes d'abréviations du corpus;

* Un effet d'entonnoir à la phase cruciale de contrôle, correction et validation des données de vérité terrain (segmentation, transcription).
# Exploration des transcriptions

* Un outil de recherche dans le texte intégral (exacte, floue ou par mots-clefs)

* Reconstitution des unités logiques et des informations (unité de l'acte, dates, sommes)

* Annotation des entités nommées, adresses, etc., alignement et visualisation

<figure><img src="image_25.png" /></figure>

\#207 - acte : 22 (avril 1927) - enregistrement : 27 (avril 1927)

Dépôt : Carlton, d'un certificat de coutume délivré par Pierre Pellerin, avocat au bureau de Londres, demeurant à Paris 56 rue La Boëtie, concernant la SSon de Walter) Sujet anglais.

45(.00)
# Objectifs et besoins de Lectaurep

* Minimiser les corrections manuelles (temps de correction < temps de saisie manuelle) pour optimiser la recherche floue -> outils d'analyse et métriques fiables

* **CER rectifié** : apprécier le taux d'erreur par caractère en le réduisant à sa plus simple expression ($0 \neq 1$ ; A (ou a, a, à, á, â) $\neq$ B (ou b)) afin d'évaluer l'efficacité d'une recherche floue (patronymes, métiers, mots matière...);

* **CER + WER** : disposer des deux valeurs pour évaluer la répartition des erreurs (concentrée sur certaines chaînes de caractères ou diffuses ?);

* **Brique participative + animation de communauté** : pour produire la vérité terrain (segmentation, transcription) nécessaire au projet;

* **Fonctionnalités** : copier-coller des segments et des contenus, faire des corrections en masse au vu de l'original (cf. Open Refine), indiquer les modèles dans le fichier alto...
# Premières hypothèses de Lectaurep

## Segmentation

- numérisation NB d'après microfilm ~ couleur d'après originaux ? (> HTR à la demande ?)

- pas d'inconvénient à partir d'une double page plutôt que de son découpage en deux pages

HTR : ?

<figure><img src="image_26.png" /></figure>
# Recommandations pour une gestion de projet d'HTR

Calibrer le projet en amont, de A à Z, pour le maîtriser.

<figure><img src="image_27.png" /></figure>

* **Corpus** : homogène, simple, limité (écritures, abréviations, mise en page et autres aspects matériels);

* **Suivi de projet** : campagne d'HTR ~ campagne de numérisation ? (récolement page à page, conventions - CCH faisant l'unanimité...);

* ☐ **RH** : équipe projet à TP, restreinte (?), formée et testée;

* 😁 **Matériel** : grand écran (voire deux grands écrans), surtout avec des doubles pages;

* **Logiciel** : utilisable en l'état, sans devoir développer des fonctionnalités supplémentaires;

* 🕒 **Calendrier du projet** : évaluer le temps d'obtention des **modèles** de segmentation/transcription/annotation sémantique, des données de vérité terrain en **testant** un échantillon représentatif éventuellement "maison" (segmentation, HTR manuels/automatiques, annotation ; temps de **formation**, de **correction**);

* 📉 **Données** (vérité terrain, modèles...) : **plan de gestion et de documentation** pendant et après leur production ; modalités de réutilisation.
# Enjeux interprofessionnels (GLAM)

* Mêmes problématiques, mêmes types de fonds (registres à colonne, mixtes - manuscrit / imprimé...)

* Documenter, formaliser et harmoniser les pratiques (grilles projet types à décliner ; référentiels et standards de segmentation et de transcription, nécessaires pour offrir des données interopérables à la paléographie computationnelle);

* Cartographier et documenter les projets et les supports d'HTR (logiciels, serveurs, corpus, financements, RH : Biblissima+, DIM MAP Cremma...);

* Écrire un manuel de référence sur l'HTR;

* Ecrire un guide *Ecrire un cahier des charges d'HTR*.