# Paléographie et deep-learning, introduction à l'Handwritten Text Recognition (HTR)

Valentin De Craene

► To cite this version:

Valentin De Craene. Paléographie et deep-learning, introduction à l'Handwritten Text Recognition (HTR). Master. séminaire de paléographie médiévale, Université de Lille, France. 2023. hal-04357337

HAL Id: hal-04357337

https://hal.science/hal-04357337v1

Submitted on 21 Dec 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
Introduction

L'HTR, pourquoi
et pour qui ?
Etat des lieux et
principes
généraux

Mettre en oeuvre
l'HTR :
développement
d'une chaîne de
traitement

Les limites de
l'HTR et ses
développement à
venir

Bibliographie

Introduction

● Mai 2022, HTR United : + 220 000 lignes / + 4 millions caractères

● Engouement passager ou maturité d'une (nouvelle) technologie ?

<figure><img src="image_2.png" /><figcaption>Figure – Logo de l'initiative HTR-United</figcaption></figure>

<figure><img src="image_3.png" /></figure>
## Introduction

L'HTR, pourquoi et pour qui ?

Etat des lieux et principes généraux

Mettre en oeuvre
l'HTR :
développement
d'une chaîne de
traitement

Les limites de
l'HTR et ses
développement à
venir

## Bibliographie

# Handwritten Text Recognition (HTR)

Processus, outils et données produites dans le cadre de la transcription automatisée d'un texte manuscrit à l'aide d'une intelligence artificielle

## 2 composantes majeures :

* Transcription « automatisée » des documents patrimoniaux = processus

* Modèles de transcription (intelligence artificielle) = outil

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>
## Introduction

* L'HTR, pourquoi et pour qui ?
* Etat des lieux et principes généraux

* Mettre en oeuvre l'HTR :
* développement d'une chaîne de traitement

* Les limites de l'HTR et ses développement à venir

Bibliographie

Le développement de l'HTR implique-t-il de reconsidérer la place du paléographe dans l'édition et le traitement des sources manuscrites ?

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /></figure>

<figure><img src="image_14.png" /></figure>

<figure><img src="image_15.png" /></figure>
Principes généraux et définitions

Pourquoi et dans quelle mesure recourrir à l'HTR ?

* Échelle du chercheur : transcription massive + démarche d'ouverture des données de la recherche.

* Échelle d'un projet : « passage à l'échelle » de la phase de production et acquisition de la donnée.

* Échelle de l'ESR : mutualiser les corpus + ontologies communes + transparence et reproductibilité des données produites.

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>
## Paléographie et deep-learning

### Introduction

### L'HTR, pourquoi et pour qui ?
Etat des lieux et principes généraux

### Mettre en oeuvre l'HTR :
développement d'une chaîne de traitement

### Les limites de l'HTR et ses développement à venir

### Bibliographie

<figure><img src="image_22.png" /><figcaption>Figure – Workflow général d'un processus d'HTR</figcaption></figure>

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>
## Introduction

L'HTR, pourquoi et pour qui ?

Etat des lieux et principes généraux

Mettre en oeuvre

l'HTR :

développement
d'une chaîne de
traitement

Les limites de

l'HTR et ses
développement à
venir

## Bibliographie

## Quelques notions essentielles :

### Machine Learning (intelligence artificielle)

Permettre aux ordinateurs d'améliorer leurs performances dans la réalisation d'une tâche répétitive + effets socio-culturels de ses technologies.

### Apprentissage supervisé

Méthode d'entraînement par annotation (ou transcription) massive des données en entrée.

### Deep learning (apprentissage profond)

Branche du machine learning apprentissage par modélisation d'un réseau neuronal + haut niveau d'abstraction.

<figure><img src="image_26.png" /></figure>
# De l'OCR à l'HTR : historiciser l'intelligence artificielle

## Occular Character Recognition (OCR) :

* Reconnaissance caractères par caractères

* Massification dans les années 90. De nos jours : plafond de verre. Outils libres et gratuits très puissants : Tesseract.

## Handwritten Text Recognition :

* Changement de paradigme car prédiction (vectorisation) et segmentation par zone (double modèle de prédiction)

* Début années 2010 : apport des GAFAM à l'IA. Spécialisation des technologies et ouverture aux données du patrimoine. 2016 : Transkribus, puis 2019 : e-Scriptorium

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

<figure><img src="image_32.png" /></figure>
Cf. travaux de Th. Poibeau (DR CNRS, LATTICE) :

* 1949 : John McCarthy, distinction fondamentale entre processus d'apprentissage artificiel et « intelligence ».

* 1950-60 : engouement autour de la « cybernétique » et interdisciplinarité.

* 1970-80 : 1e hiver de l'IA.

* 1980' : renouveau avec développement des premières BDD relationnelles massives.

* 1990'-2010 : 2e hiver de l'IA car coût d'entrainement trop élevé.

* depuis 2010 : seconde renaissance avec apports des corpus massifs par les GAFAM + accroissement de la puissance de calcul disponible.

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>

<figure><img src="image_38.png" /></figure>
La recherche (française) à l'heure de l'HTR : état des lieux

* Édition de corpus : développement initial autour de la paléographie médiévale.

Test scores out-of-domain

<table><thead><tr><th></th><th>BnF, ms,<br>fr. 17229,<br>13th c.</th><th>BnF, ms,<br>fr. 185,<br>14th c.</th><th>BnF, NAF<br>6213,<br>15th c.</th><th>ALL</th></tr></thead><tbody><tr><td>Cortado</td><td>92.71%</td><td>92.07%</td><td>87.48%</td><td>90.95%</td></tr><tr><td>1.1.0<br>Bicerin</td><td>91.64%</td><td>91.34%</td><td>83.40%</td><td>89.23%</td></tr><tr><td>1.0.1<br>Bicerin</td><td>90.66%</td><td>88.45%</td><td>79.67%</td><td>86.50%</td></tr></tbody></table>

Example, Cortado model on BnF, NAF 6213

Retourna j'en par deuets loft et fen ont aux frêts du
conte baudem et luy diff qui venoit dentour la ville

conte baudoi. et luy dist qui uenoit dentour la ville

Figure – Modèle saint Martin (BnF fr 412) et son modèle Cremma-Lab, ENC

<figure><img src="image_39.png" /></figure>

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>

<figure><img src="image_42.png" /></figure>

<figure><img src="image_43.png" /></figure>

<figure><img src="image_44.png" /></figure>

<figure><img src="image_45.png" /></figure>
## Traitement massifs des données textuelles.

Introduction

L'HTR, pourquoi et pour qui ?

Etat des lieux et principes généraux

Mettre en oeuvre l'HTR : développement d'une chaîne de traitement

Les limites de l'HTR et ses développement à venir

Bibliographie

<figure><img src="image_46.png" /><figcaption>Figure – POPP Projet d'Océrisation des Recensements de la Population Parisienne (LARHRA - GED Condorcet)</figcaption></figure>

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /></figure>

<figure><img src="image_53.png" /></figure>

<figure><img src="image_54.png" /></figure>

<figure><img src="image_55.png" /></figure>
<figure><img src="image_56.png" /><figcaption>Figure 1. Venice, Marciana Library, Marc. Lat. XIV, 200 (4336), f. 1v; regions of interest coloured by type.</figcaption></figure>

<figure><img src="image_57.png" /><figcaption>Figure 2. Venice, Marciana Library, Marc. Lat. XIV, 200 (4336), f. 1v; baseline recognition.</figcaption></figure>

<figure><img src="image_58.png" /></figure>

<figure><img src="image_59.png" /></figure>
Préservation et étude d'écritures rares ou anciennes.

<figure><img src="image_60.png" /><figcaption>Figure – Projet CHAMDOC (préservation du cham ancien, Vietnam, Vle au XVIIe siècle</figcaption></figure>

<figure><img src="image_61.png" /></figure>
## De la segmentation à la reconnaissance des écritures : le cas d'e-Scriptorium

* Utilisation du logiciel e-Scriptorium sur les serveurs de l'INRIA.

* e-Scriptorium (2019) : développement au sein de l'ESR à partir du modèle d'algorithme Kraken (disponible sous forme de package Python).

* Code libre d'accès sur Github et possibilité de déploiement local (ligne de commande) ou sur d'autres serveurs (local host ou serveur distant).

* Exemple à partir des registres du bailliage de Lille (1429-1441) par Hubert Ghommer (ADN, B 6237 et suivants).

https://traces6.paris.inria.fr/

<figure><img src="image_62.png" /></figure>
Au delà de la transcription, ouvrir les données de la recherche

* Partager et mutualiser les modèles entrainés de transcription + mettre à disposition des vérités de terrain : cf. initiative HTR-United (https://htr-united.github.io/).

* Contexte des plans nationaux pour la Science Ouverte (2018, renouvellement en 2022) : ouverture des publications financées + obligation d'ouverture des données et des codes informatiques produits.

<figure><img src="image_63.png" /></figure>

<figure><img src="image_64.png" /></figure>

<figure><img src="image_65.png" /></figure>

<figure><img src="image_66.png" /></figure>

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>
Les coûts multiples de l'HTR et de l'IA appliquée aux SHS

* Coût en terme de puissance de calcul et enjeux de mutualisation des GPU.

* Coût humain et social : dangers des dérives du digital labor (Antonio Casilli).

<figure><img src="image_69.png" /></figure>

Figure – A. Casilli, *En attendant les robots : Enquête sur le travail du clic*, Paris, Seuil, 2019

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>
HTR et « lecture distante » : vers un biais de numérisation ?

Un renouvellement du *distant reading* (cf. Franco MORETTI, “Style, Inc. Reflections on Seven Thousand Titles (British Novels, 1740–1850)”, *Critical Inquiry*, 36-1 (2009), p. 134-158).

Cependant, biais de numérisation des corpus :

* Constitution et numérisation de corpus invisibilisent certaines thématiques, méthodes ou groupes socio-culturels (cf. Ian Milligan, "Illusionary Order : Online Databases, Optical Character Recognition, and Canadian History, 1997-2010", *Canadian Historical Review*, n° 94 (4), décembre 2013, p. 540-569).

* La numérisation ne remplace pas une campagne réfléchie et suivie d'archivage numérique.

<figure><img src="image_76.png" /></figure>
Introduction

L'HTR, pourquoi
et pour qui ?

Etat des lieux et
principes
généraux

Mettre en oeuvre
l'HTR :
développement
d'une chaîne de
traitement

Les limites de
l'HTR et ses
développement à
venir

Bibliographie

En guise de conclusion :

* Déplacement du rôle du paléographe en amont du traitement des sources.

* Nouveau rôle de contrôle et entrainement des modèles.

* Un besoin de structuration institutionnelle (rôle de l'IRHT, du Cremma-Lab et de l'ENC?) et de « décentralisation paléographique » ?

<figure><img src="image_77.png" /></figure>
CAMPS, Jean-Baptiste et PERREAUX, Nicolas, Reconnaissance optique des caractères et des écritures manuscrites - Projet E-NDP, [En ligne :
https://outils.lamop.fr/lamop/mp3/E-NDp/JBC-NP e-NDP OCR-et-HTR.pdf].

CHAGUÉ, Alix, CLÉRICE, Thibault et ROMARY, Laurent, HTR-United : Mutualisons la vérité de terrain! , 2021, [En ligne : https://hal.archives-ouvertes.fr/hal-03398740].

CHAGUÉ, Alix, Comment faire lire des griboillis à mon ordinateur ? , Tuto@Mate, 2021, [En ligne : https://matte-shs.cnrs.fr/actions/tutomate/tuto31-lire-des-griboillis-chague/].

CHAGUÉ, Alix, Prendre en main eScriptorium, LECTAUREP, [En ligne :
https://lectaurep.hypotheses.org/documentation/prendre-en-main-ESCRIPTORIUM].

CHAGUÉ, Alix et CHIFFOLEAU, Floriane, An accessible and transparent pipeline for publishing historical egodocuments, WIP21 - What's Past is Prologue : The NewsEye International Conference, Virtual, Austria, 2021, [En ligne : https://hal.archives-ouvertes.fr/hal-03173038].

CHAGUÉ, Alix, CLÉRICE, Thibault et CHIFFOLEAU, Floriane, HTR-United, a centralization effort of HTR and OCR ground-truth repositories mainly for French languages, 2021, [En ligne : https://github.com/Paul-Meyer/htr-united] DUVAL, Frédéric, Transcrire le français médiéval : de l'Instruction de Paul Meyer à la description linguistique contemporaine, Bibliothèque de l'École des chartes, vol. 170 / 2, Persée - Portail des revues scientifiques en SHS, 2012, p. 321-342.

Gabay, S., Camps, J.-B., Pinche, A., and Jahan, C. (2021), SegmOnto : common vocabulary and practices for analysing the layout of manuscripts (and more), 16th International Conference on Document Analysis & Recognition (ICDAR 2021), Lausanne, Switzerland.

Kahle, P., Colutto, S., Hackl, G., und Mühlberger, G. (2017), "Transkribus - A Service Platform for Transcription, Recognition and Retrieval of Historical Documents", 14th IAPR International Conference on Document Analysis and Recognition (ICDAR), 2017, volume 04, pages 19-24.

KIESSLING, Benjamin, Kraken - an Universal Text Recognizer for the Humanities , Utrecht, CLARIAH, 2019, [En ligne : https://dev.clariah.nl/files/dh2019/boa/0673.html].

KIESSLING, B., TISSOT, R., STOKES, P., [et al.], EScriptorium : An Open Source Platform for Historical Document Analysis , 2019 International Conference on Document Analysis and Recognition Workshops (ICDARW), vol. 2, 2019, p. 19.

PINCHE, Ariane, CLÉRICE, Thibault, HTR-United, cremMAL : medieval 1.0.1 Bicerin (DOI), Zenodo, 2021, [En ligne : https://zenodo.org/record/5235186].

PINCHE, Ariane, Projet CREMMALAB, CREMMALAB, [En ligne :
https://cremmalab.hypotheses.org/23].

<figure><img src="image_78.png" /></figure>