# Gallic(orpor)a: Extraction, annotation et diffusion de l'information textuelle et visuelle en diachronie longue

Benoît Sagot, Laurent Romary, Rachel Bawden, Pedro Javier Ortiz Suárez, Kelly Christensen, Simon Gabay, Ariane Pinche, Jean-Baptiste Camps

► To cite this version:

Benoît Sagot, Laurent Romary, Rachel Bawden, Pedro Javier Ortiz Suárez, Kelly Christensen, et al. Gallic(orpor)a: Extraction, annotation et diffusion de l'information textuelle et visuelle en diachronie longue: Restitution des travaux. DataLab de la BnF: Restitution des travaux 2022, DataLab de la BnF, Dec 2022, Paris, France. hal-03930542

HAL Id: hal-03930542

https://hal.science/hal-03930542

Submitted on 9 Jan 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - NonCommercial - ShareAlike 4.0 International
License
B. Sagot<fnref n="1" />

L. Romary<fnref n="1" />

R. Bawden<fnref n="1" />

P. J. Ortiz Suárez<fnref n="1" />

Kelly Christensen<fnref n="1" />

**S. Gabay**<fnref n="2" />

**A. Pinche**<fnref n="3" />

J.B. Camps<fnref n="3" />

09 décembre 2022

Restitution des travaux

<figure><img src="image_2.png" /></figure>

<footnote n="1">¹Inria (équipe-projet ALMAnaCH)</footnote>

<footnote n="2">²Université de Genève</footnote>

<footnote n="3">³École nationale des chartes, Université PSL</footnote>
1 Les enjeux du projet Gallic(orpor)a

● Les collections numérisées

● Les objectifs du projet Gallic(orpor)a

● Une chaîne de traitement

2 Les outils disponibles aujourd'hui

● Projets préexistants

● Les corpus gold Gallic(orpor)a

● Les modèles Gallic(orpor)a

● Les scripts Gallic(orpor)a

● Les fichiers XML TEI générés à partir des prédictions HTR

3 Les difficultés rencontrées

● Gérer l'hétérogénéité

● Segmentation et premiers échecs

● Passage à l'échelle de la production

● Gestion du calendrier de projet

4 Conclusion

<figure><img src="image_3.png" /></figure>
Les enjeux du projet Gallic(orpor)a
https://github.com/Gallicorpora

<figure><img src="image_4.png" /></figure>
# Gallica et le (Data) Deluge

**Data Deluge** (Jim Gray, 2007).

1991 : 1 ; 1997 : 1 million ; 2021 : 200 millions de sites web.

Gallica : de **2500 à 8 millions de documents**

<figure><img src="image_5.png" /><figcaption>Total docs sur Gallica</figcaption></figure>

<figure><img src="image_6.png" /></figure>

Danby, 1840. *Le Déluge*.

<figure><img src="image_7.png" /></figure>
# Manuscrits et imprimés sur Gallica

193 265 manuscrits

Manuscrits

<figure><img src="image_8.png" /></figure>

dont 52 188 avant 1800,
dont 4 avec couche texte

1 182 471 livres imprimés

Imprimés

<figure><img src="image_9.png" /></figure>

dont 160 335 avant 1800,
dont 38 281 avec couche texte

<figure><img src="image_10.png" /></figure>
- Concevoir une chaîne de traitement de l'image à la **donnée structurée et enrichie**

- permettant l'**automatisation** des différentes tâches

- pour construire un corpus richement **annoté**

- qui permette **de valoriser et d'exploiter** les collections numériques de la BnF

<figure><img src="image_11.png" /></figure>
# Objectifs du projet Gallic(orpor)a

## Des outils

Une chaîne de traitement unifiée, basée sur des outils Open Source (Kraken, eScriptorium, Pie, CamenBERT...)

## De quoi les entraîner

Un corpus de référence (gold, étalon-or). (données annotées et vérifiées par l'humain)

## Des résultats

Un corpus traité (silver) (documents auxquels auront été appliqués les modèles)

<figure><img src="image_12.png" /></figure>
<figure><img src="image_13.png" /><figcaption>FIGURE – Chaîne de traitement du projet Gallic(orpor)a.</figcaption></figure>

<figure><img src="image_14.png" /></figure>
Les outils disponibles aujourd'hui

<figure><img src="image_15.png" /></figure>
- **Deucalion** pour le traitement des documents médiévaux

CLÉRICE (T.), CAMPS (J.B.) et PINCHE (A.), *Deucalion, Modèle Ancien Francais (0.2.0)*, version v0.2.0, juin 2019, DOI : 10.5281/zenodo.3237455

- **E-ditiones** pour le traitement du français d'Ancien Régime

GABAY (S.), CLÉRICE (T.), CAMPS (J.B.), TANGUY (J.B.) et GILLE-LEVENSON (M.), « Standardizing linguistic data : method and tools for annotating (pre-orthographic) French », dans *Proceedings of the 2nd International Conference on Digital Tools & Uses Congress*, 2020, p. 1-7

- **FREEM** pour le traitement automatique de la langue (XVIᵉ-XVIIIᵉ

GABAY (S.), ORTIZ SUAREZ (P.), BAWDEN (R.), BARTZ (A.), GAMBETTE (P.) et SAGOT (B.), « Le projet FREEM : ressources, outils et enjeux pour l'étude du français d'Ancien Régime », dans *Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles*, Avignon, 2022, p. 154-165

<figure><img src="image_16.png" /></figure>
# Projets préexistants en HTR

- CREMMALab pour le traitement des documents médiévaux

PINCHE (A.), *Cremma Medieval*, juin 2022, URL :

https://github.com/HTR-United/cremma-medieval (visité le 03/11/2022)

- SegmOnto pour la description de la mise en page

GABAY (S.), CAMPS (J.B.), PINCHE (A.) et JAHAN (C.), « SegmOnto : common vocabulary and practices for analysing the layout of manuscripts (and more) », dans *Proceedings of the 1st International Workshop on Computational Paleography*, Lausann (Switzerland), 2021

- Des dépots de vérités de terrain :

- OCR17, JAHAN (C.) et GABAY (S.), *OCR17 +*, version 1.0, juil. 2021, URL : https://github.com/e-ditiones/OCR17plus

- FONDUE-FR-PRINT-16, GABAY (S.), *Transcriptions of French 16th c. prints*, mars 2021, URL : https://github.com/FoNDUE-HTR/FONDUE-FR-PRINT-16

- Pictocatalogs - Datasets for catalogs OCR and segmentation, PRADIER (F.), *PictoCatalogs - Datasets for historical catalogs OCR and segmentation*, version 1.0, mai 2021, URL : https://github.com/PictoCatalogs/TrainingDataOCR

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>
Les corpus d'entraînement pour l'HTR

- Pour les manuscrits du 15e siècle, PINCHE (A.), GABAY (S.), LEROY (N.) et CHRISTENSEN (K.), *Données HTR manuscrits du 15e siècle*, URL : https://github.com/Gallicorpora/HTR-MSS-15e-Siecle

- Pour les incunables du 15e siècle, PINCHE (A.), GABAY (S.), LEROY (N.) et CHRISTENSEN (K.), *Données HTR manuscrits du 15e siècle*, URL : https://github.com/Gallicorpora/HTR-MSS-15e-Siecle

<figure><img src="image_29.png" /><figcaption>FIGURE – Exemple de fichier XML ALTO</figcaption></figure>

<figure><img src="image_30.png" /></figure>
# Les corpus gold Gallic(orpor)a pour les imprimés anciens

## Les corpus d'entraînement pour l'HTR

- Pour les imprimés du 16ᵉ siècle, GABAY (S.), PINCHE (A.), VLACHOU-EFSTATHIOU (m.) et CHRISTENSEN (K.), *Données HTR imprimés du 16e siècle*, URL : https://github.com/Gallicorpora/HTR-imprime-16e-siecle

- Pour les imprimés du 17ᵉ siècle, GABAY (S.), PINCHE (A.), FABERT (E.), VLACHOU-EFSTATHIOU (M.), MAXIME (H.) et CHRISTENSEN (K.), *Données imprimés du 17e siècle*, URL : https://github.com/Gallicorpora/HTR-imprime-17e-siecle

- Pour les imprimés du 18ᵉ siècle; GABAY (S.), PINCHE (A.), FABERT (E.) et CHRISTENSEN (K.), *Données imprimés du 18e siècle*, URL : https://github.com/Gallicorpora/HTR-imprime-18e-siecle

## Les corpus d'entraînement pour la lemmatisation

- Pour les documents du 15ᵉ au 18ᵉ siècle, PINCHE (A.), GABAY (S.), NGUYEN (M.) et LAROCHE (J.), *Gallicorpora lemmatisation dataset*, URL : https://github.com/Gallicorpora/Lemmatisation

<figure><img src="image_31.png" /></figure>
Les données pour l'HTR ont été réalisées grâce à **eScriptorium**
KIESSLING (B.), TISSOT (R.), STOKES (P.) et STÖKL BEN EZRA (D.),
« eScriptorium : An open source platform for historical document analysis »,
dans *2019 International Conference on Document Analysis and Recognition
Workshops (ICDARW)*, 2019, t. 2, p. 19-24

Les données de lemmatisation ont été réalisées grâce à l'interface de
post-correction **Pyrrha** :
CLÉRICE (T.), PILLA (J.) et CAMPS (J.B.), *hipster-philology/pyrrha* :
*1.0.1*, déc. 2018, DOI : 10.5281/zenodo.2325428

<figure><img src="image_32.png" /></figure>
## – Les modèles de segmentation

* Un modèle de segmentation affiné à partir de blla.mlmodel qui est le modèle par défaut de segmentation de Kraken KIESSLING (B.), « Kraken - an Universal Text Recognizer for the Humanities », dans *Digital Humanities 2019 Conference Abstracts*, Utrecht, The Netherlands, 2019, URL : https://dev.clariah.nl/files/dh2019/boa/0673.html (visité le 16/03/2020)

* Un modèle entraîné à partir de YALtAi CLÉRICE (T.), *You Actually Look Twice At it (YALTAi) : using an object detection approach instead of region segmentation within the Kraken engine*, juil. 2022, URL : https://hal-enc.archives-ouvertes.fr/hal-03723208

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>

<figure><img src="image_38.png" /></figure>
PINCHE (A.) et GABAY (S.), *Segmentation and HTR Model*, URL : https://github.com/Gallicorpora/Segmentation-and-HTR-Models

## - Les modèles HTR

* Le modèle Gallicorpora+ pour les imprimés du 16e au 19e siècle (98,66%, test score).

* Le modèle Cremma-medievalGallicorpora15, aussi appelé Cortado, pour les manuscrits et les incunables (95.54%, test score).

<figure><img src="image_39.png" /></figure>

**FIGURE -** Prédiction issue du modèle Gallicorpora+

<figure><img src="image_40.png" /></figure>

**FIGURE -** Prédiction issue du modèle Cortado

<figure><img src="image_41.png" /></figure>
– Transformation alto → TEI

CHRISTENSEN (K.), GABAY (S.) et PINCHE (A.), *Alto To Tei*, URL :
https://github.com/Gallicorpora/application

<figure><img src="image_42.png" /></figure>

– **Annotator** : Injection de l’annotation linguistique (en cours de développement)
BARTZ (A.), GABAY (S.) et JULIETTE (J.), *Annotator*, août 2022, URL :
https://github.com/e-ditiones/Annotator (visité le 06/12/2022)

<figure><img src="image_43.png" /></figure>
Mise à disposition d'un
dépôt avec :

* Un corpus *manuscrits et incunables*

* Un corpus *imprimés anciens*

CHRISTENSEN (K.), GABAY (S.) et PINCHE (A.), TEI Corpus du projet Gallicorpora, version 1.0.0, juil. 2022, DOI : 10.5281/zenodo.1234

<figure><img src="image_44.png" /><figcaption>FIGURE – Exemple de fichier XML TEI généré automatiquement.</figcaption></figure>

<figure><img src="image_45.png" /></figure>
# Annotation linguistique

Une série de textes OCRisée ne forme pas un corpus requêteable / exploitable. Il faut annoter les données extraites depuis le fac-similé numérique. Plusieurs tâches de TAL sont déjà opérationnelles (avec différents degrés de fiabilité) :

* Lemmatisation, POS et morphologie pour tous les états de langues

* Normalisation linguistique (=alignement avec le français contemporain) pour les périodes XVIe-XVIIIe s.

* Reconnaissance des entités nommées (XVIe-XVIIIe s.)

* Entity linking pour les lieux

Un grand merci à J. Janès, A. Bartz, Ph. Gambette, Th. Clérice pour les scripts, données et modèles.

<figure><img src="image_46.png" /></figure>
Les difficultés rencontrées

<figure><img src="image_47.png" /></figure>

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>

<figure><img src="image_52.png" /></figure>
# Gérer l'hétérogénéité du corpus

Comment dépasser l'hétérogénéité des sources sur le temps long ?

<figure><img src="image_53.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, velin, 15ᵉ s.</figcaption></figure>

<figure><img src="image_54.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, RES-Z-2442, 16ᵉ s.</figcaption></figure>

<figure><img src="image_55.png" /><figcaption>FIGURE – BnF, Arts du spectacle, réserve 8-RO-1702, 17ᵉ s.</figcaption></figure>

<figure><img src="image_56.png" /><figcaption>FIGURE – BnF, Droit, économie, politique, 2012-39571, 18ᵉ s.</figcaption></figure>

Solution : Développer des systèmes d'annotation compatible avec l'ensemble des documents (mise en page, lemmatisation, entités nommées, etc.)

<figure><img src="image_57.png" /></figure>
## Segmentation et premiers échecs

Le modèle de segmentation *Kraken* ne nous a pas permis d'obtenir des résultats satisfaisants. Problème d'hétérogénéité des mises en page ? De granularité de la description ? Ou problème méthodologique ?

<figure><img src="image_58.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, vélins 611, 15ᵉ s.</figcaption></figure>

<figure><img src="image_59.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, RES-Z-2442, 16ᵉ s.</figcaption></figure>

<figure><img src="image_60.png" /><figcaption>FIGURE – BnF, Arts du spectacle, Réserve 8-RO-1702, 17ᵉ s.</figcaption></figure>

<figure><img src="image_61.png" /><figcaption>FIGURE – BnF, département Droit, économie, politique, 2012-39571, 18ᵉ s.</figcaption></figure>

<figure><img src="image_62.png" /></figure>
# Une nouvelle approche : YALTAi

Une nouvelle approche pour l'analyse de la mise en page : **YALTAi**
CLÉRICE (T.), You Actually Look Twice At it (YALTAi) : using an
object detection approach instead of region segmentation within the
Kraken engine, juil. 2022, URL :
https://hal-enc.archives-ouvertes.fr/hal-03723208

- Ne fonctionne pas sur la classification des pixels des images

- Utilise de la détection d'objet en utilisant YoloV5

Nouveaux scores :

<table><thead><tr><td>Zone</td><td>Main</td><td>Graphic</td><td>DropCapital</td><td>MarginText</td><td>Numbering</td><td>RunningTitle</td></tr></thead><tbody><tr><td>Kraken</td><td>43.5</td><td>16.1</td><td>23.3</td><td>0</td><td>0</td><td>0</td></tr><tr><td>Yolo V5</td><td>91.7</td><td>48.4</td><td>69.2</td><td>48.3</td><td>75.8</td><td>45.6</td></tr></tbody></table>

<figure><img src="image_63.png" /></figure>
<figure><img src="image_64.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, vélins 611, 15ᵉ s.</figcaption></figure>

<figure><img src="image_65.png" /><figcaption>FIGURE – BnF, Réserve des livres rares, RES-Z-2442, 16ᵉ s.</figcaption></figure>

<figure><img src="image_66.png" /><figcaption>FIGURE – BnF, Arts du spectacle, Réserve 8-RO-1702, 17ᵉ s.</figcaption></figure>

<figure><img src="image_67.png" /><figcaption>FIGURE – BnF, département Droit, économie, politique, 2012-39571, 18ᵉ s.</figcaption></figure>

<figure><img src="image_68.png" /></figure>
Nous avons produit un corpus silver plus réduit.

- Problèmes rencontrés :

* Temps de génération du corpus*

* Des prédicitions Kraken imparfaites

* Un script AltoToTei encore à l'état de prototype

* La partie sur l'annotation est encore à intégrer dans le pipeline

*une semaine avec un serveur équipé d'une carte graphique nvidia 3090 et parallélisation des tâches TANGE (O.), « GNU Parallel - The Command-Line Power Tool », *The USENIX Magazine*, 36–1 (févr. 2011), p. 42-47, URL :

http://www.gnu.org/s/parallel

<figure><img src="image_69.png" /></figure>
Le passage à l'échelle soulève de nombreuses questions :

* Kraken est-il prêt pour sérialiser la production de prédiction sur des milliers de documents ?

* Le pipeline ne serait-il pas plus pertinent pour une génération à la demande ?

* La taille des fichiers XML TEI va-t-elle être acceptable ou bien faut-il proposer plusieurs sorties ?

<figure><img src="image_70.png" /></figure>
* Recrutement tardif des vacataires pour faire les vérités de terrain

* Le script AltoToTEI a été écrit à partir de données d'entraînement

* Le script AltoToTEI n'a pas pu être testé à l'échelle

* Mise à jour de Kraken durant l'été qui a demandé de reprendre le script AltoToTEI

* Impossibilité d'intégrer la tâche de lemmatisation avant la fin du stage

<figure><img src="image_71.png" /></figure>
* Un prototype mis à disposition librement et à développer dans les années à venir...

* Un projet orienté vers la science ouverte qui donne accès à toutes les données produites

* Des données qui ont permis de créer des modèles HTR performants et réutilisés

* Une valorisation des données d'entraînement produites avec leur intégration dans le catalogue *HTR-United*

CHAGUÉ (A.), CLÉRICE (T.) et CHIFFOLEAU (F.), *HTR-United, a centralization effort of HTR and OCR ground-truth repositories mainly for French languages*, sept. 2021, URL : https://github.com/HTR-United/htr-united

<figure><img src="image_72.png" /></figure>
* Mise à disposition de documentation :

* Pour l'analyse de mise en page : https://segmonto.github.io.

* Pour la transcription : https://cremmalab.hypotheses.org

* Pour les tâches d'annotation du texte : Simon Gabay, Jean-Baptiste Camps, Thibault Clérice. *Manuel d'annotation linguistique pour le français moderne (XVIe -XVIIIe siècles)* : Version B. 2022.

* Pour le fonctionnement du pipeline : Kelly Christensen, *Modélisation des transcriptions ALTO avec la TEI : En complétant le pipeline du projet Gallic(orp)a*, Paris, École nationale des chartes, 2022, https://github.com/kat-kel/TNAH-Memoire.

<figure><img src="image_73.png" /></figure>
■ Un travail qui a donné lieu à des publications et des communications :

- Simon Gabay, Pedro Ortiz Suarez, Alexandre Bartz, Alix Chagué, Rachel Bawden, et al., « From FreEM to D'AlemBERT : a Large Corpus and a Language Model for Early Modern French », *Proceedings of the 13th Language Resources and Evaluation Conference, European Language Resources Association*, Jun 2022, Marseille, France. pp.3367-3374.

- Ariane Pinche, Kelly Christensen, Simon Gabay, « Between automatic and manual encoding : Towards a generic TEI model for historical prints and manuscripts », *TEI 2022 conference : Text as data, Sep 2022, Newcastle, United Kingdom*.

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

<figure><img src="image_78.png" /></figure>

<figure><img src="image_79.png" /></figure>