<figure><img src="image_1.png" /></figure>

HAL
open science

# Reconnaissance automatique d'écriture et sources historiques: Limites et nouvelles perspectives

Ariane Pinche, Thibault Clérice

<figure><img src="image_2.png" /></figure>

## To cite this version:

Ariane Pinche, Thibault Clérice. Reconnaissance automatique d'écriture et sources historiques: Limites et nouvelles perspectives. Studi francesi, 2025, 206, pp.357-366. halshs-05300912

HAL Id: halshs-05300912

https://shs.hal.science/halshs-05300912v1

Submitted on 22 Dec 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_3.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
Reconnaissance automatique d'écriture et sources historiques
Limites et nouvelles perspectives

Résumé

L'objectif de cet article n'est pas de présenter des recherches inédites, mais de faire le point sur les travaux que nous avons menés depuis 2019, à l'École nationale des chartes, puis à l'INRIA Paris et au CNRS, autour de la question de la reconnaissance automatique d'écriture (ATR pour *Automatic Text Recognition*), et plus particulièrement autour de son application aux manuscrits médiévaux. Cet article propose un panorama de nos recherches, complété par des références permettant d'explorer en détail certains aspects de nos travaux passés et en cours.

Mots-clés : *automatic text recognition, data standardisation, digital humanities, ground truth, segmentation, humanités numériques, reconnaissance automatique d'écriture, segmentation, standardisation des données, vérité de terrain*

Nos recherches, initiées en 2019 lors d'une présentation sur la composition du légendier contenu dans le manuscrit fr. 412 de la Bibliothèque nationale de France (BnF)<fnref n="1" /> ont pris de l'ampleur à travers les projets CREMMA et CREMMALab dès 2020². Ces projets visaient à faciliter l'accès à la reconnaissance automatique d'écriture pour les chercheurs travaillant sur des sources anciennes, en s'appuyant sur la plateforme en ligne et open source *eScriptorium*<fnref n="3" />. Nous étions alors guidés par la volonté de travailler avec des outils ouverts, garantissant la reproductibilité de nos expériences, et selon les principes de la science ouverte, ce qui nous conduit à partager l'ensemble des données produites, les modèles, et à fournir une documentation complète des conditions de production. En outre, bien que nos travaux s'inscrivent principalement dans l'écosystème d'eScriptorium, les observations présentées, ici, reflètent des tendances générales, applicables également à d'autres outils tels que *Transkribus*<fnref n="4" />, *OCR-D*<fnref n="5" />, *OCR4all*<fnref n="6" />, *Tesseract*<fnref n="7" />, *ArkIndex*<fnref n="8" /> de Teklia, ou encore *Calfa vision*<fnref n="9" />, etc.

Cet article s'inscrit également dans une démarche visant à utiliser la reconnaissance automatique d'écriture (ATR pour *automatic text recognition*) comme le premier maillon d'une chaîne

<footnote n="1">1 Jean-Baptiste Camps, Thibault Clérice, Ariane Pinche, « Noisy medieval data, from digitized manuscript to stylometric analysis: Evaluating Paul Meyer’s hagiographic hypothesis », *Digital Scholarship in the Humanities*, 36, Issue Supplement 2, October 2021, pages ii 49–ii 71, https://doi.org/10.1093/llc/fqab033.</footnote>

<footnote n="2">2 CREMMA (https://www.pamir.fr/projets-soutenus/cremma/) et CREMMALab (https://www.pamir.fr/projets-soutenus/cremmalab/) sont deux dispositifs qui ont été financés par la région Île-de-France, dans le cadre du DIM MAP (devenu aujourd'hui DIM PAMIR).</footnote>

<footnote n="3">3 B. Kiessling, R. Tissot, P. A. Stokes et al., « eScriptorium: an open source platform for historical document analysis », in *International Conference on Document Analysis and Recognition Workshops (ICDARW)*, 2, 2019, pp. 19-19, 10.1109/ICDARW.2019.10032, P. A. Stokes, B. Kiessling, D. Stökl Ben Ezra et al., « The eScriptorium VRE for manuscript cultures », *Classics@ Journal* 18, 2021, en ligne : https://classics-at.chs.harvard.edu/classics18-stokes-kiessling-stokl-ben-ezra-tissot-gargem/.</footnote>

<footnote n="4">4 Ph. Kahle, S. Colutto, G. Hackl et al., « Transkribus - A service platform for transcription, recognition and retrieval of historical documents », in *14<sup>th</sup> IAPR International Conference on Document Analysis and Recognition (ICDAR)* 4, 2017, pp. 19-24, 10.1109/ICDAR.2017.307.</footnote>

<footnote n="5">5 C. Neudecker, K. Baierer, M. Federbusch et al., « OCR-D: an end-to-end open source OCR framework for historical printed documents », in *Proceedings of the 3rd International Conference on Digital Access to Textual Cultural Heritage (DATECH2019)*, Association for Computing Machinery, New York, pp. 53–58.</footnote>

<footnote n="6">6 *Introduction* | OCR4all, en ligne : https://www.ocr4all.org/guide/user-guide/introduction. Consulté le 2 février 2024.</footnote>

<footnote n="7">7 S. Dome et A. P. Sathe, « Optical Character Recognition using Tesseract and Classification », in *International Conference on Emerging Smart Computing and Informatics (ESCI)*, Pune, India, 2021, pp. 153-158.</footnote>

<footnote n="8">8 Teklia | Arkindex, the document processing platform, en ligne : https://teklia.com/our-solutions/arkindex/. Consulté le 14 mai 2024.</footnote>

<footnote n="9">9 *Calfa Vision* | Homepage, en ligne : https://vision.calfa.fr/. Consulté le 14 mai 2024.</footnote>
d'acquisition textuelle allant jusqu'à la production d'un texte structuré. Cette approche intègre donc les deux étapes de l'ATR : l'identification des différentes zones présentes sur la page, dite segmentation, et la prédiction du contenu textuel. Toutefois, si la segmentation est cruciale pour la structuration ultérieure du texte, elle représente encore des défis techniques majeurs, liés à la diversité des mises en page et à la complexité des documents historiques. Pour rendre notre propos accessible à tous, nous commencerons par expliquer ce qu'est la reconnaissance automatique d'écriture. Puis, nous présenterons les enjeux spécifiques liés aux sources anciennes et à la standardisation de l'annotation des corpus. Enfin, nous aborderons la question de l'amélioration des capacités des modèles à s'adapter à des documents variés et de l'évaluation des performances d'un modèle sur une collection de documents sans vérité de terrain.

1. *Qu'est-ce que la reconnaissance automatique d'écriture ?*

<figure><img src="image_4.png" /><figcaption>Figure 1 : Exemple de prédiction d'ATR issu de eScriptorium (ms. BnF fr. 412)</figcaption></figure>

L'ATR est une technologie qui utilise l'intelligence artificielle pour prédire un contenu textuel à partir de la numérisation d'un document source. Cet outil, qui s'appuie sur les ressources de l'intelligence artificielle, est entraîné à l'aide de transcriptions produites par des humains pour créer des modèles adaptés à nos besoins.

Cette technologie repose sur l'apprentissage automatique, nécessitant des données d'entraînement, également appelées vérités de terrain. Ces données consistent en des transcriptions ligne par ligne associées aux images correspondantes. La performance d'un modèle dépend de la qualité et de la similitude de ces données avec les documents à transcrire, des normes de transcription, ainsi que de la variété du corpus d'entraînement.

Les premiers travaux en lien avec la reconnaissance de caractères remontent à l'Optophone de Fournier d'Albe en 1914 qui, à l'aide de signaux lumineux, identifiait les caractères sur un support papier et associait une séquence musicale à chaque lettre de l'alphabet<fnref n="10" />. En 1935, des usages commerciaux de l'OCR (Optical Character Recognition) apparaissent avec la *Reading Machine* de Gustav Tauscheck<fnref n="11" />. Dans les années 1980, l'OCR se démocratise<fnref n="12" />. C'est toutefois au cours des années 2000, avec l'émergence de l'apprentissage machine et des réseaux neuronaux, que l'ATR connaît un bond technologique significatif avec des travaux pionniers tels que ceux de Graves et Schimdhuber ou encore de Fisher<fnref n="13" />. En France, Dominique Stutzmann a dirigé des projets

<footnote n="10">10 E. E. Fournier d'Albe, « On a type-teading optophone », *Proceedings of the Royal Society of London. Series A, containing papers of a mathematical and physical character*, vol. 90, 619, The Royal Society, 1914, pp. 373-375. Le rapprochement entre les travaux sur l'optophone et l'ATR est issu de la thèse de doctorat de B. Kiessling, *Avancées en reconnaissance optique des caractères pour les documents arabes historiques*, Thèse de doctorat, Université Paris sciences et lettres, 2021.</footnote>

<footnote n="11">11 G. Tauschek, « Reading machine », *U.S. Patent 2*, 026, 329; patented 31 December 1935; filed 27 May 1929 in Austria, 30 May 1928. Class 250-41.</footnote>

<footnote n="12">12 S. Rice, J. Kanai, Th. Nartker, « An evaluation of OCR accuracy », *Information Science Research Institute*, annual research report, University of Nevada, Las Vegas, 1993, p. 20.</footnote>

<footnote n="13">13 A. Graves, J. Schmidhuber, « Offline handwriting recognition with multidimensional recurrent neural networks, Advances in neural information processing systems », in *Proceedings of the 22nd International Conference on Neural Information Processing Systems (NIPS'08)*, Curran Associates Inc., Red Hook, pp. 545-552. A. Fischer, M. Wuthrich, M. Liwicki et al., « Automatic transcription of handwritten medieval documents », in *15th International Conference on*</footnote>
novateurs alliant ATR et sources médiévales dès le milieu des années 2010¹⁴. Aujourd'hui, l'ATR est une tâche bien maîtrisée d'un point de vue informatique permettant des taux de reconnaissance sur des manuscrits médiévaux oscillants entre 90 et 98 pour cent de succès au niveau du caractère¹⁵. Cette technologie est également devenue plus accessible grâce à des plateformes intuitives comme *eScriptorium* ou *Transkribus*, qui facilitent la transcription des documents, la vérification des prédictions, et la préparation des vérités de terrain. Cette maîtrise technologique et son accès facilité ont rendu l'usage de l'ATR de plus en plus courant dans les sciences humaines et les humanités numériques, comme en témoignent les présentations des conférences TEI¹⁶ et *Digital Humanities*¹⁷ depuis 2022.

L'ATR offre aujourd'hui la possibilité d'étudier des tailles de corpus jusqu'alors inédites. Cependant, son efficacité repose sur la qualité des données d'entraînement, il semble donc primordial que les spécialistes du texte se penchent sur les défis particuliers que posent les sources anciennes afin d'y répondre avec des solutions en adéquation avec des critères scientifiques.

## 2. Enjeux scientifiques spécifiques aux sources historiques

En sciences humaines, l'ATR peut être une ressource des plus utiles, sans pour autant remplacer l'expertise du philologue dans l'établissement d'un texte qui exige une compréhension complète de la tradition manuscrite et une analyse critique de la source. Toutefois, l'ATR accélère la phase d'acquisition du corpus et ses prédictions peuvent être utilisées de diverses manières, nécessitant des niveaux de précision variés. Pour des analyses quantitatives, comme la stylométrie¹⁸, un bruit allant jusqu'à 20 pour cent d'erreurs dans la reconnaissance des caractères est tolérable et n'affecte que de manière négligeable les résultats. Pour de la mise à disposition de texte brut, il faudra alors veiller à ce que le corpus reste intelligible et atteindre une précision du modèle autour de 90 pour cent¹⁹. Enfin, lorsque la transcription est destinée à servir de base à une édition, une précision encore plus élevée (environ 95 pour cent) est requise. La transcription automatique n'est pas une forme éditorialisée du texte, elle doit être relue et retravaillée pour répondre aux attentes scientifiques de la future édition. Pour obtenir des résultats satisfaisants, il est donc crucial de trouver des modèles adaptés aux besoins scientifiques, aux spécificités des sources médiévales et de créer des données en adéquation avec les pratiques des philologues.

Cependant, les sources historiques, et notamment les sources médiévales, représentent de nombreux défis pour l'ATR. Ces documents constituent des corpus hétérogènes, notamment en termes de diversité des systèmes graphiques. L'écriture en alphabet latin est aujourd'hui bien maîtrisée, mais il est plus difficile de trouver des jeux des données et des modèles open source pour des corpus en

*Virtual Systems and Multimedia, Vienna, Austria, 2009, pp. 137-142.*

14 D. Stutzmann, S. Torres Aguilar, P. Chaffenet, *HOME-Alcar: Aligned and annotated cartularies*, 2021, https://hal.science/hal-03503062; D. Stutzmann, J.-F. Moufflet, S. Hamel, « Full text search in medieval manuscripts: issues and perspectives of the HIMANIS project for electronic publishing », *Medievales*, 73, 2017, pp. 67-96; D. Stutzmann, « Ontologie des formes et encodage des textes manuscrits médiévaux », *Document numérique*, 16, 2013, pp. 81-95.

15 T. Hodel, D. Schoch, C. Schneider et al., « General models for Handwritten Text Recognition: feasibility and state-of-the art. German Current as an example », *Journal of Open Humanities Data*, 7, juillet 2021, p. 13.

16 J. Cummings, *TEI2022 Conference Book*, Newcastle, UK, Zenodo, 2022.

17 *Digital Humanities 2022, Conference Abstracts*, éd. DH2022 Local Organizing Committee, Tokyo, Japan, 2022.

18 M. Eder, « Mind your corpus: systematic errors in authorship attribution », *Literary and Linguistic Computing*, 28, décembre 2013, pp. 603-614.

19 Attention, ce chiffre n'est pas vérifié, mais relève de l'expérience personnelle. Le taux de succès n'est pas perçu de la même façon en fonction que les erreurs sont réparties dans un même mot ou dans des mots différents. Une concentration des erreurs sur un même mot donnera l'impression d'un texte moins fautif pour un humain, qu'une répartition du même nombre d'erreur sur des mots différents.
alphabet grec<fnref n="20" />, arabe<fnref n="21" /> ou hébreu<fnref n="22" />, qui nécessitent parfois des adaptations comme le changement dans l'ordre de lecture de la ligne. Si le nombre de données d'entraînement adaptées et disponibles est faible, il devient alors nécessaire de constituer un corpus d'entraînement *ad hoc* pour entraîner un modèle adapté à ses sources. Outre la variété des systèmes d'écriture, les documents médiévaux présentent des mises en page diverses, souvent complexes, et peuvent être abîmés par l'eau, le feu ou l'action humaine, entravant ainsi le processus d'analyse de la mise en page. Pourtant, dans le processus de reconnaissance d'écriture, l'identification précise des différentes zones de texte est cruciale pour filtrer des informations telles que le texte dans les marges, les mentions dans les titres courants, et les décorations. Elle peut également permettre une première structuration automatisée des documents, basée sur la reconnaissance des différentes zones de l'image<fnref n="23" />.

<figure><img src="image_5.png" /><figcaption>Fig. 2 : Exemple de segmentation d'une page de manuscrit (BnF, fr. 412, fol. 10r)</figcaption></figure>

Pour répondre à ces besoins, le projet *SegmOnto*, fondé par Simon Gabay, Jean-Baptiste Camps, Ariane Pinche, propose un vocabulaire contrôlé pour la description des sources documentaires. *SegmOnto* permet de repérer les zones de corps de texte (*MainZone*), les annotations marginales (*MarginZone*), les éléments de décor (*GraphicZone*), et les zones endommagées (*DamageZone*). Ce vocabulaire s'appuie sur une démarche codicologique pour faciliter la mise en place d'un vocabulaire générique capable d'englober un large éventail de documents<fnref n="24" />. Il a également été conçu pour accepter plusieurs niveaux de description personnalisables afin de s'adapter au mieux aux différents besoins. Son objectif est de permettre la mutualisation des jeux de données pour entraîner de meilleurs modèles de segmentation, répondant à des critères scientifiques reconnus dans les sciences humaines. L'annotation de la mise en page est également conçue pour favoriser le

<footnote n="20">20 M. Guénette, M. Verstraete, A. Chagué et al., *Codex palatinus graecus 23 - Ground truth dataset medieval Greek manuscripts*, 2024, en ligne : https://gitlab.huma-num.fr/ecrinum/anthologia/htrCPgr23. Consulté le 14 janvier 2025.</footnote>

<footnote n="21">21 On peut citer ici le jeu de données RASAM (1700-1899), Ch. Vidal-Gorène, N. Lucas, C. Salah et al., *RASAM, HTR United, 2023*, ou encore : *TariMA (1500-1899)*, *Perrier Antoine, TariMa, HTR United, 2023* ; *Open Islamicate Texts Initiative (OpenITI)*, en ligne : https://github.com/OpenITI. Consulté le 15 mai 2024.</footnote>

<footnote n="22">22 Voir *Biblia* (1000-1499) : D. Stökl Ben Ezra, B. Brown-Devost, P. Jablonski et al., « Biblia - an Open Annotated Dataset », *Zenodo*, 2021, en ligne : https://zenodo.org/records/5167263, consulté le 14 janvier 2025.</footnote>

<footnote n="23">23 A. Pinche, K. Christensen et S. Gabay, « Between automatic and manual encoding towards a generic TEI model for historical prints and manuscripts », in *TEI 2022 conference: Text as data*, Newcastle, septembre, 2022, en ligne : https://hal.science/hal-03780302v1, consulté le 25 janvier 2025.</footnote>

<footnote n="24">24 S. Gabay, A. Pinche, K. Christensen et al., « SegmOnto: A controlled vocabulary to describe and process digital facsimiles », *Journal of Data Mining & Digital Humanities*, décembre 2024, en ligne : https://jdmdh.episciences.org/14953, consulté le 25 janvier 2025.</footnote>
développement de chaînes d'acquisition de texte produisant des fichiers dans des formats standards, comme la TEI, tout en conservant le lien entre le texte et la source numérisée (voir Fig. 3).

<figure><img src="image_6.png" /><figcaption>Fig. 3: Chaîne d'acquisition du texte du projet Gallic(orpor)a, source: S. Gabay, A. Pinche, K. Christensen et al., SegmOnto: A controlled vocabulary to describe and process digital facsimiles, 2023.</figcaption></figure>

Toutefois, bien que le protocole d'un point de vue conceptuel soit opérationnel, dans le cas de documents complexes, des difficultés techniques subsistent lors de la phase d'analyse de la mise en page. Si les lignes sont bien reconnues, ce n'est pas toujours le cas des zones de texte. Les outils comme le segmenteur de *Kraken*<fnref n="25" /> rencontrent encore des obstacles pour reconnaître les différentes zones avec autant de finesse que le permet en théorie *SegmOnto*. Par exemple, les colonnes peuvent être mal reconnues et fusionnées, perturbant l'ordre des lignes. Enfin, les modèles entraînés pour des mises en page simples et précises, comme les folios de manuscrits à deux colonnes, sont difficilement généralisables. Ayant fait ce constat dans le cadre du projet *Gallic(orpor)a*, alors que l'objectif était de proposer des modèles capables de traiter un large éventail de documents issu des collections de *Gallica*, nous avons cherché une solution autre afin de mener à bien le projet et de pouvoir mettre en place notre chaîne d'acquisition.

L'analyse de la mise en page (segmentation), généralement basée sur la catégorisation des pixels, peut entraîner des confusions lorsque les zones se superposent ou sont trop proches et sérielles<fnref n="26" />. L'outil YALTAi<fnref n="27" /> propose une nouvelle approche de la segmentation qui nous a permis de dépasser ces limitations. En effet, l'outil repose sur de la détection d'objets en temps réel à partir de l'algorithme YOLOv5²⁸ et permet de passer de la classification de pixels à la détection de polygones. Combiné à l'application Roboflow<fnref n="29" /> pour l'annotation des images, la création de jeux de données est également facilitée. Enfin YALTAi permet de faire le pont entre YOLO et Kraken afin d'injecter la segmentation des zones produite par YOLO dans Kraken qui par la suite ajoute les lignes, puis le texte (voir Fig. 4).

<footnote n="25">25 *Kraken* est l'engin d'ATR utilisé par l'interface eScriptorium. B. Kiessling, « Kraken - an Universal Text Recognizer for the Humanities », in *Digital Humanities 2019 Book of Abstracts*, Utrecht, July 2019 et *The Kraken OCR system*, 2022, <https://github.com/mittagessen/kraken>.</footnote>

<footnote n="26">26 Ces limitations technologiques ont ainsi amené les utilisateurs à développer des stratégies de contournements en créant des sous-catégories (colonne 1, colonne 2) pour assurer la différenciation, par exemple, des colonnes d'un tableau.</footnote>

<footnote n="27">27 Th. Clérice, « You Actually Look Twice At it (YALTAi): using an object detection approach instead of region segmentation within the Kraken engine », *Journal of Data Mining & Digital Humanities*, décembre 2023, en ligne : https://jdmdh.episciences.org/12747, consulté le 14 janvier 2025.</footnote>

<footnote n="28">28 YOLO (You Only Look Once) est un algorithme de vision par ordinateur, basé sur des réseaux neuronaux, qui permet en une étape de détecter sur une image fixe ou en mouvement des objets et de les classifier. P. Jiang, D. Ergu, F. Liu et al., « A review of Yolo algorithm developments », *Procedia Computer Science*, 199, janvier 2022, pp. 1066-1073.</footnote>

<footnote n="29">29 *Roboflow Annotate* est un outil d'annotation en ligne qui permet d'étiqueter les images pour la détection, la classification et la segmentation des objets. Ce dernier peut être utilisé combiné avec YOLO.</footnote>
<figure><img src="image_7.png" /><figcaption>Fig. 4 : Fonctionnement de YALTAi, source : Th. Clérice, You Actually Look Twice At it (YALTAi): using an object detection approach instead of region segmentation within the Kraken engine.</figcaption></figure>

Ce basculement vers YOLO a permis d'améliorer les scores de segmentation pour la reconnaissance de certaines zones comme MainZone, GraphicZone, DropCapitalZone, MarginTextZone, NumberingZone et RunningTitleZone et de mener à bien le projet<fnref n="30" />.

<table><caption>Table 1 : score de reconnaissance des différentes zones (MAP) entre un modèle entraîné par Kraken 4.1 et un modèle entraîné par YOLOv. 5</caption><thead><tr><th>Zone</th><th>Main</th><th>Graphic</th><th>DropCapital</th><th>MarginText</th><th>Numbering</th><th>RunningTitle</th></tr></thead><tbody><tr><td>Kraken</td><td></td><td>43.5</td><td>16.1</td><td>23.3</td><td>0</td><td>0</td></tr><tr><td>YOLO v.5</td><td></td><td>91.7</td><td>48.4</td><td>69.2</td><td>48.3</td><td>75.8</td></tr></tbody></table>

En 2024, dans le cadre du projet COLAF, le jeu de données LADaS<fnref n="31" /> a été publié pour entraîner un modèle de segmentation utilisant un niveau secondaire de SegmOnto et YOLOv8 pour les imprimés, proposant un niveau de granularité plus fin pour la description des zones, avec, par exemple, l'identification des paragraphes, des vers, des listes, etc.

Ainsi, l'ATR, appliqué aux sources historiques, et en particulier aux manuscrits médiévaux, présente des défis uniques en raison de la diversité des systèmes d'écriture, des mises en page complexes. Bien que des progrès significatifs aient été réalisés, des obstacles techniques subsistent, notamment dans la segmentation précise des zones de texte. L'adoption de nouvelles approches ou les avancées techniques en cours, notamment dans le développement de Kraken, couplées à la création de jeux de données sont essentielles pour améliorer la performance des modèles et leur permettre de s'adapter à des corpus incorporant une certaine variété documentaire.

### 3. Nouvelles avancées : modèles génériques et évaluation des modèles sans vérité de terrain

Actuellement, un des enjeux majeurs de l'ATR est l'entraînement de modèles génériques capables de fonctionner sur des corpus hétérogènes, multilingues et diachroniques. Des expériences préliminaires ont été menées sur l'ancien français<fnref n="32" />, le castillan<fnref n="33" /> et le latin<fnref n="34" />. L'objectif de ces

<footnote n="30">30 Un modèle de segmentation *ad hoc* a été entraîné dans le cadre de Gallic(orpor)a, GallicorporaSegmentation.pt, voir la release du dépôt : A. Pinche et S. Gabay, *Segmentation and HTR Model*, 2023, en ligne : https://github.com/Gallicorpora/Segmentation-and-HTR-Models/releases/tag/1.0.0</footnote>

<footnote n="31">31 Th. Clérice, J. Janès, H. Scheithauer et al., « Layout Analysis Dataset with SegmOnto (LADaS) », in DH2024 - Annual conference of the Alliance of Digital Humanities Organizations, Washington DC, 2024, en ligne : https://inria.hal.science/hal-04513725, consulté le 14 janvier 2025.</footnote>

<footnote n="32">32 A. Pinche, « Generic HTR models for medieval manuscripts: The CREMMALab Project », *Journal of Data Mining & Digital Humanities*, octobre 2023, en ligne : https://jdmdh.episciences.org/11592, consulté le 14 janvier 2025.</footnote>

<footnote n="33">33 G. Levenson, « Towards a general open dataset and model for late medieval Castilian text recognition (HTR/OCR) », *Journal of Data Mining & Digital Humanities*, octobre 2023, en ligne : https://jdmdh.episciences.org/12264, consulté le 14 janvier 2025.</footnote>

<footnote n="34">34 S. Torres Aguilar, V. Jolivet, « TRIDIS : HTR model for multilingual medieval and early modern documentary manuscripts (11<sup>th</sup>-16<sup>th</sup>) », *Zenodo*, 2024, en ligne : https://zenodo.org/records/10788591, consulté le 14 janvier 2025. S. Torres Aguilar, V. Jolivet, « Handwritten Text Recognition for documentary medieval manuscripts », *Journal of Data Mining & Digital Humanities*, décembre 2023, en ligne : https://jdmdh.episciences.org/12732, consulté le 14 janvier 2025. J. Claustre, D. Smith, S. Octavio Torres Aguilar, « The e-NDP project: collaborative digital edition of the Chapter registers of Notre-Dame of Paris (1326-1504). Ground-truth for handwriting text recognition (HTR) on late medieval manuscripts », *Zenodo*, février 2023, en ligne : https://zenodo.org/records/7575693, consulté le 14 janvier 2025. Th. Clérice, M. Vlachou-Efstathiou et A. Chagué, « CREMMA medieval latin: literary manuscript text recognition in</footnote>
modèles est de fournir à la communauté scientifique des outils prêts à l'emploi, pouvant être affinés avec peu de données supplémentaires et des ressources de calcul limitées si les résultats initiaux ne sont pas satisfaisants³⁵. Ainsi, l'équipe de *Transkribus* a publié en juillet 2023 le modèle *Medieval_Scripts_M2.4*³⁶, capable de traiter des manuscrits du XIIIe au XVe siècle, en plusieurs langues. Ils prévoient également le développement de supers modèles (Titan) s'appuyant sur un grand modèle de langue (LLM pour *Large Language Model*) pour gérer des collections diverses avec du texte imprimé et des notes manuscrites, des langues et types de documents différents (manuscrits, archives)³⁷. Toutefois, actuellement, il semblerait que les LLM rencontrent encore des difficultés à être performants sur des états de langue anciens, et donc sur des documents de la période médiévale³⁸.

Pour entraîner un modèle générique, il est nécessaire de produire une quantité de vérités de terrain non négligeable comprenant des échantillons issus de documents relativement différents. Or la production de ces données est coûteuse aussi bien en termes de moyens que de temps. Il est donc difficile d'envisager l'entraînement de tels modèles sans une mise en commun des jeux de données. Afin de faciliter leur accès et d'améliorer leur visibilité, il existe sur Zenodo une communauté OCR/HTR³⁹ qui permet de déclarer les modèles et les données créées dans l'écosystème de *Kraken*. En outre, depuis 2021 a été lancé le catalogue *HTR-United* qui donne accès à des jeux de données d'entraînement⁴⁰. Ces derniers sont accompagnés de métadonnées harmonisées (auteurs, licence, période, langue, type d'écriture, nombre de mains, normes de transcription, nombre de lignes, technologie utilisée) qui facilitent le repérage d'ensembles adéquats. Le catalogue propose également une série d'outils d'homogénéisation des données et d'intégration continue, tel que *HUMGenerator*⁴¹ pour aider à la génération des métadonnées notamment en termes de volumétrie, *HTRVX*⁴² pour contrôler la validité des fichiers XML ou la compatibilité avec le vocabulaire *SegmOnto*, ou encore *ChocoMufin*⁴³ qui permet de contrôler et de normaliser les caractères utilisés dans les transcriptions.

Depuis 2023, dans la continuité de l'impulsion des projets CREMMA et CREMMAlab, nous avons activement participé à la création et au partage de données d'entraînement pour l'ATR. Tout d'abord à travers deux projets : HTRomance⁴⁴ financé par le dataLab de la BnF en 2023, et HTRogène⁴⁵ lancé en début 2024 et financé par Biblissima+⁴⁶. Ces financements ont permis la constitution d'une

Latin », *Journal of Open Humanities Data*, 9, 2023, en ligne :
https://openhumanitiesdata.metajnl.com/articles/10.5334/johd.97, consulté le 14 janvier 2025. Th. Clérice, A. Chagué, M. Vlachou-Efstathiou, *CREMMA Medii Aevi*, 2023, en ligne :
<https://github.com/HTR-United/CREMMA-Medieval-LAT>, consulté le 14 janvier 2025.

35 Pour observer les mécanismes d'affinage d'un modèle, voir Ariane Pinche, « Generic HTR models for medieval manuscripts », 2023.

36 T. Hodel, *Medieval_Scripts_M2.4*, en ligne :
https://readcoop.eu/model/charter-scripts-german-latin-french/.
Consulté le 13 mai 2024.

37 « Introducing Transkribus Super Models - Get Access to "The Text Titan I" », en ligne :
https://readcoop.eu/introducing-transkribus-super-models-get-access-to-the-text-titan-i/.
Consulté le 13 mai 2024.

38 E. Boros, M. Ehrmann, M. Romanello et al., « Post-correction of historical text transcripts with Large Language Models: an exploratory study », in *Proceedings of the 8th Joint SIGHUM Workshop on Computational Linguistics for Cultural Heritage*, Y. Bizzoni, S. Degaetano-Ortlieb, A. Kazantseva et al. (dir.), St. Julians, Malta, Association for Computational Linguistics, 2024, pp. 133-159.

39 Lien vers la communauté : https://zenodo.org/communities/ocr_models.

40 A. Chagué et Th. Clérice, « I'm here to fight for ground truth: HTR-United, a solution towards a common for HTR training data », *Digital Humanities 2023: Collaboration as Opportunity*, ADHO; University of Graz, Graz, 2023, en ligne : https://inria.hal.science/hal-04094233, consulté le 14 janvier 2025.

41 Th. Clérice, A. Chagué, *HUM generator, the HTR United Metadata Generator*, 2021, en ligne :
https://github.com/HTR-United/htr-united-metadata-generator.

42 Th. Clérice, A. Pinche, *HTRVX, HTR validation with XSD*, 2021, en ligne :
https://github.com/HTR-United/HTRVX.

43 Th. Clérice, A. Pinche, *Choco-Mufin, a tool for controlling characters used in OCR and HTR projects*, 2021, en ligne :
https://github.com/PonteIneptique/choco-mufin.

44 Th. Clérice, A. Chagué, M. Gille-Levenson et al., *The HTRomance project*, en ligne :
https://htromance-project.github.io/.

45 https://projet.biblissima.fr/fr/appels-projets/projets-retenus/htrogene

46 Biblissima+ est un équipex qui bénéficie d'une aide de l'État gérée par l'ANR au titre du Programme d'investissements d'avenir intégré à France 2030, portant la référence ANR-21-ESRE-0005.
équipe de chercheurs impliqués dans la production de jeux de données interopérables, traitant non seulement des aires linguistiques différentes, mais aussi différentes périodes et types de documents du Moyen Âge au XXe siècle. Ces efforts sont désormais intégrés sous le projet CATMuS : *Consistent Approach to Transcribing ManuScript*<fnref n="47" />. L'idée d'un modèle multilingue naît en 2022 dans le cadre du projet CREMMA. Après avoir entraîné un modèle latin français : *Generic CREMMA Model for Medieval Manuscripts*<fnref n="48" /> qui couvre la période du VIIIe au XVe siècle, en associant les données de *CREMMA Medii Aevii*<fnref n="49" /> et de *CREMMA Medieval*<fnref n="50" />, nous constatons un gain de performance important. Depuis, grâce à de multiples sources de financement et à des collaborations internationales incluant la Belgique, le Canada, la France, l'Italie, et la Suisse<fnref n="51" />, le corpus CATMuS englobe plusieurs langues de l'Europe de l'Ouest, telles que l'italien, l'espagnol, le français, le latin, le moyen néerlandais et le vieil anglais. L'intégration d'une nouvelle langue dans le corpus demande à chaque fois de relever de nouveau défi pour garder un système de transcription cohérent sur l'ensemble du corpus, mais aussi d'intégrer de nouveaux signes, soit pour représenter de nouvelles abréviations, comme <r> pour <rum> dans le cas du latin, soit pour des signes absents du set de base en latin, avec, par exemple, l'ajout de la lettre <ɔ> (eth) qui note la fricative dentale aussi bien sourde que sonore en vieil anglais. Réunir une telle variété de corpus nécessite de veiller sans cesse à leur compatibilité, demandant ainsi de trouver des normes de transcriptions communes permettant de produire un ensemble homogène afin d'assurer la cohérence du modèle générique (voir Fig. 5).

<figure><img src="image_8.png" /></figure>

Figure 5 : Prédiction issue du modèle Transkribus Coloso Español. Le modèle possède deux manières différentes de gérer l'abréviation de <que> line 24 <q> and line 27 <ue>. Capture d'écran issue de Twitter, proposée gracieusement par J. M. Fradejas Rueda.

Dans le cas de CATMuS, les normes sont dérivées du guide de transcription pour les manuscrits médiévaux en ancien français élaboré dans le cadre du projet CREMMALab<fnref n="52" />. Afin de produire des données compatibles, la première étape consiste à définir le niveau de précision de la transcription souhaité. Nous avons opté pour des transcriptions qui ne distinguent pas les différentes formes de lettres (a, d, s, r, etc.), mais qui conservent les abréviations afin, entre autres, de permettre une meilleure généricité du modèle en réduisant les spécificités de langue liées au développement de ces dernières, mais également d'éviter les effets d'hallucinations du modèle sur des mots abrégés et inconnus comme des noms de personnes. Les graphies de la source sont conservées, les lettres

<footnote n="47">47 A. Pinche, Th. Clérice, Alix Chagué et al., « CATMuS-Medieval: consistent approaches to transcribing ManuScript », in *Digital Humanities - DH2024*, ADHO, Aug 2024, Washington DC, <hal-04346939>.</footnote>

<footnote n="48">48 Th. Clérice, A. Pinche, M. Vlachou-Efstathiou, « Generic CREMMA Model for Medieval Manuscripts (Latin and Old French), 8-15 th century », Zenodo, février 2023, en ligne : https://zenodo.org/records/7631619, consulté le 14 janvier 2025.</footnote>

<footnote n="49">49 Th. Clérice, M. Vlachou-Efstathiou et A. Chagué, « CREMMA medieval latin: literary manuscript text recognition in Latin », *Journal of Open Humanities Data*, 9, 2023.</footnote>

<footnote n="50">50 A. Pinche, *CREMMA Medieval, an Old French dataset for HTR and segmentation*, 2021, en ligne : https://github.com/HTR-United/cremma-medieval, consulté le 14 janvier 2025.</footnote>

<footnote n="51">51 Liste de projets partenaires : *CREMMA*, *HTRogène*, *HTRomance*, *Fabliaux* (A. Pinche et C. Pierreville, *Fabliaux*, 2023), *Liber* (D. Aruta, M. Lenzi, A. Le Huërou et al., « Liber », 2023), *Gallic(orpor)a* (B. Sagot, L. Romary, R. Bawden, P. Ortiz Suárez, S. Gabay, A. Pinche, and J.-B. Camps, *Gallic (orpor) a: extraction, annotation et diffusion de l'information textuelle et visuelle en diachronie longue*), *FoNDU* (S. Gabay, R. Champenois, P. Kuenzli et al., *Formes Numerisées et Détection Unifiée des Ecritures* (FoNDUE), 2021), *DEEDS* (M. Gervers, A. Boutreux et A. Manton, *DEEDS HTR Dataset*, 2023).</footnote>

<footnote n="52">52 A. Pinche, *Guide de transcription pour les manuscrits du xᵉ au xᵉ siècle*, 2022, en ligne : https://hal.science/hal-03697382, consulté le 14 janvier 2025.</footnote>
ramistes ne sont pas distinguées et la ponctuation est réduite à un système qui ne distingue que les points simples et les points doubles<sup>53</sup>. Les caractères spéciaux sont dans la mesure du possible des caractères unicode utf-8 sélectionnés parmi les caractères fournis par la *Medieval Unicode Font Initiative* (MUFI). Une même lettre doit toujours bien être représentée par un même caractère informatique. L'homogénéité de leur utilisation est, par ailleurs, assurée grâce à une table de conversion *ChocoMufin*<sup>54</sup>. Un premier jeu de données a été publié et documenté sur *Hugging face*<sup>55</sup> : il agrège 17 dépôts différents avec environ 208 documents différents, 165 000 lignes et 5,7 millions de mots qui ont permis l'entraînement du premier modèle *CATMuS Medieval* aujourd'hui disponible sur Zenodo<sup>56</sup>. Une telle entreprise qui partage au fur et à mesure données et modèles produits sous une simple licence *Creative Commons* (CC-BY-4.0) permet de réduire les coûts collectifs de production des données nécessaires à l'entraînement de modèles pour des sources médiévales et, ainsi, à d'autres projets de recherche de s'en emparer pour l'acquisition de leur propre corpus.

Enfin, alors qu'aujourd'hui les modèles disponibles permettent dans le cas des langues qui utilisent l'alphabet latin de traiter des collections relativement variées, il devient important de pouvoir évaluer la performance de ces modèles génériques sur des corpus pour lesquels il n'existe pas de vérité de terrain. Pour les corpus modernes, certains outils s'appuient sur des dictionnaires pour évaluer la correction linguistique du texte, et ainsi les chances d'un texte d'avoir été transcrit correctement par la machine. Cependant, ces derniers ne peuvent fonctionner que sur des corpus avec des graphies normées, sans abréviations, contenant peu de noms propres et unilingues. Ils se révèlent donc inutiles dans le cadre des corpus médiévaux. Afin de résoudre ce problème, l'outil *neNequitia* a été développé<sup>57</sup>. Fonctionnant lui aussi sur des outils de traitement automatique des langues pour évaluer la "correction" linguistique du texte, il s'appuie non pas sur des dictionnaires, mais sur de l'apprentissage machine, ce qui lui permet d'être moins sensible aux variations graphiques ou de langue. Il ne produit pas un score de précision, mais classe les prédictions en 4 catégories : très mauvais, mauvais, bon, très bon. Une telle classification permet de produire une évaluation/classification de la qualité du corpus produit automatiquement, et d'éventuellement identifier la source d'une mauvaise évaluation : modèle non adapté (présence d'un autre alphabet, écriture différente, etc.), mauvaise qualité de la numérisation, échec de l'acquisition automatique pour essayer d'y remédier : amélioration ou affinage du modèle, travail sur la qualité de l'image, identification d'un éventuel bug.

La création de modèles génériques capables de traiter des corpus variés, multilingues et diachroniques est aujourd'hui prometteuse, mais leur développement nécessite une collaboration étroite et la mise en commun de jeux de données diversifiés. Les initiatives telles que le projet *CATMuS* montrent l'importance de la standardisation et du partage de données pour améliorer la qualité des transcriptions. L'évaluation sans vérité de terrain reste un défi, mais des outils comme *neNequitia* offrent des solutions innovantes pour juger la qualité des transcriptions. Ces efforts collectifs et technologiques nous rapprochent d'une automatisation plus facile, plus efficace, et précise de la reconnaissance automatique des textes historiques.

Ainsi, l'ATR a franchi des étapes significatives, transformant la manière dont nous accédons et traitons les manuscrits historiques. Toutefois, les défis restent nombreux, notamment en ce qui

<footnote n="53">53 La ponctuation médiévale présente une telle variété et une telle complexité dépendant du système d'un type de document ou d'une école de copistes qu'il nous semble complexe d'élucider le système employé au moment de la première transcription du corpus sans avoir une vue d'ensemble.</footnote>

<footnote n="54">54 Il n'est pas possible ici d'être exhaustif quant aux préconisations de transcription du projet *CATMuS*, mais un guide est en cours d'élaboration au lien suivant : https://catmus-guidelines.github.io.</footnote>

<footnote n="55">55 *CATMuS/medieval* · *Datasets at Hugging Face*, en ligne : https://huggingface.co/datasets/CATMuS/medieval. Consulté le 29 avril 2024.</footnote>

<footnote n="56">56 A. Pinche, Th. Clérice, A. Chagué et al., « CATMuS Medieval », *Zenodo*, novembre 2023, en ligne : https://zenodo.org/records/10066219, consulté le 14 janvier 2025.</footnote>

<footnote n="57">57 Th. Clérice, « Ground-truth free evaluation of HTR on old French and Latin medieval literary manuscripts », in *Computational Humanities Research Conference (CHR)*, Antwerp, 2022, en ligne : https://ceur-ws.org/Vol-3290/long_paper2081.pd, consulté le 14 janvier 2025.</footnote>
concerne la diversité des systèmes graphiques, la complexité des mises en page et la nécessité de
standards pour les transcriptions. La collaboration entre chercheurs et la mise en commun des jeux
de données sont crucales pour continuer à améliorer ces technologies. Des projets comme CATMuS
démontrent l'importance de telles initiatives pour produire des modèles robustes et adaptables à
divers corpus et langues. Bien que des obstacles techniques subsistent, les outils et méthodes
développés offrent déjà des résultats impressionnants pour les manuscrits médiévaux. La
communauté scientifique dispose aujourd'hui de ressources méthodologiques et technologiques
pour repousser les limites de la recherche en sciences humaines. La poursuite de ces efforts promet
une simplification et une amélioration des protocoles d'ATR, ouvrant la voie à des découvertes
inédites et à une meilleure compréhension de notre patrimoine écrit.

Ariane PINCHE

CNRS - CIHAM Lyon

Thibault CLÉRICE
Inria: Centre de Recherche de Paris, équipe ALMAnaCH<fnref n="58" />

<footnote n="58">58 Dans le cadre de cet article, T. Clérice est responsable des sections suivantes : la partie 2, *Enjeux scientifiques spécifiques aux sources historiques*, avec une attention particulière aux paragraphes consacrés à YALTAI, et la partie 3, *Nouvelles avancées : modèles génériques et évaluation des modèles sans vérité de terrain*, notamment les paragraphes relatifs à HTR-United et Nequequitia. Ariane Pinche est responsable de la partie 1, *Qu'est-ce que la reconnaissance automatique d'écriture?*, ainsi que de la partie 2, *Enjeux scientifiques spécifiques aux sources historiques*, en particulier les paragraphes dédiés à SegmOnto et au projet Gallic(orpor)a, et de la partie 3, *Nouvelles avancées : modèles génériques et évaluation des modèles sans vérité de terrain*, avec un focus sur les modèles génériques et les recommandations de transcription. Elle a également assuré la coordination globale et l'harmonisation stylistique de la rédaction de l'article.</footnote>