# Traiter des manuscrits endommagés par le feu grâce à l'augmentation de données par intelligence artificielle: le cas du ms. L.II.14 de Turin (T)

Chahan Vidal-Gorène, Jean-Baptiste Camps

► To cite this version:

Chahan Vidal-Gorène, Jean-Baptiste Camps. Traiter des manuscrits endommagés par le feu grâce à l'augmentation de données par intelligence artificielle: le cas du ms. L.II.14 de Turin (T). Studi francesi, 2025, 206, pp.377-383. 10.4000/15gia. hal-05184196

HAL Id: hal-05184196

https://enc.hal.science/hal-05184196v1

Submitted on 24 Jul 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Traiter des manuscrits endommagés par le feu grâce à l'augmentation de données par intelligence artificielle: le cas du ms. L.II.14 de Turin (T)

## Processing Fire Damaged Manuscripts with Data Augmentation and Artificial Intelligence: the case of ms. Turin L.II.14 (T)

**Abstract:** Automatic recognition of handwritten text is a fundamental step in digital humanities for creating corpora and analyzing texts. Typically, for documents with regular scripts and standard layouts, high recognition accuracy above 95% is achievable. However, these success rates drastically decline when dealing with damaged documents, often resulting in significant content loss or making portions of the page difficult to decipher. Paleographers and philologists can often infer potential readings based on their expertise and knowledge of textual traditions. Nonetheless, with automatic document recognition, information loss severely impacts both the detection of content and readability. This study focuses on analyzing the layout of a burned document, specifically the manuscript L.II.14 from Turin. Experimental results using generative neural networks demonstrate a 69-percentage point improvement in identifying content areas compared to traditional handwritten text recognition (HTR) models. This enhanced pipeline not only advances computational processing of damaged historical documents but also opens new avenues for document reconstruction.

**Keywords:** Handwritten Text Recognition, Layout Analysis, Generative Network, Historical Manuscripts, Damaged Documents, Digital Humanities

## Introduction

La transcription automatique de texte manuscrit ou *Handwritten Text Recognition* (HTR) repose aujourd'hui sur l'utilisation active de l'intelligence artificielle. La chaîne de traitement la plus courante, que l'on retrouve dans les plateformes d'annotation et de transcription de documents comme Transkribus (appliquée à tout type de documents et graphies), eScriptorium<fnref n="1" /> (notamment appliquée aux documents manuscrits médiévaux), OCR4all<fnref n="2" /> (pour les imprimés anciens) ou Calfa Vision<fnref n="3" /> (pour les documents en graphies orientales), consiste encore en une étape d'analyse de la mise en page (identification des zones de texte et détection des lignes), suivie d'une étape de reconnaissance automatique du texte. La qualité du texte produit est donc très largement conditionnée par l'aptitude du modèle d'analyse de mise en page à détecter efficacement les informations à reconnaître : des zones de texte non identifiées, des lignes de texte incomplètes ou encore un sens de lecture du document imparfait sont autant de scénarios qui baissent drastiquement la pertinence globale des résultats obtenus. Si cette approche en deux temps laisse progressivement la place à des modèles HTR sans analyse de mise en page<fnref n="4" />, elle a l'avantage, pour l'étude des documents historiques, de permettre une spécialisation très précise des modèles sur les spécificités des documents (par exemple : détection de notes marginales, prise en compte du texte interlinéaire, ...). Ce travail de spécialisation ou de renforcement des modèles (appelé *fine-tuning*) est largement éprouvé<fnref n="5" /> et décrit dans la littérature,

<footnote n="1">1 Kiessling, Benjamin, et al. "eScriptorium: an open source platform for historical document analysis." *2019 international conference on document analysis and recognition workshops (icdarw)*. Vol. 2. IEEE, 2019.</footnote>

<footnote n="2">2 Reul, Christian, et al. "OCR4all—An open-source tool providing a (semi-) automatic OCR workflow for historical printings." *Applied Sciences* 9.22 (2019): 4853.</footnote>

<footnote n="3">3 Vidal-Gorène, Chahan, et al. "A modular and automated annotation platform for handwritings: evaluation on under-resourced languages." *Document Analysis and Recognition–ICDAR 2021: 16th International Conference, Lausanne, Switzerland, September 5–10, 2021, Proceedings, Part III 16*. Springer International Publishing, 2021.</footnote>

<footnote n="4">4 Coquenet, Denis, Clément Chatelain, and Thierry Paquet. "Dan: a segmentation-free document attention network for handwritten document recognition." *IEEE transactions on pattern analysis and machine intelligence* 45.7 (2023): 8227-8243; Li, Minghao, et al. "Trocr: Transformer-based optical character recognition with pre-trained models." *Proceedings of the AAAI Conference on Artificial Intelligence*. Vol. 37. No. 11. 2023.</footnote>

<footnote n="5">5 Chahan Vidal-Gorène, «La reconnaissance automatique d'écriture à l'épreuve des langues peu dotées», *Programming Historian en français* 5 (2023), https://doi.org/10.46430/phfr0023.</footnote>
avec des scores de bonne reconnaissance de texte dépassant facilement les 95%, y compris pour les graphies les plus cursives et les mises en page complexes, sous réserve de pouvoir apporter suffisamment d'échantillons pour entraîner les modèles. Par échantillon, il est ici question de données représentatives de la tâche à surmonter, manuellement annotées : il s'agira donc par exemple de transcriptions manuelles de pages, ou de localisation des lignes de texte dans une image via le tracé des lignes de base de l'écriture. L'apport en données doit être représentatif de la tâche (variation de la qualité de l'image, du rythme de copie, champ lexical, ...), au risque, sinon, d'aboutir à un modèle efficace sur certaines parties seulement du document cible. Le travail de préparation des données peut être conduit de manière itérative pour bénéficier d'une amélioration constante du modèle<fnref n="6" />.

Dans ce contexte, la question du traitement de documents endommagés s'avère complexe. Même si les modèles d'analyse de mise en page ou de reconnaissance de texte sont toujours un peu plus génériques et donc plus rapidement adaptables<fnref n="7" />, il demeure difficile d'anticiper la quantité de données nécessaires pour obtenir un modèle pertinent<fnref n="8" />. En situation de faible variation graphique et lexicale, la transcription de 80 à 200 lignes de texte suffit généralement<fnref n="9" />. L'endommagement d'un document conduit néanmoins à une très forte variabilité de l'information à détecter : colorimétrie différente, effacement du texte, courbure du texte ou aspect chiffonné des pages, etc., rendant difficile la lecture, y compris pour le paléographe en charge de la création de la donnée. Du fait de cette difficulté et du besoin de représentativité du jeu de données à construire, le volume de données à apporter est important et donc pratiquement impossible à surmonter pour un bénéfice minimal. C'est en particulier le cas pour le manuscrit L.II.14 de Turin, dont la version phototypique dont nous disposons présente des endommagements très divers, de nombreuses lignes courbes, des tâches d'intensités variées, ou encore des pages flétries. Chaque image comporte son lot de spécificité à surmonter. L'application de modèles d'analyse de mise en page génériques met en évidence la difficulté d'analyse, avec des régions de texte partiellement détectées et des lignes coupées (voir *infra* Figure X). Si tant est que la reconnaissance du texte soit pertinente, le résultat produit sera donc désordonné et déconstruit. Dans cette étude, nous nous intéressons particulièrement à cette tâche de l'analyse de la mise en page.

## Intelligence artificielle générative et travaux similaires

L'IA générative apparaît comme un candidat sérieux pour palier ce besoin en données et réduire l'investissement humain très chronophage. L'idée sous-jacente est celle de produire de fausses images, par exemple similaires au manuscrit L.II.14, afin d'augmenter considérablement le nombre de données annotées et d'entraîner un modèle d'analyse de mise en page plus large spécialisé sur ce manuscrit. La génération d'images fait appel à un type de réseaux de neurones spécifique, à savoir les *Generative Adversarial Network* (ou GAN).

L'entraînement d'un GAN repose sur l'entraînement de deux réseaux : un générateur, qui va produire de fausses images, et un discriminateur, qui doit dire si une image est vraie ou fausse. Tant que le discriminateur identifie quelles images ont été générées, l'entraînement se poursuit pour forcer le générateur à s'améliorer. L'entraînement s'achève une fois que le discriminateur n'est plus en mesure de dire si une image est vraie ou fausse. La création de données synthétiques est une approche déjà bien rodée pour l'amélioration des systèmes de reconnaissance de documents imprimés¹⁰. Les GANs, notamment via le transfert de style (qui consiste à appliquer l'esthétique d'un do-

<footnote n="6">6 Levenson, Matthias Gille. "La transcription automatisée, un changement de paradigme ecdotique?." *Trilobe II: édition de texte et multidisciplinarité*. 2022.</footnote>

<footnote n="7">7 Clérice, Thibault, et al. "CATMuS Medieval: A multilingual large-scale cross-century dataset in Latin script for handwritten text recognition and beyond." (2024).</footnote>

<footnote n="8">8 Phillip Benjamin Ströbel, Simon Clematide, et Martin Volk. « How Much Data Do You Need? About the Creation of a Ground Truth for Black Letter and the Effectiveness of Neural OCR ». In *Proceedings of the 12th Language Resources and Evaluation Conference, 3551-3559*. Marseille: ACL Anthology, 2020</footnote>

<footnote n="9">9 Noëmie, Lucas, Clément Salah, and Chahan Vidal-Gorène. "New Results for the Text Recognition of Arabic Maghribi Manuscripts--Managing an Under-resourced Script." *arXiv preprint arXiv:2211.16147* (2022).</footnote>
cument cible à un autre document source), donnent des résultats généralement convaincants<fnref n="11" />. Ils ont également été utilisés pour créer soit directement des manuscrits latins réalistes<fnref n="12" />, des écritures cursives contemporaines<fnref n="13" /> ou médiévales dans divers alphabets<fnref n="14" />, soit par exemple pour la colorisation de microfilms en vue de restaurer la lisibilité du texte<fnref n="15" />, avec des améliorations des modèles de reconnaissance très variables, parfois limités ou nuls. Les GANs nécessitent en effet eux aussi un important volume de données pour produire des résultats crédibles, et sont difficiles à contraindre dans le style et l'aspect produit<fnref n="16" />. Une approche récente développée par Vidal-Gorène et Camps propose de surmonter ces principaux écueils de contrainte des GAN avec l'utilisation de masques sémantiques<fnref n="17" />, assurant un plein contrôle dans la composition de l'image et un style similaire à celui du manuscrit cible (voir *infra*), dans une stratégie d'augmentation de données nécessitant peu d'apport. Les images générées sont dépourvues de réalité textuelle (voir *infra* Figure X, où l'aspect global voire certaines séquences de lettres semblent, en apparence seulement, être réels). Les auteurs montrent toutefois qu'une variante de leur approche permet de produire une page manuscrite avec un vrai texte, sous réserve de disposer dudit texte. Dans le cadre plus général de la restauration de documents, les études récentes se concentrent sur une complétion statistique du texte lacunaire. L'approche a été démocratisée par le projet Ithaca<fnref n="18" />, qui se concentre sur la lecture d'inscriptions grecques endommagées, avec un taux de réussite de 62%.

Un système unifié combinant génération d'un texte probable et l'image associée n'existe pas encore. Des expérimentations ont été conduites sur des *papyri* grecs d'Homère, dont le texte connu a permis de compléter quelques lacunes dans un style graphique similaire au copiste<fnref n="19" />, mais la restauration d'image est pour l'instant concrite à l'élimination de bruit (par exemple tâches présentes dans les microfilms)<fnref n="20" /> rendant le texte plus lisible mais potentiellement éloigné du réel d'un point de vue paléographique, ou la restauration d'enluminures<fnref n="21" />. La figure 1 synthétise les différentes scénarios possible pour l'OCR/HTR de documents, avec ou sans restauration.

<footnote n="10">10 Etter, David, et al. "A synthetic recipe for OCR." 2019 International Conference on Document Analysis and Recognition (ICDAR). IEEE, 2019.</footnote>

<footnote n="11">11 Karras, Tero, Samuli Laine, and Timo Aila. "A style-based generator architecture for generative adversarial networks." *Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.* 2019.</footnote>

<footnote n="12">12 Vögtlin, Lars, et al. "Generating synthetic handwritten historical documents with OCR constrained GANs." *Document Analysis and Recognition–ICDAR 2021: 16th International Conference, Lausanne, Switzerland, September 5–10, 2021, Proceedings, Part III 16.* Springer International Publishing, 2021.</footnote>

<footnote n="13">13 Fogel, Sharon, et al. "Scrabblegan: Semi-supervised varying length handwritten text generation." *Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.* 2020.</footnote>

<footnote n="14">14 Vidal-Gorène, Chahan, Jean-Baptiste Camps, and Thibault Clérice. "Synthetic lines from historical manuscripts: an experiment using GAN and style transfer." *International Conference on Image Analysis and Processing*. Cham: Springer Nature Switzerland, 2023.</footnote>

<footnote n="15">15 Clérice, Thibault, and Ariane Pinche. "Artificial colorization of digitized microfilms: a preliminary study." *Journal of Data Mining and Digital Humanities* 2022. Towards a Digital Ecosystem:... (2023).</footnote>

<footnote n="16">16 Vögtlin, *Ibid*.</footnote>

<footnote n="17">17 Vidal-Gorène, Chahan, Camps, Jean-Baptiste. "Image-to-Image Translation approach for Page Layout Analysis and Artificial Generation of Historical Manuscripts." *Proceedings of the ICDAR 2024 conference*, Springer, 2024 (sous presse).</footnote>

<footnote n="18">18 Assael, Yannis, et al. "Restoring and attributing ancient texts using deep neural networks." *Nature* 603.7900 (2022): 280-283.</footnote>

<footnote n="19">19 Perrin, Simon, et al. "Homer restored: Virtual reconstruction of Papyrus Bodmer 1." *Proceedings of the 7th International Workshop on Historical Document Imaging and Processing*. 2023.</footnote>

<footnote n="20">20 Wenjun, Zheng, et al. "EA-GAN: restoration of text in ancient Chinese books based on an example attention generative adversarial network." *Heritage Science* 11.1 (2023): 42.</footnote>

<footnote n="21">21 Calatroni, Luca, et al. "Unveiling the invisible: mathematical methods for restoring and interpreting illuminated manuscripts." *Heritage science* 6 (2018): 1-21.</footnote>
<figure><img src="image_2.png" /><figcaption>**Figure 1** : Pipeline classique pour l'OCR / HTR de documents, vs approches de reconstructions de texte (1) ou d'image (2) prospectées dans l'état de l'art</figcaption></figure>

## Méthodologie appliquée au L.II.14

Pour le manuscrit L.II.14, nous avons connaissance du texte via les différentes transcriptions qui en existent. Celle-ci peuvent certes comporter quelques variantes, mais il n'y a pas de besoin cri-tique de restauration du texte proprement dit. En revanche, l'application de modèles d'analyse de mise en page génériques échoue à correctement identifier et détecter les différentes composantes du manuscrit (régions de texte et lignes de texte, voir infra Figure X). Nous prospectons deux stratégies pour améliorer la tâche d'analyse de mise en page. La première consiste à essayer de combler les tâches et artefacts qui pénalisent la détection en utilisant l'architecture CycleGAN<fnref n="22" />, afin d'obtenir in fine des lignes continues plus facilement détectables par un modèle de mise en page classique (non évalué dans le cadre de cette étude). CycleGAN est une forme particulière de GAN qui va tra-vailler en concurrence sur deux images afin de transférer les spécificités de la première sur la se-conde, et inversement. La notion de cycle fait écho au fait qu'une fois l'image artificielle produite, le GAN doit être en mesure de revenir à l'originale, sinon quoi l'entraînement se poursuit. C'est cette approche qui avait été utilisée pour la génération de manuscrits latins par Vögtlin et al., les auteurs fournissant un imprimé et un manuscrit en apprentissage, et attendant un transfert de style de l'un à l'autre<fnref n="23" />. Nous retenons cette approche en fournissant au modèle une image de manuscrit et sa ver-sion artificiellement endommagée par des découpes aléatoires (voir *infra* Figure 2).

<footnote n="22">22 Zhu, Jun-Yan, et al. "Unpaired image-to-image translation using cycle-consistent adversarial networks." *Proceed-ings of the IEEE international conference on computer vision*. 2017.</footnote>

<footnote n="23">23 Vögtlin, *Ibid*.</footnote>
<figure><img src="image_3.png" /><figcaption>Variante de Pix2Pix entraîné à la génération de mise en page</figcaption></figure>

<figure><img src="image_4.png" /><figcaption>**Figure 2** : Entraînement de CycleGAN pour la restauration de lacunes à partir de données artificiellement et aléatoirement bruitées, et entraînement de Pix2Pix pour la génération de fausses mises en pages à partir de masques de lignes</figcaption></figure>

La seconde stratégie mise en œuvre consiste à générer de fausses pages similaires au manuscrit L.II.14 afin de créer un jeu de données d'entraînement suffisant pour l'entraînement d'un modèle d'analyse de mise en page spécialisé sur ce manuscrit, suivant ici l'approche développée par Vidal-Gorène et Camps avec l'aide de masques sémantiques de baselines et l'approche Pix2Pix<fnref n="24" /> (voir *in-fra* Figure 2).

Les expérimentations sont conduites sur deux datasets, *CREMMA medieval*<fnref n="25" /> pour la restauration, — dataset comprenant 600 pages de manuscrits en ancien et moyen français écrits entre les XIIIe et XVe siècles — et un jeu de données annoté du manuscrit L.II.14²⁶ de 202 pages entièrement annotées au niveau des régions et des lignes de texte.

## Résultats et discussions

Les résultats de la restauration par CycleGAN sont présentés dans le Tableau 1. Si les lacunes artificiellement générées prennent des proportions et aspects divers, on note toutefois que le modèle est parfaitement capable de combler la lacune par un visuel crédible en apparence, restaurant y compris les différents fonds possibles (fond uni ou avec le texte du verso en transparence). La restauration ne propose en revanche aucune information textuelle pertinente, seulement des formes graphiques plus ou moins proches de la réalité du manuscrit-cible. La restauration échoue en revanche sur les lettrines, dont les motifs ne sont pas reconstruits, résultat attendu pour un GAN qui n'est pas entraîné sur des motifs spécifiquement, ou sur les lacunes trop importantes (voir Tableau 1 image 2). Il n'existe pas de métrique fiable pour quantifier la crédibilité d'une image générée par un GAN, nous pouvons néanmoins utiliser la *Frechet Inception Distance* (FID)²⁷ afin d'évaluer la proportion de bruit identifiée dans une image générée par un réseau de neurones, en comparaison avec la proportion

<footnote n="24">24 Isola, Phillip, et al. "Image-to-image translation with conditional adversarial networks." *Proceedings of the IEEE conference on computer vision and pattern recognition*. 2017.</footnote>

<footnote n="25">25 https://github.com/HTR-United/cremma-medieval</footnote>

<footnote n="26">26 https://github.com/RESCAPE-Biblissima/Torino_L-II-14</footnote>
tion de bruit mesurée dans une image réelle. Les résultats reportés dans le Tableau 1 ne permettent toutefois pas d'identifier une importante variation de la métrique, que l'image soit générée ou réelle : seule l'image 2 du tableau 1 est identifiée comme comme légèrement bruitée (et donc susceptible d'être un GAN) alors même que l'information textuelle de l'image générée est autant dépourvue de sens que les autres. Ces limites de la FID pour des images de manuscrits sont connues<fnref n="28" />. Des FID très similaires indiquent en revanche que, dans l'aspect global, la reconstruction est pertinente. Nous ne retenons toutefois pas cette approche telle quelle pour tenter d'analyser une mise en page, l'image 2 prouvant qu'une lacune trop importante en début de ligne conduit à une restauration incomplète des lignes et donc à une analyse tronquée.

<table><caption>**Tableau 1 :** Résultat de la restauration de portions endommagés de manuscrits du dataset CREM-MA. De gauche à droite : l'image originale, la version lacunaire (artificiellement endommagée) et la version restaurée par le GAN.</caption><thead><tr><th>Original</th><th>Endommagée</th><th>Restaurée</th><th>FID</th></tr></thead><tbody><tr><td><img src="image Original 1.png" alt="Original 1"></td><td><img src="image Endommagée 1.png" alt="Endommagée 1"></td><td><img src="image Restaurée 1.png" alt="Restaurée 1"></td><td>Original : 16,14<br>GAN : 17,12</td></tr><tr><td><img src="image Original 2.png" alt="Original 2"></td><td><img src="image Endommagée 2.png" alt="Endommagée 2"></td><td><img src="image Restaurée 2.png" alt="Restaurée 2"></td><td>Original : 19,38<br>GAN : 21,29</td></tr><tr><td><img src="image Original 3.png" alt="Original 3"></td><td><img src="image Endommagée 3.png" alt="Endommagée 3"></td><td><img src="image Restaurée 3.png" alt="Restaurée 3"></td><td>Original : 13,25<br>GAN : 13,87</td></tr></tbody></table>

<footnote n="27">27 Heusel, Martin, et al. "Gans trained by a two time-scale update rule converge to a local nash equilibrium." *Advances in neural information processing systems* 30 (2017).</footnote>

<footnote n="28">28 Vidal-Gorène, Chahan, Camps, Jean-Baptiste. "Image-to-Image Translation approach for Page Layout Analysis and Artificial Generation of Historical Manuscripts." *Proceedings of the ICDAR 2024 conference*, Springer, 2024 (sous presse).</footnote>
Au niveau de la génération de mise en page, les résultats sont présentés en Tableau 2. Les images générées reproduisent parfaitement l'édition du manuscrit L.II.14, y compris le fond et les différentes variations colorimétriques ou ondulatoires dues à l'endommagement. Si l'image générée ne comporte aucune information textuelle (nous pouvons tout au plus identifier des séquences de caractères donnant l'illusion d'un mot ou de caractères), l'approche retenue permet de démultiplier le jeu de données d'entraînement nécessaire au modèle d'analyse de la mise en page. Seuls de rares cas, les moins contraints, ne produisent pas d'image crédible : c'est le cas de la dernière image du tableau 2, où une grande liberté est laissée au GAN puisque seule une page sur les deux comporte des lignes à représenter. Le GAN échoue également à générer des enluminures, les masques n'étant pas assez précis pour permettre la génération de zones sémantiques. En revanche, les images 1 à 3 du tableau 2 attestent de la capacité du GAN à produire des initiales ornées.

<figure><img src="image_5.png" /><figcaption>**Tableau 2 :** Génération de fausses mises en page à partir de masques de lignes</figcaption></figure>

Comme évoqué en introduction, le principal écueil avec le traitement du manuscrit L.II.14 est sa mise en page endommagée qui pénalise la détection des lignes et des zones de texte. La Figure 3 présente les résultats obtenus avec un modèle générique d'analyse de mise en page présent par défaut sur la plateforme eScriptorium. La détection des régions utilise un CRNN reposant sur une approche dite de segmentation sémantique, ou classification des pixels, et n'arrive en conséquence pas à séparer deux zones de texte de même nature (ici une colonne de texte principal), tant la densité de pixels dans l'image est importante entre ces deux régions. Au niveau des lignes de texte, on observe également un très grand nombre de lignes coupées en de multiples morceaux, ou au contraire qui ne sont pas détectées. L'entraînement d'un modèle de mise en page très spécialisé, reposant sur le jeu de données de 202 pages disponibles, est théoriquement suffisant pour surmonter cet écueil. En revanche, il est évident que le nombre d'erreurs observés par défaut en Figure 3 indique que ce travail d'annotation des documents doit être réalisé entièrement à la main. Il n'est pas non plus aisé, au regard de la variété des endommagements, d'estimer à partir de combien d'images nous pourrions obtenir un modèle efficace.
<figure><img src="image_6.png" /><figcaption>**Figure 3** : Exemple de détection des zones de texte et des lignes de texte avec le modèle d'analyse de mise en page par défaut. Les colonnes sont fusionnées, tandis que les lignes sont morcelées (nous alternons les couleurs rouges et vertes afin de faire apparaître ce morcellement).</figcaption></figure>

À partir des masques observés en Tableau 2, nous générons donc un dataset équivalent de 100 images générées, qui s'ajoutent à 50 images réelles utilisées. Les masques sont générées aléatoirement selon la méthode décrite par Vidal-Gorène et Camps<fnref n="29" /> et s'inspirent de pages réelles existantes. Le Tableau 3 présente les résultats finaux du gain en analyse de la mise en page. Nous entraînons pour chaque expérience un modèle avec 50 images réelles et 0, 50, ou 100 images générées, et calculons pour chaque la précision et le rappel de la détection des lignes<fnref n="30" />. Il y a un total de 180 lignes à détecter. Le modèle spécialisé entraîné sur 50 images réelles sans donnée générée en détecte 415 dont seulement 16 correctes (modèle peu précis et peu pertinent), le modèle entraîné avec 50 images réelles et 50 générées en détecte 400 dont 46 correctes (augmentation de la pertinence mais modèle toujours peu précis), et enfin le modèle entraîné avec 50 images réelles et 100 images générées en détecte 194 dont 140 correctes (modèle à la fois plus précis et plus pertinent). Le Tableau 3 présente les résultats obtenus et un aperçu pour chaque modèle.

<table><caption>**Tableau 3** : Évolution de la précision et du rappel dans la tâche de détection des lignes, selon le nombre de données générées utilisées en entraînement</caption><tr><td>Images générées en entraînement</td><td>Aperçu</td><td>Précision</td><td>Rappel</td></tr></table>

<footnote n="29">29 Vidal-Gorène, Chahan, Camps, Jean-Baptiste. "Image-to-Image Translation approach for Page Layout Analysis and Artificial Generation of Historical Manuscripts." *Proceedings of the ICDAR 2024 conference*, Springer, 2024 (sous presse).</footnote>

<footnote n="30">30 La précision (*precision*) et le rappel (*recall*) sont des métriques utilisées pour évaluer des prédicitions. La précision correspond au nombre total de résultats pertinents trouvés parmi tous les résultats obtenus. Le rappel correspond au nombre total de résultats pertinents trouvés parmi tous les résultats pertinents attendus. Pour un exemple complet de calcul sur la détection des lignes pour des manuscrits, voir : Chahan Vidal-Gorène, «La reconnaissance automatique d'écrire-ture à l'épreuve des langues peu dotées», Programming Historian en français 5 (2023), https://doi.org/10.46430/phfr0023.</footnote>
<table><tr><td>0</td><td></td><td>0,03</td><td>0,08</td></tr><tr><td>50</td><td></td><td>0,11</td><td>0,25</td></tr><tr><td>100</td><td></td><td>0,72</td><td>0,77</td></tr></table>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

L'utilisation des GAN n'apporte pas un gain immédiat, comme on peut le voir avec le modèle utilisant 50 images générées : la pertinence (rappel) de la détection est certes portée à 25% au lieu de 8% par défaut, mais le modèle reste très imprécis avec 400 lignes détectées au lieu de 180. L'amélioration semble surtout concentrée sur la page de gauche colonne de droite, avec de nombreuses lignes très incurvées détectées. Un gain significatif apparaît avec une augmentation du jeu de données. Le modèle entraîné avec 100 images atteint lui 72% de précision (seulement 14 lignes détectées en trop par rapport à ce qui est attendu), et 77% de rappel. De nombreuses lignes des deux colonnes sont fusionnées sur la page de droite : si la reconnaissance du texte va pouvoir se faire, le sens de lecture sera donc erroné et par conséquent la ligne n'est pas considérée comme bien détectée.

## Conclusion et ouverture
Les expérimentations conduites dans le cadre de cet article témoignent du potentiel de l'utilisation des GAN pour améliorer la tâche d'analyse automatique de manuscrits endommagés. Les résultats obtenus sur le manuscrit L.II.14 illustrent, qu'en situation de peu de données manuellement anno-tées, il est possible de passer de 3% de précision et 8% de rappel à respectivement 72% et 77% pour la détection des lignes. Un modèle spécialisé entraîné uniquement avec des données réelles de ce même manuscrit obtiendrait sans nul doute de meilleurs résultats encore, mais la génération ici per-met d'économiser un temps précieux de création de données, et peut être aussi envisagée comme une annotation complémentaire si un modèle spécialisé ne suffit pas à surmonter toutes les difficul-tés. Notre étude, qui se concentre sur l'utilisation du GAN comme générateur de données artifi-cielles pour l'entraînement de modèles, montre aussi que cette approche est viable pour la généra-tion de mises en page crédibles, malgré l'absence d'information textuelle. Une piste d'amélioration est celle de l'intégration d'information textuelle afin de proposer non seulement une complétion du texte lacunaire, mais aussi une reconstruction visuelle du document original.

Chahan Vidal-Gorène

Centre Jean-Mabillon - École nationale des chartes – Université PSL

Jean-Baptiste Camps

Centre Jean-Mabillon - École nationale des chartes – Université PSL

Remerciements

Cette recherche a été financée par l'Institut de Recherche en Intelligence Artificielle de Paris (Paris Artificial Intelligence Research Institute), dans le cadre de l'appel à projets Sciences Humaines et Sociales, projet «Artificial Pasts: Lost Texts and Manuscripts that never were» (dir. J.-B. Camps). Elle a aussi bénéficié des réalisations du projet "Rescapé: L'approche numérique face au défi du feu. Digitaliser un manuscrit du XIVe siècle de la Biblioteca Nazionale Universitaria de Turin endommagé par l'incendie du 26 janvier 1904", soutenu par Biblissima+.