# What can you do next? Choice of output and reuse of your transcription

Alix Chagué, Floriane Chiffoleau

► To cite this version:

Alix Chagué, Floriane Chiffoleau. What can you do next? Choice of output and reuse of your transcription. 2023. hal-04247966

HAL Id: hal-04247966

https://hal.science/hal-04247966v1

Preprint submitted on 18 Oct 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# What can you do next?
## Choice of output and reuse of your transcription

Alix Chagué, Floriane Chiffoleau

From Source to Full Text: Workshop on Using Automatic Text Recognition (ATR)

September 8th 2023

<figure><img src="image_2.png" /></figure>

ALMAnaCH project-team

Inria

Le Mans
Université
Summary of
the
presentation

1. Which **output** for your transcription?

2. **Exercise: Export** your transcription

3. **Why and when** do we export?

4. How can your data be **reused**?

a. **Sharing** your (gold) data

b. **Transforming** your transcription

c. **Publishing** your transcription

5. **Resources**
Which output for your
transcription?
Which output
for your
transcription?

Three different output formats in
eScriptorium

☐ PAGE XML

☐ ALTO XML

☐ Text

Two kinds of output

- Reproduction of the structure of the transcribed document with information such as coordinates (of the regions or the lines), annotations and text → PAGE XML or ALTO XML

- Plain text containing only what was recognized in the segmented lines of the document → Text

→ **Your choice of output will depend on what you want to do with your data**
<figure><img src="image_3.png" /></figure>

ALTO XML (Analyzed Layout and Text Object)

<figure><img src="image_4.png" /></figure>

XML Schema that details technical metadata for describing the layout and content of
physical text resources

<figure><img src="image_5.png" /></figure>
<figure><img src="image_6.png" /></figure>

PAGE (Page Analysis and Ground-Truth Elements) XML

<figure><img src="image_7.png" /></figure>

XML-based page image representation framework that records information on image
characteristics (image borders, geometric distortions and corresponding corrections,
binarisation etc.) in addition to layout structure and page content.
# ALTO XML or PAGE XML ?

## ☐ Difference

* ☐ Pretty similar content and structure

* ☐ Transformation *alto2page* and *page2alto* are possible

## ☐ Evolution

* ☐ ALTO changes often

* ☐ PAGE hasn't changed in a long time

→ Your choice will depend on the other tools you use.

<figure><img src="image_8.png" /></figure>
☐ Plain text output

☐ Content of the (manually or automatically) transcribed lines of your images

☐ **Warning**: While the two previous export download directly a ZIP file, the "Text" option does not. You can either click right on "Download" and choose "Save target as" or click left to let the text open in another tab, and, from there, save the text file manually.

Clermont-Créans (Sarthe) 15 Aout 1914

N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-jointe. Je ne cesse de penser à lui depuis que la terrible guerre a éclaté malgré tout ; je n'oublierai jamais son aver-tissement prophétique, que vous avez entendu comme moi, sur l'effrayant progrès de la "démagogie militariste allemande" Quelle pitié que tous ces hommes d'élite réunis par nous, après tant d'années d'expérience et tant de généreu-efforts, aient été impuissants contre la folie du militaris-me et les excitations de la presse! Mais aussi quelle leçon pour nous, et comme elle nous dicte notre devoir : plus que ja-mais poursuivre notre oeuvre d'éducation. Nous n'avons pu, jus-qu'ici, que le préparer, certes avec succès inespéré, mais les
Export with
eScriptorium's
API

* It's possible to use the API for multiple exports

* There is a wrapper for the API here: https://gitlab.com/sofer_mahir/escriptorium_python_connection

* The API is not yet very documented

* (No demo of the API, we just want you to know it exists)
Exercise: Export your transcription
Exercise:
Export your
transcription
(ALTO version)

1. Select the images you want to export, then click on "Export"

2. A window will open where you will be able to choose the parameters for your export

3. Choose the right transcription (the one where you made your corrections and that contains the 'gold' transcription of your image)

4. Then, choose the "ALTO" option

5. Leave the "Include images" unchecked

6. Click on "Export"

7. A green popup will appear with a link to download the result

8. In your "Downloads" folder, unzip the file; you should have in it the ALTO XML of your image as well as a METS file
<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

Description

Ontology

Images

Edit

Models

Reports

Lettres 926 à 950

<figure><img src="image_11.png" /></figure>

Drop images here or click to upload.

Select all

Unselect all

Selected 0/69

<figure><img src="image_12.png" /></figure>

Import

<figure><img src="image_13.png" /></figure>

Export

<figure><img src="image_14.png" /></figure>

<figure><img src="image_15.png" /></figure>

Train

<figure><img src="image_16.png" /></figure>

Binarize

<figure><img src="image_17.png" /></figure>

Segment

<figure><img src="image_18.png" /></figure>

Transcribe

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>
# Why and when do we export?
# Why and when do we export?

* To create back-ups of the data (?)

* To migrate from one server/application to another

* To move to the next step of the pipeline (the transcription is over)

* To publish the whole dataset or a sample

* To feed the data to another tool (like Kraken in command line)
How can your data be reused?
How can your
data be reused?

☐ By making it **available for others**: **sharing** your training data

☐ By making it a more **enriched version**: **transforming** your transcription

☐ By making it into a **digital scholarly edition**: **publishing** your transcription
# Sharing your (gold) data
Sharing your
(gold) data

- Sharing **ground truth** is essential for the community of users and developers of HTR software

- A specific type of research output

- Gold data: perfect transcriptions (according to the project's guidelines)

- Sort-of gold data: not 100% perfect (very common)

- Silver data: automatically generated

- You can publish a sample of your corpus as a potential ground truth even if you don't train a model

- It's not enough to post the data online: it's better when they are **FAIR**
# Sharing your (gold) data

## Making data FAIR:

* Follow standards (transcription guidelines, dataset organization, file formats)

* Describe thoroughly (what do other people need to know to decide the usefulness and trustworthiness of the data?)

* Write *data papers* ?

* Reference in catalogs of ground truth for HTR

<figure><img src="image_28.png" /></figure>

Findable

<figure><img src="image_29.png" /></figure>

Accessible

<figure><img src="image_30.png" /></figure>

Interoperable

<figure><img src="image_31.png" /></figure>

Reusable
# Sharing your (gold) data: HTR-United

HTR-United is accessible here: https://htr-united.github.io/

- A catalog to find useful datasets

- A metadata schema to standardize descriptions

- A series of tools to control quality of data

- Recommendations for repository setup

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>
# Transforming your transcription
# Transforming your transcription : TEI XML encoding

* TEI (Text Encoding Initiative) → standard for the representation of texts in digital form

* Ensemble of tags, attributes, and values for the metadata and the text of your documents → **TEI Guidelines**

* Several advantages:

* Link directly your text to your images (*pb facs*)

* Reproduce the structure of the facsimile via the attributes (*rend*, *place*, etc.)

* Enrich your texts with complementary data such as named entities linking, contextual notes, critical editions comments, etc.

* Linking one text to another or a whole collection
N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION
ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-
jointe. Je ne cesse de penser à lui depuis que la terrible
guerre a éclaté malgré tout; je n'oublierai jamais son aver-

Facsimile and its transcription

Clermont-Créans (Sarthe) 15 Aout 1914

N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION
ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-
jointe. Je ne cesse de penser à lui depuis que la terrible
guerre a éclaté malgré tout ; je n'oublierai jamais son aver-
# Transforming your transcription : TEI XML encoding

Some tools/scripts are available to speed up and/or ease the process

* XSLT transformation from ALTO to XML-TEI:

* https://github.com/TEI4HTR/alto2tei

* https://github.com/kat-kel/alto2tei

* XSLT transformation from PAGE to XML-TEI:

https://github.com/TEI4HTR/page2tei

* Text tagging from plain text:

https://github.com/DiScholEd/.../text_tagging.py
# Publishing your transcription
# Publishing your transcription: TEI Publisher

- **TEI Publisher** is ...

- an easy-to-use tool to publish your TEI XML files

- a *prêt-à-porter* application customizable with few tweaks

- Few platforms created with TEI Publisher

<figure><img src="image_34.png" /></figure>

<figure><img src="image_35.png" /><figcaption>When the Wall Came Down</figcaption></figure>

<figure><img src="image_36.png" /><figcaption>Van Gogh Letters</figcaption></figure>

Digital
Scholarly
Editions

<figure><img src="image_37.png" /><figcaption>Digital Scholarly Editions</figcaption></figure>

<figure><img src="image_38.png" /><figcaption>Antonomaz</figcaption></figure>
<figure><img src="image_39.png" /></figure>

tei
Publisher

Start

Documentation

News

DTS

<figure><img src="image_40.png" /></figure>

Enter Query

<figure><img src="image_41.png" /></figure>

Language

English

<figure><img src="image_42.png" /></figure>

Login

# The Instant Publishing Toolbox

Log in as **tei-demo** with password **demo** to experiment with your own files and ODDs

## Documents

Sort by

Title

<figure><img src="image_43.png" /></figure>

Query scope

Search content

<figure><img src="image_44.png" /></figure>

Enter Query

<figure><img src="image_45.png" /></figure>

## SEARCH

### Genre

<figure><img src="image_46.png" /></figure>

Documentation

2

<figure><img src="image_47.png" /></figure>

Drama

1

<figure><img src="image_48.png" /></figure>

Letters and Correspondence

9

<figure><img src="image_49.png" /></figure>

Lexicons and Dictionaries

2

<figure><img src="image_50.png" /></figure>

Prose

5

### Language

<figure><img src="image_51.png" /></figure>

German

4

<figure><img src="image_52.png" /></figure>

deu

3

<figure><img src="image_53.png" /></figure>

English

13

<figure><img src="image_54.png" /></figure>

Spanish

2

<figure><img src="image_55.png" /></figure>

French

1

<figure><img src="image_56.png" /></figure>

grc

1

<figure><img src="image_57.png" /></figure>

Latin

3

<figure><img src="image_58.png" /></figure>

let

4

<figure><img src="image_59.png" /></figure>

Polish

3

<figure><img src="image_60.png" /></figure>

Ukrainian

1

<figure><img src="image_61.png" /></figure>

## TEI Publisher Demo Collection

Documents demonstrating various features. The selection is in no way comprehensive but represents a subset of what is possible.
Please contribute your own use cases to complement this.

Image by Chris Lawton

<figure><img src="image_62.png" /></figure>

## Playground

A writable collection into which you can upload your own documents for testing.

Image by Nick Morice

<figure><img src="image_63.png" /></figure>

## Documentation

Documentation (using Docbook XML).

Image by <4409>

<figure><img src="image_64.png" /></figure>

## Annotation Samples

Another playground for annotating documents.

Image by Freepic

<figure><img src="image_65.png" /></figure>

## Markdown Sample

An example of using markdown for static content.

## ODD Files

### Serafin Letters

<figure><img src="image_66.png" /></figure>

<figure><img src="image_67.png" /></figure>

15th c. manuscript correspondence with parallel translation

### DOCK Output Preview

<figure><img src="image_68.png" /></figure>

<figure><img src="image_69.png" /></figure>

A test ODD to preview TEI imported from Word docx

### Graves' Letters

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>

Modern correspondence with visualization of prosopographical and geographical information

### ODD_TIMEUS

<figure><img src="image_72.png" /></figure>

<figure><img src="image_73.png" /></figure>

### Dantiscus' Letters

<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>

16th c. correspondence with facsimile and encoding of transcriptional features and prosopographical information

### Erasmus Adagia

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>

### Potocki Moralia

<figure><img src="image_78.png" /></figure>

<figure><img src="image_79.png" /></figure>

### Deutsches Textarchiv

<figure><img src="image_80.png" /></figure>

<figure><img src="image_81.png" /></figure>

### EBBE

<figure><img src="image_82.png" /></figure>

<figure><img src="image_83.png" /></figure>

### DOCK Import

<figure><img src="image_84.png" /></figure>

<figure><img src="image_85.png" /></figure>
## Lettre N° 1 (15 Août 1914)

La Démagogie militarisante allemande.

La mobilisation - La France récolte ce qu'elle a semé.

Aux funérailles de Jaurès.

Annexe:

Texte de mon discours aux funérailles de Jaurès.

Clermont-Créans (Sarthe) 15 Aout 1914

N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-jointe. Je ne cesse de penser à lui depuis que la terrible guerre a éclaté malgré tout ; je n'oublierai jamais son aver-tissement prophétique, que vous avez entendu comme moi, sur l'effrayant progrès de la "démagogie militarisante allemande"

Quelle pitié que tous ces hommes d'élite réunis par nous, après tant d'années d'expérience et tant de généreux efforts, aient été impuissants contre la folie du militarisme et les excitations de la presse! Mais aussi quelle leçon pour nous, et comme elle nous dicte notre devoir : plus que jamais poursuivre notre oeuvre d'éducation. Nous n'avons pu, jus- qu'ici, que le préparer, certes avec un succès inespéré, mais les résultats importants que nous avons obtenus si vite et sur tant de points ne sont que des débuts, des germes ; c'est mainte-nant seulement que le monde civilisé, brutalement éve u j llé de son ignorance, va comprendre ce que nous avons commencé et sur-

## Lettre N° 1 (15 Août 1914)

La Démagogie militarisante allemande. La mobilisation - La France récolte ce qu'elle a semé. Aux funérailles de Jaurès.

Annexe:

Texte de mon discours aux funérailles de Jaurès.

Clermont-Créans (Sarthe) 15 Aout 1914

N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-jointe. Je ne cesse de penser à lui depuis que la terrible guerre a éclaté malgré tout ; je n'oublierai jamais son aver-tissement prophétique, que vous avez entendu comme moi, sur l'effrayant progrès de la "démagogie militarisante allemande"

Quelle pitié que tous ces hommes d'élite réunis par nous, après tant d'années d'expérience et tant de généreux efforts, aient été impuissants contre la folie du militarisme et les excitations de la presse! Mais aussi quelle leçon pour nous, et comme elle nous dicte notre devoir : plus que jamais poursuivre notre oeuvre d'éducation. Nous n'avons pu, jus- qu'ici, que le préparer, certes avec un succès inespéré, mais les résultats importants que nous avons obtenus si vite et sur tant de points ne sont que des débuts, des germes ; c'est mainte-nant seulement que le monde civilisé, brutalement éve u j llé de son ignorance, va comprendre ce que nous avons commencé et sur-tout ce qui reste à faire.

Je vous écrirai par un prochain courrier spécialement à ce sujet, qui sera pour nous, avant peu, le sujet essentiel. Aujourd'hui je suis encore tout à la [i]—characteristic—d ouleur de me sentir im- à Monsieur le Président Nicholas Murray BUTLER

- 2 - puissant devant les combats meurtriers engagés en Belgique et sur nombre de points de notre frontière de l'Est et du Nord, en attendant les grandes batailles et les hécatomes qui s'annoncent. Je suis tout à la pensée de ces calamités éffroyables et volontairement déchâignées : tant d'existences précieuses et déjà fauchées ou condamnées ; tant de deuts évi-tables qu'on ne peut plus, qu'on ne veut plus éviter ! Il n'y a pas en France une seule famille qui n'ait donné sans hésiter tous ses enfants en âge de combattre pour repousser l'envahis-seur. Notre ami Charles Richer, à lui

## Lettre N° 1 (15 Août 1914)

La Démagogie militarisante allemande.

La mobilisation - La France récolte ce qu'elle a semé.

Aux funérailles de Jaurès.

Annexe:

Texte de mon discours aux funérailles de Jaurès.

N° 1

Mon cher Butler

Je reçois de notre cher Président de la CONCILIATION ALLEMANDE, le Dr. Nippold, la triste et touchante lettre ci-jointe. Je ne cesse de penser à lui depuis que la terrible guerre a éclaté malgré tout ; je n'oublierai jamais son aver-tissement prophétique, que vous avez entendu comme moi, sur l'effrayant progrès de la "démagogie militarisante allemande"

Quelle pitié que tous ces hommes d'élite réunis par nous, après tant d'années d'expérience et tant de généreux efforts, aient été impuissants contre la folie du militarisme et les excitations de la presse! Mais aussi quelle leçon pour nous, et comme elle nous dicte notre devoir : plus que jamais poursuivre notre oeuvre d'éducation. Nous n'avons pu, jus- qu'ici, que le préparer, certes avec un succès inespéré, mais les résultats importants que nous avons obtenus si vite et sur tant de points ne sont que des débuts, des germes ; c'est mainte-nant seulement que le monde civilisé, brutalement éve u j llé de son ignorance, va comprendre ce que nous avons commencé et sur-tout ce qui reste à faire.

Clermont-Créans (Sarthe) 15 Aout 1914
<figure><img src="image_86.png" /></figure>

<figure><img src="image_87.png" /></figure>

<figure><img src="image_88.png" /></figure>

teipublisher.odd <>

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

TEI Publisher ODD,

teiHeader

<figure><img src="image_91.png" /></figure>

note

<figure><img src="image_92.png" /></figure>

pb

<figure><img src="image_93.png" /></figure>

+

Add Element

pb

MODE: CHANGE

Jump to element ...

<figure><img src="image_94.png" /></figure>

<figure><img src="image_95.png" /></figure>

+

Element Specs

TEI

ab

add

anchor

argument

author

back

bibl

model [webcomponent]

Use the url from the facs attribute to link with IIIF image
@facs

model [webcomponent]

If facs attribute starts with iiiif prefix, use the trailing part as a link to the IIIF image
starts-with@facs, iiiif:

model [break]

<figure><img src="image_96.png" /></figure>

<figure><img src="image_97.png" /></figure>

<figure><img src="image_98.png" /></figure>

<figure><img src="image_99.png" /></figure>
<figure><img src="image_100.png" /></figure>

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>

<figure><img src="image_103.png" /></figure>

<figure><img src="image_104.png" /></figure>

Introduction

Quickstart

Supported XML vocabularies

Processing Model transformations

Custom CSS styling

Page templates and pb-components

Server-side API

Language versions

Creating applications with the App Generator

Best Practice Recommendations

Updating Applications

Data

Facet Search Configuration

Embedding TEI Publisher in other systems

Creating Custom Web Components

Adding a custom vocabulary

Annotating Documents

Configuring the Annotation Editor

TEI Publisher in production

> Introduction

# Introduction

## What TEI Publisher does ...

The motivation behind TEI Publisher was to provide a tool which enables scholars and editors to publish their materials without becoming programmers, but also does not force them into a one-size-fits-all framework. Experienced developers will benefit as well by writing less code, avoiding redundancy, improve maintenance and interoperability - to just name a few. TEI Publisher is all about **standards, modularity, reusability and sustainability**!

In Publisher, it all starts with your source documents - regardless if they are in TEI or other form of XML: DocBook, MS Word (DOCX) or JATS. No matter how the source material has been encoded, it can be easily transformed into a range of output formats for publication - from a modern web page that you can open on your laptop or mobile device, to an ebook, a PDF file or its LaTeX source.

TEI Publisher derives its name from TEI and the TEI Processing Model (PM). Processing Model is a part of the TEI vocabulary and TEI ODD specification format, described in the **TEI P5 guidelines** as well as further chapters here. It defines how a TEI document should be rendered in different output formats and lies at the heart of TEI Publisher.

However, online editions require more than just a text transformation: the text needs to be embedded into an application context, adding navigation, pagination, search, facsimile display and so on. The larger part of TEI Publisher deals with those aspects, providing all the necessary building blocks for an online edition.

Staying true to the spirit of code reuse and interoperability, TEI Publisher implements its functionalities as small "lego" blocks to be freely arranged and recombined. The technology making this possible is called **Web Components**. It is part of the HTML5 specification and natively implemented by many browsers. Users don't need to dive into the details of this standard though: all you need to modify the example pages is some basic HTML knowledge.

Only where the **available components** are not enough, a new use case needs to be described and suitable new components implemented but then they can be incorporated into existing component pool for everyone else to use. After all, our mantra is reuse, reuse, reuse and we want to turn TEI Publisher into a box of tools the entire community can benefit from.
Resources
Resources

eScriptorium: https://escriptorium.inria.fr/

HTR-United: https://htr-united.github.io/

Kraken: https://kraken.re/main/index.html

PAGE XML:
http://www.primaresearch.org/publications/ICP
R2010_Pletschacher_PAGE

TEI Guidelines:
https://tei-c.org/release/doc/tei-p5-doc/en/htm
l/index.html

TEI Publisher:
https://teipublisher.com/index.html

XML ALTO:
https://www.loc.gov/standards/alto/
Thank you for your attention

Any questions ?

Contact: alix.chague[at]inria.fr
floriane.chiffoleau[at]inria.fr