# Aligner, vérifier et enrichir des jeux de données sur le patrimoine écrit ancien: découvrir et pratiquer le web service de réconciliation pour OpenRefine de Biblissima

Emmanuelle Morlock, Eduard Frunzeanu, Régis Robineau, Kevin Bois

► To cite this version:

Emmanuelle Morlock, Eduard Frunzeanu, Régis Robineau, Kevin Bois. Aligner, vérifier et enrichir des jeux de données sur le patrimoine écrit ancien : découvrir et pratiquer le web service de réconciliation pour OpenRefine de Biblissima. École thématique. Pre-conference Worshops - Digital Humanities Conference 2024, Georges Mason University, Arlington, Virginia, United States, United States. 2024. [hal-04982645](https://hal.science/hal-04982645v1)

HAL Id: hal-04982645

https://hal.science/hal-04982645v1

Submitted on 7 Mar 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Aligner, vérifier et enrichir des jeux de données sur le patrimoine écrit ancien : découvrir et pratiquer le web service de réconciliation pour OpenRefine de Biblissima

XML

## 1. Résumé

Cet atelier d'initiation à la réconciliation de données avec OpenRefine vise à faire découvrir les possibilités d'alignement et d'enrichissement de données offertes par l'infrastructure numérique Biblissima+ avec l'ensemble de ses référentiels d'autorité (personnes, organisations, lieux, descripteurs iconographiques, œuvres, cotes de manuscrits et d'imprimés anciens).

## 2. Contexte et objectifs de l'atelier

### 2.1. Biblissima+, une infrastructure de données sur le patrimoine écrit ancien

Biblissima+, Observatoire des cultures écrites, de l'argile à l'imprimé, est une infrastructure de recherche consacrée à l'histoire de la transmission des textes anciens, de l'Antiquité à la Renaissance en Orient comme en Occident. Elle a pour objectifs de simplifier l'accès au patrimoine écrit ancien, à outiller son étude et à favoriser l'adoption des outils numériques par les chercheurs. Financée dans le cadre d'un programme d'investissements d'avenir du gouvernement français pour la période 2021-2029, elle prend le relais du programme Biblissima (Bibliotheca bibliothecarum novissima : observatoire du patrimoine écrit du Moyen Âge et de la Renaissance).

### 2.2. Le portail Biblissima et ses référentiels d'autorité

Le portail Biblissima offre un accès unique et simple à l'ensemble des données numériques collectées ou produites par les équipes de recherche partenaires du projet. Il s'appuie sur une infrastructure technique respectant les standards et principes du web sémantique ainsi que le protocole d'interopérabilité des images IIIF. Il met en place une chaîne de traitement permettant de rendre les ressources numériques hétérogènes fournies par ses partenaire interopérables et inter-alignées sur des référentiels d'autorité. Ces référentiels sont organisés par types d'entités : cotes de manuscrits et imprimés anciens, personnes et organisations, lieux, descripteurs iconographiques, œuvres et bientôt entrées lexicales. Ils jouent un rôle central dans la présentation unifiée au sein du portail de toutes les informations concernant une même entité dans les différentes sources agrégées. Par exemple, une même page du portail consacrée à l'entité personne "François Rabelais" rassemble des informations biographiques provenant d'un dictionnaire d'auteurs datant du XVle siècle, récapitule l'ensemble des graphies et pseudonymes utilisés pour y faire référence ("Rabelais, François, "Francesco Rabelais" ou "Alcofribas Nasier") et liste les œuvres dont il est l'auteur.

L'alimentation ou la mise à jour de ces référentiels s'effectue en continu à partir des données collectées et traitées dans le cadre de Biblissima+. À chaque intégration d'une nouvelle source dans le dispositif, une chaîne de traitement des données est mise en œuvre. Après une première phase d'extraction, les entités nommées sont désambiguïsées et dédoublonnées si l'entité existe déjà dans l'un des référentiels. Elles sont ensuite alignées sur d'autres référentiels externes (catalogues de bibliothèques nationales, ressources spécialisées, ressources du web de données liées comme Wikidata ou Geonames). Après une étape optionnelle d'ajouts d'informations lorsque les entités sont absentes de tout autre référentiel, la forme préférentielle du libellé est choisie. Pour finir, les identifiants uniques des nouvelles entités sont créés.

S'inscrivant depuis sa création en 2012 dans une démarche d'exposition et d'ouverture des données, Biblissima publie ses référentiels d'autorité sous forme de données structurées au sein d'une plateforme dédiée data.biblissima.fr. C'est l'une des raisons qui l'ont conduite à adopter le logiciel Wikibase pour gérer et partager ses référentiels.

### 2.3. Le service de réconciliation de données de Biblissima

La réconciliation de données est un processus qui consiste à mettre en correspondance des entités (noms, dates, concepts, etc.) présentes au sein d'un jeu de données local avec les entités d'une source externe, de manière semi-automatisée. Les alignements ainsi créés peuvent être exploités pour comparer ou enrichir les données de la source locale.

Ce processus de réconciliation de données est implémenté dans OpenRefine, un outil Open Source d'exploration, de nettoyage et de transformation de données facile à utiliser du fait de son interface utilisateur conviviale et intuitive. La spécification d'API développée à l'origine dans le cadre du projet OpenRefine est en cours de standardisation au W3C et peut également être utilisée dans le cadre d'autres clients.

Le service de réconciliation de données implémenté par l'instance Wikibase de data.biblissima via est conforme à la version 0.1 de l'API de réconciliation.

Pour lancer le processus de réconciliation sur les référentiels Biblissima, il suffit d'activer une commande de menu sur la colonne de tableau à traiter, comme une liste de noms de personnes. Pour chaque cas où plusieurs appariements sont possibles, l'utilisateur doit choisir celui qui convient.
Le processus est itératif car il repose sur la comparaison de chaînes de caractères, donc toute graphie singulière peut affecter les résultats. Souvent plusieurs étapes successives de nettoyage et harmonisation des données sont nécessaires afin d'obtenir des résultats satisfaisants. Quelques recettes sont utiles à connaître pour mieux organiser la revue critique des résultats (créer des regroupements selon des critères appelés facettes pour effectuer le travail d'analyse des résultats d'appariement et de choix de manière critique).

Si la fonctionnalité de réconciliation est facile à mettre en œuvre dans OpenRefine, elle suppose un examen critique des appariements proposés par l'algorithme quand elle est mise en œuvre dans un contexte académique. C'est aussi l'un des objectifs de l'atelier que de susciter des discussions à ce sujet parmi les participants.

## 2.4. Objectifs et positionnement de l'atelier

L'objectif de l'atelier est de mieux faire connaître le service de réconciliation et d'alignement avec OpenRefine de Biblissima. En effet ce service met à disposition des données scientifiquement validées et un point d'accès unifié à des collections numérisées selon le protocole IIIF. Il offre en outre de nombreux alignements vers d'autres référentiels (Wikidata, catalogues des grandes bibliothèques nationales, Geonames, etc.) permettant de nombreux rebonds et possibilités d'enrichissement ou de contrôle qualité des données.

La démarche pédagogique est centrée sur la mise en pratique à partir d'exercices simples et faciles à reproduire. Les opérations plus complexes sont seulement montrées et documentées, afin de pouvoir être reproduites ultérieurement et sans les contraintes temporelles de l'atelier.

Des temps de questions / réponses et de discussion collective sont prévus à la fin de chaque partie de l'atelier afin de favoriser l'appropriation et les échanges entre les participants.

## 3. Formateurs et contributeurs

L'atelier sera préparé par les membres de l'équipe projet du Volet A du programme Biblissima+ qui porte sur les mécanismes d'agrégation de nouveaux bassins de données dans l'infrastructure numérique du projet via les référentiels Biblissima+. Il sera animé en présentiel par Emmanuelle Morlock. Les autres membres de l'équipe participeront à distance si la modalité de visioconférence simultanée peut être mise en place.

Eduard Frunzeanu est ingénieur de recherche, affilié à l'École Pratique des Hautes Études (EPHE-PSL). Au sein de l'équipe portail de Biblissima+, il assure la responsabilité des référentiels d'autorités et du traitement des données.

Emmanuelle Morlock est ingénieure de recherche au CNRS et travaille au laboratoire Histoire et Sources des Mondes antiques (HiSoMA) à Lyon (France) à l'accompagnement de projets d'éditions critiques de sources en TEI ou EpiDoc et d'action de sensibilisation à la publication ouverte des données de la recherche. Elle est également directrice adjointe du programme Biblissima+, en charge du suivi du volet A du projet (partenariats et mécanismes d'agrégation de nouveaux jeux de données dans le portail).

Régis Robineau est ingénieur de recherche, affilié à l'École Pratique des Hautes Études (EPHE-PSL). Il assure la responsabilité de la coordination de l'équipe Portail Biblissima+ et du Cluster 1 "Acquisition des corpus de sources interopérables" (IIIF).

Kevin Bois est développeur, affilié à l'École Pratique des Hautes Études (EPHE-PSL). Il a en charge la gestion informatique du portail Biblissima, de la plateforme IIIF Collections - Manuscripts & Rare Books et des référentiels d'autorité.

## 4. Audience cible

Cet atelier s'adresse aussi bien à un public gérant des ressources numériques dans le domaine du patrimoine ancien qu'à un public souhaitant simplement apprendre à tirer parti de la fonctionnalité de réconciliation de données offerte par OpenRefine pour l'appliquer à d'autres périmètres scientifiques.

## 5. Aspects pratiques

Nombre maximum de participants en présentiel : 15.

Durée : 3h00

Langue : l'atelier se tiendra en anglais ou en français, en fonction des préférences des participants.

Équipement : salle avec projecteur vidéo et connexion wifi de bonne qualité.

Participation à distance : la mise en place d'une possibilité de suivre l'atelier à distance est souhaitée.

Exercices pratiques : les participants effectuent les exercices pratiques sur leur ordinateur personnel. Une installation du logiciel OpenRefine avant la tenue de l'atelier est demandée.

Les présentations et exercices ainsi que les fichiers d'entrainement seront mis à disposition sur l'entrepôt Github de Biblissima.

## 6. Pré-requis techniques et préparation
Aucune connaissance technique préalable n'est requise pour participer à l'atelier. Une connaissance minimale de l'encodage XML (TEI ou EAD) peut être néanmoins utile pour comprendre l'intérêt du dernier exercice.

Les participants ont installé OpenRefine sur leur ordinateur. Ils peuvent avoir préparé un ou plusieurs jeux de données sur lesquels ils souhaitent travailler (des consignes seront envoyées en amont pour faciliter la préparation de ce fichier (au format .cvs de préférence).

# 7. Programme (3h00)

## Introduction (30 min)

* Présentation globale de l'infrastructure Biblissima+. Présentation des 6 référentiels d'autorité et de leur articulation avec le portail Biblissima

* Présentation de l'outil OpenRefine :

* Fonction première de nettoyage et de transformation de données tabulaires

* Principales étapes d'un processus de réconciliation.

* Présentation du web service de réconciliation de Biblissima : démonstration rapide sur le traitement d'une liste de noms de personnes.

## Exercice 1 : aligner un jeu de données (30 min)

* Les participants mettent en application pas à pas les étapes présentées dans la démonstration précédente puis recommencent sur une liste de noms de personnes présentant quelques difficultés supplémentaires, et nécessitant de nettoyer quelques occurrences de noms ou d'utiliser une colonne de dates pour la désambiguïsation des homonymes. Le travail en binômes est encouragé.

* Temps d'échanges sur l'exercice.

## Exercice 2 : Enrichir un jeu de données (45 min)

* Présentation de la fonction d'enrichissement de données via l'ajout de données tirées des référentiels Biblissima. Présentation des fichiers d'entraînement proposés.

* Application sur un jeu de données au choix (exercices proposés ou jeu de données personnel).

* Démonstration : exemple d'utilisation de cette fonction de récupération de données à des fins de comparaison et de vérification (listes de date ou de localisations géographiques).

* Temps d'échanges sur l'exercice.

## Pause (20 min)

## Exercice 3 : Exporter le jeu de données au format XML (35 min)

* Démonstration de la fonctionnalité d'export à l'aide de patrons de code.

* Mise en application sur le jeu de données enrichi lors de l'exercice précédent.

* Commentaire d'exemple d'utilisation pour des éditions TEI ou des notices de catalogue au format EAD - Export des données depuis les fichiers XML via XSLT - Alignement et enrichissements - Format d'export - Réinjection des données réconciliées et enrichies dans le fichier XML (par copier/coller ou via XSLT/XQuery).

## Conclusion et temps d'échanges sur l'atelier (20 min)

# 8. Remerciements

Biblissima+ bénéficie d'une aide de l'État gérée par l'ANR au titre du Programme d'investissements d'avenir intégré à France 2030, portant la référence ANR-21-ESRE-0005.

# Appendix A

## Bibliography

1. **Bourdic, Maïwen** (2020): "D'un inventaire PDF à un fichier XML : cas pratique OpenRefine" in: *Patrimoine et Numérique : Tutoriels*. < https://patrimoine-et-numerique.fr/tutoriels/69-38-d-un-inventaire-pdf-a-un-fichier-xml-cas-pratique-openrefine > [02.12.2023].

2. **Frunzeanu, Eduard and Robineau, Régis** (2017): "What's in a Name? Text and Image for Indexing Prosopographical Data" in École d'été du Mans: *Bibliotheca Digitalis: Reconstitution of Early Modern Digital Networks: From Primary Sources to Data, Le Mans, France, 5 July 2017* < https://projet.biblissima.fr/fr/what-is-in-a-name-text-image-indexing-prosopographical-data > [02.12.2023].

3. **Robineau, Régis** (2019): "Les référentiels Biblissima : épine dorsale du portail Biblissima et de IIIF-Collections". Séminaire sur l'étude des provenances dans les bibliothèques territoriales françaises (CERL, MCC, Bibliothèque municipale de Lyon). < https://projet.biblissima.fr/fr/referentiels-biblissima-epine-dorsale-portail-biblissima-iiif-collections > [02.12.2023].
4. **Robineau**, Régis (2019): "The Biblissima Authority File of Geographical Names" in Atelier Campus Condorcet: *Référentiels géo-historiques sémantisés pour les humanités*, Ecole nationale des chartes, Paris, France < https://projet.biblissima.fr/fr/biblissima-authority-file-geographical-names > [02.12.2023].

5. **Robineau**, Régis (2022): "Gérer, partager et interroger grâce à Wikibase des référentiels d'autorité pour la recherche : l'exemple de data.biblissima", in *Atelier Données de la Mission pour les Initiatives Transverses et Interdisciplinaires du CNRS: Webinaire Wikidata*, 21 Avril 2022. < https://doi.org/10.5281/zenodo.6581780 > [02.12.2023]

6. **Turcan-Verkerk** , Anne-Marie (2022): “Ancient written cultures and digital technology: Biblissima(+): Preparing tomorrow's research and providing access to the written heritage ”, in *Bibliothek und wissenschaft* , 2022, 55: 103 – 119. < https://ephe.hal.science/hal-04048320 > [02.12.2023]

7. OpenRefine User Manual. <https://openrefine.org/docs> [15.07.2023]

8. Reconciliation service test bench: https://reconciliation-api.github.io/testbench/#/ [15.07.2023]

9. Wikidata reconciliation for OpenRefine: https://wikidata.reconci.link/ [15.07.2023]

10. Getty Vocabularies OpenRefine Tutorial: https://www.getty.edu/research/tools/vocabularies/obtain/getty_vocabularies_openrefine_tutorial.pdf [15.07.2023]

Emmanuelle Morlock (emmanuelle.morlock@cnrs.fr), CNRS, France and Eduard Frunzeanu (eduard.frunzeanu@biblissima-condorcet.fr), École Pratique des Hautes Études - PSL and Régis Robineau (regis.robineau@biblissima-condorcet.fr), École Pratique des Hautes Études - PSL and Kevin Bois (kevin.bois@biblissima-condorcet.fr), École Pratique des Hautes Études - PSL