# Découvrir le logiciel OpenRefine et Wikidata

Mickaël Schauli

► To cite this version:

Mickaël Schauli. Découvrir le logiciel OpenRefine et Wikidata. Doctorat. Strasbourg, France. 2024. hal-05073187

HAL Id: hal-05073187

https://hal.science/hal-05073187v1

Submitted on 19 May 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

# Wikidata et OpenRefine

Mickaël Schauli,
Wikimédien en résidence

Inspirez-vous des diapositives de Pierre-Yves Beaudouin et de Delphine Montagne.

<figure><img src="image_4.png" /></figure>
# Programme Et attentes

Qu'allons-nous faire aujourd'hui ?

- Wikidata et la recherche

- Découverte de Wikidata

- Ateliers pratiques

- Après-midi : OpenRefine
# Wikimédien en résidence

Partenariat Wikimédia France – ministère de l'Enseignement supérieur et de la Recherche

<figure><img src="image_5.png" /></figure>

WIKIMEDIA
FRANCE

URFIST
strasbourg

<figure><img src="image_6.png" /></figure>

MINISTÈRE
DE L'ENSEIGNEMENT
SUPÉRIEUR,
DE LA RECHERCHE
ET DE L'INNOVATION

Liberté
Égalité
Fraternité

## Deuxième Plan national pour la science ouverte

GÉNÉRALISER
LA SCIENCE OUVERTE
EN FRANCE 2021-2024

<figure><img src="image_7.png" /></figure>
# Mouvement Wikimédia

## La bataille du libre accès à la connaissance

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

WIKIMEDIA
META-WIKI

<figure><img src="image_10.png" /></figure>

WIKIMEDIA
COMMONS

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

WIKIPEDIA
The Free Encyclopedia

<figure><img src="image_13.png" /></figure>

WIKIBOOKS

<figure><img src="image_14.png" /></figure>

Wikiquote

<figure><img src="image_15.png" /></figure>

WIKINEWS

<figure><img src="image_16.png" /></figure>

WIKISOURCE

<figure><img src="image_17.png" /></figure>

WIKISPECIES
free species directory

<figure><img src="image_18.png" /></figure>

Wiktionary
The free dictionary

<figure><img src="image_19.png" /></figure>

MediaWiki

<figure><img src="image_20.png" /></figure>

WIKIVERSITY

<figure><img src="image_21.png" /></figure>

<figure><img src="image_22.png" /></figure>
# Wikidata

La base de données/connaissances structurées

## Base de connaissances

Qui permet la centralisation des informations présentent dans les infobox de Wikipédia

## Présentée sous la forme

De pages qui regroupent des triplets RDF enrichis de références.

<figure><img src="image_23.png" /></figure>

## Comment décrire l'éléphant d'Asie dans Wikidata ?

<figure><img src="image_24.png" /></figure>

**Nom scientifique** (P225)

Elephas maximus

**Durée de vie maximale** (P4214)

65,5 années

**Couleur** (P462)

gris (Q42519)

[MOOC] Wikidata
# Extraction des données

Depuis la base de connaissance **WIKIDATA**

<figure><img src="image_25.png" /></figure>

## Utiliser les données

Disponibles sous licence CC0 sur
Wikidata, via des requêtes.

## Requêtes

En langage SPARQL, équivalent
du SQL pour les bases de données
relationnelles.

## Package R *GlittR*

Pour l'extraction des données de
Wikidata directement depuis R.

<figure><img src="image_26.png" /></figure>
# Wikidata

La base de données/connaissances structurées

## Infobox

Permet de générer automatiquement les infobox de Wikipédia, et n'avoir qu'un point central d'information.

## Liens interlangues

Permet de centraliser les liens entre les différentes versions linguistiques de Wikipédia.

de Strasbourg

文A 50 langues v

<figure><img src="image_27.png" /></figure>

Rechercher une langue

Langues suggérées

Alemannisch

Português

Català

Deutsch

English

Español

Euskara

Italiano

## Conseil national du numérique

<figure><img src="image_28.png" /></figure>

### Histoire

Fondation 29 avril 2011 🌐

### Cadre

Sigle CNNum 🌐

Type Commission consultative
indépendante

Objet social Étudier les questions relatives au
numérique 🌐

Domaine d'activité Numérique 🌐

Siège Halle Freyssinet (75013, France) 🌐

Pays 🇮rait France 🌐

Coordonnées 📉 48° 49' 58" N, 2° 22' 16" E 🌐

### Organisation

Membres 21 (depuis février 2021), 30 (2020) 🌐

Présidents
Gilles Babinet (depuis 2021),
Françoise Mercadal-Delasalles (d)
(depuis 2021) 🌐

Budget 86 000 € (2019) 🌐

Site web www.cnnumerique.fr 🌐
# Wikidata

La base de données/connaissances structurées

en : horse

fr : cheval

de : pferd

es : caballo

zh : 马

Wikidata =
centralisation
des données

<figure><img src="image_29.png" /><figcaption>Après Wikidata</figcaption></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>
# Wikidata

La base de données/connaissances structurées

## Gustave Eiffel

Ingénieur :

<figure><img src="image_32.png" /></figure>

Plus d'images

Alexandre Gustave Eiffel, né Bonickhausen dit Eiffel le 15 décembre 1832 à Dijon et mort le 27 décembre 1923 à Paris, est un ingénieur centralien et un industriel français, qui a notamment participé à la ... Wikipédia

**Date/Lieu de naissance** : 15 décembre 1832, Dijon

**Date de décès** : 27 décembre 1923, Paris

**Épouse** : Marguerite Gaudelet (m. 1862-1877)

**Enfants** : Valentine Eiffel, Claire Eiffel, Laure Eiffel, Albert Eiffel, Edouard Eiffel

**Projets** : Viaduc de Rouzat

**Parents** : François Alexandre Boenickhausen, Catherine Melanie Moineuse

Google

## Tullie Moneuse

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /><figcaption>Auguste Préault, Portrait de Tullie Blum, 1875, Paris, musée Carnavalet.</figcaption></figure>

### Biographie

**Naissance**

6 avril 1804

Gray

<figure><img src="image_35.png" /></figure>

**Décès**

11 mai 1875

(à 71 ans)

6ᵉ arrondissement de Paris

**Sépulture**

Cimetière du Père-Lachaise, Grave of Mayeur (d)

<figure><img src="image_36.png" /></figure>

**Nom de naissance**

Marie Adelaïde Caignet

<figure><img src="image_37.png" /></figure>

**Nationalité**

française

<figure><img src="image_38.png" /></figure>

**Activité**

Écrivaine

<figure><img src="image_39.png" /></figure>

**Période d'activité**

1836-1875

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>
# Wikidata

La base de données/connaissances structurées

<figure><img src="image_42.png" /></figure>

<figure><img src="image_43.png" /></figure>
# Wikidata

La base de données/connaissances structurées

« Wikidata [...] est devenue progressivement le point de convergence mondial des identifiants ouverts »

Comité pour la science ouverte, Des identifiants ouverts pour la science ouverte : note d'orientation, 2019

<figure><img src="image_44.png" /></figure>
<figure><img src="image_45.png" /></figure>

Quel est l'identifiant Wikidata de Léopold Sédar Senghor ?

Son lieu de naissance ?

Le département de ce lieu de naissance ?

Depuis quelle date ce lieu de naissance est jumelé avec Granby ?

Sur quelle source cela s'appuie-t-il ?

Toujours sur la page du lieu de naissance, à partir de la déclaration « Commons », allez sur la catégorie Commons : quel type d'aire protégée a sa catégorie sur cette page Commons ?
<figure><img src="image_46.png" /></figure>

## La base de données/connaissances structurées

<figure><img src="image_47.png" /></figure>
## Exemples d'utilisation dans le cadre de recherches

https://mappingdiversity.eu/france/paris/

<figure><img src="image_48.png" /></figure>

3,766 streets, namely 91.1%, are dedicated to men.

Mapping diversity
<figure><img src="image_49.png" /></figure>

### Geography of Violence
<figure><img src="image_50.png" /></figure>

Place à la pratique !
# Créer un compte

## Dans la barre supérieure

Tout en haut à droite de votre écran, cliquez sur « Créer un compte ».

## Complétez le formulaire

Choisissez un nom d'utilisateur, un mot de passe et entrez une adresse de courriel.

## Validez

Validez votre inscription en cliquant sur le bouton « Créer votre compte ». N'oubliez pas de noter vos informations de connexion en lieu sûr afin de ne pas les perdre.

Inscrivez-le sur le pad → https://urls.fr/JZOy8f

Créer un compte Se connecter ...

Nom d'utilisateur

(aidez-moi à choisir)

Saisissez votre nom d'utilisateur

Mot de passe

Entrez un mot de passe

Il est recommandé d'utiliser un mot de passe unique que vous n'utilisez sur aucun autre site web.

Confirmez le mot de passe

Entrez à nouveau le mot de passe

Adresse de courriel (recommandée)

Entrez votre adresse de courriel

Un courriel est nécessaire pour récupérer votre compte en cas de perte de votre mot de passe.

Créez votre compte
# Docteur.es honoris causa

## Choisir une université dans la liste des doctorat honoris causa

## Pour chaque personne compléter (avec les sources !) :

* Description en français

* Nationalité

* Occupation (chercheur...)

* Domaine d'activité

* Employeur

<figure><img src="image_51.png" /></figure>

Doctorats honoris Causa en France

<figure><img src="image_52.png" /></figure>

<figure><img src="image_53.png" /></figure>
# Base Léonore

<figure><img src="image_54.png" /></figure>

## Choisir une région dans la base de données

Pour chaque personne compléter (avec les sources !) :

* Description en français

* Date de naissance

* Légion d'honneur (grade ; date)

* Toutes autres informations pertinentes...

<figure><img src="image_55.png" /></figure>
<figure><img src="image_56.png" /></figure>

OpenRefine

https://urls.fr/NsxI2j
<figure><img src="image_57.png" /></figure>

# OpenRefine

## Logiciel de tableur sous ... stéroïdes !

<figure><img src="image_58.png" /></figure>

Sandra Fauconnier, CC BY 4.0
<figure><img src="image_59.png" /></figure>

# OpenRefine

Un tableur boosté !

## Logiciel libre

Créé en 2010 sous le nom « Freebase Gridworks ».

## Google

Rachète le logiciel et il devient OpenRefine.

<figure><img src="image_60.png" /></figure>

WIKIMEDIA
'22 COOLEST
TOOL AWARD

Open Refine

2022 COOLEST TOOL
AWARD WINNER

in the category
Eggbeater
<figure><img src="image_61.png" /></figure>

Un tableur boosté !

## Interface

Proche de Excel ou d'un autre tableur, avec la rigueur d'une base de donnée.

## Dialogue

Avec les données en ligne, dont celles de Wikidata. Intuitif et facile à prendre en main.

Sandra Fauconnier, CC BY 4.0

<figure><img src="image_62.png" /></figure>
<figure><img src="image_63.png" /></figure>

Quelles fonctionnalités ?

Nettoyage de données

Avec des fonctions.

Mise en forme

De données.

Moissonnage

De données depuis le web.

<figure><img src="image_64.png" /></figure>

Import

De données sur les wikibase
(Wikidata ; Commons).
# Paramétrage : la langue

<figure><img src="image_65.png" /></figure>

OpenRefine

Créer un projet

Ouvrir un projet

Importer un projet

Langues

## Préférences

<table><thead><tr><td>Préférence</td><td>Valeur</td><td>Actions</td></tr></thead><tbody><tr><td>userLang</td><td>fr</td><td>Éditer Supprimer</td></tr><tr><td>ui.cell.rowSplitDefaultSeparator</td><td>et</td><td>Éditer Supprimer</td></tr><tr><td colspan="3">Ajouter une préférence</td></tr></tbody></table>

<figure><img src="image_66.png" /></figure>

Version 3.7.9 [d6cd9e2]

Préférences

Aide

À propos

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

OpenRefine

Un outil puissant pour travailler a

Créer un projet

Ouvrir un projet

Importer un projet

Langues

Choisir sa langue préférée:

English

Changer la langue
# Premier import de données

<figure><img src="image_69.png" /></figure>

OpenRefine

Nouvelle version

Télécharger OpenRefine

Un outil puissant pour travailler avec des données désordonnées.

Créer un projet

Ouvrir un projet

Importer un projet

Langues

## Créer un projet en important des données. Quelles sortes de données puis-je importer ?

Les documents de type TSV, CSV, *SV, Excel (.xls et .xlsx), JSON, XML, RDF en XML, OpenDoc des extensions OpenRefine.

Récupérer les données à partir de

Cet ordinateur 1

Adresses web (URLs)

Presse-papier

Base de données

Google Data

Chercher un ou plusieurs fichiers à charger :

Parcourir... 2 aucun fichier sélectionné.

Suivant » 3
# Procédure

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>
<figure><img src="image_72.png" /></figure>

# Où trouver de la documentation

Wikibooks : https://fr.wikibooks.org/wiki/OpenRefine

Tutoriel par Mathieu Saby : https://msaby.gitlab.io/tutoriel-openrefine/index.html
<figure><img src="image_73.png" /></figure>

## Place à la pratique

Choix des données : [urls.fr/suwaSH](https://urls.fr/suwaSH)

Données : [urls.fr/eMon6](https://.com/shorturl?u=jeuMon6)
# Projet prix littéraires

Par quel bout prendre cet
import ?

* Quelles données sont
  intéressantes ?

* Voyez-vous les
  propriétés Wikidata qui
  correspondront à
  chaque colonne ?

<figure><img src="image_74.png" /></figure>
# Projet prix littéraires

## Quelles propriétés ?

- Prix

- (valeur du prix)

- Année

- Prénom

- Nom et prénom de la personne

<figure><img src="image_75.png" /></figure>
# Projet prix littéraires

* Import + exploration des cellules

* Consultation des pages Wikipédia du prix (s'il existe !)

* Nettoyage des informations inutiles

* Division de cellule prénom/nom

* Réconcilier sur nom/prénom

* Aligner les données

* Réconcilier le prénom

* Genre à déterminer pour les personnes sans élément Wikidata

* Création de colonne

* Appel du genre grâce au prénom à partir de Wikidata

Voir le pas à
pas fourni dans
le dossier de
formation
Importer vers Wikidata

<figure><img src="image_76.png" /></figure>

<figure><img src="image_77.png" /></figure>
# Importer vers Wikidata

<figure><img src="image_78.png" /></figure>

Target Wikibase instance: Wikidata

<figure><img src="image_79.png" /></figure>

Vous travaillez actuellement contre Wikidata. D'abord, vous devriez réconcilier vos données avec les services de réconciliation associés à Wikidata. Le schéma ci-dessous spécifie comment vos données tabulaires seront transformées en Wikidata modifications. Vous pouvez glisser-déposer les noms des colonnes ci-dessous dans la plupart des champs de saisie : pour chaque ligne, des modifications seront générées avec les valeurs dans ces colonnes.

Enregistrer le schéma

Annuler les modifications

Start from an existing schema: Select schema... Save new...

Année

date 1

Année 2

Médaillé

sexe ou genre

Médaillé 1

sexe ou genre2

nature de l'élément

Médaillé 2

Discipline

Délégation / Laboratoire / Section

Connaître

Souligné en vert :
aligné avec Wikidata

Médaillé

<figure><img src="image_80.png" /></figure>

<figure><img src="image_81.png" /></figure>

supprimer

Termes

Libellé

<figure><img src="image_82.png" /></figure>

fr

Médaillé

<figure><img src="image_83.png" /></figure>

<figure><img src="image_84.png" /></figure>

écrase si déjà présent

<figure><img src="image_85.png" /></figure>

supprimer

Libellé

<figure><img src="image_86.png" /></figure>

en

Médaillé

<figure><img src="image_87.png" /></figure>

1 : on ajoute le libellé (nom de la personne)

Libellé

<figure><img src="image_88.png" /></figure>

es

Médaillé

<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

écrase si déjà présent

<figure><img src="image_91.png" /></figure>

supprimer

Libellé

<figure><img src="image_92.png" /></figure>

de

Médaillé

<figure><img src="image_93.png" /></figure>

<figure><img src="image_94.png" /></figure>

écrase si déjà présent

<figure><img src="image_95.png" /></figure>

supprimer

Description

<figure><img src="image_96.png" /></figure>

fr

personne médaillée du CNRS

<figure><img src="image_97.png" /></figure>

écrase si déjà présent

<figure><img src="image_98.png" /></figure>

supprimer

Description

<figure><img src="image_99.png" /></figure>

en

researcher

<figure><img src="image_100.png" /></figure>

écrase si déjà présent

<figure><img src="image_101.png" /></figure>

supprimer

+ ajouter un terme

Déclarations

instance of

<figure><img src="image_102.png" /></figure>

human

<figure><img src="image_103.png" /></figure>

supprimer

<figure><img src="image_104.png" /></figure>

configurer

2 : on ajoute les déclarations une par une

+ ajouter un qualificatif

► 1 références
<figure><img src="image_105.png" /></figure>

En conclusion...

Un petit logiciel libre ;

Puissant mais intuitif ;

Montée en compétences progressive ;

Nombreuses fonctionnalités ;

Beaucoup de documentation, une
communauté réactive

<figure><img src="image_106.png" /></figure>
# Mickaël Schauli

Wikimédien en résidence

<figure><img src="image_107.png" /></figure>

Restons en contact :

m.schauli@unistra.fr