# Intégration, consolidation de données

Catherine Roussey

► To cite this version:

Catherine Roussey. Intégration, consolidation de données. École thématique. Modèles et données, Nantes, France. 2025, 44 p. hal-05446919

HAL Id: hal-05446919

https://hal.inrae.fr/hal-05446919v1

Submitted on 7 Jan 2026

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
> Integration et
Consolidation de données

Catherine ROUSSEY

<figure><img src="image_2.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Egalité
Fraternité

INRAE

<figure><img src="image_3.png" /></figure>

Mistea

Mathématiques, Informatique et Statistique
pour l'Environnement et l'Agronomie
A l'issue de cette séquence, vous aurez

☐ Découvert les principes et les difficultés de la gestion de données

☐ Les données ?

☐ Découvert pourquoi les informaticiens construisent des schémas de données documentés et pourquoi ils ont besoins de vous

☐ Partager les données: un début de bonnes pratiques

☐ Partager les données sur le Web: pourquoi FAIR

☐ Les variables ?

☐ Visualiser des exemples de ressources sémantiques

☐ Trouver des liens utiles

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>
# Définitions

**L'intégration de données** : consiste à unifier différents sources / systèmes d'information afin qu'elles fonctionnent comme une seule source / système.

**La consolidation de données** : permet de combiner des données similaires provenant de multiples sources, ce qui implique leur tri, leur nettoyage (Data Cleaning) afin d'améliorer leur cohérence
# Interopérabilité des systèmes d'information

Capacité de plusieurs systèmes informatiques indépendants de :

* Communiquer : échanger des données

* Utiliser les données échangées

**Interopérabilité technique :**

Aptitude à établir un canal de communication pour échanger un message

<figure><img src="image_6.png" /></figure>

**Interopérabilité syntaxique :**

Aptitude à décoder un message

<figure><img src="image_7.png" /></figure>

**Interopérabilité sémantique :**

Aptitude à interpréter le contenu du message

<figure><img src="image_8.png" /></figure>
# Définitions

## Données, Informations

"Une donnée est une information qui peut être enregistrée, traitée, analysée ou communiquée, quelle que soit sa nature. Lorsque la donnée n'a pas encore été traitée ou contextualisée, on parle de donnée brute". (Guide pratique pour la gestion des données de la recherche irstea)

34

**Donnée:** un élément d'information,
percevable par l'humain,
manipulable par la machine

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

**Information:** donnée + sens

Sens : il faut fournir à l'humain du contexte

Type → élément d'un schéma de données

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

<figure><img src="image_13.png" /></figure>

Orange?

fruit

ville

couleur
# Définitions

## Données, Métadonnées

**Données** "Les données de la recherche sont définies comme des enregistrements factuels (chiffres, textes, images et sons), qui sont utilisés comme sources principales pour la recherche scientifique et sont généralement reconnus par la communauté scientifique comme nécessaires pour valider les résultats de recherche. " (OCDE, Principes et lignes directrices de l'OCDE pour l'accès aux données de la recherche financée sur fonds publics. Paris, 2007)

**MetaDonnées** : Au-delà des données, il y a les métadonnées qui permettent de décrire plus précisément les données. Ce sont des données sur les données. Il est recommandé de renseigner les métadonnées au fur et à mesure de l'avancée du projet. Pour en savoir plus, consultez la rubrique "Quelles clés pour bien gérer ses données ?"

<figure><img src="image_14.png" /></figure>

auteur

titre

éditeur
# What is MetaData for experimentation?

Metadata is data reporting

Who create the data ?

When were the data created ?

Where is it geographically ?

How were the data developed ?

- Sensor, human observation, ...

Why were the data developed ?

- Which experiment, ...

What is the content of the data ?

- Unit, type of measure, ....

<figure><img src="image_15.png" /></figure>

<figure><img src="image_16.png" /></figure>
# Source de données: Les plateformes d'expérimentations

## « omics » Platforms

### Various data complex types

Genomics

Composition and the structure of biopolymers

Quantification of metabolites and enzyme activities

<figure><img src="image_17.png" /></figure>

## Field Platforms

### Various scales and data types

* Cell, organ, plant, population

* Images, hyperspectral, spectral, sensors, human readings...

<figure><img src="image_18.png" /></figure>

## Virtual platforms

<figure><img src="image_19.png" /></figure>

<figure><img src="image_20.png" /></figure>

## Green house Platforms

<figure><img src="image_21.png" /></figure>

## Farm Platforms

### Various scales and data types from thousands of farms

* organ, plant, population, site

* Images, sensors, human readings...

<figure><img src="image_22.png" /></figure>
# Complex Data

different scales

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

different
stages

<figure><img src="image_25.png" /></figure>

<figure><img src="image_26.png" /></figure>

different
transformations

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

different
ecosystems

<figure><img src="image_29.png" /></figure>

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

<figure><img src="image_32.png" /></figure>

different
sources

<figure><img src="image_33.png" /></figure>

<figure><img src="image_34.png" /></figure>

different
interactions

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>
<figure><img src="image_38.png" /></figure>

<figure><img src="image_39.png" /></figure>
# Jeux de données d'expérimentation

<table><thead><tr><th>A</th><th>B</th><th>C</th><th>D</th><th>E</th><th>F</th><th>G</th><th>H</th><th>I</th><th>J</th><th>K</th><th>L</th><th>M</th><th>N</th><th>O</th><th>P</th><th>Q</th></tr><tr><th>1</th><th>Region</th><th>MP</th><th>Orgnanisme</th><th>Commune</th><th>Lat</th><th>Lon</th><th>Varietes</th><th>Année</th><th>Date</th><th>APP</th><th>Taitement</th><th>BBCH</th><th>H</th><th>L</th><th>PS_BR</th><th>OPTIDOSE</th><th>MA</th></tr></thead><tbody><tr><td>2</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>MZ</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Metirame de Zir</td></tr><tr><td>3</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>S</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Soufre</td></tr><tr><td>4</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>HP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Hydrogenocarbonate de pota</td></tr><tr><td>5</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>BP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Bicarbonate de pota</td></tr><tr><td>6</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>DP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Disodium Phospho</td></tr><tr><td>7</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>PP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Phosphonate de pota</td></tr><tr><td>8</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>HEO</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Huile essentielle d'orana</td></tr><tr><td>9</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>Curatio</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Polysulfure de Calo</td></tr><tr><td>10</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>PP ou DP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Phosphonate de pota</td></tr><tr><td>11</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>SPP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Soufre</td></tr><tr><td>12</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>SPP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Phosphonate de pota</td></tr><tr><td>13</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>SBP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Soufre</td></tr><tr><td>14</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>18/05/2022</td><td>1</td><td>SBP</td><td>56</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Bicarbonate de pota</td></tr><tr><td>15</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>MZ</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Metirame de Zir</td></tr><tr><td>16</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>S</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Soufre</td></tr><tr><td>17</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>HP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Hydrogenocarbonate de pota</td></tr><tr><td>18</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>BP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Bicarbonate de pota</td></tr><tr><td>19</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>DP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Disodium Phospho</td></tr><tr><td>20</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>PP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Phosphonate de pota</td></tr><tr><td>1</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>HEO</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Huile essentielle d'orana</td></tr><tr><td>2</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>Curatio</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Polysulfure de Calo</td></tr><tr><td>3</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>PP ou DP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Phosphonate de pota</td></tr><tr><td>4</td><td>BFC</td><td>HVE</td><td>IFV</td><td>Liergues</td><td>45,9762</td><td>4,6525</td><td>Gamay 509</td><td>2022</td><td>25/05/2022</td><td>2</td><td>SPP</td><td>65</td><td>NA</td><td>NA</td><td>4</td><td>NA</td><td>Soufre</td></tr></tbody></table>

<figure><img src="image_40.png" /></figure>
# Définitions

## Schéma de données

représentation abstraite et schématique d'une organisation des données. Les données sont regroupées par **entités** (des types d'objects ou classes) partageant des caractéristiques communes (les **attributs**). Les **relations** entre entités et leurs contraintes sont aussi représentées.

Suivant le language informatique, et l'étape de modelisation du système de gestion de données, il existe plusieurs types de schémas de données: modèle conceptuel, modèle logique, modèle physique.

Un schéma de données est représenté dans un language graphique (UML, modèle Entité-Association, ...) pour faciliter le partage entre concepteurs, développeurs et utilisateurs.

<figure><img src="image_41.png" /><figcaption>Schema UML
modèle conceptuel des villes françaises
Credit Stephane Crozat
https://stph.scenari-community.org/bdd/mod3/co/rel4e004.html</figcaption></figure>
# Identification des entités

## Schéma de données

Département : Nom, Numéro

Commune : Nom, Numero postal

Personne : Nom, Prénom, N° de securité sociale

Personnel de recherche : idHAL, Orcid

<figure><img src="image_42.png" /><figcaption>Schema UML
modèle conceptuel des villes françaises
Credit Stephane Crozat
https://stph.scenari-community.org/bdd/mod3/co/rel4e004.html</figcaption></figure>
# Entity Identification in the Web

**URL Uniform Resource Locator**

https://www.inrae.fr/

**URI Uniform Resource Identifier**

Sur wikidata

https://www.wikidata.org/wiki/Q70571774

<wikidata:Q70571774>

Sur Research Organization Registry (ROR)

https://ror.org/003vg9w96

<ror:003vg9w96>

<figure><img src="image_43.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Egalité
Fraternité

INRAE
# Semantic Resources:

## Thésaurus AGROVOC

<figure><img src="image_44.png" /></figure>
# Semantic Resources:

## Thésaurus INRAE

Thésaurus INRAE

Langue des données

français

x

Chercher

A-Z

Hiérarchie

Collections

Nouveautés

- architecture de la plante

- barrière épithéliale

- barrière mucosale

- caractéristique anatomique

- complexe vagal dorsal

- déjection animale

- densité osseuse (déprécié)

- élément d'anatomie animale

- élément d'anatomie végétale

- actinorhize

- apex (botanique)

- ascocarpe

- ascospore

- aubier

- bille de pied

- bois de réaction

- **bourgeon**

- bourgeon apical

- bourgeon axillaire

- bourgeon floral

- bourgeon végétatif

- branchaison

- branche

- canopée

- carpelle

- cep

- âme de végétation

<figure><img src="image_45.png" /></figure>

05. SCIENCES BIOLOGIQUES > 05.04 ANATOMIE ET FLUIDES BIOLOGIQUES > élément d'anatomie végétale > bourgeon

TERME PRÉFÉRENTIEL

bourgeon

<figure><img src="image_46.png" /></figure>

CONCEPT(S) GÉNÉRIQUE(S)

élément d'anatomie végétale

CONCEPT(S) SPÉCIFIQUE(S)

bourgeon apical

bourgeon axillaire

bourgeon floral

bourgeon végétatif

APPARTIENT AU(X) GROUPE(S)

coll ALIGNES A AGROVOC

coll BOIS ET FORÊT

coll CONCEPTS ALIGNES

MICROTHESAURUS

BIO anatomie et fluides biologiques

Thésaurus INRAE

TRADUCTION(S)

bud

anglais

plant bud

URI

http://opendata.inrae.fr/thesaurusINRAE/c_5987

<figure><img src="image_47.png" /></figure>

TÉLÉCHARGER CE CONCEPT :

PDF/XML TURTLE JSON-LD

Dernière modification le 01/07/2025

<figure><img src="image_48.png" /></figure>

Entity Identifier
<figure><img src="image_49.png" /></figure>

# Arbre à problème

<figure><img src="image_50.png" /></figure>

<figure><img src="image_51.png" /></figure>
Arbre à problème

<figure><img src="image_52.png" /></figure>
# Données FAIR

<figure><img src="image_53.png" /></figure>

Credit FAIR in a nutshell. Image: ARDC 2018 - CC-BY 4.0. https://librarycarpentry.org/Top-10-FAIR/2018/12/01/aus-government-data/
# Modèle 5 étoiles

Credit Tim Berners-Lee, http://5stardata.info/

★ make your stuff available on the Web (whatever format) under an open license¹

★★ make it available as structured data (e.g., Excel instead of image scan of a table)²

★★★ use non-proprietary formats (e.g., CSV instead of Excel)³

★★★★ use URIs to identify things, so that people can point at your stuff⁴

★★★★★ link your data to other data to provide context⁵

<figure><img src="image_54.png" /></figure>
# Dataset Example

<figure><img src="image_55.png" /></figure>

Human Readable with editor tool like
word e.g.

<figure><img src="image_56.png" /></figure>

## 0BRPechRouge2014.txt

Beausoleil
Site Pech Rouge
Position R4-P5
Variety Carignan
The plot is supervised by Jean
Year 2014
Date : 2025/06/06
Development stage observed 19

## 2013_Inrae_0BR.txt

Verson Sud
Pech-Rouge
LOCATION = [5,6]
CULTIVAR Carignan
jean.bernard@ifv.fr
year : 2013
stg : BBCH 56
date 07 07 2025

<figure><img src="image_57.png" /></figure>
# Dataset Example

<figure><img src="image_58.png" /></figure>

Machine accessible

Key/value syntaxe for structured format

Tool : spreadsheet, JSON, XML

<figure><img src="image_59.png" /></figure>

## 0BRPechRouge2014.txt

Plot : Beausoleil

Site : Pech Rouge

Position : R4-P5

Variety : Carignan

Person : Jean Bernard

Year : 2014

Date : 2025/06/06

Stage : EL 19

## 2013_Inrae_0BR.txt

PLOT name = Verson Sud

FARM name = Pech-Rouge

LOCATION rank = [5,6]

CULTIVAR name = Carignan

MANAGER family name = BERNARD

MANAGER first name = Jean

PLANTATION year = 2013

OBSERVATION stg = BBCH 56

OBSERVATION date = 07 07 2025

<figure><img src="image_60.png" /></figure>
# Dataset Example

<figure><img src="image_61.png" /></figure>

Machine accessible

Key/value syntaxe for structured format

Schema : entities and attributes

<figure><img src="image_62.png" /><figcaption>0BRPechRouge2014.txt</figcaption></figure>

**Site**

Name : Pech Rouge

**Farm Plot**

Name: Beausoleil

Variety : Carignan

Year : 2014

**Person**

Name : Jean Bernard

**Cep**

Position : R4-P5

**Observation**

Date : 2025/06/06

Stage : EL 19

<caption>2013_Inrae_0BR.txt</caption>

**PLOT**

name = Verson Sud

cultivar name = Carignan

planted year = 2013

**FARM**

name = Pech-Rouge

**PLANT**

location = [5,6]

**MANAGER**

family name = BERNARD

first name = Jean

**OBSERVATION**

stg = BBCH 56

date = 07 07 2025
# Dataset Example

<figure><img src="image_63.png" /></figure>

Machine accessible

Key/value a syntaxe for structured format

Schema : entities and attributes and relations

<figure><img src="image_64.png" /></figure>

0BRPechRouge2014.txt

<figure><img src="image_65.png" /></figure>

2013_Inrae_0BR.txt

<figure><img src="image_66.png" /></figure>
# Dataset Example

<figure><img src="image_67.png" /></figure>

Machine accessible

Key/value a syntaxe for structured format

Schema : entities and attributes and relations
identification

<figure><img src="image_68.png" /></figure>

0BRPechRouge2014.txt

<figure><img src="image_69.png" /></figure>
# Dataset Example

<figure><img src="image_70.png" /></figure>

Machine accessible

Key/value syntax for structured format

Schema : entities and attributes and relations

Identification

Definitions of entities → data dictionary

<figure><img src="image_71.png" /></figure>

0BRPechRouge2014.txt

2013 Inrae OBR.txt

<figure><img src="image_72.png" /></figure>

A human agent involved in some activities like experiments or datasets generation

A field which is located on land and used for agricultural purposes
# Dataset Example

<figure><img src="image_73.png" /></figure>

Machine accessible

Key/value syntax for structured format

Schema : entities, attributes, relations, id, def

Shared vocabulary

<figure><img src="image_74.png" /></figure>

0BRPechRouge2014.txt

<figure><img src="image_75.png" /></figure>
# Dataset Example

<figure><img src="image_76.png" /></figure>

Machine accessible

Key/value syntax for structured format

Schema : entities, attributes, relations, id, def

Shared vocabulary on the Web

<figure><img src="image_77.png" /></figure>

## 0BRPechRouge2014.txt

<inra:Site>
<dc:name> : Pech Rouge

<inra:Plot>
<dc:name>: Beausoleil
<inra:cultivarName> :
Carignan
<dc:creationDate>: 2014

<foaf:Person>
<foaf:familyName> =
BERNARD
<foaf:firstname> = Jean
<dc:Identifier> : 1978J

## 2013_Inrae_0BR.txt

<inra:Plot> located in
<dc:name> = Verson Sud
<inra:cultivarName> =
Carignan
<dc:creationDate> = 2013
<dc:Identifier> = VS2013

<inra:Site>
<dc:name> = Pech-Rouge

<inra:Plant>
<inra:location> : R4-P5

<inra:Observation>
<dc:creationDate> :
2025/06/06
<inra:growthStage> : EL 19

manage

<foaf:Person>
<foaf:familyName> =
BERNARD
<foaf:firstname> = Jean
<dc:Identifier> = BERNJ

located in

<inra:Plant>
<inra:location> = [5,6]
<dc:Identifier> =
VS2013_5_6

about

<inra:Observation>
<inra:growthStage> = BBC
56
<dc:creationDate> =
2025/07/07
# Ressources sémantiques: Schémas de données partagés sur le Web

Un ensemble d'entités (des types), d'attributs et de relations utilisées pour l'intégration de données focalisé sur un besoin précis issu d'un organisme de normalisation (W3C).

## DCterms Dublin Core Metadata Initiative : Dublin Core ou DC

* Une communauté, créée à Dublin au commencement du Web, venant en particulier du monde des bibliothèques (Library), qui a produit un vocabulaire pour cataloguer les pages Web.

* Un schéma composé d'un ensemble d'attributs ou de relations

* documentation: https://www.dublincore.org/specifications/dublin-core/dcmi-terms/

## FOAF Friend Of A Friend

* Un petit schéma de données pour décrire les personnes, leurs attributs et leurs relations

* aligné avec des éléments de DC

* documentation: http://xmlns.com/foaf/spec/#term_Person

* réutilisé dans d'autres schémas
# Dataset Example

<figure><img src="image_78.png" /></figure>

Machine accessible

Key/value syntax for structured format

Schema : entities, attributes, relations, id, def

Shared vocabulary on the Web

<figure><img src="image_79.png" /></figure>

## 0BRPechRouge2014.txt

<inra:Site>

<dc:name> : Pech Rouge

<inra:Plot>

<dc:name>: Beausoleil

<inra:cultivarName> :

Carignan

<dc:creationDate>: 2014

## 2013_Inrae_0BR.txt

<inra:Plot>

<dc:name> = Verson Sud

<inra:cultivarName> =

Carignan

<dc:creationDate> = 2013

<dc:Identifier> = VS2013

<foaf:Person>

<foaf:familyName> =

BERNARD

<foaf:firstname> = Jean

<dc:Identifier> :

<orcid:1978J>

<inra:Site>

<dc:name> = Pech-Rouge

<inra:Plant>

<inra:location> = [5,6]

<dc:Identifier> =

VS2013_5_6

<inra:Plant>

<inra:location> : R4-P5

<inra:Observation>

<dc:creationDate> :

2025/06/06

<inra:growthStage> :

<ppdo:EL19>

<foaf:Person>

<foaf:familyName> = BERNARD

<foaf:firstname> = Jean

<dc:Identifier> = <orcid:1978J>

<inra:Observation>

<inra:growthStage> =

<ppdo:BBCH56>

<dc:creationDate> =

2025/07/07
# Ressources sémantiques: Thésaurus publié sur le Web

Un vocabulaire organisé partagé sur le Web: Un réseau de termes normalisés pour décrire un sous domaine précis. Les thésaurus suivent tous la même structuration minimale. Il existe d'autre forme de vocabulaire organisé.

## Les échelles phénologiques

* ontologie BBCH-based Plant Phenological Description Ontology (PPDO)

* URI: https://opendata.inrae.fr/ppd-def#

* git: https://forge.inrae.fr/bsv/phenologicalstages

* Agroportal: https://agroportal.lirmm.fr/ontologies/PPDO

Un graphe contenant les échelles alignées des mêmes cultures

* exemple pour la vigne 5 échelles (BBCH, EL, Baggiolini, IFV, Epicure) ont été alignées

* URI: https://opendata.inrae.fr/ppd-res/grapevine#

* Agroportal: https://agroportal.lirmm.fr/ontologies/PPD-GV

* SPARQL endpoint: https://rdf.codex.cati.inrae.fr/ppd-res/grapevine/sparql
> Les variables

<figure><img src="image_80.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Egalité
Fraternité

INRAE
# Définitions

## Variables

"Une variable est une formalisation mathématique d'une grandeur qui peut être contrôlée, mesurée ou observée. Ainsi une variable a des valeurs possibles dans le temps et/ou l'espace. Une variable est utilisée en entrée ou sortie d'une analyse statistique. Il existe deux grands types de variables: les variables controlées par l'essai, dites facteurs, et les variables non controlées par l'essai, dite variables aléatoires ou variables scientifiques.

Une variable est décrite par une combinaison d'éléments afin de représenter sa signification. Actuellement les scientifiques décrivent les variables à l'aide de 4 éléments :

<figure><img src="image_81.png" /></figure>

Image: Moira Sheehan

<figure><img src="image_82.png" /></figure>

With a ruler following
the protocol PP1/152(4)
from EPPO

<figure><img src="image_83.png" /></figure>
# Les types de variables

## Variables

<figure><img src="image_84.png" /></figure>

<figure><img src="image_85.png" /></figure>
# Hétérogénéité des variables

* No variable ID

* Same name for different variables

* Different names for same variable

* No variable definition (or not machine readable)

* No information about methods

* Unstable variable

<figure><img src="image_86.png" /></figure>

IN

integration et consolidaion de données

6 octobre 2025 / Ecole Données & Modèles

<figure><img src="image_87.png" /><figcaption>Figure From D. Pot, CIRAD</figcaption></figure>

<figure><img src="image_88.png" /></figure>

Image: Moira Sheehan
# Schéma de représentation des variables

Les 4 éléments ne sont pas suffisants :

## Concentration de CO2 dans l'air ambiant

*Une concentration est un ratio --> deux mesures 1 volume de CO2 et 1 volume d'air*

## Trait biotique :

*Une situation avec deux agents un organisme attaqué par un autre organisme*

## Minimum de température journalier :

*Air (entité observée) + température (caractéristique) + 24H (période temporelle) + minimum (opérateur d'agrégation)*

<figure><img src="image_89.png" /></figure>
# Ressources sémantiques : des thésaurus

## Les thésaurus du British Oceanic Data Center

Des typologies de mesures climatiques et météorologiques issu du
standard Climate and Forecast

* visible sur le serveur NERC
  https://vocab.nerc.ac.uk/collection/P07/current/

* Suit le schéma de I-ADOPT de la RDA

## Le thesaurus INRAE

Des listes hiérarchiséesd' entités observables

aligné avec d'autres thésaurus: Agrovoc

vue skosmos

https://consultation.vocabulaires-ouverts.inrae.fr/thesaurus-inrae/fr/
# Ressources sémantiques : les Taxonomies

des classifications d'entités observables

## SWEET ontologies

* Official repository for Semantic Web for Earth and Environmental Terminology (SWEET) Ontologies.

* des classes représentants des phénomènes par thématique

* git: https://github.com/ESIPFed/sweet/blob/master/README.md

* URI : forme d'agriculture http://sweetontology.net/humanAgriculture

* URI : phenomene de precipitation http://sweetontology.net/phenAtmoPrecipitation

## Livestock Ontologies (ATOL, EOL, AHOL)

* des classes représentants des traits (des types de mesures) des animaux d'élevage

* documentation https://www.atol-ontology.com/en/atol-2/

* Agroportal: https://agroportal.lirmm.fr/ontologies/ATOL?p=summary
# Ressources sémantiques : les unités

<figure><img src="image_90.png" /></figure>

Ontology of
units of Measure

## Ontology of units of Measure (OM)

* des URI représentants des unités et des quantités

* Git: https://github.com/HajoRijgersberg/OM?tab=readme-ov-file

## Unit Ontology (UO)

* des URI représentants des unités

* Git: https://github.com/bio-ontology-research-group/unit-ontology
# Linked Open Data (LOD)

Credit lod-cloud.net

## Web de données Liées

## Video europeana qu'est ce que le web des données

https://vimeo.com/49231111

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

INRAE

Formalisation des connaissances

Novembre 2023 / C Rousse
# Typologie des usages

classes, relation de subsomption entre classes, propriétés objets et de type de données, ...

**Structurer**

Organiser les classes des objets et les liens entre eux

schéma de données

classes,

**Classer**

regrouver les objets selon leurs caractéristiques

données

taxonomie scientifique

réseau de termes

**Normaliser**

Toujours utiliser le même terme pour parler de la même chose, enlever les ambiguïtés

thésaurus

vocabulaire controlé

terminologie

<figure><img src="image_93.png" /></figure>
# Data Cleaning

**Wrong or missing data: Some are obvious...**

Detectable with syntactical or domain constraints

Phone number: 999-999-9999

**Others are not....**

Could be suspected because the data distribution doesn't conform to the expected model

<figure><img src="image_94.png" /><figcaption>Histogram of DoBs
per day of the year</figcaption></figure>

connexances
23 AC Roussey

<figure><img src="image_95.png" /><figcaption>Histogram of clients per age
category</figcaption></figure>

Age category

2% patients in the
obstetrical
emergency service
are male...

<figure><img src="image_96.png" /></figure>
<figure><img src="image_97.png" /><figcaption>Wine fermentation: CO2 flow measurement</figcaption></figure>
Merci pour votre attention

V.O.

<figure><img src="image_98.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Égalité
Fraternité

recherche.data.gouv.fr

<figure><img src="image_99.png" /></figure>

<figure><img src="image_100.png" /></figure>

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>
# Où trouver des ressources sémantiques?

## Organismes de normalisation

* World Wide Web Consortium (W3C) https://www.w3.org/

* European Telecom Standard Institut (ETSI) https://www.etsi.org/

## Entrepôts

* Linked Open Vocabulary (LOV) https://lov.linkeddata.es/dataset/lov/

* EMBL-EBI Ontology Lookup Service (OLS) → biomedical
  https://www.ebi.ac.uk/ols/index

* Agroportal → agriculture, environnement, INRAE, ...
  http://agroportal.lirmm.fr/

## Communauté de pratique

* Community group CROP ontology https://www.cropontology.org/

* Basic Formal Ontology https://basic-formal-ontology.org/

## Répertoires d'articles scientifiques

* Google scholar https://scholar.google.com/
  INRAE
# Méthode de lifting de données de référence

<figure><img src="image_103.png" /></figure>

## Méthode « Linked Open Terms » (LOT)

* Questions de compétence (QC)

* Recherche de vocabulaires ou d'ontologies existantes

* Recherche de définitions et de sources de référence

* Choix du niveau de formalisation OWL ↔ RDFS ↔ SKOS

* Diagramme UML / CHOWLK

* Outils d'extraction d'information (au besoin)

* Production de fichiers csv avec des experts +

* Production de définitions qui explique le voisinage de l'entité dans l'ontologie

* Peuplement avec plugin Cellfie de Protege

* Validation avec un raisonneur plugin SWRL Tab + drools

* Validation avec SKOSPLAY

* Publication : depot GIT + AgroPortal + Sparql EndPoint + DOI par RDG

<figure><img src="image_104.png" /></figure>

<figure><img src="image_105.png" /></figure>

<figure><img src="image_106.png" /></figure>
# Data validating

## Outliers?

<figure><img src="image_107.png" /></figure>

### Bivariate Analysis

<figure><img src="image_108.png" /></figure>

excluding the area defined
between 2% and 98% quantiles
for X and Y

### Multivariate Analysis

<figure><img src="image_109.png" /></figure>

Legitimate
outliers or
data quality
problems?

$$ \text{Mahalanobis\_dist}(\text{cov}(X,Y)) > \text{\sffamily \color{red}2(.98,2)} $$