# La documentation de données - Le protocole DDI.
## Formation “ SHS et Sciences Ouverte ” le 16 mars 2019
### EHESS

Alina Danciu, Erik Zolotoukhine

► To cite this version:

Alina Danciu, Erik Zolotoukhine. La documentation de données - Le protocole DDI. Formation "SHS et Sciences Ouverte" le 16 mars 2019 EHESS. École thématique. Recherche SHS et Science Ouverte. Apprendre à mieux gérer et valoriser ses données, EHESS Paris, France. 2019. hal-03921172

HAL Id: hal-03921172

https://sciencespo.hal.science/hal-03921172

Submitted on 3 Jan 2023

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution - ShareAlike 4.0 International License
# Atelier 3 : Protocole DDI

Apprendre à rédiger son Data Management Plan (DMP)
Mieux gérer et valoriser ses données
16 avril 2019 – EHESS

Alina Danciu, Erik Zolotoukhine
* Introduction

* Principes du protocole DDI

* La norme DDI

* DDI en pratique
# Introduction

Au sein de Quetelet PROGEDO Diffusion, l'ADISP et le CDSP accompagnent les institutions et chercheurs qui souhaitent mettre à disposition leurs données et enquêtes en vue de leur réutilisation par la communauté scientifique et académique.

L'archivage à long terme des jeux de données relève de la responsabilité des producteurs mais certains diffuseurs, comme le CDSP, proposent des prestations d'archivage à long terme des jeux de données qui leur sont confiés.

> Les diffuseurs ne deviennent pas propriétaires des données mises à disposition : ils détiennent et transmettent des droits d'usage de ces données en vue de leur réutilisation à des fins scientifiques.

> Les droits de propriété intellectuelle restent acquis aux personnes ou institutions ayant déposé les jeux de données.

## À L'ADISP

L'ADISP est en charge de collecter les données issues de la statistique publique, c'est-à-dire de l'INSEE, des services statistiques ministériels et autres organismes publics.

## AU CDSP

Le CDSP prend en charge les dépôts de données et enquêtes académiques en sciences sociales, réalisées selon des méthodes qualitatives ou quantitatives et accompagnées d'une documentation suffisamment riche pour en permettre la réutilisation.
Quelles sont les informations qui sont indispensables
pour l'utilisation d'un fichier de données ?

Quelles sont les informations supplémentaires que vous
aimeriez avoir, au cas où elles sont disponibles ?
Principes du protocole DDI
Définition

La Data Documentation Initiative (DDI) est une norme internationale permettant de décrire les données issues d'enquêtes et d'autres méthodes d'observation en sciences sociales, comportementales, économiques et de la santé. DDI peut documenter et gérer différentes étapes du cycle de vie des données de recherche, telles que la conception, la collecte, le traitement, la diffusion, la découverte et l'archivage.

Source : DDI Alliance

<figure><img src="image_2.png" /></figure>
Dans quel but ?

* Documentation ;

* Exploration ;

* Interopérabilité ;

* Réutilisation.

Findable

Accessible

Interoperable

Reusable

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

DDI n'est pas un logiciel, mais un standard

Sélectionnez les éléments DDI qui vous correspondent

<figure><img src="image_7.png" /></figure>
Un fichier documenté de données

<figure><img src="image_8.png" /></figure>
Qui utilise DDI ? Quelques exemples

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

Statistics
Canada

Statistique
Canada

LISS
PANEL

CIMES

Centralising and Integrating Metadata from European Statistics

<figure><img src="image_13.png" /></figure>

The
Dataverse®
Project

<figure><img src="image_14.png" /></figure>

<figure><img src="image_15.png" /></figure>

ICPSR

A PARTNER IN
SOCIAL SCIENCE
RESEARCH

INTER-UNIVERSITY
CONSORTIUM FOR
POLITICAL AND
SOCIAL RESEARCH

closer

Cohort & Longitudinal Studies
Enhancement Resources

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

Health
Canada

Santé
Canada
# Produits DDI

## DDI 2 📑

* Version initiale publiée en 2000 (version courante 2.5)

* Le but initial est la **documentation** des données pour permettre leur **exploration** et leur **préservation**

## DDI 3 📑

* Version initiale publiée en 2008 (version courante 3.2, version 3.3 à venir)

* Le but principal est d'ajouter du contenu pour permettre :

* Traitement des fichiers de **données complexes** (ex : données longitudinales...)

* **Réutilisation** des métadonnées

* Rendre **compte du cycle de vie** complet des données et des métadonnées dès la conception, au traitement et à la documentation des données, jusqu'à leur diffusion, leur préservation et leur réutilisation
# DDI 3 : le cycle de vie des données

<figure><img src="image_20.png" /></figure>
# Les points communs entre DDI 2 et DDI 3

* L'utilisation de vocabulaires contrôlés ;

* La structuration des métadonnées ;

* L'échange d'informations ;

* La documentation de variables dans un ensemble de données ;

* La création d'un dictionnaire de codes (codebook) pour les utilisateurs finaux ;

* Documenter l'univers des variables (à qui les questions ont été posées ...);

* Créer des groupes de variables ;

* Documenter des jeux de données produits dans différents formats ;

* Distinguer les valeurs manquantes.
# Les spécificités de DDI 2 et DDI 3

Les spécifications DDI 2 sont plus adaptées pour :

* La documentation des enquêtes simples et uniques ;

* Où il s'agit de fournir uniquement des informations concernant l'étude.

Les spécifications DDI 3 sont plus adaptées pour :

* La réutilisation, l'harmonisation des questions, des variables ;

* La gestion cohérente des métadonnées, du versionning ;

* La documentation du déroulement du questionnaire ;

* L'échange d'informations avec d'autres normes ;

* La gestion et la documentation des données selon les producteurs et à travers le temps ;

* La documentation des données en différentes langues.
# La norme DDI
# DDI 2 : deux niveaux de documentation

<figure><img src="image_21.png" /></figure>
# Structure générale de DDI (version 2)

<table><tr><td>1.0</td><td>Document description</td><td>✓ 72 champs et sous-champs<br/>✓ Description de la phase (interne) de documentation</td></tr><tr><td>2.0</td><td>Study description</td><td>✓ 101 champs et sous-champs<br/>✓ Eléments généraux sur l'enquête</td></tr><tr><td>3.0</td><td>File(s) description</td><td>✓ 30 champs et sous-champs<br/>✓ Présentation générale du (des) fichier(s)</td></tr><tr><td>4.0</td><td>Variables description</td><td>✓ 61 champs et sous-champs<br/>✓ Description de chaque variable du fichier</td></tr><tr><td>5.0</td><td>Other materials</td><td>✓ 7 champs et sous-champs<br/>✓ Intégration des documents liés à l'enquête</td></tr></table>

Soit 270 champs / sous-champs...

... proposés → ADISP : sélection d'environ 80 champs
... et précisément définis
(objet, format, ...)
renseignés ou non sous Nesstar
dans un "Template"
# Interopérabilité de DDI avec Dublin Core

1995

Création d'un **format simple** et générique
de 15 éléments

Objectifs :

- fournir un **socle commun d'éléments descriptif**

- améliorer la recherche de ressources

Les 15 éléments décrivent ...

... le contenu

- Title

- Subject

- Description

- Source

- Language

- Relation

- Coverage

... la propriété intellectuelle

- Creator

- Contributor

- Publisher

- Rights

... l'instanciation

- Date

- Type

- Format

- Identifier

DDI a intégré les 15 champs du format Dublin Core
DDI en pratique
# Autres informations « indispensables »

## Contextualisation de l'enquête

* Objet de l'enquête : résumé du sujet, des objectifs...

* Univers : *Qui est concerné, enquêté ?*

* Couverture géographique : métropole ? DOM ? Autres... ?

* ...

## Le terrain

* Echantillonnage ?

* Date de collecte ?

* Mode de collecte : face à face, téléphone, auto-administré ... ?

* ...

## Les données / L'analyse

* Pondérations ? Redressements ?

* Unité d'analyse / statistique des données : Individu, ménage, ... ?

* Unité géographique des données : la commune, le département..., la France ?

* ...
# Importance de la doc. pour l'analyse secondaire

## En amont ...

Prendre connaissance
du mode de production
des données :

* ✓ problématique

* ✓ champ de l'enquête

* ✓ population concernée

* ✓ plan de sondage / pondérations

* ✓ ...

Lire les supports de collecte
ensuite :

* ✓ libellé des questions / rubriques

* ✓ filtres éventuels

* ✓ consignes aux enquêteurs

* ✓ ...

Etudier les variables
diffusées
(dictionnaire des variables) :

* ✓ variables brutes / reconstruites

* ✓ variables brutes ou en tranches

* ✓ niveau de détail / d'agrégation

* ✓ nomenclatures utilisées

* ✓ ...

## Au cours de la recherche et à l'issue (publications, communications, conférences...) ...

Contextualiser les résultats de recherche :

* ✓ description de la source utilisée

* ✓ champ de l'enquête / population étudiée
(effectifs, redressement éventuel)

* ✓ mode de recueil des données

* ✓ ...

Afficher les éventuelles limites de l'étude :

* ✓ qualité des données
 correc (corrections, valeurs manquantes)

* ✓ effectifs faibles ou insuffisants

* ✓ représentativité géographique

* ✓ ...
# Les champs de DDI : in « document description »

<figure><img src="image_22.png" /></figure>
# Les champs de DDI : in « study description » (1/5)

## 1ère sous-partie "citation de l'enquête"

<table><thead><tr><td>CHAMP</td><td>EXEMPLE</td></tr></thead><tbody><tr><td>Titre</td><td>Enquête Ménages Déplacements, Nantes / Loire-Atlantique - 2015</td></tr><tr><td>Titre alternatif</td><td>EMD Nantes - 2015</td></tr><tr><td>N° identification</td><td>Lil-1025</td></tr><tr><td>Producteurs</td><td>Cerema / CG de Loire-Atlantique</td></tr><tr><td>Diffuseur</td><td>Adisp</td></tr><tr><td>Nom de série</td><td>Enquêtes Ménages Déplacements (EMD)</td></tr><tr><td>Informations sur la série</td><td>Les EMD sont un outil de connaissance de la mobilité quotidienne d'une population habitant dans un périmètre...</td></tr><tr><td>Citation bibliographique</td><td>EMD ... - 09, Cerema, ... (producteurs), Adisp (diffuseur)</td></tr><tr><td>...</td><td></td></tr></tbody></table>
# Les champs de DDI : in « study description » (2/5)

## 2ème sous-partie "étendue de l'enquête"

<table><thead><tr><td>CHAMP</td><td>EXEMPLES</td></tr></thead><tbody><tr><td>Résumé de l'enquête</td><td>L'EMD de Nantes porte sur 154 communes ...</td></tr><tr><td>Thème(s)</td><td>Conditions de vie</td></tr><tr><td>Mots-clefs</td><td>Transport, véhicule, déplacement, stationnement, trajet, géolocalisation</td></tr><tr><td>Univers</td><td>Ménages résidant dans une commune du périmètre de l'EMD. Individus de 5 ans et plus. Déplacements effectués la veille de l'interview</td></tr><tr><td>Dates de collecte</td><td>Début : 2014-09-29 / Fin : 2015-03-15</td></tr><tr><td>Couverture géographique</td><td>154 communes (autres exemples : France métropolitaine, DOM, ...)</td></tr><tr><td>Unité géographique</td><td>Zonage en 123 secteurs (autres exemples : commune, département, région...)</td></tr><tr><td>Unité d'analyse</td><td>Ménages, individus, déplacements</td></tr><tr><td>...</td><td></td></tr></tbody></table>
# Les champs de DDI : in « study description » (3/5)

## 3ème sous-partie "méthodologie et traitement"

<table><thead><tr><td>CHAMP</td><td>EXEMPLE</td></tr></thead><tbody><tr><td>Méthode d'échantillonnage</td><td>Echantillon de ménages tiré de manière aléatoire et stratifié géographiquement</td></tr><tr><td>Mode(s) de collecte</td><td>Enquête en face à face avec un enquêteur</td></tr><tr><td>Instrument(s) de collecte</td><td>Questionnaires directifs (3 fiches : ménage, personnes, déplacements)</td></tr><tr><td>Pondération</td><td></td></tr><tr><td>Opérations de contrôle</td><td></td></tr><tr><td>Nettoyage des données</td><td></td></tr><tr><td>Taux de réponse</td><td></td></tr><tr><td>...</td><td></td></tr></tbody></table>
# Les champs de DDI : in « study description » (4/5)

## 4ème sous-partie "versions de l'enquête"

<figure><img src="image_23.png" /></figure>
Les champs de DDI : in « file description »

<figure><img src="image_24.png" /></figure>

➤ 2 seuls champs conservés pour décrire le fichier
# Les champs de DDI : in « variable description »

<figure><img src="image_25.png" /></figure>

* Texte de la question (d'origine)

* Univers

* Consignes aux enquêteurs

* Introduction à la question

* Texte consécutif à la question

► Structuration des variables dans la rubrique "variable groups"
Les champs de DDI : in « other materials »

<figure><img src="image_26.png" /></figure>
# Présentation de l'outil Nesstar

<figure><img src="image_27.png" /></figure>

<figure><img src="image_28.png" /></figure>

<figure><img src="image_29.png" /></figure>

## Déroulé de présentation :

* Création d'une "nouvelle étude"

* Le principe du "Template" :
  i.e. les 80 champs DDI conservés par l'ADISP

* Description "générale" de l'enquête

* Import d'un fichier et documentation des variables

* Définition des "variable groups" :
  structuration des questions
  (au choix *par fichiers, thèmes, ...*)

* Sauvegarde / création d'un fichier fic.nesstar
  (et export du DDI dans un fichier XML)
# Utilisations de DDI (et Nesstar) à l'étranger

**ICPSR**

Inter-university Consortium
for Political and Social Research

**Les archives de données européennes**

<figure><img src="image_30.png" /></figure>
# L'aide proposée aux producteurs de données

## Conseils et supports disponibles ...

<figure><img src="image_31.png" /></figure>

... sur le site de l'ADISP

<figure><img src="image_32.png" /></figure>

<figure><img src="image_33.png" /></figure>

... et sur celui du CDSP

<figure><img src="image_34.png" /></figure>

archives de données issues
de la statistique publique

disp

Accueil

ADISP

Données disponibles

Produits à façon

## Comment déposer des données ?

Dépôt de données

- Quelques explications

- Une notice, avec les principales informations à conserver / fournir

SciencesPo
CENTRE DE DONNÉES SOCIO-POLITIQUES

LE CDSP

EXPERTISES

PROJETS

RESSOURCES EN LIGNE

COMMANDER DES DONNÉES

DÉPOSER DES DONNÉES

<figure><img src="image_35.png" /></figure>

Accueil > Déposer des données

<figure><img src="image_36.png" /></figure>

D'après Oehrodlichuk Anastasia et Yelbeto/Shutterstock

## Déposer des données

Un centre de données vit par la qualité et la quantité des apports faits par les chercheurs. Le CDSP accompagne les chercheurs souhaitant que leurs enquêtes (qualitatives ou quantitatives) soient documentées, préservées et diffusées. Les avantages à partager les données d'enquêtes de façon rigoureuse sont nombreux.

- Les principes FAIR

- Le guide du déposant (quantitatif)

- Le guide beQuali (qualitatif)
Merci !

alina.danciu@sciencespo.fr

erik.zolotoukhine@cnrs.fr