# Guide de bonnes pratiques sur la gestion des données de la recherche

Christine Hadrossek, Joanna Janik, Maurice Libes, Violaine Louvet, Marie-Claude Quidoz, Alain Rivet, Genevieve Romier

## ► To cite this version:

Christine Hadrossek, Joanna Janik, Maurice Libes, Violaine Louvet, Marie-Claude Quidoz, et al. Guide de bonnes pratiques sur la gestion des données de la recherche. Direction des Données Ouvertes de la Recherche (DDOR); Centre National de la Recherche Scientifique (CNRS). 2021, 100 p. hal-04967672

HAL Id: hal-04967672

https://cnrs.hal.science/hal-04967672v1

Submitted on 26 Feb 2025

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
<figure><img src="image_2.png" /></figure>

# Guide de Bonnes Pratiques sur la gestion des données de la Recherche

## Groupe de travail "Atelier Données"

## Mission pour les Initiatives Transverses Interdisciplinaires
Ce guide de bonnes pratiques sur la gestion des données dans les réseaux métiers, a été réalisé par :

- Christine Hadrossek : DDOR, réseau Renatis.

- Joanna Janik : DDOR, réseau Renatis.

- Maurice Libes : réseau SIST.

- Violaine Louvet : réseau Calcul.

- Marie-Claude Quidoz : réseau rBDD.

- Alain Rivet : réseau QeR.

- Geneviève Romier : réseau rBDD.

Pour contacter les auteurs, envoyez un message à [contact-guide@services.cnrs.fr](mailto:contact-guide@services.cnrs.fr).

Mise en page et logo - Pierre Navaro

Cet ouvrage est mis à disposition selon les termes de la licence Creative Commons CC BY 4.0 [cc-by](https://creativecommons.org/licenses/by/4.0/)

https://mi-gt-donnees.pages.math.unistra.fr/guide
<table><tbody><tr><td>1</td><td>Imaginer et préparer</td><td>5</td></tr><tr><td>1.1</td><td>Comprendre le paysage de la gestion des données</td><td>5</td></tr><tr><td>1.2</td><td>Comprendre et respecter la législation en vigueur</td><td>9</td></tr><tr><td>1.3</td><td>Connaitre et comprendre les principes FAIR</td><td>10</td></tr><tr><td>1.4</td><td>Prévoir la traçabilité des données</td><td>11</td></tr><tr><td>1.5</td><td>Envisager la curation des données</td><td>12</td></tr><tr><td>1.6</td><td>Prévoir l'archivage des données</td><td>13</td></tr><tr><td>1.7</td><td>Identifier les compétences et expertises pour la gestion des données de la recherche</td><td>13</td></tr><tr><td>2</td><td>Concevoir et planifier</td><td>15</td></tr><tr><td>2.1</td><td>Évaluer les besoins liés au projet</td><td>16</td></tr><tr><td>2.2</td><td>Mettre en place une gestion de projet</td><td>16</td></tr><tr><td>2.3</td><td>Amorcer un plan de gestion de données</td><td>19</td></tr><tr><td>2.4</td><td>Identifier les infrastructures adaptées au projet : fournisseur du service, fonctionnalités, capacités et services</td><td>21</td></tr><tr><td>3</td><td>Collecter</td><td>23</td></tr><tr><td>3.1</td><td>Utiliser des normes et des standards d'interopérabilité</td><td>24</td></tr><tr><td>3.2</td><td>Les systèmes d'acquisition : maîtriser l'acquisition et la collecte des données</td><td>27</td></tr><tr><td>3.3</td><td>Environnements de stockage - Sauvegarder les données</td><td>33</td></tr><tr><td>4</td><td>Traiter</td><td>35</td></tr><tr><td>4.1</td><td>Préparer les fichiers de données en vue de leur analyse</td><td>35</td></tr><tr><td>4.2</td><td>Organiser les données</td><td>37</td></tr><tr><td>4.3</td><td>Mettre en place un contrôle qualité des données</td><td>40</td></tr><tr><td>5</td><td>Analyser</td><td>45</td></tr><tr><td>5.1</td><td>Plateformes de traitement de données</td><td>45</td></tr><tr><td>5.2</td><td>Outils pour l'analyse des données</td><td>46</td></tr><tr><td>5.3</td><td>Mettre en place des méthodes d'analyse et des chaînes logicielles</td><td>48</td></tr><tr><td>5.4</td><td>Optimiser l'utilisation des ressources</td><td>51</td></tr><tr><td>5.5</td><td>Traitements sémantiques/linguistiques</td><td>52</td></tr><tr><td>6</td><td>Préserver et archiver</td><td>55</td></tr><tr><td>6.1</td><td>Comprendre et différencier les différents concepts</td><td>55</td></tr><tr><td>6.2</td><td>Préserver les objets numériques</td><td>58</td></tr><tr><td>6.3</td><td>Archiver les objets numériques</td><td>60</td></tr></tbody></table>
<table><tr><td>6.4</td><td>Sélectionner les données pertinentes</td><td>61</td></tr><tr><td>6.5</td><td>S'appuyer sur les enseignements des retours d'expérience</td><td>62</td></tr><tr><td>7</td><td>Publier et diffuser</td><td>65</td></tr><tr><td>7.1</td><td>Communiquer et documenter</td><td>65</td></tr><tr><td>7.2</td><td>Publier les métadonnées</td><td>66</td></tr><tr><td>7.3</td><td>Utilisation de thesaurus</td><td>69</td></tr><tr><td>7.4</td><td>Utilisation d'identifiants pérennes</td><td>70</td></tr><tr><td>7.5</td><td>Les entrepôts de données</td><td>73</td></tr><tr><td>7.6</td><td>Publier un « Datapaper » pour valoriser et expliciter les données</td><td>75</td></tr><tr><td>7.7</td><td>Publier des données grâce au web des données et au web sémantique</td><td>78</td></tr><tr><td>8</td><td>Conclusion</td><td>79</td></tr><tr><td>9</td><td>Glossaire</td><td>81</td></tr><tr><td>10</td><td>Infrastructures</td><td>83</td></tr><tr><td>10.1</td><td>Infrastructures Européennes</td><td>83</td></tr><tr><td>10.2</td><td>Infrastructures Nationales</td><td>85</td></tr><tr><td>11</td><td>Reproductibilité</td><td>93</td></tr><tr><td>11.1</td><td>Comprendre les enjeux et défis</td><td>93</td></tr><tr><td>11.2</td><td>Utiliser des environnements et des outils qui favorisent la reproductibilité</td><td>94</td></tr><tr><td>11.3</td><td>Développement open source et reproductibilité</td><td>95</td></tr><tr><td>12</td><td>Autres guides de bonnes pratiques</td><td>97</td></tr><tr><td>13</td><td>Crédits</td><td>99</td></tr><tr><td>13.1</td><td>Auteurs</td><td>99</td></tr><tr><td>13.2</td><td>Relecteurs</td><td>99</td></tr><tr><td>13.3</td><td>Licence</td><td>100</td></tr></table>
## De l'importance des données de la recherche

La gestion rigoureuse et cohérente des données de la recherche constitue aujourd'hui un enjeu de taille pour la production de nouvelles connaissances scientifiques. Guidés par le « *Plan National pour la Science Ouverte* », les différents organismes de recherche et les Instituts du CNRS s'emparent de ces questions primordiales pour participer à la réflexion et à la mise à dispositions des outils, méthodes et infrastructures répondant aux besoins des communautés scientifiques en matière de gestion et de partage des données scientifiques.

Améliorer les pratiques de gestion des données de la science devient nécessaire pour garantir l'intégrité scientifique et la traçabilité de la recherche produite, mais aussi pour rendre accessible, partager, permettre la réutilisation ou la reproductibilité des données, qui on peut le rappeler sont financées à plus de 50% sur des fonds publics.

Gérer les données de la recherche est un processus complexe qui suppose un travail long et coûteux, des moyens techniques et humains parfois importants et qui comprend plusieurs étapes avant d'aboutir à la publication et l'archivage de données fiables, de qualité, respectueuses du droit des personnes et de la législation en vigueur.

<figure><img src="image_3.png" /><figcaption>Fig. 1 – Cartographie des actions des réseaux métiers autour de la gestion des données.</figcaption></figure>

Pour formaliser les différentes étapes de gestion des données, nous nous sommes servis du « cycle de vie des données » élaboré au sein de l'Atelier Données. Il s'agit d'un cercle vertueux que l'on peut faire correspondre aux différentes phases d'un projet scientifique.

## L'apport des réseaux métiers du CNRS

Dans leurs différentes pratiques, les réseaux métiers du CNRS, regroupés au sein de la *Mission pour les Initiatives Transverses Interdisciplinaires* (MITI) ou soutenus par les Instituts sont en première ligne pour participer à ce mouvement d'ouverture et de partage des données. Les personnels des organismes de recherche qui les constituent, œuvrent pour mettre en place de bonnes pratiques de gestion et participent également au processus de production des données scientifiques aux côtés des équipes de recherche. C'est aussi dans ce cadre qu'ils interviennent en appui et soutien à la recherche scientifique.

C'est précisément ce travail de soutien que nous nous proposons de rendre compte dans ce document qui, à travers de nombreux séminaires communications et formations, vise à fournir les meilleures pratiques du moment en matière de gestion des données, et peut ainsi s'apparenter à un « guide de bonnes pratiques ».

Certes de nombreux guides existent déjà dans le domaine, mais l'originalité de ce document réside dans son application aux données de la recherche sous l'angle de différents métiers de la recherche. Il fournit donc un point de vue
transversal intéressant et traduit les efforts et le soutien mis en place par les personnels d'appui à la recherche au sein des réseaux, dans la gestion et la valorisation des données scientifiques.

## Objectifs du guide

Ce guide est la production du groupe de travail inter-réseaux « Atelier Données ». Il s'agit d'un groupe composé de plusieurs réseaux métiers de la MITI (Calcul, Devlog, QeR, rBDD, Renatis, Resinfo, Medici), du réseau SIST, (labellisé par l'INSU et regroupant les gestionnaires de données environnementales), de l'INIST, et de la Direction des données ouvertes de la recherche (DDOR-CNRS <fnref n="1" />). Les activités de cet atelier ont été présentées lors du séminaire SIST 2019.

Ce guide fait suite à un premier travail très synthétique réalisé en 2017 qui visait à établir une cartographie de l'action des réseaux en matière de gestion des données de la recherche. Ce travail rendait compte dans ses grandes lignes, des usages et des questionnements des réseaux sur la gestion des données, tout en apportant une vision des métiers transversale sur le sujet et les problématiques attenantes.

Il nous est apparu opportun d'aller plus loin et de détailler plus précisément les apports de nos réseaux métiers, compte tenu :

- des nombreuses actions de formation ou de sensibilisation mises en place,

- des compétences et expertises développées prenant appui sur des pratiques standardisées qui font leurs preuves sur le terrain,

- de la diffusion de recommandations et de solutions techniques et organisationnelles au sein des communautés grâce à la veille technologique et juridique réalisée très régulièrement.

Dans ce document, nous avons donc voulu témoigner des travaux réalisés au sein de nos réseaux métiers qui rendent compte de la gestion des données de la recherche tout en guidant le lecteur vers des bonnes pratiques en l'invitant aussi à cliquer sur des liens qui constituent des ressources lui permettant d'approfondir le sujet.

Ce guide est donc un document un peu hybride proche du vadémécum, composé d'un inventaire d'actions de formations (conférences, séminaires, présentations), d'un répertoire de liens, de recommandations professionnelles, complétées de définitions utiles, pour approfondir le sujet de la gestion des données dans les réseaux métiers.

Il s'adresse à toute personne désireuse de se former à la gestion des données de la recherche, et son objectif et d'aider le lecteur à analyser son besoin et trouver des solutions parmi l'eventail des communications qui sont présentées. Il constitue aussi une invitation à se rapprocher des réseaux métiers.

## Sommaire

Ce guide abordera l'ensemble des phases et actions nécessaires pour une gestion des données en accord avec les prérogatives de la science ouverte :

- Les deux premières phases 1 « Imaginer et préparer » et 2 « Concevoir et planifier », sont les étapes préparatoires d'un projet, où l'on se préoccupe d'avoir toutes les informations nécessaires à la bonne gestion des données et du projet. C'est l'étape où l'on réfléchit au plan de gestion de données, où l'on prépare les espaces de stockage et où l'on met en place les outils de gestion de projet. Cette partie, très générique et a pour objectif de conduire le lecteur à s'interroger sur ses besoins, les moyens dont il dispose, à se poser les bonnes questions et à s'orienter pour trouver des solutions adaptées dans un environnement riche, en construction et à surveiller.

Les phases suivantes apportent des éléments plus spécifiques au lecteur pour répondre à des besoins plus techniques

- L'étape 3 « Collecter » rend compte de la pratique de collecte et du processus d'acquisition des données (équipements, capteurs ...). Elle informe tout particulièrement sur l'usage des normes et standards d'opérabilité nécessaires à la constitution des jeux de données pour les rendre Faciles à trouver, Accessibles, Interopérables, et Réutilisables (FAIR). Elle apporte aussi un éclairage sur les environnements de stockage des données existants et la nécessité de sauvegarder des données.

- L'étape 4 « Traiter » témoigne du prétraitement des données brutes acquises et collectées précédemment. Elle guide le lecteur sur la nécessaire préparation des fichiers de données pour les rendre ouverts et interopérables. La connaissance et la maîtrise des formats et standards est importante. Cette étape est également celle de l'organisation des données qui implique dans certains cas de développer des procédures d'intégration des données dans les bases de données ou d'utiliser un cadre d'application d'agrégation de données. Il est important

<footnote n="1">1. Anciennement DIST.</footnote>
aussi à ce stade de se préoccuper du dépôt des données dans des plateformes de gestion locales<fnref n="2" /> qui facilitent leur accès pour les scientifiques, et de mettre en place un contrôle qualité.

- la phase 5 « *Analyser* » est la phase d'analyse dans laquelle on s'occupe de définir et mettre en place des chaines logicielles avec des méthodes et des outils. Cette partie informe le lecteur sur les plateformes, outils et méthodes utilisés principalement dans la communauté du calcul pour analyser et visualiser les données. Elle présente également quelques projet d'analyse sémantiques de données textuelles ainsi que des services Text and Data Mining.

- la phase 6 « *Préserver et archiver* » rend compte de l'importance de préserver et archiver les données sur le long terme. On s'attache dans cette partie a bien définir et clarifier les termes, réfléchir aux données pertinentes à préserver et voir quelles solutions s'offrent à nous.

- la phase 7 « *Publier et diffuser* » est la phase finale permettant de diffuser les données correctement à travers des catalogues de données, des thesaurus de mots clés fournissant une interoperabilité sémantique, des identifiants pérennes et des entrepôts de données, des datapapers.

Deux annexes reprennent des thèmes transverses à ces phases successives :

- l'annexe « *Infrastructures* » décrit le paysage des infrastructures destinées à la recherche scientifique et accessibles à la communauté scientifique qui travaille en France. Le recensement est loin d'être exhaustif mais a pour objectif de fournir un aperçu des différents types d'infrastructures et d'en présenter certaines plus en détail au travers des exposés réalisés lors d'événements organisés par les réseaux.

- l'annexe « *Reproductibilité* » rassemble des exposés concernant la reproductibilité et la répétabilité, sujets transverses à plusieurs phases. Comme dans l'ensemble de ce guide, les présentations référencées ont été réalisées dans le cadre de journées ou ateliers organisés par les réseaux.

Ce guide a été rédigé par quelques réseaux métiers et de ce fait n'a pas la prétention d'être exhaustif. Nous invitons donc d'autres réseaux à nous faire remonter leurs pratiques métiers dans le cadre de la gestion des données pour alimenter ce guide. Le lecteur est également invité à nous communiquer tous commentaires, remarques ou suggestions qui serait de nature à améliorer et compléter ce travail en envoyant un mail sur la liste de diffusion.

<footnote n="2">2. Il s'agit de plateformes développées en fonction des besoins par des unités ou établissements comme par exemple le data center du GRICAD qui propose aux équipes de recherche un espace de stockage et un service d'accompagnement pour la gestion des données.</footnote>
# CHAPITRE 1

## Imaginer et préparer

Imaginer est la première étape de notre cycle de vie. C'est une phase préparatoire qui correspond à la connaissance et à l'identification des problématiques générales, techniques et juridiques associées à la gestion des données dans un projet de recherche ou dans la pratique quotidienne de nos métiers. Etape où l'on doit se projeter, s'informer, comprendre pour anticiper et envisager sereinement le déroulement d'un projet. C'est une étape initiale importante pour appréhender globalement la gestion des données, l'écosystème dans lequel elle s'inscrit avec ses contraintes et opportunités, les outils et infrastructures disponibles ou nécessaires, les politiques d'accompagnement et la multiplicité des acteurs qui interagissent, les réglementations en vigueur ou encore les compétences et expertises à acquérir.

L'apport des réseaux est ici important en termes de croisement des disciplines et des métiers pour apporter un éclairage global dans la nécessaire évolution des métiers et compétences et répondre au mieux aux besoins des communautés scientifiques.

### 1.1 Comprendre le paysage de la gestion des données

Avant d'aborder la gestion des données sous ses aspects techniques qui seront développés tout au long des étapes du cycle de vie de la donnée dans ce guide, nous souhaitons apporter une vision d'ensemble du paysage de la gestion des données. Ce paysage s'appréhende dans le cadre du mouvement open science, de la politique d'open data en particulier et par la connaissance de l'ensemble du processus de recherche depuis la compréhension des possibilités de financement de la recherche (attendu des financeurs H2020, ERC, ANR ...) jusqu'à la diffusion, la valorisation et l'évaluation des résultats.
1.1.1 Connaître les politiques d'accompagnement des données au niveau euro-
péen et international

Différentes initiatives institutionnelles sont développées au sein de nos établissements en France ou à l'étranger pour
accompagner la politique des données de la recherche. Il est intéressant de se pencher sur ces travaux pour anticiper
les besoins et prévoir les évolutions stratégiques possibles au sein de notre environnement.

À l'occasion des « FréDoc 2013 », Simon Hodson (Directeur exécutif de CODATA) dresse un panorama très complet des différentes politiques institutionnelles, des tendances gouvernementales et internationales. Nous percevons très distinctement les défis et obstacles à lever pour la mise en place d'une gestion des données de la recherche. On comprend l'importance d'analyser le comportement des communautés de recherche pour parvenir à construire ensemble une politique autour des données et aussi l'intérêt d'une approche convergente « top down et bottom up » pour la mise en place d'actions de terrain qui rejoignent les actions de la gouvernance. Les nombreux défis à la mise en place d'une politique des données de la recherche sont bien présents à commencer par le fait d'instaurer au sein de nos communautés une culture du partage de la donnée et de mettre à disposition des chercheurs des infrastructures et des services de formation. Simon Hodson souligne aussi le rôle essentiel des politiques et parties prenantes pour mettre en place des actions et des concertations.

Les politiques d'accompagnement des données : une comparaison internationale

Simon Hodson, ISCU-CODATA, ANF « Frédocs2013 - Gestion et valorisation des données de la recherche », 2013, Aussois

En 2017 à l'occasion d'une ANF dédiée à l'organisation du management des données de la recherche et dans le contexte d'omniprésence du numérique et des défis sociétaux actuels, Francis André (Chargé des données de la recherche à la DIST du CNRS) présente l'évolution des pratiques scientifiques et le cadre stratégique offert par l'open science autour des données de la recherche.

On découvre à travers son intervention les principes FAIR et l'importance de disposer de métadonnées de qualité. On comprend également la nécessité du partage pour faire évoluer les connaissances. Francis André distingue dans sa présentation différents types de données, d'infrastructures et de services à l'échelle européenne et internationale avec un focus sur le fonctionnement et les groupes de travail de la Research Data Alliance (RDA). Il revient sur les résultats d'une enquête réalisée auprès des directeurs d'unité pour aborder la question du point de vue du chercheur et insiste sur la nécessité de réinventer nos métiers et de s'approprier la gestion des données.

Gestion des données de la recherche dans le contexte d'Open Science

Francis André, DIST-CNRSANF « Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données », 2017, Paris

La gestion des données s'organise également au sein des structures d'accompagnement au niveau européen comme en témoigne Susan Reilly (Directeur exécutif de la Ligue Européenne des Bibliothèques de Recherche LIBER) qui pointe en particulier les besoins de réorganisation et d'adaptation des structures d'accompagnement de la recherche pour aider les chercheurs dans la gestion des données. Le rôle des bibliothèques est crucial dans ces actions et les opportunités à saisir pour évoluer dans ce sens sont nombreuses. Partant du constat que sans une infrastructure qui aide les chercheurs à gérer leurs données de façon adéquate et efficace, aucune culture du partage n'est possible. Elle expose dans le cadre de LIBER une démarche proactive au sein des bibliothèques de recherche en Europe et présente 10 recommandations à suivre pour répondre aux besoins des chercheurs en termes de services et de supports.

From data management policy to implementation : opportunities and challenges for libraries

Susan Reilly, LiberANF « Frédocs2013 - Gestion et valorisation des données de la recherche », 2013, Aussois
On constate en effet aujourd'hui que les services communs de documentation, nouvellement investis de ces problé-
matiques d'open acces et de gestion des données de la recherche ont entrepris une restructuration de fond au sein des
Universités pour proposer des services d'accompagnement à destination des équipes de recherches (Voir Arabesque
n°95, ADBU, 2019). De nouveaux services d'appui à la recherche se constituent peu à peu et proposent un soutien pour
la publication en libre accès ou la rédaction de plan de gestion de données. (voir SOS-PGD, répertoire des services
opérationnels de soutien à la rédaction de plans de Gestion de données au sein des établissements de l'enseignement
supérieur et de la recherche)

L'INSU est aussi depuis les années 1990 à l'origine d'un dispositif d'accompagnement de la recherche à caractère
national ou international qui bénéficie d'un processus de labellisation et qui a pour vocation d'apporter un service
à la communauté scientifique. Il s'agit des Services Nationaux d'Observation (SNO) labellisés par la direction de
l'INSU. Ces services ont été créés pour répondre au besoin de documenter sur le long terme la formation, l'évolution,
la variabilité des systèmes astronomiques et des milieux terrestres, et de faire progresser les connaissances dans ces
domaines.

1.1.2 Comprendre le contexte

Ces dernières années, la réglementation en matière de science ouverte a largement modifié le paysage des données de la recherche et a permis de mieux cadrer les pratiques scientifiques sur le plan juridique.

Un contexte politique favorable à la gestion et au partage des données

En 2018, à la suite des objectifs fixés par l'Europe, la France s'est dotée d'un plan national pour la science ouverte.
Présenté le 4 juillet par Frédérique Vidal, la ministre de l'Enseignement et de la Recherche, ce plan prône la diffusion
sans entraves des publications et des données de la recherche. Il comporte différentes mesures déclinées en trois
axes stratégiques et pose les conditions du développement de la science ouverte dans nos établissements. Dans la
continuité de ce plan, le CNRS, a rédigé une feuille de route pour la science ouverte s'appuyant sur des actions
concrètes structurées autour de quatre grands objectifs : (i) 100% de la production scientifique en accès ouvert, (ii)
développement d'une culture de la gestion et du partage des données, (iii) développement d'infrastructure pour la
fouille et (iv) l'analyse des contenus et la transformation des modalités d'évaluation des chercheurs).

Enfin, le CNRS a publié en novembre 2020 un plan Données de la recherche avec l'objectif d'accélérer le développ-
ment vers la science ouverte, et d'encourager les chercheurs à rendre leur données accessibles et réutilisables. A côté
de la mise en place d'une politique des données en phase avec les besoins des communautés scientifiques, ce plan
envisage un nouveau mode de gouvernance et un plan d'action pour les données de la recherche.

Du côté des financeurs de la recherche, l'ANR dans son plan d'action 2020 réaffirme son engagement en faveur de la
science ouverte. En lien avec le plan national pour la science ouverte, elle demande l'élaboration d'un Plan de Gestion
des Données (PGD) pour les projets financés à partir de 2019. Partant des recommandations du Comité pour la Science
Ouverte (CoSO), elle a adopté un modèle de PGD proposé par Science Europe qui vise à harmoniser la gestion des
données au niveau international. Ce plan constitue désormais un livrable de tout projet financé par l'ANR.

Le partage des données suppose également la mise en place d'un cadre juridique. La loi pour la république numérique, dite loi Lemaire, a posé ce cadre en octobre 2016 afin de favoriser l'ouverture et la circulation des données, de garantir un environnement numérique ouvert et respectueux de la vie privée et faciliter l'accès et la réutilisation des données.
Le Règlement général sur la protection des données (RGPD) instaure quant à lui un nouveau cadre juridique pour la protection des données personnelles.

Un contexte technologique en constante évolution

Outre une attention particulière sur les besoins des communautés scientifiques, une veille technologique portant sur
les services, outils, plateformes et infrastructures de stockage, de partage ou d'archivage des données de la recherche
doit être assurée pour permettre d'adapter les moyens mis œuvre aux besoins exprimés.

De nombreuses initiatives internationales et programmes européens ont été constitués pour travailler à l'ouverture
progressive des données de la recherche, produire et harmoniser des outils et méthodologies. Nombre d'entre eux sont
des espaces de travail et d'échange pour les ingénieurs et chercheurs, comme RDA (Research Data Alliance) qui a
pour motto « Building the social and technical bridges to enable open sharing and re-use of data » ou Go FAIR dont
l'objectif est de promouvoir les principes FAIR. Le « *European Open Science Cloud* » a été initié par la commission européenne. Il est défini comme « *The system resulting from the activities and initiatives promoted by the European Commission to support its policies on Open Science and Open Innovation 2.0* » (voir le *Glossaire de l'EOSC*).

Une présentation de Françoise Genova et de Francis André détaille le fonctionnement de la RDA, organisation inter-
nationale créée en mars 2013, pilotée par la communauté, qui vise à construire les ponts sociaux et techniques pour
le meilleur partage des données. Les groupes d'intérêt et de travail y sont présentés par thématiques ainsi que les pro-
ductions et recommandations issues de ces groupes. Un focus particulier est porté sur le nœud national RDA France,
ses objectifs et ses activités.

Les activités de RDA : perspectives dans le cadre du noeud national français

Francis André, DIST-CNRS & Françoise Genova, Observatoire Astronomique de StrasbourgSIST 2018 : Séries Inter-
opérables et Systèmes de Traitement, 2016, Guyancourt

Dans cette autre présentation, Volker Beckman (chargé de mission CNRS-EOSC et Directeur adjoint scientifique Cal-
cul et Données IN2P3/CNRS) explique comment concrètement les chercheurs pourront utiliser l'EOSC. Il présente
la stratégie européenne d'élaboration de ce Cloud européen lancé en 2018, qui coordonne les initiatives et projets de
construction de cet espace à destination de la recherche et des chercheurs. Partant des nombreux projets qui ont été
financés pour élaborer ce cloud (EOSCpilot, EOSC-Pillar, EOSC-hub etc.), il montre les possibilités de collaboration.
Depuis 2019, une structuration est en cours avec la mise en place d'une gouvernance temporaire et une implication
forte des ministères en charge de la recherche dans les différents pays européens. Ces travaux préparatoires devraient
déboucher sur d'importantes opportunités de financement complémentaires dans le programme cadre « Horizon Eu-
rope ».

European Open Science Cloud (EOSC), opportunités pour la recherche en France

Volker Beckman, CNRS/IN2P3Rendre FAIR les données, mais quelles données préserver ? Atelier Dialogu'IST, 2020

Pour accompagner les communautés de chercheurs, une feuille de route nationale des infrastructures de recherche est mise à disposition sur son site par le ministère de l'Enseignement supérieur, de la Recherche et de l'Innovation. Elle recense aujourd'hui 99 infrastructures et est régulièrement remise à jour.

Les projets de recherche au sein de ces infrastructures ont donné lieu à certains retours d'expériences qui témoignent de spécificités disciplinaires dans la gestion des données de la recherche. (Ils sont détaillés dans la partie dédiée aux Infrastructures)

Il est important également de suivre attentivement l'évolution des espaces de partage des données de la recherche qui sont différents en fonction des communautés scientifiques. Les organismes de financement, les éditeurs ou les établissements de recherche ont pour coutume de recommander le dépôt des données dans des entrepôts, car ceux-ci permettent de conserver, rendre visible et accessible les données de recherche. Il en existe plusieurs catégories : entrepôts généralistes comme Zenodo ou Dryad, institutionnels comme Dataverse Cirad, Datapartage à INRAE, dataSuds à l'IRD ou thématiques comme GBIF pour les données de biodiversité, ou Pangaea pour les données des géosciences.

Des répertoires de données comme Re3Data (répertoire d'entrepôts créé par DataCite) ou Cat OPIDoR (catalogue de services dédié aux données de la recherche hébergé à l'INIST) sont accessibles pour guider les recherches.

Pour plus de détails, on se reportera à la section *Infrastructures*.
## 1.2 Comprendre et respecter la législation en vigueur

Gérer les données de la recherche suppose de clarifier en amont les modalités de partage et de mise à disposition des données de la recherche et le cadre juridique applicable aux projets de recherche.

Comme le précisent les interventions de Nathalie Gandon (Frédocs 2018) ou Nathalie Le Ba (ANF Sciences des données), il existe un certain nombre de principes fondamentaux associés à la notion d'open data et un certain nombre de textes législatifs en France et en Europe qui réglementent ou impactent la gestion des données de la recherche et la réutilisation des informations publiques. Parmi ces textes, figurent principalement la loi Valter (2015) et la Loi pour la république numérique] (2016) qui toutes deux élargissent le champ d'application de la Loi CADA et ont pour objectif de favoriser la réutilisation de l'information publique. La loi Valter instaure le principe de gratuité dans la réutilisation des informations publiques tandis que la Loi pour la république numérique (Loi Lemaire) conduit à l'obligation de mise en ligne spontanée des documents administratifs librement réutilisables (y compris à des fins commerciales). Ces deux lois sont à l'origine du principe d'ouverture ou d'open data par défaut. Les notions de « document administratif », d'universalité et de gratuité des informations publiques sont ici des notions incontournables à saisir pour passer d'une logique de demande citoyenne à une logique de diffusion volontaire des informations du secteur public.

Dans tous les cas, l'application des textes législatifs aux données de la recherche n'est pas toujours aisée. Nathalie Gandon, nous apporte des renseignements précieux à travers une check-list pour déterminer si les résultats de recherche sont ou ne sont pas des « documents administratifs » à diffuser. Il convient de s'interroger tout d'abord sur la nature et la forme du résultat concerné (le document doit être achevé), ensuite sur l'auteur du résultat (le document doit être produit dans le cadre d'une mission de service public) et enfin sur les conditions de production du résultat (collaboration publique ou privée). Il existe également de nombreuses exceptions prévues par la loi qui conduisent à une interdiction totale d'accès et de réutilisation (documents secret défense etc.). On trouvera sur ces supports le détail des exceptions liées aux données environnementales et personnelles.

### Résultats de la recherche et open data : le cadre juridique

Nathalie Gandon, INRAANF « Fredocs 2018 - Démarches innovantes en IST : expérimenter, proposer, (se) réinventer », 2018, Albi

### Questions juridiques autour de l'ouverture des données

Nathalie Le Ba (DAJ du CNRS)ANF « Sciences des données : un nouveau challenge pour les métiers liés aux bases de données », 2018, Sète

En complément de ces présentations, il est important de retenir que le droit des producteurs de bases de données (droit sui generis) est désormais « neutralisé » par la Loi sur la république numérique. Comme toute administration, les universités et établissements de recherche ne peuvent opposer leur droit de producteur de bases de données à la libre réutilisation des informations qu'elles produisent. Le principe d'ouverture par défaut s'applique. Pour plus d'information sur ce point nous vous invitons à consulter l'article de Lionel Maurel : les universités françaises et l'Open Data après la loi numérique.

### Les données à caractère personnel

La gestion des données implique également de porter un regard attentif à la législation sur les données à caractère personnel.

Les données personnelles, régies en France par la loi informatique et liberté (loi de 1978, modifiée le 20 juin 2018 pour adaptation au RGPD) font l'objet d'un traitement particulier. Entré en vigueur le 25 mai 2018 dans toute l'Union européenne, le Règlement général sur la protection des données (RGPD) instaure un nouveau cadre juridique pour la protection des données personnelles. Ce nouveau règlement renforce les droits des citoyens européens et responsabilise les organismes qui traitent les données pour garantir la protection des droits fondamentaux. Les principes énoncés dans ce règlement doivent être connus et respectés, car ils s'appliquent aussi aux activités de recherche. Le texte
prévoit néanmoins un régime spécifique, dérogatoire offrant une large marge de manœuvre aux chercheurs pour l'utilisation des données personnelles dans le cadre d'un projet de recherche. (Voir l'article de Lionel Maurel : *Données personnelles et recherche scientifique : quelle articulation dans le RGPD ?*)

On trouvera dans l'intervention de Patrick Guillot (CIL des établissements universitaires de la ComUE Université Grenoble Alpes), une présentation riche et complète comprenant entre autres, un rappel des définitions et principes fondamentaux de la loi, une définition des « données à caractère personnel », un historique des principaux textes et un quiz de questions-réponses (vrai/faux) très utile pour comprendre l'évolution de la réglementation.

## Prise en compte des données personnelles - Évolution de la réglementation

Patrick Guillot, Univ. Grenoble AlpesANF « Traçabilité des activités de recherche et gestion des connaissances », Réseau Qualité en Recherche, 2017, Grenoble

L'INSHS a par ailleurs produit un guide pour la recherche « *Les sciences humaines et sociales et la protection des données à caractère personnel dans le contexte de la science ouverte*. Ce guide régulièrement mis à jour synthétise les règles applicables à chaque étape du cycle de vie des données et s'appuie sur des exemples concrets pour présenter des bonnes pratiques.

### Les licences

Le choix des licences est également réglementé par la Loi pour une république numérique

L'ouverture et le partage des données impliquent par ailleurs l'utilisation de licences (GNU, *Creative Commons*, CeCILL, et autres) qui fixent les conditions dans lesquelles les données peuvent être réutilisées. La Loi pour une république numérique impose l'utilisation de licences applicables aux « informations publiques » d'une part et aux codes sources et logiciels d'autre part. Les licences utilisables sont référencées sur cette liste fixée par décret et applicable par les administrations. Si toutefois, le consortium du projet dans lequel les données ont été créées impose un autre choix, il faut s'y conformer. La Licence ouverte / open licence conçue par Etalab est considérée comme une licence de référence par le gouvernement pour la réutilisation et la publication de données publiques.

Pour accompagner les équipes dans le traitement juridique des données, un collectif de juristes issus de l'enseignement supérieur et de la recherche a rédigé un guide de référence "*Ouverture des données de recherche. Guide d'analyse du cadre juridique en France*" qui explique les principes à respecter en matière de diffusion des données.

## 1.3 Connaitre et comprendre les principes FAIR

Enoncés initialement par le groupe de travail FORCE 11, les principes FAIR « The FAIR Guiding Principles for scientific data management and stewardship » ont été publiés en mars 2016 dans la revue Scientific Data. Elaborés par des représentants du monde universitaire, de l'édition, de l'industrie et des organismes de financement, ils répondent aux besoins urgents d'amélioration des infrastructures permettant la réutilisation des données scientifiques.

### 1.3.1 Définir les principes FAIR pour guider les stratégies de gestion des données

Il s'agit d'un ensemble de *principes directeurs* visant à rendre les données de la recherche, Faciles à trouver, Accessibles, Interopérables et Réutilisables (FAIR) par les êtres humains et les machines. Ces principes permettent de guider les stratégies de gestion des données et d'aider tous les acteurs qui œuvrent à les produire, à en contrôler la qualité, à les traiter et les analyser, à assurer leur publication et leur dissémination, à les sélectionner et les préparer pour le dépôt dans des plateformes de partage ou d'archivage. Il s'agit aussi en particulier de mettre l'accent sur le renforcement de la capacité des machines à rechercher et utiliser automatiquement les données afin de favoriser leur réutilisation par des particuliers.

Les principes FAIR ont pour objectif de guider le partage et la publication des données. Toutefois, s'il y a une volonté forte en faveur du partage et de la réutilisation des données (les principes sont adoptés par de plus en plus d'organismes
de financement de communautés scientifiques et sont également préconisés dans le plan national pour la science
ouverte et dans la feuille de route du CNRS), il faut bien garder à l'esprit qu'appliquer les principes FAIR n'implique
pas l'ouverture systématique des données. Le principe de base « aussi ouvert que possible, aussi fermé que nécessaire
» reste en vigueur y compris lorsque l'on applique les principes FAIR.

1.3.2 Appliquer les principes FAIR - Retours d'expériences

Le groupe de travail inter-réseaux « Atelier données » s'est intéressé à l'application des principes FAIR. Une journée d'étude a été organisée en novembre 2018 avec l'objectif de présenter des retours d'expériences et des réflexions sur les pratiques de gestion des données de la recherche mises en œuvre par les réseaux métiers et les réseaux technologiques du CNRS. Elle a donné lieu à la production d'un livret de synthèse.

Cette journée s'appuie plus spécifiquement sur les notions de pérennisation et d'interopérabilité des données dans les
projets de recherche, et cherche à en comprendre les facteurs ressorts de réussite et les points sensibles à surveiller. Elle
a pour ambition d'analyser les complémentarités des expériences au travers des métiers représentés par les réseaux ;
de formuler des points de convergence de bonnes pratiques et d'accroître les échanges entre les réseaux de la MI sur
des questions à forts enjeux pour l'évolution de nos métiers.

Interopérabilité et pérennisation des données de la recherche : Comment FAIR en pratique ? Retour d'expé-
rience

Atelier Données Inter réseau, 2018, Paris

1.4 Prévoir la traçabilité des données

Dans un environnement où l'information arrive en masse, pouvoir assurer la traçabilité des données est essentiel. Les données numériques représentent un enjeu majeur pour la recherche et il est important d'intégrer une démarche qualité au sein des structures de recherche pour disposer de données fiables et réutilisables.

Le réseau Qualité en Recherche particulièrement investi sur ce sujet, a élaboré en 2018, un guide de référence :
*Traçabilité des activités de recherche et gestion des connaissances*, à destination des agents des unités de recherche.
Ce guide a pour objectif de fournir des recommandations et bonnes pratiques pouvant être appliquées dans tous les
domaines d'activités, tant administratifs, techniques que scientifiques, afin d'assurer la traçabilité des activités de
recherche et d'améliorer la gestion des données de la recherche.

Alain Rivet, Responsable qualité et système d'information au CERMAV, illustre cette question à l'occasion de l'ANF Données 2016 en présentant la problématique de la donnée dans la perspective de la traçabilité des activités de recherche. Il pose la question du défi organisationnel de la gestion des données dans les laboratoires et les établissements face aux contraintes de plus en plus fortes des autorités de tutelles. Il souligne ainsi le besoin d'optimiser le fonctionnement de nos laboratoires, la solution étant de s'appuyer sur des référentiels comme la norme ISO 9001. La nécessaire confiance en la qualité d'une recherche suppose une maitrise de l'ensemble des moyens d'acquisition, de traitement, de diffusion et de conservation des résultats.

Nos tutelles, en réponse à cette problématique d'intégrité scientifique, ont mis en place une stratégie nationale avec la
rédaction début 2016 d'une charte de déontologie des métiers de la recherche qui insiste sur l'importance de permettre
la traçabilité des travaux expérimentaux et la conservation des données de la recherche. Une bonne gestion des données
de la recherche apparaît comme une réponse au problème soulevé.

Activités de recherche et gestion des connaissances

Alain Rivet, CNRS_CERMAVANF « Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données », 2016, ParisVoir aussi les vidéos : La problématique de la donnée dans
la perspective de la traçabilité des activités de recherche : contexte et enjeux (séquence 1) Le défi organisationnel de la gestion des données dans les laboratoires et les établissements (séquence 2) La qualité en recherche : contexte et définition (séquence 3) La qualité au service de la gestion des données dans les laboratoires (séquence 4) Conclusion : Développer les démarches « qualité » comme outil de gestion de données (séquence 5)

## 1.5 Envisager la curation des données

La curation des données est une activité essentielle dans la pratique de gestion des données, car elle assure la pérennité des données sur le long terme, leur qualité et leur réexploitation. Elle s'avère toutefois difficile à définir, car sa pratique se situe très souvent à la croisée de différentes disciplines. Elle s'applique tout au long du cycle de vie de la donnée et intègre des tâches de nature parfois différentes comme la sélection, la vérification, la normalisation ou encore l'enrichissement nécessaires à la publication des données.

« Les activités de curation de données permettent de faciliter la découverte et la récupération de données, de maintenir la qualité des données, de leur ajouter de la valeur et d'en fournir pour de futures réutilisations. Ce nouveau champ inclut la représentation, l'archivage, l'authentification, la gestion, la préservation, la récupération, et l'utilisation. »

*Digital Humanities Data Curation*

La définition ci-dessus semble de nature à mieux cadrer l'activité de curation pour la gestion des données de la recherche. Elle est proposée par le Digital Curation Center (DCC), une organisation britannique qui produit une expertise et fournit une aide pratique sur le stockage, la gestion, la protection et le partage des données de la recherche.

Le DCC propose également un Briefing paper « What is Digital Curation » qui explique les bénéfices d'une curation des données.

Pour illustrer une pratique de curation des données en SHS, Emmanuelle Morlock, Ingénieure au Laboratoire HiSoMa a présenté un travail réalisé dans l'univers de l'édition critique des sources.

Cette présentation s'organise en trois parties : les spécificités de la « data curation », les défis spécifiques aux SHS et les solutions proposées par l'encodage TEI (Text Encoding Initiative) de sources textuelle pour relever ces défis. Emmanuelle Morlock définit ici la notion de curation et les notions associées, les activités engendrées par cette activité et les défis qu'elles représentent pour les sciences humaines et sociales. Elle s'intéresse également aux types d'objets de la curation. Elle aborde ensuite le chapitre de l'édition savante qui l'amène à définir précisément ce qu'est l'édition numérique (un texte enrichi, exploitable par des machines) et à présenter, définir et expliquer le processus d'édition dans un format XML TEI. Elle explique aussi l'apport de la TEI dans la réponse aux défis posés par l'édition numérique (distinction de niveaux d'interprétation via le balisage, conservation et documentation des choix de manière formalisée) et termine sa présentation sur le rôle des « curateurs » pour repérer les manques dans un objectif de réutilisation à long terme ou pour aider les chercheurs à améliorer leurs pratiques de documentation de leurs données.

### De quelques défis spécifiques de la curation numérique des données en SHS : petite incursion dans l'univers de l'édition critique de sources au format TEI

Emmanuelle Morlock, HiSoMa)Frédocs2013 - Gestion et valorisation des données de la recherche, 2013, Aussois

Dans le domaine spécifique des humanités numériques, il existe un guide auquel se référer : le DH Curation Guide. Il est composé d'un recueil d'articles fiables sur la curation des données, contextualisés par des rédacteurs experts et des membres de la communauté. Ce guide, réalisé suite à une analyse de besoins exprimés par des professionnels en Humanités numériques dans le cadre d'un projet de recherche (Data Curation Education Program for the Humanities (DCEP-H) a été conçu avec l'objectif d'aider à relever les défis posés par la curation des données.
## 1.6 Prévoir l'archivage des données

La gestion des archives d'un laboratoire de recherche est une pratique assez peu courante au sein de nos unités, mais tend à se développer avec l'explosion du volume des données produites ou générées par les communautés de chercheurs.

Pour les archivistes de la section « Aurore » de l'association des archivistes français, « Les données de la recherche sont l'ensemble des informations et matériaux produits et reçus par des équipes de recherche et des chercheurs. Elles sont collectées et documentées à des fins de recherche scientifique. A ce titre, elles constituent une partie des archives de la recherche ».

Se préoccuper de l'archivage des données fait partie intégrante d'une bonne gestion des données. Dans une logique de préservation, l'archivage se conçoit très en amont d'un projet, dès la création de la donnée. Son objectif est de décrire, documenter, contextualiser les données pour pouvoir ensuite assurer leur diffusion et leur préservation à long terme. Il concerne tout type de données (bases de données, questionnaire d'enquête, données brutes, photos, etc.). Au-delà du stockage, il s'agit là de faire en sorte qu'une donnée soit réexploitable (intègre, lisible, intelligible) dans 10, 20 ou 50 ans par une nouvelle communauté de chercheur.

Les données sont des archives publiques dès lors qu'elles sont créées au sein d'un établissement public et l'archivage institutionnel est réglementé par la loi et notamment le code du patrimoine. Les données doivent faire l'objet d'un tri, d'une sélection, idéalement à la suite d'un échange entre chercheur et archiviste en vue d'une conservation, si nécessaire, aux Archives nationales ou départementales.

Des outils existent pour aider à la sélection des données notamment le référentiel de gestion des archives de la recherche. Ce référentiel est organisé par thématiques et indique pour chaque type de document sa durée de conservation, son sort final (tri, conservation, destruction) et les aspects légaux à connaître.

Pour plus de détails, on se reportera à la section Préserver et archiver.

## 1.7 Identifier les compétences et expertises pour la gestion des données de la recherche

Évoluer dans nos pratiques suppose de développer de nouvelles expertises et d'acquérir de nouvelles connaissances. Les réseaux professionnels, vecteurs de partage et d'échange sont particulièrement indiqués pour organiser et faciliter l'acquisition de nouvelles compétences.

### 1.7.1 S'informer et se former

La formation continue des personnels est fondamentale pour suivre l'évolution des métiers et des technologies.

Au CNRS, la formation continue est pilotée par le Service formation et Itinéraire Professionnel (SFIP). Celui-ci met en oeuvre des actions adaptées aux orientations et à la stratégie de l'établissement à travers deux dispositifs de formation principaux : les Actions Nationales de Formation (ANF) fortement orientée sur les technologies et ingénierie, et les « Écoles Thématiques » d'un contenu davantage scientifique et plutôt en relation avec les chercheurs. Le SFIP soutient également des actions régionales de formation.

#### Les réseaux métiers et réseaux technologiques

Dans ces dispositifs de formation institutionnels, les réseaux métiers sont fréquemment au coeur des propositions de programme, du montage et de l'organisation des ANF. Chaque année de nombreuses formations sont en effet régulièrement organisées par les réseaux, et les supports de formations présentés sont habituellement capitalisés sous une forme ou une autre (résumé, pdf, vidéo) sur les sites des réseaux.

Outre les ANF, les réseaux organisent également de manière autonome, sur budget propre attribués par la Mission pour les Initiatives transverses et l'Interdisciplinarité (MITI) ou par les Instituts du CNRS, des journées de séminaires qui
regroupent les membres des réseaux comme par exemple les journées thématiques organisées par le groupe de travail inter-réseaux « Atelier données » ou les séminaires annuels du réseau SIST de l'INSU.

Ils constituent bien évidemment des vecteurs importants de l'état de l'art et des connaissances à acquérir dans une discipline et contribuent à développer la connaissance d'un domaine de compétence.

Initiés et portés par des membres d'un même métier ou travaillant avec les mêmes technologies (outils, instruments, méthodes, etc.), les réseaux professionnels du CNRS ont vocation à faciliter les échanges d'informations et d'idées entre leurs membres.

Les réseaux favorisent le maintien et le développement des compétences, l'échange des pratiques professionnelles, l'implication et la motivation. Ils développent une connaissance fine de l'évolution des métiers et/ou des technologies de demain en assurant ainsi une veille pour les établissements d'Enseignement Supérieur et de la Recherche.

Les réseaux rattachés à la MITI du CNRS sont transversaux à tous les Instituts du CNRS, et accessibles aux personnels de l'Enseignement supérieur et de la Recherche,

La MITI accueille et pilote actuellement 22 réseaux labellisés au sein de sa plateforme. Ils couvrent l'ensemble du territoire national et sont transverses à l'organisme.

Les réseaux labellisés par les instituts du CNRS viennent plus spécifiquement en support à leurs axes stratégiques scientifiques. Le blog RH du CNRS en recense uncertain nombre dans son billet « Evoluer, échanger, innover : les réseaux professionnels du CNRS ».

Un dispositif de formation à distance sur les données de la recherche est accessible sur le site DoRANum (Données de la Recherche : Apprentissage NUMérique à la gestion et au partage). Cette plateforme met à disposition différentes ressources d'autoformation en libre accès sur la gestion et le partage des données de la recherche.

Le réseau national des URFIST (Unité Régionale de Formation à l'Information Scientifique et Technique), créé en 1982 est un réseau inter-académique structuré depuis 2017 en Groupement d'Intérêt Scientifique (GIS) qui a pour objectif de développer l'usage de l'IST dans l'enseignement supérieur et de la recherche.

Les sept unités régionales proposent chacunes des ressources, documents pédagogiques ainsi que des formations (y compris doctorales) et manifestations scientifiques et professionnelles à Bordeaux, Lyon, Paris, Nice, Rennes, Strasbourg et Toulouse. Leur mission s'organise autour de trois axes principaux : la conception et la réalisation d'actions de formation, d'outils pédagogiques ainsi que la veille et la recherche dans le domaine des technologies de l'information.

Outre les actions de formation, d'expérimentations et innovations pédagogiques initiées par les Urfist, le réseau met à disposition un blog « UrfistInfo ».

## 1.7.2 Suivre les travaux du Collège « Compétences et formation du COSO »

Le Plan national pour la science ouverte, s'appuyant sur trois axes, engage les opérateurs de la recherche à « mettre en œuvre une politique de science ouverte et à structurer et ouvrir les données de la recherche ». La mise en œuvre de ce principe est exprimée à travers des objectifs et des actions de deux collèges du Comité pour la science ouverte (COSO) : les collèges Données de la recherche et Compétences et formation.

Les collèges sont des groupes d'experts (plus de 200 à l'heure actuelle) qui impulsent et mette en oeuvre les projets en s'appuyant sur les acteurs, notamment ceux de la formation à la science ouverte.

Parmi les réalisations récentes, on peut citer le guide « Pour une politique des données de la recherche : guide stratégique » où le CoSO émet sept recommandations pour aider à la formalisation et à la mise en œuvre d'une politique des données de la recherche au sein des établissements de l'ESR, la réalisation du Passeport pour la science ouverte destiné aux doctorants de toutes disciplines, le guide « Je publie, quels sont mes droits » qui répond aux questions que se posent le plus souvent les auteurs de publications scientifiques sur leurs droits et la contribution à la session 3 du Mooc « Recherche reproductible : principes méthodologiques pour une science transparente ».
# CHAPITRE 2

## Concevoir et planifier

Dans cette étape du cycle de vie de la donnée, il s'agit de définir les tâches à accomplir pour réaliser le projet de recherche, d'élaborer un planning, de rechercher d'éventuels partenaires et financements, d'élaborer les spécifications nécessaires (i.e. de définir précisément les éléments fonctionnels et techniques souhaités), de définir les données et les métadonnées qui seront utiles, de penser au futur plan de diffusion et bien d'autres actions de préparation et de planification.

Pour ces travaux de conception et de planification, les réseaux apportent un appui sur la gestion de projet, les méthodologies de conduite de projet qui permettent par exemple la définition des indicateurs utiles au projet, les outils pour assurer l'interopérabilité des systèmes mis en oeuvre.

Ils fournissent des recommandations et des retours d'expérience pour la rédaction des plans de gestion de données, pour la définition du type de données à collecter, l'identification de nouveaux supports de publication...

À ce stade, il est aussi nécessaire de prévoir le mode de collecte et de stockage afin d'organiser la traçabilité en amont, traçabilité qui permettra de garantir la réutilisation des données.
## 2.1 Évaluer les besoins liés au projet

Lors du montage du projet ou au plus tard en début de projet, il est nécessaire d'évaluer les différents besoins, de mettre en place une organisation et les outils collaboratifs nécessaires à son bon déroulement. Les paragraphes suivants abordent différents points de vue complémentaires.

### 2.1.1 Anticiper les interfaçages nécessaires (avec les utilisateurs ou entre bases de données)

Il convient de prendre en compte les besoins des utilisateurs du projet, quelquefois appelés « use cases », et les besoins entre les différents systèmes qui seront sollicités, qu’ils existent déjà ou qu’ils soient élaborés pour le projet.

À l'occasion de l'ANF « Système d'information embarqué, cahier/carnet de terrain et de laboratoire électronique : quelles interactions avec les bases de données ? » organisée en mai 2016, Nadine Mandran, du laboratoire LIG, explique comment intégrer l'utilisateur au sein d'un projet. Elle présente en parallèle, la méthode Agile et la Démarche centrée utilisateur. Le contenu de cette présentation est très concret et illustré par des exemples.

### Méthodes pour intégrer l'utilisateur dans la construction des applications

**Vidéo** : Nadine MANDRAN, LIGSéminaire « Système d'information embarqué, cahier/carnet de terrain et de laboratoire électronique : quelles interactions avec les bases de données ? », 2016, rBDD

## 2.2 Mettre en place une gestion de projet

Les aspects de conception et de planification nécessitent de mettre en place une méthodologie de gestion de projet. En complément, une analyse des risques et une analyse SWOT (méthode permettant d'analyser les forces, les faiblesses, les opportunités et menaces liées à un projet) pourront également être menées.

De façon à mieux comprendre l'amplitude de la gestion de projet et sa nécessaire adéquation avec la thématique scientifique du laboratoire et les contraintes qui lui sont afférentes, on pourra consulter la présentation de Myriam Ferro réalisée en 2017. Elle présente la démarche qualité mise en place au laboratoire « Étude de la dynamique des protéomes » ainsi que les outils déployés pour appuyer la démarche.

### Gestion de projet dans le domaine de la recherche en biologie avec la mise en place d'outils tels que la mise en place d'une procédure R&D, de fiche projet, l'utilisation d'un LIMS et les gestions des anomalies

Myriam Ferro, U1038 BGE CEA/Inserm UGARencontres du Réseau Qualité en Recherche : Traçabilité des activités de recherche et gestion des connaissances, Grenoble, 2017

Dans d'autres domaines, on pourra s'inspirer de la « Méthode de conduite de la recherche en informatique centrée humain ». Il s'agit des domaines de la recherche en informatique qui intègrent des utilisateurs pour construire de la connaissance scientifique et des outils supports à cette recherche. À titre d'exemple, nous pouvons citer les domaines concernés comme le domaine des Systèmes d'Information (SI), de l'Ingénierie des Interfaces Homme-Machine (IIHM) ou celui des Environnements Informatiques pour l'Apprentissage Humain (EIAH). Dans ces travaux de recherche se pose le problème du processus de conduite de la recherche et de la traçabilité des résultats et de la qualité des données. Cette méthode offre des outils conceptuels et techniques pour garantir la traçabilité du processus de conduite de la recherche. Elle porte le nom de THEDRE pour « Traceable Human Experiment Design Research ».

### THEDRE : Méthode de conduite de la recherche en informatique centrée humain
Nadine Mandran, LIGRencontres du Réseau Qualité en Recherche : Traçabilité des activités de recherche et gestion des connaissances, Grenoble, 2017

À l'échelle d'un organisme, il est aussi possible de doter les équipes de méthodes et d'outils de gestion de la qualité. L'INRA a développé une nouvelle politique qualité et en appui à cette politique, un outil de diagnostic, EureQUA : une méthode pour manager tout type d'activité. Diane Briard, lors de l'ANF qualité 2019, présente cette politique et détaille le fonctionnement d'EureQUA.

## Outil de Diagnostic EureQUA : une méthode simple d'aide à la décision en appui au pilotage des activités de recherche et d'expérimentation

Diane Briard, INRAANF Qualité : Faire simple et utile (QUALSIMP), Nancy, 2019

La gestion d'un projet inclut aussi l'assurance produit. Il s'agit de l'ensemble des dispositions et activités définies et mises en place pour garantir que le produit atteigne les objectifs définis dans le cadre d'un projet ou d'une mission et qu'il soit sûr, fiable et disponible. C'est avant tout une question de bon sens et d'organisation interne. L'assurance produit s'applique à tout type de projet de manière transverse sur toutes les thématiques techniques et interagit avec tous les acteurs du projet. Ces activités couvrent :

- la maîtrise des risques et la sûreté de fonctionnement;

- l'assurance qualité (en conception et fabrication, approvisionnement et gestion de la sous-traitance, gestion des équipements, traçabilité);

- la maîtrise de la qualification des matériaux, composants et procédés;

- la maîtrise et le contrôle de la contamination particulaire, moléculaire... ;

- la gestion de la documentation et de la configuration;

- l'assurance qualité Logiciel.

Le réseau Qualité en Recherche a élaboré une guide assurance produit qui détaille ces points.

### 2.2.1 Analyser les risques

La sécurité de l'information est définie comme la « protection de la confidentialité, de l'intégrité et de la disponibilité de l'information ». Elle devient aujourd'hui une des problématiques majeures de nos unités.

Fortes de ce constat, nous devons envisager la finalité de « protection du patrimoine scientifique » à travers des enjeux principaux :

- garantir la disponibilité de l'outil de travail pour l'ensemble des personnels de la structure

- garantir la confidentialité des informations, qu'elles soient professionnelles ou personnelles;

- garantir l'intégrité des informations et des personnes;

- assurer la protection des données à caractère personnel et / ou sensibles collectées, produites ou gérées par la structure (données scientifiques et techniques, données de gestion administrative, données individuelles);

- assurer la protection juridique (risques administratifs, risques pénaux, perte d'image de marque).

Une analyse de risque telle qu'évoquée dans le Guide des bonnes pratiques pour les Administrateurs Systèmes et Réseaux apparaît comme une réponse aux besoins de protection des données de nos unités de recherche.

L'analyse de risque permet alors d'identifier les objectifs de sécurité et les mesures à prendre adaptées aux besoins de protection de données de l'unité. Elle sert d'élément à l'élaboration de la politique de sécurité du Système d'Information (PSSI).

L'analyse de risques et la gestion des risques sont des processus importants de la gestion de projet. Un ensemble de présentations réalisées en décembre 2015 en dresse un panorama.

## L'analyse des risques, leviers de différenciations des projets et d'amélioration de la qualité de la recherche
Thierry Bontems, UMR Pacte, Professeur affilié à Grenoble École de Management6e rencontre du réseau Qualité en Recherche, Biarritz, 2015

## Le management des risques dans un projet

Marielle LACOMBE, Observatoire Midi Pyrénées, Toulouse6e rencontre du réseau Qualité en Recherche, Biarritz, 2015

## La cartographie des risques pour améliorer les services relatifs à la gestion des contrats et conventions

Catherine ROCH – Sabine GOULIN, Université de Lorraine6e rencontre du réseau Qualité en Recherche, Biarritz, 2015

## Présentation de l'analyse SWOT : les usages et les conditions d'emploi de la méthode

Sabine GOULIN, Université de Lorraine6e rencontre du réseau Qualité en Recherche, Biarritz, 2015

## Définir le risque associé à un jeu de données

Eric Quinton aborde la question de la protection des données dans un contexte de menaces informatiques. Que présente la donnée ? Il précise qu'une donnée n'a pas de valeur intrinsèque, c'est la représentation d'une réalité, elle dépend de son contexte d'acquisition, de son traitement. Lorsque l'on travaille sur les données, on travaille toujours sur un processus d'acquisition dans le cadre d'un référentiel. Certaines données doivent être protégées, car elles comportent un risque si elles venaient à être diffusées et réutilisées. Face aux menaces informatiques qui n'ont jamais été aussi nombreuses (piratages, attaques, arnaques), il importe de définir le risque et de comprendre comment l'intégrer à la gestion des données. Il existe plusieurs définitions, mais l'on s'accorde pour dire que c'est la conjonction entre une cible, un impact, une cause et une probabilité. Une fois la cible définie (un jeu de donnée) il convient de définir l'impact ou la gravité. Celui-ci s'évalue selon trois critères (confidentialité de l'information, intégrité des données et disponibilité du système) classés chez IRSTEA selon un schéma détaillé correspondant à une échelle de 1 à 4. Il est important aussi de calculer l'impact en cas de défaillance – pour chaque critère, on note 4 niveaux d'impact estimés selon 4 thématiques. L'étude débouche sur un tableau récapitulatif qui est reporté dans le plan de gestion de données. Ce tableau permet de définir l'impact maximal et la sensibilité du système. On ne peut connaitre toutes les menaces et les causes à prendre en compte. L'usage est de consulter les recueils de bonnes pratiques et de se référer aux listes et référentiels existants. La probabilité d'occurrence d'une menace est à évaluer en fonction du risque associé – on note trois niveaux de risque : opportuniste, ciblé attaque concertée. En conclusion, Eric Quinton explique comment intégrer concrètement le risque dans le plan de gestion des données en présentant des exercices pratiques.

### Définir le risque associé à un jeu de données

Eric Quinton, IRSTEAParticiper à l'organisation du management des données de la recherche : gestion de contenu et documentation des données, 6-8 juillet 2016, ParisVoir aussi les vidéos : La protection des données dans un contexte de menaces informatiques (séquence 1) Qu'est-ce que le risque et comment l'intégrer à la gestion des données (séquence 2) Conclusion : Comment intégrer concrètement le risque dans un plan de gestion des données : exercices pratiques (séquence 3)
### 2.2.2 Sauvegarder les données

À ce stade, il est important de prévoir une sauvegarde pour les données qui seront collectées, créées, construites dans le cadre du projet. La sauvegarde des données est un point important de la gestion du projet qui répond au risque de perte des données, c'est aussi un pint qui doit être traité dans le plan de gestion de données traité au paragraphe suivant. Etant donnée l'importance de la sauvegarde des données, nous préférons, au risque de redondance, mettre l'accent ici sur cette nécessité. L'objet de cette phase préparatoire n'est pas de discuter le choix d'une technologie ou d'une stratégie, mais simplement de se préoccuper de prévoir la sauvegarde des données, et se poser les bonnes questions :

- Quel volume approximatif devrons-nous sauvegarder ?

- Selon quelle périodicité : quotidienne ? hebdomadaire ? mensuelle ?

- Les baies de stockages sont-elles disponibles ?

- Sont-elles sous contrat de maintenance ? Y a-t-il besoin d'une externalisation ?

- Les données devront-elles être accédées fréquemment ? en temps réel ?

- Les infrastructures informatiques ont-elles suffisament d'espace de stockage disponible ?

- Etc...

## 2.3 Amorcer un plan de gestion de données

Un Plan de Gestion de Données (PGD), ou Data Management Plan (DMP) en anglais, est un document formalisé - un livrable du projet pour la plupart des appels à projets actuellement - explicitant la manière dont seront obtenues, documentées, analysées, disséminées et utilisées les données produites au cours et à l'issue d'un processus ou d'un projet de recherche.

À noter qu'il existe des modèles de plans de gestion de données dits « de structure » dont la période considérée s'étend au-delà de la durée d'un seul projet. Ce type de modèle s'applique par exemple aux plateformes et est donc sans doute de façon générale plus adapté aux besoins du personnel technique.

### PGD de structure contrainte ou opportunité ?

P. Clastre, URFM, INRA PACAMontpellier Science Ouverte : Plan de Gestion de Données, 2019

L'initialisation du plan de gestion de données dans cette phase est un préalable à sa mise à jour nécessaire dans les étapes suivantes. Le PGD doit suivre les évolutions du projet.

### 2.3.1 Comment créer un plan de gestion des données ?

Cette présentation de Marie-Claude Quidoz présente dans une première partie le plan de gestion de données en perspective du cycle de vie des données et détaille les principes FAIR. Une seconde partie présente différents modèles de plans issus de plusieurs origines (INRAe, appels à projets). C'est une excellente entrée en matière pour comprendre rapidement ce qu'est concrètement un plan de gestion de données.

#### Plan de gestion des données.

Marie-Claude QUIDOZ, CEFE/CNRSSemaine TEMPO, Sète, 2019

Cette présentation de Marie Puren a été conçue pour animer un atelier de formation qui avait pour objectif de définir un plan de gestion de données, identifier les éléments clés qui le constituent et le créer. Cette présentation contient tout d'abord des éléments propres à définir les données de la recherche, le modèle d'ouverture dans lequel elles s'inscrivent, les initiatives européennes et nationales qui les soutiennent. Elle focalise ensuite sur la pratique de la gestion à proprement dite des données et ses implications (gérer, stocker, déposer), mais surtout définit, décrit le contenu formel du Plan de Gestion de données et les différentes étapes de gestion. Elle présente concrètement sa
structuration (description des données, standards et métadonnées, partage et archivage des données), elle aborde les
questions juridiques et les bonnes pratiques de gestion notamment le FAIR DATA.

## Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données

Marie Puren, INRIAANF Participer à l'organisation du management des données de la recherche, gestion de contenu et documentation des données, 2017, Vandoeuvre-lès-Nancy

Comme l'ont introduit les présentations précédentes, un plan de gestion de données ne se rédige pas seul, mais au contraire en associant les différents acteurs du projet. Il s'agit donc de rédiger collaborativement le PGD. La plateforme « DMP OPIDOR » de l'INIST fournit un service en réponse à ce besoin à l'ensemble de la communauté enseignement supérieur recherche en France pour rédiger de façon collaborative un PGD. Après un rappel du contexte autour de la gestion des données, cette présentation montre avec de nombreuses copies d'écran comment utiliser « DMP OPIDOR ». À ne pas manquer si vous souhaitez un panorama du contexte et si vous souhaitez savoir comment réaliser en pratique un plan de gestion de données en collaborant avec vos collègues.

## Data management plan ? Plan de gestion de données ? DMP OPIDOR vous guide !

Laurent RASSINOUX, Marie-Christine JACQUEMOT-PERBAL, INIST,SIST 2018 : Séries Interopérables et Systèmes de Traitement, Guyancourt, 2018

Des discussions, lors des Journées Calcul et Données 2019 (JCAD 2019), autour d'une Table ronde intitulée « Les Plans de Gestion des Données des projets Scientifiques, quels impacts pour les centres de Calcul et de Données ? » vous permettront aussi d'en voir les implications pour les centres de calcul et de données.

## Vidéo de la table ronde

Animation : Nicolas Renon, CALMIP et participants : Windpouire-Esther Dzale-Yeumo, Emmanuel Courcelle, Jean-Yves Nief, Jean-Philippe Proux, Geneviève RomierJCAD 2019

### 2.3.2 Créer un plan de gestion de logiciel

Les logiciels sont aussi des données, un peu particulières et qui méritent donc un modèle approprié de plan de gestion : le plan de gestion de logiciel. Le projet PRESOFT propose un modèle adapté à la fois au logiciel et au contexte de la recherche en France. Après une présentation de ce contexte, du modèle et de la procédure associée, les apports de PRESOFT sont détaillés. À noter que le modèle proposé par PRESOFT s'étend sur l'ensemble de la « vie » du logiciel depuis l'idée, avec les documents préparatoires, jusqu'à la préservation (sous toutes ses formes) et qu'il prend en compte toutes les formes de financement (projets, stages...). Le modèle est disponible sur DMP OPIdOR.

#### Plans de gestion de logiciels

Geneviève Romier, Vincent Breton, CNRS-IN2P3JCAD 2019
### 2.3.3 Retour d'expérience

Afin de conclure ce tour d'horizon des plans de gestion de données, ce retour d'expérience relatif au domaine de la biodiversité vous permettra de mieux comprendre comment utiliser les plans de gestion de données comme un véritable outil de gestion qui va bien au-delà du document administratif nécessaire à la validation du projet.

Du Plan de Gestion des Données au Datapaper : suivi des données scientifiques tout au long de leur cycle de vie.

HEINTZ, Wilfried, INRA DynaforSIST 2018

Enfin, à des fins pédagogiques, le CEFE a rédigé un plan de gestion de données sur un projet fictif de « Suivi de population de poissons dans le lac du Bourget ». Il correspond à la version qui devra être transmise dans les 6 mois qui suivent le démarrage scientifique du projet financé par l'ANR. Il est disponible dans la rubrique DMPs publics de l'outil DMP Opidor.

## 2.4 Identifier les infrastructures adaptées au projet : fournisseur du service, fonctionnalités, capacités et services

Une fois les besoins exprimés, il faut identifier les infrastructures nécessaires à la réalisation du projet. On apportera également un soin particulier aux différents critères de choix de ces infrastructures.

La section *Infrastructures* de ce guide présente différents types d'infrastructures destinées à la recherche que ce soit au niveau européen, national, régional ou par thématique scientifique.

Les modes de collecte et de stockage sont détaillés dans la section *collecter* de même que l'utilisation d'un cahier de laboratoire.

### 2.4.1 Les bases de données

Les bases de données font partie des différents types de services pouvant être utilisés dans le cadre d'un projet et qui sont proposés par les infrastructures ou disponibles au sein des laboratoires. Plusieurs types de bases de données sont disponibles (SQL, noSQL, ...).

La gestion des données dans des bases de données relationnelles est un gage de structuration cohérente, et permet une interrogation des données par des opérateurs du langage SQL (System Query Language).

Plusieurs Systèmes de Gestion de Bases de Données (SGBD) existent dans le monde du logiciel libre, cependant, PostgreSQL est le SGBD conseillé par la *circulaire Ayrault* que Marie-Claude Quidoz a présentée en 2017.

La maîtrise de PostgreSQL est donc importante et plusieurs formations complètes ont été organisées à ce sujet :

- ANF « PostgreSQL Administration, premier niveau », 2019

- ANF « PostgreSQL Performance », 2019

Bien aborder la mise en place est l'objectif de la présentation « Comment concevoir une base de données en archéométrie ? », réalisée en juin 2014 par Isabelle BALY et Philippe GRISON. Ils présentent les différentes étapes nécessaires à la conception et à la réalisation d'une base de données en archéométrie. Ils en détaillent les différentes phases : analyse ou d'audit, modélisation & développement de la base, migration des données et déploiement & développement d'un SGBD.

**Chaîne opératoire de réalisation d'une base de données.**

Isabelle BALY et Philippe GRISON, Comment concevoir une base de données en archéométrie, 2014.
Cette autre présentation de Marie-Claude Quidoz s'intéresse à la problématique de la traçabilité des données appliquée cette fois aux bases de données. Elle recommande en particulier, dès que l'on traite des données de noter toutes les opérations faites (insertion / suppression / modification). Pour cela un mécanisme d'historisation doit être mis en place au moment de la création de la structure de la base de données. Cette historisation repose sur un mécanisme de déclencheur qui s'active sur les actions cités précédemment. Dans le cadre de PostgreSQL, le logiciel de SGBD recommandé dans la *circulaire Ayrault*, cette historisation peut être automatisée grâce à l'extension E-Maj. La mise en place de ce mécanisme permet aussi d'envisager de pouvoir rejouer une requête et de reproduire le résultat tel qu'il était quand, par exemple, un identifiant (un DOI ou autre identifiant) a été défini.

## Présentation générale sur la problématique de la traçabilité des données appliquée aux bases de données

Marie-Claude Quidoz, CEFEAtelier Traçabilité, 2018

Cette dernière présentation synthétique décrit les différentes facettes de la traçabilité d'un jeu de données, elle permet de découvrir l'extension E-Maj citée au paragraphe précédent. Cet outil, utilisable avec PostgreSQL, sous licence GPL, composé d'un client web et de l'extension PostgreSQL, permet de déplacer des contenus de données dans le temps avec une granularité de niveau de table. E-Maj permet également de dénombrer, consulter, annuler et rejouer des ensembles de tables applicatives en enregistrant les mises à jour.

## E-Maj comme « Enregistrement des Mises A Jour » : Et vos données PostgreSQL voyagent dans le temps ! Un cas d'utilisation pour tracer les données PostgreSQL et E-Maj par la pratique

Marie-Claude QUIDOZ, Philippe BEAUDOIN, 2018ANF « Sciences des données : un nouveau challenge pour les métiers liés aux bases de données », 2018, Sète

Enfin, il peut être souhaitable de créer un Identifiant Universel Unique (Universally unique identifier - UUID) avec PostgreSQL. Nicolas Raidelet explique comment faire dans cette présentation.

## UUID avec PostgreSQL : Pourquoi ? Comment ?

Nicolas Raidelet, IrsteaWebcast RDBB, 2017

## 2.4.2 La gestion des collections

Collec-Science est un logiciel web qui a été créé pour suivre les échantillons collectés lors des campagnes d'acquisition, et permet de répondre, entre autres, à ces questions :

- Où est stocké l'échantillon ?

- D'où vient-il, quelle est sa généalogie (protocole de collecte, métadonnées associées à l'échantillon et ceux de ces ancêtres) ?

- Quelles transformations ou opérations a-t-il subies ?

- Sous quelle forme est-il conservé, existe-t-il un risque à le manipuler ?

Fruit d'une collaboration initiale entre Irstea (centre de Bordeaux), le laboratoire Epoc à Bordeaux, le LIENS à La Rochelle, il a été enrichi avec la participation de nombreux autres laboratoires, dont les laboratoires Chrono-environnement à Besançon, Edytem à l'Université Savoie - Mont Blanc, etc. Il a été choisi par le Réseau des Zones Ateliers pour assurer le suivi des échantillons.

## Stockez et retrouvez vos échantillons avec Collec-Science

Marie-Claude Quidoz site web RBDD, 2018
# CHAPITRE 3

## Collecter

Cette phase du cycle de vie de la donnée concerne les aspects d'acquisition et de collecte des données ainsi que la constitution des jeux de données (« dataset » en anglais) avec leurs métadonnées descriptives. Il s'agit donc, dans cette phase, de travailler sur les processus d'acquisition des données qui peuvent être obtenues au moyen de divers médias selon le domaine étudié : capteurs environnementaux, instruments, sondages, modèles numériques... Une fois les données acquises, il est nécessaire et indispensable dans l'objectif de les rendre « FAIR », de les décrire avec leurs métadonnées associées.

La description de ces jeux de données nécessite d'utiliser, autant que faire se peut, des référentiels de vocabulaires contrôlés (thésaurus) si possible standardisés et les plus appropriés au domaine étudié. Il est conseillé de gérer les jeux de données dans un environnement technique qui permette d'assurer la sauvegarde, l'archivage, le « versionning », l'accessibilité et l'operérabilité des données. Cette gestion se fait via des infrastructures techniques, des bases ou des supports qui doivent être fiables et bien documentés, et ce dans le respect des règles de traitement spécifiques des données personnelles.

Cette phase « Collecter » va nécessiter :

- de disposer des données et de fournir les métadonnées nécessaires pour apporter toutes les informations utiles à la description des données brutes elles-mêmes (libellés des paramètres, unités de mesure, localisation, propriétaires etc.), ainsi que sur les dispositifs d'acquisition (capteurs de mesures, modèles numériques,...);

- de mettre en place des chaines de collecte : du capteur jusqu'aux espaces disques et aux applications sur des serveurs où les traitements pourront être réalisés, avec la documentation adaptée;

- d'utiliser des protocoles si possibles normalisés ou standardisés pour présenter les données brutes et les dispositifs d'acquisition (capteurs...) et les rendre interopérables;

- de mettre en place une gestion et conduite de projets pour faire travailler ensemble les différents acteurs intervenant dans la chaîne de collecte : électroniciens, informaticiens, chercheurs...;

- de disposer de cahier de laboratoire, tablettes de terrain ou supports divers pour consigner les relevés et métadonnées observées;

- de définir le stockage nécessaire à la collecte de données : travailler en amont avec une équipe informatique en mode projet (gestion de projet).
## 3.1 Utiliser des normes et des standards d'interopérabilité

L'Association Francophone des Utilisateurs de Logiciels Libres (AFUL) donne une définition de l'interopérabilité qui est « la capacité que possède un produit ou un système, dont les interfaces sont intégralement connues, à fonctionner avec d'autres produits ou systèmes existants ou futurs, et ce sans restriction d'accès ou de mise en œuvre ». Développer l'interopérabilité consiste donc à mettre en place et utiliser des normes et des standards qui fixent des règles permettant d'assurer le bon fonctionnement et les échanges entre deux systèmes informatiques.

Appliquée aux données, l'interopérabilité permet de rendre les données accessibles et réutilisables. Pour parvenir à cela, il est nécessaire d'utiliser des protocoles d'accès et des formats des données « ouverts », normés ou standardisés, d'une part, au niveau des formats de fichiers et d'autre part, au sein des outils informatiques qui serviront à échanger, diffuser et lire les données.

### 3.1.1 Les standards de métadonnées

Dans l'optique d'une gestion « FAIR » des données, il est nécessaire, dans la mesure du possible, de suivre des normes et des standards pour la description des métadonnées, les formats de fichiers et les protocoles d'échange de données.

Catherine Morel-Pair propose une présentation riche et complète sur les formats et métadonnées qu'elle détaille de manière très approfondie et restitue dans le cadre de leur utilisation pour la gestion de contenu et la documentation des données. Elle aborde en introduction les notions de données de la recherche, de données FAIR, d'interopérabilité et de Data Management Plan.

- la première partie de sa présentation porte sur les fichiers de données (organisation et nommage, format et critères d'interopérabilité-pérennité)

- la deuxième partie est dédiée aux métadonnées et à la documentation (définitions, présentation des standards, des identifiants pérennes pour les données et syntaxes d'échange). Elle termine par un focus sur les sites de dépôt, de portails ou d'entrepôts de données et leur schéma de métadonnées associées.

## Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données

Vidéo : Catherine Morel-Pair, INIST, CNRSANF « Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données » - 2016 Paris

## Les métadonnées dans un Plan de Gestion de données

Cette présentation de Marie Puren a été conçue pour animer un atelier de formation qui avait pour objectif de définir et comprendre l'importance des métadonnées dans le cadre de la rédaction d'un DMP. Elle définit, en donnant des exemples, ce qu'est une métadonnée, à quoi elle sert, quelle information elle donne. Elle distingue et détaille la spécificité des métadonnées de description, des métadonnées de gestion et des métadonnées de préservation. Elle aborde ensuite le chapitre du cycle de vie des métadonnées (créer, entretenir, mettre à jour, stocker, gérer la suppression des données, publier). Elle spécifie les métadonnées à faire figurer dans un DMP, explique comment les collecter et propose quelques outils d'extraction automatique de métadonnées. Autour de la notion de métadonnée, elle précise l'importance de définir des responsabilités en s'appuyant sur les chercheurs, documentalistes, bibliothécaires et informaticiens. Elle complète sa présentation avec une description des principaux standards interdisciplinaires et disciplinaires de métadonnées. Elle explique où et comment choisir ces standards. Elle explique également l'intérêt d'associer des ontologies ou vocabulaires contrôlés. Les dernières recommandations de sa présentation portent sur la gestion des métadonnées à long terme, l'importance d'évaluer leur qualité et revient sur la notion d'ouverture des métadonnées et la nécessité de choisir des licences pour nos métadonnées.

## Les métadonnées dans un DMP
Marie Puren, INRIAANF « Participer à l'organisation du management des données de la recherche : gestion de contenu et documentation des données », réseau Renatis, Paris, 2017

3.1.2 Les référentiels de métadonnées

Les référentiels de métadonnées peuvent être des standards ou des normes ; ce sont des documents importants qui se chargent de définir les informations nécessaires pour décrire les données elles-mêmes. De ce fait, ils sont utilisés pour donner toutes les informations nécessaires à la compréhension et à l'utilisation des données et ainsi faciliter leur réutilisation. Il est donc fortement recommandé de décrire ses données avec des normes ou des standards reconnus dans les disciplines concernées. Le choix d'un standard de métadonnées va dépendre du type de ressource, du domaine d'application, mais également de la communauté à laquelle on s'adresse.

À cet effet, le site du Digital Curation Centre recense les standards de métadonnées par grandes disciplines (biologie, physique, sciences sociales, sciences de la terre...). Des outils informatiques, permettant de passer d'un standard à un autre, sont également disponibles.

On trouve plusieurs standards et normes qui permettent de définir un ensemble de métadonnées sur des jeux de don-
nées. Parmi les standards les plus connus ou utilisés, citons le Dublin Core qui est un standard généraliste issu d'un
consensus international et multidisciplinaire. Il a pour objectif de fournir un socle commun d'éléments descriptifs suf-
fisamment structuré pour permettre une interopérabilité minimale entre des systèmes conçus indépendamment les uns
des autres. Le Dublin Core est un vocabulaire du web sémantique utilisé pour exprimer les données dans un modèle
de type Resource Description Framework dans ses attributs (RDFa). Le Dublin Core définit un ensemble d'items de
métadonnées obligatoires pour décrire les données :

1. Titre (métadonnée) (Title) : Nom donné à la ressource

2. Créateur (métadonnée) (Creator) : Nom de la personne, de l'organisation ou du service responsables de la création du contenu de la ressource

3. Sujet (métadonnée) ou mots clés (Subject) : Thème du contenu de la ressource (mots clés, expressions, codes de classification)

4. Description (métadonnée) (Description) : Présentation du contenu de la ressource (résumé, table des matières, représentation graphique du contenu, texte libre)

5. Éditeur (Publisher) : Nom de la personne, de l'organisation ou du service responsables de la mise à disposition ou de la diffusion de la ressource

6. Contributeur (Contributor) : Nom de la personne, de l'organisation ou du service responsables de contributions au contenu de la ressource

7. Date (métadonnée) (Date) : Date de création ou de mise à disposition de la ressource

8. Type (Type) : Nature ou genre de la ressource (catégories, fonctions, genres généraux, niveaux d'agrégation du contenu)

9. Format (Format) : Manifestation physique ou numérique de la ressource

10. Identifiant de la ressource (Identifier) : Référence univoque à la ressource dans un contexte donné (URI, ISBN)

11. Source (Source) : Référence à une ressource dont la ressource décrite est dérivée (URI)

12. Langue (métadonnée) (Language) : Langue du contenu intellectuel de la ressource

13. Relation (métadonnée) (Relation) : Référence à une ressource apparentée

14. Couverture (métadonnée) (Coverage) : Couverture spatio-temporelle de la ressource (domaine d'application)

15. Gestion de droits (métadonnée) (Rights) : Informations sur les droits associés à la ressource (IPR, copyright, etc.)

Pour la description des jeux de données géolocalisées, les normes ISO 19115 et ISO 19139 sont des normes de référence dans le domaine des métadonnées pour l'information géographique. L'ISO 19115 fournit une structure permettant de décrire et de découvrir des données géospatiales, y compris le moment et l'endroit de leur localisation, une vue d'ensemble de leur contenu, de leurs propriétés, de leur qualité, de leur utilisation adéquate, du mécanisme de
distribution, des points de contact pour les demandes d'informations, etc. La norme ISO 19139 est l'implémentation XML de la norme ISO 19115. Elle définit le codage XML des métadonnées géographiques, une implémentation de schéma XML dérivée de la norme ISO 19115. La norme ISO 19139 est le modèle principal utilisé pour décrire des données dans le logiciel GeoNetwork et constituer ainsi un catalogue de données géospatialisées que l'on abordera dans le chapitre 7 « Publier » du présent guide.

## 3.1.3 Les protocoles standards en information Géographique

L'échange de données d'une plateforme à l'autre se fait au travers de protocoles informatiques. De ce fait, si l'on veut que les systèmes soient interopérables entre eux, il est nécessaire d'utiliser des protocoles ouverts et standards pour permettre l'interopérabilité. Dans le domaine environnemental, pour des données qui sont souvent géolocalisées par des coordonnées Latitude/Longitude, l'Open Geospatial Consortium (OGC), est un consortium international qui a pour objectif de développer et promouvoir des standards ouverts, les spécifications OpenGIS, afin de garantir l'interopérabilité des contenus, des services et des échanges dans les domaines de la géomatique et de l'information géographique.

Les standards OGC sont importants à connaitre dans la mesure où ils définissent les protocoles et formats à suivre pour être interopérables. Ils ont été présentés par François André dans les réseaux DEVLOG et dans le réseau SIST de l'Institut National des Sciences de l'Univers (INSU). Pour ce dernier réseau, l'interopérabilité dans la gestion des données des Observatoires de l'INSU est un enjeu important.

### Les Normes OGC (Open Geospatial Consortium)

François André, AerisSéminaire SIST15 - OSU Pytheas Marseille 2015

Parmi les standards de l'OGC les plus utilisés dans nos réseaux métiers chez les gestionnaires de données environnementales, on peut citer :

- CS-W - Catalog Service for the Web : ce protocole est destiné à diffuser des métadonnées ISO 19139 et permettre l'interrogation de catalogues de métadonnées. Une très bonne implémentation de ce protocole est réalisée dans le logiciel « Geonetwork » utilisé pour constituer des catalogues et des inventaires de jeux de données et les présenter sur le Web de manière interopérable. Ce logiciel est détaillé dans le chapitre 7 « Publier » du présent guide, dédié à la publication des jeux de données. Grâce à ce protocole, on peut constituer des réseaux de catalogues tels que demandés par la Directive Européenne Inspire.

- WMS - Web Map Service est un protocole de communication standard qui permet de constituer des cartes de données géoréférencées à partir de différents serveurs de données cartographiques.

Le réseau SIST a organisé deux actions de formation nationale (ANF) sur ces logiciels mettant en oeuvre les standards d'interopérabilité WMS, CSW et SOS qui permettent aux personnels d'améliorer la gestion et la diffusion de leurs données scientifiques d'observation en apprenant à installer, configurer et utiliser différents outils logiciels, choisis pour leur aptitude à répondre de manière standardisée à ces problématiques.

### « Gestion des données d'observation : les outils informatiques pour la valorisation »

ANF SIST17, Fréjus - ANF SIST18, Autrans

De nombreux instituts et auteurs, gestionnaires de données suivent ces standards OGC :

Sylvain Grelet communique par exemple le retour d'expérience sur l'utilisation et le déploiement des standards d'interopérabilité au BRGM :

**De la définition au déploiement de standards d'interopérabilité : retour d'expérience de la Direction des Systèmes d'Information (DSI) du BRGM**
Grellet Sylvain, Stéphane Loigerot, BRGMSéminaire SIST15, Marseille

Véronique Chaffard nous présente la mise en oeuvre des standards de l'OGC dans le projet AMMA-CATCH :

Portail Web d'accès aux données de l'observatoire AMMA-CATCH et mise en oeuvre des standards d'échange des données OGC

Véronique Chaffard, IRDSéminaire SIST15, OSU Pytheas Marseille

## 3.2 Les systèmes d'acquisition : maîtriser l'acquisition et la collecte des données

Il est important que le processus de collecte des données soit clairement défini et validé. Par exemple, il conviendra de s'assurer que les systèmes d'acquisition sont bien étalonnés. Par ailleurs, l'ensemble des données produites doit être parfaitement répertorié et enregistré. Nous disposons pour ce faire d'un certain nombre de supports tels que les cahiers de laboratoires, les carnets de terrain...

### 3.2.1 La métrologie des équipements

Par nature, la recherche n'est pas un processus répétitif, elle est pleine d'aléas et d'incertitudes contrairement à un processus industriel. La confiance dans la qualité d'une recherche consiste à établir et vérifier que les différentes étapes d'une étude peuvent être répétées en obtenant le même résultat par différents chercheurs à des moments différents. Il est donc essentiel de s'assurer que l'ensemble des activités soient tracées et maitrisées; cela est une nécessité pour toute la chaine fonctionnelle d'une analyse (des pipettes, balances jusqu'aux équipements d'analyse).

**Confirmation métrologique des équipements**

Virginie JAN LOGASSI, DAPEQ LUEANF Outils qualité, réseau QeR, 2019

De nombreux laboratoires et plateformes de tests du CNRS sont équipés de salles propres, dans des domaines variés tels que la micro et nanotechnologie, la géochimie, l'optique, la médecine, le spatial... En débutant par un point sur l'état de l'art (définition, réglementation, documentation...) de ces deux aspects, l'objectif principal de la journée thématique est de faire bénéficier de retours d'expériences sur les bonnes pratiques déjà éprouvées et sur les écueils à éviter afin de répondre, entre autres, aux questions suivantes :

- Quand a-t-on besoin de travailler en salles propres ?

- Quelles règlementations régissent l'installation, la maintenance et le contrôle des salles propres ?

- Comment préparer l'installation dans nos locaux ? A quoi doit-on penser ?

- Quelles sont les solutions techniques les mieux adaptées à notre besoin ?

- Quels sont les critères de surveillance et systèmes de contrôle des installations ?

- Comment doit-on travailler en salles propres ? Quelles sont les bonnes pratiques de gestion d'une salle propre ?

**Les salles propres de l'installation à l'utilisation, de la théorie à la pratique - Usages et retours d'expériences**

Journée thématique, réseau QeR, 2017
### 3.2.2 Les capteurs

Diverses communautés scientifiques sont intéressées par les problématiques inhérentes aux systèmes d'acquisitions et aux instruments associés. Différents aspects de collecte de données existent, qu'ils proviennent d'un équipement, d'un capteur automatisé, d'un modèle numérique ou qu'ils soient obtenus par un personnel de terrain, par une enquête, au moyen d'interfaces. Dès lors, il convient d'élaborer des méthodologies de collecte, de se documenter sur les choix des référentiels de métadonnées et des thésaurus de vocabulaire, mais également de développer les procédures d'intégration des données dans les bases.

Pour la thématique « Ocean-Atmosphere » cette problématique occupe une place importante, à tel point que, depuis plusieurs décennies, METEO-FRANCE et l'INSU depuis 1966, l'IFREMER depuis 2002, l'IRD et le CNES depuis 2004, le Service hydrographique et océanographique de la Marine (SHOM) depuis 2005, organisent un atelier dédié aux rencontres portant sur l'expériementation et l'instrumentation. Cet Atelier Expérimentation et Instrumentation (AEI) permet de réunir la communauté scientifique spécialisée dans la recherche instrumentale et de traiter divers thèmes d'actualité lors de ses différentes éditions. L'AEI traite de manière privilégiée les aspects de mesure et de méthodologie, sans exclure pour autant l'exploitation scientifique des résultats. Il a lieu alternativement à Paris, Toulon, Lille et Brest, généralement en début d'année. L'AEI permet aux équipes de recherche d'exposer leurs résultats dans un colloque francophone. C'est un lieu de rencontre pour les participants, issus des différents organismes et groupes industriels, afin de favoriser les synergies et coopérations.

Pour la gestion des capteurs, l'OGC (Open Geospatial Consortium) cité précédemment, publie un standard d'opérabilité, Sensor Web Enablement (SWE), qui permet de présenter des données de capteurs de manière standardisée et interopérable. Ce protocole et les logiciels qui les implémentent sont bien adaptés à la description des capteurs et à la gestion des séries temporelles.

Le protocole « SOS » (Sensor observation service) de l'OGC permet de présenter de manière standardisée les données issues de capteurs de terrain de manière interopérable. Ce standard définit une interface de service Web qui permet d'interroger les observations, les métadonnées des capteurs, ainsi que les représentations des caractéristiques observées. En outre, cette norme définit les moyens d'enregistrer de nouveaux capteurs et de supprimer les capteurs existants. Elle définit également les opérations permettant d'insérer de nouvelles observations de capteurs.

## Sensor Web Enablement Standards & Technology

Christoph Stasch, Simon Jirka, 52North Séminaire SIST15, Marseille

Actuellement on trouve deux implémentations intéressantes du protocole SOS dans la gestion des données de capteurs environnementaux. Il s'agit de :

- 52North, logiciel de la société éponyme, est une application qui fournit une interface web interopérable pour l'insertion et l'interrogation des données et des descriptions des capteurs. Il regroupe les observations provenant de capteurs in-situ en direct ainsi que des ensembles de données historiques (données de séries chronologiques).

- istSOS est une implémentation de serveur OGC SOS écrite en Python. istSOS permet de gérer et d'envoyer des observations provenant de capteurs de surveillance selon la norme Sensor Observation Service. Le projet fournit également une interface utilisateur graphique qui permet de faciliter les opérations quotidiennes et une api RESTFull Web pour automatiser les procédures d'administration.

istSOS est un logiciel libre qui fonctionne sur toutes les principales plates-formes (Windows, Linux, Mac OS X), même s'il n'a été utilisé en production que dans l'environnement Linux.

## Présentation du logiciel istSOS

Massimiliano Canata Séminaire SIST15, Marseille

Ces 2 logiciels ont été présentés par Christoph Stasch, et Massimiliano Canata lors du séminaire du réseau SIST en 2015 à l'OSU Pytheas Marseille.

Stephane Debard présente l'utilisation d'istSOS dans la gestion de mesures altimétriques radars :
## Mise en accord de mesures altimétriques radars avec le standard de l'OGC - SOS

Stéphane Debard IRDSéminaire SIST19 OMP Toulouse

### 3.2.3 Les chaines de collecte

Les gestionnaires de données environnementales mettent en place des chaînes de collecte de données provenant de capteurs de terrains ou de modèles numériques. Ils se préoccupent de l'utilisation de normes interopérables dans les protocoles d'échange et dans les formats de données.

Regis Hocdé et ses collègues nous présentent un retour d'expérience sur le réseau de suivi de température des eaux côtières dans la région du Pacifique Sud et Sud-Ouest :

**Retour d'expérience sur le système d'information dédié capteurs et reconstitution de séries temporelles de ReefTEMP**

Sylvie Fiat, Régis Hocdé, Institut de Recherche pour le DéveloppementSéminaire SIST15, Marseille

**Réseau d'observation du Pacifique Sud 'ReefTEMPS'' : évolutions fonctionnelles et optimisation d'un système d'information dédié capteurs et reconstitution de séries temporelles**

Régis Hocdé, Sylvie Fiat, Guillaume Brissebrat, Bernard Pelletier, Institut de Recherche pour le DéveloppementSéminaire SIST16, OSU OREME, Montpellier

Alban Thomas nous présente la technologie utilisée à base de Raspberry et de développement en Python, dans la constitution d'un réseau de stations météorologiques de la région rennaise.

**Collecte de mesures météorologiques à l'aide d'un système autonome : exemple de la métropole rennaise (Zone Atelier Armorique)**

Alban Thomas - Hervé Quénol UMR LETG RennesSéminaire SIST15, OSU Pytheas Marseille

### 3.2.4 Web scraping ou grattage Web : collecte automatique et analyse de données

« Le Web scraping est une technique permettant de convertir des données présentes dans un format non structuré (balises HTML) sur le Web en un format structuré facilement utilisable. Les exemples peuvent aller du texte sur Wikipedia, à des images sur Flickr en passant par les commentaires sur TripAdvisor, les articles d'actualité ou de chercheurs ou n'importe quelle page web présente sur Internet » *Introduction au Webscraping*.

Depuis l'explosion quantitative des données numériques, il est devenu extrêmement intéressant d'apprendre à recueillir, comprendre et exploiter les informations issues du web. On constate ces dernières années, dans le domaine des sciences sociales, l'intérêt croissant des chercheurs ou ingénieurs pour l'utilisation de nouvelles techniques de collecte et de traitement automatisé des données et en particulier des données massives. Chaque utilisateur en fonction de son profil et de ses compétences peut choisir une technologie partant de simples outils comme les aspirateurs de site qui permettent de réaliser des opérations basiques de grattage (scraping) jusqu'à l'utilisation de langages plus performants comme R ou Python pour des utilisateurs plus avancés.

Au-delà des fonctionnalités de grattage web, la présentation « Analyse de données avec R » proposée par Hugues Pécout (CNRS) donne un exemple de l'analyse de donnée avec le logiciel R. En plus d'une présentation du logiciel R et de RStudio, elle contextualise R dans le paysage de l'analyse de données en le comparant à des logiciels propriétaires
existants sur le marché ainsi qu'au langage Python. En Python, il faut utiliser le package BeautifulSoup, qui est très populaire *Webscraping avec Python*.

Ces outils sont depuis quelques années en plein essor car ils permettent d'automatiser la constitution des bases de données, de collecter des sommes de données importantes, inaccessibles il y a de cela quelques années comme les données de réseaux sociaux, de compiler des données pour créer ses propres indicateurs (impossible avec des techniques de collecte classiques) ou encore de nettoyer, structurer des données déjà existantes... Ces modes de collecte automatisés renvoient aussi aux notions d'exploration de données (Data Crawling) et de récolte de données (Data Harvesting).

Dans la pratique, des questions juridiques peuvent se poser au regard de l'exploitation des données récoltées en masse par ces moyens car ces données sont susceptibles d'être des données personnelles ou protégées par la propriété intellectuelle.

## 3.2.5 Les cahiers de laboratoire

L'ensemble des données produites par la recherche doit être répertorié et enregistré dans l'objectif d'une réutilisation potentielle. Nous disposons pour ce faire d'un certain nombre de supports comme les cahiers de laboratoire. Le cahier de laboratoire est un outil non obligatoire, mais fortement recommandé pour toute structure générant des données donnant lieu à des connaissances diffusables et valorisables. Il constitue un véritable outil scientifique et ce, dès le commencement d'un projet. Les cahiers de laboratoire répondent également aux obligations légales et contractuelles, en apportant la preuve de l'invention et de ses inventeurs. Les plaquettes du réseau CURIE « Le cahier de laboratoire national : Pourquoi l'utiliser ? » et « Le cahier de laboratoire national : Comment l'utiliser ? » présentent des recommandations sur la bonne gestion de ce dernier.

Alain Rivet positionne le cahier de laboratoire comme un outil de gestion des données de la recherche :

### Cahier de laboratoire et gestion des données de la recherche

Alain Rivet, CERMAVAtelier Dialog'IST « Rendre FAIR les données, mais quelles données préserver ? », réseau Renatis, 2020

Les apports du numérique sont multiples en améliorant la traçabilité des recherches, la lutte contre la fraude et la gestion des données. Les cahiers de laboratoire électroniques présentent plusieurs ainsi avantages par rapport à leur version papier :

- le partage de l'information avec un rattachement des données brutes;

- une recherche d'informations facilitée;

- une datation assurée des expériences par l'horodatage.

Le site datac.org consacre la mise en œuvre d'un service d'accompagnement sur la gestion des données en physique et en chimie, dans le cadre d'un projet CollEx-Persée. Le site fournit des contenus nourris sur les cahiers de laboratoire électroniques, issus d'une expérimentation menée avec des chimistes de Lyon 1 et de Grenoble, assortis de bonnes pratiques sur leur utilisation.

Diverses expérimentations au sein de structures de recherche ont été réalisées :

### Les cahiers de laboratoire électroniques : atelier elabFTW

Alain Rivet, Henri Valeins, CNRSEcole QUARES, Montpellier, 2020

### Utilisation du cahier de laboratoire électronique BIOVIA au sein de l'Institut de Biologie Structurale

Cédric Laguri, IBSANF « Traçabilité des activités de recherche et gestion des connaissances », Réseau Qualité en Recherche, Grenoble, 16-18 octobre 2017
L'INSERM s'est fortement intéressé à la version numérique des cahiers de laboratoires, comme une réplique du cahier papier. L'INSERM pense que si la version électronique reste une solution d'enregistrement au quotidien des expériences scientifiques, c'est désormais devenu un outil différent, fortement axé sur la qualité, la gestion de la connaissance, la gestion de projets et le travail collaboratif. Paul-Guy Dupré et ses collaborateurs présentent les cahiers de laboratoires qui ont été mis en place à l'INSERM :

### Expérimentation du cahier de laboratoire électronique à l'Inserm

Paul-Guy Dupré, INSERMANF « Traçabilité des activités de recherche et gestion des connaissances », Réseau QeR, Grenoble, 2017

### Expérimentation du cahier de laboratoire électronique à l'Inserm : les apports de l'électronique au cahier de laboratoire

Paul-Guy Dupré, Fanny Brizzi Inserm, DSIJRES2017

### Déploiement du cahier de laboratoire électronique à l'INSERM et nouvelles perspectives

PaulGuy Dupré Inserm & Claudia Gallina-Muller - Inserm DSIJRES2019

## 3.2.6 Les tablettes et carnets de terrain

Les données et documents produits directement sur le terrain témoignent de l'activité de recherche dans diverses disciplines, notamment en sciences humaines et sociales, en sciences de la terre... Il s'agit aussi bien de carnets issus d'entretiens de sociologues, d'ethnologues, de carnets de prélèvements en géochimie, géologie que de carnets de fouilles en archéologie, de notes, de photographies prises sur le terrain, etc. De plus, certaines données peuvent se révéler d'une valeur inestimable, qu'il s'agisse de données fortement temporelles (images satellites de la banquise, données sur les glaciers alpins) ou de données provenant de sites aujourd'hui endommagés ou détruits (Notre Dame de Paris, cité antique de Palmyre, etc). Il est de ce fait essentiel que ces données soient répertoriées et archivées.

L'utilisation de carnets de terrain électroniques que sont les tablettes permet de profiter des avantages d'appareils nomades pour faciliter la saisie des observations que l'on fait sur le terrain, en milieu naturel. L'utilisation de cet outil « nomade » va permettre :

- d'améliorer la qualité des données collectées;

- de pouvoir utiliser les données plus rapidement;

- de réduire le coût (temps de ressaisie).

Cependant, ces nouvelles technologies très « ludiques » et « faciles » d'utilisation, nécessitent une réflexion importante pour définir de façon précise son besoin afin de ne pas être pénalisé sur le terrain. Elles nécessitent aussi une adaptation technologique pour permettre un stockage efficient et pérenne en bases de données.

Au niveau logiciel, cinq stratégies sont possibles pour développer des carnets de terrain électroniques :

1. utiliser une application nomade existante

2. utiliser une application web existante

3. développer une application nomade spécifique avec un langage de programmation

4. développer une application nomade en utilisant une boite à outils de génération de carnets de terrain

5. développer une application nomade en adaptant des logiciels existants (par exemple QGIS, Lizmap)

Deux solutions ont été étudiées au Centre d'Ecologie Fonctionnelle et Evolutive (CEFE) : le développement d'une application nomade basée sur le système d'information géographique, libre, multiplate-forme, publié sous licence GPL QGIS ainsi qu'une application nomade utilisant une boite à outils de génération de carnets de terrain électronique Open Data Kit.
Dans la présentation détaillant la solution basée sur QGIS, l'auteur détaille l'étude et le développement de l'applicatif
interopérable avec le système d'information du laboratoire CEFE et qui permet aux intervenants sur le terrain de
collecter les données :

Carnet de terrain électronique, Retour d'expérience sur la création d'une boite à outils

Marie-Claude Quidoz, CEFE15èmes Rencontres Mondiales du Logiciel Libre, Montpellier, 2014

La solution basée sur ODK a servi de fil rouge à l'ANF « Interfacer les outils mobiles avec son système d'information » en 2019, car la solution ODK permet de couvrir les étapes allant de la création du formulaire à la sécurisation en bases de données.

Des applicatifs « clef en main » ont été développés à partir du moteur ODK. Le plus connu est sans doute KoboToolbox, qui, aux fonctionnalités de base, a ajouté quelques fonctionnalités supplémentaires telles que le Formbuilder et la bibliothèque de questions.

Collecte de données terrain avec un smartphone : Prise en main de Kobotolbox et de Kobocollect

Akaouette, Ata FranckFOSS4G-fr, Marne-la-vallée, 2018

Pierre-Yves Arnould nous présente sa solution à base de ODK pour Faciliter la saisie, Rendre autonome les chercheurs dans leur saisie Uniformiser la structure des fichiers, Génération d'étiquettes pour les échantillons, et Sauvegarder automatiquement sur un micro-serveur sur le terrain puis sur le SI OTELo

Retour terrain : la délicate question de l'intégration des données

Pierre-Yves Arnould, OTELoANF « Interfacer les outils mobiles avec son système d'information », réseau RBDD, 2019, Sète.

De nombreuses autres solutions sont aussi envisageables, nous invitons le lecteur a consulté les ateliers et séminaires suivants pour en découvrir leurs avantages et inconvénients :

Atelier « Carnets de terrain électroniques »

Réseau Zones Ateliers, Montpellier, 2018

Séminaire « Système d'information embarqué, cahier/carnet de terrain et de laboratoire électronique : quelles interactions avec les bases de données ? » Réseau rBDD, Paris, 2016

Il est à noter que la collecte sur le terrain nécessite de s'équiper d'un matériel apte à être utilisé sur des terrains parfois
hostiles. Le choix de l'équipement conditionne aussi le choix de la solution logicielle comme le montre Marie-Claude
Quidoz lors de cette présentation :

Carnet de terrain électronique

Vidéo :Marie-Claude Quidoz, CEFESéminaire « les technologies mobiles : retours d'expériences et prospectives », Réseau ResInfo, Paris, 2016
### 3.2.7 La gestion des collections

Collec-Science est un logiciel web qui a été créé pour suivre les échantillons collectés lors des campagnes d'acquisition, et permet de répondre, entre autres, à ces questions :

- où est stocké l'échantillon ?

- d'où vient-il, quelle est sa généalogie (protocole de collecte, métadonnées associées à l'échantillon et ceux de ces ancêtres) ?

- quelles transformations ou opérations a-t-il subies ?

- sous quelle forme est-il conservé, existe-t-il un risque à le manipuler ?

Fruit d'une collaboration initiale entre l'Irstea (centre de Bordeaux), le laboratoire Epoc à Bordeaux, le LIENSs à La Rochelle, il a été enrichi avec la participation de nombreux autres laboratoires, dont les laboratoires Chrono-environnement à Besançon, Edytem à l'Université Savoie - Mont Blanc, etc. Il a été choisi par le Réseau des Zones Ateliers pour assurer le suivi des échantillons.

Stockez et retrouvez vos échantillons avec Collec-Science

Marie-Claude Quidoz

## 3.3 Environnements de stockage - Sauvegarder les données

Dès la phase de collecte, il convient de se préoccuper des aspects de stockage et de sauvegarde qui seront plus large-ment abordés dans la phase 6 du cycle de vie des données. En effet, dès le début d'un projet, il est nécessaire, d'une part, d'estimer le stockage nécessaire à la collecte de données et d'autre part, de mettre en place les moyens de sauve-garde des données récoltées. La duplication des données par stockage redondant sur des supports différents de ceux de l'équipement utilisé (poste de travail fixe, mobile, serveur, ...) est un des principes de base d'une bonne conservation. Il convient de préférer un archivage centralisé conformément à la règle du 3-2-1 généralement recommandée (3 copies sur 2 supports différents dont 1 sur un lieu déporté). À cet effet, il conviendra de travailler en amont avec une équipe informatique afin que les dispositifs de stockage soient disponibles.

### Rappels théoriques concernant les architectures de stockage traditionnel

Sylvain MaurinANF « Stockage Distribué », 2016

### Outils algorithmiques et logiciels pour le stockage distribué

Benoit ParreinANF « Des données au BigData : exploitez le stockage distribué ! », 2016

Divers outils de sauvegarde des données sont fréquemment utilisés dans les milieux informatiques comme backuppc, bacula, rdiff-backup

Un nouveau paradigme dans la sauvegarde consiste à introduire et utiliser des fonctionnalités de déduplication. Cette technologie consistant à réduire les volumes sauvegardés et les durées de sauvegarde en découpant les gros fichiers en fragments (blocs) et en ne sauvegardant qu'une seule fois les fragments identiques.

Un retour d'expérience sur le logiciel borgbackup donne des résultats intéressants et prend tout son sens quand on a beaucoup de fichiers volumineux peu différents.

### Sauvegardes dédupliquées avec BorgBackup : retour d'expérience

Maurice Libes - Didier Mallarino, OSU PytheasJRES 2017, Nantes
## Respecter le RGPD!

Enfin n'oublions pas que, dès lors que l'on collecte des données personnelles (données permettant l'identification directe ou indirecte d'une personne), il est important de respecter des principes essentiels sur la durée de conservation des données, le droit à l'information et l'obligation de sécuriser les données. Il ne faut pas hésiter à se rapprocher du correspondant du Délégué à la protection des données (DPD) de votre délégation (pour le CNRS) ou du Délégué à la protection des données de votre établissement.
# CHAPITRE 4

## Traiter

Cette phase du cycle de vie des données correspond au prétraitement des données brutes issues des acquisitions et des collectes. Il s'agit souvent de regrouper, choisir, qualifier les données pertinentes parmi celles qui ont été collectées, puis les reformater dans des formats standards interopérables, et les préparer en vue de leur analyse ultérieure.

Cette partie est donc structurée en différentes sections décrivant cette préparation des données :

- Préparer les fichiers de données, en vue de leur analyse, en utilisant des formats interopérables.

- Utiliser des infrastructures logicielles « framework » d'intégration de données, lorsqu'elles sont hétérogènes.

- Mettre en place et utiliser des plateformes de gestion de données locales, en vue de leur analyse.

- Vérifier et s'assurer de la qualité des données.

## 4.1 Préparer les fichiers de données en vue de leur analyse

Bien souvent, les données « brutes » sont issues de capteurs ou divers instruments de collecte sur le terrain. Ils se présentent fréquemment sous la forme de fichiers dans des formats propriétaires, peu exploitables et peu interopérables directement tels quels.

Dans une optique de gestion FAIR, il est donc important de se préoccuper du format des données afin de les rendre « ouverts » et interopérables. La notion de format « ouvert » est importante pour que les données puissent être partagées, interopérables et préservées sur le long terme. A cet effet, le site Doranum propose une * introduction à la définition de formats ouverts ou fermés*.

De plus, si l'objectif est le traitement massif des données, il est important de choisir des formats capables de supporter des entrées / sorties intensives sur des infrastructures de calcul.
4.1.1 Utiliser des formats standards

Parmi les premiers traitements opérés sur des données brutes provenant du terrain, les données issues de capteurs environnementaux sont souvent illisibles et peu exploitables par un être humain. Il convient alors de traiter les fichiers bruts de manière à en extraire les données utiles, et de les réécrire dans des formats standards utilisables par un grand nombre de logiciels, et une communauté d'utilisateurs.

Chaque discipline utilise, voire définit un certain nombre de formats standards, et il est bon de les connaitre et de s'y
référer.

On ne pourra pas tous les citer, mais à titre d'exemple dans les domaines Océan, Atmosphère par exemple,

— Le format NetCDF est un format ouvert, autodocumenté et très utilisé en particulier dans les communautés sciences de l'environnement. Il est très bien adapté et utilisé, par exemple pour représenter et formater des données qui sont des profils verticaux, des séries temporelles, des trajectoires, ou encore des surfaces maillées en 2D. Ce format est dit « auto-descriptif » en ce sens qu'il permet de ne pas avoir besoin d'un fichier de description complémentaire. Les métadonnées sont en effet insérées dans l'entête du fichier, avec les données elles-mêmes. On peut ainsi décrire de manière assez précise les données du fichier, par exemple en insérant les unités de mesure des paramètres mesurés, la licence de diffusion, les propriétaires, etc., ainsi que l'organisation des données.

Toutefois dans son format originel NetCDF n'a pas imposé de directives particulieres pour inscrire les métadonnées
dans l'entete du fichier. De ce fait, il était possible d'inscrire n'importe quel libellé de variables, unités, etc. Une stan-
dardisation a été nécessaire pour obtenir des fichiers compréhensibles et interopérables. C'est le but de la convention
CF (climate forecast) qui fournit une table de standardisation des variables et unités de mesures à inscrire dans l'entete
d'un fichier NetCDF.

Ce format standard, la convention « CF », et l'interface de programmation (API) en Python pour créer des fichiers NetCDF par programme ont été présentés au séminaire SIST19 à l'OMP de Toulouse, par Joël Sudre, Maurice Libes et Didier Mallarino :

Présentation du format NetCDF

Joël Sudre, LEGOS Séminaire SIST19 Toulouse

La convention CF (climate forecast) pour les fichiers NetCDF

Joël Sudre, LEGOS et Maurice Libes, Institut PytheasSéminaire SIST19 Toulouse

Utilisation de l'API de programmation Python pour NetCDF

Maurice Libes, Didier Mallarino, Institut PytheasSéminaire SIST19 Toulouse

— Le format ODV (ocean data view) est également un format standard ouvert intéressant. C'est un format de type « tableur », ensemble de lignes comportant un nombre fixe de colonnes qui se rapproche d'un format CSV, composé de colonnes de données séparées par des virgules (ou tout autre séparateur), à cette différence près que le format ODV permet l'insertion d'un entête assez riche permettant de placer des métadonnées en début de fichier. On trouvera un exemple sur le Portail des données marines.

Le format de données ODV permet un stockage dense et un accès très rapide aux données. De grandes collections de données comprenant des millions de stations peuvent être facilement entretenues et explorées sur des ordinateurs de bureau.

Un explorateur et extracteur de données webODV est disponible sur le portail EMODnet Chemistry.. L'outil webODV Data Explorer and Extractor, développé à l'Institut Alfred Wegener en Allemagne, permet aux utilisateurs d'explorer, de visualiser et d'extraire des sous-ensembles de données validées simplement en utilisant leur navigateur web.
Les formats NetCDF et ODV sont les formats recommandés et utilisés par le pôle de données Odatis et par le projet européen Seadatanet.

### — Le format HDF5

Le format HDF5 (Hierarchical Data Format, version 5) est un format de fichier de type conteneur, c'est-à-dire assimilable à une arborescence de dossiers / fichiers contenus dans un même fichier.

C'est un format très utilisé lorsqu'on veut traiter ou simuler des données grâce au calcul intensif, car il offre des possibilités de compression et d'écriture/lecture parallèles très efficaces.

Des supports de formation sur ce format sont de ce fait disponibles via les infrastructures et réseaux en lien avec le calcul intensif :

## Formations PRACE

HDF5 : theory & practice 1 et 2

Prace Advanced Training Centers, Course: Parallel I/O and management of large scientific data, 2014

# 4.2 Organiser les données

## 4.2.1 Développer les procédures d'intégration des données dans les bases de données

Les nouveaux mécanismes de collecte de données ont souvent simplifiés la mise en base de données comme c'est le cas avec la boîte à outils ODK (cf partie *Collecter*) qui envoie directement les données collectées sur tablette dans un schéma d'une base de données PostgreSQL. Mais, pour sécuriser les données, elles doivent être ensuite transférées dans la base de données métier. Cette opération est souvent réalisée à l'aide de déclencheur comme on levoit dans la présentation suivante

### Intégrer les données dans sa base métier

Marie-Claude Quidoz, CEFEANF « Interfacer les outils mobiles avec son système d'information », Réseau rBDD, Sète, 2019

## 4.2.2 Utiliser un cadre d'applications d'agrégation de données

Lorsque les données à traiter sont hétérogènes et que les technologies qui permettent de les fournir sont également différentes, une solution est d'utiliser un « framework » d'agrégation de données. Un « framework » est un cadre d'applications d'agrégation de données, autrement dit un outil qui va permettre de traiter des données de formats différents de façon transparente pour l'utilisateur final.

Le logiciel « Lavoisier » développé au Centre de Calcul de l'IN2P3 (CC-IN2P3), permet de récupérer, transformer, fusionner, et requêter des données de sources différentes. Il est utilisé dans plusieurs contextes pour fournir une vue unifiée des données collectées à partir de multiples sources hétérogènes

### Lavoisier : un cadre d'applications d'agrégation de données, vidéo de la présentation

Cyril L'Orphelin, Sylvain Reynaud, CC-IN2P3, CNRSJCAD 2018, Lyon.
D'autres outils logiciels existent, permettant l'intégration de données. Dans la catégorie des logiciels « ETL » (Extract, Transform, Load, le logiciel « Talend Open Studio » par exemple, a été abordé lors d'une session de formation du réseau RBDD :

## « Utilisation et maîtrise d'un ETL : intégrations de données avec Talend Open Studio »

Eric QuintonRéseau RBDD, 2017. Paris.

Ce logiciel « Talend » a été également utilisé par Soumaya Lahbib pour traiter les fichiers de données issues des capteurs du projet EMSO Ligure-ouest et les transformer en fichiers CSV utilisables facilement.

## Gestion des données du projet EMSO avec Talend et ERDDAP

Maurice Libes, Soumaya LahbibSéminaire SIST18 OVSQ, Guyancourt.

### 4.2.3 Déposer et structurer dans des plateformes de gestion de données locales

Après la phase de collecte de données que nous avons vue dans l'étape précédente du cycle de vie des données, il est nécessaire de se préoccuper du dépôt, de la facilité d'accès et de la réutilisation des données localement dans une unité de recherche.

Un certain nombre de logiciels font office de plateforme d'accès et de gestion des données. Ils permettent de présenter les données avec leurs métadonnées, de fournir des interfaces de recherche, de géolocaliser les données, et parfois de visualisation des données avec des graphes. Cette organisation des données facilite grandement leur analyse ultérieure.

Des logiciels sont particulièrement adaptés dans la diffusion et l'affichage des données scientifiques d'observation par le fait qu'ils utilisent les standards interopérables de l'Open Geospatial Consortium (OGC), comme le protocole DAP (Data Access Protocol)

- Les plateformes de dépôt et de diffusion de données comme THREDDS et ERDDAP sont intéressantes par le fait qu'elles mettent en oeuvre le protocole DAP, et sont des solutions très bien adaptées pour rendre les données FAIR et faciliter la diffusion des données.

La plateforme d'accès ERDDAP se présente comme étant un « accès facile aux données scientifiques » (« Easier access to scientific data ») et fournit un ensemble complet de fonctionnalités pour la gestion des jeux de données. Il permet :

- déposer des jeux de données dans différents formats interopérables

- de fournir un catalogue des jeux de données gérés par le serveur

- d'afficher les métadonnées inscrites dans les fichiers

- de lire et convertir des jeux de données dans de nombreux formats standards interopérables différents,

- d'interroger et filtrer les données au travers de formulaires,

- de créer des graphiques et des cartes simples pour visualiser le jeu de données analysé

- de normaliser le format des unités de temps présentes dans les fichiers.

Une des fonctionnalités intéressantes est qu'ERDDAP agrège automatiquement les données nouvelles répondant à un format donné, qui sont déposées dans un répertoire. Ainsi pour les séries temporelles cette fonctionnalité est intéressante puisqu'il suffit de déposer des fichiers dans un répertoire pour que la série soit automatiquement enrichie et mise à jour.

Dans le projet scientifique EMSO, le logiciel ERDDAP permet de constituer un réseau de serveurs permettant de rassembler et fournir toutes les données d'un même projet sur plusieurs sites.

## Utilisation de ERDDAP - Installation, configuration et mise à disposition de jeux de données

Maurice Libes, Didier MallarinoANF SIST 17 Fréjus
Lorsque les données sont géoréférencées, on peut aussi déposer et faire gérer des données de terrain via des serveurs cartographiques comme :

- le serveur cartographique Geoserver permet d'afficher et d'échanger des données géospatiales sur le web selon les standards (WMS, WFS, ... ) de l'OGC;

## Geoserver - Installation, configuration, affichage et diffusion de jeux de données géospatialisés

Juliette Fabre, Olivier LobryANF SIST 2018, Toulouse.

- l'application GeoCMS permettent la visualisation de données géospatiales sur le web et de mettre en place une Infrastructure de Données Géographique (IDG). on peut voir un exemple de l'interet de cette application sur un portail comme celui de Indigeo

## TP GeoCMS - Installation, configuration, visualisation et interrogation de jeux de données géospatialisés

Mathias Rouan, Jonathan SchaefferANF SIST 2018, Toulouse.

## Exemple de mise en oeuvre de plateformes de données

Des exemples d'utilisation des plateformes logicielles ERDDAP et THREDDS ont été présentés lors de différentes sessions des journées du réseau SIST :

G. Brissebrat nous montre comment sont diffusées des données maillées NetCDF du SEDOO avec la plateforme logicielle THREDDS. Les avantages évoqués sont nombreux :

- Consulter les métadonnées sans avoir à télécharger le jeu de données

- Accéder uniquement à une partie d'un jeu de données

- Télécharger un seul fichier même si les données originales sont réparties dans plusieurs fichiers

- Avoir le choix entre plusieurs moyens d'accéder aux données

- Accéder aux données dans des format compatibles avec les outils communs d'analyse ou de visualisation de données

- Offrir plusieurs formats et protocoles d'accès aux données-

- Fournir une prévisualisation des données

- Pouvoir moissonner des données d'un autre serveur THREDDS

## Distribution et visualisation de données avec THREDDS, exemples d'utilisation au SEDOO

Guillaume Brissebrat, Service de données de l'OMPSéminaire SIST 2015 OSU Pytheas Marseille

## Eccad, un exemple de mise en oeuvre de THREDDS

Sabine Darras, Observatoire Midi-PyrénéesSéminaire SIST 2019 OMP Toulouse

Dans cette présentation les auteurs montrent un workflow complexe depuis l'acquisition de données a 2500m de profondeur, jusqu'à l'affichage et la diffusion sur un serveur ERDDAP. Les données de capteurs sont traitées avec l'ETL Talend pour produire des fichiers CSV et NetCDF qui sont diffusées via la plateforme ERDDAP. Dans le cas de séries temporelles qui s'enrichissent quotidiennement, erddap permet d'aggréger automatiquement les données journalières qui sont déposées par programme dans un répertoire, sans intervention humaine.

## Gestion des données du projet EMSO avec Talend et ERDDAP

Soumaya Lahbib, Maurice Libes, OSU PytheasSéminaire SIST 2018 OVSQ, Guyancourt.
La plateforme de gestion de données ERDDAP est utilisée dans le projet Européen EMSO et permet de constituer un réseau de serveurs qui regroupe les données d'un même projet avec des données issues de sites différents<fnref n="1" />.

Dans cette présentation, les auteurs avaient pour objectif de diffuser des données dans un environnement tropical et ont utilisé et comparés les platformes logicielles THREDDS et ERDDAP

## Copier les succès et rester simple (AMEO) : mise à disposition de sorties de modèles climatiques avec un NAS, THREDDS et ERDDAP.

Thierry Valéro, Institut de Recherche pour le Développement, Laboratoire d'Océanographie et du ClimatSéminaire SIST 2016 OSU OREME Montpellier

Les présentations suivantes fournissent un certain nombre de connaissances sur l'utilisation d'infrastructure de données géographiques (IDS, IDG) et de différentes plateforme logicielle de gestion des données

## Infrastructure de données spatiales et de traitements GEOSUD : des standards à la réalité

Jean-Christophe Desconnets, UMR Espace-Dev, IRDSéminaire SIST 2016 OSU OREME Montpellier

## Publication automatique de données et de métadonnées dans geOrchestra

Ernest Chiarello, Théoriser et modéliser pour aménager, MSHE Séminaire SIST 2018, Guyancourt.

Loïc Salaun nous montre un exemple de consultation des données à partir d'un visualiseur cartographique (visualiseur d'INDIGEO), utilisant les services web géographiques (WMS, WFS, WCS, CSW)

## Mise en place d'une IDS pour le programme de recherche Réseau de Suivi et de Surveillance de l'Environnement.

Loïc Salaun, Observatoire des Sciences de l'Univers Nantes Atlantique Séminaire SIST 2016, Montpellier.

## 4.3 Mettre en place un contrôle qualité des données

Par nature, la recherche n'est pas répétitive, mais riche en incertitudes contrairement à un processus industriel. La confiance dans la qualité d'une recherche consiste donc à établir et vérifier que les différentes étapes d'une étude peuvent être répétées en obtenant le même résultat par des chercheurs différents à des moments différents. Ainsi, une donnée est fiable si, dans des conditions données, aucune déviation n'est constatée en fonction du temps, durant un laps de temps donné. Il est donc essentiel de s'assurer que l'ensemble des activités de recherche soit maîtrisé.

Le contrôle sur les équipements est le premier pas vers la traçabilité des données comme l'illustre l'exposé suivant :

En sciences environnementales, la qualification des données est importante pour estimer et fournir un degré de qualité de la donnée. On utilise pour cela des codes qui renseignent sur la qualité de la donnée : bonne, mauvaise, manquante, modifiée etc... Dans ce domaine bien souvent chacun utilise une codification personnelle, cependant une standardisation des codes qualité est bienvenue.

L'infrastructure de données européenne Seadatanet utilise par exemple une table « L20 » standardisant les codes qualité à placer sur les données

<footnote n="1">1. http://erddap.emso.eu:8080/erddap/info/index.html?page=1&amp;itemsPerPage=1000</footnote>
## Traçabilité des données de la recherche. Confirmation métrologique des équipements

Virginie JAN LOGASSI, Université de LorraineRencontres du réseau Qualité en Recherche, 2019, Nancy.

Le réseau rBDD a consacré un atelier à la qualité des données pour apporter des éclairages sur les questions suivantes :

- Quelles sont les différentes notions de qualité des données ?

- Comment contrôler la qualité des données dans la BDD : avant ou pendant l'insertion de données ?

- Faut-il automatiser le contrôle de la qualité dans les bases de données ?

- Quels sont les outils disponibles et comment les utiliser ?

Le programme de l'atelier s'appuie sur les travaux de Laure Berti Equille qui « classe les travaux autour de la problématique de la qualité des données selon quatre grands types d'approches complémentaires : prévenir / diagnostiquer / corriger / adapter ».

Dans la première partie de la présentation, après avoir explicité les notions autour de la qualité des données, Christine Plumejeaud nous donne de bonnes pratiques comme celle d'attribuer un code standard (suivant une norme choisie et citée) décrivant l'état de la valeur. Elle cite comme exemple le standard SDMX, qui est une initiative internationale, utilisée entre autre par Eurostat et l'INSEE. Elle cite aussi les travaux faits par le Service d'Observation en Milieu Littoral SOMLIT qui a défini sa propre classification 2.

Sa présentation se poursuit sur l'utilisation de contraintes SQL pour éviter l'insertion en base de données de valeurs incohérentes ou impossibles. Ces contraintes sont la transcription des règles de gestion définies lors de la modélisation de la base de données. Une fois la structure de la base de données définie, il reste une étape, celle du nettoyage des données, a réaliser avant l'intégration des données en base. Le réseau rBDD conseille pour cela le logiciel OpenRefine très simple à prendre en main et très puissant.

## Qualité des données

Christine Plumejeaud, LIENSs & Nadine Mandran, LIG ANF « Sciences des données : un nouveau challenge pour les métiers liés aux bases de données », réseau rBDD, Sète, 2018

## Une présentation autour de l'outil OpenRefine de nettoyage et mise en forme des données.

Mathieu SABY, BU Université de Nice Sophia-Antipolis

Dans cette intervention, Christine Plumejeaud se place dans le cadre de l'utilisation d'outils nomades qui envoient directement les données collectées sur tablette dans une base de données. La problématique est sensiblement différente. Partant du principe que sur le terrain, il est communément recommandé de laisser la saisie la plus libre possible pour permettre une prise en compte des aléas plus faciles, la détection des choses non conformes aux règles métier est à traiter a posteriori.

## Outils nomades : validation des données

Christine Plumejeaud-Perreau, CNRS, U.M.R 7266 LIENSs, la RochelleANF « Interfacer les outils mobiles avec son système d'information », réseau RBDD, 2019

Certains logiciels comme ODV (Ocean Data View) permettent de qualifier les données et d'attribuer un code qualité à des données après analyse par un expert du domaine. ODV est un format de fichiers, et un logiciel utilisés par le projet européen SeadataNet.

Cependant peu de logiciels de traitement de données propose d'associer des codes qualités aux données, aussi on retrouve souvent de nombreuses méthodes et implémentations personnelles pour essayer de qualifier les données,

<footnote n="2">2. Codes qualité SOMLIT</footnote>
illustrées par les exposés suivants donnés lors des journées de séminaires SIST (Séries Interopérables et Systèmes de Traitement) :

P. Téchiné présente les méthodes de suivi de la qualité de diverses mesures comme le niveau de la mer ou la salinité de surface (SSS : Sea Surface Salinity) dans différents projets. On peut constater la diversité des solutions mises en place.

## Suivi de la qualité des mesures de réseaux d'observation océanographique

Philippe Téchiné, B. Buisson, L. Testut, T. Delcroix, G. Alory, Laboratoire d'études en Géophysique et océanographie spatiales Séminaire SIST 2016 OSU OREME Montpellier

Dans cette présentation Lynn Hazan décrit son processus d'attribution de code qualité. Comme nous l'avons indiqué précédemment dans la phase de traitement, les données sont obtenues en temps quasi-réel et sont transformées en données consolidées par un traitement qui permet d'en augmenter la précision et la confiance. Les étapes de consolidation incluent une expertise humaine avec une inspection visuelle afin de détecter des problèmes potentiels difficilement détectables automatiquement. L'outil ATCQc a été développé afin de permettre aux scientifiques de visualiser et qualifier rapidement leurs données issues des instruments de mesures du réseau.

## ATCQc : Un outil pour le QA/QC de mesures atmosphériques du TGIR ICOS, vidéo

Lynn Hazan, Laboratoire des Sciences du Climat et de l'Environnement Séminaire SIST 2018 OVSQ, Guyancourt.

Dans cette présentation, les auteurs abordent la qualité des données sous l'angle utilisation de référentiels pour décrire finement les données et les rendre interopérables

## La qualité des données à l'OSU OREME

Juliette Fabre, Olivier Lobry, Observatoire de REcherche Méditerranéen de l'Environnement Séminaire SIST 2018 OVSQ, Guyancourt.

## La qualité des données à l'OSU OREME

Juliette Fabre, Olivier Lobry, Observatoire de REcherche Méditerranéen de l'Environnement Séminaire SIST 2018 OVSQ, Guyancourt.

Dans cette présentation, les auteurs proposent un développement graphique avec la librairie « DyGraphs » pour visualiser et valider des données de séries temporelles.

## Outil web interactif de visualisation et validation de séries temporelles

Olivier Lobry, Juliette Fabre Séminaire SIST 2015 OSU Pytheas Marseille.

Dans son projet A. Campos utilise un ensemble de scripts Python pour convertir les fichiers « xls » en fichier « ascii », puis effectue un nettoyage avec la commande « awk » de Unix. Enfin des scripts en langage R permet de faire des moyennes glissantes, des graphes et des exports des fichiers au format NetCDF.

## Site Web de diffusion des données « Sahelian Dust Transect »

André CAMPOS, Laboratoire interuniversitaire des systèmes atmosphériques SIST 2016 OSU OREME Montpellier
# CHAPITRE 5

## Analyser

Derrière le terme « analyser » s'entend l'extraction de l'information des données le plus souvent par l'utilisation de puissance de calcul. Cela recouvre de nombreux types de techniques (calcul intensif, traitement statistique, machine learning, visualisation ...), et nécessite également des plateformes adaptées.

Cette étape du cycle de vie de nombreuses données impose que ces données soient exploitables, c'est-à-dire bien organisées, dans des formats adaptés à l'analyse envisagée, de façon à pouvoir leur appliquer des traitements automatisés.

Plusieurs évènements récurrents, annuels ou bisannuels, auxquels participent activement les réseaux métiers, comme les JCAD (Journées Calcul et Données), les JDEV (Journées du DEVeloppement logiciel) par exemple, intègrent de nombreuses interventions sur ces différentes thématiques, allant de la description des plateformes aux outils disponibles, en passant par l'organisation des développements et la reproductibilité, détaillée dans la section *Reproductibilité* de ce guide. Ils incluent aussi très souvent des retours d'expérience particulièrement riches.

## 5.1 Plateformes de traitement de données

De nombreuses ressources sont disponibles, à différentes échelles, pour analyser et traiter des données. De façon générale, on distingue :

- Les ressources de type calcul intensif ou HPC (High Performance Computing) organisée à l'échelle européenne (EuroHPC ou Tier 0), nationale (GENCI et les centres nationaux ou Tier 1) et régionale (mésocentres ou Tier 2). Ces ressources sont adaptées aux simulations massives.

- Les ressources de type cloud (par exemple le cloud distribué de France Grilles : FG-Cloud). Ces ressources souples répondent aux besoins de calcul à la demande ou lorsque la maîtrise de l'ensemble du système est nécessaire.

- les ressources de type grille de calcul ou HTC (High Throughput Computing), par exemple l'infrastructure France Grilles ou le Centre de Calcul de l'IN2P3. Ces ressources sont utilisées pour faire du traitement massif de données.

Elles sont décrites dans la section *Infrastructures* de ce guide. Le choix du type d'infrastructures adapté au besoin n'est pas forcément trivial. Il est souvent plus pertinent de s'adresser à des spécialistes qui sauront vous orienter. En général, les mésocentres de calcul, grâce à leur proximité et à leur connaissance du domaine, sont de bons conseils. Une liste est disponible sur le site du réseau Calcul.
## 5.2 Outils pour l'analyse des données

Il existe de très nombreux outils permettant d'analyser ses données, allant du langage de programmation au workflow de traitement en passant par les logiciels de visualisation.

### 5.2.1 Langages de programmation

Certains langages de programmation sont plus particulièrement utilisés pour l'analyse de données. En dehors du langage R spécifique aux statistiques et à la science des données, l'écosystème s'enrichit très rapidement :

- Python devient de plus en plus utilisé en science des données. Une introduction sur le sujet a été réalisée en décembre 2017 par Francis Wolinski (Société Yotta Conseil) dans le cadre d'une journée organisée par le réseau Calcul.

#### Présentation et illustration de l'écosystème Python pour la data science

Francis Wolinski (Société Yotta Conseil) Journée Python et Data Science IRMAR Rennes - 2017

- Julia est un des langages qui prend de l'importance sur ce sujet. Plusieurs présentations, lors d'une journée d'introduction au langage organisée par le réseau Calcul en janvier 2019, apportent un éclairage intéressant, en particulier le cadre des algorithmes Map/Reduce, ainsi que les performances du langage sous forme de benchmarks.

#### Map/Reduce operations for scientific computing in Julia

Xavier Vasseur (ISAE-SUPAERO) Journée Julia - Lyon 2019

#### Julia : benchmark et bonnes pratiques

Benoît Fabrèges (Institut Camille Jordan, Lyon) Journée Julia - Lyon 2019

Des retours d'expérience illustrent l'utilisation de ces outils.

Concernant les outils Python, l'utilisation de Dask à la place de job array a été présentée lors des JCAD 2019 par Guillaume Eynard-Bontemps, CNES. Dask est une bibliothèque parallèle Python qui facilite l'exécution massive de calculs sur des données distribuées.

#### Simulation paramétrique : Passez d'un job array à Dask

Guillaume Eynard-Bontemps (CNES), JCAD 2019, Toulouse.
## 5.2.2 Approches méthodologiques

L'analyse des données ne concerne pas uniquement les modèles statistiques. De nombreux domaines appliqués reposent sur l'analyse de données géométriques : médecine, neurosciences, sismique, météorologie, vision par ordinateur, apprentissage statistique. Cette variété d'applications se retrouve dans la forme, la qualité et la sémantique des données ainsi que dans la nature des problèmes mathématiques qu'elles posent. Une école thématique a été consacrée à ce sujet en 2018, à destination des non spécialistes. Elle l'a abordé sous plusieurs angles :

- Analyse topologique de données,

- Anatomie computationnelle,

- Méthode d'évolution de front et fast marching,

- Méthodes variationnelles pour l'imagerie

Outre les présentations, de nombreux exercices encadrés ont été proposés avec la mise en œuvre pratique des algorithmes, dans le langage Python.

Un des enjeux de l'analyse de volumes de données de grandes tailles, multidimensionnelles concerne les méthodes de réduction de la dimension (classiques comme ACP, AFC, MDS, ...) ou issues du « machine learning » (kernel PCA, ...). Cette approche a été abordée lors d'une école thématique qui a eu lieu en 2017. Cette formation, nécessitant des connaissances de base en calcul matriciel, a permis d'approfondir certaines des techniques matricielles (recherche de valeurs propres, décomposition en valeurs singulières), sur le plan à la fois théorique et pratique.

On peut trouver un exemple d'utilisation concrète de ce type de technique présenté lors des JCAD 2018 par Alain Franc, INRA, appliqué à la biologie.

### L'exploration de la diversité des protistes : l'apport du calcul intensif

J.-M. Frigerio, P. Chaumeil, F. Rué, S. Thérond, V. Louvet, O. Coulaud & A. Franc JCAD 2018 - Lyon

De façon un peu générale, toutes ces approches conduisent ou sont la base de certains pans de l'Intelligence Artificielle. De plus en plus d'évènements sont consacrés à ces technologies.

Une introduction sur cette thématique a été réalisée en 2018 dans le cadre des « Journées Système » du réseau ResInfo.

### Intelligence artificielle : une longue histoire ... et demain ?

Pierre Gançarski (Université de Strasbourg) Josy Intelligence Artificielle - Strasbourg 2018

De même, le réseau SARI grenoblois a organisé une journée sur le sujet, avec une présentation de Jean-Luc Parouty particulièrement didactique.

### AI Machine Learning & Deep Learning

Jean-Luc Parouty (SIMAP) Séminaire SARI 2019

Compte tenu de l'engouement engendré autour de l'IA, de nombreuses journées et conférences sont organisées sur le sujet. En particulier, il fait l'objet de sessions spéciales lors des Journées Développement (Jdev) de 2020 et 2017.
### 5.2.3 Visualisation des données numériques

Un des outils d'analyse les plus utilisés est la visualisation des données. Cependant cette visualisation peut s'avérer particulièrement délicate dans le cadre de très gros volumes de données, et nécessite de s'appuyer sur des solutions techniques spécifiques.

Dans le domaine des données numériques, plusieurs bibliothèques sont particulièrement adaptées aux données de grande taille, ainsi qu'à la visualisation in situ, c'est-à-dire en cours de calcul en ce qui concerne les données de simulation : VisIt et ParaView. Plusieurs interventions sur ce sujet ont été réalisées dans le cadre d'une journée dédiée organisée en 2017 par le réseau Calcul.

De même, une action de formation a été complètement consacrée à ce sujet en 2016 par le réseau Calcul. Elle a en particulier abordé les bonnes pratiques concernant la production de données : formats d'archivage, technique d'analyse, cycle de vie ainsi que les outils de visualisation avancés (visualisation in situ, temps réel, web).

La visualisation des données est également au coeur des problématiques des utilisateurs du calcul intensif. Le projet européen PRACE sur le calcul intensif propose des formations spécifiques, en particulier sur les outils de la visualisation scientifique.

## 5.3 Mettre en place des méthodes d'analyse et des chaînes logicielles

L'analyse des données peut nécessiter la mise en place d'un workflow de traitement utilisant des chaînes logicielles. Il existe des environnements virtuels de recherche (VRE Virtual Research Environment) qui facilitent la mise en place de ces méthodes d'analyse complexes.

VIP, the Virtual Imaging Platform, est un portail qui permet à ses utilisateurs d'accéder simplement à leurs données, de les traiter facilement avec des logiciels préinstallés sur la plateforme. Traitements et données sont distribués sur l'infrastructure EGI (infrastructure de grille de calcul européenne). Pour répondre au besoin d'interopérabilité des données, l'API CARMIN (API web) est maintenant utilisée par VIP. Cette présentation explique les différentes étapes du fonctionnement du système mis en place.

**VIP : towards data interoperability through CARMIN, vidéo**

Axel Bonnet, Pascal Wassong, Frederic Cervenansky, Camarasu-Pop Sorina, CREATIS et, Tristan Glatard, Concordia University JCAD 2019, Toulouse.

**Virtual Imaging Platform**

Sorina Camarasu-Pop, Axel Bonnet, Frédéric Cervenansky, CREATIS, Tristan Glatard, Concordia University JCAD 2018

Pangeo est une communauté qui travaille au développement de logiciels et d'infrastructures pour faciliter la mise en œuvre des géosciences, dans le domaine du « Big Data ». Cette communauté développe tout un écosystème d'outils open source pour les géosciences.

Cet écosystème a été présenté lors des JCAD 2019 et 2018 :

**Analyse de simulations numériques de l'océan en préparation aux missions satellite : cas d'utilisation des outils PANGEO**

A. Albert, F. Briol, L. Brodeau, G. Dibarboure, G. Eynard-Bontemps, J. Le Sommer, A. Ponte JCAD 2019, Toulouse.
## Jupyter, Dask : traitement distribué simple et interactif en Python sur HPC avec l'écosystème Pangeo

Guillaume Eynard-Bontemps, Centre National d'Etudes Spatiales JCAD 2018, Lyon.

D'autres environnements de management de workflow existent :

## WRENCH : Workflow Management System Simulation Workbench

Frederic Suter, Henri Casanova, Rafael Ferreira Da Silva, CC IN2P3 JCAD 2018, Lyon.

enfin, les environnements de notebooks sont des outils de plus en plus utilisés dans le cadre de l'analyse de données. Les notebooks sont des programmes qui contiennent à la fois du texte et du code, dans différents langages (Python, Julia, R, Scala ...), exécutables via une interface web. Ces outils sont de plus en plus couramment utilisés en sciences des données. Jupyter est l'application de notebooks la plus utilisée actuellement.

Plusieurs interventions ont eu lieu sur ce sujet. La première, exposée lors des JCAD 2019, met particulièrement en avant l'intérêt des notebooks pour la reproductibilité.

## Towards reproducible Jupyternotebooks

Ludovic Courtès, INRIA JCAD 2019, Toulouse.

La présentation suivante, qui a eu lieu lors des JCAD 2018, expose les services de notebooks proposés par l'infrastruc-ture de grille européenne EGI.

## EGI Notebooks : Jupyter as a Service and EGI Check-In AAI

Baptiste Grenier, egi.eu JCAD 2018, Lyon.

Enfin, ce dernier exposé, des JCAD 2018, montre l'utilité des notebooks pour la pédagogie et la formation.

## RomeoLAB, le portail web HPC : cas d'utilisation pour la pédagogie et les logiciels à la demande

Arnaud RENARD, Université de Reims Champagne-Ardenne JCAD 2018, Lyon.

### 5.3.1 Qualité logicielle

Ces chaînes de traitement sont très souvent associées à des instruments complexes et nécessitent ainsi de s'interfacer parfaitement avec le reste de l'instrument. Dans ce contexte, il convient d'assurer le suivi des exigences liées au logiciel, la gestion des interfaces avec le reste de l'instrument et l'activité Assurance Qualité Logiciel. Cette dernière permet notamment de répondre à des exigences applicables à un logiciel, du développement à la maintenance de celui-ci. L'ensemble des activités, normes, contrôles et procédures mis en place doit couvrir la totalité de la durée de vie d'un logiciel. Il est par exemple important de vérifier et valider au travers de tests la bonne santé du code et de constamment veiller à la traçabilité qui lui est liée.

Une journée du réseau Qualité en Recherche a été entièrement consacrée à ce sujet en 2019. Plusieurs exposés ont permis d'illustrer les concepts associés à la qualité logicielle :

Qu'est-ce qu'un logiciel et qu'est-ce que la qualité ?
Henri VALEINS, Journée thématique Assurance Qualité Logiciel 2019, Paris.

## Plans de Gestion de Logiciel et Assurance Qualité Logiciel, les apports de PRESOFT

Geneviève Romier, CC-IN2P3, Journée thématique Assurance Qualité Logiciel 2019, Paris.

## Référentiels et normes de codage

Z.Tucsnak, Journée thématique Assurance Qualité Logiciel 2019, Paris.

## Qualité Logiciel dans un projet de Nanosatellite

Colin Gonzalez, AstroParticules et Cosmologie, Journée thématique Assurance Qualité Logiciel 2019, Paris.

## 5.3.2 Retours d'expérience

Dans le domaine environnemental, les chaines logicielles sont également mises en place pour automatiser et ecnhaine un certain nombr de traitements comme :

- le contrôle qualité basé sur des paramètres physiques de l'instrument

- le contrôle qualité spécifique à un type d'instrument

- les corrections

- le filtrage

- les aggrégations

- le stockage en base de données

Plusieurs présentations issues des journées du réseau SIST illustrent des mises en oeuvre de chaîne logicielle d'analyse de données :

### Filtrage interactif de données multidimensionnelles

Patrick Brockmann, Laboratoire des Sciences du Climat et de l'Environnement SIST16 OSU OREME 2016, Montpellier.

### Chaînes de traitement en temps quasi réel des mesures de gaz à effet de serre du TGIR ICOS

Lynn Hazan, Laboratoire des Sciences du Climat et de l'Environnement SIST18 2018, Observatoire Versailles.

### Vie d'une donnée sismologique de sa naissance sur le terrain jusqu'à sa distribution

David Wolyniec, OSU Grenoble - Jonathan Schaeffer, OSU Grenoble SIST16 OSU OREME 2016, Montpellier.
## 5.4 Optimiser l'utilisation des ressources

L'analyse des données peut nécessiter l'usage de ressources assez massives en termes de puissance et de nombre, d'autant plus que la volumétrie des données a tendance à augmenter fortement.

Il est donc important de s'assurer d'optimiser l'utilisation de ces ressources.

En particulier au niveau des codes de calcul, le réseau Calcul propose régulièrement des journées sur ces sujets :

**Une journée d'introduction à l'évaluation des performances des codes de calcul**

2018, Observatoire de Paris.

**Une formation sur l'évaluation de la performance des codes, en particulier à travers les outils Paraver et Sca-lasca.**

2019, Observatoire de Haute Provence.

Enfin, l'optimisation des ressources s'entend aussi au niveau environnemental, afin de réduire l'impact des analyses de données. Le GDS EcoInfo a organisé en 2017 une journée sur l'impact des logiciels sur l'environnement, dont certains exposés peuvent directement concerner la problématique de l'analyse des données :

**Écoconception logicielle, retours d'expérience sur la réduction de l'impact des logiciels**

Olivier Philippot, GreenSpector Conf EcoInfo 2017, Grenoble.

**TEEC : Logiciel vert et durable**

Hayri ACAR, Université Lyon 1 Conf EcoInfo 2017, Grenoble.

**Écoconception logicielle pour la gestion des datacentres de calcul**

Olivier Richard, LIG Conf EcoInfo 2017, Grenoble.

**Calcul Intensif, Consommation et Changement Climatique**

Xavier Vigouroux Conf EcoInfo 2017, Grenoble.

**Eco-élasticité logicielle pour un Cloud frugal**

Thomas Ledoux, Ecole des Mines de Nantes Conf EcoInfo 2017, Grenoble.
## 5.5 Traitements sémantiques/linguistiques

L'accroissement massif de la production scientifique (données et publications) et la multitude de canaux de diffusion existants appellent au cœur des activités de recherche, la mise en place de solutions informatiques permettant le repérage, l'extraction, l'exploration et l'analyse de corpus de données. Les méthodes et outils TDM (Text and Data Mining) apportent une aide importante pour explorer et analyser le sens des textes et en donner une représentation compréhensible par les humains et les machines.

En 2013, déjà le réseau Renatis avait accueilli Claire Nedellec et Agnès Girard (INRA) pour illustrer l'usage possible des technologies sémantiques pour la gestion de l'information scientifique et technique ainsi que Fabien Amarger (IRIT IRSTEA) pour témoigner de la construction d'une base de connaissance partant d'un cas d'usage : l'annotation des Bulletins de Santé du Végétal

Dans leur présentation, Claire Nedellec et Agnès Girard expliquent les principes de l'analyse sémantique de texte à travers un exemple en recherche documentaire et présentent le projet TirPhase. La notion d'indexation sémantique à travers un exemple en physiologie animale est abordée en début de présentation sous les traits d'une carte d'identité thématique associée au document. Les auteurs présentent également la notion de termino-ontologie et définissent l'ontologie comme « un graphe où les nœuds sont des concepts et les arcs des relations entre ces concepts ». Elles expliquent que l'analyse sémantique identifie les unités sémantiques du texte et les associe aux concepts de l'ontologie. Partant de là, elle présente le processus de conception de termino-ontologie à partir de corpus en deux étapes : extraction automatique de termes avec l'outil Syntex et structuration et modélisation avec l'outil Protégé. La deuxième partie de la présentation est consacrée à la présentation du projet TriPhase. Ce projet a pour objectif d'analyser les publications d'un département de recherche à des fins stratégiques (analyse quantitative des termes au cours du temps) et disposer d'un moteur de recherche sémantique bibliographique spécialisé. Les auteurs expliquent les différentes phases de la construction de la termino-ontologie TriPhase et l'apport des documentalistes dans ce travail collaboratif.

Fabien Amarger, présente quant à lui un projet qui consiste à construire une base de connaissance à partir de source et de données hétérogènes. Il explique ce qu'est une base de connaissance et comment l'interroger.

### Des technologies sémantiques pour l'information scientifique et technique

Claire Nedellec, Agnès Girard, INRAFrédocs2013 - Gestion et valorisation des données de la recherche - 2013, Aus-
sois

### Annotation des Bulletins de santé du végétal (BSV) et interrogation

Fabien Amarger, IRIT-IRSTEA, Frédocs2013 - Gestion et valorisation des données de la recherche - 2013, Aussois

Plus récemment, Laurence El Khoury (DIST-CNRS) et Stéphane Schneider (INIST - CNRS) à l'occasion des Fré-docs2018 ont présenté les projets ISTEX, VisaTM et OpenMinteD pour illustrer la mise à disposition d'une infra-structure de text-mining. ISTEX est une base documentaire qui propose un accès à distance et de manière pérenne à un corpus multidisciplinaire (plus de 23 millions de documents) en texte intégral. Cette base propose également des services permettant la mise en place de traitements des données : extraction, fouille de textes, production de synthèses documentaires. La première partie de l'intervention présente les objectifs, les ressources et les possibilités offertes par la plateforme. La seconde partie s'intéresse plus particulièrement à la fouille de texte et au projet VisaTM. Ce projet porté par l'INRA vise à étudier les conditions de production de services TDM à haute valeur ajoutée basés sur l'analyse sémantique à destination des chercheurs pour une généralisation des approches TDM dans les activités de recherche. Le Projet européen H2020 OpenMinteD présenté en 3e partie est une e-infrastructure encourageant et facilitant l'utilisation des technologies de fouille de textes. Sa connexion à ISTEX permet l'exploration de corpus. Plateforme open source, ouverte et pérenne elle offre aux chercheurs la possibilité de découvrir, créer, partager et réutiliser des logiciels, des documents et des ressources pour le text-mining, le TALN, l'Extraction d'Information en travaillant à partir de sources documentaires licitement utilisables tels qu'ISTEX, OPENAIRE et CORE.
Bases de ressources numériques et services aux chercheurs. Avec ISTEX et OpenMintedD, l'alliance pour une infrastructure de text-mining

Laurence El Khoury (DIST-CNRS), Stéphane Schneider (INIST – CNRS)Frédocs2018 - Démarches innovantes en
IST : expérimenter, proposer (se) réinventer, 2018, Albi
# CHAPITRE 6

## Préserver et archiver

Préserver, sécuriser l'information et sauvegarder, voire archiver les données sont des phases essentielles de la gestion rigoureuse des données, mais il n'est pas toujours aisé de faire la distinction entre ces notions et d'utiliser le bon terme et la procédure associée. De plus, préserver pour un usage futur dont on ignore le plus souvent les caractéristiques est compliqué. C'est pourquoi des retours d'expériences avec leurs succès et leurs échecs sont intéressants à faire connaître. Ces retours d'expérience sont complétés par des conseils appropriés pour sélectionner les données à préserver et pour mener à bien la préservation d'objets numériques.

## 6.1 Comprendre et différentier les différents concepts

Les notions de stockage, de sauvegarde et d'archivage ainsi que les actions de préservation et de pérennisation ne sont pas toujours définies dans les mêmes termes. Afin de faciliter la lecture de ce chapitre et aider à distinguer les différences entre les termes utilisés, nous vous proposons les définitions suivantes.

### 6.1.1 Définitions générales

**Stocker** : C'est l'étape première qui consiste à déposer les données sur un support numérique pour les rendre accessibles. Cela peut être un ordinateur personnel, un disque partagé ou tout autre organe de dépôt. Le stockage permet d'assurer la continuité de l'exploitation sur du court terme. A ce stade, la donnée n'est ni sauvegardée et ni sécurisée.

**Sauvegarder** : La sauvegarde consiste à dupliquer les données sur un support numérique externe à celui où elles sont stockées. L'objectif est de pouvoir les retrouver en cas de perte ou de dégradation de l'organe de stockage. Il s'agit d'une sauvegarde octet par octet dans une perspective de court ou de moyen terme. La recherche de la préservation de l'intelligibilité des données n'est pas un élément pris en compte.

Cette étape de sauvegarde doit s'accompagner d'une réelle politique de sauvegarde, qui détermine en fonction de la criticité et de la sensibilité des données combien de copies de sauvegarde on établit par jour, par semaine, par mois. Les sauvegardes se font le plus souvent avec des logiciels spécialisés qui permettent de définir ce qu'on sauvegarde et sa fréquence. Le logiciel permet également de restaurer, c'est-à-dire de rétablir les données d'une certaine sauvegarde choisie. La sauvegarde est mise en place par les administrateurs système et réseaux. Dans le cycle de vie de la donnée, les procédures de sauvegarde doivent être définies lors de la partie *Collecter*.
Laurent Pelletier, lors de l'ANF PostgreSQL Administration, a présenté les questions à se poser pour définir sa politique de sauvegarde autour des bases de données.

## Sauvegardes

Laurent Pelletier, INIST-CNRSANF « PostgreSQL Administration », réseau rBDD, Sète, 2017

Archiver : L'archivage consiste à ranger un document dans un lieu où il sera conservé pendant une période plus ou moins longue et d'y associer les moyens pour réutiliser les données : la réutilisation se faisant en ajoutant de l'intelligence à la sauvegarde. Le contenu des documents archivés n'est pas modifiable. Par contre le contenant (format) des documents archivés peut être modifié (pour éviter l'obsolescence logicielle).

Le terme archive est défini par le législateur : les archives sont l'ensemble des documents, y compris les données, quels que soient leur date, leur lieu de conservation, leur forme et leur support produits ou reçus par toute personne physique ou morale, et par tout service ou organisme public ou privé dans l'exercice de leur activité (art. L. 211-1 du code du patrimoine). Les données de la recherche entrent pleinement dans le périmètre des archives.

Pour en savoir plus sur le statut des archives scientifiques du CNRS et sur leur délai de conservation, nous vous conseillons ces deux documents :

## Textes réglementaires et durée de conservation

Marie-Laure Bachèlerie, DAJ-CNRSSéminaire « Archivage Numérique des Données de Recherche », réseau SARI, Grenoble, 2019

## Traçabilité des activités de recherche et gestion des connaissances - Guide pratique de mise en place

Alain Rivet, CERMAV & Marie-Laure Bachèlerie, DAJ-CNRS & Auriane Denis-Meyere, IBS & Delphine Tisserand, ISTerreMITI-CNRS, 2018

Préserver : Cette action fait référence au fait de garantir, protéger, mettre à l'abri, sauver d'un dommage ou d'une destruction (cf. notion de sauvegarde) et au fait de tenir dans le même état, en bon état (intelligible). Elle fait aussi référence à la notion de permanence dans le temps (cf. notion d'archivage). Le synonyme « conserver » est utilisé quand il est fait référence à une politique.

Pérenniser : Ce verbe est souvent utilisé à la place de préserver quand on pense archivage pérenne. L'archivage pérenne a pour fonction d'assurer la conservation à long terme des données, leur accessibilité tout en préservant leur intelligibilité, comme rendre accessible en lecture des données immuables (archives de documents administratifs, données de mesures expérimentales, résultats de simulations coûteuses à produire, etc.).

Dans l'article « l'archivage des données de la recherche à l'Inra. Eléments de réflexion, démarche et perspectives », les auteurs indiquent que pour eux, la pérennisation et la préservation sont le même concept : La pérennisation (ou préservation) permet de faire face à la perte d'informations d'identification ainsi qu'à l'obsolescence des supports et des logiciels. Elle consiste en effet à identifier et à conserver des documents et des données pour les rendre accessibles sur le moyen (10 ans et plus) et le long terme (50 ans et plus)

Dans la suite de ce chapitre, nous utiliserons les termes « préserver / préservation » qui sont les termes le plus utilisés actuellement.
## 6.1.2 Préserver la masse de données scientifiques

Cette présentation est une bonne entrée en la matière. Cristinel Diaconu introduit sa présentation en illustrant le « Big Bang » des données et en questionnant le destin des masses de données scientifiques (*big scientific data*) sur le long terme. Il explique la fragilité des données numériques et la limite dépassée des capacités de stockage des données. Pourtant les données scientifiques sont riches en information, car structurées selon un plan de recherche et une démarche scientifique, elles sont de plus en plus massives et diverses, produites avec des efforts humains et financiers significatifs, elles englobent des connaissances uniques qu'il faut absolument préserver. Partant d'exemples issus de la physique des hautes énergies produits par des instruments gigantesques pour des collaborations internationales, il démontre l'importance de se préoccuper du sort de ces données et de planifier leur préservation. Il aborde la question du risque associé à la réutilisation, de l'organisation sur le long terme, et des différents modèles de données et niveaux de préservation.

La dernière partie de sa présentation est consacrée au projet **PREDON** qui propose une approche nouvelle mélangeant les capacités scientifique, technique et organisationnelle des grandes collaborations en physique des particules et astrophysique pour définir et construire un système robuste de stockage et analyse des données à long terme. Il présente les principaux défis scientifiques associés à ce projet (nécessité d'identifier les demandes et possibilités techniques pour une approche unifiée, besoin de cohérence et standardisation, de mise en place d'un suivi des lots de données, etc), le plan multi annuel, les compétences et challenges dans la préservation des données, la méthodologie de l'archivage au CINES.

### La préservation des données scientifiques

Cristinel Diaconu, CPPMFRéDoc « Gestion et valorisation des données de la recherche », réseau Renatis, Aussois, 2013

## 6.1.3 Protéger et sécuriser le patrimoine scientifique

L'analyse de risque suit un processus normé (ISO 2700x) comme nous le montre Alain Rivet. Cette présentation inclut une étude de cas sur l'utilisation d'un portable par un chercheur qui illustre le passage de la théorie à la pratique.

La sécurité de l'information est définie comme la « protection de la **confidentialité**, de l'**'intégrité** et de la **disponibilité** de l'information ». Elle est aujourd'hui une des problématiques majeures de nos unités et s'appuie sur la mise en place des Politiques de Sécurité des Systèmes d'Informations (PSSI) par les services compétents au sein des structures de recherche.

Nous pouvons résumer la finalité de la « protection du patrimoine scientifique » comme étant le fait de :

- garantir la disponibilité de l'outil de travail pour l'ensemble des personnels de la structure;

- garantir (si besoin) la confidentialité des informations;

- garantir l'intégrité des informations et des personnes;

- assurer la protection des données sensibles de la structure (données scientifiques et techniques; données de gestion administrative, données individuelles);

- assurer la protection juridique (risques administratifs, risques pénaux, atteinte à la réputztion scientifique ou à l'image institutionnelle).

### L'analyse de risques dans le cadre du système d'information

Alain Rivet, CERMAV6ème rencontres du Réseau Qualité en Recherche, réseau QeR, Biarritz, 2015

Cyril Bras ajoute un quatrième critère pour définir le niveau de sécurité d'un élément du système d'information : la **preuve** qu'il définit comme la propriété d'un bien permettant de retrouver, avec une confiance suffisante, les circonstances dans lesquelles ce bien évolue. Cette propriété englobe notamment :

- la traçabilité des actions menées;
— l’authentification des utilisateurs;

— l'imputabilité du responsable de l'action effectuée.

Les solutions peuvent être apportées à différents niveaux :

— la sauvegarde avec des outils comme Rsync et Bacula;

— le chiffrement des données;

— les droits d'accès;

— la protection réseau;

— l'éducation des utilisateurs.

La sécurisation des données (accès, sauvegarde, archivage...)

Cyril Bras, CERMAV7ème rencontres du Réseau Qualité en Recherche, réseau QeR, Grenoble, 2017

La protection du patrimoine scientifique et technique est l'affaire de tous, mais elle ne se limite pas à des mesures
techniques.

Sans prise de conscience de tous sur la nécessité de préserver le patrimoine scientifique, une disparition (partielle sinon généralisée) de nos données est plus que probable. Marion Massol lors de sa présentation au séminaire SIST en 2016 nous rappelle cependant que des solutions d'avenir existent déjà (au CINES).

Patrimoine scientifique en danger : des solutions d'avenir existent déjà

Vidéo : Marion MASSOL, CINESSéminaire SIST 2016 : réseau SIST, Montpellier, 2016

6.2 Préserver les objets numériques

Tous les objets numériques ne nécessitent pas les mêmes opérations pour être préservés. Leur préservation dépend par-
fois de leur nature (données textuelles, données numériques, données audiovisuelles, modèles et codes informatiques
..), du niveau de leur protection (chiffrés, non chiffrés) de leur façon d'être collectés (observateur, capteur, modèle,
etc) ou de leur évolution dans le temps (stable, croissante, révisable).

Voici quelques exemples de préservation d'objets numériques qui ont fait l'objet de présentation.

6.2.1 Les données d'un tableur

Marie-Claude Quidoz revient sur les quatre risques menaçant inéluctablement un fichier sur une longue période et donne des pistes d'améliorations possibles. Elle fait trois recommandations importantes :

— ne pas penser uniquement format ouvert, mais penser aussi format durable pour une sauvegarde à long terme,

— dans le monde des tableurs, où à ce jour les seuls formats durables sont CSV / TXT, ne pas oublier de prendre en compte, lors de la création des fichiers, la perte de fonctionnalités de ce format par rapport aux formats natifs,

— avoir le réflexe de valider son fichier avec l’outil FACILE du CINES.

Sécuriser les données produites par les carnets de terrain électroniques

Marie-Claude Quidoz, CEFEAtelier « Carnets de terrain électroniques », Montpellier, 2018
## 6.2.2 Les bases de données

En Avril 2004, le CINES a publié un « Guide Méthodologique pour l'archivage des bases de données » que nous recommandons fortement, même s'il est un peu ancien (la famille NoSQL est absente). Il contient les bonnes questions à se poser (est-ce une base de données vivante / consultée / cumulative ?), est-ce une base de données pilotée par une interface ? etc). Il présente les différents modes de sauvegarde possibles d'une base de données avec pour chacun leurs avantages et leurs inconvénients. Il liste les différentes documentations à joindre. Et surtout il sensibilise l'utilisateur sur la problématique de l'interface qui du point de vue préservation est un problème à prendre en compte en tant que tel (maillon faible).

En novembre 2014, le réseau rBDD a consacré une journée à cette thématique « Journée de sensibilisation à la sécurisation et à la pérennisation des données ». À cette occasion, Michel Jacobson a fait une présentation dans laquelle il présente le contexte de la pérennisation des bases de données, le format *Software Independent Archiving of Relational Databases* (SIARD) et un retour d'expérience de l'utilisation de ce format pour la matrice cadastrale numérique.

### Retour d'expérience sur l'utilisation du format SIARD pour l'archivage des bases de données relationnelles

Vidéo : Michel Jacobson, LLLJournée « Sensibilisation à la sécurisation et à la pérennisation des données », réseau rBDD, Paris, 2014

## 6.2.3 Les données chiffrées

Dans cette présentation, François Morris aborde le cas des données protégées par un chiffrement. Après un rappel de ce qu'est le chiffrement, il présente le chiffrement dans la durée : archivage des données chiffrées et utilisation de ces données, donc comment déchiffrer dans le futur ces données archivées.

### La pérennisation des données chiffrées ? Quel est l'impact du chiffrement sur le long terme ?

Vidéo : François Moris, CNRSJournée « Sensibilisation à la sécurisation et à la pérennisation des données », réseau rBDD, Paris, 2014

## 6.2.4 Les données à caractère personnel

Dans cette présentation, Emilie Masson et Patrick Guillot proposent une carte mentale avec deux parties distinctes. À droite du terme « données personnelles et archivage » ils donnent une définition des données à caractère personnel et des traitements de données personnelles. À gauche du terme « données personnelles et archivage », ils rappellent les obligations de la RGPD en termes de conservation après l'exercice de la finalité et ils établissent des recommandations en fonction de trois types d'archives : archives courantes / archives intermédiaires et archives définitives.

### Données personnelles et archivage

Emilie Masson, SPD-CNRS & Patrick Guillot, Université Grenoble AlpesSéminaire « Archivage Numérique des Données de Recherche », réseau SARI, Grenoble, 2019
### 6.2.5 Les logiciels / les codes sources

La préservation des logiciels et des codes sources est indispensable pour assurer la reproductibilité de la science. Le projet Software Heritage a pour objectif de collecter, préserver et rendre disponible le code source (et son historique) de tous les logiciels publiquement disponibles. Une présentation du projet est disponible dans la section *Infrastructures* de ce guide.

## 6.3 Archiver les objets numériques

L'archivage des objets numériques s'appuie sur les mêmes concepts que la préservation, mais elle demande de choisir un centre d'archivage homologué aux fonctionnalités d'interrogation moindres.

### 6.3.1 Archivage à long terme et politiques de préservation

Ces retours d'expériences recueillis lors du séminaire « *Archivage Numérique des Données de Recherche* » (Grenoble, novembre 2019) illustrent les démarches en cours dans certains instituts et sur certaines infrastructures pour mettre en oeuvres des politiques d'archivage et de préservation des données.

Ces présentations offrent un panorama des différents processus ou démarches d'archivage à long terme mis en place dans diverses disciplines scientifiques. On y découvre les politiques de gestion ou de partage des données et les démarches spécifiques à chaque structure pour mettre en place ou organiser un système d'archivage et de préservation des données sur le long terme.

Pour commencer, Michel Jacobson présente l'offre de service de la Très Grande Infrastructure de Recherche (TGIR) Huma-Num pour l'archivage à long terme. Ce service co-construit en partenariat avec le CINES consiste en un accompagnement méthodologique et parfois technique pour l'archivage au sein même du CINES. Il prend la forme aussi de recommandations, d'un dialogue, d'une médiation entre les producteurs de données et le CINES et assure la prise en charge des coûts d'archivage pour l'utilisateur. Il illustre sa présentation par différents exemples d'archivage en SHS.

Les présentations de Yonny Cardenas et de Jean-François Perrin présentent les politiques de gestion, partage et diffusion des données au centre Paul Langevin et au centre de calcul de l'IN2P3. Yonny Cardenas insiste en particulier sur les qualités et faiblesses de la politique de gestion mise en place. Il présente un cas d'utilisation qui mobilise des compétences multidisciplinaires de chercheurs, informaticiens et documentalistes et révèle un besoin crucial d'archivage à long terme.

Gilles Duvert témoigne quant à lui de la préservation des données en Astronomie, discipline dans laquelle les données et l'interopérabilité sont au cœur de la démarche scientifique depuis 40 ans. Il signale entre autres la pratique qui consiste à archiver et documenter les données à l'aide de standards partagés au niveau international.]

#### Archivage des données à Huma-NUM

*Vidéo : Michel Jacobson, Huma-NumArchivage Numérique des Données de Recherche, 2019, Grenoble*

#### Archivage des données à l'IN2P3

*Vidéo : Yonny Cardenas, CC-IN2P3Archivage Numérique des Données de Recherche, 2019, Grenoble*

#### Gestion des données scientifiques à l'Institut Laue Langevin

Jean-François Perrin, ILLArchivage Numérique des Données de Recherche, 2019, Grenoble
## L'archivage des données en astronomie

**Vidéo** : Françoise Genova, observatoire astronomique de Strasbourg, Gilles Duvert, IPAG, OSUG et JMMC Archivage Numérique des Données de Recherche, 2019, Grenoble

## 6.3.2 Les plateformes d'archivage des données

Les plateformes d'archivage sont décrites dans la partie *Infrastructures*.

## 6.4 Sélectionner les données pertinentes

Cette étape nécessite une phase de sélection des informations pertinentes (validées, utiles...) pour son activité tout en se préoccupant de leur exploitation future à travers les problématiques de durée de vie, de confidentialité et de sécurité des données.

Plusieurs critères sont à prendre en considération :

- la date et la fréquence à laquelle faire cette sélection : fin de thèse, de projet ou de contrat / avant de quitter son emploi / à date régulière / etc;

- la durée de conservation : durée officielle pour les documents administratifs, à définir en fonction des besoins pour les données scientifiques;

- l'obligation administrative de destruction éventuelle;

- la nécessité d'anonymisation éventuelle;

- le format, la nature des données qui définiront leur lisibilité dans le temps;

- les supports d'enregistrement, d'utilisation et de stockage des données;

- la criticité et donc le niveau de sécurité et d'accessibilité nécessaires pour protéger les données;

- le coût de ces supports ou encore des modifications de format de fichiers, ou bien de l'espace de stockage nécessaires à la conservation des données.

Ses critères ont été établis dans le cadre de l'archivage pérenne, mais ils s'appliquent tout à fait à l'archivage (nota bene : la différence entre archive pérenne et archive porte sur la durée de conservation).

Dans la présentation référencée, Lorène Béchard et Marion Massol présentent le Centre Informatique National de l'Enseignement Supérieur (CINES), ses missions et l'infrastructure d'archivage du CINES. Elles abordent les différents formats, le cas particulier de l'archivage des bases de données et les questions à se poser avant d'archiver. Elles précisent que l'archivage pérenne des documents électroniques consiste à conserver le document et l'information qu'il contient :

- dans son aspect physique comme dans son aspect intellectuel,

- sur le très long terme et au-delà,

- de manière à ce qu'il soit en permanence accessible et compréhensible.

### Les critères à prendre en compte pour la conservation des données

**Vidéo** : Lorène Béchard, CINES & Marion Massol, CINES Journée « Sensibilisation à la sécurisation et à la pérennisation des données », réseau rBDD, Paris, 2014

Dans cette présentation, après avoir évoqué le contexte réglementaire en matière de gestion d'**archives publiques**. Magalie Moysan, coordinatrice du pôle Sécurisation des données et documents et responsable du département archives à l'Université de Paris, aborde les enjeux de leur préservation ainsi que les outils et méthodes disponibles pour procéder à leur sélection. Elle insiste sur le statut « d'archives publiques » souvent méconnu dans nos établissements et sur les obligations légales et réglementaires qui y sont associées notamment l'obligation de bien gérer, conserver et archiver ses documents ou l'interdiction de les détruire sans visa préalable des autorités compétentes. Elle explique ensuite
l'intérêt de concevoir l'archivage comme un moyen de « conserver les preuves », de garantir une antériorité, d'assurer
le suivi d'une activité, de fiabiliser les résultats et de constituer un patrimoine scientifique. La sélection des données
en vue de leur conservation suppose très en amont de pouvoir anticiper cette tâche en procédant à une description
rigoureuse des données et de leur contexte de production (contenu, date, modalité d'entrée, conditions d'accès etc.).
Le processus de sélection s'organise autour de quelques grands principes (intérêt scientifique, juridique, historique
de la donnée, intelligibilité de la donnée) et se détermine souvent dans le cadre d'un échange entre scientifiques et
archivistes. Les référentiels de conservation sont des outils d'aide intéressants pour accompagner le processus de
sélection.

Sélectionner les données pour la préservation : enjeux et méthodes

Magalie Moysan, Université de ParisAtelier Dialogu'IST « Rendre FAIR les données, mais quelles données préserver ? », réseau Renatis, 2020

6.5 S'appuyer sur les enseignements des retours d'expérience

Le premier retour d'expérience du siècle dernier est un échec tandis que le deuxième datant du début du XXIe siècle est synonyme de succès.

6.5.1 Retour d'expérience sur des données numériques en Écologie

À travers ce retour d'expérience, Marie-Claude Quidoz explique pourquoi, des données pourtant préservées avec
attention au CEFE en 1984, ont été impossibles à réutiliser vingt-cinq ans plus tard. Cette expérience malheureuse est
riche d'enseignements et permet très rapidement de comprendre sur un exemple concret les difficultés rencontrées qui
sont de quatre ordres :

— l'obsolescence matérielle;

— l'obsolescence logicielle ;

— l'obsolescence du format du fichier ;

— la perte de signification du contenu.

Retour d'expérience - Les données de l'Écothèse Méditerranéenne

Vidéo : Marie-Claude Quidoz, CEFEJournée « Sensibilisation à la sécurisation et à la pérennisation des données », réseau rBDD, Paris, 2014

6.5.2 Retour d'expérience sur des données orales en SHS

Michel Jacobson débute sa présentation par la présentation de la plateforme technique Cocoon pour « COllections de CORpus Oraux Numériques ». C'est une plateforme technique qui accompagne les producteurs de ressources orales, à créer, structurer et archiver leurs corpus ; un corpus pouvant se composer d'enregistrements (en général audio) accompagnés éventuellement d'annotations de ces enregistrements. Cette plateforme s'appuie sur les services d'Huma-Num. Ensuite, il détaille les différentes étapes suivies pour mener à bien l'archivage pérenne mis en place en collaboration avec le CINES.

Organisation du Centre de ressources numériques Cocoon comme service versant pour l'archivage de données orales en SHS
vidéo Michel Jacobson, Journée « Sensibilisation à la sécurisation et à la pérennisation des données », réseau rBDD, Paris, 2014
# CHAPITRE 7

## Publier et diffuser

Cette dernière étape d'un projet de recherche représente en quelque sorte la finalité de toute une politique de gestion de données puisqu'elle vise, dans un contexte de Science ouverte, à publier et diffuser les données de manière à ce qu'elles soient bien accessibles et réutilisables selon des formats et des processus interoperables.

L'accompagnement des réseaux métiers s'exerce sur le processus de publication des données dans des entrepôts ou des plateformes techniques, pour en permettre l'accès, ainsi que sur la documentation des données avec des métadonnées descriptives provenant de vocabulaires contrôlés et de leurs formats d'exploitation pour en assurer la réutilisabilité. Ainsi, les réseaux travaillent sur l'ensemble des informations (données, métadonnées, modes opératoires, échantillons, publications, visualisation et interfaces graphiques) nécessaires à la mise en œuvre des supports de diffusion et de valorisation les plus pertinents en rapport avec l'objectif du projet initial.

Cette étape de publication et de diffusion est en outre accompagnée désormais d'une action nécessaire d'identification des données via des identifiants pérennes lors du dépôt dans des entrepôts de données.

## 7.1 Communiquer et documenter

### Finaliser le Plan de Gestion de Données

Pour rappel, en fin de projet, il ne faut pas oublier de mettre à jour et finaliser la rédaction du plan de gestion de données. Il est nécessaire de s'assurer que les premières informations saisies sont encore valides et effectuer une mise à jour en ajoutant les dernières informations disponibles.
## 7.2 Publier les métadonnées

### Utilisation de catalogues de métadonnées

Les catalogues de métadonnées représentent un moyen cohérent et rigoureux pour décrire et publier des jeux de données. Ils permettent de faciliter la recherche et l'identification des données (F de FAIR).

Pour être interopérables, ces catalogues s'appuient en général sur des normes pour représenter les métadonnées. Par exemple, dans les sciences de l'environnement les normes ISO 19115 et ISO 19139 sont des références pour représenter l'information géographique à l'aide de métadonnées dans les domaines où les données sont géospatialisées.

- L'ISO 19115-1 définit le schéma requis pour décrire des informations géographiques et des services au moyen de métadonnées. Elle fournit des informations concernant l'identification, l'étendue, la qualité, les aspects spatiaux et temporels, le contenu, la référence spatiale, la représentation des données, la distribution et d'autres propriétés des données géographiques numériques et des services.

- L'ISO 19139 définit le schéma d'implémentation et d'encodage XML pour représenter les métadonnées ISO 19115.

En ce sens, dans le domaine environnemental où les données proviennent fréquemment de mesures géolocalisées sur le terrain, le logiciel GeoNetwork est une des références importante pour décrire et représenter les jeux de données géolocalisés et constituer un catalogue qui inventorie les différents jeux de données d'un Institut.

Grace a l'utilisation de protocoles d'échanges normalisés, ce logiciel permet d'interagir avec d'autres catalogues de ressources spatialisées via le protocole CSW de l'OGC (Catalogue Services for the Web) et permet ainsi de construire un réseau de catalogues interagissant les uns avec les autres, réseau notamment demandé par la Directive Européenne Inspire.

Le logiciel GeoNetwork utilise, en outre, le protocole WMS (Web Map Service) de l'OGC, pour pouvoir interagir avec des serveurs cartographiques comme GeoServer, ce qui permet de représenter les points de mesures sur une carte et de pouvoir accéder aux données brutes associées à un point de mesure géoréférencé.

L'utilisation des logiciels GeoNetwork et GeoServer a été traitée par une action de formation ANF du réseau SIST pour laquelle on trouvera les informations sur les pages formation du site SIST

### Documentations sur les logiciels étudiés GeoNetwork et GeoServer

J. Fabre, M. Libes, O. Lobry, D. Mallarino, M. Rouan, J. Schaeffer, ANF SIST 2017 Fréjus

Le recueil des métadonnées ainsi que la rédaction et la mise à jour des métadonnées dans des fiches adaptées sont souvent ressentis comme contraignants. Cependant le logiciel GeoNetwork propose une interface de programmation (API) qui permet d'automatiser la constitution des catalogues. Plusieurs développements se sont intéressés à l'utilisation de l'interface de programmation (API) de Geonetwork pour pouvoir insérer automatiquement des métadonnées dans les fiches avec des programmes écrits en langage « R ».

C. Bernard, J. Fabre, et O. Lobry indiquent comment alimenter un catalogue de données GeoNetwork de l'OSU Oreme, de manière automatique à partir de données stockées dans une base de données interne à l'unité.

### Mise en place de catalogues INSPIRE et de leur alimentation automatique

C. Bernard, J. Fabre, et O. Lobry, Séminaire SIST16 Montpellier

De la même manière, Emmanuel Blondel est l'auteur d'un ensemble de bibliothèques de programmation écrites en « R », destinées à faciliter l'insertion de métadonnées dans les catalogues « GeoNetwork ». Ces développements ont été présentés lors d'un atelier organisé par le réseau RBDD et SIST :

- Atelier « Métadonnées et R »

- Écrire et Lire des métadonnées avec la librairie R *geometa*

- Gérer des données dans GeoServer avec la librairie R *geosapi*
— Gérer des métadonnées dans GeoNetwork avec la librairie R *geonapi*

## GeoFlow : workflow R pour gérer les données spatiales

Julien Barde, Emmanuel Blondel et Wilfried HeintzSéminaire SIST19 Toulouse

Ce logiciel de catalogage est utilisé dans de nombreux portails de données comme le catalogue Sextant d'Ifremer pour lequel M. Treguer nous indique les services de l'OGC utilisés.

## Visualisation et analyse des données marines et littorales avec Sextant : Utilisation des services OGC

Michael TreguerSéminaire SIST16 Montpellier

A titre d'exemple, de nombreux OSU (Observatoire des Sciences de l'Univers) mettent en oeuvre ces catalogues « geonetwork » très utiles pour inventorier les jeux de données disponibles dans les unités de recherche :

- portail de données OSU Oreme

- portail de données Indigeo

- portail de données OSU Pytheas

B. Debray nous présente le projet DataOSU à l'Observatoire de Besançon destiné à élaborer un portail de données original propre à l'OSU Theta. Il décrit toute l'organisation et le développement nécessaire à la réalisation du projet. La nécessaire collecte des métadonnées auprès des chercheurs et le mapping sémantique destiné à assurer l'interopérabilité avec les standards existants du Dublin core, IVOA, Datacite, GBIF

## Le projet Dat@OSU de gestion et valorisation des données de la recherche

Bernard Debray, Univers, Transport, Interfaces, Nanostructures, Atmosphère et environnement, MoléculesSéminaire SIST16 Montpellier

### 7.2.1 La directive européenne « INSPIRE »

La directive INSPIRE, élaborée par la Direction générale de l'environnement de la Commission européenne en 2007, vise à établir en Europe une infrastructure de données géographiques pour favoriser la protection de l'environnement, assurer l'interopérabilité entre bases de données et faciliter la diffusion, la disponibilité, l'utilisation et la réutilisation de l'information géographique en Europe. INSPIRE vise ainsi à mieux partager les données de la recherche.

Marc Leobet, chargé de mission à la Mission information géographique du ministère en charge du développement durable pose, dans cette présentation réalisée en 2013, le cadre de la Directive Inspire. Il présente tout d'abord l'utilité de cette Directive (identification des données, gestion de la confidentialité, les problèmes de conventionnement et la qualité des données), son contexte, les obligations qu'elle induit, le contexte autour de la réutilisation des données du secteur public et l'application de la Directive inspire dans le domaine de la recherche.

## La Directive INSPIRE pour les néophytes

F. Merrien, M. Léobet, M. Francès Mission de l'information géographique du ministère de l'Environnement

## Gestion et valorisation des données de la recherche

Marc Leobet, Chargé de mission et PCE INSPIREFrédocs2013 -7 au 10 octobre 2013, Aussois
## 7.2.2 Les portails nationaux et européens

### Les pôles de données nationaux en environnement

Les catalogues et portails d'accès aux données se matérialisent également au niveau national où une infrastructure de recherche (IR) Data terra a été créée pour accéder aux données spatiales et in situ du système Terre.

La mission de l'IR Data Terra consiste à organiser de manière intégrée la diffusion et l'accès aux données, en mettant à disposition les données, les produits et des services relatifs à l'observation du système Terre, via les pôles de données et de services existants :

#### Présentation de l'IR Data terra

Richard Moreno, directeur technique IR Data Terra Séminaire SIST 2019, OMP Toulouse

l'IR Data Terra est constitué de quatre pôles de données (ODATIS, AERIS, ForM@Ter & Theia dont la mission principale est de mettre à disposition des données, des produits, des logiciels, des outils et/ou des services destinés en premier lieu à la communauté scientifique française dans le cadre de ses recherches sur le système Terre.

Les informations proposées par les pôles de données sont aussi fondamentales pour la mise en œuvre des politiques publiques. En permettant de mieux comprendre la structure et le fonctionnement du système Terre, les travaux utilisant ces données ont un impact socio-économique important dans des domaines tels que les risques naturels, le changement climatique, les ressources minérales ou les ressources en eau. Dans ce contexte, les pôles servent aussi la communauté internationale (missions satellites, réseaux d'observation internationaux, partenariats pour le développement).

Les politiques opérationnelles de ces pôles sont suivies par le réseau SIST où elles ont été présentées :

- Données océanographiques : Pôle Odatis, supports de présentation.

- Données atmosphériques : Pôle Aeris, supports de présentation.

- Données terre solide : Pôle Form@ter, supports de présentation.

- Données surfaces continentales : Pôle Theia, supports de présentation.

#### Les portails de données européens

Par ailleurs, de grands projets européens mettent désormais en place des portails d'accès à très large échelle. C'est le cas du portail du projet Seadatanet qui vise à rassembler les données marines de plus de 30 pays européens. L'intérêt de ces portails est de fournir toutes les garanties d'une interopérabilité maximale basée sur des protocoles standards et des thesaurus et vocabulaires contrôlés du British Oceanographic Data Center : BODC. Le projet européen Seadatanet vise à élaborer et mettre en place un portail européen d'accès aux données marines en se basant sur de nombreux standards rendant les données FAIR.

Seadatanet est un exemple d'envergure européenne pour la mise en place de standards d'operationalisation. Il repose sur de nombreux vocabulaires contrôlés fournis par le BODC. Une présentation du projet Seadatanet a été faite par Michele Fichaut et Florence Conquet.

#### Présentation du projet SeaDataNet, interopérabilité à l'échelle panéuropéenne

Michèle Fichaut, Systèmes d'Informations Scientifiques pour la Mer Séminaire SIST15 OSU Pytheas Marseille 2015

Soumaya Lahbib au séminaire SIST18 à l'observatoire OVSQ de Versailles, présente un exemple de dépôt de données de cytométrie en flux dans le portail de données Seadatanet. Il est intéressant de prendre connaissance de la démarche et du workflow de traitement nécessaire pour intégrer des données dans un portail opérable qui respecte un grand nombre de standards.

**Interopérabilité des données issues d'analyses par Cytométrie en Flux dans l'infrastructure européenne Sea-DataNet**