# Ateliers de la FAIRisation

## 1. Les principes FAIR

Sébastien Guyader

sebastien.guyader@inrae.fr

Frédéric Bray

frederic.bray@inrae.fr

13 juin 2024

<figure><img src="image_1.png" /></figure>

LICENCE OUVERTE
OPEN LICENCE

Ce travail est sous Licence Ouverte.
# Plan

## Introduction

* Répliquer / Reproduire

* Historique : la “crise de la reproductibilité”

* Sortir de la crise

## Les principes FAIR

* F...

* A...

* I...

* R...
# La “crise de la reproductibilité”

13 juin 2024 / Principes FAIR / Sébastien Guyader
# Reproductibilité : pierre angulaire de la science ?

* Répliquer un résultat : reproduire ce résultat dans les mêmes conditions

* On parle de **réplication** :

* directe ou exacte : reproduire les procédures au plus proche des conditions de l'étude initiale

* systématique : quelques paramètres accessoires varient

* conceptuelle : des différences plus notables, afin de tester la généricité des résultats

* La reproductibilité consiste à reproduire des résultats à partir du même jeu de données
# Reproductibilité : stupeur et tremblements...

* Dans les années 2010, des études publiées ont doublement marqué les esprits :

* de par des conclusions marquantes...

* ... puis de par l'impossibilité de reproduire ou répliquer les résultats

* Constats :

* des études ont estimé que seulement 11-20% des résultats précliniques en oncologie pouvaient être répliqués

* mise en évidence du phénomène de p-hacking
# Reproductibilité : ils sont gonflés !

## Per capita consumption of margarine

correlates with

**The divorce rate in Maine**

<figure><img src="image_2.png" /></figure>

* Per capita consumption of margarine in the United States · Source: US Department of Agriculture

* The divorce rate in Maine · Source: CDC National Vital Statistics

2000-2001, r=0.993, r²=0.985, p<0.01 tylervigen.com/spurious/correlation/5920

## 19th century scientist

I must find the explanation for this phenomenon in order to truly understand Nature...

<figure><img src="image_3.png" /></figure>

## 21st century scientist

I must get the result that fits my narrative so I can get my paper into Nature..

<figure><img src="image_4.png" /></figure>

facebook.com/pedromics

facebook.com/pedromics
# Reproductibilité : la crise ?

<figure><img src="image_5.png" /></figure>

Baker, M. 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (2016)
# Reproductibilité : la crise ?

## HAVE YOU FAILED TO REPRODUCE AN EXPERIMENT?

Most scientists have experienced failure to reproduce results.

<figure><img src="image_6.png" /></figure>

## WHAT FACTORS CONTRIBUTE TO IRREPRODUCIBLE RESEARCH?

Many top-rated factors relate to intense competition and time pressure.

<figure><img src="image_7.png" /></figure>

## HAVE YOU EVER TRIED TO PUBLISH A REPRODUCTION ATTEMPT?

Although only a small proportion of respondents tried to publish replication attempts, many had their papers accepted.

<figure><img src="image_8.png" /></figure>

## HAVE YOU ESTABLISHED PROCEDURES FOR REPRODUCIBILITY?

Among the most popular strategies was having different lab members redo experiments.

<figure><img src="image_9.png" /></figure>

Number of respondents from each discipline:

Biology 703, Chemistry 106, Earth and environmental 95, Medicine 203, Physics and engineering 236, Other 233
# Reproductibilité : la crise ?

* Il est apparu que la faible reproductibilité est partagée au travers des disciplines : médecine, SHS, sciences environnementales...

* De plus en plus de scientifiques deviennent suspicieux : triturage 🔄 fraude

<figure><img src="image_10.png" /><figcaption>E. Bik vs D. Raoult (Mark Harris pour BuzzFeed News, Getty Images)</figcaption></figure>
# Reproductibilité : causes de la crise

* Les causes sont multiples :

* biais de publication :
    les résultats négatifs sont rarement publiés

* “publish or perish” :
    publier toujours plus, augmenter son h-index...

* standards de publication faibles :
    les revues ne sont pas toujours très regardantes

* on ne s'adresse pas toujours à statisticien...

## THE EVOLUTION OF ACADEMIA

<figure><img src="image_11.png" /></figure>

facebook.com/pedromics
# Reproductibilité : sortir de la crise

* Changer nos pratiques en corrigeant les faiblesses de nos travaux :

* avoir une approche réflexive

* demander de l'aide si besoin

* Laisser à nos pairs **et** à tout un chacun la possibilité de scruter nos travaux

* Texte fondateur en 2016 :

<figure><img src="image_12.png" /></figure>
# Les principes FAIR

13 juin 2024 / Principes FAIR / Sébastien Guyader
# Mais alors, que FAIRe ?

* Proposer une ligne directrice pour améliorer la réutilisabilité des données produites par la science

* Les scientifiques doivent faire en sorte que leurs données soient :

<figure><img src="image_13.png" /></figure>

Q Faciles à trouver

<figure><img src="image_14.png" /></figure>

A Accessibles

<figure><img src="image_15.png" /></figure>

I Interopérables

<figure><img src="image_16.png" /></figure>

Réutilisables

<figure><img src="image_17.png" /></figure>

Les principes FAIR : sketchnote par Emmanuel Bermès.
# Comment FAIRe ?

## 1. Facile à trouver

* Métadonnées

* riches : décrire les données (et les méthodes)

* donner des identifiants uniques permanents (PIDs) et les inclure dans les métadonnées

* utiliser des entrepôts de données indexés, ex. Data INRAE

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>
# Comment FAIRe ?

## 2. Accessible

* Rendre l'accès possible

* accès par des protocoles ouverts, gratuits et standardisés

* informer des modalités d'accès (autorisations, authentification...)

* a minima, les métadonnées doivent être accessibles librement

<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>
# Comment FAIRe ?

## 3. Interopérable

* L'interopérabilité :

- structurelle : utiliser des formats ouverts, standardisés

- sémantique : vocabulaires standards (RDF/SKOS...), ontologies, thésaurus...

- vise à permettre aux données de travailler avec d'autres données et/ou systèmes

<figure><img src="image_22.png" /></figure>

<figure><img src="image_23.png" /></figure>
# Comment FAIRe ?

## 4. Réutilisable

* But ultime du FAIR, les (méta)données doivent :

- être décrites de la manière la plus complète

- être accompagnées d'une licence claire concernant l'usage des données

- se conformer aux standards du domaine

<figure><img src="image_24.png" /></figure>

<figure><img src="image_25.png" /></figure>
# A nous de FAIRe !

## Intégrer les principes FAIR au cycle de vie des données

* Importance de rédiger des PGD

* Prévoir comment et où stocker les (méta)données

* Choisir des outils et infrastructures de stockage qui répondent aux principes FAIR

* Ouvrir autant que possible, ne pas fermer plus que nécessaire

* Un exemple : SYGADE

<figure><img src="image_26.png" /></figure>

CC-BY Nicole Lambert / GRICAD / CNRS