Madbot

Thomas Denecker, Julien Seiler

► To cite this version:

Thomas Denecker, Julien Seiler. Madbot. 17ème Atelier de Données bioinformatiques de diversité, Dimitry Khvorostyanov, Mar 2024, Roscoff, France. hal-04502839

HAL Id: hal-04502839

https://hal.science/hal-04502839v1

Submitted on 13 Mar 2024

**HAL** is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>
# Madbot
Une passerelle vers la science ouverte

Julien Seiler

IGBMC & IFB - https://orcid.org/0000-0002-4549-5188

T. Denecker

IFB - https://orcid.org/0000-0003-1421-7641

<figure><img src="image_2.png" /></figure>
<figure><img src="image_3.png" /></figure>

- Contexte de la science ouverte

- Pourquoi nous en sommes arrivés à développer madbot ?

- Qu'est-ce que c'est madbot ?

- La suite du projet
<figure><img src="image_4.png" /></figure>

<figure><img src="image_5.png" /></figure>

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /><figcaption>Julien Seiler
IR CNRS</figcaption></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

Directeur des Systèmes
d'Information (IGBMC)

Co-Responsable de
l'Infrastructure Nationale de
Calcul (IFB)

Chef de projet Madbot
(IFB & IGBMC)
<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

<figure><img src="image_12.png" /></figure>

INSTITUT FRANÇAIS DU BIOPRODUITIF

<figure><img src="image_13.png" /><figcaption>Thomas Denecker
IR CNRS</figcaption></figure>

<figure><img src="image_14.png" /></figure>

<figure><img src="image_15.png" /></figure>

INSTITUT FRANÇAIS DU BIOPRODUITIF

Co-Responsable
"Développement et
déploiement logiciel"

Chef de projet Madbot

Formateur sur la
thématique FAIR
Contexte

Science ouverte

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>
<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

Data is the new oil

Clive Humby

Data is the new oil? No: Data is the new soil.

David Mccandless
<figure><img src="image_20.png" /></figure>

<figure><img src="image_21.png" /></figure>

## La réalité du déluge de données à l'IGBMC

Institut de Génétique et de Biologie Moléculaire et Cellulaire

42 équipes de recherche

570 chercheurs, ingénieurs et doctorants

## Passage de 60TB à 2,2PB en 12 ans

Depuis 2018, l'augmentation moyenne des besoins de stockage est de 24To par mois.

Seulement 30%* des données stockées concernent des projets actifs

## Les chercheurs accumulent les données sans stratégie de conservation à long terme

*Estimation basée sur un sondage auprès des équipes de recherche IGBMC en 2020

<figure><img src="image_22.png" /></figure>
<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

ENA

European Nucleotide Archive

https://www.ebi.ac.uk/ena/browser/about/statistics

Et c'est pareil dans PRIDE, SRA,...

<figure><img src="image_25.png" /></figure>
<figure><img src="image_26.png" /></figure>

UNESCO Recommendation on Open Science, nov 2021

https://unesdoc.unesco.org/ark:/48223/pf0000379949(locale=en

## Objectif : rendre la recherche accessible à tous

- Pas seulement l'accès à la **connaissance** elle-même

- Tout le processus de **création** et de **dissémination** de celle-ci

- La possibilité de **réutilisation**

- Ouverture au **dialogue** avec tous les acteurs, interdisciplinarité

- Engagement de et vers la **société**
<figure><img src="image_27.png" /></figure>

- Démocratiser l'accès aux savoirs

- Rendre la science plus cumulative, plus fortement étayée par les données, plus transparente

- Augmenter l'efficacité de la recherche en évitant de dupliquer les efforts, en ré-utilisant des données ou du matériel scientifique

- Favoriser les avancées scientifiques et l'innovation

- Favoriser la confiance des citoyens dans la science

<figure><img src="image_28.png" /></figure>
<figure><img src="image_29.png" /></figure>

70 %

des analyses en biologie
expérimentale ne sont
pas reproductibles

<figure><img src="image_30.png" /></figure>

Monya Baker, 2016
<figure><img src="image_31.png" /></figure>

Les données de la recherche sont des informations publiques :

* Principe d'ouverture par défaut et de libre utilisation (Loi Lemaire - LPRN 2016)

* Principe de gratuité (Loi Valter 2015) :

* Seule une liste fermée d'administrations peuvent fixer des redevances de réutilisation (IGN, Météo France)

* Articulation possible avec le dépôt de brevets et d'autres formes de valorisation

<figure><img src="image_32.png" /></figure>

> « aussi ouvert que possible,
> aussi fermé que nécessaire »
<figure><img src="image_33.png" /></figure>

## MINISTÈRE DE L'ENSEIGNEMENT SUPÉRIEUR ET DE LA RECHERCHE

Liberté
Égalité
Fraternité

## Premier plan national pour la science ouverte : poser les principes de la science ouverte

<figure><img src="image_34.png" /></figure>

2018-2021

<figure><img src="image_35.png" /></figure>

2021-2024

## Deuxième plan national pour la science ouverte : périmètre étendu aux algorithmes et codes sources et déclinaisons thématiques

### Mesures

4

Mettre en œuvre l'obligation de diffusion des données de recherche financées sur fonds publics

5

Créer Recherche Data Gouv, la plateforme nationale fédérée des données de la recherche

6

Promouvoir l'adoption d'une politique de données sur l'ensemble du cycle des données de la recherche, pour les rendre faciles à trouver, accessibles, interopérables et réutilisables (FAIR)
<figure><img src="image_36.png" /></figure>

<figure><img src="image_37.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Égalité
Fraternité

recherche.data.gouv.fr

## Objectifs

- Soutenir les équipes de recherche dans leur travail de structuration des données pour les rendre Faciles à trouver, Accessibles, Interopérables, Réutilisables (FAIR)

- Devenir un service de l'European open science cloud (EOSC), offrant un accès au patrimoine des données partagées et ouvertes de la recherche pour favoriser leur réutilisation

## UN ÉCOSYSTÈME AU SERVICE DU PARTAGE ET DE L'OUVERTURE DES DONNÉES DE RECHERCHE

Recherche Data Gouv est un écosystème unique, composé de femmes et d'hommes qui ont décidé de mettre en commun leurs expertises, **pour accompagner les équipes de recherche.**

**19 ATELIERS DE LA DONNÉE**
en proximité géographique des équipes de recherche pour leur apporter une première expertise dans la gestion raisonnée des données de recherche.

<figure><img src="image_38.png" /></figure>

<figure><img src="image_39.png" /></figure>

**4 CENTRES DE RÉFÉRENCE ETABLISSEMENTS**
proposent depuis plusieurs années un accompagnement propre à leurs orientations de recherche et à destination de leurs équipes de recherche complètent l'écosystème de Recherche Data Gouv.

<figure><img src="image_40.png" /></figure>

<figure><img src="image_41.png" /></figure>

REcherche data gouv

**6 CENTRES DE RÉFÉRENCE THÉMATIQUES**
diffusent les bonnes pratiques et les standards internationaux de gestion, traitement et diffusion des données dans leurs domaines scientifiques respectifs.
Ils complètent ainsi et soutiennent les ateliers de la donnée.

<figure><img src="image_42.png" /></figure>

Pôle National de Données de Biodiversité

<figure><img src="image_43.png" /></figure>

PROGE DO

<figure><img src="image_44.png" /></figure>

HUMA-NUM**

<figure><img src="image_45.png" /></figure>

DATA**
TERRA

**4 CENTRES DE RESSOURCES**
complètent l'accompagnement local par des **services en ligne et des formations**.

<figure><img src="image_46.png" /></figure>

<figure><img src="image_47.png" /></figure>

Centre de ressources
soutiens pédagogiques, e-formations
** Recherche Data Gouv

<figure><img src="image_48.png" /></figure>

Centre de ressources
comportements
** Recherche Data Gouv

<figure><img src="image_49.png" /></figure>

Centre de ressources
conseils aux étudiants
** Recherche Data Gouv

<figure><img src="image_50.png" /></figure>

Centre de ressources
entrepôt-catalogue
** Recherche Data Gouv

**1 ENTREPÔT PLURIDISCIPLINAIRE**
une solution souveraine de publication pour le partage et l'ouverture des données aux communautés qui ne disposeraient pas encore d'un entrepôt thématique reconnu.

<figure><img src="image_51.png" /></figure>

**1 CATALOGUE**
pour repérer et signaler les données déjà partagées ou ouvertes grâce à un entrepôt thématique français ou international.

<figure><img src="image_52.png" /></figure>
<figure><img src="image_53.png" /></figure>

## Montage de projet

Paragraphe sur la gestion des données

Budgéter la science ouverte (APC, data manager, stockage, ...)

<figure><img src="image_54.png" /></figure>

## Début de projet

Mise en place d'un plan de gestion des données (PGD)

<figure><img src="image_55.png" /></figure>

## Pendant le projet

Gestion des données suivant les principes FAIR

Mise à jour du PGD

<figure><img src="image_56.png" /></figure>

## Fin du projet

Partage des données "aussi ouvert que possible, aussi fermé que nécessaire"

Entrepôts de données

Open Access des publications
<figure><img src="image_57.png" /></figure>

## Montage de projet

Paragraphe sur la gestion des données

Budgéter la science ouverte (APC, data manager, stockage, ...)

<figure><img src="image_58.png" /></figure>

## Début de projet

Mise en place d'un plan de gestion des données (PGD)

<figure><img src="image_59.png" /></figure>

## Pendant le projet

Gestion des données suivant les principes FAIR

Mise à jour du PGD

<figure><img src="image_60.png" /></figure>

<figure><img src="image_61.png" /></figure>

## Fin du projet

Partage des données "aussi ouvert que possible, aussi fermé que nécessaire"

Entrepôts de données

Open Access des publications
# Pourquoi Madbot ?
Revenons aux sources

<figure><img src="image_62.png" /></figure>

<figure><img src="image_63.png" /></figure>
<figure><img src="image_64.png" /></figure>

<figure><img src="image_65.png" /></figure>

Data

<figure><img src="image_66.png" /></figure>

Metadata

<figure><img src="image_67.png" /></figure>

<figure><img src="image_68.png" /></figure>

<figure><img src="image_69.png" /></figure>

ENA
European Nucleotide Archive

EMBL-EBI

<figure><img src="image_70.png" /></figure>

<figure><img src="image_71.png" /></figure>

RÉPUBLIQUE
FRANÇAISE

Liberté
Égalité
Fraternité

recherche.data.gouv.fr

zenodo

...

<figure><img src="image_72.png" /></figure>

IFB

INSTITUT FRANÇAIS DE BIOPROGRÁMATIQUE

<figure><img src="image_73.png" /></figure>
<figure><img src="image_74.png" /></figure>

<figure><img src="image_75.png" /></figure>
<figure><img src="image_76.png" /></figure>

### / shared /

<table><thead><tr><td>Name</td><td>Last Modified</td></tr></thead><tbody><tr><td>bank</td><td>2 years ago</td></tr><tr><td>data</td><td>2 years ago</td></tr><tr><td>home</td><td>2 years ago</td></tr><tr><td>ifbstor1</td><td>a month ago</td></tr><tr><td>mfs</td><td>4 years ago</td></tr><tr><td>projects</td><td>2 years ago</td></tr><tr><td>scratch</td><td>2 years ago</td></tr><tr><td>software</td><td>2 years ago</td></tr></tbody></table>

<figure><img src="image_77.png" /></figure>
<figure><img src="image_78.png" /></figure>

<figure><img src="image_79.png" /></figure>
<figure><img src="image_80.png" /></figure>

In essence, a standard is an **agreed way of doing something**.

A standard provides the **requirements, specifications, guidelines or characteristics** that can be used for the **description, interoperability, citation, sharing, publication, or preservation** of all kinds of **digital objects** such as data, code, algorithms, workflows, software, or papers.

source: https://fairsharing.org/educational/
<figure><img src="image_81.png" /></figure>

La soumission dans les entrepôts publics est souvent une tâche complexe

Les procédures de soumission sont hétérogènes.

Les métadonnées sont souvent incomplètes, incohérentes, redondantes ou insuffisamment informatives.

<figure><img src="image_82.png" /></figure>

Quality of dictionary attributes in NCBI BioSample according to their type, in Gonçalves et al., 2019
<figure><img src="image_83.png" /></figure>

Il existe des milliers de bases de données, de logiciels et de ressources en biologie dont le niveau d'adoption des standards est inégal.

Il n'est pas toujours facile pour les biologistes et les bioinformaticiens d'identifier et d'utiliser les standards appropriés....

<figure><img src="image_84.png" /></figure>

1641 databases in NAR Database 2021

Rigden et al., 2021
<figure><img src="image_85.png" /></figure>

HOW STANDARDS PROLIFERATE:
(SEE: A/C CHARGERS, CHARACTER ENCODINGS, INSTANT MESSAGING, ETC)

<figure><img src="image_86.png" /></figure>

<figure><img src="image_87.png" /></figure>

<figure><img src="image_88.png" /></figure>

Source: https://xkcd.com/927/
<figure><img src="image_89.png" /></figure>

<figure><img src="image_90.png" /></figure>

ENA
European Nucleotide Archive
EMBL-EBI

<figure><img src="image_91.png" /></figure>

<figure><img src="image_92.png" /></figure>

IFB

<figure><img src="image_93.png" /></figure>
La European Nucleotide Archive (ENA) est une plateforme ouverte pour la gestion, le partage, l'intégration, l'archivage et la diffusion des données de séquence.

<figure><img src="image_94.png" /></figure>

<table><thead><tr><td></td><td>Interactive</td><td>Webin-CLI</td><td>Programmatic</td></tr></thead><tbody><tr><td>Study</td><td>Y</td><td>N</td><td>Y</td></tr><tr><td>Sample</td><td>Y</td><td>N</td><td>Y</td></tr><tr><td>Read data</td><td>Y</td><td>Y</td><td>Y</td></tr><tr><td>Genome Assembly</td><td>N</td><td>Y</td><td>N</td></tr><tr><td>Transcriptome Assembly</td><td>N</td><td>Y</td><td>N</td></tr><tr><td>Template Sequence</td><td>N</td><td>Y</td><td>N</td></tr><tr><td>Other Analyses</td><td>N</td><td>N</td><td>Y</td></tr></tbody></table>

```xml
<PROJECT_SET>
  <PROJECT alias="iranensis_wgs">
    <NAME>WGS Streptomyces iranensis</NAME>
    <TITLE>Whole-genome sequencing of Streptomyces iranensis</TITLE>
    <DESCRIPTION>The genome sequence of Streptomyces iranensis (DSM41954) was obtained using
    <SUBMISSION_PROJECT>
      <SEQUENCING_PROJECT/>
    </SUBMISSION_PROJECT>
    <PROJECT_LINKS>
      <PROJECT_LINK>
        <XREF_LINK>
          <DB>PUBMED</DB>
          <ID>25035323</ID>
        </XREF_LINK>
      </PROJECT_LINK>
    </PROJECT_LINKS>
  </PROJECT>
</PROJECT_SET>
```

Source: https://ena-docs.readthedocs.io/en/latest/submit/general-guide/metadata.html
Une checklist définit les métadonnées minimales et optionnelles attendues pour décrire un échantillon biologique

Elles sont basées sur les recommandations du Genomic Standards Consortium (GSC)

La checklist la plus appropriée dépend du type d'échantillon :
https://www.ebi.ac.uk/ena/browser/checklists

Checklist: ERC000020

GSC MixS plant associated

Genomic Standards Consortium package extension for reporting of measurements and observations obtained from the environment where the sample was obtained. By choosing the environmental package, a selection of fields can be made from a relevant subsets of the GSC terms.

Checklist Fields

<figure><img src="image_95.png" /></figure>

Filter fields...

<figure><img src="image_96.png" /></figure>

Filter by type:

<table><tr><td>non-sample terms</td></tr><tr><td>Collection event information</td></tr><tr><td>sample collection</td></tr><tr><td>host disorder</td></tr><tr><td>host description</td></tr><tr><td>local environment conditions</td></tr><tr><td>concentration measurement</td></tr><tr><td>host details</td></tr><tr><td>organism characteristics</td></tr><tr><td>local environment conditions imposed</td></tr></table>

<table><thead><tr><th>Field Name</th><th>Field Format</th><th>(Field Restriction)</th><th>Requirement</th><th>(Units)</th></tr></thead><tbody><tr><td>project name</td><td>① free text</td><td></td><td>mandatory</td><td></td></tr><tr><td>experimental factor</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>ploidy</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>number of replicons</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td></td></tr><tr><td>extrachromosomal elements</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td></td></tr><tr><td>estimated size</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td></td></tr><tr><td>reference for biomaterial</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>annotation source</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>sample volume or weight for DNA extraction</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td>options ▼</td></tr><tr><td>nucleic acid extraction</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>nucleic acid amplification</td><td>① free text</td><td></td><td>optional</td><td></td></tr><tr><td>library size</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td></td></tr><tr><td>library reads sequenced</td><td>① restricted text</td><td>regular expression ①</td><td>optional</td><td></td></tr></tbody></table>
<figure><img src="image_97.png" /></figure>
Bilan
C'est pas si simple...

<figure><img src="image_98.png" /></figure>

<figure><img src="image_99.png" /></figure>
<figure><img src="image_100.png" /></figure>

On ne peut pas s'engager vers la Science Ouverte à l'improviste

<figure><img src="image_101.png" /></figure>

<figure><img src="image_102.png" /></figure>

Un objectif (choisi ou imposé)

<figure><img src="image_103.png" /></figure>

Un bon Plan (de Gestion de Données)

<figure><img src="image_104.png" /></figure>

Les bons outils
<figure><img src="image_105.png" /></figure>

## Et si on pouvait...

<figure><img src="image_106.png" /></figure>

Identifier facilement l'ensemble des données associées à un projet de recherche

<figure><img src="image_107.png" /></figure>

Accéder au contexte de production et la description de chaque donnée

<figure><img src="image_108.png" /></figure>

Accompagner la publication des données

<figure><img src="image_109.png" /></figure>
<figure><img src="image_110.png" /></figure>

<figure><img src="image_111.png" /></figure>

Metadata And Data Brokering Online Tool

<figure><img src="image_112.png" /></figure>

IFB

INSTITUT FRANÇAIS DE BIOINFORMATIQUE

<figure><img src="image_113.png" /></figure>

IFB

INSTITUT FRANÇAIS DE BIOINFORMATIQUE

<figure><img src="image_114.png" /></figure>
<figure><img src="image_115.png" /></figure>

**MADBOT** (Metadata And Data Brokering Online Tool) est une application web qui fournit **un tableau de bord pour la gestion des données et des métadonnées de recherche**.

L'application permet d'agréger les métadonnées autour de projets scientifiques et d'identifier précisément où sont stockées les données au travers de nombreux connecteurs.

Elle accompagne également les chercheurs pour la publication des données et des métadonnées vers un grand nombre d'entrepôts généraliste (RGD, Zenodo, etc.) et thématique (ENA, GEO, etc.)

<figure><img src="image_116.png" /></figure>
<figure><img src="image_117.png" /></figure>

OpenLink

2020

igbmc
agence de financement de l'agence régionale de l'infrastructure biologique médicale et de l'environnement

<figure><img src="image_118.png" /></figure>

MADBOT

Sept. 2023

<figure><img src="image_119.png" /></figure>

INSTITUT FRANÇAIS DE BIOINFORMATIQUE

<figure><img src="image_120.png" /></figure>

OmicsBroker

<figure><img src="image_121.png" /></figure>

INSTITUT FRANÇAIS DE BIOINFORMATIQUE

Metark

<figure><img src="image_122.png" /></figure>

INSTITUT FRANÇAIS DE BIOINFORMATIQUE
<figure><img src="image_123.png" /></figure>

OpenLink

En 2019, l'appel à projet Flash Science Ouverte de l'ANR permet au projet OpenLink de démarrer à l'IGBMC

Un consortium 100% IGBMC

- Département informatique (porteur)

- Plateforme d'imagerie

- 3 équipes de recherche

96K€ de financement sur 24 mois

<figure><img src="image_124.png" /></figure>

<figure><img src="image_125.png" /></figure>
## Un standard pour les données des sciences de la vie

## Un modèle pour représenter les métadonnées expérimentales à travers 3 entités de base :

- **Investigation** : le contexte du projet

- **Study** : une expérimentation en un seul lieu

- **Assay** : une mesure spécifique qui cible un trait avec une méthode et une échelle.

<figure><img src="image_126.png" /></figure>

Sources: https://isa-tools.org and :
https://isa-specs.readthedocs.io/en/latest/isamodel.html
<figure><img src="image_127.png" /></figure>

<figure><img src="image_128.png" /></figure>

# METARK

Un projet qui a débuté juste avant la collaboration IFB avec SpF pour la COVID-19

Metark un outil de data brokering pour faciliter la soumission des données et des métadonnées des sciences de la Vie dans des entrepôts internationaux

Sur une demande de l'ENA pour que l'IFB deviennent le data broker national.

Basé aussi sur un modèle ISA

<figure><img src="image_129.png" /></figure>
<figure><img src="image_130.png" /></figure>

<figure><img src="image_131.png" /></figure>

<figure><img src="image_132.png" /></figure>

<figure><img src="image_133.png" /></figure>
<figure><img src="image_134.png" /></figure>

<figure><img src="image_135.png" /></figure>

penLink

Spécialisé dans la gestion des données et qui souhaitait intégrer les métadonnées

<figure><img src="image_136.png" /></figure>

METARK

Spécialisé dans la gestion des métadonnées et qui ne savait pour où étaient les fichiers de données à soumettre

<figure><img src="image_137.png" /></figure>
<figure><img src="image_138.png" /></figure>

<figure><img src="image_139.png" /></figure>

Vas-y mollo je crois
que les biologistes
les aiment bien

Ok, je commence par le
tout vert, ça va calmer
tous ceux en collant

<figure><img src="image_140.png" /></figure>
<figure><img src="image_141.png" /></figure>

<figure><img src="image_142.png" /><figcaption>**Thomas DENECKER**
Full stack developer & Scrum master</figcaption></figure>

<figure><img src="image_143.png" /><figcaption>**Julien SEILER**
Full stack developer & scrum master</figcaption></figure>

<figure><img src="image_144.png" /><figcaption>**Laurent Bouri**
Full stack developer</figcaption></figure>

<figure><img src="image_145.png" /><figcaption>**Imane MESSAK**
Full stack developer</figcaption></figure>

<figure><img src="image_146.png" /><figcaption>**Baptiste ROUSSEAU**
Full stack developer</figcaption></figure>
<figure><img src="image_147.png" /></figure>

* **Description des projets de recherche** au travers d'une structure arborescente, dont le modèle ISA (Investigation, Study, Assay)

* **Identification des données** associées aux projets

* Gestion et suivi des métadonnées

* Gestion et suivi des échantillons biologiques

* **Tableau de bord** de gestion des données

* **Publication** des données
<figure><img src="image_148.png" /></figure>

Au sein de MADBOT, chaque projet de recherche est décrit sous la forme d'un ensemble de nodes qui peuvent être des investigations, des études (study) et d'expériences (assay) sous la forme d'un arbre hiérarchique (modèle ISA).

Mais nous ne nous limitons pas qu'au modèle ISA et nous prévoyons de mettre en place de nouvelles collections de nœuds très prochainement comme projets, workspaces, etc.

Chaque élément de cet arbre peut être associés à des données, des échantillons biologiques (qui sont également des nodes) et des métadonnées.
<figure><img src="image_149.png" /></figure>

Nous souhaitons produire le plus rapidement possible
une application fonctionnelle.

## Objectifs principaux

- Démontrer que nous pouvons associer à un arbre ISA des données localisées sur différents systèmes de stockage (Galaxy et SSHFS)

- Démontrer que nous pouvons renseigner des métadonnées pour un arbre ISA et ses données

- Démontrer que nous pouvons publier ces données sur des entrepôts de références thématiques (ENA) et non thématiques (Zenodo).

L'application Madbot capable de réaliser ces objectifs est notre **Minimal Viable Product (MVP)**

Not like this....

<figure><img src="image_150.png" /></figure>

Like this!

<figure><img src="image_151.png" /></figure>
<figure><img src="image_152.png" /></figure>

<figure><img src="image_153.png" /></figure>

<figure><img src="image_154.png" /></figure>
<figure><img src="image_155.png" /></figure>

<figure><img src="image_156.png" /></figure>

Quand ? Après le MVP ou
par contribution

<figure><img src="image_157.png" /></figure>
<figure><img src="image_158.png" /></figure>

Le code source est hébergé sur Gitlab : https://gitlab.com/ifb-elixirfr/madbot

<figure><img src="image_159.png" /></figure>

<figure><img src="image_160.png" /></figure>

<figure><img src="image_161.png" /></figure>

Institut Français de Bioinformatique >

<figure><img src="image_162.png" /></figure>

Madbot

<figure><img src="image_163.png" /></figure>

Madbot

<figure><img src="image_164.png" /></figure>

Group ID: 75576438

<figure><img src="image_165.png" /></figure>

Leave group

<figure><img src="image_166.png" /></figure>

<figure><img src="image_167.png" /></figure>

New project

Subgroups and projects

Shared projects

Archived projects

Search

<table><thead><tr><th>Name</th><th></th><th></th></tr></thead><tbody><tr><td>Madbot API</td><td>★ 3</td><td>37 minutes ago</td></tr><tr><td>Madbot Client</td><td>★ 1</td><td>4 days ago</td></tr><tr><td>Madbot doc</td><td>★ 3</td><td>6 days ago</td></tr></tbody></table>

<figure><img src="image_168.png" /></figure>

<figure><img src="image_169.png" /></figure>

<figure><img src="image_170.png" /></figure>

API of Madbot, the Metadata And Data Brokering Online Tool

<figure><img src="image_171.png" /></figure>

<figure><img src="image_172.png" /></figure>

<figure><img src="image_173.png" /></figure>

<figure><img src="image_174.png" /></figure>

Web client for Madbot, the Metadata And Data Brokering Online Tool

<figure><img src="image_175.png" /></figure>

<figure><img src="image_176.png" /></figure>

<figure><img src="image_177.png" /></figure>

<figure><img src="image_178.png" /></figure>

Documentation for Madbot, the Metadata And Data Brokering Online Tool

<figure><img src="image_179.png" /></figure>
<figure><img src="image_180.png" /></figure>

## API

<figure><img src="image_181.png" /></figure>

CICD

<figure><img src="image_182.png" /></figure>

## Client

<figure><img src="image_183.png" /></figure>

<figure><img src="image_184.png" /></figure>

IFB

INSTITUT FRANÇAIS DE BOINFORMATIQUE

<figure><img src="image_185.png" /></figure>
<figure><img src="image_186.png" /></figure>

<figure><img src="image_187.png" /></figure>

<figure><img src="image_188.png" /></figure>

<figure><img src="image_189.png" /></figure>

Semantic release:

Gestion des versions et publication des packages entièrement automatisées

v1.0.0-dev.7

Ressources 4

<figure><img src="image_190.png" /></figure>

Code source (zip) ↓

<figure><img src="image_191.png" /></figure>

Code source (tar.gz) ↓

<figure><img src="image_192.png" /></figure>

Code source (tar.bz2) ↓

<figure><img src="image_193.png" /></figure>

Code source (tar) ↓

Collecte de preuves

<figure><img src="image_194.png" /></figure>

v1.0.0-dev.7 evidences--7010556.json

<figure><img src="image_195.png" /></figure>

<figure><img src="image_196.png" /></figure>

6f5c21d1

<figure><img src="image_197.png" /></figure>

<figure><img src="image_198.png" /></figure>

Collecté 1 day ago

1.0.0-dev.7 (2023-11-07)

Features

• Oauth toolkit (7dbe796)

ab503574

<figure><img src="image_199.png" /></figure>

v1.0.0-dev.7

Publiée il y a un jour par

<figure><img src="image_200.png" /></figure>
<figure><img src="image_201.png" /></figure>

<figure><img src="image_202.png" /></figure>

Une couche d'asynchronie va bientôt être ajoutée.
<figure><img src="image_203.png" /></figure>

### Authentification

<figure><img src="image_204.png" /></figure>

Madbot propose un système d'authentification oauth 2 et une possibilité d'interfacer n'importe quels identity provider.

<figure><img src="image_205.png" /></figure>

<figure><img src="image_206.png" /></figure>
<figure><img src="image_207.png" /></figure>

<figure><img src="image_208.png" /></figure>

Vault

### Outil de gestion et de protection des identifiants

#### Pourquoi stocker les identifiants ?

- Éviter de demander de se connecter sans arrêt à des outils extérieurs

- Permettre de réaliser des tâches asynchrones (publication, mise à jour des métadonnées)

- Permettre de proposer un service de data brokering
<figure><img src="image_209.png" /></figure>

## 1. Connection

<figure><img src="image_210.png" /></figure>
<figure><img src="image_211.png" /></figure>

## 2. Création d'un premier node

<figure><img src="image_212.png" /></figure>
<figure><img src="image_213.png" /></figure>

## 2. Choisir comment créer le node

<figure><img src="image_214.png" /></figure>

<figure><img src="image_215.png" /></figure>
<figure><img src="image_216.png" /></figure>

## 3. Page du node

<figure><img src="image_217.png" /></figure>
<figure><img src="image_218.png" /></figure>

## 4. Ajout d'une description

<figure><img src="image_219.png" /></figure>
<figure><img src="image_220.png" /></figure>

## 4. Création d'un datalink

<figure><img src="image_221.png" /></figure>
<figure><img src="image_222.png" /></figure>

## 4. Création d'un datalink

<figure><img src="image_223.png" /></figure>

<figure><img src="image_224.png" /></figure>
<figure><img src="image_225.png" /></figure>

## 4. Création d'un datalink

<figure><img src="image_226.png" /></figure>
<figure><img src="image_227.png" /></figure>

## 5. Page du node

<figure><img src="image_228.png" /></figure>
## 5Bis. Page du node pour un projet plus riche

<figure><img src="image_229.png" /></figure>
## 6. Gestion des membres

<figure><img src="image_230.png" /></figure>
<figure><img src="image_231.png" /></figure>

Pas encore très complète mais elle est en cours de rédaction

<figure><img src="image_232.png" /></figure>

## Our philosophy ? Connectors !

Its philosophy is to aggregate metadata around scientific projects by creating links, via connectors, to where the data is stored without storing the datasets themselves.

These connectors make Madbot highly flexible and adaptable to a wide range of research environments. It already interfaces with many data management and analysis tools used daily by researchers, such as electronic laboratory notebooks (Labguru, eLabFTW), file storage systems (NAS, Seafile), research data warehouses (Zenodo, very soon ENA), web-based analysis platforms (Omero, Galaxy) and cluster infrastructures accessible via SSH. The application's architecture is based on the ISA (Investigation, Study, Assay) standard, enabling connectors to be created with virtually all the tools.

Madbot offers a cross-disciplinary view of the data and metadata for each research project. It enables researchers and their teams to gradually adopt a virtuous approach to managing their data, while helping them to achieve FAIR publication.

All the developments and results of this project will be made available to the entire scientific community on the GitLab collaborative platform under an open licence.

<figure><img src="image_233.png" /></figure>
## Et après ?

<figure><img src="image_234.png" /></figure>

<figure><img src="image_235.png" /></figure>

IFB

elixir
FRANCE

INSTITUT FRANÇAIS DE BIOINFORMATIQUE
<figure><img src="image_236.png" /></figure>

□ Créer une connexion à un connecteur SSHFS

□ Créer un lien secondaire entre un datalink et un Sample

□ Importer une collection de métadonnées (checklist) dans un node

□ Saisir la valeur d'une métadonnée pour des types simples (Text, Choice list)

□ Sélectionner un ensemble de datalinks pour démarrer une publication

□ Créer une publication au travers d'un connecteur Zenodo

□ Suivre l'état d'une tâche de publication (tâche asynchrone)

□ Consulter les identifiants de publication associés à un datalink

□ Créer une publication au travers d'un connecteur ENA
<figure><img src="image_237.png" /></figure>

- Bancher d'autres **systèmes d'authentification**

- LifeScience AAI (Elixir)

- DOI

- GitLab (déjà testé)

- ...

- Ajout des **nouveaux connecteurs**

- Recherche data gouv

- PGD (opidor et DSW)

- iRODs

- ...

- Proposer de la **formation** pour le déploiement et l'utilisation de Madbot

- Proposer un **hackathon** pour le développement de nouveaux connecteurs
Merci !

<figure><img src="image_238.png" /></figure>

<figure><img src="image_239.png" /></figure>

IFB

elixir
FRANCE

INSTITUT FRANÇAIS DE BIOINFORMATIQUE