# Grid'5000 et CIMENT, la synergie grenobloise

Pierre Neyron, Olivier Richard

► To cite this version:

Pierre Neyron, Olivier Richard. Grid'5000 et CIMENT, la synergie grenobloise. 2016. hal-01517978

HAL Id: hal-01517978

https://inria.hal.science/hal-01517978v1

Submitted on 4 May 2017

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
<figure><img src="image_2.png" /></figure>

# Grid'5000 et CIMENT,
la synergie grenobloise

Pierre Neyron (Pimlig) / Olivier Richard (DataMove)

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

Inria
INVENTORS FOR THE DIGITAL WORLD

<figure><img src="image_5.png" /></figure>

UNIVERSITÉ
Grenoble
Alpes

<figure><img src="image_6.png" /></figure>
# Le synergie grenobloise

<figure><img src="image_7.png" /></figure>

Grid'5000

Autres sites

Une proximité des plates-formes

Grid'5000 Grenoble + CIMENT Pôle Info = « Digitalis »

<figure><img src="image_8.png" /></figure>

FROGGY

<figure><img src="image_9.png" /></figure>

CIMENT

Autres pôles

Une mutualisation des efforts et des compétences
<figure><img src="image_10.png" /></figure>

CIMENT

# Mésocentre de Calcul Intensif de l'UGA
# Mésocentre de Calcul Intensif de l'UGA

<figure><img src="image_11.png" /></figure>

* Mise en commun de ressources du site universitaire grenoblois depuis 1998

- Machines (clusters)

- Compétences, expertises, savoir faire (logiciels)

- Efforts (ingénierie)

LIG = acteur clé

* UGA → puissance de calcul accessible à tous les personnels des labos

* Tremplin éventuel vers les centres nationaux et européens
# CIMENT : les machines

## Platforms of the HPC center of the University of Grenoble

CiGri lightweight computing grid

OAR batch scheduler

### HPC platform

Froggy

<figure><img src="image_12.png" /></figure>

3200 Xeon E5 cores @2.6Ghz
+18 GPUS K20m

<figure><img src="image_13.png" /></figure>

High performance distributed
storage (Lustre): 90 TB

<figure><img src="image_14.png" /></figure>

Infiniband FDR network

<figure><img src="image_15.png" /></figure>

Remote visu nodes

OAR batch scheduler

### Data processing platform

<figure><img src="image_16.png" /></figure>

Luke

<figure><img src="image_17.png" /></figure>

~400 cores - heterogeneous systems
and continuously evolving

<figure><img src="image_18.png" /></figure>

Local scratches on nodes
450 TB

<figure><img src="image_19.png" /></figure>

10 Gbe network

<figure><img src="image_20.png" /></figure>

Remote visu nodes

OAR batch scheduler

### Other thematic platforms

~3000 cores heterogeneous systems
federated from 10 clusters of
member laboratories

<figure><img src="image_21.png" /></figure>

NFS filesystems:
a few TB per cluster

<figure><img src="image_22.png" /></figure>

Infiniband QDR network

TOTAL

13 clusters
7068 cores
132 Tflops
1.4 PBytes

CIMENT: plateformes de calcul et pôles

<figure><img src="image_23.png" /></figure>

<figure><img src="image_24.png" /></figure>

Common distributed storage (IRODS) 1Po
# CIMENT : organisation

<figure><img src="image_25.png" /></figure>

GRICAD

GRENOBLE ALPES RECHERCHE
INFRASTRUCTURE DE
CALCUL INTENSIF
ET DE DONNEES

* Composante de la nouvelle UMS Gricad

* Pilotage par les chercheurs

- Organisation en pôles par domaine scientifique

- Correspondants dans les labos

* Groupe Opérationnel mettant à contribution les ingénieurs des labos

* Accès souple :

- Ouverture de comptes utilisateurs et création de projets au fil de l'eau

* Partage des ressources pragmatique

- Accès via un gestionnaire de tache (batch scheduler)

- Intégration de ressources dédiées (labo) avec partage en mode grille / best-effort

- Administration mutualisée

* Communauté et formations

- Partenariat avec MaiMoSINE

- Journée annuelle des utilisateurs, séminaires labo

- Formation école doctorale, groupe calcul grenoblois

- Sciences de l'univers

- Physique numérique

- Environnement

- Biologie et santé

- Chimie

- Informatique

<figure><img src="image_26.png" /></figure>

<figure><img src="image_27.png" /></figure>
# CIMENT : faits marquants

* Equipex : equip@meso (2013) → Froggy / 3000 cœurs (1M€)

* Participation à la recherche indirecte du Boson de Higgs

* Site de secours pour le calcul des trajectoires de la sonde du projet Rosetta

* Création de GRICAD (modèle CIMENT confirmé)
  → Nouveaux financements ?

* Pour le LIG

- DataMove, Polaris, Mrim, Getalp, AMA, Con...

- Accès aux ressources de calcul et de stockage

* Appli // et simulations massives

* Traces d'activité (workload) de centre Tier-2

* Études dimensionnantes sur cluster HPC homogène

- Transfert logiciel

* Ex : gestion de tâches et de ressources (cluster et grille)

- Capacité de faire évoluer les plates-formes pour nos besoins

- Échange de compétence et veille technologique en HPC
<figure><img src="image_28.png" /></figure>

Grid'5000

Instrument de Recherche
pour l'expérimentation
en informatique distribuée
# Grid'5000 – instrument scientifique

* « A **large-scale** and **versatile** testbed for **experiment-driven research** in all areas of computer science, with a focus on parallel and distributed computing including **Cloud, HPC and Big Data** »

* **Plate-forme nationale et distribuée** structurée en **Groupement d'Intéret Scientifique (GIS)**

- CNRS, Inria, CEA, CPU, CDEFI, IMT, Renater

- Implication des **scientifiques** sur chaque site

- Une équipe technique : **5-8 ingénieurs répartis sur les sites**

→ **LIG acteur majeur de la plate-forme** (pilotage, design, logiciels, utilisateurs)

* Une **communauté d'utilisateurs nationale et Internationale**

- Ouvert à **tous les partenaires académiques** depuis 2006

- Depuis fin 2013 : programme « **open access** »

* Une **renommée internationale**

- USA : projets NSF inspirés de Grid'5000 (Chameleon cloud)

- Luxembourg, Brésil, Colombie, Portugal, ...
# Grid'5000 – plate-forme expérimentale

* Infrastructure de grande échelle et mutualisée

* Une plate-forme nationale

- 9 sites avec interconnexion dédiée (10Gbps)

- 8000 cœurs (1000 nœuds)

- 500+ utilisateurs actifs chaque année

- Des clusters thématiques : HPC, Cloud, BigData

<figure><img src="image_29.png" /></figure>

* **Reconfigurabilité et contrôle**

- L'utilisateur déploie sa propre plate-forme ! (Hardware-aaS)

- Expérience sur toutes les couches logicielles

- Isolation/reconfiguration réseau

- Monitoring (performance, énergie)

- Traçabilité de la plate-forme

- Orchestration d'expérience

→ L'utilisateur déploie sa propre pile HPC, Cloud ou Big-Data !

<table><thead><tr><th>Experimental conditions injector</th><th>Application</th></tr></thead><tbody><tr><td></td><td>Programming Environment</td></tr><tr><td rowspan="3">Middleware</td><td>Application Runtime</td></tr><tr><td>Operating System</td></tr><tr><td>Virtualization layers</td></tr><tr><td></td><td>Networking</td></tr></tbody></table>
# Grid'5000 @ Grenoble

* Site Grid'5000 de Grenoble

- 3 clusters typés HPC : 1000 cores, Infiniband, GPUs

- Intégration de machines singulières exotiques, en avance de phase

- Rapprochement de GRICAD et projets de jouvence

* Financements : CPER, Inria, LIG, G-INP

→ Inria, CNRS, Idex ? ... en collaboration avec CIMENT/Gricad

* Utilisateurs Grenoblois :

- LIG : DataMove, Polaris, Erods, Corse, Con, Mrim, Sigma, Hadas/Slide

- Enseignements: Mosig, Polytech RICM, Ecole Doctorale MSTII

- 100 comptes utilisateurs actifs

- Plus de 100 publications « grenobloise » depuis 2009

* Un écosystème expérimental local fertile

- Proximité de CIMENT

- Proximité de la plate-forme equipex Kinovis

- ...
# Maîtrise du passage à l'échelle (cas HPC)

Scale of the experimentation platform
(computation power (log))

The user is the
administrator !

Grid'5000

<figure><img src="image_30.png" /></figure>

My machine
under the desk

Team/lab
machines

Experiment at scale

<figure><img src="image_31.png" /></figure>

PRACE

CIMENT

distance to specific needs
ensharing
ensharing
ensharing
ensharing
ensharing
ensharing
ensharing
ensharing
ensharing
ensharing
Conclusion : 2 plates-formes complémentaires !

<figure><img src="image_32.png" /></figure>

Grid'5000

<figure><img src="image_33.png" /></figure>

CIMENT

<table><tr><td>Objectif général</td><td>Contribution à la recherche informatique «L'objectif est la méthode »</td><td>Calcul Scientifique «L'objectif est le résultat »</td></tr><tr><td>Communauté utilisateurs</td><td>Recherche informatique « et + si affinité » Plate-forme nationale</td><td>Toutes les disciplines scientifiques Plate-forme régionale</td></tr><tr><td>Domaines d'experimentation</td><td>Multiples : HPC, Cloud, Big Data... Informatique distribuée au sens large</td><td>Calcul Intensif (cas d'usage classiques)</td></tr><tr><td>Particularité de l'Infrastructure</td><td>« Experimentation » Contrôle, reconfigurabilité, reproductibilité</td><td>« Production » Optimisée pour la puissance de calcul, traitement par lot</td></tr></table>