### 2.9.2. La problématique des données à l'INS2I

Le traitement des données à grande échelle, avec des sources de données éventuellement multiples, distribuées/réparties, et hétérogènes (structures, formats, logiciels, serveurs...) et une volumétrie en données allant du téraoctet au pétaoctet (et à l'Exaoctet dans un futur proche), est central à de multiples domaines allant du Web sémantique à la simulation numérique avec des applications en biologie/santé, sciences de l'univers et ingénierie, etc.

Les grandes tendances de la recherche en Big Data développées à INS2I portent sur des méthodes innovantes de traitement et d'analyse sur toute la chaîne de valeur de la donnée : collecte, indexation, stockage, gestion, exploitation, valorisation, accessibilité et visualisation. Les mécanismes de collecte, d'intégration de données multi-sources, de distribution des données et des calculs (Spark<fnref n="25" />, MongoDB<fnref n="26" />, Hadoop<fnref n="27" /> implantation de Map/Reduce introduit par Google, QServ système d'interrogation de base de données développé pour le LSST<fnref n="28" />...), dans des environnements Cloud, nécessitent le développement et l'optimisation de nouvelles techniques ou le portage d'algorithmes existants pour le traitement et l'analyse des données. En particulier, les travaux portent sur l'extraction des connaissances, des métadonnées et des ontologies, sur les bases de données NoSql ou graphes et sur la parallélisation des algorithmes. Le développement d'applications verticales intégrées, accessibles sur tous supports mobiles et commercialisables, déployées en mode SaaS par exemple, sera sans doute dans l'avenir un des principaux axes de valorisation. L'usine digitale, permettant de déployer des applications d'optimisation de la production industrielle et la transformation digitale sont d'autres points importants pour la recherche informatique, tant dans la modélisation des process industriels que dans l'optimisation de ces process grâce aux données émises par des milliers de capteurs. L'acceptabilité des applications par les utilisateurs est un point crucial et de nombreux travaux s'intéressent aux modes d'interaction et aux mécanismes de protection de la vie privée.

Les données massives sont souvent traitées sur des infrastructures distribuées à grande échelle (p. ex. traitement des données du LHC). Les stocker, les indexer et effectuer un post-traitement pour extraire de l'information ou en vue d'une aide à la décision est la plupart du temps un challenge et nécessite des interactions entre les diverses communautés qui produisent les données mais aussi spécialistes du cloud/HPC, de la visualisation, des bases/entrepôts de données...

Le High Performance Data Analytics (HPDA) est devenu central dans de multiples disciplines et constitue une priorité dans les programmes nationaux de pays comme la Chine où il représente une part importante des applications sur les supercalculateurs avec des applications en biologie, médecine personnalisée, préiction des catastrophes naturelles, transports... Le HPDA est d'ailleurs devenu l'un des moteurs importants de vente de supercalculateurs sur le marché. La médecine personnalisée par exemple, induit de véritables challenges en termes de volume de données à analyser avec des millions de patients.

Les besoins en *data analytics* sont en train d'exploser, renforçant la nécessité de disposer de méthodes d'analyse de données qui passent à l'échelle, de chaines complètes de traitement et d'outils d'aide à la décision, le tout en s'appuyant sur des plateformes de calcul performantes du type HPC.

Ce constat autour des masses de données à analyser et les multiples applications dans les secteurs socio-économiques (finance, industrie, santé...) expliquent le retour au premier plan des méthodes d'Intelligence Artificielle, que ce soit pour l'analyse de données (apprentissage supervisé ou non dont le Deep Learning, classification...), la logique formelle, l'aide à la décision, le traitement du langage naturel et l'argumentation..., développées dans les années 80 mais souvent trop coûteuses, qui deviennent des outils incontournables grâce aux capacités de calcul disponibles. Il n'est qu'à constater que les GAFAM, mais aussi IBM et les marchés financiers ont été parmi les premiers à réafficher toute l'importance de l'IA.

<footnote n="25">25 https://spark.apache.org/</footnote>

<footnote n="26">26 https://www.mongodb.com/</footnote>

<footnote n="27">27 http://hadoop.apache.org/</footnote>

<footnote n="28">28 http://dm.lsst.org/</footnote>
## Exemple de la plateforme Galactica utilisée pour la cosmologie (Prof. F. Toumani, Université Clermont Auvergne, Laboratoire LIMOS - UMR 6158)

La plateforme Galactica (https://galactica.isima.fr), mise en place en septembre 2015 dans le cadre du programme PlaSciDo de l'INS2I, vise le développement et la mise à disposition de services d'ingénierie et d'expérimentation à grande échelle pour les chercheurs dans le domaine des grandes masses de données. Galactica est un cluster composé de nœuds de calcul et de nœuds de stockage présentant une puissance de calcul totale de 128 cœurs (256 vCPU) à 2,40 GHz, 3,8 To de RAM et une capacité de stockage de 143 To reposant sur le logiciel Ceph. Les nœuds du cluster sont interconnectés grâce à un réseau à 10 et 40 Go/s. L'équipement de la plateforme a bénéficié d'un financement de l'INS2I et du Contrat Plan État Région (CPER) de la région Auvergne. Un objectif important de la plateforme Galactica est de mettre à la disposition des chercheurs en informatique une infrastructure de stockage et de calcul d'envergure suffisante, qui reste flexible et facile à configurer pour s'adapter aux besoins spécifiques des expérimentations dans ce domaine. Galactica offre pour cela trois niveaux de services. Un premier niveau concerne l'infrastructure en tant que service, déployée grâce à la suite logicielle OpenStack, qui permet à un chercheur de créer de manière aisée, au sein d'un environnement virtualisé, les ressources informatiques (calcul, stockage, réseau, etc.) adaptées à ses besoins. Le deuxième niveau de service concerne la possibilité pour un chercheur de créer un cluster de traitement de données grâce à l'utilisation de modèles prédéfinis (templates). Les modèles disponibles actuellement sur la plateforme concernent les principales technologies modernes d'analyse et de gestion de données massives, comme par exemple, Apache Hive (https://hive.apache.org), Apache Hadoop (http://hadoop.apache.org), Hortonworks Data Platform (https://fr.hortonworks.com), Cloudera (https://www.cloudera.com) et Apache Spark (https://spark.apache.org). De plus, grâce au service Elastic Data Processing (EDP), il est possible pour un chercheur de créer et d'exécuter des jobs sur des clusters de traitement de données déployés au sein de la plateforme. Enfin, le dernier niveau de service concerne la mise à disposition de jeux de données soit sous forme brute, par exemple, les jeux de données astronomiques LSST (2 To et 35 To), GAIA DR1 (730 Go compressés, https://www.cosmos.esa.int/web/gaia/dr1) et SDSS DR9 (8 To, http://www.sdss3.org/dr9), ou bien sous forme de «source de données». Une source de données est définie comme étant une collection de données associée à une infrastructure logicielle permettant d'exploiter ces données. Un exemple de source de données est une machine virtuelle hébergeant MySQL et une base de

données MySQL contenant le catalogue associé au jeu de données SDSS DR9. Une source de données peut être répliquée facilement, pour être exploitée par des utilisateurs différents dans des contextes différents. S'inscrivant dès sa création dans une dynamique de mutualisation des moyens et des compétences, Galactica se veut comme une plateforme ouverte aux chercheurs dans le domaine de l'analyse et de la gestion des grandes masses de données. Prévue dans un premier temps en appui aux travaux du projet PetaSky (http://com.isima.fr/Petasky), la plateforme a été ouverte ensuite à la communauté de recherche en Science des Données pour accueillir actuellement 19 projets, impliquant plus d'une soixantaine d'utilisateurs provenant de 12 laboratoires de recherche.

## Exemple de plateforme autour de la recherche d'information installée à l'Institut de Recherche en Informatique de Toulouse (IRIT) : OSIRIM

OSIRIM est une plateforme de stockage de forte volumétrie (1 Po) conçue pour l'hébergement de projets scientifiques abordant les problématiques liées aux «mégadonnées». Cette plateforme administrée par l'IRIT a été financée par le gouvernement français, la région Midi-Pyrénées, le Centre National de la Recherche Scientifique et le Fonds Européen de Développement Régional dans le cadre d'un Contrat-Plan Etat/Région. Elle est opérationnelle depuis septembre 2013 et propose des ressources de stockage et de calcul pour la recherche sur l'indexation et la recherche d'information dans des contenus multimédias.

La plateforme permet l'hébergement de projets scientifiques nécessitant le stockage et le partage de plusieurs téraoctets de données pour la réalisation d'expérimentations sur de grands volumes, le partage de corpus de données, issues par exemple de réseaux sociaux, données d'observations, données médicales anonymisées, données audio ou vidéo... et partage d'outils logiciels, par exemple pour l'évaluation de technologies Hadoop, Spark... OSIRIM est ouverte à la communauté informatique et autres domaines scientifiques souhaitant utiliser ses moyens matériels ou logiciels. L'accès à la plateforme s'effectue directement à partir d'Internet. L'hébergement des projets est gratuit. Elle dispose d'un cluster Hadoop, de Spark et d'un certain nombre d'autres logiciels ainsi que MongoDB en complément du gestionnaire de tâches SLURM, seule offre initialement disponible sur la plateforme. OSIRIM a également été utilisée en 2016 en soutien pour l'initiation à la recherche dans certaines
formations de master toulousaines essentiellement autour de l'apprentissage des technologies Hadoop. En matière de corpus, il est à noter que la plateforme OSIRIM héberge depuis septembre 2015, 1 % des tweets mondiaux (via un flux temps réel) qu'elle met à disposition des équipes intéressées par l'analyse et l'exploitation de ce corpus.

L'architecture d'OSIRIM s'articule autour :

* D'un cluster de calcul de 640 cœurs comprenant des nœuds dédiés à la gestion de la plateforme, à l'hébergement des composants pilotant les architectures logicielles déployées (gestionnaire de tâches SLURM, distribution Hadoop, Spark, MongoDB...) ainsi que les nœuds permettant aux utilisateurs de se connecter sur la plateforme pour gérer leurs données et lancer l'exécution de leurs traitements et des nœuds dédiés aux calculs. Il s'agit de 10 serveurs IBM X3755 M3 comprenant chacun 4 processeurs AMD Opteron 6262HE de 16 cœurs à 1,6Ghz, 512 Go de RAM, 2 disques de 300 Go en RAID1 et 2 liaisons à 10Gb/s. Le lancement des traitements s'effectue via le gestionnaire de tâches SLURM (*Simple Linux Utility for Resource Management*), ou par le gestionnaire de ressources Hadoop YARN.

* D'une zone de stockage d'une capacité utile d'environ 1 Po. Ce stockage est assuré par une baie EMC Isilon. Les données sont accédées en NFS et HDFS. La baie est composée de 12 nœuds X 400 de 36 disques SATA de 3 To chacun raccordés au réseau via 2 liens de 10Gb/s.

OSIRIM a permis cette année de répondre à diverses demandes d'hébergement de projets tant au sein du laboratoire qu'à l'extérieur dont :

* Grid5000 : mise à disposition d'un espace de stockage de 100 To suite au raccordement d'OSIRIM au réseau de grille de calcul Grid5000.

* Polemic avec l'UAM Mexico : analyse du comportement des utilisateurs dans les réseaux sociaux.

* CompuBioMed avec l'INSERM : *metamining* pour la recommandation en bio-santé.

* Petasky avec le LIRIS : techniques de partitionnement de données dans le domaine de la cosmologie.

* Musk avec l'université Paris Est - LISIS : traitement de grands corpus textuels (publications scientifiques, tweets et actualités, vidéo).

* SemDis avec le CLLE-ERSS : création et évaluation de bases distributionnelles du français.

* CAIR avec le LIRIS : recherche agrégative de données.

* *Tweet Contextualization* avec l'université d'Avignon : contextualisation de tweets autour d'événements.

L'offre logicielle proposée sur la plateforme permet d'accueillir, depuis le début de l'année 2017, de nouveaux projets dont certains nécessitent un hébergement de type cloud, se traduisant par le déploiement d'environnements spécifiques dédiés sous forme de machines virtuelles et exploitant des corpus de données hébergés sur la plateforme OSIRIM.

Enfin, OSIRIM offre aussi un espace d'hébergement pour les travaux de recherche d'équipes locales de l'IRIT avec des activités liées à :

* L'indexation de grandes masses de données hétérogènes pour notamment concourir à des benchmarks internationaux en recherche d'information : TREC<fnref n="29" />, CLEF³⁰...

* L'évaluation d'outils d'indexation de contenus musicaux, indexation de grands volumes d'enregistrements d'émissions de télévision internationales.

* L'indexation et recherche d'informations dans de grandes masses de textes.

* L'analyse de corpora textuels et ontologies.

* Le traitement complexe d'images.

<footnote n="29">29 Text REtrieval Conference
30 Conference and Labs of the Evaluation Forum</footnote>
### 2.9.3. Conclusion

La Science des Données est au cœur des pratiques de la recherche menée à INS2I. L'Intelligence Artificielle, quant à elle, est revenue en force (entre autres chez Google, Microsoft, IBM, Amazon...) avec des approches souvent développées par les chercheurs informaticiens dans les années 80 (mais trop coûteuses à l'époque), car elle permet d'analyser ces masses de données produites dans de multiples domaines et d'en tirer des informations, éventuellement pour de l'aide à la décision. Dans ce domaine, la France affiche un potentiel qui peut en faire l'un des acteurs majeurs au niveau mondial.

On peut s'attendre à des évolutions rapides sur plusieurs points dont (i) l'automatisation des processus d'extraction (métadonnées, connaissances, ontologies) et d'intégration des données et de gestion de la qualité; le développement de nouvelles méthodes d'analyse de données multi-sources (textes, réseaux sociaux, audio, vidéo, géolocalisation...) et l'amélioration des performances (passage à l'échelle), (ii) une meilleure exploitation d'architectures adaptées au *Big Data*, (iii) l'amélioration de la sécurité des infrastructures matérielles et logicielles, des collectes et des analyses, (iv) l'optimisation des mécanismes d'anonymisation et de cryptage garantissant la protection de la vie privée, (v) l'intégration des données et des analyses pour la sécurité (cyber-sécurité, gestion de crises, contrôle aux frontières), (vi) l'intégration et l'exploitation des *open data* (e-gouvernement, santé, impôts).

Il reste cependant de multiples défis à relever pour la recherche tels que :

* La maîtrise de l'hétérogénéité des données lors de leur intégration et de leur agrégation, en les confrontant à des données de références ou à des ontologies de domaines. La définition notamment de méthodes de raisonnement sur des données incertaines ou incomplètes constitue un préalable fort à l'intégration sémantique des données.

* Aller vers une théorie de la décision qualitative : les systèmes décisionnels exploitent ces connaissances et offrent aux experts une palette d'outils qui améliorent non seulement leurs connaissances et leurs productivités mais leur offrent également les méta-connaissances nécessaires à une meilleure interprétation des phénomènes qu'ils observent ou surveillent. De façon plus générale, l'aide à la décision doit tenir compte autant des connaissances produites par les processus métiers que des

informations qualitatives qui doivent accompagner cette connaissance. L'origine des informations, la confiance en leurs producteurs, leur cohérence, leur complétude, leur exactitude, leur fraîcheur ainsi que la chaîne de transformations qu'elles ont subies sont autant d'éléments indispensables à connaître avant toute prise de décision rationnelle.

* L'aide à la décision pour les systèmes complexes : le terme *Policy Analytics* est utilisé, depuis quelques années, pour désigner les activités d'exploration de très grandes masses de données (fouille, extraction de connaissances), pour la construction d'indicateurs synthétiques et de modèles d'aide à la décision utilisés en support de pilotage de systèmes complexes (particulièrement des entreprises ou des organismes publics). Les processus de décision publique sont souvent soumis à d'importantes exigences de légitimité et de sens. L'aspect méthodologique en décision est donc un problème majeur où la multiplicité des acteurs et l'hétérogénéité sémantique sont des verrous à lever. Les développements de systèmes d'explication ou de recommandations argumentées sont des pistes à explorer.

* L'aide à la décision dans un environnement ambiant ou ubiquitaire : les réseaux de capteurs, l'Internet des objets, les équipements mobiles produisent quantité d'informations correspondant à des relevés d'observation (météo, trafic, crowdsourcing), des données de surveillance (santé, ville), des événements environnementaux (pollution, tsunami). Ces informations, dites ambiantes, sont pléthoriques, hétérogènes et parcellaires. Elles doivent être rapprochées avec des référentiels pour les compléter ou en déterminer la sémantique. Elles nécessitent souvent un traitement à la volée pour produire des indicateurs qui serviront à la prise de décision ou à la supervision à distance de tâches ou de contrôle d'équipements. Ces travaux doivent tenir compte du contexte de l'utilisateur, de son activité passée, de ses préférences et des interactions qu'il a avec d'autres utilisateurs ou des communautés d'utilisateurs.

* La préservation des connaissances pour les générations futures souligne l'importance de la pérennité du stockage et le problème d'interprétation des contenus. Les problèmes soulevés sont à la fois d'ordre technologique (migration d'une technologie à une autre), économique (coûts de la migration et coûts d'archivage) et sémantique (évolution des modèles de représentation de connaissances, nouveaux standards de métadonnées).
Les sciences de l'information irriguent et fécondent tout le champ scientifique grâce à de nouveaux outils de modélisation et de simulation, de nouveaux modèles de calcul intensif, la gestion et l'analyse de données massives, le traitement du signal et de l'image, la robotique, les objets communicants et l'interaction. L'activité scientifique subit un bouleversement épistémologique qui conduit à de nouvelles formes de production de la connaissance et à l'émergence de plusieurs sous-disciplines. Ainsi, de nouveaux champs d'investigation sont nés aux interfaces des sciences de l'information, comme la bioinformatique, les neurosciences computationnelles, la cyber-sécurité, les humanités numériques, la géoinformatique, l'e-santé... L'astroinformatique en est une parfaite illustration. Elle intègre l'astronomie, l'astrophysique, les statistiques, l'informatique et le traitement du signal.

A l'image de la bioinformatique, elle est sur la voie de définir ses propres objets de recherche, ses propres méthodes et ses propres innovations. L'astrophysique a émergé à la fin des années 2000 en écho aux travaux de Jim Gray sur l'usage intensif des données en sciences. Lors d'une conférence en 2007, l'informaticien Jim Gray, Prix Turing en 1998, énonça l'idée d'un nouveau paradigme de la science, construit autour du traitement intensif et de l'analyse à grande échelle des données (*data-intensive science*)<fnref n="31" />. L'idée a depuis fait son chemin, s'inspirant souvent du succès de la bioinformatique et s'accélère récemment sous la pression de projets d'envergure comme SDSS, GAIA et LSST, encouragée aussi par les récents progrès en science des données (requêtes complexes, apprentissage, calcul distribué, optimisation et passage à l'échelle).

<footnote n="31">³¹ [4] eScience -- A Transformed Scientific Method, Jim Gray eScience Talk at NRC-CSTB meeting, Mountain View CA, 11 January 2007</footnote>
## 2.10. INSTITUT NATIONAL DE PHYSIQUE NUCLEAIRE ET DE PHYSIQUE DES PARTICULES (IN2P3)

### 2.10.1. Introduction

Créé en 1971, l'Institut National de Physique Nucléaire et de Physique des Particules (IN2P3) du CNRS exerce les missions nationales d'animation et de coordination dans les domaines de la physique nucléaire, de la physique des particules et des astroparticules, des développements technologiques et des applications associées. Il conçoit, coordonne et anime les programmes de recherche nationaux et internationaux dans ces domaines. Ses missions incluent également la coordination de la mise en place de systèmes d'information permettant le stockage, la mise à disposition auprès de la communauté scientifique, le traitement et la valorisation de l'ensemble des données scientifiques concernées, ainsi que leur archivage.

Ces recherches ont pour but d'explorer la physique des particules élémentaires, leurs interactions fondamentales ainsi que leurs assemblages en noyaux atomiques, d'étudier les propriétés de ces noyaux et d'explorer les connexions entre l'infiniment petit et l'infiniment grand.

Que ce soit avec la physique des particules auprès des grands accélérateurs, la physique des astroparticules avec les expériences embarquées sur satellites, les télescopes et autres détecteurs terrestres, ou encore dans une moindre mesure, la physique nucléaire, les équipes de l'IN2P3 et du CEA/Irfu doivent faire face à des masses de données considérables, qu'il faut stocker, distribuer et analyser. Bien qu'historiquement l'informatique à l'IN2P3 ait été fortement dominée par les besoins de la communauté de la physique des particules, de nouveaux défis sont apparus. Des expériences de physique des astroparticules sont actuellement en cours, avec des exigences qui atteindront une fraction significative de celle des expériences du Large Hadron Collider (LHC) au CERN dans les 5 prochaines années. Un changement de paradigme est également en cours en calcul pour la physique nucléaire. Compte tenu des grandes expériences à venir, par exemple au GANIL, la communauté veut centraliser le calcul et le stockage des données.

L'ensemble des expériences nécessite également des modélisations par technique de Monte-Carlo qui sont elles-mêmes génératrices de grandes quantités de données. L'aspect données et traitement statistique est donc la caractéristique principale de l'informatique pour la physique corpusculaire.

Le traitement statistique global sur une multitude de jeux de données indépendants — une collision de particules correspond à un jeu de données — s'adapte très bien à des architectures informatiques constituées de ferme de calculateurs. D'une manière générale, en dehors des calculs de chromodynamique quantique sur réseau (QCD), la physique subatomique a très peu besoin de calculateurs parallèles. Cette caractéristique l'a distinguée de bon nombre d'autres disciplines scientifiques pour lesquelles le HPC est une nécessité. La principale complexité du calcul pour la physique corpusculaire provient des masses de données considérables qu'il faut gérer et distribuer sur le réseau mondial, puis traiter au niveau local.

L'ensemble des laboratoires de l'IN2P3 utilise les ressources informatiques du CC-IN2P3 (Section 3.1) et des grilles WLCG et EGI.

### 2.10.2. La problématique des données à l'IN2P3

Depuis la création de l'IN2P3, le plus grand défi en termes de traitement de données a été le calcul et le stockage des données de la physique des particules issues des expériences du CERN.

Dans le grand collisionneur de hadrons (LHC), des particules entrent en collision environ 600 millions de fois par seconde. Chaque collision produit des particules qui se décomposent souvent de façon très complexe en formant des particules plus nombreuses.
Pour chaque événement qui passe par la procédure de filtrage rigoureuse des détecteurs du LHC, il faut en moyenne simuler 1 à 1,5 événement afin de pouvoir calibrer et finalement comprendre les données des expériences.

Le traitement des données à l'IN2P3 est aujourd'hui étroitement lié et influencé par le modèle de calcul du LHC et aligné sur la grille de calcul mondiale du LHC (WLCG). Le défi consiste à passer au crible les 50 pétaoctets de données produites chaque année pour déterminer si les collisions ont soulevé une physique intéressante. Le WLCG est une infrastructure informatique distribuée, organisée en plusieurs niveaux (tiers) et offre à une communauté de plus de 8000 physiciens un accès en temps réel aux données du LHC.

Ainsi, la plus grande partie de l'infrastructure de calcul d'IN2P3 est organisée par LCG-France<fnref n="32" /> selon une structuration par Tier<fnref n="33" />, avec CC-IN2P3 étant le Tier-1 français, accompagné de 7 Tier-2 d'IN2P3. Cela inclut le centre Tier-2 GRIF<fnref n="34" /> (Grille au service de la Recherche en Île-de-France) avec une forte participation du CEA/Irfu.

Pour donner une idée du défi de la gestion des données : en 2017, LCG-France a une capacité de stockage sur disque de 17 Po au niveau Tier-1 (c'est-à-dire à CC-IN2P3) et 14 Po au niveau Tier-2, et une capacité de stockage sur bande de 40 Po au CC-IN2P3. Pour le traitement en France, environ 18 000 cœurs sont réservés au Tier-1 et encore environ 18000 cœurs dans les centres Tier-2.

<figure><img src="image_26.png" /><figcaption>Infrastructure principale pour le calcul IN2P3</figcaption></figure>

<footnote n="32">32 http://lcg.in2p3.fr</footnote>

<footnote n="33">33 "The Grid: A system of tiers", https://home.cern/about/computing/grid-system-tiers</footnote>

<footnote n="34">34 https://grif.fr</footnote>
Bien que le traitement des données pour LCG-France soit de loin le plus grand utilisateur de l'infrastructure de calcul de l'IN2P3, d'autres communautés au sein d'IN2P3 progressent rapidement.

Par exemple, en 2016, le CC-IN2P3 a fourni en moyenne 2 800 cœurs de calcul, 1,2 To d'espace disque et 2,5 To de stockage sur bande à des expériences astrophysiques spatiales (AMS-2, Planck, Fermi...). Toute la communauté des astroparticules a utilisé, en 2016, environ 3 Po de disque et 8 Po de bande au CC-IN2P3. Nous bénéficions indéniablement d'une culture et d'une sensibilisation aux défis du traitement des données dans la communauté de la physique des particules et de l'astrophysique. Dans ce contexte, les expériences du LHC filtrent leurs données autant que possible déjà au niveau du détecteur. De plus, le nombre de copies de données est maintenu au minimum absolu nécessaire et les données intermédiaires sont effacées autant que possible. Dans l'astrophysique spatiale, le flux de données est principalement limité par la largeur de bande de télémétrie des satellites, ce qui signifie qu'un effort important est entrepris pour réduire les données déjà à bord du satellite.

Dans les années à venir, un grand nombre de projets importants stockeront leurs données dans l'infrastructure de l'IN2P3. En physique des particules, l'institut participe à l'expérience Belle-2³⁵ de l'accélérateur japonais SuperKEKB. En physique des astroparticules, à très haute énergie, le Cherenkov Telescope Array (CTA) produira environ 8 Po de données par an, dont 4 Po sont des données brutes et 2 Po sont des données simulées nécessaires à l'étalonnage. En cosmologie, nous verrons le démarrage de l'exploitation de deux projets majeurs au début des années 2020 : la mission Euclid de l'ESA et le Large Synoptic Survey Telescope (LSST). Les deux sont extrêmement difficiles en matière de quantité et de qualité des données. Alors que pour Euclid, l'IN2P3 est responsable de 30 % du traitement des données, pour LSST nous fournirons 50 % de la puissance de calcul et conserverons une archive complète de toutes les données LSST (brutes et réduites) au CC-IN2P3. Les deux, LSST et Euclid, produiront chacun environ 100 Po de données.

Dans le domaine de la physique nucléaire, le traitement des données a été jusqu'ici décentralisé principalement au sein des groupes chargés des expériences. Dans le contexte de la mise en service du nouvel accélérateur Spiral-2 au Ganil, et de l'évolution simultanée de détecteurs tels que S3, une approche plus centralisée est également nécessaire pour cette communauté.

Un groupe de travail étudie les possibilités de centraliser le stockage des données et éventuellement le traitement des données pour les expériences existantes et futures dans ce domaine.

L'IN2P3 est le principal et de loin le plus gros contributeur de France Grilles, la NGI (National Grid Infrastructure) française, qui fait partie de l'infrastructure de réseau européen (EGI<fnref n="36" />). L'activité s'organise autour de trois axes pour réaliser la stratégie générale de France Grilles :

* Le déploiement et l'opération d'une infrastructure distribuée de grille et de cloud au niveau national.

* L'application d'une politique d'accès permettant de rendre cette infrastructure disponible aux utilisateurs de toutes les disciplines.

* L'intégration de cette infrastructure dans EGI.

France Grilles est organisé en un Groupement d'Intérêt Scientifique (GIS) avec un grand nombre de partenaires (CNRS, MENESR, CEA, CPU, INRA, INRIA, INSERM et RENATER) et devrait jouer un rôle de premier plan au sein de la structure «FR-T2», actuellement en gestation et qui devrait coordonner les e-infrastructures françaises de manière distribuée et nationale.

Pour permettre une utilisation efficace des données distribuées en plusieurs endroits (p. ex. dans les différents centres Tier en France), France Grilles et l'IN2P3 s'appuient notamment sur iRODS. iRODS<fnref n="37" />, pour Integrated Rule-Oriented Data System, est un outil de distribution de données permettant l'accès à des données se trouvant réparties sur différents sites et sur des supports hétérogènes (système de fichiers sur disques, bases de données, bandes magnétiques, etc.).

En outre, l'IN2P3 est engagé dans le principe FAIR<fnref n="38" /> pour les données. Cela signifie que les données de notre recherche doivent être trouvables, accessibles, interopérables et réutilisables. Dans ce contexte, nous entreprenons plusieurs actions. Par exemple, un modèle de plan de gestion de données commun a été créé et nous avons l'intention d'en rendre obligatoire la fourniture pour tous les projets IN2P3.

<footnote n="35">35 https://www.belle2.org</footnote>

<footnote n="36">36 https://www.egi.eu</footnote>

<footnote n="37">37 https://irods.org ; iRODS IN2P3 service : https://irods.in2p3.fr</footnote>

<footnote n="38">38 par exemple Mons et al. 2017</footnote>
Concernant l'aspect de trouvabilité des données, nous recommandons l'utilisation de *Digital Object Identifiers*<fnref n="39" />, ce qui permet d'établir un lien exploitable, interopérable et persistant vers des données, par exemple dans le contexte d'une publication scientifique. Afin d'assurer la réutilisabilité des données, un projet a été mis en place à l'IN2P3 en 2016 pour étudier les possibilités de préservation des logiciels et la valeur ajoutée d'un plan général de gestion des logiciels.

Dans le contexte européen, l'IN2P3 suit une approche similaire à travers sa participation à des projets liés à l'European Open Science Cloud (EOSC). L'EOSC vise à donner aux scientifiques en Europe un accès transparent au calcul, au stockage et aux services, à travers les frontières et les communautés. Dans le cadre du projet EOSC-Pilot, l'IN2P3 dirige l'effort d'interopérabilité des données et des e-infrastructures, c'est-à-dire que nous essayons de trouver et de proposer des solutions qui permettront à l'EOSC d'atteindre ses objectifs.

L'institut est également impliqué dans deux projets européens qui étudient les possibilités offertes par le cloud et les infrastructures distribuées. Au sein d'Helix Nebula Science Cloud (HNSciCloud), nous étudions une plateforme de cloud hybride rassemblant des fournisseurs de services de cloud computing, des e-infrastructures financées par des fonds publics et des ressources internes. Et dans le projet eXtreme DataCloud (XDC), des systèmes de données distribuées sont explorés, y compris des fournisseurs privés et publics, et étudient des aspects de la gestion des données pour la physique des astroparticules et des hautes énergies.

### 2.10.3. Conclusion

L'IN2P3 a une longue histoire dans la gestion de grands flux de données ainsi que dans l'organisation et la distribution du stockage. Néanmoins, les défis à venir dans les 5-10 prochaines années sont importants. Nous n'y verrons pas seulement un grand nombre de nouveaux projets avec des volumes de données très importants (de l'ordre de la dizaine de pétaoctets par an) entrer dans le jeu mais la déferlante de données qui résultera de la mise à niveau du LHC et de ses expériences sera encore plus significative.

En raison de l'intensité plus élevée du faisceau au LHC et des détecteurs ayant une résolution spatiale et temporelle plus élevée, le volume de données au LHC devrait augmenter d'un facteur 100 d'ici 2025. Différentes solutions concernant le modèle de calcul pour le LHC sont actuellement discutées. Il demeure cependant évident que l'IN2P3 fera encore face à une augmentation significative des exigences de traitement des données.

Pour poursuivre son approche réussie de la gestion des données, l'institut poursuit plusieurs approches :

* Étudier de nouvelles approches afin d'optimiser les flux de données. Ceci inclut l'utilisation de systèmes comme iRODS mais aussi le développement de nouveaux systèmes de gestion de ressources comme DIRAC.

* Travailler sur des systèmes de calcul en ligne qui réduisent la quantité de données à traiter en réduisant les données directement sur le site d'expérimentation. Ceci est appliqué par exemple dans l'infrastructure de calcul O2 pour l'expérience Alice au LHC, ou dans l'approche de réduction de données sur site de Cherenkov Telescope Array (CTA).

* Continuer à promouvoir des systèmes de stockage de données qui permettent l'utilisation transparente de différentes ressources.

* Coordonner l'approche pour un accès transparent aux données avec les initiatives au niveau français (p. ex., MiCaDo, COCIN, FR-T2...) et dans le contexte européen (p. ex., EOSC, EDI, EGI, EUDAT...).

* Poursuivre la centralisation de l'infrastructure informatique de l'IN2P3, ce qui permet un investissement plus efficace, tout en maintenant le haut niveau d'expertise distribuée dans les laboratoires.

* Poursuivre l'approche de formation continue à travers des programmes de formation pour le personnel IN2P3, former la prochaine génération de scientifiques de données et maintenir l'IN2P3 en tant qu'institut attractif pour l'ensemble de la communauté du calcul scientifique et des infrastructures associées.

<footnote n="39">39 https://www.doi.org</footnote>
# 3. LES DONNÉES AU SEIN DES CENTRES NATIONAUX DU CNRS : CC-IN2P3 ET IDRIS

## 3.1. LE CC-IN2P3

### 3.1.1. Mission du CC-IN2P3

L'IN2P3 s'appuie sur l'infrastructure de recherche Centre de Calcul de l'IN2P3 (CC-IN2P3) pour accomplir sa mission de mise en place de systèmes d'information permettant le stockage, la mise à disposition auprès de la communauté scientifique, le traitement et la valorisation de l'ensemble des données scientifiques concernées, ainsi que leur archivage.

Le CC-IN2P3 dispose pour cela d'un *datacenter* abritant les services informatiques nécessaires à l'analyse et à l'interprétation des processus fondamentaux de la physique subatomique. Du fait de la rareté de ces processus, ce travail requiert l'analyse statistique de millions, voire de milliards, d'interactions entre particules. Cette analyse nécessite le transport, le stockage et le traitement d'énormes quantités de données. Les analyses physiques sont menées par un grand nombre de chercheurs répartis dans le monde entier.

Le CC-IN2P3 fournit des ressources non seulement pour la physique nucléaire et la physique des particules, mais aussi pour l'astrophysique et les astroparticules. Parmi les collaborations scientifiques majeures qui utilisent ses services, on trouve le LHC<fnref n="40" />, GANIL/Spiral 2⁴¹, LSST<fnref n="42" />, CTA<fnref n="43" />, KM3NeT<fnref n="44" />, tous figurant sur la feuille de route des TGIR/IR<fnref n="45" /> ou celle de l'ESFRI<fnref n="46" />. Par ailleurs, les technologies informatiques déployées pour ces besoins ont démontré une totale adéquation avec les besoins d'autres domaines (sciences humaines,

bio-informatique, écologie...), domaines qui utilisent, aujourd'hui modestement, les services du CC-IN2P3.

En première approche, le calcul scientifique réalisé par les collaborations de recherche auxquelles participe l'IN2P3 correspond à un traitement statistique global sur une multitude de jeux de données indépendants (une collision de particules correspond à un jeu de données), traitement qui s'adapte très bien à des architectures informatiques constituées de ferme de calculateurs. D'une manière générale, en dehors des calculs de chromodynamique quantique sur réseau (QCD), la physique corpusculaire a très peu besoin de calculateurs parallèles. Cette caractéristique l'a distinguée de bon nombre d'autres disciplines scientifiques pour lesquelles le HPC est une nécessité.

La principale complexité du calcul pour la physique corpusculaire provient des masses de données considérables qu'il faut gérer et distribuer sur le réseau mondial, puis traiter au niveau local. C'est pourquoi le CC-IN2P3 opère des moyens de calcul haut débit (ou HTC pour *High Throughput Computing*) en constante évolution.

### 3.1.2. Équipements du CC-IN2P3 (oct. 2017)

Ces moyens de traitement de données à haut débit sont schématisés ci-contre. Ils sont constitués de :

* Une ferme de calcul de 16 000 cœurs physiques fonctionnant avec le gestionnaire de tâches *Univa Grid Engine*.

* Un système de stockage sur disques de 15 Pétaoctets, dédié à 80 % aux expériences LHC. Ce stockage est accessible au travers de divers logiciels ou systèmes de fichiers :

* GPFS (*IBM General Parallel File System*) fournit aux utilisateurs un espace de travail en mode

<footnote n="40">40 Large Hadron Collider (http://home.cern/topics/large-hadron-collider).</footnote>

<footnote n="41">41 Grand Accélérateur National d'Ions Lourds (https://www.ganil-spiral2.eu).</footnote>

<footnote n="42">42 Large Synoptic Survey Telescope (http://www.lsst.org).</footnote>

<footnote n="43">43 Cherenkov Telescope Array (http://www.cta-observatory.org).</footnote>

<footnote n="44">44 Neutrino telescopes (http://www.km3net.org).</footnote>

<footnote n="45">45 Très grandes infrastructures de recherche / Infrastructures de recherche.</footnote>

<footnote n="46">46 European Strategy Forum on Research Infrastructures (https://ec.europa.eu/research/infrastructures/pdf/esfri/esfri_roadmap/esfri_roadmap_2016_full.pdf)</footnote>
<figure><img src="image_27.png" /></figure>

fichier flexible et accessible depuis les machines interactives ou le système de traitement par lot d'une capacité de 2 pétaoctets.

* AFS (Andrew File System) d'une capacité de 40 pétaoctets permet de partager les espaces home et l'essentiel des distributions de logiciels.

* Le système de stockage hiérarchique HPSS (High Performance Storage System) dispose d'un cache sur disques permettant de gérer la récupération et les migrations de données depuis et vers le système de stockage de masse (cartouches magnétiques). Ce système d'une capacité de stockage actuelle totale de 340 pétaoctets contient à ce jour 59 pétaoctets de données scientifiques.

* SRM/dCache et Xrootd sont des systèmes spécifiques de gestion de données développés par la communauté de la physique des hautes énergies et capables d'absorber des charges très importantes en termes d'entrées/sorties. Ils constituent l'essentiel du stockage au CC-IN2P3.

* iRods est un système de gestion de données distribué, flexible et capable de gérer facilement

des métadonnées. La facilité de mise en œuvre notamment pour des données distribuées géographiquement a rendu iRods populaire et a contribué à son développement.

* Un ensemble de 4 silos robotisés STK/Oracle SL8500 pour le stockage sur cartouches magnétiques. D'une capacité totale de 4 × 10 000 cartouches, ces silos peuvent héberger jusqu'à 340 pétaoctets avec la dernière technologie de lecteurs T10kD (8,5 To/cartouche).

* Un ensemble de systèmes de bases de données sous diverses technologies (mySQL, PostgreSQL et Oracle). Le CC-IN2P3 a développé une expertise considérable dans ce domaine et met en œuvre des architectures de clusters de bases de données particulièrement complexes.

L'ensemble des ressources informatiques est interconnecté sur un réseau dont l'épine dorsale supporte une bande passante de 400 Gb/s. Les serveurs individuels sont connectés en Ethernet à 1 Gb/s ou 10 Gb/s selon les applications. Une partie du stockage exploite aussi la technologie de réseau de données Fibre Channel.
L'évolution de ces ressources au cours des 6 dernières années est résumée par les graphes suivants :

<figure><img src="image_28.png" /></figure>

### 3.1.3. Usages du CC-IN2P3

En 2016, l'usage des ressources se répartit selon le graphique suivant :

<figure><img src="image_29.png" /></figure>

Bien que représentant, en nombre, une proportion significative de l'ensemble des groupes utilisant le CC-IN2P3, la part du CPU utilisée par des activités de recherche ne dépendant pas de la politique scientifique

de l'IN2P3, ne représente que 2 % du CPU consommé en 2016 (qui s'élève à 1,7 milliard de HS06.h) et moins de 1 % des capacités de stockage utilisées (qui étaient de 61,9 Po).
### 3.1.4. Prévisions

Depuis 2011, le CC-IN2P3 a mis en service une seconde salle machine d'une superficie de 850 m2 et capable, à terme, de fournir une puissance électrique de 3,4 MW pour le matériel informatique hors refroidissement. Cette puissance vient en complément des 1 MW de la première salle. La conception très moderne de la nouvelle salle (pas de faux plancher, organisation des serveurs en allées avec confinement de la chaleur et traitement de celle-ci par la technique dite *InRow*, double alimentation EDF redondante, etc.) en fait un équipement de tout premier plan, capable d'accueillir les moyens de calcul et de traitement des données des futures grandes expériences de physique corpusculaire.

En 2017, la production de données des 4 détecteurs installés sur le *Large Hadron Collider* (LHC) au CERN représente un volume de 50 Pétaoctets par an, malgré un filtrage éliminant 99 % des événements observés. C'est trois fois plus que les données produites chaque année lors de la première année d'exploitation. Le traitement global de ces données repose sur l'utilisation de la grille mondiale W-LCG, composée de 250 centres de calcul avec 1 Tier 0 (au CERN), 12 Tier 1 (dont le CC-IN2P3) et plus de 200 Tier 2. Dans ce contexte, l'objectif du CC-IN2P3 est de fournir 10 % des ressources de calcul pour LHC. Il est à noter que les accès réseau du CC-IN2P3, pour l'échange des données de ces seules expériences, représentent près de 46 % du trafic RENATER. Le CC-IN2P3 héberge également les données issues d'autres expériences : HESS<fnref n="47" />, AMS<fnref n="48" />, Planck<fnref n="49" />, ANTARES<fnref n="50" />, Auger<fnref n="51" />,

VIRGO<fnref n="52" />, Supernovae<fnref n="53" />..., qui, comme celles du LHC, ont chacune leur politique de gestion de données. Un point commun toutefois est que les données d'une expérience doivent pouvoir être exploitées sur des durées très significatives avec donc, des problématiques de stockage pérenne de ces données. Des processus dit de stockage intermédiaire sont ainsi mis en œuvre.

Les besoins futurs en matière de stockage de données sont à la hauteur de l'ambition des expériences qu'héberge le CC-IN2P3. En particulier, les futurs développements du LHC (HL-LHC) vont provoquer une explosion du volume de données produites. Parallèlement, l'IN2P3 est engagé dans les expériences majeures d'astroparticules et cosmologie que sont EUCLID<fnref n="54" />, LSST et CTA.

La projection de ces besoins à l'échéance de 2030 va être synonyme de déploiement d'infrastructures de dimensions très significatives.

A l'horizon 2030, le CC-IN2P3 stockera plus de 1200 Po de données et offrira une capacité de calcul de l'ordre de 6 millions de HEPSpec06⁵⁵ (MHS06).

<figure><img src="image_30.png" /></figure>

<figure><img src="image_31.png" /></figure>

<footnote n="47">47 Observatoire des très hautes énergies (https://www.obspm.fr/hess-ii-observatoire-des-tres.html).</footnote>

<footnote n="48">48 Spectromètre magnétique alpha (https://home.cern/fr/about/experiments/ams).</footnote>

<footnote n="49">49 Satellite d'observation du fond cosmologique de la voûte céleste (https://planck.cnes.fr).</footnote>

<footnote n="50">50 Détecteur sous-marin de neutrinos (http://antares.in2p3.fr).</footnote>

<footnote n="51">51 Détection de rayons cosmiques de très haute énergie (http://www.in2p3.fr/recherche/actualites/1999/1999Auger/detecteurs.htm)</footnote>

<footnote n="52">52 Détection des ondes gravitationnelles (http://www.virgo-gw.eu).</footnote>

<footnote n="53">53 https://snovae.in2p3.fr</footnote>

<footnote n="54">54 Télescope spatial pour l'analyse de l'énergie noire (http://www.euclid-ec.org).</footnote>

<footnote n="55">55 https://wiki.egi.eu/wiki/FAQ_HEP_SPEC06, 1 HEPSpec06 =~ 1 GFlops</footnote>
## 3.2 L'IDRIS

### 3.2.1. Introduction

L'IDRIS est le centre majeur du CNRS pour le calcul numérique intensif de très haute performance. À la fois centre de ressources informatiques et pôle de compétences en calcul de haute performance, l'IDRIS est une unité propre de service du CNRS, dépendant de la Mission Calcul-Données (MiCaDo) du CNRS et rattachée administrativement à l'Institut des sciences de l'information et de leurs interactions (INS2I) mais dont la vocation à l'intérieur du CNRS est pluridisciplinaire.

Les supercalculateurs opérés par l'IDRIS, propriété de la société GENCI (Grand Equipement National de Calcul Intensif, http://www.genci.fr), ont généralement une durée de vie de cinq à six ans. Ils sont donc renouvelés fréquemment, avec leurs moyens de stockage associés, en entraînant, à chaque fois, des frais d'installation et, parfois, des frais de fonctionnement en hausse (essentiellement dus aux consommations électriques de ces équipements).

L'utilisation des ressources opérées par l'IDRIS s'effectue au travers des allocations effectuées par GENCI, soit près de trois cents projets scientifiques dans tous les domaines utilisant la simulation numérique dans leurs thématiques de recherche respectives.

Suite à l'appel d'offres lancé à l'automne 2011 par GENCI, en partenariat avec l'IDRIS, deux nouveaux supercalculateurs d'architectures complémentaires ont été acquis auprès de la société IBM en mai 2012. L'un était une machine dite massivement parallèle de type Blue Gene/Q, composée de quatre cabinets de chacun 16 384 cœurs pour un total de 65 536 cœurs, avec 65 To de mémoire globale et qui délivrait une puissance crête cumulée de 839 TFlop/s plaçant cette machine au 30e rang mondial en novembre 2012. Cette configuration a été étendue en novembre 2014 par l'ajout de deux cabinets supplémentaires, portant la configuration complète à 98 304 cœurs, pour une capacité mémoire totale atteignant dorénavant 98 To et une puissance crête cumulée portée maintenant à 1,26 PFlop/s, ce qui a replacé cette machine au 42e rang mondial en novembre 2014. En novembre 2017, cette machine occupait encore le 146e rang. L'autre supercalculateur est une machine dite à nœuds larges, composée de 332 nœuds de 32 cœurs pour un total de 10 624 cœurs, avec 46 To de mémoire globale et qui

délivre une puissance crête cumulée de 230 TFlop/s l'ayant placé au 123e rang mondial en novembre 2012. À cette configuration, s'adjoint quatre nœuds de pré et post-traitements de chacun 32 cœurs et 1 To de mémoire partagée, ainsi qu'un espace disques partagé.

Par ailleurs, l'extension des capacités de stockage a été réalisée en 2014 en deux phases. D'une part, le serveur d'archives acquis en 2009, et arrivé en fin de vie, a été remplacé, sur financement CNRS, ce qui permettra à l'IDRIS de faire face à un fort accroissement de la capacité d'archivage sur cartouches magnétiques, en prévision de la croissance attendue de ces besoins dans les prochaines années. D'autre part, la capacité de stockage de données actives, sur disques magnétiques à très forte bande passante, a été fortement accrue en 2015, avec une extension de 3 Po (deux financés par le CNRS et un par GENCI) ajoutés aux 2,2 Po initiaux.

Le remplacement de la génération actuelle des supercalculateurs est maintenant prévu fin 2018, pour une mise en production au début de 2019. À cet effet, GENCI a lancé un appel d'offres en novembre 2017.

L'IDRIS héberge en plus un certain nombre de calculateurs pour des acteurs locaux du Plateau de Saclay, tel le calculateur de la Maison de la Simulation et celui du mésocentre CentraleSupélec/ENS-Paris Saclay ainsi que la machine nationale de l'IFB (Institut Français de la Bioinformatique).

### 3.2.2. Configuration actuelle à l'IDRIS

En janvier 2018, les moyens de calcul de GENCI hébergés à l'IDRIS sont constitués de :

* Turing : un IBM Blue Gene/Q avec 98 306 cœurs PowerPC A2 à 1,6 Ghz (soit 1644 nœuds ayant chacun 16 cœurs). La machine est constituée de 6 racks avec au total 96 Toctets de mémoire et une performance de crête de 1,258 PFlop/s.

* Ada : un IBM X3750M4 avec 10 624 cœurs SandyBridge à 2,7 Ghz (soit 332 nœuds de 32 cœurs chacun). La machine possède 49 Toctets de mémoire et affiche une performance de crête de 233 TFlop/s.
<figure><img src="image_32.png" /></figure>

dépasser les frontières

<figure><img src="image_33.png" /></figure>

(RM - 26/03/2015)

## L'espace disque est organisé en :

### • Home :

* Volumétrie : très faible (essentiellement fichiers d'environnement et sources des applications).

* Performance : sans impact.

* Fonctionnalités :

* Durée de vie non limitée,

* Soumis à quotas,

* Sauvegardé automatiquement (chaque nuit).

### • Scratch :

* Volumétrie : très importante (fonction de la puissance des calculateurs).

* Performance : la plus grande possible.

* Fonctionnalités :

* Durée de vie limitée à l'exécution de chaque travail ou soumis à des purges sur des dates d'ancienneté.

### • Work :

* Volumétrie : très importante (fonction de la puissance des calculateurs).

* Performance : grande.

* Fonctionnalités :

* Durée de vie non limitée,

* Soumis à quotas,

* Pas sauvegardé aujourd'hui (mais snapshots possibles).
## Evolution des espaces sur disques :

* De 2008 à 2012 : 1,2 Po à 6 Go/s.

* Configuration achetée en 2012 :

* 0,2,2 Po à 50 Go/s (débit soutenu maximum).

* Compromis financier à l'achat entre puissance de calcul et capacités de stockage.

* À la fois Home/Scratch/Work

* A partir de 2015 :

* 0,5,2 Po :

* Les 2,2 Po précédents,

* 1 Po d'extension disques liée à l'extension BG/Q (32 000 cœurs ajoutés en novembre 2014),

* 2 Po extension disques.

* 0,3 Po à 90 Go/s.

* Le scratch a été transféré sur les disques de nouvelle génération.

* Conservation possible de versions de fichiers dans l'espace Work (snapshots).

* Technologie GPFS d'IBM.

* Tous ces espaces seront redéfinis, avec des augmentations significatives à la fois en volumétrie et en performance, pour servir la nouvelle configuration de calcul qui sera installée au second semestre 2018.

Au 25 août 2017, il y avait 55 millions de fichiers sur le Work, 70 millions sur le Scratch et 3,5 millions Home + système.

## Les espaces sur cartouches :

* Pilotés par une machine d'archives :

* Remplacée mi-2014.

* Technologie TSM/HSM d'IBM (précédemment DMF de SGI).

* 11 serveurs :

* 3 frontales,

* 6 serveurs GPFS (4 pour les données, 2 pour les métadonnées),

* 2 serveurs TSM/HSM (gestion migration et robotique).

* Disques cache :

* transparent pour les utilisateurs,

* 2 Po à 24 Go/s,

* «petits» fichiers (jusqu'à 39 Ko) jamais migrés sur cartouches,

* cache pour les fichiers rechargés depuis les cartouches,

* purges régulières en fonction de l'âge et de la taille des fichiers.

* Format des données propriétaire.

* 4 Po migrés entre l'ancien format et le nouveau à l'issue de 6 mois de recopies au second semestre 2014, en parallèle avec l'exploitation du nouveau serveur.

* Robot StorageTek SL8500 (Oracle).

Il est instructif de mener un examen de l'espace disque occupé par les diverses communautés regroupées en Comités thématiques. La liste des Comités scientifiques thématiques nationaux est la suivante :

1. Environnement

2a. Écoulements non réactifs

2b. Écoulements réactifs ou/et multiphasiques

3. Biologie et santé

4. Astrophysique et géophysique

5. Physique théorique et physique des plasmas

6. Informatique, algorithmique et mathématiques

7. Dynamique moléculaire appliquée à la biologie

8. Chimie quantique et modélisation moléculaire

9. Physique, chimie et propriété des matériaux

10. Nouvelles applications et applications transversales du calcul

En termes de stockage sur Ada et dans une moindre mesure Turing, on constate la prédominance des comités thématiques CT-1 (Environnement hors projet CMIP6), CT-4 (Astrophysique et géophysique) et CT-5 (Physique théorique et physique des plasmas), ce qui ne reflète pas toujours les allocations d'heures de calcul, par exemple sur Turing, où le volume d'heures alloué à l'environnement est relativement faible (3,2 % en 2017).
Ada : comités thématiques
occupation disques - work au 31/12/2017

<figure><img src="image_34.png" /></figure>

Turing : comités thématiques
occupation disques - work au 31/12/2017

<figure><img src="image_35.png" /></figure>
## Évolution du volume de données stockées sur cassettes

de janvier 2005 à decembre 2017

<figure><img src="image_36.png" /></figure>

L'évolution du stockage sur cartouches est en croissance régulière, ainsi que le montre la figure ci-dessous. L'essentiel du stockage sur cartouches est utilisé par le CT-1 avec de l'ordre de 80 % du total (5,1 des 6,4 Poctets de données utilisateurs en décembre 2017).

L'IDRIS est aussi impliqué dans la mise à disposition des données pour la communauté du climat avec le service DODS (*Distributed Oceanographic Data System*) opérationnel depuis 2003. Ce serveur effectue la publication (mondiale) des données stockées sur le serveur d'archives (potentiellement migrées) avec un accès en lecture seule (sauf évidemment par les fournisseurs de données). Deux espaces cohabitent sur ce serveur : un espace privé, réservé à une communauté identifiée, et un espace public.

Il héberge actuellement 2,5 millions de fichiers pour 407 Poctets de données stockées.

Depuis 2017, ce service est intégré au sein des services du projet ESGF<fnref n="56" /> (*Earth System Grid Federation*) dans le cadre des projets CMIP<fnref n="57" /> (Coupled Model Intercomparison Project) pour environ 600 To fin 2017. De plus, l'IDRIS opérera à partir du début de l'année 2018, une archive multi-modèles des données les plus utilisées du projet CMIP6 (provenant d'environ 50 modèles), d'une volumétrie de 4 Po, afin d'en faciliter l'exploitation et d'offrir un service national d'accès à ces données.

<footnote n="56">56 https://esgf.llnl.gov/</footnote>

<footnote n="57">57 https://www.wcrp-climate.org/wgcm-cmip</footnote>
# 4. LES DONNÉES AU SEIN DES STRUCTURES MUTUALISÉES SOUTENUES PAR MICADO

## 4.1. INTRODUCTION

La Mission Calcul Données du CNRS (MiCaDo) soutient un certain nombre d'initiatives et d'infrastructures régionales ou nationales au travers de l'affectation de personnels (ingénieurs d'études ou de recherche), dont le Centre de Calcul de l'IN2P3, le Centre National de Calcul Intensif du CNRS (IDRIS), la Maison de la Simulation sur le Plateau de Saclay, et les deux Unités Mixtes de Recherche CALMIP et GRICAD respectivement mésocentres de Toulouse et Grenoble. Ces deux mésocentres ont des actions liées à la fois au calcul et aux données d'où leur présence dans ce Livre Blanc.

## 4.2. CALMIP

Cette section a été écrite avec Jean-Luc Estivalèzes, Directeur de l'UMS CALMIP.

### 4.2.1. Introduction

Le mésocentre toulousain CALMIP (CALcul en Midi Pyrénées) a été créé en 1994 sous la forme d'un groupement scientifique et son premier calculateur a été installé en 1999. Depuis 2014, CALMIP est devenu une Unité Mixte de Service du CNRS (UMS CNRS 3667), hébergée actuellement à l'Espace Clément Ader dans une salle de calcul partagée avec le calculateur de Météo-France. Il доброспособен ainsi d'un environnement technologique de haut niveau avec une sécurisation des accès et de l'alimentation électrique et un réseau de récupération de chaleur.

Le mésocentre CALMIP est ouvert à l'ensemble de la communauté scientifique membre de l'Université Fédérale de Toulouse Midi-Pyrénées ou des EPST. En 2016, CALMIP a permis à environ 500 chercheurs dont 130 doctorants, venant de 30 laboratoires, de réaliser plus de 200 projets de recherche représentant 70 millions d'heures de calcul. 8 grandes thématiques scientifiques utilisent ces moyens de calcul : physico-chimie des matériaux, mécanique des fluides, sciences de l'Univers, chimie quantique, physique théorique et moléculaire, bioinformatique et méthodes numériques.

Depuis 2008, le mésocentre CALMIP est ouvert aux entreprises (TPE, PME et ETI) pour leurs activités

innovantes et 10 % des ressources du système de calcul de CALMIP sont réservées à cette activité. Une équipe de 6 ingénieurs assure actuellement l'exploitation du calculateur et le support technique et scientifique aux utilisateurs.

### 4.2.2. Description

Les moyens de calcul sont renouvelés tous les 4 ans environ. Le prochain renouvellement est prévu à l'été 2018. Eos, la machine actuellement en production, a été classée 183e au TOP 500 lors de sa mise en service en juin 2014. Ses caractéristiques sont les suivantes :

- 612 nœuds avec 2 processeurs Intel IVYBRIDGE 2,8 Ghz 10-cores, soit un total de 12240 cœurs.

- Mémoire 64 Go par nœud, soit 39 To de RAM au total.

- Puissance crête théorique totale : 274 TF.

- Stockage disque : 891 To de disque + 7 Po additionnels de stockage de grande capacité.

- Pour la partie visualisation 4 GPU (Nvidia Quadro 6000).
CALMIP a installé, en 2016, une infrastructure de stockage appelée ATLAS, pour répondre à la convergence des besoins en calcul intensif et en traitement massif de données. Un poste IR CNRS a été affiché en soutien à cette infrastructure. Elle se compose :

* D'un espace de stockage de 3 Po utiles sur système de fichiers parallèle GPFS sur lequel les utilisateurs vont pouvoir déposer à la fois, les données de simulation produites par le supercalculateur Éos, mais aussi le cas échéant les données d'entrée nécessaires à ces simulations (fonctionnalité de type /workdir).

* D'un espace de stockage objet d'un volume utile de 4 Po, ayant pour principale fonction de sécuriser l'espace de stockage précédent.

Le prochain renouvellement est prévu à l'été 2018. Dans le cadre du projet CADAMIP (CPER 2015-2020, financement État, Région Occitanie, Toulouse Métropole, IDEX), CALMIP a choisi son nouveau supercalculateur pour la période 2018-2022. Ce nouveau système de calcul Atos-BULL baptisé OLYMPE propose une puissance de 1,365 Pétaflop/s :

* Un supercalculateur massivement parallèle formé de 13 464 cores Intel(r) SKYLAKE 6140, interconnectés via un réseau Infiniband EDR (100 Gb/s), dont la puissance de calcul et de traitement est 5 fois supérieure à celle du supercalculateur actuel EOS, pour la même enveloppe énergétique.

* Un espace disque de travail d'une capacité de 1.5 Po, dont les performances (40 Go/s) sont multipliées par 4 par rapport à EOS, afin de répondre aux besoins liés au traitement massif de données d'entrée et de sortie. Cet espace est relié aux nœuds de calcul du supercalculateur.

* 2 nœuds de calcul SMP de 1,5 To de mémoire vive, intégrés au supercalculateur.

* Une connexion au système de stockage capacitif et sécurisé ATLAS, afin d'offrir aux porteurs de projets un espace permettant de sécuriser leurs données sur la continuité.

* Une partition GPU significative associée au supercalculateur en vue d'applications sur le traitement massif de la donnée.

La mise en production est prévue pour septembre 2018.

## 4.3. GRICAD

Cette section a été écrite avec Violaine Louvet, Directrice de l'UMS GRICAD.

### 4.3.1. Contexte

La rationalisation des infrastructures (immobilières et plateformes) pour réduire les coûts, augmenter le niveau de service et gagner en fiabilité et sécurité dans une démarche de développement durable et soutenable, nécessite de repenser l'urbanisation des infrastructures de calcul et de données ainsi que l'organisation des moyens humains en synergie avec les laboratoires de recherche et les services communs. Ces enjeux s'inscrivent à Grenoble dans un contexte de mutation forte du paysage de la recherche : fusion des universités, obtention d'un IDEX, mais s'appuient également sur un terreau de collaborations historiques entre les acteurs du numérique (DSI des établissements, structure interuniversitaire, laboratoires) très fertile.

### 4.3.2. L'UMS GRICAD

L'Unité mixte de services GRICAD (Grenoble Alpes Recherche - Infrastructure de CAcul intensif et de Données) a été créée dans ce contexte, en 2016, comme une structure transversale mutualisée autour du calcul et des données au service des personnels de l'ensemble des pôles de recherche du site grenoblois. Sous la tutelle du CNRS, de l'UGA, de Grenoble-INP et d'INRIA, elle regroupe des compétences en interne autour de l'administration système spécifique des machines de calcul et des plateformes liées aux données, du calcul scientifique et intensif et du Big Data. Elle fédère également les forces du site dans une démarche plus globale en s'appuyant sur les expertises présentes dans les laboratoires, les DSI et les structures d'enseignement.

Cette mutualisation de moyens humains externes autour d'infrastructures de site a l'énorme avantage de favoriser la proximité avec les équipes de recherche, et donc d'être au plus près des besoins des communautés.
Les missions de GRICAD recouvrent :

* L'accompagnement et le conseil aux communautés scientifiques : identification et aide à la spécification du besoin autour du calcul et des données, support à l'utilisation des plateformes, soutien au montage de projet sur la partie technique.

* Le calcul intensif avec un accès à différents types de calculateurs.

* Le traitement, la valorisation, la diffusion, le stockage des données de la recherche avec un accès à plusieurs plateformes (stockage, cloud...).

* L'hébergement sec de serveurs avec la coordination de la gestion des datacentres mutualisés du site grenoblois.

* L'animation, la formation et le réseautage, en collaboration avec les autres acteurs du site (en particulier la maison de la modélisation MaiMoSiNE, le réseau des informaticiens SARI et le Data Institute de Grenoble).

### 4.3.3. Les services autour de la donnée

La création de GRICAD s'est appuyée sur un existant solide et historique autour du calcul intensif : le mésocentre CIMENT. Les services autour de la donnée ont été construits ex nihilo à partir des besoins exprimés par les communautés scientifiques.

Les caractéristiques principales sont une très grande diversité des données et un rapprochement important avec le calcul intensif sous la forme de besoins en traitement très variés. Les difficultés rencontrées concernent d'une part, une connaissance et une appropriation technique très hétérogènes des technologies et des infrastructures d'une communauté à l'autre, voire d'un individu à l'autre et d'autre part, un accompagnement interne (dans les laboratoires) très différent d'une structure à l'autre, nécessitant la mise en place d'un support « à la carte ». Le déploiement des services autour de la donnée doit aussi s'intégrer dans un environnement existant de structures de recherche, d'accompagnement, de projets aux niveaux local, national et européen.

GRICAD participe ainsi au projet européen EOSCPilot par exemple.

L'offre de service proposée par GRICAD inclut l'accès à différents environnements de stockage, d'infrastructures de cloud, de Big Data, de traitements de données et piles logicielles liées à la manipulation de la donnée. L'UMS collabore étroitement avec la recherche en informatique, en particulier l'infrastructure nationale Grid'5000, avec laquelle elle partage une nouvelle machine de calcul notamment dédiée aux Data Analytics. Les services et plateformes proposés sont dynamiques et évolutifs en fonction des demandes des scientifiques.

GRICAD accompagne tout particulièrement certaines communautés. D'une part pour les aider à aborder le tournant du numérique, et d'autre part pour faire monter en compétences ses équipes propres sur les technologies à la pointe. L'UMS est ainsi très active dans le projet d'entrepôt de données du CHU de Grenoble et dans plusieurs projets avec la communauté SHS (collecte de données du web, deep learning).

### 4.3.4. Description des ressources de calcul et de stockage

GRICAD offre une diversité de plateformes déployées en fonction des besoins exprimés par les communautés scientifiques :

* **Froggy** : calcul intensif (réseau Infiniband), constitué de 3236 cœurs de calcul, et d'un stockage Lustre de 90 To. Froggy intègre quelques nœuds GPU.

* **Luke** : traitement massif de données, 906 cœurs de calcul.

* **Dahu** : machine de convergence HPC - Data Analytics, mutualisée avec Grid'5000, 2560 cœurs de calcul, réseau Omnipath, avec nœuds burst buffers (NVMe), et scratch SSD.

* Stockage IRODS d'environ 1 Po, mutualisé, distribué et accessible depuis l'ensemble des plateformes.

* **Bettik** : Stockage BeeGFS de 292 To utiles, fournissant aux machines Luke et Dahu un scratch distribué et performant.
* **SUMMER**: Stockage NetApp de plus de 3 Po de volumétrie brute, proposant différents niveaux de sécurisation (sauvegarde, réplication) et différents niveaux de performance (stockage capacitif ou performant).

* **WINTER**: Plateforme VMWare de virtualisation.

* Cloud openstack sur stockage CEPH.

* Plateforme JupyterHub de notebooks.

* Plateforme Big Data Hadoop.

#### 4.3.5. Interactions et cross-fertilisation

La transversalité intrinsèque des infrastructures de calcul et de données fait de l'UMS GRICAD un lieu naturel de l'interdisciplinarité et de rencontres des différentes communautés scientifiques. L'objectif affiché est de dépasser les spécificités disciplinaires afin de pouvoir offrir des solutions matérielles et technologiques partagées et co-construites.

GRICAD s'efforce de développer une logique de mutualisation d'expériences, autour de la définition et l'appropriation des services numériques proposés, en diffusant les pratiques existantes dans les disciplines les plus avancées dans le domaine, et en incitant au transfert de technologie d'une communauté à l'autre. Les missions autour de l'animation et de la formation sont en cela particulièrement critiques.

Le développement de liens entre les chercheurs autour de thématiques nécessairement communes est essentiel. Ainsi, des groupes de travail interdisciplinaires ont été formés pour répondre au questionnement autour du cycle de vie de la donnée et de la nouvelle réglementation européenne sur les données personnelles (RGPD), par exemple.

La valeur ajoutée d'une unité de services à l'échelle d'un site comme Grenoble est fondamentalement la proximité avec les équipes de recherche et la souplesse pour répondre aux besoins des scientifiques.
## 5. CONCLUSION

Le traitement des données à grande échelle (Big Data) est un réel enjeu stratégique pour le CNRS et concerne tous les instituts même si les pratiques au sein de chaque institut sont très variables en fonction de l'historique de chaque discipline en matière de données. La maîtrise de tous les aspects du Big Data relève d'une démarche fondamentalement interdisciplinaire dans laquelle le CNRS se doit d'exceller.

L'enjeu fondamental pour le CNRS est de promouvoir une véritable « culture de la donnée » au sein du CNRS. Le CNRS doit mieux valoriser toutes les données que ses équipes de recherches produisent, se doter d'une stratégie en matière de données et afficher son rôle moteur dans des initiatives comme EOSC<fnref n="58" /> ou liées à l'Open Science, l'Open Data et à RDA<fnref n="59" /> et à des principes comme le FAIR Data<fnref n="60" />. Le CNRS se doit de mettre en place une réponse coordonnée face aux besoins émergeants en termes de données, d'être plus attractif pour des recrutements d'analystes de données et d'intensifier ses actions de formation au niveau des outils dans le domaine. Il doit aussi être attentif à l'évolution de carrière des personnels ITA (ingénieurs essentiellement) impliqués dans ces actions interdisciplinaires. Il est aussi souhaitable de mener une réflexion sur une politique des données au sein du CNRS relative à leur cycle de vie : utilisation, création, collection, préservation, partage, réutilisation et publication, interoperabilité, définition de Data Management Plan<fnref n="61" />, propriété, ouverture, adoption des principes FAIR, consommation énergétique et empreinte carbone...

L'avalanche de données qui ne fait que se confirmer dans de multiples domaines doit inciter le CNRS à se doter d'une stratégie forte, à la hauteur des enjeux scientifiques en :

* Répondant aux besoins des communautés en matière de plateformes pour l'analyse de données à grande échelle, le cas échéant en lien

avec les systèmes d'observation, les plateformes expérimentales ou les grandes simulations numériques qui les produisent, avec les problématiques du stockage, de la gestion et de la valorisation de ces données, du support pour les utilisateurs, de la formation de Data scientists (chercheurs ou ingénieurs compétents en analyse de données) et du déploiement de chaînes logicielles d'analyse de données passant à l'échelle.

* Favorisant l'interdisciplinaire entre les communautés produisant des données et les communautés dont c'est l'objet de recherche, en particulier, en capitalisant sur les multiples compétences en apprentissage et Intelligence Artificielle au CNRS.

* Mettant en place une politique de gestion, de valorisation et de pérennisation des données au sein du CNRS.

Le CNRS pourrait s'appuyer sur la mission Calcul et Données du CNRS (MICADO) pour définir et mettre en œuvre une telle stratégie autour de l'organisation, de la gestion, de l'exploitation des données scientifiques, et, avec des moyens supplémentaires, contribuer à l'émergence de plateformes de gestion et d'analyse de données en y positionnant des ingénieurs et des data scientists capables d'offrir un service technique de haut niveau et d'accompagner les chercheurs dans leurs expérimentations. Cette action pourrait contribuer à faire émerger sur le territoire quelques sites de références autour desquels peuvent graviter plusieurs projets de recherche en sciences des données ou s'intéresser à des communautés scientifiques spécifiques. De telles initiatives peuvent et doivent être complémentaires des autres initiatives locales ou régionales, soutenues par des IDEX ou d'autres organismes de recherche par exemple.

<footnote n="58">58 The European Open Science Cloud (https://eoscpilot.eu).</footnote>

<footnote n="59">59 Research Data Alliance (www.rd-alliance.org).</footnote>

<footnote n="60">60 Findable Accessible Interoperable Reusable data.</footnote>

<footnote n="61">61 Voir par exemple dmp.opidor.fr</footnote>