# Retour d'expérience sur le premier bâtiment universitaire câblé en fibre optique

Gabriel Pierre André Moreau, Olivier De-Marchi

► To cite this version:

Gabriel Pierre André Moreau, Olivier De-Marchi. Retour d'expérience sur le premier bâtiment universitaire câblé en fibre optique. JRES (Journées réseaux de l'enseignement et de la recherche) 2015, RENATER, Dec 2015, Montpellier, France. hal-01250883

HAL Id: hal-01250883

https://hal.science/hal-01250883v1

Submitted on 8 Jan 2018

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC0 1.0 - Universal - International License
# Retour d'expérience sur le premier bâtiment universitaire câblé en fibre optique

## Gabriel Moreau

Laboratoire LEGI - UMR 5519 (CNRS)
1209-1211 rue de la piscine
Domaine Universitaire
38400 Saint Martin d'Hères

## Olivier De-Marchi

Laboratoire LEGI - UMR 5519 (Grenoble-INP)
1209-1211 rue de la piscine
Domaine Universitaire
38400 Saint Martin d'Hères

## Résumé

Le laboratoire LEGI est spécialisé dans la mécanique des fluides et compte environ 130 membres. Grand consommateur des centres de calcul, il a aussi une forte composante expérimentale avec des grands équipements (soufflerie, canal à houle...). Via l'entremise du grand établissement Grenoble-INP, il a fait construire en 2012-2013 deux nouveaux bâtiments sur le campus de Grenoble. Un des objectifs de ce projet immobilier a été de centraliser en un seul lieu les données expérimentales, les données provenant des centres de calcul (IDRIS, CINES...) et nos propres serveurs de calcul. Nous avions donc besoin d'un réseau en étoile formé de liaisons directes et performantes des bureaux vers cette salle serveur, mais surtout depuis les expérimentations afin d'assurer la remontée rapide des données (au 10Gb/s ou plus). Un réseau classique de type cuivre a été écarté pour des raisons de débit, de distance (> 80m) obligeant la pose de sous répartiteurs ainsi que des difficultés d'intégration de l'ancien réseau.

Décrivons succinctement la solution mise en place. Trois câbles de 72 fibres monomodes quittent la salle serveur, naviguent dans les coursives pour revenir au point de départ. Ainsi, tout point physique de nos locaux est à moins de 20m d'une de ces boucles. A intervalle régulier, un ou deux tubes comportant chacun 6 fibres sont extraits du câble et connectés dans un boîtier de dérivation. De celui-ci, une simple jarretière LC/LC part vers une manip ou un bureau. Au sein de la goulotte terminale est alors intégrée au format Mosaic une prise optique LC ou un micro-commutateur administrable 6 ports (dont 5 RJ45).

## Mots clefs

Réseau, Fibre optique, Monomode, Micro switch, Transceiver, Retour d'expérience, Collecteur tournant

## 1 Introduction

Le laboratoire LEGI, unité mixte de recherche situé à Grenoble, est spécialisé dans la mécanique des fluides et compte environ 130 membres. Grand consommateur depuis plus de 30 ans des centres de calcul, il a historiquement une forte composante expérimentale avec des grands équipements (soufflerie, canal à houle, tunnel hydrodynamique... voir figure 2), certains ayant plus de 40 ans d'âge et toujours en activités
<figure><img src="image_2.png" /><figcaption>Figure 1: Le laboratoire LEGI sur le campus de Grenoble</figcaption></figure>

régulières. Via l'entremise du grand établissement Grenoble-INP, il a fait construire durant les années 2012-2013 sur le campus ouest de Grenoble deux nouveaux bâtiments (figure 1). Ceux-ci sont accolés à un double hangar "GH", lui-aussi âgé de plus de 40 ans, principalement dédié aux expérimentations. Un des nouveaux bâtiment intègre principalement des bureaux et un petit amphithéâtre tandis que l'autre englobe une manip unique au monde : **CORIOLIS II** (figure 2). Il s'agit d'une plaque tournante pesant 350t sur trois niveaux comportant une piscine circulaire de 75cm de profondeur, 13m de diamètre et pouvant tourner jusqu'à 6tour/min. En parallèle de ces deux grosses opérations, une petite partie du hangar a aussi été rénové afin principalement d'améliorer la circulation générale. C'est dans cette partie centrale qu'à été construite la nouvelle salle serveur.

<figure><img src="image_3.png" /><figcaption>Figure 2: Canal à houle de 36m de long et plaque tournante CORIOLIS II</figcaption></figure>

## 2 Objectif

L'explosion du bigdata dans les laboratoires est en partie liée aux innovations régulières dans l'acquisition, en particulier avec les caméras rapides, ainsi qu'à l'augmentation ces dernières années du nombre de cœurs des clusters. Un des objectifs de ce projet immobilier a donc été de centraliser en un seul lieu les données expérimentales, les données provenant des centres de calcul (IDRIS, CINES...) et nos propres serveurs de calcul. Ainsi, les données expérimentales et les traditionnels pré et post-traitements des gros calculs parallèles peuvent être traités directement sur nos clusters. Pour atteindre ces objectifs de centralisation et de rationalisation du traitement de l'information, nous avions besoin de liaisons performantes :

- des bureaux vers la salle serveur avec des liens au 1Gb/s ;

- des ordinateurs d'acquisition situés près des expérimentations vers la salle serveur via des liaisons réseaux permettant un débit de 10Gb/s (voire plus) afin d'assurer la remontée rapide des données.
# 3 Choix techniques

## 3.1 L'optique plutôt que le cuivre

Un réseau classique de type cuivre a rapidement été écarté pour des raisons de débit et de distance (> 80m). En effet, la solution cuivre nous imposait la présence d'au moins un sous répartiteur pour les espaces éloignés de CORIOLIS. Nous en avions heureusement interdit l'usage dans le cahier des charges. Dès que l'on évoque un réseau performant sans cuivre, on pense naturellement à la fibre optique et surtout au prix ! Il existe pourtant des solutions robustes, déployées et qui gagneraient à être plus connues. En effet, la fibre optique est de plus en plus déployée par les opérateurs réseaux pour raccorder les particuliers dans les centres villes (FTTH). La fibre en elle-même mais surtout les transceivers d'extrémités s'obtiennent aujourd'hui à des coûts raisonnables. Nous avons donc fait le choix d'une solution ayant des coûts maîtrisés (équivalent à une solution cuivre) nous permettant, comme nous allons le voir, de raccorder petit à petit les anciens locaux.

En effet, un nouveau réseau cuivre ne nous permettait pas non plus de prévoir l'intégration, dans le futur et sur budget propre, des anciens bureaux et des anciennes salles d'expérimentation. Il aurait fallu pour chaque point réseau à mettre à jour : ouvrir des mètres et des mètres de faux-plafond ; rajouter parfois des chemins de câbles... Nous serions ainsi resté durant des années sur des réseaux d'âges différents sans possibilité de fonctionnement optimum à court et moyen terme. Comme nous le verrons plus loin, l'évolution de l'existant par petites tranches est un atout indéniable apporté par la technologie fibre.

## 3.2 Boucles

D'un point de vue technique, nous sommes partis sur l'idée de boucles optiques monomodes. Décrivons rapidement la solution mise en place afin d'en comprendre le principe et les bienfaits. Trois câbles de 72 fibres optiques quittent la salle serveur (figure 6), naviguent dans les coursives pour revenir au point de départ. Ainsi, n'importe quel point physique de nos locaux est à moins de 20m d'une de ces boucles.

La pose du câble par deux opérateurs est d'une rapidité et d'une facilité déconcertante. Guère plus gros que le diamètre d'un petit doigt, léger, il se fixe sur le chambranle du premier chemin de câbles venu, que celui-ci transporte des courants forts 400V ou tout autre signal. Pour les changements de direction ou les sauts de chemin de câble, une simple gaine électrique sur quelques mètres simplifie encore la pose et améliore la tenue dans le temps.

<figure><img src="image_4.png" /><figcaption>Figure 3: Boîtier de dérivation passif, dérivation de tubes comportant 6 fibres optiques du câble</figcaption></figure>

Chaque câble comporte 12 tubes ayant 6 fibres chacun. A intervalle régulier de chaque boucle, un boîtier de dérivation passif est posé le long du câble et on extrait de celui-ci un, deux ou trois tubes du câble que l'on vient connecter dans ce boîtier d'une quinzaine de centimètre de coté (figure 3). De ces boîtiers, on part avec une simple jarretière vers la manip ou dans la goulotte du bureau. Comme il n'est pas question
d'intégrer aujourd'hui une carte réseau optique (SFP) dans chaque poste de travail sans faire exploser les budgets, des micro-switchs 6 ports dont 4 en façades sont intégrés dans les goulottes (figure 4). Ils ont les dimensions réglementaires d'une double prise au format Mosaic (45x45). Une jarretière optique alimente donc 4 prises RJ45 utilisateurs dans un bureau standard. Ainsi, un boîtier de dérivation avec deux tubes branchés (12 fibres) peut alimenter en moyenne 5 bureaux (20 ports RJ45 directement accessible) et avoir une paire de fibre en réserve au cas où.

**Note :** au niveau des boîtiers de raccordement, deux solutions sont envisageables pour raccorder la jarretière sur la boucle : soit une fusion de la jarretière directement sur la fibre extraite d'un tube, soit une prolongation de cette dernière avec un pigtail muni d'une extrémité LC pré-connecté en usine. La jarretière est alors clipsée dans le bornier LC. Nous avons les deux solutions au LEGI. La première est plus performante mais la seconde s'avère plus souple en cas de rupture de fibre au niveau d'une fusion car elle permet, avec une manipulation très simple que nous pouvons faire nous même, de prendre provisoirement une des fibres de réserve en attendant la réparation (ou de sacrifier un autre bureau).

## 3.3 Commutateurs

<figure><img src="image_5.png" /><figcaption>Figure 4: Micro-commutateur administrable intégré dans les goulottes</figcaption></figure>

Coté matériel actif, entre un poste de travail et le routeur, il y a en moyenne deux commutateurs mais normalement guère plus : celui de cœur de réseau et le micro-switch du bureau. Le schéma du réseau s'en trouve grandement simplifié avec très peu d'éléments intermédiaires. Ainsi, alors que le plan physique consiste en des boucles plus ou moins circulaires, tout point est relié directement à la salle serveur. La topologie du réseau est donc une étoile quasi-parfaite (à l'ancien réseau près).

Cependant, les micro-commutateurs disponibles actuellement sur le marché sont limités au 1Gb/s tant sur les ports cuivre que SFP (optique). Au niveau des expérimentations, en plus d'installer un micro-switch, nous avons commencé à mettre en place dans leurs voisinages des ports fibres au format LC intégrés dans une prise au format Mosaic (45x45). Il est ainsi possible dès à présent de connecter quelques ordinateurs d'acquisition directement au 10Gb/s à la salle serveur.

**Note :** un point important à noter à ce stade est qu'il existe dans le commerce plusieurs marques de fabriquant de micro-switch dont deux marques faisant du matériel de qualité (MTBF de plusieurs dizaines d'année), administrable et gérant une très grande liste de protocole (RADIUS, 802.1X, LLDP, RTSP, SNMPv3, SSH...). Le futur nous réserve des micro-commutateurs gérant le 10Gb/s. S'ils existent déjà à l'état de prototype, il faut maîtriser la gestion thermique du commutateur pour une même durée de vie (allant plus vite, ils chauffent plus) et il faut qu'il y ait une demande réelle du marché.

Au niveau de la plaque tournante CORIOLIS II nous avons un cas particulier, la plaque tourne... Un collecteur tournant (figure 5a) courant fort, courant faible et ayant un unique canal optique permet d'alimenter un commutateur 24 ports classiques (figure 5b) via un uplink en 10Gb/s bid (simplex / mono-fibre). Nous
<figure><img src="image_6.png" /><figcaption>(a) Collecteur tournant
ayant un unique canal fibre
monomode en son centre</figcaption></figure>

<figure><img src="image_7.png" /><figcaption>(b) Commutateur placé sur la plaque relié via un transceiver 10Gb/s bidirectional (simplex)</figcaption></figure>

<caption>Figure 5: Aspects réseaux sur CORIOLIS II</caption>

avons par ailleurs sur celui-ci 3 ports 10Gb/s disponibles afin de connecter des nouvelles caméras rapides ayant cette connectique, ou des PC d'acquisitions via des câbles DAC (Direct Attach Copper).

## 3.4 Brassage et cœur de réseau

<figure><img src="image_8.png" /><figcaption>Figure 6: Cœur de réseau : en haut arrivée et départ des 3 boucles optiques, à droite les 432 ports LC, à gauche la partie active</figcaption></figure>

En salle serveur, via l'utilisation de micro-switch, nous avons divisé par 3 ou 4 le nombre de ports. Deux baies réseaux suffisent pour l'intégralité des 4 bâtiments, une pour les équipements actifs, une pour les connecteurs passifs. La place dédiée au réseau est donc très faible ainsi que le montre la figure 6. C'est assez flagrant au niveau des câbles arrivant dans la baie par le haut. Le chemin de câble semble vide. Pour une baie de cœur de réseau sur laquelle sont connectés à ce jour 250 équipements terminaux, celle-ci est très peu encombrée de câbles. L'administrateur réseau devant tout de même intervenir de temps en temps, les jarretières fibres sont faciles à poser (une chance sur deux sur un des branchements), elles sont souples, fines mais résistantes et coulissent bien les unes par rapport aux autres. Bref, elles sont rapidement aussi agréables à manipuler qu'un câblage cuivre bien rigide en catégorie 7.

La baie *active* de gauche comporte seulement 4 commutateurs. Ce sont des HP A5500 ayant 24 ports SFP et 4 ports SFP+ (ou CX4) sous le système Comware d'un prix raisonnable en 2013 via le marché UGAP. La configuration des systèmes Comware n'est pas classique au début mais s'avèrent assez facile à maintenir en pratique. Sur la baie *passive* de droite (figure 6), chaque fibre de chaque câble est pré-connecté sur un port au format LC. Il y a donc 3 fois 2 * 72, soit 432 ports LC (voir le calcul détaillé plus loin) auxquels s'ajoutent les 12 fibres optiques monomodes d'interconnexions avec le reste du campus.
## 3.5 Monomode versus multimode

<figure><img src="image_9.png" /><figcaption>Figure 7: Transceivers propriétaires versus transceivers génériques</figcaption></figure>

Nous avons rapidement fait le choix de la fibre optique monomode devant le multimode, pourtant très utilisé en interne dans un bâtiment.

- Le multimode est une fibre à gradient d'indice permettant des débits plus faibles et sur des distances plus courtes. Elle coûte plus chère, entre 2 et 3 fois le prix du monomode.

- Un des rares intérêts du multimode est dans le prix actuellement plus faible des transceivers, notamment constructeur (figure 7).

- Cependant, les opérateurs réseaux câblent les immeubles en monomode (FTTH). Nous avons, en choisissant de ne faire que du monomode, fait le pari de la chute du prix des transceivers, voire de l'inversion probable à terme des prix !

- À ce jour, il y a déjà une très faible différence de prix des transceivers 1Gb/s multimodes et monomodes génériques (5€ environ). Au vu du nombre de prise dans notre bâtiment, somme toute modeste, le surcoût des transceivers est compensé par le faible prix du câble monomode et de ses possibilités.

- En effet, seul le monomode propose actuellement le mode simplex (bidi) où tout passe sur une seule fibre et non une paire (l'aller et le retour sont sur un seul brin). En remplaçant les transceivers des deux extrémités, le laboratoire peut doubler la capacité du réseau sans réellement intervenir sur l'infrastructure ! Il suffit en effet de modifier les branchements dans les goulottes terminales, opération somme toute assez simple.

Faisons un calcul très simple avec notre infrastructure. Une boucle de 72 fibres équipe en temps normal un maximum de 72 micro-switchs en duplex, soit 288 prises RJ45 en façade. En effet, lorsqu'on coupe un tube, on peux utiliser la fibre de gauche, mais aussi celle de droite puisque les deux bouts arrivent en salle serveur (c'est l'intérêt principal de la pose du câble en boucle). Nous avons donc 144 fibres utiles par câble. En basculant sur du simplex, il est alors possible de mettre 144 micro-switch !

Il est cependant possible de faire encore mieux. Les micro-commutateurs ont en réalité 6 ports dont seulement 4 en façades. Un port permet la remontée des données, reste un port dans la goulotte permettant de cascader un autre micro-switch. Sur un câble de 72 fibres, on pourrait par exemple avoir 1152 ports RJ45 ! En pratique, il ne faut pas abuser de cette cascade car la bande passante de 1Gb/s est tout de même partagé sur le port de remonté.

**Note :** imaginons un bureau équipé d'un seul micro-commutateur ayant le besoin important d'installer une station de travail reliée au 10Gb/s. Il suffit alors de remplacer les transceivers du micro-switch et du cœur de réseau par une version 1Gb/s bidi (simplex), puis d'utiliser la fibre restante pour connecter le PC via un transceiver 10Gb/s bidi (comme à CORIOLIS). Au delà des coûts des transceivers, il faut juste mettre en place dans la goulotte une prise LC au format Mosaic afin de conserver une installation de qualité.
## 3.6 PoE+ (Power over Ethernet)

<figure><img src="image_10.png" /><figcaption>Figure 8: Borne wifi connectée en PoE sur le port interne d'un micro-commutateur</figcaption></figure>

Le second port interne des micro-switch est cependant pratique lorsqu'il s'agit de brancher une borne wifi, un vidéo projecteur, un système de visioconférence, un système de télédiffusion... surtout que nos micro-commutateurs gèrent le PoE+ (voir figure 8). Une autre utilisation de ce second port consisterait à inter-connecter deux micro-switchs faiblement distants et de configurer du *spanning tree* afin d'assurer la haute disponibilité jusqu'au poste de travail. Beaucoup de choses sont possibles de ce coté là mais avec un certain surcoût. Au laboratoire LEGI, nous n'avons pas besoin actuellement de haute disponibilité au niveau des postes de travail, mais si un jour cela devient important pour quelques postes, cela sera possible.

Depuis quelques années, la téléphonie sur IP a été partiellement déployée sur le réseau de Grenoble-INP en remplacement du très vieux réseau analogique. Au delà du choix technique peu important ici, les télé-phones sur IP sont actuellement les équipements PoE les plus utilisés sur notre réseau. Nous avons éliminé les alimentations spécifiques. Il n'a pas été nécessaire de monter un réseau parallèle comme l'ont fait de nombreux autres laboratoires. Au LEGI, aucun commutateur monté dans un châssis (rack) n'est PoE. Ce dernier point est important car un commutateur PoE consomme et chauffe plus ! Avec une solution basée sur des micro-commutateurs, le matériel actif PoE est distribué dans tout le bâtiment ainsi aucune précaution particulière n'est nécessaire coté température.

**Note :** le câble à fibre optique étant électriquement un isolant parfait, il n'y a aucun problème de masse entre les deux extrémités. Ainsi tant les salles expérimentales, les bureaux que la salle serveur sont électri-quement indépendants. Combien d'entre nous ont perdu des ports sur des commutateurs lors d'orages ?

## 3.7 Alimentation électrique

Si les boîtiers de dérivation sont passifs, il n'en est pas de même des micro-commutateurs qui doivent être alimentés en 48V continu. Plusieurs choix sont possibles. Nous avons privilégié la première pour la partie neuve et la seconde lors de la rénovation d'anciens locaux. Ces deux solutions sont les moins chères, elles minimisent aussi les longueurs en 48V continu et distribuent au mieux dans le bâtiment les effets thermiques (cf. PoE).

1. Déployer un réseau 240V ondulé et brancher les micro-switchs dessus via un petit transformateur placé au milieu de la goulotte. Le transformateur est invisible par l'utilisateur et est conçu pour fonctionner dans cet environnement contraint.

2. Brancher le petit transformateur sur la première prise 240V du voisinage.

3. Installer à coté des boîtiers de dérivation des transformateurs plus professionnel, qui peuvent être doublés, et déployer un réseau 48V continu en parallèle des jarretières sur une vingtaine de mètres.

4. Installer une alimentation centralisée en 48V continu et prévoir des barres de cuivre pour le distribuer dans le bâtiment.
## 3.8 Gestion de la complexité

Avec un micro-switch au minimum dans chaque bureau, l'administration réseau change d'échelle. Au LEGI, nous sommes ainsi passé de 17 commutateurs administrables, tous sous le même OS, à 88 équipements tournant sous 4 OS différents. La gestion centralisée par paquet de commutateur est alors indispensable. Les constructeurs fournissent (ou facturent) des logiciels permettant de gérer plus ou moins simplement un parc de micro-commutateur. Malheureusement, ceux-ci ne tournent pas toujours sous un système GNU/Linux...

<figure><img src="image_11.png" /><figcaption>Figure 9: Cartographie des commutateurs du LEGI réalisé avec l'outil libre klask. En vert les commutateurs et en jaune les salles ou les boîtiers sur lesquels ils sont positionnés</figcaption></figure>

Notre parc ne dépasse pas la centaine d'équipements. Nous utilisons un outil maison, libre et tournant sous GNU/Linux : klask, pour gérer la cartographie via des requêtes SNMP (figure 9). La configuration de plusieurs commutateurs se fait en concomitance via un clone de clusterssh, très simplement via des lignes de commandes simples et claires. Le monitoring du bon fonctionnement de l'ensemble du système est délégué à notre serveur Nagios. Exemple de quelques commandes parlant d'elles-mêmes...

```
vlan-table mode dynamic
interface 1 link-type loop-protect
interface 1 voice-vlan-id 67
interface 1 vlan-id 638
interface 5 trunking-mode dot1q
```

## 4 Perspectives

Actuellement, nous sommes encore très loin d'utiliser la totalité des fibres de nos 3 boucles. Chaque année, nous câblons quelques expérimentations et quelques bureaux qui étaient jusqu'à présent sur un très vieux câblage cuivre en catégorie 3. Il serait préférable de tout faire d'un coup afin d'en finir rapidement mais les budgets ne le permettent pas. L'installation d'un micro-switch dans un bureau ou sur une manip consiste en une intervention locale d'un prestataire qui n'agit que dans le secteur dudit bureau, plus précisément dans la pièce ou dans le couloir jusqu'au boîtier de raccordement le plus proche situé généralement à moins de 20m. La gêne occasionnée est faible et les utilisateurs des bureaux voisins ne se rendent parfois même pas compte des interventions !
Pour nos bâtiments, le fait d'avoir profité de nouvelles constructions pour financer la pose des boucles optiques dans de l'ancien nous a permis d'envisager un raccordement à terme de l'ensemble des expéri- mentations sur un réseau performant ainsi que de pouvoir dès à présent raccorder les anciennes baies de brassage réparties ici ou là selon un plan de charge raisonnable pour nos finances. Il nous permet aussi d'avoir des interventions ponctuelles dans l'espace (pas de câbles cuivre à retirer à travers tout le bâtiment) et dans le temps.

<figure><img src="image_12.png" /><figcaption>Figure 10: Serveurs de calculs, baies de stockage</figcaption></figure>

Avec un point relié au 10Gb/s mi 2013 à la remise des bâtiments, nous avons à ce jour du 10Gb/s fonctionnel en quatre points de plateaux expérimentaux, 100 ports SFP+ dont 68 actifs en 10Gb/s en salle serveur, ce qui nous permet de répondre partiellement à la problématique du bigdata (figure 10) !

Les 25, 40 et 100Gb/s pointent leur bout du nez même si actuellement c'est impossible (et déraisonnable) avec nos budgets. Cependant, la fibre monomode n'ayant pas de limite physique, il sera tout à fait pos- sible d'ici quelques années d'équiper quelques points spécifiques dans le laboratoire avec ces débits. A notre connaissance, seul un réseau basé sur une étoile en fibre monomode offre cette possibilité sans frais d'infrastructure.

Nous allons conclure sur des problématiques d'actualités. Avec le regroupement de laboratoires, avec la création de centres de calculs et de centres de données régionaux forcément éloignés des bâtiments expéri- mentaux et des bureaux, le câblage en fibre optique monomode dans nos bâtiments prend toute sa dimension et permettra de gommer, on l'espère avec une certaine efficacité, toutes ces distances !

Notre futur est clairement lumineux...