Brevet FR3022656A1 — publié le 20151225

Serveur de calculs parallélisés à haute densité. La présente invention a trait à un serveur de calculs parallélisés, destiné à des applications nécessitant une puissance de calcul très conséquente, le cas échéant en association avec d'autres serveurs du même type ou équivalents, par exemple pour des simulations dans le domaine météorologique ou dans celui du nucléaire. Le serveur concerné est classiquement disposé dans un châssis rackable dont les dimensions sont imposées par les installations dans lesquelles ces châssis sont intégrés, en particulier les baies prévues à cet effet. Les contraintes dimensionnelles imposent une attention toute particulière à l'organisation des différents composants et éléments du serveur à l'intérieur du châssis, d'autant que dans le cadre de l'invention, une haute densité d'intégration est recherchée à l'appui d'une puissance optimisée. Selon l'application future du serveur, le châssis de l'invention doit s'adapter en premier lieu aux standards dimensionnels et configurationnels existants pour le montage de modules électroniques rackables superposés dans une structure verticale : en l'espèce, il s'agit de racks 19 pouces, dimension standard qu'il importe de respecter pour la largeur I du châssis. La profondeur ou hauteur des tiroirs concernés est par ailleurs également imposée et désignée par l'identifiant 2U, faisant référence à une dimension également standardisée, la valeur de U étant en l'espèce égale à 1,75 pouces, c'est-à-dire 44,45 mm. Le châssis présente donc une hauteur h de l'ordre de 88 mm. L'invention réside à titre principal dans une architecture originale, permettant cependant une utilisation de cartes électroniques existantes, c'est-à-dire qui ne sont pas conçues spécifiquement pour le serveur de l'invention. Cette architecture a été développée dans le souci constant de proposer une configuration optimisée pour respecter l'exigence initiale de densité, visant à la mise en oeuvre d'une puissance de calcul maximale, tout en préservant un caractère évolutif de la solution. Les critère dimensionnels 3022656 2 que l'on s'est fixé, d'une part pour s'adapter aux standards mentionnés ci-dessus et d'autre part pour aboutir à une compacité maximale, sont tels que la longueur L doit par ailleurs se rapprocher autant que possible de 720 mm. Selon l'invention, le serveur de calculs parallélisés, disposé 5 classiquement dans un châssis de type tiroir rectangulaire de longueur L, de largeur I et de hauteur h, basé à titre principal sur une carte mère et des cartes de calculs parallélisés, se caractérise en ce que six cartes de calculs parallélisés sont disposées en deux rangées transversales superposées de trois cartes alignées dans la largeur I, au voisinage d'une première extrémité 10 longitudinale du châssis, chacune desdites cartes étant placée dans la hauteur h tête-bêche par rapport à une carte identique, les moyens de dissipation de chaleur de chaque carte étant en regard, un espace étant préservé dans la hauteur h entre deux cartes superposées d'une part, et dans la largeur I entre deux cartes adjacentes d'une même rangée d'autre 15 part. La haute densité qui est l'une des caractéristiques du serveur de l'invention pose immédiatement le problème de l'évacuation de chaleur. En électronique, cette question est cruciale, et elle se pose en particulier dans un espace confiné tel que le châssis rectangulaire de l'invention, compte 20 tenu de la puissance de calcul que l'on veut obtenir et de la compacité qui résulte du fait du volume restreint disponible à l'intérieur du châssis. Pour cette raison, la configuration et la disposition relative de l'ensemble des éléments participant au serveur, à l'intérieur du tiroir, sont pensées en particulier en fonction de ce problème d'évacuation de la chaleur. Ainsi, 25 selon une possibilité, des moyens de ventilation sont disposés adjacents aux deux rangées transversales superposées de cartes de calculs parallélisés, à l'une des extrémités longitudinales du châssis, lesdits moyens de ventilation étant placés de sorte que le flux de fluide ventilé couvre sensiblement la surface transversale du châssis et soit orienté parallèlement à son axe 30 longitudinal en direction de l'intérieur du volume délimité par le châssis. 3022656 3 De préférence, ces moyens de ventilation consistent en une rangée de ventilateurs disposés transversalement au niveau du débouché du châssis. Le positionnement relatif des moyens de ventilation et des rangées de cartes de calculs parallélisés permet d'une part une dissipation maximale de 5 la chaleur produite du fait de leur proximité relative, mais doit au surplus autoriser le passage du flux de ventilation vers les composants et systèmes situés du côté opposé, par rapport au ventilateur, desdites rangées. L'une des idées directrices qui ont présidé à l'architecture du serveur de l'invention est de permettre autant que possible une libre circulation des flux de fluides 10 destinée à la dissipation de la chaleur émise par tous les composants électroniques, et en particulier par les processeurs. En continuant vers l'intérieur du châssis, chaque rangée transversale de cartes de calculs parallélisés est reliée à une carte de commutation adjacente qui gère la connexion de chaque carte de calculs parallélisés de la 15 rangée avec la carte mère du serveur. Toujours pour des raisons de ventilation, ces deux cartes de commutation sont disposées en vis-à-vis dans la hauteur h du châssis, un espace libre étant préservé entre elles. En pratique, elles obéissent à une disposition similaire à celle des rangées de cartes de calculs parallélisés, c'est-à-dire qu'elles sont disposées 20 sensiblement symétriquement par rapport à un plan médian parallèle au fond du châssis. Ces cartes de distribution sont dotées de connecteurs de type PCIe à 24 lignes (PCIe x 24) pour la connexion aux cartes de calculs parallélisés et d'un connecteur PCIe à 16 lignes (PCIe x 16) pour la connexion à la carte 25 mère qui s'effectue au moyen d'une liaison de type nappe flex-rigide apte à véhiculer un signal PCI à hautes fréquences. Plus précisément, ces connecteurs de type PCIe x 24, en nombre égal à celui des cartes de calculs parallélisés de la rangée, sont des connecteurs à angle droit dont la direction de connexion est parallèle au plan de la carte de commutation et aux plans 30 des cartes de calculs parallélisés. L'idée est de ne pas consommer d'espace ou en tout cas le moins possible dans une direction perpendiculaire à celle 3022656 4 du fond, afin de réserver l'espace maximal à la libre circulation du fluide de refroidissement. Le second problème qui se pose de manière récurrente dans le serveur de l'invention, déjà apparu en filigrane auparavant, est celui de la disposition 5 relative du plus grand nombre d'éléments visant à rendre l'ensemble le plus compact possible pour gagner de la puissance. A cet égard, l'une des extrémités de la carte mère est disposée entre les cartes de commutation, ladite carte mère s'étendant par ailleurs jusqu'à proximité de la seconde extrémité longitudinale du châssis, entre un dispositif d'alimentation placé au 10 voisinage d'une des parois latérales du châssis d'une part et des emplacements pour des moyens de stockage de données de type disque dur ou mémoires SSD d'autre part. Le dimensionnement et le calcul de l'alimentation sont calculables en fonction des consommations respectives des différentes cartes, et en particulier de leurs processeurs, ainsi que des 15 charges constituées des ventilateurs s'il y a lieu. Compte tenu de l'exigence répétée de passage du flux de fluide de ventilation dans le volume du châssis, un conduit d'air est intégré sous la carte mère, et les configurations et formes des moyens de dissipation thermique des cartes de calculs parallélisés ont été analysées avec soin, de 20 manière à favoriser l'évacuation des calories. Ainsi, ces moyens de dissipation comportent un premier bloc en aluminium prévu pour être solidarisé à une face de la carte, ledit bloc comprenant un socle à section en U sensiblement de même taille que la carte, dont la base est munie d'ailettes verticales orientées parallèlement au 25 sens du flux de fluide de ventilation, la hauteur des ailettes étant inférieure à celle des branches du U, une portion centrale d'allure rectangulaire de la base étant dépourvue d'ailettes, la zone centrale de cette portion étant pourvue d'un orifice en regard du processeur de la carte. La section en U de ce premier bloc en aluminium, comportant des ailettes de hauteur plus 30 limitée que les branches du U, est typiquement prévue pour laisser, au niveau de chaque carte de calculs parallélisés, un canal de passage pour le 3022656 5 fluide de ventilation. Compte tenu que ces cartes comportent des composants électroniques sur les deux faces, les moyens de dissipation comportent un second bloc en aluminium pourvu d'ailettes verticales d'allure parallèle au sens de la ventilation, prévu pour être fixé sur l'autre face de la 5 carte. Enfin, un troisième bloc en cuivre muni d'ailettes verticales d'allure parallèle au sens de la ventilation est prévu pour se fixer dans la portion centrale du premier bloc, une chambre de vaporisation étant placée au niveau de l'orifice en regard du processeur de la carte. Ce troisième bloc, 10 dont le matériau est le plus performant pour la dissipation thermique, est plus particulièrement dédié à la dissipation de la chaleur émise par les processeurs des cartes de calculs parallélisés, qui sont les plus gros émetteurs de chaleur. Bien que ce troisième bloc en cuivre obstrue partiellement le canal 15 central existant entre les branches du premier bloc en aluminium à section en U, l'ensemble a été pensé pour que l'espace préservé dans la hauteur entre deux cartes de calculs parallélisés superposées corresponde à une hauteur comprise entre 14 mm et 19 mm, et que l'espace préservé entre deux cartes adjacentes d'une même rangée corresponde à une largeur 20 comprise entre 19 mm et 22 mm, un espace latéral étant également préservé de chaque côté des rangées entre les cartes et les parois latérales du châssis, débouchant respectivement sur le dispositif d'alimentation et les moyens de stockage de type disque dur ou mémoires SSD. Leur largeur respective est variable, et il peut être utile de conférer la plus grande largeur 25 à l'espace qui donne sur le dispositif d'alimentation, dont l'échauffement peut être important. Par ailleurs, des emplacements et connexions sont prévus dans le châssis, à l'opposé des rangées de cartes de calculs parallélisés superposées, pour deux cartes de calculs parallélisés standards, au niveau 30 d'une paroi transversale d'extrémité du châssis localisée à l'opposé des rangées de cartes de calculs parallélisés superposées. Il est donc possible, 3022656 6 dans une perspective de puissance de calcul maximale, d'équiper le serveur de 8 cartes de calculs parallélisés. L'architecture présentée auparavant permet d'aboutir à une compacité maximale, et en particulier à une longueur L de châssis plus courte que ce 5 qui se faisait jusqu'alors en pareil cas. Une autre différence notable avec les serveurs existants réside dans le fait que les cartes de calculs parallélisés autant que la carte mère du serveur sont disponibles dans le commerce, et la conception du serveur de l'invention a donc été réalisée à partir d'une base existante, et en fonction de leur évolution prévisible. 10 L'invention va à présent être décrite plus en détails, en référence aux figures annexées, pour lesquelles : - la figure 1 est une vue en perspective trois-quarts d'un châssis selon l'invention avec une configuration intérieure complète ; - la figure 2 représente une vue perspective de l'invention selon un 15 autre angle et du côté latéral opposé à celui de la figure 1, la paroi latérale proximale du châssis étant figurée en transparence ; - la figure 3 est une vue en section longitudinale de l'ensemble des cartes et composants occupant le châssis, ce dernier n'étant pas représenté ; et 20 - la figure 4 est une coupe transversale du serveur au niveau des rangées de cartes de calculs parallélisés disposées tête-bêche. En référence à la figure 1, le châssis (1) comporte deux parois latérales (2, 3) perpendiculaires au fond (4) et une paroi d'extrémité transversale (5), l'ensemble délimitant un espace ou volume parallélépipédique dans lequel 25 sont placés les différents éléments du serveur de l'invention, à savoir des cartes électroniques de calcul et d'interfaçage, un dispositif d'alimentation de l'ensemble électronique, des connecteurs, des moyens de stockage, etc... Ainsi, à l'une des extrémités de cet espace, six cartes de calculs parallélisés (6) sont disposées en deux rangées de trois cartes se faisant 30 face et laissant subsister entre elles un espacement laissant libre passage à un flux d'air émis par une rangée de ventilateurs (17) apparaissant en figure 3022656 7 2. Ces ventilateurs (7) ont été omis en figure 1, de manière à montrer le positionnement des cartes de calculs parallélisés, ainsi que la localisation de leurs moyens de dissipation thermique (7, 8, 9). Les ventilateurs (17) choisis fonctionnent sous tension continue de 12 V, et sont compatibles avec le 5 dispositif d'alimentation du serveur (voir ci-après). Leurs dimensions, liées à la puissance à dissiper, permettent d'en mettre cinq dans la rangée. Les moyens de dissipation thermique sont donc au nombre de trois, et sont constitués de deux blocs en aluminium (7, 8) disposés de part et d'autre de la carte de calcul (6) et d'un bloc central (9) en cuivre (voir en particulier 10 en figure 4) disposé au niveau du processeur de chaque carte (6). Le bloc (9) en cuivre est en réalité installé à l'intérieur du premier bloc (7) en aluminium dont la configuration est en U et qui comporte à cet effet une portion centrale dépourvue d'ailettes. Chacun de ces blocs (7, 8, 9) présente des ailettes longitudinales disposées parallèlement au sens de circulation du 15 fluide de refroidissement, symbolisé par la flèche F sur la figure 3. Lesdites ailettes augmentent de manière considérable la surface composant le « dioptre » air/métal, permettant d'assurer la fonction de dissipation thermique. Comme cela apparaît particulièrement bien en figure 1, des espaces 20 résiduels subsistent entre les différentes cartes (6) et leur bloc de dissipation de chaleur (7, 9), dans la hauteur h puisque les extrémités des branches latérales des U des blocs (7) sont écartées les unes des autres d'une certaine distance pour les cartes placées en vis-à-vis, et aussi dans la largeur I dans la mesure où chaque carte (6) d'une rangée est à distance de 25 la ou des cartes (6) adjacentes et/ou des parois latérales (2, 3) du châssis (1). Chaque rangée de cartes de calculs parallélisés (6) est connectée à une carte de commutation (10) qui réalise l'interface et le transfert des informations entre lesdites cartes (6) et la carte mère (11). Chaque carte (10) 30 comporte d'un côté trois connecteurs (12) de type PCIe x 24 à relier aux connecteurs disposés à l'extrémité des cartes (6) de calculs parallélisés. Ces 3022656 8 connecteurs PCIe x 24 (12) présentent l'avantage de ne pas nécessiter un connecteur d'alimentation séparé. Les pistes connectrices sont orientées parallèlement à la carte (10), diminuant ainsi la capacité du connecteur PCIe x 24 à obstruer le trajet de passage du fluide de ventilation. 5 Le composant de commutation de la carte (10) permet une interconnexion à bande passante élevée au standard PCIe Gen3 entre les connecteurs (12) de type PCIe x 24 et un connecteur (13) haute fréquence de type PCIe x 16 qui permet la liaison électronique avec la carte mère (11). La géométrie particulière de cette carte (10) permet aux liaisons PCIe sur le 10 circuit intégré de la carte (10) d'être équilibrées, afin d'améliorer autant que possible la performance. Le connecteur (13) PCIe x 16 de la carte (10) est choisi pour être compatible avec le port de la carte mère (11) auquel il est relié, afin de réaliser une liaison totalement passive entre la carte mère (11) et la carte de commutation (10). La liaison carte (10)/carte mère (11) est 15 effectuée à l'aide de nappes flex-rigides (14) (voir en figures 2 et 3). Ce moyen de liaison est particulièrement adapté puisque capable de véhiculer des signaux à haute fréquence. Dans le souci d'améliorer la compacité, la carte mère (11) s'insère partiellement entre les deux cartes de distribution (10), comme cela est 20 visible en figure 3, ce qui permet de réduire la longueur totale du châssis (1) tout en maintenant ladite carte mère (11) dans le flux d'air refroidisseur puisqu'elle se trouve sensiblement centrée dans la hauteur h dudit châssis (1). Cette solution permet également de réduire la longueur des nappes flexrigides de liaison PCIe entre la carte mère (11) et les cartes de commutation 25 (10), ce qui permet d'optimiser la liaison PCIe Gen3. Au besoin, une carte interface est créée pour ne garder qu'un modèle de liaison par nappe flexrigide, dans l'hypothèse où l'un des ports de connexion de la carte mère (11) est d'un type différent de l'autre. L'existence des deux cartes de commutation (10) permet de n'utiliser que 30 deux des quatre ports PCIe x 16 de la carte mère (11), en l'occurrence les 3022656 9 ports 3 et 4 (14, 15) les plus proches des cartes de commutation (10). Les ports 1 et 2, situés sur la carte mère (11) à distance des cartes de commutation (10), et plus proches de la paroi transversale (5) d'extrémité, servent le cas échéant à la connexion de cartes d'extension standard PCIe 5 (16, 18) qui apparaissent en figures 1 et 2. Huit emplacements pour des disques durs ou des mémoires SSD (19) sont prévus latéralement à la carte mère (11), du côté de la paroi latérale (3). Les emplacements (19) les plus proches de la paroi transversale d'extrémité (5) sont le cas échéant recouverts par la carte de calcul standard 10 PCIe (16). De l'autre côté de la carte mère (11), un dispositif d'alimentation comporte deux modules d'alimentation redondant superposés (20) capables de fournir 2000 W ou 4000 W en cas de fonctionnement non redondant, mais en addition l'un de l'autre. Ces modules sont couplés à une carte de distribution de puissance (21) fournissant des tensions régulées de 12 V et 15 de 5 V en sortie, pour le fonctionnement des différents composants du serveur. Le dimensionnement est validé par la sommation des consommations des éléments du serveur, à savoir : 250 W pour chaque carte de calculs parallélisés (6), 450 W pour la carte mère (11) et les processeurs, 90 W pour les ventilateurs (17), pour une puissance totale un 20 peu supérieure à 2000 W. L'exemple précédent illustré par les figures, qui satisfait aux exigences dimensionnelles fixées au départ, n'est cependant pas exhaustif de l'invention, qui englobe au contraire les variantes de forme et de constitution à la portée de l'homme de l'art. 25 REVENDICATIONS1. Serveur de calculs parallélisés à haute densité disposé dans un châssis (1) de type tiroir rectangulaire de longueur L et de largeur I et de hauteur h, basé sur une carte mère (11) et des cartes de calculs parallélisés (6, 16, 18), caractérisé en ce que six cartes de calculs parallélisés (6) sont disposées en deux rangées transversales superposées de trois cartes (6) alignées dans la largeur I, au voisinage d'une première extrémité longitudinale du châssis (1), chacune desdites cartes (6) étant placée dans la hauteur h tête-bêche par rapport à une carte (6) identique, les moyens de dissipation (7, 8, 9) de chaleur de chaque carte (6) étant en regard, un espace étant préservé dans la hauteur h entre deux cartes (6) superposées d'une part, et dans la largeur I entre deux cartes (6) adjacentes d'une même rangée d'autre part. 2. Serveur de calculs parallélisés à haute densité selon la revendication précédente, caractérisé en ce que des moyens de ventilations (17) sont disposés adjacents aux deux rangées transversales superposées de cartes de calculs parallélisés (6), à l'une des extrémités longitudinales du châssis (1), lesdits moyens de ventilation (17) étant placés de sorte que le flux de fluide ventilé couvre sensiblement la surface transversale du châssis (1) et soit orienté parallèlement à son axe longitudinal (F) en direction de l'intérieur du volume délimité par le châssis (1). 3. Serveur de calculs parallélisés à haute densité selon la revendication précédente, caractérisé en ce que les moyens de ventilation consistent en une rangée de ventilateurs (17) disposés transversalement au niveau du débouché du châssis (1). 4. Serveur de calculs parallélisés à haute densité selon l'une quelconque des revendications précédentes, caractérisé en ce que chaque rangée transversale de cartes de calculs parallélisés (6) est reliée à une carte de commutation (10) adjacente qui gère la connexion de chaque carte de calculs parallélisés (6) de la rangée avec la carte mère (11) du serveur. 3022 6 56 11 5. Serveur de calculs parallélisés à haute densité selon la revendication précédente, caractérisé en ce que les deux cartes de commutation (10) sont disposées en vis à vis dans la hauteur h du châssis, un espace libre étant préservé entre elles. 5 6. Serveur de calculs parallélisés à haute densité selon l'une des revendications 4 et 5, caractérisé en ce que les cartes de commutation (10) sont dotées de connecteurs de type PCIe à 24 lignes (PCIe x 24) (12) pour la connexion aux cartes de calculs parallélisés (6) et d'un connecteur PCIe à 16 lignes (PCIe x 16) (13) pour la connexion à la 10 carte mère (11) qui s'effectue au moyen d'une liaison de type nappe flex- rigide (14). 7. Serveur de calculs parallélisés à haute densité selon la revendication précédente, caractérisé en ce que les connecteurs de type PCIe x 24 (12) sont des connecteurs à angle droit dont la direction de connexion est 15 parallèle au plan de la carte de commutation (10) et aux plans des cartes de calculs parallélisés (6). 8. Serveur de calculs parallélisés à haute densité selon l'une quelconque des revendications précédentes, caractérisé en ce que l'une des extrémités de la carte mère (11) est disposée entre les cartes de 20 commutation (10), ladite carte mère (11) s'étendant par ailleurs jusqu'à proximité de la seconde extrémité longitudinale du châssis (1), entre un dispositif d'alimentation (20, 21) placé au voisinage d'une des parois latérales (2) du châssis (1) d'une part et des emplacements (19) pour des moyens de stockage de données de type disque dur ou mémoires SSD 25 d'autre part. 9. Serveur de calculs parallélisés à haute densité selon la revendication précédente, caractérisé en ce qu'un conduit d'air est intégré sous la carte mère (11). 10. Serveur de calculs parallélisés à haute densité selon l'une quelconque 30 des revendications précédentes, caractérisé en ce que les moyens de dissipation des cartes de calculs parallélisés (6) comportent un premier 3022656 12 bloc en aluminium (7) prévu pour être solidarisé à une face de la carte (6), ledit bloc (7) comprenant un socle à section en U sensiblement de même taille que la carte (6), dont la base est munie d'ailettes verticales orientées parallèlement au sens (F) du flux de fluide de ventilation, la 5 hauteur des ailettes étant inférieure à celle des branches du U, une portion centrale d'allure rectangulaire de la base étant dépourvue d'ailettes, la zone centrale de cette portion étant pourvue d'un orifice en regard du processeur de la carte (6). 11. Serveur de calculs parallélisés à haute densité selon la revendication 10 précédente, caractérisé en ce que les moyens de dissipation des cartes de calculs parallélisés comportent un second bloc en aluminium (8) pourvu d'ailettes verticales d'allure parallèle au sens (F) de la ventilation, prévu pour être fixé sur l'autre face de la carte (6). 12. Serveur de calculs parallélisés à haute densité selon l'une des 15 revendications 10 et 11, caractérisé en ce que les moyens de dissipation des cartes de calculs parallélisés comportent un troisième bloc en cuivre (9) muni d'ailettes verticales d'allure parallèle au sens (F) de la ventilation, prévu pour se fixer dans la portion centrale du premier bloc (7), une chambre de vaporisation étant placée au niveau de l'orifice en 20 regard du processeur de la carte (6). 13. Serveur de calculs parallélisés à haute densité selon l'une quelconque des revendications précédentes, caractérisé en ce que l'espace préservé dans la hauteur entre deux cartes de calculs parallélisés (6) superposées correspond à une hauteur comprise entre 14 mm et 19 mm 25 et l'espace préservé entre deux cartes (6) adjacentes d'une même rangée correspond à une largeur comprise entre 19 mm et 22 mm, un espace latéral étant également préservé de chaque côté des rangées entre les cartes et les parois latérales. 14. Serveur de calculs parallélisés à haute densité selon la revendication 30 précédente, caractérisé en ce qu'un espace latéral est préservé de chaque côté des rangées entre les cartes (6) et les parois latérales (2, 3) 3022656 13 du châssis, débouchant respectivement sur le dispositif d'alimentation (20, 21) et les moyens de stockage de type disque dur ou mémoires SSD. 15. Serveur de calculs parallélisés à haute densité selon l'une quelconque 5 des revendications précédentes, caractérisé en ce que des emplacements et connexions sont prévus dans le châssis, à l'opposé des rangées de cartes de calculs parallélisés (6) superposées, pour deux cartes de calculs parallélisés standards (16, 18), au niveau d'une paroi transversale d'extrémité (5) du châssis (1) localisée à l'opposé des 10 rangées de cartes de calculs parallélisés (6) superposées.