エクサスケール時代のHPC/AIを支える
コンピューティング・トレンド
日本ヒューレット・パッカード株式会社
HPC&AI/MCS事業統括
皆川 直樹
2020年12月14日

HPE/CRAY エクサスケール・スーパーコンピュータ
LLNL “El Capitan”
2 Exa Flops
AMD CPU + AMD GPU
ORNL “Frontier”
1.5 Exa Flops
AMD CPU + AMD GPU
ANL “Aurora”
1+ Exa Flops
Intel CPU + Intel GPU
NERSC “PERLMUTTER”
Pre-Exascale
AMD CPU + NVIDIA GPU

AMD/IntelのCPUとAMD/Intel/NVIDIAのGPUを採用

2

エクサスケールの時代

モデリング&シミュレーション+Artificial
Intelligence(AI)+

ビッグデータ分析

エクサスケール=の時代

ひとつのシステムでミッションクリティカルなワークフローを実現

3

エクサスケールを支える4つの要素システム

ネットワークストレージ

HPE Cray EX
Supercomputer

HPE Slingshot

Cray ClusterStorソフトウェア
HPE Cray System Management
HPE Cray Programming Environment
4

システム
HPE CRAY EX SUPERCOMPUTER

5

CPU/GPUの消費電力トレンド

消費電力/CPU

消費電力/GPU

280W

400W

*AMD EPYC 7H12

*HGX向けNVIDIA A100

プロセスルールの微細化と消費電力の変化(CPU)

~2yrs

65nm

2006

~2yrs

45nm

2007

2008

~2yrs

32nm

2009

2010

22nm

2011

145W 145W 205W 205W 240W 280W

~2yrs

2012

7nm

14nm

2013

2014

2015

2016

2017

2018

2019

2020

2021

2022

6

HPE CRAY EX SUPERCOMPUTER• 最大で1ラック64計算ブレード、512CPUを搭載可能• 様々な計算ブレードを採用• 複数世代のCPU、GPU、ネットワークに対応• 計算ブレードとスイッチ間はケーブルレス• 100%のDLC(Direct Liquid Cooling)を採用し、ラックあたり300kWをサポート• 何百ものキャビネットを接続可能• 計算ブレード、スイッチのアップグレードが可能

7

HPE CRAY EXキャビネット
HPE Slingshotスイッチ
Rear - To FabricComputeシャーシ
Switchシャーシ

Internal – to BladeGroup/Global links
Groupcables

Globalcables

Compute ブレード8

ネットワーク
HPE SLINGSHOT

9HPE SLINGSHOTHPCネットワーク• 低遅延であり高ハンド幅• 大小のペイロードに対応• MPIなどHPCに特化した機能を採用+Ethernetネットワーク• ネットワーク業界標準• 幅広い接続性• 広く統合されたネットワーク+

ユニークなイノベーション• 革新的なCongestion Control• 優れたAdaptive Routing• スケーラビリティ

HPE Slingshot
 業界をリードする性能と拡張性
 システムやソリューションに最適化されたシリコン
 1ラックからエクサスケールまで安定して高い性能を出すことが可能
 HPC/AI/ビックデータ分析/クラウドワーク
ロードをミックスしたシステムに最適
 Ethernet互換であるためデータセンターのリソースに接続可能
 Ethernet標準プロトコルに準拠

10

DRAＧONFLY• Dragonflyトポロジは、従来のFat treeに必要なオプティカルケーブルの約半分で接続することが可能• Dragonflyトポロジはグループ内がAll to Allで接続され、すべての経路は3ホップ内で接続される
ため、ジョブのプレイスメントを気にする必要なし

Dragonflyは優れたAdaptive Routingが必要
さらに革新的なHardware Congestion ControlがDragonflyでより優れた動作を実現
CONFIDENTIAL | AUTHORIZED11

CONGESTION CONTROL(輻輳制御)
250(Gb/s)

200

Job Interference intoday’s networks

All to All

100% peak

150
10050

Many to one
Global Sync
2 ms0

Congesting (green)
traffic hurts wellbehaved (blue) traffic,
and really hurts latencysensitive, synchronized(red) traffic.

250
All to All

150

Many to one

Global Sync

10050

All to All

Global Sync

Many to one

With HPE Slingshot
AdvancedCongestion
Management

0
2
58
115
171
227
283
340
396
452
508
565
621
677
733
790
846
902
958
1015
1071
1127
1183
1240
1296
1352
1408
1465
1521
1577
1633
1690
1743
1800
1856
1912
1968
2025
2081
2137
2193

(Gb/s)

200

Simulation time (uSec)
12

CONGESTION CONTROL(輻輳制御)
Many to one

All to All
Global Sync

REF: https://www.mir.co.jp/route_map/

CONFIDENTIAL | AUTHORIZED

13

ストレージ
CRAY CLUSTERSTOR

14

CRAY CLUSTERSTOR E1000(LUSTRE FILE SYSTEM)•

圧倒的な性能••圧倒的な効率性••200 Gbps HPE Slingshot、InfiniBand HDR/EDR、100/200 Gbps Ethernet

オープンソースLustre file systemの利点••

PCIe Gen4によりSSDのパフォーマンスを引き出す

幅広いネットワークへの接続性••

最大80GB/s を たった2Uに収まる24本のSSDだけで実現

TBやドライブ数などに対して、ソフトウェアライセンスが一切不要

エンタープライズ向けのカスタマーサポート•

Lustre R&Dチームを含め、ファイルシステムのサポートを提供

15

6Uからスタートでき、どこまでも拡張可能
E1000タイプ
Flash File System

エクサスケール例

エントリーレベル

13ラック
4TB/sec
30PB 使用可能容量

6ラックユニット
80GB/sec
246TB 使用可能容量

20ラック
1TB/sec
200PB 使用可能容量

14ラックユニット
30GB/sec
2.5PB 使用可能容量

Rotating File System

Mixed File System+50ラック10TB/sec
700+PB 使用可能容量

Flash + Rotatingのハイブリッド構成(Cray ClusterStor data
management servicesを使用)

CONFIDENTIAL | AUTHORIZED16ソフトウェア
HPE CRAY SYSTEM MANAGEMENT
HPE CRAY PROGRAMMING ENVIRONMENT17

HPC/AI/ビッグデータ分析のワークロードに対応

Platforms

HPC

Analytics

Artificial
Intelligence

Workload
Orchestration

Programming
Tools

18

HPE CRAY SYSTEM MANAGEMENTManagementServices
AdministrativeControl

Mgmt
APIs

(Service Nodes)

HardwareInventory
Node Bootstrap

Orchestration

HPC
Workload
External Interfaces (IPv4,v6)

Other
ManagedNodes
UserAccess
Service orbare metallogin nodes

LinuxUtility
Storage
MonitoringInfrastructure Services (Hardware)Slingshot
Management
Configuration
Management

Storage

EventsSlingshot

ComputeCONFIDENTIAL | AUTHORIZED19

HPE CRAY PROGRAMMING ENVIRONMENT

REF: HPC Software

プログラマの生産性、アプリケーションのスケーラビリティ、パフォーマンスを向上させるために設計されたコンパイラ、MPI、ライブラリ、パフォーマンス解析ツールなどを備えた完全に統合されたソフトウェアスイート
Completetoolchain
アプリケーション開発に必要なプロセス全体に対応する包括的なツー
ルセット

Cross Platform

Programmability

HPEにおける様々なプ
ラットフォームに対応し、Intel/AMD/ARMアーキテ
クチャに対応直感的な動作、タスクの自動化や最小限の労力で最高のアプリケーショ
ンパフォーマンスをユー
ザに提供

Scalability

Holistic Support

あらゆるシステムからエクサスケール規模においてアプリケーション のパ
フォーマンスが向上

ツールだけでなくソフトウェアスイート全体を総合的にサポート

Debug
Debug
information

CompileFrom HPC experts
for HPC experts
30年以上、HPCエキス
パートユーザとの密接な交流を通して開発

Compiler
information

Application
information

Export/Import
ProgramAnalyses

Performance
AnalysisAnalyze

Queries forApplication
Optimization

PortApplication20

エクサスケールを支える4つの要素
システム

ネットワークストレージ

HPE Cray EX
Supercomputer

HPE Slingshot

Cray ClusterStor

ソフトウェア
HPE Cray System Management
HPE Cray Programming Environment
21

ハードウェアポートフォリオ
HPC/AI 特化型
HPE Cray EX
Supercomputer

HPE Cray
Supercomputer

HPE Apollo
6500 Gen10Plus

HPE Apollo
2000 Gen10

HPC/AIの統合ワークロードに最適な、次世代のスーパーコンピューティング

AIに最適なアクセラ
レーテッド・コンピュー
ティング

高密度型スケールア
ウト コンピューティング

HPE Apollo6000 Gen10

HPE Apollo
2000 Gen10 PlusHPE
Apollo 20

HPE
SGI 8600

インメモリ

Arm

HPE Superdome
Flex ServerHPE
Apollo 80

スケールアップ型のインメモリ
HPC 並列化に適さないワー
クロードに

SVE and HBM2 搭
載のArm HPC
Serverエッジ
HPE Edgeline
EL4000

エッジでのAI推論を、高速かつセキュアにトラディショナルなラックマウント
HPE ProLiant DL385 HPE ProLiant DL380
Gen10 Plus
Gen10
水冷を活用した、スタンダードなスーパーコンピューティング

広帯域スイッチを内蔵し、ラックスケールの性能を最大化

高密度型スケールア
ウト コンピューティングの新たな標準

メモリインテンシブなワー
クロードに最適新しい標準を、仮想化、HPC、幅広い用途にもたらすインダストリースタン
ダードな多目的サーバー

HPE ProLiant DL360
Gen10幅広いワークロードに対応したスリムなサーバー

22ソフトウェアポートフォリオApplicationand Software
Development
Ecosystem

HPE Cray Programming
Environment

DevelopmentEnvironments• C/C++, Fortran, UPC, R, Python• Compiling Environment

Debug &Performance• Debuggers• Performance analysis &optimization tools• Code parallelization assistant

MPI• HPE Cray MPIWorkload Management& Orchestration

NVIDIA HPC SDKSlurm®

Containers:
Docker®, Singularity

Kubernetes®

NICE DCV and EnginFrame

Storage File Systems

Cray ClusterStor E1000 Storage Solution (Lustre-based)

System Management

Mellanox® HPC-X™

Open MPI

Remote Visualization

Data Management

VampirTotalView™ by Perforce

HPE Message Passing Interface (MPI)

Altair® PBS Professional®

GNU Compilers

NVIDIA GPU CloudArm® Forge Professional

AMD AOCC

Arm® Allinea StudioIntel® Parallel Studio XE (w/Intel MPI)HPE Data Management Framework (DMF)
HPE Cray supercomputer software• HPE Cray System ManagementFabric Software• HPE Slingshot fabric manager

Operating System• HPE Cray Operating System

HPE Apollo, HPE ProLiant DL, HPE SGI

HPE Apollo 80

REF: High Performance Computing Software Portfolio

Bright Cluster Manager®

HPE Performance Cluster Manager

Mellanox® Unified Fabric Manager™
SUSE® LinuxEnterprise Server

HPE Cray supercomputerIntel® Omni-Path Fabric Software

Red Hat®
Enterprise Linux™

Cray ClusterStorCentOS

TOSS23

HPE・SGI・CRAYが持つ確かな経験と技術力が結集
ファシリティコンサルティング、アプリケーションベンチマーク、導入・運用・保守まで、日本国内のHPC/AIスペシャリストが対応

ファシリティ コンサルティング サービス

アプリケーション ベンチマーク サービス

サーマル アセスメントの実施、水冷冷却設備/空調設備の設計から導入を行うスペシャリスト

様々な領域のスペシャリスト
•••••
•
••

構造・流体解析
化学
生命科学
気象、海洋
数理統計学
プラズマシミュレーション
分子動力学
TOP 500 / Green 500

24THANK YOU
皆川 直樹
naoki.minagawa@hpe.com

CONFIDENTIAL

25