Connecting Visions

エクサスケールに向けたIn-Network Computing
テクノロジとその効果
December 2019

© 2019 Mellanox Technologies

112358

10

InfiniBandは上位10システム中6つのスーパーコンピュータで採用されました。
© 2019 Mellanox Technologies

2

HDR 200G InfiniBandが次世代スパコンで続々採用に

23.5 Petaflops
8K HDR InfiniBand Nodes
Fat-Tree Topology

1.7 Petaflops
2K HDR InfiniBand Nodes
Dragonfly+ Topology

50 Petaflops
7.2K HDR InfiniBand Nodes
Dragonfly+ Topology

Highest Performance Cloud

3K HDR InfiniBand Nodes
Dragonfly+ Topology

3.1 Petaflops
1.8K HDR InfiniBand Nodes
Fat-Tree Topology

1.6 Petaflops
Hybrid CPU-GPU-FPGA
Fat-Tree Topology© 2019 Mellanox Technologies

3よりインテリジェントで高速なネットワーク
高パフォーマンスとスケールを実現するには、より高速なネットワークとIn-Network Computingが必要
データセントリック (Offload)

CPU中心 (Onload)
CPU

GPU

CPU

GPU

GPU

CPU

GPU

CPUOnload Network

In-Network Computing

CPUGPU

CPU

GPU

GPU

CPU

GPU

CPU

データ待ちが生じる
パフォーマンスボトルネックにデータの転送中でもデータ処理を実施
高速でよりスケーラブルに© 2019 Mellanox Technologies

4全レベルでHPC/AIフレームワークを加速
アプリケーション通信

ネットワーク

接続性

 データ解析 リアルタイム 深層学習 Mellanox SHARP In-Network Computing
 MPI Tag Matching MPI RendezvousNetwork トランスポートオフロード
RDMA および GPU-Direct RDMASHIELD (Self-Healing Network)
アダプティブルーティング および輻輳コントロール

 Multi-Host テクノロジ
 Socket-Direct テクノロジ
 様々なトポロジ© 2019 Mellanox Technologies

5最高の性能を提供する200Gb/sソリューション
200Gb/s アダプタ
215 M メッセージ/秒(10 / 25 / 40 / 50 / 56 / 100 / 200Gb/s)
40 ポートのHDR (200Gb/s) InfiniBand
80 ポートのHDR100 InfiniBand
16Tb/sのスループット, 130nsの低遅延
System on ChipおよびスマートNIC
プログラマブルアダプタ
スマートオフロードTransceivers
Active Optical and Copper Cables(10 / 25 / 40 / 50 / 56 / 100 / 200Gb/s)
MPI, SHMEM/PGAS, UPC
商用およびオープンソースのアプリケーションに対応
ハードウェアアクセラレーションを活用© 2019 Mellanox Technologies

6新製品 Mellanox Quantum LongReach™
InfiniBandで40kmの長距離接続を実現

 InfiniBandで40kmまでのデータセンター間接続
 データセンターをまたいでのロードバランスと拡張を実現
 データセンター障害時でも計算サービスの継続が可能に
 エンドツーエンドで標準のHDRおよびEDR接続
 進化したIn-Network Computingをサポート© 2019 Mellanox Technologies

7

新製品 Mellanox Skyway™ Ethernet Gateway 100G EDR / 200G HDR InfiniBand から100G / 200G Ethernet へのゲートウェイ 将来を見据えた400G NDR / 800G XDR InfiniBand レディー EDR/HDR100/HDR InfiniBandが8ポート、及び100/200G Ethernetが8ポート
 最大スループット1.6 Tbit/s 高可用性およびロードバランス機能
 専用のMellanox Gateway operating system
 高い拡張性、高効率© 2019 Mellanox Technologies

8Scalable HierarchicalAggregation andReduction Protocol(SHARP)© 2019 Mellanox Technologies

9Mellanox SHARPとはScalable Hierarchical Aggregation and Reduction Protocol (SHARP)
 高信頼でスケーラブルな汎用プリミティブ
 In-Network ツリーベースの集合メカニズム
 多数のグループをサポート
 複数の処理を同時に実行可能
Switch 幅広いユースケースに適用可能
 MPIやSHMEMを用いるHPCアプリケーション
 分散学習を行うアプリケーション

Aggregated
Data

AggregatedResultSwitch 高性能で拡張性の高い、コレクティブオフロード
 Barrier, Reduce, All-Reduce, Broadcast 他
Data Sum, Min, Max, Min-loc, max-loc, OR, XOR, AND 整数 および浮動小数点：16/32/64 ビット
Host

SwitchAggregatedResult
Host

Host

Host

Host

© 2019 Mellanox Technologies

10SHARP AllReduce 性能改善 (128 Nodes)

Scalable HierarchicalAggregation andReduction ProtocolSHARP により75%も遅延を削減
スケーラブルでフラットな遅延© 2019 Mellanox Technologies

11SHARP AllReduce 性能改善
1500 Nodes, 60K MPI Ranks, Dragonfly+ トポロジ

Scalable HierarchicalAggregation andReduction Protocol

SHARP により最高のパフォーマンスが実現© 2019 Mellanox Technologies

12SHARP はAIの性能を加速しますパラメータサーバのCPU がボトルネックに勾配平均の演算に効果パラメータサーバの置き換えが可能
AIのパフォーマンスを改善© 2019 Mellanox Technologies

13SHARP により最高のAI性能を実現© 2019 Mellanox Technologies

14SHARP により最高のAI性能を実現
GNMT MLPerf Benchmark
Neural Machine Translation

7209508

24xDGX1V + 4xMellanox ConnectX-6

GNMT MLPerf 0.6 benchmark: Batch Size=32, Overlap=0.15

Scalable HierarchicalAggregation andReduction Protocol

8487683

18%
Total Rate

Total Rate

18%

VAE Benchmark
Variable Auto-Encoder
12.78

10.86

32xDGX1V + 4xMellanox ConnectX-6
VAE benchmark: Model=3, BS=512

SHARPにてAIのパフォーマンスが改善© 2019 Mellanox Technologies

15

GPUDirect© 2019 Mellanox Technologies

16

GPUDirect™ RDMAで10倍の性能改善
 HPCやDeep Learningの性能を改善
 GPU間のコミュニケーション遅延を最低に

GPUDirect™ RDMA

Courtesy of Dhabaleswar K. (DK) Panda
Ohio State University© 2019 Mellanox Technologies

17Adaptive Routing© 2019 Mellanox Technologies

18確かな実績のInfiniBand Adaptive Routing
 Oak Ridge National Laboratory – Coral Summit supercomputer mpiGraphをベースにした双方向帯域ベンチマーク

 可能性のあるすべてのMPIプロセスペア間の帯域を探索 アダプティブルーティングを使用すると、理論最大帯域の96%もの平均実効帯域を観測
InfiniBand High Network Efficiency - mpiGraph
mpiGraph explores the bandwidth between
possible MPI process pairs. In the histograms,
the single cluster with AR indicates that allpairs achieve nearly maximum bandwidth
while single-path static routing has nineclusters as congestion limits bandwidth,
negatively impacting overall application
performance.

“The Design, Deployment, and Evaluation of the CORAL Pre-Exascale Systems”,
Sudharshan S. Vazhkudai, Arthur S. Bland, Al Geist, Christopher J. Zimmer, Scott Atchley, Sarp Oral, DonE. Maxwell, Veronica G. Vergara Larrea, Wayne Joubert, Matthew A. Ezell, Dustin Leverman, James H.
Rogers, Drew Schmidt, Mallikarjun Shankar, Feiyi Wang, Junqi Yin (Oak Ridge National Laboratory) andBronis R. de Supinski, Adam Bertsch, Robin Goldstone, Chris Chambreau, Ben Casses, Elsa Gonsiorowski,Ian Karlin, Matthew L. Leininger, Adam Moody, Martin Ohmacht, Ramesh Pankajakshan, FernandoPizzano, Py Watson, Lance D. Weems (Lawrence Livermore National Laboratory) and James Sexton, JimKahle, David Appelhans, Robert Blackmore, George Chochia, Gene Davison, Tom Gooding, Leopold
Grinberg, Bill Hanson, Bill Hartner, Chris Marroquin, Bryan Rosenburg, Bob Walkup (IBM)

Static Routing

Adaptive Routing

Oak Ridge National Lab Summit Supercomputer© 2019 Mellanox Technologies

19

InfiniBandによる
HPCクラウド© 2019 Mellanox Technologies

20

Azure (100G IB) vs Major Cloud(100G) - MPI 性能

1.3 – 4 us

17 – 22 usMajor Brand A-Cloud
InfiniBand は スモールメッセージで13.5X もの低遅延を実現© 2019 Mellanox Technologies

21

Azure (100G IB) vs Major Cloud(100G) - MPI 性能～12K MB/s<3K MB/s

Major Brand A-Cloud
InfiniBandはラージメッセージで3.6Xもの帯域を提供© 2019 Mellanox Technologies

22最高の性能と拡張性を提供する
InfiniBand© 2019 Mellanox Technologies

23Mellanox Supercomputing 2019 News

200G HDR InfiniBand は最高の性能と拡張性を提供します
HDR InfiniBand は新規のシステムの31%で採用
InfiniBand の採用が12%増加
297 システムでメラノックスの採用

PRIMEHPC FX700, A64FX Arm CPU
With InfiniBand (Post-K)© 2019 Mellanox Technologies

24エクサスケールに向けた最高の性能と拡張性

96%7倍

高い性能

フラットで低遅延

2倍

5000倍

13倍の帯域効率

Deep
Learningの性能早い回復力

17usecクラウド性能1.3usec© 2019 Mellanox Technologies

25

InfiniBandは最高の性能とROIを実現します エンドツーエンドの200G HDR InfiniBand, 超低遅延, 高メッセージレート, RDMA and GPUDirect
 進化したエンドツーエンドのアダプティブルーティング, 輻輳制御とQoS In-Network Computing アクセラレーションエンジン (Mellanox SHARP, MPI オフロード) 高可用性を実現する、ネットワークの自己修復機能を備えたSHIELDテクノロジ
 Mellanox Skyway 高速イーサネットゲートウェイ, Mellanox Quantum LongReachで40 Kmまでの長距離InfiniBand接続
 InfiniBandは標準技術であり、後方および将来の互換性を提供© 2019 Mellanox Technologies

26これからも最高の性能と拡張性を提供します

800G XDR

400G NDR
200G HDR© 2019 Mellanox Technologies

27

Thank You© 2019 Mellanox Technologies

28