MellanoxAI Advantage
次世代AIが求める高効率インターコネクト
Feb 2018© 2018 Mellanox Technologies

1AIは幅広い分野での活用が期待されています
AIは、自然科学やビジネス、そして社会においてより重要な判断をリアルタイムに行うために進化を続けています
ヘルスケア, さまざまなビジネス上の経営判断
知見の探求, セキュリティー, カスタマーサポートなどなど

より多くのデータ

より良いモデルより高速な通信
GPUs
CPUs
FPGAs
Storage

More Data → Faster Interconnect → Better Insight → Competitive Advantage© 2018 Mellanox Technologies

2

ビッグデータ? … それはとてもとてもビッグなデータ
 自動運転自動車から発生するデータは、およそ8時間の運転で40TBにも達します。
（フルサービスの自動運転自動車の場合）

 The Pratt & Whitney PW1000Gエンジンは、5000ものセンサーが内蔵されており秒間およそ10GBものデータを発生させます。これは、12時間のフライトでおよそ844TBになります。

メラノックスは、このような大量のデータ通信を支えるインターコネクトを提供します© 2018 Mellanox Technologies3爆発的なデータの増加とIn-Network Computing
CPU-Centric (Onload)

Data-Centric (Offload)

つねに大量のデータを「待つ」必要
パフォーマンスのボトルネック
数十usのノード間通信遅延

データの流れに応じた解析が可能に
数usのノード間通信遅延

In-Network Computingにより、効率的なデータ解析を実現© 2018 Mellanox Technologies

4メラノックスの技術がマシンラーニングを加速します
CPUGPUGPURDMAGPUDirect

CPU

NVMe overFabrics

SHARP
CPU

GPUSecurity

CPU

GPU

In-Network Computingにより、投資対効果を高めます© 2018 Mellanox Technologies

5NVMe over Fabrics© 2018 Mellanox Technologies

6NVMeをとりまく市場動向 2020年までに 50% のエンタープライズ

サーバとストレージアプライアンスはNVMe をサポート
 2020年までに 40% の all-flash arrayはNVMe ベースになる 2020年までに NVMe SSDの出荷量は25百万個に成長 2020年までに 740,000 NVMe over Fabrics
アダプターが出荷される
 NVMe over Fabrics 市場の >75% がRDMANIC になる

http://www.storagenewsletter.com/rubriques/market-reportsresearch/nvme-market-at-57-billion-by-2020-with-95-cagr-g2m-research/© 2018 Mellanox Technologies

7Mellanoxが提供するNVMe over Fabrics Target Offload
NVMe ターゲット側(ストレージコントローラ)
NVMe

NVMe
Controller

n QueueCommand Id
OpCodeCommand Id
OpCodeNSID

2BufferAddress(PRP/SGL)

DeQueue
SQE

CommandParameters

BufferAddress(PRP/SGL)
CommandParameters

FabricPortQueue

3

EnQueue
CQE

NVMe

NSID

Command Parm

NVMe > Block
リクエストに変換

NVMe
NVMe

SQ Head Ptr
Command Status P

Command Id

NVMe

NVMe NVM Subsystem

RDMA Rx
NVMe
リクエスト

ターゲットオフロード
対応NIC

Block Layer

通常はター
ゲット側CPUが処理
NVMe
Driver

NICによる
Offload

NVMe
DeviceConnectX-5/Bluefield はターゲット処理も含め、NICにオフロード© 2018 Mellanox Technologies

8CPUを介在せずにストレージアクセスを実現

NVMeストレージが要求する低遅延・広帯域I/Oは、従来のCPU処理による転送では限界があります。このため、NVMe
over FabricsではRDMAの使用が基本として盛り込まれています。

CPUMemory

Mellanox

NVMe

Mellanox ConnectX製品は、完全なハードウェアによるRDMAが可能で、CPU負荷を極限まで低減可能。
さらにMellanox ConnectX-5の持つNVMe over Fabrics
Target Offload機能により、End-to-EndでCPUを介在しないNVMe I/Oが可能となります。

ClientRDMA
RDMAConnectX-5© 2018 Mellanox Technologies

9GPU Direct/RDMA© 2018 Mellanox Technologies

10GPU Direct RDMAのご紹介 ノードをまたいだGPU間のコミュニケーションに伴う遅延を劇的に削減

 Mellanox OFEDにてサポート
 Mellanoxアダプタとサードパーティデバイス間のP2P通信をサポート

 CPU負荷やシステムメモリへのコピーが不要
 InfiniBand および RoCEで使用可能
 Mellanoxは真のハードウェアRDMAにより、CPU消費を極限まで低減

GPU間で直接的な通信を可能に© 2018 Mellanox Technologies

11GPU Directの効果（GPU間通信）
GPU-GPU Internode Latency

GPU-GPU Internode BandwidthLower is Better

9.3X

Higher is Better10x2.18 usec

Source: Prof. DK Panda

9.3X Better Latency

10X Better Throughput© 2018 Mellanox Technologies

12GPU Directの効果（Chainer MN）
 ChainerMN depends on MPI for inter-node communication
 NVIDIA® NCCL library is then used for intra-node communication between GPUs
 Leveraging InfiniBand results in near linear performance Mellanox InfiniBand allows ChainerMN to achieve ~72% accuracy.

Source: http://chainer.org/general/2017/02/08/Performance-of-Distributed-Deep-Learning-Using-ChainerMN.html© 2018 Mellanox Technologies

13Mellanox SHARP© 2018 Mellanox Technologies

14AI/DLへの最適化 - コレクティブオフロード  大規模分散処理における課題• ノード間通信の量が多い。その処理をホストプロセッサで処理している- Machine Learning における勾配平均値の計算やリデュース処理などなど- ノードが増えるほど、これらの処理負担が増大し、思ったほどスケールしなくなる。

All Reduce のオフロードイメージ
40 = 28 + 124040

スイッチ

28 = 12 + 9 + 1 + 6

 Mellanox のソリューション• SHARP ※401240912 = 7 + 540
140
640
740
5サーバ

- コレクティブオフローディングメカニズムの提供
 Barrier, Reduce, All-Reduce, Broadcast
 Sum, Min, Max, Min-loc, max-loc, OR, XOR, AND
 Integer and Floating-Point, 16 / 32 / 64 bit※Scalable Hierarchical Aggregation and Reduction Protocol© 2018 Mellanox Technologies

15

SHARP使用によるMPI通信の最適化
All Reduce 処理における遅延性能
Lower is Better

Lower is Better

Without SHARP

Without SHARP

８Ｂ
1024Ｂ

128Ｂ

2048Ｂ

With SHARP
With SHARPSHARPを使用することで、75%の遅延削減を実現
おおむね4nodes以上にクラスタにおいて、MPI遅延削減に効果© 2018 Mellanox Technologies

16MellanoxでAI/DL環境の最大限のROIを実現
60% 高い投資対効果
2.5x の性能 及び95% のスケールアウト効率
CapExおよびOpExの 50%削減
ディープラーニングおいて最大のパフォーマンス、スケーラビリティー、生産性を実現

Cognitive Toolkit

Chainer

Mellanoxは、AIの性能を加速させます© 2018 Mellanox Technologies

17次世代製品のご案内

世界初のHDR（200G）
InfiniBandスイッチ

世界初のHDR（200G）
IB HCA© 2018 Mellanox Technologies

18Thank You© 2018 Mellanox Technologies

19