インターコネクトでAIを加速～最新インターコネクト製品技術のご紹介
Mellanox – The Artificial Intelligence Interconnect CompanyDecember 2017

会社概要

Ticker: MLNX

• 広帯域、低レイテンシーインターコネクトのリーディングカンパニー– EDR 100Gb/s InfiniBand、10/25/40/50/56/100ギガビットEthernet– アプリケーションのデータ処理時間を大幅に削減– データセンターサービス基盤のROIを劇的に向上• 会社概要– 本社：ヨークナム（イスラエル）、サニーベール（米国）– 従業員数：全世界で2,900名（2017年1月末時点）• 財務状況
– 2013年度売上– 2014年度売上– 2015年度売上– 2016年度売上– 2016年度税前利益率– Cash + Investment© 2017 Mellanox Technologies：$390.9M：$463.6M：$658.1M：$857.5M：21.0%：$328.4M（2016年12月末時点）- Mellanox Confidential -2超高速ネットワーク市場をリードするエンドトゥエンド製品群

StoreAnalyze

Enabling the Use of Data

InfiniBand、Ethernetエンドトゥエンドソリューションを実現する製品群
IC

アダプタカード

NPU、マルチコア

TILE© 2017 Mellanox Technologies

スイッチ/ゲートウェイ

ソフトウェアMetro / WAN

ケーブル/モジュール

NPS- Mellanox Confidential -3

AIとメラノックスの密接な関係© 2017 Mellanox Technologies- Mellanox Confidential -4

AIは幅広い分野での活用が期待されています
AIは、自然科学やビジネス、そして社会においてより重要な判断をリアルタイムに行うために進化を続けています
ヘルスケア, さまざまなビジネス上の経営判断
知見の探求, セキュリティー, カスタマーサポートなどなど

より多くのデータより良いモデル

より高速な通信
GPUs
CPUs
FPGAs
Storage

More Data → Faster Interconnect → Better Insight → Competitive Advantage© 2017 Mellanox Technologies- Mellanox Confidential -5

ただのビッグデータ? … それはとてもとてもビッグなデータ▪ 自動運転自動車から発生するデータは、およそ8時間の運転で40TBにも達します。
（フルサービスの自動運転自動車の場合）▪ The Pratt & Whitney PC1000Gエンジンは、5000ものセンサーが内蔵されており秒間およそ10GBものデータを発生させます。これは、12時間のフライトでおよそ844TBにもなります。

メラノックスは、このような大量のデータ通信を支えるインターコネクトを提供します© 2017 Mellanox Technologies- Mellanox Confidential -6

爆発的なデータの増加と求められるIn-Network Computing
CPU-Centric (Onload)

Data-Centric (Offload)

つねに大量のデータを「待つ」必要
パフォーマンスのボトルネック
数十usのノード間通信遅延

データの流れに応じた解析が可能に数usのノード間通信遅延

In-Network Computingにより、効率的なデータ解析を実現© 2017 Mellanox Technologies- Mellanox Confidential -7

メラノックスの技術がマシンラーニングを加速します
CPUGPUGPU

RDMA
GPUDirect

CPU

NVMe overFabrics

SHARP
CPU

Security

GPUCPUGPU

In-Network Computingにより、投資対効果を高めます© 2017 Mellanox Technologies- Mellanox Confidential -8

GPUDirect® RDMA and ASYNC技術のご紹介© 2017 Mellanox Technologies- Mellanox Confidential -9

GPUDirect™ とは▪ ノードをまたいだGPU間のコミュニケーションに伴う遅延を劇的に削減▪ Mellanox OFEDにてサポート▪ Mellanoxアダプタとサードパーティデバイス間のP2P通信をサポート▪ CPU負荷や、システムメモリへのコピーが不要▪ InfiniBand および RoCEで使用可能

CPUCPU
Chip
set

Chip
set

VendorDeviceChipsetChipsetVendor0101001011
DeviceDeep Learning性能を効果的に加速© 2017 Mellanox Technologies- Mellanox Confidential -10

GPUDirect™ RDMA の概念

GPU間で直接的な通信を可能に© 2017 Mellanox Technologies- Mellanox Confidential -11

GPUDirect™ RDMA による効果
GPU-GPU Internode Latency

GPU-GPU Internode BandwidthLower is Better

9.3X

Higher is Better10x2.18 usec

Source: Prof. DK Panda

9.3X Better Latency© 2017 Mellanox Technologies

10X Better Throughput- Mellanox Confidential -12

GPUDirect ASYNC▪ GPUDirect RDMA (3.0) – GPUとメラノックスデバイス間で直接のデータ通信を可能に• コントロールパスは従来通りCPUで処理- CPUが、通信タスクをGPU上に準備し、キューする- GPUが、Mellanox に対して通信タスクの開始をトリガー- Mellanox が、GPUメモリを直接アクセスして通信を開始▪ GPUDirect ASYNC (GPUDirect 4.0)
• コントロールパスも含めてMellanoxがGPUに対して直接アクセス

GPU Clustersに対して最大限の性能を発揮© 2017 Mellanox Technologies- Mellanox Confidential -13

Mellanox SHARP
Scalable Hierarchical Aggregation Reduction Protocol© 2017 Mellanox Technologies- Mellanox Confidential -14

Mellanox SHARP によりAI性能を加速

AIにおいては、パラメータサーバのCPUがすぐにボトルネックに(だいたい 4 nodes から)

SHARPによってMellanox スイッチが勾配平均値を処理することでパラメータサーバ不要でオーバヘッドを削減© 2017 Mellanox Technologies- Mellanox Confidential -15

AI/DLアプリケーションへの最適化- コレクティブオフロード -▪ 大規模分散処理における課題• ノード間通信の量が多い。その処理をホストプロセッサで処理している- Machine Learning における勾配平均値の計算やリデュース処理などなど- ノードが増えるほど、これらの処理負担が増大し、思ったほどスケールしなくなる。

All Reduce のオフロードイメージ
40 = 28 + 124040▪ Mellanox のソリューション• SHARP ※- コレクティブオフローディングメカニズムの提供▪ Barrier, Reduce, All-Reduce, Broadcast▪ Sum, Min, Max, Min-loc, max-loc, OR, XOR, AND▪ Integer and Floating-Point, 16 / 32 / 64 / 128 bit

28 = 12 + 9 + 1 + 640
1212 = 7 + 540
9スイッチ

40
140
640
740
5サーバ

※Scalable Hierarchical Aggregation and Reduction Protocol© 2017 Mellanox Technologies- Mellanox Confidential -16SHARP使用によるMPI通信の最適化
All Reduce 処理における遅延性能
Lower is Better

Lower is Better

Without SHARP

Without SHARP

With SHARP

With SHARPSHARPを使用することで、75%の遅延削減を実現© 2017 Mellanox Technologies- Mellanox Confidential -17

In-Network Computing は将来技術ではなく、今使える技術
アプリケーション-セントリック
コンピューティング
アプリ

アプリ
メモリアクセス

アプリ

通信処理

アプリ
集約

アプリ

アプリ
アプリケーション機能のオフロードアプリ

リアルタイム(ストリーム)処理

リアル
タイム
応答

可視化

OS機能オフロードアプリ

高トランザクション処理

最適化された分析処理

In Network Computing

ストレージ内、ネットワークでの移動時も処理を行うことで、スケール・性能を同時に向上© 2017 Mellanox Technologies- Mellanox Confidential -18Mellanoxにより、AIシステムにおいて最大限のROIを実現
60% 高い投資対効果
2.5x の性能 及び95% のスケールアウト効率CapExおよびOpExの 50%削減
ディープラーニングおいて最大のパフォーマンス、スケーラビリティー、生産性を実現

Cognitive Toolkit

Chainer

Mellanoxは、AIの性能を加速させます© 2017 Mellanox Technologies- Mellanox Confidential -19

次世代製品のご紹介

世界初のHDR（200G）
InfiniBandスイッチ© 2017 Mellanox Technologies

世界初のHDR（200G）
IB HCA- Mellanox Confidential -20

Thank You