HPC/AIの技術を加速するNVIDIAテ
クノロジーのご紹介と将来動向～データセンターを加速するネットワークソリューション～
PCCC20 Symposium 14th Dec 2020
HPC/AI Network Product Marketing

Masaki Iwatani

NVIDIAによるMELLANOXの買収が完了

2020年4月27日に、NVIDIAによるMellanoxの買収が完了しました
製品ラインナップや、今後の製品開発の変更はありません
Mellanoxは、NVIDIA Mellanox® ブランドになります
Mellanoxは、ネットワーク部門として引き継がれています

これまでもこれからもMellanoxをよろしくお願い申し上げます
GTC2020 Keynoteで、Mellanox製品を真っ先に発表する
ジェンスン ファン(CEO)
写真の製品は、NVIDIA Mellanox SN4700 イーサネットスイッチ
2

IN-NETWORKによるスーパーコンピューティングの加速化
データセンターは、コンピューティングユニットの一つ

INFINIBAND
Software-Defined
Hardware-Accelerated
In-Network Computing
Pre-configured Engines
Programmable EnginesNETGPUSUPERCOMPUTER
スパコン

CPU

高速な高いセキュリティの通信が重要
NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

3

IN-NETWORKコンピューティングがスパコンを加速
INFINIBAND

スループット性能向上

Software-Defined
Hardware-Accelerated
In-Network
Computing
Pre-configured Engines
Programmable Engines

アクセラレーション

新技術

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

200G end-to-end, extremely low latency
RDMA and GPUDirect
Enhanced Adaptive Routing and Congestion
Control
Smart topologies

SHARP (data reductions)
MPI Tag-Matching
Self Healing Network (resiliency)
NVMe over fabricData security and tenant isolations

DPU cores
Data pre-processing
User-defined algorithms

4IN-NETWORK COMPUTINGの技術で大きな性能向上を実現
INFINIBAND

7倍

SHARP

Software-Defined
Hardware-Accelerated
In-Network Computing
MPI with Hardware Tag Matching

Pre-configured Engines
Programmable Engines

MPI Tag-Matching

GPU Direct

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

+ TM

1.8倍

10倍5HDR 200G INFINIBANDが次世代スパコンで続々採用に
SC20のTop100の60％の環境で採用！！

9 PFlops
3K HDR Nodes
Dragonfly+
Topology

16 PFlops
200G InfiniBandが次世代スパコンで続々採用に
19.5HDR
PetaFLOPS
3K HDR Nodes
2.5K HDR Nodes
Dragonfly+
Dragonfly+ and Fat TreeTopology

23 PFlops
5.6K HDR Nodes
Dragonfly+Topology

27.6 PFlops
3K HDR Nodes
Fat-Tree Topology

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

HPC/AI Cloud
HDR InfiniBand

8K HDR Nodes
Dragonfly+Topology

HDR InfiniBand
Supercomputers

35.5 PFlops
2K HDR Nodes
Fat-Tree Topology

23.5 PFlops
8K HDR Nodes
Fat-Tree Topology
6世界のセンターで採用されるInfiniBand最新版 NDR（400Gb/s）
次世代型の最新InfiniBandアーキテクチャー

400G/s NDR
200G/s NDR200
PCIe Gen5 & Gen4をサポート
In-Network Computing
Programmable Datapath

ConnectX-7

400G NDR,
200G NDR200
16 Arm Cores
DDR5, PCIe Gen5 & Gen4
AI Acceleration Engines
In-Network Computing
Programmable Datapath

64ポート 400G NDR
128ポート 200G NDR200
In-Network Computing
M: 2048ポート 400G
(4096 x 200G)
M: 1024-ポート400G(2048 x 200G)

カッパーケーブル
アクティブなカッパーケーブル
光トランシーバDPU

IB Switch

LinkX

7

NDR 400G INFINIBAND
様々な性能値の世界的な記録を達成

6.5x 高い拡張性

32 倍の AI アクセラレーション

百万nodes を3 ホップで接続可能(Dragonfly+ ネットワークトポロジー)

SHARP In-Network Computing Technology

EXASCALE大規模環境対応

ACCELERATED DEEP LEARNING

HDRの2倍のデータスループット

4 倍のMPI 性能

5倍のスイッチ システム容量

400 Gigabit per Second

New MPI All-to-All In-Network Computing
Acceleration Engine>1.6 Petabit per Second (Bi-Directional)
with 2048 NDR Ports Switch System

データスループット性能

MPI性能

消費電力・設置スペース削減
8

NDR InfiniBand ケーブル概要
消費電力・省スペースかつ希望のスループットでの柔軟な構成が可能

スイッチ間用のポートが１/２に削減

Switch64 ports of NDR (4x100Gb/s PAM4)
32 OSFP connectors – 2 ports per connector

Switch-to-HCA
OSFP to 2x OSFPorOSFP to 4x OSFP

Switch-to-switch
Optical cables
Transceivers two MPOs

NDRを2本の200Gb/sに分割
HCA
NDR and NDR200 OSFP connectors
NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

Images for ilustration only

NDRを4本の100Gb/sに分割
9

INFINIBANDの拡張ソリューション
様々なニーズに対応可能なInfiniBandソリューション

METROX-2

SKYWAY

Extending InfiniBand to40km Reach

InfiniBand to Ethernet Gateway
8 x 100G / 200G ports InfiniBand
8 x 100G / 200G ports Ethernet

最大40ＫｍのIB
ネットワークが構成可能

InfiniBandとEthernetの混在環境の構築が可能

UFM CYBER-AI
Cyber Intelligence and Analytics
Management and Monitoring

AI学習機能によるネットワーク予兆管理を実現
10

INFINIBANDは最高の性能とROIを実現します
InfiniBand
NVMe / Storage

Compute Servers

InfiniBand High Speed Network

Advanced In-Network Computing

SKYWAY

Ethernet
NVMe / Storage

Extremely Low Latency
High Speed Gateway
InfiniBand to Ethernet

METROX-2

InfiniBand
UFM Cyber-AI

Long-Haul InfiniBand➢ 高データスループット、非常に低い待ち時間、高いメッセージレート、RDMA、GPUダイレクトRDMA、GPUダイレクトストレージ➢ 高度な適応ルーティング、輻輳制御、およびサービス品質を高いネットワーク効率化➢ In-Network Computing アプリケーションのパフォーマンスとスケーラビリティを加速するためのアクセラレーションエンジン➢ 最高のネットワーク復元力を実現するセルフヒーリング ネットワーク➢ 標準 - 下位互換性と上位互換性 – データセンターへの投資を保護➢ Skyway 高速イーサネットゲートウェイ, METROX-2で40 Kmまでの長距離InfiniBand接続➢ UFM

Cyber-AIによるインテリジェンスのあるネットワーク監視

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

11

DPU
クラウドに対応した
データプロセッシングユニット
12BLUEFIELD DPU – 通信機能オフロード概要
従来CPUが担っていたネットワーク機能をNIC側にオフロード

BLUEFIELD-2
ConnectX-6 DX + ARM
13ソフトウェアデファイン、ハードウェアアクセラレーション
ハードウェアとソフトウェアの使用により性能劣化することなくオフロードを実現

Software Defined NetworkingvRoutervSwitch

NAT/Load
VMs &Balancer Containers

Telco/NFV

Software Defined StorageNVMe-oF
Data
Storage Direct Encryption

Elastic Compression DeDup
Storage

Software Defined Security

Distributed IDS/IPSNG Firewall

Root ofTrust

Micro
DDOS
Segmentation Prevention

14

NVIDIA DOCA
データセンターインフラストラクチャオンチップアー
キテクチャ

INFRASTRUCTURE APPLICATIONSInfrastructureManagement

Software-defined
Storage

Software-defined
Security➢ BlueField DPUs用の開発キット

DOCA SDK➢ Open-source APIs – DPDK, SPDK, P4に対応

Storage➢ 認定リファレンスアプリ&サードパーティソリューション

Security

Networking

DPDK

SPDK
Telemetry

Software-defined
Networking

DPDK / P4

Management
SNAP

ASAP2

CRYPTORDMA

RoT➢ マルチOSをサポート

15NEXT GENERATION CLOUD FOUNDATION ARCHITECTURE
仮想環境の管理、ストレージ、セキュリティ機能のオフロード
Today’s Environment

Network andSecurity:
NSX Svcs

Today’s
ProjectEnvironmentMontereyOR

Storage:
VSAN Data

HostManagement

ComputeHypervisor

ComputeHypervisor

ESXi

Bare Metal
Linux & Windows

ESXi
Isolation Layer

Performance NIC

Network andSecurity:
NSX Svcs

ESXiの機能DPUにオフロード

Storage:
VSAN Data

HostManagement

BlueField DPU

16これからも最高の性能と拡張性を提供します
これからも最高の性能と拡張性を提供します
SHARP

800G XDRSHIELD

DPU

400G NDR

200G HDR
HPC-X
17Thank You