NVIDIA製品のご紹介

HPC/AI ネットワーク プロダクトマーケティング ディレクター
岩谷正樹

PCCC Workshop June 2021

IN-NETWORK がスーパコンピュータ処理を飛躍的に加速
ソフトウェア デファインド、ハードウェア アクセラレーション、InfiniBand ネットワーク

AI & MLGPUDPU

アクセラレーテッド コンピューティング

Data Processing Unit
ソフトウェア デファインド、
ハードウェア アクセラレーション

GPU で加速された AI& 機械学習すべてのAIワークロードが加速

DPUはデータ集約型タスクを加速

ネットワーク、セキュリティ、ストレージCPU2

世界のセンターで採用される InfiniBand 最新版 NDR (400Gb/s)
次世代型の最新 InfiniBand アーキテクチャー

400G/s NDR
200G/s NDR200
PCIe Gen5 & Gen4 をサポート
In-Network コンピューティング
プログラムの組み込みが可能

ConnectX-7

400G NDR,
200G NDR200
16 Arm Cores
DDR5, PCIe Gen5 & Gen4
AI アクセラレーション エンジン
In-Network コンピューティング
プログラムの組み込みが可能

64ポート 400G NDR
128ポート 200G NDR200
In-Network コンピューティング
M: 2048ポート 400G
(4096 x 200G)
M: 1024-ポート400G(2048 x 200G)

カッパーケーブル
アクティブなカッパーケーブル
光トランシーバDPU

IB Switch

LinkX

3

NDR InfiniBand ケーブル概要
消費電力・省スペースかつ希望のスループットでの柔軟な構成が可能

スイッチ間用のポートが１/２に削減

Switch64 ポートの NDR (4x100Gb/s PAM4)
32 OSFP connectors – コネクター毎に2ポート

Switch-to-HCA
OSFP to 2x OSFPまたはOSFP to 4x OSFP

Switch-to-switch
光ケーブル
トランシーバ毎に２つ MPO

NDR を2本の 200Gb/s に分割
HCA
NDR と NDR200 OSFP コネクター

NDR を4本の100Gb/s に分割
4これからも最高の性能と拡張性を提供します
これからも最高の性能と拡張性を提供します
SHARP

SHIELD

800G XDR

400G NDR
2022年1月～3月リリースを予定

200G HDR
HPC-X
5

NVIDIA BLUEFIELD-3 DPUのご紹介
最速 400Gb/s の Data Processing Unit

DDR5 MEMORY INTERFACEDATA PATH ACCELERATORCONNECTX-7▪ 220億トランジスタ

PCIe GEN 5.0

ARM CORES▪ 400Gb/s のEthernet版 InfiniBand版をリリース▪ 400Gb/s 暗号化アクセラレーション

ACCELERATIONENGINES▪ X86 Core 300個と同等▪ 18M IOP/s ストレージ性能▪ DDR5 Memory

6

DOCA 1.0

ソフトウェア デファインド、ハードウェアアクセラレーションで高速化されたデータセンターをチップ上で簡単に実現
アプリケーション▪ BlueField DPU用のソフトウェア アプリケーション
フレームワーク▪ DPUプログラム作成とプロビジョニングの簡略化▪ DPUアプリケーション、開発技術の長期コミットメント（次世代に継承）▪ 認定リファレンスアプリケーション、API、パートナー ソリューション

▪ 開発者に親しみのある Open Linux ベース

ソフトウェアデファインド
ネットワーキングサイバー
セキュリティ

ストレージ

メディア

HPC/AI

インフラストラクチャー管理

DOCA
DOCA Services
テレメトリ

Reference Applications
Accelerated
ロードバランサー

分散Firewall

ストレージサービス

CDN & DNS

DOCA Libraries
SDN

マネージメント

ゲートウェイDeep Packet
Inspection

SPDK

UCC Collective
Acceleration

ストレージ
SNAP/VirtIORDMA
GPU Direct

DOCA Drivers
ネットワーキング
DPDK/Kernel

セキュリティDPDK/Kernel

BlueField DPU

7

セキュリティで完全保護されたサーバー ハードウェア
CPU、GPU に負荷を与えない高セキュア環境を実現

CPU

Distributed
NG Firewall

IDS/IPS

Root ofTrust

MicroSegmentation

DDOS
防止

隔離されたセキュリティ コントロール プレーン

Network Traffic

パケット内容調査

サーバーからの完全な分離 DD全パケットの完全検査

インライン暗号アクセラレータ
信頼のルートCPU、GPU が搭載されたホストからセキュリティ機能を完全に分離することにより、ホスト側に負荷を与えることなく高セキュア通信を実現

GPU
8

BLUEFIELD DPUでネットワーク・ストレージを変革
ネットワーク・ストレージ管理のための理想的なソリューション

Simplifiedmanagement
lowers TCO

BlueField incompute nodes

Next-genfirewall

Networked storage
emulating local SSD▪ ストレージへのアクセスの高速化とセキュリティの強化

Encrypted
data onthe wire▪ ネットワーク・ストレージの仮想化▪ ベア メタル サーバーのプロビジョニングと管理が可能▪ DPU Armコアで分散ストレージ ソフトウェアまたはエージェントを実行

Storagetargetacceleration
BlueField instorage array

Encrypted
data at rest

9

ホスト

BLUEFIELD SNAP

ホストへの DPU ストレージ・エミュレーション

Standard
NVMe driverStandardvirtio-blk driver

NVMevirtio-blk▪ BlueField SNAPがリモートNVMeストレージをローカルストレージとしてエミュレート▪ ホストからストレージ ソフトウェア スタックをオフロード▪ BlueField SNAPは、独自のストレージ ソフトウェア スタックとの統合が可能▪ BlueField DPUのArm コアで実行

BlueField SNAP

▪ オーバープロビジョニング(シンプロビジョニング)、ラック/クラスタにスケーリング▪ ローカル直接接続またはリモートネットワークストレージからの読み取り/書き込み

ストレージ ソフトウェア
スタックをオフロード
例：ラスタークラシアント

BlueField DPU

10BLUEFIELD がクラウド ネイティブなスーパーコンピューティングを実現
ゼロトラストセキュリティによるマルチテナンシー▪

▪

マルチ テナントの完全分離化• セキュリティで保護されたネットワーク インフラスト
ラクチャと構成• ストレージの仮想化• テナント サービス レベル アグリーメント(SLA)• 単一サブネット上の 32K の同時分離ユーザー

アプリケーションパフォーマンスの向上• UCCアクセラレータによるCollective offload• Active messages• スマートMPIの実行• データ圧縮
ベアメタル性能によるセキュアなパーティショニング• ユーザー定義アルゴリズム

11

NVIDIA MORPHEUS後処理トークン

セキュリティアクション

セキュリティポリシー
Net-Q
ゲートウェイ
侵入者の活動を推測

Real-Time テレメトリ

Pre-Process
Packets

NVIDIA
BlueField-2

NVIDIA MORPHEUS

NVIDIA AI
NVIDIA GPU CLOUD REGISTRY

cuIO

cuDF

cuDNN

cuML

cuGraphTAO

TensorR
T

TritonNVIDIA CUDA, DOCA, vGPU, Magnum IO, Aerial 5G

VMware vSphere12既存の設計の限界を超える巨大モデル

2023 年までに 100 兆個のパラメータ モデル

1000
100
モデル サイズ (兆パラメータ)

101
GPT-3 (1750億)

0.1

Megatron-LM

0.01

Turing-NLG (172億)(83億)
T5 (110億)

GPT-20.001(15億)
BERT-Large (3億4000万)

0.0001
ELMo (9400万)

0.00001
2018

2019

2020

2021

2022

2023

DDR4

HBM2e

GPU

システムの帯域幅を上回る
データ コンピューティングの需要

GPU

CPU メモリと PCIE 帯域幅によって GPU 性能が制限

x86

GPU

8,000GB/秒

CPU200GB/秒

PCIE Gen 4

16GB/秒

Mem-to-GPU

64

GB/秒

GPU

GPU

NVIDIA GRACE
巨大なスケールの AI や HPC のアクセラレーテッド コンピューティングのために設計された CPU

LPDDR5x

AI とデータサイエンスのための新しいコンピューティング
アーキテクチャ

HBM2e

GRACE

GPU

GRACE

GPU

GRACE

GPU

GRACE

GPU

システム メモリから GPU への帯域が 30 倍に拡大
GPU

8,000

GB/秒

CPU

500

GB/秒

NVLINK

500

GB/秒

Mem-to-GPU

2,000GB/秒

30 倍

AI のための世界最速のスーパーコンピューター
20 Exaflops の AI 性能
NVIDIA Grace CPU と次世代の NVIDIA GPU を搭載

科学と商業アプリケーションのための HPC と AI先進的な気象、気候、物質科学の研究

3 つのチップ。毎年の飛躍。ワン アーキテクチャ

Ampere Next Next

Ampere Next

AmpereGrace Next

GPUGraceCPU

BlueField-4
BlueField-3

BlueField-2

DPU

2020

2021

2022

2023

20242025