エヌビディア コンピューティング プラットフォーム最新情報
2021/12/8
エヌビディア合同会社

NVIDIA コンピューティング プラットフォーム
ビジネス
アプリケーション

カスタマー
エンゲージメントNGC
ソフトウェア ハブ

コンテナイメージCon

アプリケーション
フレームワーク

開発者
ツールキット

医療診断

異常検知

品質保証

スマートシティ

対話型 AI

自動運転

Metropolis

Riva

Drive

ML & DATA ANALYTICSAI TRAINING & INFERENCE

ヘルスケア

Clara

HIGH PERFORMANCECOMPUTING

TensorRT

NVIDIA HPC SDKCOMPUTE

高速化
ライブラリ

マーケティング

レコメンデーション
システム
Merlin

学習済みモデル
ソフトウェア開発キット

自動化

シミュレーション...
VIRTUAL GPU
SOFTWARE

DOCA

TRITON
INFERENCESERVER

MANAGEMENTMAGNUM IO

監視

NVIDIA CERTIFIEDVALIDATEDSOLUTIONSFLEETCOMMAND

NVIDIA GPU
Operator

OptiX

NETWORKING, STORAGE & SECURITY

CUDA-X運用++

RENDERING &VISUALIZATION
IndeX

++

DGX
HGX

サーバー及びクラウド

ハイエンド

EGX
クラウドのインスタンス

メインストリームとエッジ

ハードウェア技術

DCGM

UFM
GPU

NVSwitch

BlueField DPU

SMART NIC

Mellanox Switch

2SDK
3

LEADING QUANTUM SIMULATORSNVIDIA CUQUANTUM
DGX アプライアンス

最強の「古典」計算機でコンピューティングの未来を研究
INDUSTRY PARTNERS
Out-of-the-Box Optimized Stack for Cirq
Other Simulators in Development
cuQuantum SDK in Open Beta;
Accelerate Popular Quantum
Simulators from Google, IBM

cuQuantum

Appliance Available Q1 2022
cuQuantum Available Now for Download
developer.nvidia.com/cuquantum

GOOGLEOak Ridge National Laboratory and the oak leaf symbol are registered trademarks of the U.S. Department of Energy. Use of this mark does notconstitute or imply its endorsement, recommendation, or favoring by the United States Government or any agency thereof or its contractors orsubcontractors.

RESEARCH COMMUNITY PARTNERS

cuQuantum とは？

▪ cuQuantum は量子コンピューティング向けの最適化されたライブラリやツールからなる SDK▪ cuQuantum は以下のものではありません▪ 量子コンピューター▪ 量子コンピューティング フレームワーク▪ 量子回路シミュレーター

量子コンピューティング アプリケーション
量子コンピューティング フレームワーク (例: Cirq, Qiskit)
量子回路シミュレーター
(例: Qsim, Qiskit-aer)
cuQuantum
cuStateVeccuTensorNet

GPU コンピューティング

QPU

DGX cuQuantum ApplianceState Vector Simulator on Dual AMD CPU

NVIDIA CUQUANTUM
DGX アプライアンス

最強の「古典」計算機でコンピューティングの未来を研究

Sycamore
Supremacy
Circuit

7 Seconds

Shor'sAlgorithm

26 Seconds

Quantum
Fourier
Transform

19 Seconds

8 Minutes

Out-of-the-Box Optimized Stack for Cirq
Other Simulators in Development
cuQuantum SDK in Open Beta;
Accelerate Popular Quantum
Simulators from Google, IBM

Appliance Available Q1 2022
cuQuantum Available Now for Download
developer.nvidia.com/cuquantum

22 Minutes

cuQuantum

29 Minutes

NVIDIA CUNUMERIC

PyData / NumPy エコシステムを GPU で高速化

Python Used by 20 Million Data Scientists,Researchers, and Scientists
NumPy Downloaded 122,000,000 Times Since 2017

NumPy Used by 790,000 Projects in GitHub
NumPy is the Foundation of Pandas, SciPy,and Scikit-Learn

https://github.com/nv-legate/cunumeric

2008

2009

2010

2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

2021

NVIDIA CUNUMERICNVIDIA Python Data Science and Machine Learning Ecosystem

PyData / NumPy エコシステムを GPU で高速化

Transparently Accelerates and Scales
NumPy Workflows
Zero Code Changes

Automatic Parallelism and Acceleration for
Multi-GPU, Multi-Node SystemsScales to 1,000s of GPUs

Available Now on GitHub and Conda

https://github.com/nv-legate/cunumeric

cuDF

cuML

cuGraphcuNumericPandasScikit-Learn

NetworkX

NumPy

NVIDIA MODULUS

SymPy Equation

物理法則に基づいたニューラル シミュレーション
フレームワーク

Model Library(SiREN, PINO, PINN, MESHFREE)

Computational Graph
Compiler
Geometry
ICs & BCs

物理法則に基づいた機械学習モデルを開発するためのフレームワーク

Numerical
Optimization Plans

Observations

Train Physics-ML Models Using Governing Physics,
Simulation, and Observed Data
Multi-GPU, Multi-Node Training
1,000-100,000X Speed Models – Ideal for Digital Twins

Available Nowdeveloper.nvidia.com/modulus

Multi-Node Multi-GPU Training Engine

GPUデータセンター向け GPU 製品
A100

A30A2A40

A16A100X

A30X

Highest Perf
ComputeMainstream
ComputeEntry-Level
Small Footprint

High Perf
Graphics

High Density
Virtual Desktop

High Perf
Converged
Accelerator

Mainstream
Converged
Accelerator

Max Power

300W

165W

40-60W

300W

250W

300W

230W

Form Factor

x16 PCIe Gen4
2 Slot FHFL
3 NVLink Bridge

x16 PCIe Gen4
2 Slot FHFL
1 NVLink Bridge

x8 PCIe Gen4
1 Slot LP

x16 PCIe Gen4
2 Slot FHFL
1 NVLink Bridge

x16 PCIe Gen4
2 Slot FHFL

x16 PCIe Gen4
2 Slot FHFL
3 NVLink Bridge

x16 PCIe Gen42 Slot FHFL
1 NVLink Bridge

GPU Memory

80GB HBM2e24GB HBM2

16GB GDDR648GB GDDR6

4x 16GB GDDR680GB HBM2e24GB HBM2eMulti-Instance GPU(MIG)

Up to 7Up to 4---Up to 7Up to 4

Media Acceleration

1 JPEG Decoder
5 Video Decoder

1 JPEG Decoder
4 Video Decoder

1 Video Encoder
2 Video Decoder (+AVdecode)

1 Video Encoder
2 Video Decoder(+AV1 decode)

4 Video Encoder
8 Video Decoder(+AV1 decode)

1 JPEG Decoder
5 Video Decoder

1 JPEG Decoder
4 Video Decoder

Design

Ray Tracing-YesYesYes-Fast FP64

Yes---Yes

Graphics

For in-situ visualization(no NVIDIA vPC or RTX vWS)

GoodBest

Better

For in-situ visualization(no NVIDIA vPC or RTX vWS)

vGPU

Yes

Yes*

Yes

Yes

Yes*

Hardware Root of Trust

Yes

Yes

Yes

Yes

Yes

Integrated DPU

Server Availability-----

BlueField-2

In Production

In Production

Q1 ’22In Production

In Production

Q1 ‘22*Coming soon

*Coming soon

NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.

NVIDIA A2

様々なサーバーに搭載可能なエントリーレベル GPU

Compact, Entry-Level Inference
Single slot LP, lower power – fits any server& optimal for thermally constrained systems

Latest Ampere Architecture Features

3rd gen Tensor cores, 2nd gen RT cores, Secure RoT

Higher Intelligent Video Analytics (IVA)
Performance
1.3X better performance vs T4

Up to 20X Higher Performance versus CPU
Speedups for AI inference and cloud gaming*Server availability 1-3 months later14

A2 が推論を高速化

CPU サーバーに対し最大 20 倍の高速化
Computer Vision

Natural Language Processing

Computer Vision (EfficientDet-D0)

8X

NVIDIA A2

1X

0X

4X

6X

Inference Speedup

8X

10X

CPU

1X

0X

20X

NVIDIA A2

7X

CPU2X

Text-to-Speech (Tacotron2 + Waveglow)

NLP (BERT-Large)

NVIDIA A2CPU

Text-to-Speech

2X

4X

6X

8X

1X

0X

Inference Speedup

5X

10X

15X

20X

25X

Inference Speedup

Comparisons of one NVIDIA A2 Tensor Core GPU versus a dual-socket Xeon Gold 6330N CPU

System Config: [CPU: HPE DL380 Gen10 Plus, 2S Xeon Gold 6330N @2.2GHz, 512GB DDR4]
Computer Vision: EfficientDet-D0 (COCO, 512x512) | TensorRT 8.2, Precision: INT8, BS:8 (GPU) | OpenVINO 2021.4, Precision: INT8, BS:8 (CPU)NLP: BERT-Large (Sequence length: 384, SQuAD: v1.1) | TensorRT 8.2, Precision: INT8, BS:1 (GPU) | OpenVINO 2021.4, Precision: INT8, BS:1 (CPU)Text-to-Speech: Tacotron2 + Waveglow E2E pipeline (input length: 128) | PyTorch 1.9, Precision: FP16, BS:1 (GPU) | PyTorch 1.9, Precision: FP32, BS:1 (CPU)15

NVIDIA A100X と NVIDIA A30X
DPU と GPU のコンバージド アクセラレーター

A100 / 30 Tensor Core GPU
BlueField-2 DPU

5G vRANAI on 5G

AI-Based Security

ConnectX-6 Dx
8 ARM A72 Cores
Integrated PCIe Gen4 Switch
2 slot FHFL
300 / 230 W16

GRACE CPU

既存アーキテクチャの限界を超える巨大なモデル
新たなアーキテクチャが必要

System Bandwidth Bottleneck

100 TRILLION PARAMETER MODELS BY 2023

HBM2e

DDR41000Model Size (Trillions of Parameters)

100
101
GPT-3 (175B)

0.1
Megatron-LM(8.3B)

0.01

GPT-2(1.5B)

Turing-NLG (17.2B)
T5 (11B)

0.001
BERT-Large (340M)

0.0001
ELMo (94M)

0.00001
2018

2019

2020

2021

2022

2023

GPU

8,000

GB/secCPU

200

GB/secPCIE Gen4 (Effective Per GPU)

16

GB/secMem-to-GPU

64

GB/sec18

NVIDIA GRACE

大規模な AI と HPC アプリケーション向けに設計される画期的な CPU

FASTEST INTERCONNECTS>900 GB/s Cache Coherent NVLink CPU To GPU (14x)>600GB/s CPU To CPU (2x)HIGHEST MEMORY BANDWIDTH>500GB/s LPDDR5x w/ ECC>2x Higher B/W
10x Higher Energy Efficiency

NEXT GENERATION ARM NEOVERSE CORES>300 SPECrate2017_int_base est.
Availability 2023

19

テラバイト級のアクセラレーテッド コンピューティング
新たなワークロードに向けて進化するアーキテクチャ

HBM2e

DDR4

HBM2e

LPDDR5x3 DAYS FROM 1 MONTH
Fine-Tune Training of 1T Model

REAL-TIME INFERENCE
ON 0.5T MODEL

Interactive Single Node NLP Inference
GPU

8,000

GB/secGPU

8,000

GB/sec

CPU200GB/sec

CPU500GB/secPCIE Gen4(Effective Per GPU)

16GB/sec

NVLink500

GB/secMem-to-GPU

2000

GB/secMem-to-GPU

64

Transfer 2TB in 30 secs

GB/secTransfer 2TB in 1 secs

Bandwidth claims rounded to nearest hundred for illustration.
Performance results based on projections on these configurations Grace : 8xGrace and 8xA100 with 4th Gen NVIDIA NVLink Connection between CPU and GPU and x86: DGX A100.
Training: 1 Month of training is Fine-Tuning a 1T parameter model on a large custom data set on 64xGrace+64xA100 compared to 8xDGXA100 (16xX86+64xA100)
Inference: 530B Parameter model on 8xGrace+8xA100 compared to DGXA100.

20

世界最速の AI スーパーコンピューター
20 Exaflops of AI

Accelerated w/ NVIDIA Grace CPU and NVIDIA GPU
HPC and AI For Scientific and Commercial Apps
Advance Weather, Climate, and Material Science21

NETWORKINGIN-NETWORK がスーパーコンピューティングを飛躍的に加速
ソフトウェア デファインド、ハードウェア アクセラレーション、InfiniBand ネットワーク

AI & MLGPUDPU

アクセラレーテッド コンピューティング

Data Processing Unit
ソフトウェア デファインド、
ハードウェア アクセラレーション

GPU で加速された AI& 機械学習
すべてのAIワークロードが加速

DPUはデータ集約型
タスクを加速ネットワーク、セキュリティ、ストレージCPU

23

DATA PROCESSING UNIT

データセンター インフラストラクチャをソフトウェア デファインド, ハードウェア アクセラレーションでチップにオフロード
TRADITIONAL SERVERDPU ACCELERATED SERVER

CPUCPUVMs

Containers

インフラストラクチャー マネージメント

ソフトウェア デファインド セキュリティ

ソフトウェア デファインド ストレージ

ソフトウェア デファインド ネットワーク

NIC

VMs

Containers

Armコアとアクセラレーター搭載のNVIDIA DPU

アクセラレーション エンジン

インフラストラクチャー マネージメント

ソフトウェア デファインド セキュリティ

手動インフラストラクチャ管理| セキュリティ アプライアンス| ストレージシス
テム| 静的ネットワーク| マイクロサービス|エンドツーエンド接続| ストレー
ジアクセス| ゼロトラストセキュリティ

ソフトウェア デファインド ストレージ

ソフトウェア デファインド ネットワーク

アクセラレーションエンジン

24

NVIDIA BLUEFIELD-2
DATA PROCESSING UNIT

データセンター インフラストラクチャをチップにオフロード▪ 最大 200Gb/s Ethernet and InfiniBand, PAM4/NRZ▪ ConnectX-6 Dx を内蔵▪ 8 Arm A72 CPUs subsystem – up to 2.75GHz•8MB L2 cache, 6MB L3 cache in 4 Tiles•非常に高速で低遅延なインターコネクト▪ 外部、内部を統合するPCIe switch,16x Gen4.0•

PCIeルートコンプレックスモードまたはエンドポイントモード▪ Single DDR4 メモリチャネル▪ 1GbE 外部管理ポート▪ セキュリティ、ストレージ、ネットワークを加速

25

NVIDIA BLUEFIELD-3 DPU
最速 400Gb/s の Data Processing Unit

▪ 220億トランジスタ▪ 400Gb/s のEthernet版 InfiniBand版をリリース▪ 400Gb/s 暗号化アクセラレーション▪ X86 Core 300個と同等▪ 18M IOP/s ストレージ性能▪ DDR5 Memory26

NVIDIA BLUEFIELD-3 DPU
最速 400Gb/s の Data Processing Unit

▪ データセンター インフラストラクチャーのオフロードと高速化▪ ホストのアプリケーションワークロードから管理機能、制御機能を完全分離▪ 強力な CPU – 16x Arm A78 Coresを搭載▪ データパスアクセレラレータ – 16x Cores, 256 Threads▪ ネットワーク, ストレージ,セキュリティを400 Gb/sで処理可能

27

NVIDIA DPU ロードマップ

データセンターインフラ処理の飛躍的な成長
BlueField-4

64B Transistors
160 SPECint
1000 TOPS
800 Gbps

100X

BlueField-3

22B Transistors
42 SPECint
1.5 TOPS
400 Gbps

10X

BlueField-2

7B Transistors
9 SPECint
0.7 TOPS
200 Gbps

1X

DOCA — ONE ARCHITECTURE

2020

2022

2024
28

PLATFORM
INFRASTRUCTURECYBER
SECURITYEDGESTORAGENVIDIA DOCA

広範な DPU パートナーエコシステムの実現
DOCA▪ BlueField DPU のソフトウェア アプリケーション フレームワーク▪ GPU には CUDA、DPU には DOCA
▪ 開発したソフト、習得技術は将来の DPU 上でも動作が可能▪ 認定リファレンス アプリケーション, API & パートナー ソリューション

オーケストレーション

セキュリティ

ネットワーキングストレージマネージメント
アクセラレーションライブラリー
テレメトリー▪ 業界およびワークロード全体にわたる豊富なパートナー エコシステム

29

NVIDIA DOCA – クラウド データセンターの SDK

ソフトウェアで定義されハードウェアで高速化されるインフラとアプリケーション
Services
Services

Services108
New DOCA
APIs

DOCA 1.2
Zero Trust Security Framework
Load Balancers

Deep Packet Inspection

Intrusion Detection

Firewall

Telemetry

Authentication andSecurity Groups

DOCA 1.0
Accelerated Secure Bare Metal Cloud

1400
DOCA
Developers

Software Defined Networking

CryptoStorage Acceleration

RegEx

De/Compression

RDMA

NVIDIA BlueField DPUs

30

これからの HPC と AI を支えるネットワーク技術

DOCA のパートナーエコシステム

次世代の 400Gbps DPU - Bluefield-3

NVIDIA Quantum-2
NDR 400G InfiniBand31

CPU/GPU/DPU のロードマップ

Ampere Next Next
Ampere Next

AmpereGPUGrace Next
GraceCPU

BlueField-4
BlueField-3
BlueField-2

DPU

2020

2021

2022

2023

2024

2025

NGC

NGC コンテナが AI 開発を効率化

企業ユース向けの品質

パフォーマンス最適化

様々な環境で利用可能

セキュリティ検査

スケーラブルDocker | cri-o | containerd | Singularity

信頼性テスト

月例更新

ベアメタル、仮想マシン、Kubernetes

エンタープライズ サポート

最適化による性能向上

オンプレミス、クラウド、エッジ環境
34

常に最高の性能を
3.0x

2.0x

1.0x

0.0x
DLRM

ResNet-50
v20.11 (V100)

企業ユース向けの品質

v21.03 (V100)

Tacotron2
v21.03 (A100)

パフォーマンス最適化

様々な環境で利用可能

セキュリティ検査

スケーラブルDocker | cri-o | containerd | Singularity

信頼性テスト

月例更新

ベアメタル、仮想マシン、Kubernetes

エンタープライズ サポート

最適化による性能向上

オンプレミス、クラウド、エッジ環境
35

Tacotron2 Training with PyTorch container on 8x V100 (32GB) & A100 (40GB). Mixed Precision. Batch size: 104 (V100). 128 (A100). DLRM training with PyTorch on 1x V100 (32GB) & A100 (40GB). Mixed Precision. Batch size: 32,768. ResNet-50 v1.5 training with TensorFlow on 8x V100 (32GB) & A100 (40GB). Mixed Precision. Batch size: 256

NGC プライベート レジストリ
安全で迅速なコラボレーションを促進

Build and Secure- コンテナイメージのセキュリティを確保するために既知の脆弱性に対する自動的なスキャンを実施
Share- ユーザー自身が作成したコンテナイメージや Helm チャート、学習済みモデル、モデルスクリプトを組織内で安全に共有
Manage- モデルのバージョン管理が可能
Protect your IP– 安全なストレージ、ユーザーとチームの管理、API キーの管理

セキュリティ

共有管理

NGC プライベート レジストリ
DGX, EGX, NGC サポートサービスのユーザー

プライベートレジストリのドキュメントはこちら
36

トレーニング済みモデル

37

NGC のモデルスクリプトを活用
ResNet-50 for TensorFlow

BERT for PyTorch

https://ngc.nvidia.com/catalog/modelscripts/nvidia:resnet_50_v1_5_for_tensorflow/quickStartGuide

https://ngc.nvidia.com/catalog/modelscripts/nvidia:bert_for_pytorch/quickStartGuide
38

NVIDIA コンピューティング プラットフォーム
ビジネス
アプリケーション

カスタマー
エンゲージメントNGC
ソフトウェア ハブ

コンテナイメージCon

アプリケーション
フレームワーク

開発者
ツールキット

医療診断

異常検知

品質保証

スマートシティ

対話型 AI

自動運転

Metropolis

Riva

Drive

ML & DATA ANALYTICSAI TRAINING & INFERENCE

ヘルスケア

Clara

HIGH PERFORMANCECOMPUTING

TensorRT

NVIDIA HPC SDKCOMPUTE

高速化
ライブラリ

マーケティング

レコメンデーションシステム
Merlin

学習済みモデル
ソフトウェア開発キット

自動化

シミュレーション...
VIRTUAL GPU
SOFTWARE

DOCA

TRITON
INFERENCESERVER

MANAGEMENTMAGNUM IO

監視NVIDIA CERTIFIEDVALIDATEDSOLUTIONSFLEETCOMMAND

NVIDIA GPU
Operator

OptiX

NETWORKING, STORAGE & SECURITY

CUDA-X運用++

RENDERING &VISUALIZATION
IndeX++DGX
HGX

サーバー及びクラウド

ハイエンド

EGX
クラウドのインスタンス

メインストリームとエッジ

ハードウェア技術

DCGM

UFM
GPU

NVSwitch

BlueField DPU

SMART NIC

Mellanox Switch

39