GPUから見たワークロードと高速化の歴史と展望
エンタープライズ事業本部 事業本部長

井﨑 武士

アプリケーションの多様化と支えるインフラの柔軟性

大規模シミュレーション

AI学習

リアルタイム処理

デジタル・ツインクラウドストレージオンライン購買

HPC + AI スーパーコンピューター

エッジ

オンライン予約

クラウドネットワーク

高性能 IO

ソーシャルプラットフォーム

AI

HPL VS. AI PERFORMANCE
10000

Leonardo
Perlmutter

AI が現代のHPCの新たな成長ドライバーPFLOPS

エクサスケールの時代
AI スーパーコンピューティング

SummitSierraFugaku

1000

HPL

100
2017

JUWELS

2018
2018

2019
2019

2020
2020

2021
2021

2022

HPL: Based on #1 system in June Top500
AI: Peak system FP16 FLOPS

3

2021-Nov

2021-June

2020-Nov

2020-June

2019-Nov

2019-June

2018-Nov

2018-June

2017-Nov

2017-June

2016-Nov

2016-June

GPUシステム数

2015-Nov

2015-June

2014-Nov

2014-June

2013-Nov

2013-June160

2012-Nov

2012-June

2011-Nov

2011-June

2010-Nov

2010-June

2009-Nov

2009-June

2008-Nov

Top500におけるNVIDIA GPU採用システム数

Green500 Top20シェア
100%

140
90%

12080%

70%

10060%

80
50%

60
40%

40
30%

20%

20
10%

00%

GPU採用システムの割合

Green500のTop20システムにおけるNVIDIA

TOP500・GREEN500におけるNVIDIA GPU採用システム数の推移

GPUハードウェア性能の推移（GFLOPS）

（GB）

22000
20000

FP64演算性能

18000

メモリサイズ

Ampere80

Magnum IO

70

16000

DP TensorCore
Large Cache

14000
12000
10000

Volta

8000

20000

Fermi

TensorCore
HBM2
NVLINK2.0

Kepler60
504030

Pascal6000
400090HBM
NVLINK
Unified Mem2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020

20100

MAGNUM IO によるベネフィット

NCCLE P2Pを用いてリンモノレイヤーのシミュレーション性能を向上

気象シミュレーションにおける異常気象現象のセグメンテーション

DGX A100における帯域最大のリモートファイルリード6

NVIDIA データセンタープラットフォーム
ビジネス
アプリケーション

カスタマー
エンゲージメントNGC
ソフトウェアハブ

アプリケーション
フレームワーク

不正検知

患者診断

品質保証

産業の自動化

プレシジョンマーケティング

スマートシティ

対話 AI

自動運転

推薦システムヘルスケア

サイバーセキュリティ

Metropolis

Riva

Drive

MerlinClaraMorpheus

分子シミュレーション++++

オペレーション

...
VIRTUAL GPU SW

認証済み
Conコンテナ

開発者
ツールキット

機械学習 & データ分析

ハイパフォーマンス
コンピューティング

AI 学習 & 推論
TensorRT

NVIDIA HPC SDK

学習済みモデルSDK

NVIDIA 認証
検証済みのソリューション

コンピューティング

高速化
ライブラリ

レンダリング &可視化
IndeX
CloudXR

OptiX
MDL

ネットワーク, ストレージ & セキュリティ

CUDA-XDOCA

TRITON
INFERENCESERVERFLEETCOMMAND

NVIDIA GPU
Operator

MANAGEMENTMAGNUM IO

監視サーバー &クラウド

DGX
HGX
高密度

ハードウェアテクノロジー

EGX
クラウド インスタンス

メインストリーム & エッジ

DCGM

UFMGPU

NVSwitch

BF DPU

SMART NIC

NVIDIA Switch

72.5年でGPU当たり最大6.5倍の性能向上
NVIDIA AI はフルスタックの改善で継続的に向上

NGC ソフトウェアハブ
0.5 V100

0.6 V100

Relative Performance w/ DGX

8x

0.7 A100

1.0 A100Higher is Better

7x

SIMULATIONDEEP LEARNINGDATA ANALYTICSINDUSTRY VERTICALS

6x

ACCELERATED APPLICATION AND FRAMEWORK ECOSYSTEMS

5x

CUDA-X HPC & CUDA-X AI

4x

MAGNUM IO

3x

CUDA

ORCHESTRATION AND MANAGEMENT

2xBare Metal

1x0x

DOCA

BERT

DLRM

Mask R-CNN

Resnet50
v1.5

SSD

Containers

Virtualization

MinigoResults normalized for throughput due to higher accuracy requirements on latest round of MLPerf 1.0
MLPerf ID 0.5/0.6/0.7/1.0 comparison:
BERT: 0.7-19/1.0-1060 | DLRM: 0.7-17/1.0-1058 | Mask R-CNN: 0.5-13/0.6-9/0.7-19/1.0-1060 | ResNet50v1.5: 0.5-12/0.6-8/0.7-18/1.0-1059 |SSD: 0.5-13/0.6-9/0.7-19/1.0-1059 | MiniGo: 0.7-20/1.0-1059
MLPerf name and logo are trademarks. See www.mlperf.org for more information.

SIMULATIONNVIDIA プラットフォームの多様なプログラミング手法
CPU, GPU, Network

ACCELERATED STANDARD LANGUAGES
標準言語を使った高速化
ISO C++, ISO Fortran

インクリメンタル ポータブル 最適化

PLATFORM SPECIALIZATION
プラットフォーム特化
CUDA

ISO C++, ISO Fortran

OpenACC, OpenMP

CUDA

std::transform(par, x, x+n, y, y,[=](float x, float y){ return y +a*x; });do concurrent (i = 1:n)y(i) = y(i) + a*x(i)enddo#pragma acc data copy(x,y) {...
std::transform(par, x, x+n, y, y,[=](float x, float y){return y + a*x;});...
}#pragma omp target data map(x,y) {...
std::transform(par, x, x+n, y, y,[=](float x, float y){return y + a*x;});...
}import cunumeric as np…
def saxpy(a, x, y):y[:] += a*x__global__
void saxpy(int n, float a,float *x, float *y) {int i = blockIdx.x*blockDim.x +threadIdx.x;
if (i < n) y[i] += a*x[i];}int main(void) {...
cudaMemcpy(d_x, x, ...);
cudaMemcpy(d_y, y, ...);
saxpy<<<(N+255)/256,256>>>(...);
cudaMemcpy(y, d_y, ...);

高速化ライブラリCore

MathCommunication

Data Analytics

AIQuantum

学習に要求される計算性能の飛躍的拡大
指数関数的な計算要求

1E+03

Megatron-BERT

3000X

Turing NLG

1E+02

Megatron-GPT2

Petaflop/s - Days

GPT-2

1E+01
BERT

1E+00
ResNet

1E-01
1E-02

AlexNet

1E-03
2012

2013

2014

2015

2016

2017

2018

2019

2020

2021

Voltaの時代から大規模モデルの学習に必要な計算性能は3000倍になっている
Source: OpenAI, NVIDIA

深層分散学習の状況
モデルは引き続き巨大に• 2021/10/11時点の最新モデルは 530B パラメータにまで拡大• 単純計算で 2,120 GB (in FP32)• モデルをすべてメモリにロードするだけで、8xA100 (80GB)サーバが、3 台強必要
Q: 実際どうやって扱っているの？
A: 280xA100 (=35 nodes) で 8-way tensor parallel & 35way pipeline parallel のモデル並列＆クラスタ全体でデータ並列

https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-theworlds-largest-and-most-powerful-generative-language-model/

NVIDIA QUANTUM-2
400G NDR InfiniBand

QUANTUM-2 SWITCHCONNECTX-7 INFINIBAND

BLUEFIELD-3 INFINIBAND

400 Gbps 64 ポート / 200 Gbps 128 ポート

4倍のネットワーク内コンピューティング性能

16 Arm 64 ビットコア | 400 Gbps 暗号化アクセラレータ

32倍超の AI 高速化エンジン

2倍の GPUDirect スループット

4倍のネットワーク内コンピューティング性能
2倍のGPUDirect スループット

3倍のスイッチングスループット
サンプル出荷中

2022年1月サンプル予定

2022年5月サンプル予定

広がるコンピューティング需要• cuNumeric• Modulus

NVIDIA Python Data Science and Machine Learning Ecosystem
cuDF

cuML

cuGraphcuNumeric
SymPy Equation

PandasScikitLearn

NetworkX

Model Library(SiREN, PINO, PINN, MESHFREE)

NumPy

Computational Graph Compiler

Geometry
ICs & BCs

• cuQuantum

Numerical
Optimization
Plans

Observations

Quantum Computing Application
Multi- Node Multi- GPU Training Engine

Quantum Computing Frameworks (e.g., Cirq,Qiskit)
Quantum Circuit Simulators(e.g., Qsim, Qiskit-aer)
cuQuantum
cuStateVec

cuTensorNet…

GPU Accelerated Computing

QPUコンピューティング高速化の方針

DEVELOPERS ++
デプロイ
GPU

INSTALLED
BASE ++高速化
DPU

PERFORMANCE ++コンピューティング
CPUX-要素 高速化

CUDA
EVERYWHERE

ネットワークフルスタック

データセンタースケール

ワン・アーキテクチャー

14

NVIDIA GRACE

巨大スケールのAIおよびHPCアプリケーションに向け設計したブレークスルーCPU

最高速の相互接続>900 GB/s キャッシュコヒーレント NVLink
CPU-GPU間通信 (14倍)>600GB/s CPU-CPU間 (2倍)最高のメモリバンド幅

500GB/s LPDDR5x ECC付
2倍以上のバンド幅10倍のエネルギー効率

次世代 ARM NEOVERSE コア>300 SPECrate2017_int_base est.
2023年出荷予定

15

テラバイトレベルに高速化されたコンピューティング
新たなワークロードに向けたアーキテクチャの革新統合された CPU-GPU アーキテクチャ

現行 x86 アーキテクチャ
HBM2e

DDR4

HBM2e

LPDDR5xGPU

GRACE

GPU

GPU

GRACEGPU

3 DAYS FROM 1 MONTHx86GPU

GRACE

GPU

GPU

GRACE

GPU

GPU

8,000

GB/secGPU

8,000

GB/secCPU

200

GB/secCPU

500

GB/secPCIE Gen4(Effective Per GPU)

16

GB/secNVLink500

GB/sec

メモリ-GPU間

2000

GB/sec

メモリ-GPU間

64

2TBの転送に30秒

1Tモデルの学習ファインチューン

0.5Tモデルでのリアルタイム推論
シングルノードでのインタラクティブなNLP推論

GB/sec2TBの転送に1秒

Bandwidth claims rounded to nearest hundred for illustration.
Performance results based on projections on these configurations Grace : 8xGrace and 8xA100 with 4th Gen NVIDIA NVLink Connection between CPU and GPU and x86: DGX A100.
Training: 1 Month of training is Fine-Tuning a 1T parameter model on a large custom data set on 64xGrace+64xA100 compared to 8xDGXA100 (16xX86+64xA100)
nference: 530B Parameter model on 8xGrace+8xA100 compared to DGXA100.

16CPU/GPU/DPU のロードマップ
Ampere Next Next
Ampere Next
AmpereGPUGrace Next
GraceCPU

BlueField-4
BlueField-3
BlueField-2

DPU

2020

2021

2022

2023

2024

2025