生成AIを加速するNVIDIAの取組み
エンタープライズ事業本部 事業本部長 井﨑 武士

NVIDIA —A COMPUTING PLATFORM COMPANY> 1993 年創業> 創業者及び CEO ジェンスン フアン> 従業員 27,000 人> 2023 会計年度売上高 270億ドル
 時価総額 1兆ドル

NVIDIA のプラットフォーム戦略
4 つのコアコンピタンス

NVIDIA アプリケーション フレームワーク

フルスタック

データセンタースケール
コンピューティング

Development

GPU

Acceleration

NVIDIA プラットフォーム

ソフトウェア ライブラリ

NVIDIA
HPC

NVIDIAAI

ComputeNetworking

NVIDIA
Omniverse

NVIDIA アクセラレーテッドコンピューティング インフラ

GPU

CPU

DPU

CPU

DPU

エンド・ツー・エンド

単一アーキテクチャ
開発者 ++

クラウド

データセンター

性能++

インストール
ベース
++

エッジ

CUDA
Everywhere

開発者数: 400万人 / 利用企業: 4万社 / アプリケーション数: 3000超/ スタートアップ: 13,000社

生成AI の衝撃
iPhone moment

Stable Diffusion

Water front city landscape, sunshining, photo realistic,summer, 4k, rule of thirds, extreme detail, detailed
drawing, trending artstation, hd, realistic lighting, byAlphonse Mucha, Greg Rutkowski, sharp focus, backlit

ChatGPT

生成AI 事例

Adobe.comより
Ghostwrite
ChatGPTを活用した、e-mail 作成アシスタント

Adobe Firefly
ベータリリース

生成AI 事例

A grand orchestral arrangement with thunderous
percussion, epic brass fanfares, and soaring strings,
creating a cinematic atmosphere fit for a Samurai battle.
newarc.ai

Music gen

生成AIをどのように使えばいいのか？
•最小限のカスタム化
Gen AI as a Service – p-tuning.inference- ChatGPT,•生成AIサービスを利用する
Fine-tuning/customization– Google Bard, Amazon Bedrockなどの既存サービス利用者数

サービス利用に応じたコンサンプションモデル
•早期の市場投入が可能
Custom/building models from scratch -中間のカスタム化

事前学習モデルのファインチューニング
インフラやリソースに数億の投資が必要
数週間から数ヵ月の開発期間

広範囲なカスタム化

独自の基盤モデル構築もしくは広範囲なファイン
チューニング
インフラやリソースに数十億の投資が必要
半年以上の開発期間

生成AIのカスタム化

RAG (Retrieval Augmented Generation)• ステップ 1: 知識ベースを埋め込む
文書チャンクに分ける

知識ベース（社内資料、マニュアルなど）(KB)

埋め込みモデル文書の埋め込み

単語や文章のチャンク
ベクトルデータベース• ステップ 2: ユーザーのクエリに従ってベクトルデータベースから関連した文書を抜き出す
クエリ
ユーザー

埋め込みモデル

クエリの埋め込み
ベクトルデータベース 上位K個の関連したチャンク• ステップ 3: 抜き出したチャンクからのコンテキストを落ちいて回答を生成するためにLLMを使用
クエリとコンテキストを加えたプロンプト
上位K個の関連したチャンク

LLM

回答

類似性サーチエンタープライズに向けた生成AIアプリケーションの構築

エンド・ツー・エンド、構築、カスタマイズ、デプロイのためのクラウドネイティブなフレームワーク
データ
収集

データ
キュレーション

事前学習モデル
カスタマイゼーション

情報検索

推論

ガードレール…

データ準備

学習とカスマイズ

デプロイ

自然言語モデルのスケール則

Scaling laws for neural language model, Jared Kaplan, et al., Jan 2020

NVIDIA H100

世界の AI インフラを支える新たなエンジン
最高の AI/HPC 性能

4PF FP8 (6X)| 2PF FP16 (3X)| 1PF TF32 (3X)| 60TF FP64 (3X)
3TB/s (1.5X), 80GB HBM3 memory

TRANSFORMER モデルへの最適化
6X faster on largest transformer models

高い稼働率とセキュリティ

7 Fully isolated & secured instances, guaranteed QoS
2nd Gen MIG | Confidential Computing

史上最速でスケーラブルなインターコネクト

900 GB/s GPU-2-GPU connectivity (1.5X) | 128GB/s PCI Gen5

Custom TSMC 4N Process | 4.9 TB/s Total External B/W

業界標準の生成AI学習ベンチマーク
MLPerf Training v3.1

Stable Diffusion

GPT-3 175B

大規模言語モデル

DLRMv2

Recommendation

BERT-Large
NLP

RetinaNet

Object Detection,
LightweightText-to-Image

Mask R-CNN

Object Detection,
Heavyweight

3D U-Net

Biomedical Image
Segmentation

RNN-TSpeech Recognition

ResNet-50 v1.5

Image Classification

新たな6つの性能記録
No.1の記録をさらに更新
GPT-3 175B (1B トークン)

Stable Diffusion

2.8倍高速化

新たなワークロード

DLRM-dcnv2

BERT-Large

1.6倍高速化

1.1倍高速化

RetinaNet

3D U-Net

1.8倍高速化

1.07倍高速化

3.9 分
1分

55.2 秒

2.5 分
7.2 秒
46 秒

MLPerf™ Training v3.1. Results retrieved from www.mlperf.org on November 8, 2023. Format: Chip Count, MLPerf ID | GPT-3: 3584x 3.0-2003,
10752x 3.1-2007 | Stable Diffusion: 1024x 3.1-2050 | DLRMv2: 128x 3.0-2065, 128x 3.1-2051 | BERT-Large: 3072x 3.0-2001, 3472x 3.1-2053 |RetinaNet: 768x 3.0-2077, 2048x 3.1-2052 | 3D U-Net: 432x 3.0-2067, 768x 3.1-2064. The MLPerf™ name and logo are trademarks ofMLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See
www.mlcommons.org for more information.

H100 がすべてのワークロードで最高性能を記録
過去最高の性能と高い汎用性提出された最大規模の学習時間
GPT-3~~

Stable Diffusion~~~~

DLRM-DCNv2
BERT-Large~

Mask R-CNN~~~

RNN-T~~~~~

RetinaNet
3D U-Net~~~ResNet-50 v1.5~

低い 方が高い性能を示す~ = 提出無し
153.6

227.1

7.2 secs

47.9

232.4
10.8 secs
88.6

0102030

Minutes

NVIDIA H100AMDIntel Gaudi2Intel Xeon 8480+MLPerf™ Training v3.1. Results retrieved from www.mlperf.org on November 8, 2023. Format: Chip Count, Submitter, MLPerf ID. Results retrieved from the following entries: GPT-3: 10752x NVIDIA 3.1-2007, 384x Intel-HabanaLabs 3.1-2034 | Stable
Diffusion: 1024x NVIDIA 3.1-2050, 64x Intel-HabanaLabs 3.1-2035 | DLRMv2: 128x NVIDIA 3.1-2051, 8x Intel 3.1-2031 | BERT-Large: 3472x NVIDIA 3.1-2053, 8x Intel-HabanaLabs 3.1-2037, 32x Intel 3.1-2030 | Mask R-CNN: 384x NVIDIA 3.1-2054 | RNN-T:
512x NVIDIA 3.1-2056 | RetinaNet: 2048x NVIDIA 3.1-2052, 32x Intel 3.1-2030 | 3D U-Net: 768x NVIDIA 3.1-2064 | ResNet-50: 3584x NVIDIA+CoreWeave 3.1-2010, 8x Intel-HabanaLabs 3.1-2037, 32x Intel 3.1-2030. The MLPerf™ name and logo aretrademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

指数関数的に増大するLLMモデルサイズ
LLMが必要な計算能力は指数関数的に伸びている

10,000,000,000

学習に必要な計算量 (petaFLOPs)

1,000,000,000

AI の学習に必要な計算量
Transformers以前 = 2年で8倍Transformers = 2年で275倍

ChatGPTFoundation
Model

Megatron-Turing
NLG 530B
GPT-3

100,000,000

Microsoft T-NLG
GPT-2
Megatron

10,000,000

XLNet
1,000,000

Xception
100,000

InceptionV3
Resnet10,000

VGG-191,000

Seq2Seq

Wav2Vec 2.0
MoCo ResNet50

BERT Large
GPT-1

Transformer

ResNeXt

ELMo
DenseNet201

AlexNet1002012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022

代表的なLLMと学習モデル

発表時期

モデルサイズ(B)

事前学習データサイズ

ハードウェア

学習時間

OPT (Meta)

May-2022

175

180B Token

992 80G A100-

GLM (清華大学)

Oct-2022130

400B Token

768 40G A100

60日

BLOOM (BigScience)

Nov-2022

176

366B Token

384 80G A100

105日

LLaMA (Meta)

Feb-2023

65

1.4T Token

2048 80G A100

21日

LLaMA2(Meta)

Jul-2023

70

2T Token

2000 80G A100

MT-NLG (MS/NVIDIA)

Jan-2022

530

270B Token

4480 80G A100

-新発表： NVIDIA HGX H200

世界をリードするAIコンピューティングプラットフォーム

メモリ

メモリ帯域

141GB

4.8 TB/s

HBM3e

HBM3e

GPT-3 175B 推論

Llama 2 70B 推論

1.6X
H100対性能

1.9X
H100対性能

Projected performance, subject to change
GPT-3 175B: ISL 80, OSL 200 | Throughput | HGX H100 8-GPUs BS 64 | HGX H200 8-GPUs BS 128
Llama2 70B: ISL 2K, OSL 128 | Throughput | H100 1x GPU BS 8 | H200 1x GPU BS 32
HPC MILC- dataset NERSC Apex Medium| HGX H200 4-GPU | dual Sapphire Rapids 8480

1.1 TB HBM3e | 32 PF FP8
1.8X More Memory Capacity | 1.4X More HBM Bandwidth

モデルがGPUに載らない？
分散学習の必要性

MT-NLGは530Bパラメータ• 単純計算で 2,120 GB (in FP32)• モデルをすべてメモリにロードするだけで、8xA100 (80GB) サーバが、3 台強必要• ワーキングメモリも当然必要

Q: 実際どうやって扱っているの？
A: 280xA100 (=35 nodes) で 8-way tensor parallel & 35way pipeline parallel のモデル並列＆4480GPUのクラスタ
でデータ並列https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-theworlds-largest-and-most-powerful-generative-language-model/

モデル並列の考え方

大規模なモデルを扱えるサイズに分割する
レイヤーごとに別デバイスへ割り当て(pipeline parallel とも)各デバイスでレイヤーの一部を担当(tensor parallel とも)

その他、畳み込みのチャネルを別デバイスに割り当てるなどなど……

モデル並列の考え方

大規模なモデルを扱えるサイズに分割する
レイヤーごとに別デバイスへ割り当て(pipeline parallel とも)各デバイスでレイヤーの一部を担当(tensor parallel とも)GPU間での通信発生間での通信発生
GPU

その他、畳み込みのチャネルを別デバイスに割り当てるなどなど……

ノード内

GPU-GPU インターコネクト/ノード間通信
ノード間

NVLINK4.0＋第3世代NVSwitch
NVLINK通信帯域の進化

ConnectX-7 Infiniband アダプターNDR 400Gb/s InfiniBand
PCIe Gen5 最大x32 レーン
GPUDirect® RDMA
GPUDirect Storage
In-Network Computingエンタープライズに向けた生成AIアプリケーションの構築
NVIDIA Nemoによる生成AIモデルの構築、カスタマズ、デプロイ

データ
キュレーション

分散学習

高速化された推論

モデル
カスタマイズRAPIDS

Megatron Core

NeMo

Triton & TensorRT-LLM

モデル開発

NVIDIA NeMo
NVIDIA AI Enterprise

NVIDIA DGX Cloud

ガードレール…

ドメイン内, 安全
引用された回答

ドメイン内
クエリ

RAG

NeMo Inform

NeMo Guardrails

エンタープライズアプリケーション
デプロイ