生成 AI 技術やビジネスの最新動向
エンタープライズ事業本部 事業本部長
井﨑 武士

AI コンピューティング カンパニー

 創業1993年
 創業者 / CEO ジェンスン ファン 従業員数22,500人
 2023年度売上 270 億ドル
 時価総額1兆ドル

AI アプリケーション
フレームワーク
プラットフォーム

アクセラレーション
ライブラリ

システム

3 つのチップ

NVIDIA
HPC

cuNumeric

RAPIDSRTX

NVIDIAAI

CV-CUDA

Spark

DGX

cuQuantum

cuDNN

cuGraphParabricks

TensorRT

TritonDOCA

Mag IO

Aerial

HGX

EGX

OVX

GPUCPUDPUNVIDIA
Omniverse

SionnaJetPack

DeepStream

Flare

Super
POD

AGX

生成AI の衝撃
iPhone moment

Stable Diffusion

Water front city landscape, sunshining, photo realistic,summer, 4k, rule of thirds, extreme detail, detailed
drawing, trending artstation, hd, realistic lighting, byAlphonse Mucha, Greg Rutkowski, sharp focus, backlit

ChatGPT

生成AI 事例

Insight Face
独自の顔画像認識技術とMidjurneyを組み合わせて顔のスワッピングを行う

Briefly
電話会議の文字起こしを元に洗練された文書や会議後の成果物を生成する

生成AI 事例

chooch画像データに関するQ&AをChat形式で行う

BeautifulAI入力されたプロンプトに応じて、プレゼンテーションスライドを作成する

生成AI 事例
入力文章
Have you tried ChatGPT or Bard? Lots of fun! Try it!

Ghostwrite
ChatGPTを活用した、e-mail 作成アシスタント

Super Meme
入力文章に応じたミーム（静止画やGIF）を生成
110以上の言語に対応

生成AI 事例

Adobe.comより
Adobe Firefly
ベータリリースDragGAN“DragYourGAN:InteractivePoint-basedManipulationontheGenerative ImageManifold”,
XINGANGPAN, et.al, SIGGRAPH’23

生成AI 事例

A grand orchestral arrangement with thunderous
percussion, epic brass fanfares, and soaring strings,
creating a cinematic atmosphere fit for a Samurai battle.
newarc.ai

Music gen

トランスフォーマー
アーキテクチャ

RNN

出力層

出力層

隠れ層

隠れ層

入力層

入力層

t=1

LSTM
Input

t=2

自然言語モデルのスケール則

Scaling laws for neural language model, Jared Kaplan, et al., Jan 2020

指数関数的に増大するLLMモデルサイズ
LLMが必要な計算能力は指数関数的に伸びている

10,000,000,000

Transformer以前 = 2年で8倍Transformer以降 = 2年で215倍

PaLM
MT NLG 530B

1,000,000,000

BLOOM

100,000,000

Training Compute (petaFLOPs)

Chinchilla

GPT-3
Microsoft T-NLG
GPT-2

10,000,000

XLNet
1,000,000

InceptionV3

100,000

ResnetSeq2Seq
10,000

VGG-191,000

Xception

Megatron-NLG
Wav2Vec 2.0
MoCo ResNet50

BERT Large
GPT-1
Transformer
ResNeXt
ELMo
DenseNet201

AlexNet100

2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021 2022 2023

代表的なLLMと学習
モデル

発表時期

モデルサイズ(B)

事前学習
データサイズ

ハードウェア

学習時間

OPT (Meta)

May-2022

175

180B Token

992 80G A100

-GLM (清華大学)

Oct-2022130

400B Token768 40G A100

60日

BLOOM (BigScience)

Nov-2022

176

366B Token

384 80G A100

105日

LLaMA (Meta)

Feb-2023

65

1.4T Token

2048 80G A100

21日

MT-NLG (MS/NVIDIA)

Jan-2022

530

270B Token

4480 80G A100

-NVIDIA H100

世界の AI インフラを支える新たなエンジン
最高の AI/HPC 性能

4PF FP8 (6X)| 2PF FP16 (3X)| 1PF TF32 (3X)| 60TF FP64 (3X)
3TB/s (1.5X), 80GB HBM3 memory

TRANSFORMER モデルへの最適化
6X faster on largest transformer models

高い稼働率とセキュリティ

7 Fully isolated & secured instances, guaranteed QoS
2nd Gen MIG | Confidential Computing

史上最速でスケーラブルなインターコネクト

900 GB/s GPU-2-GPU connectivity (1.5X) | 128GB/s PCI Gen5

Custom TSMC 4N Process | 4.9 TB/s Total External B/WMLPerf Training v3.0

全てのワークロードにおいて最速を記録

MLPerf Training v3.0. Fastest time to train on each benchmark by each submitter’s platform| Format: Chip count, Submitter, MLPerf-ID | ResNet-50 v1.5: 3584x NVIDIA+CoreWeave 3.0-2002, 8x Intel-HabanaLabs 3.0-2017, 32x Intel 3.0-2011 | 3D U-Net: 768x NVIDIA 3.0-2075, 8x Intel-Habana Labs 3.0-2016 | BERT-Large: 3,072xNVIDIA+CoreWeave 3.0-2001, 64x Intel-HabanaLabs 3.0-2015, 32x Intel 3.0-2011, 4,096x Google 2.0-2012 | RetinaNet: 768x NVIDIA 3.0-2077, 32x Intel 3.0-2011, 2,048x Google 2.0-2010 | Mask R-CNN: 384x NVIDIA 3.0-2066, 2,048x
Google 2.0-2010 | RNN-T: 512x NVIDIA 3.0-2070 | GPT-3: 3,584x NVIDIA+CoreWeave 3.0-2003, 384x Intel-HabanaLabs 3.0-2014 | DLRM-dcnv2: 128x NVIDIA 3.0-2065.
The MLPerf™ name and logo are trademarks of MLCommons Association in the United States and other countries. All rights reserved. Unauthorized use strictly prohibited. See www.mlcommons.org for more information.

モデルがGPUに載らない？
分散学習の必要性

MT-NLGは530Bパラメータ• 単純計算で 2,120 GB (in FP32)• モデルをすべてメモリにロードするだけで、8xA100 (80GB) サーバが、3 台強必要

• ワーキングメモリも当然必要

Q: 実際どう扱っているのか？
A: 280xA100 (=35 nodes) で 8-way tensor parallel & 35way pipeline parallel のモデル並列＆4480GPUのクラスタ
でデータ並列https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-theworlds-largest-and-most-powerful-generative-language-model/

モデル並列の考え方

大規模なモデルを扱えるサイズに分割する
レイヤーごとに別デバイスへ割り当て(pipeline parallel とも)各デバイスでレイヤーの一部を担当(tensor parallel とも)GPU間での通信発生
間での通信発生GPU

その他、畳み込みのチャネルを別デバイスに割り当てるなどなど……

ノード内

GPU-GPU インターコネクト/ノード間通信
ノード間

NVLINK4.0＋第3世代NVSwitch
NVLINK通信帯域の進化

ConnectX-7 Infiniband アダプターNDR 400Gb/s InfiniBand
PCIe Gen5 最大x32 レーン
GPUDirect® RDMA
GPUDirect Storage
In-Network Computing

NeMo Framework

会話、言語、画像の生成AIモデルを構築、カスタマイズ、デプロイするためのエンド・ツー・エンドのワークフロー

基盤モデル構築

データキュレータ 分散学習
ドメイン内, セキュア,
引用された回答

モデル開発

AI開発者

事前学習済み基盤モデル

GPT-2B

GPT-5B

クエリ

ドメイン内のクエリ

GPT-20B コミュニティ モデル

モデルのカスタマイズ

高速化された推論

ガードレールエンタープライズ
アプリケーション

NeMo Framework (学習・推論）

マルチモダリティ
対応

言語、画像の生成AI
モデル構築

データキュレーション@ Scale
抽出、重複、大規模非構造化データのフィルタ情報, @ scale

最適化された学習

数千のノードで並列化されたモデルと学習
データによる高速化された学習とスループット

モデルのカスタマイズ
P-tuning, SFT,
Adapters, RLHF, AliBiによるカスタマイズ

どこにでもどの規模にも展開可能
あらゆる場所に拡張可能な最適化された推論実行

ガードレール

安全、セキュリティ要求を満たすアプリ
ケーションをNeMo
ガードレールで実現

サポート
NVIDIA AI Enterpriseと顧客専門家によりプロジェクトをオントラックに

NeMo Framework 性能 – 学習3000億トークンを学習するための日数 (A100) – BF16800 GPU(100 DGX A100)

480 GPU(60 DGX A100)

160 GPU(20 DGX A100)

64 GPU(8 DGX A100)

GPT-3: 126M

0.07

0.12

0.370.92

GPT-3: 5B

0.8

1.3

3.9

9.8

GPT-3: 20B

3.6

6

18.1

45.3

GPT-3: 40B

6.6

10.9

32.8

82

GPT-3: 175B

28

46.7

140

349.9