LLMとGPUとネットワーク
MPLS Japan 2023

Yuya Kawakami
Senior Network Architect, SoftBank

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

はじめに
●

この発表資料は公開情報をもとに作られています○●

図を自分で書かずに引用してURLを明記しているのはこれを明示するためです

間違っている部分があれば遠慮なくお知らせください

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

続々と公開される日本語LLM

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

3

生成AIのためのGPU投資が加熱

https://www.itmedia.co.jp/news/articles/2306/16/news117.htm

https://news.yahoo.co.jp/articles/f83edd682bfd4b15bcf8e015b6cc845872223758

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

4

LLM (Large Language Model / 大規模言語モデル)●

大規模なデータセットとディープラーニングを用いることで精度を高めた自然言語処理（NLP）のモデル

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

5

最近の主要な世界のLLM

モデル

開発組織

公開年月

パラメータ数

学習データ

モデルの公開先

GPT-3

OpenAI

2020年6月

175B

570GB

-

GPT-3.5

OpenAI

2022年3月

355B

N/A

-

GPT-4

OpenAI

2023年3月

非公開

N/A (推定825TB)-

PaLM 2

Google2023年5月

非公開(推定340B)--

LLaMA2

Meta

2023年7月

7B/13B/70B-

https://huggingface.co/meta-llama

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

6

最近の主要な日本語特化型LLM
LLM-jpがまとめを作ってくれています https://github.com/llm-jp/awesome-japanese-llm
モデル

開発組織

公開年月

パラメータ数

学習データ

モデルの公開先Rinna-3.6B

Rinna

2023年5月

3.6B-

https://huggingface.co/r
inna/japanese-gpt-neox3.6b

OpenCALM

CyberAgent

2023年5月

7B-

https://huggingface.co/c
yberagent/open-calm-7b

japanese-large-lm

LINE

2023年8月

1.7B/3.6B

650GB

https://huggingface.co/l
ine-corporation/japanese-large-lm-3.6b

Japanese
StableLM Alpha

Stability AI

2023年8月

7B

750B Token

https://huggingface.co/s
tabilityai/japanese-stabl
elm-instruct-alpha-7b

Weblab-10B

東京大学 松尾研究室

2023年8月

10B-

https://huggingface.co/matsuo-lab/weblab-10b

PLaMo-13B

Preferred Networks

2023年9月

13B

LLM-jp-13B

LLM-jp (NII)

2023年10月

13B

https://huggingface.co/p
fnet/plamo-13b

約300B億Token

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

https://huggingface.co/l
lm-jp/llm-jp-13b-v1.0

7

LLMの学習にかかる時間
LINE社のjapanese-large-lmの事例では1.7Bのモデルの構築のために
NVIDIA社のA100 80GB換算で4000GPU時間を使用
さらに大規模なモデルの構築にはとてつもないGPU時間とメモリが必要
最終的な学習には約650GBのコーパスを利用していますが、英語の大規模コーパスとして一般的に用いられているもの（Pileコーパス）が約800GBであることを踏まえると、我々のデータも遜色ない大きさであると言えます。

本モデルの構築に要した時間について、例えば1.7BモデルについてはA100 80GBで換算し、約4000GPU時間を費やしています。
https://engineering.linecorp.com/ja/blog/3.6-billion-parameter-japanese-language-model

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

8

LLMの学習にかかる時間とコスト(Google Cloud)
180Bのモデルの構築をクラウドで行うとH100で55日と24.2億円がかかる

435M JPY = 4.35億円
690M JPY = 6.90億円
825M JPY = 8.25億円
930M JPY = 9.30億円
1,080M JPY = 10.8億円
1,650M JPY = 16.5億円
2,115M JPY = 21.2億円
2,415M JPY = 24.2億円
https://twitter.com/myoshimu/status/1714459784446140723※Google Cloud Japan でAI Consultantをしている方の個人的見解※ 40BのTPU v5e/v4の値は7Bと同じ値になっておりコピペ＆編集ミスだと思われる
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

9

LLMの学習にかかる時間(Meta)
LLaMA2 70Bの学習には2,000基のA100で1.7M GPU時間(36日)を使用

https://atscaleconference.com/videos/networking-for-genai-training-and-inference-clusters/
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

10

LLMの学習にかかる時間を短縮するには？
●●利用するGPUの枚数を筐体内で増やして分散・並列化する
利用する筐体の台数を増やして分散・並列化する

筐体内のGPU間の通信や筐体間の通信がボトルネックになる

いかにしてGPUの内部バスに近い性能の通信を実現するかが課題※この分野はNVIDIAの独壇場なのでNVIDIAの宣伝っぽい感じになってしまいますが最先端で何が起きているのかを知るためにも紹介します
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

11

AI/MLのためのネットワーク●

学習のパフォーマンスが生命線
GPUのための超広帯域、低遅延、ロスレスなネットワークが必要
いままで

これから
Lossy

CPU Centric

Storage Centric

CPU Centric

Storage Centric

ComputeComputeComputeCompute

GPU

GPU

GPU

GPU

ComputeComputeComputeCompute

GPU

GPU

GPU

GPU

ComputeComputeComputeCompute

GPU

GPU

GPU

GPU

ComputeComputeComputeCompute

GPU

GPU

GPU

GPU

GPU Centric
Lossless

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

12

GPUとGPU通信の高速化

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

NVIDIA データセンター向けGPU (NVIDIA Tesla)
各アーキテクチャのハイエンドモデルのスペック
CUDA
コア数

Tensor
コア数

メモリ
容量

メモリ
帯域幅

※メモリ帯域幅や消費電力はSXMフォームファクタ

アーキ
テクチャー

モデル

発表

NVLink
帯域幅

PCIe
帯域幅

消費電力

PascalP100

2016/4

3,584

-

16 GB

732 GB/s

160 GB/s

32 GB/s

250 W

Volta

V100

2017/5

5,120

640

32 GB

900 GB/s

300 GB/s

32 GB/s

300 W

TuringT4

2018/9

2,560

320

16 GB

320 GB/s-

16 GB/s

70 W

AmpereA100

2020/5

6,912

432

80 GB

2,039 GB/s

600 GB/s

64 GB/s

400 W

HopperH100

2022/10

14,592456

80 GB

3,350 GB/s

900 GB/s

128 GB/s

700 W

V100 SXM

A100 SXM

H100 SXM

https://www.nvidia.com/ja-jp/data-center/v100/

https://www.nvidia.com/ja-jp/data-center/a100/

https://www.nvidia.com/ja-jp/data-center/h100/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

14

NVIDIA GPU Direct v2 - Peer-to-Peer●●

通常はCPUと共有メモリを介してデータのやりとりを行うため遅い
PCIeバス経由でGPUメモリ同士で直接データを転送することで高速化

https://www.anandtech.com/show/4198/nvidia-announces-cuda-40
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

15

NVIDIA NVLink●

GPU同士で直接通信するインターコネクトの独自規格○●

PCIeバスよりも一桁高速○○●通信規格やプロトコルの詳細は不明
A100のNVLink3は600GB/s (4.8Tbps)
H100のNVLink4は900GB/s (7.2Tbps)

リンクあたり50GB/sでリンク数を増やしている

https://developer.nvidia.com/blog/upgrading-multi-gpu-interconnectivity-with-the-third-generation-nvidia-nvswitch/
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

16

NVIDIA NVSwitch●●

２つ以上のGPUを相互接続するためのNVLinkのスイッチ
筐体内部で複数GPUを搭載するDGXシリーズで利用される

DGX A100用 NVSwitch (第２世代)

https://www.nvidia.com/ja-jp/data-center/dgx-a100/
https://developer.nvidia.com/blog/upgrading-multi-gpu-interconnectivity-with-the-third-generation-nvidia-nvswitch/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

17

NVIDIA GPU Direct v3 - RDMA●●●

RDMA = Remote Direct Memory Access
ネットワークを介してリモートホストのGPUのメモリに直接データを送る
RDMAのために使用される通信規格がInﬁniBand

https://keeneland.gatech.edu/software/gpudirect.html
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

18

InﬁniBandのGPUクラスタ

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

InﬁniBand (IB)HPCやストレージで使われている高信頼性・高可用性の通信技術
InﬁniBand Trade Associationで規格化
AI/MLではGPU間のRDMAおよび高速ストレージアクセスを実現するために
使用される

●
●
●

世代

レーンあたり実効帯域

4レーン(4X)実効帯域

12レーン(12X)実効帯域

SDR

Single Data Rate

2Gbps

8Gbps

24Gbps

DDR

Double Data Rate

4Gbps

16Gbps

48GbpsQDR

Quad Data Rate

8Gbps

32Gbps96Gbps

FDR

Fourteen Data Rate

14Gbps56Gbps168Gbps

EDR

Enhanced Data Rate

25Gbps100Gbps

300Gbps

HDRHigh Data Rate

50Gbps

200Gbps

600GbpsNDR

Next Data Rate

100Gbps

400Gbps

1200Gbps

XDR

eXtended Data Rate

200Gbps

800Gbps

2400Gbps

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

20

InﬁniBandの特徴
●

広帯域
○

●

ロスレス
○

●

クレジットベースのフローコントロールにより輻輳制御

低レイテンシー○○●内部バスを外部に延長するコンセプト

HCA(ConnectX-6): 600ns
スイッチ(QM8700): 90ns

ノンブロッキング○○

HoL Blockingを防ぐため物理リンク毎に最大16個のバーチャルレーン(VL)がありそれぞれのVLでキューイングが行われる
データ用に15個のVL、管理用に1個のVL(VL15)

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

21

NVIDIA DGX●●●NVIDIAが提供するGPUサーバアプライアンス
CPU、OS (DGX OS)、8-GPU HGX、ConnectXがバンドルされている
A100 80GBが8枚のDGX A100と、H100が8枚のDGX H100がある
DGX A100

DGX H100

https://www.nvidia.com/ja-jp/data-center/dgx-a100/

https://www.nvidia.com/ja-jp/data-center/dgx-h100/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

22

NVIDIA DGX SuperPOD●●

NVIDIAが提供するDGXのGPUサーバクラスタ
ネットワーク、ストレージ、管理系まで全部一式で提供される○○●

ノード: DGX A100/H100, ストレージ(任意), UFM(IBSM), Mgmt(管理ノード)
NW: Compute(IB), Storage(IB), In-Band-Management(Eth), Out-of-Management(Eth)

現行はほぼA100。最近H100の導入報道が出てきた○

DeepL、ヨーロッパで最大規模のNVIDIA DGX H100 SuperPODを導入 (2023年8月2日)

https://www.nvidia.com/ja-jp/data-center/dgx-basepod/
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

23

NVIDIA DGX SuperPOD A100のアーキテクチャ●●●

20台のDGX A100をSU(Scalable Unit)として140台(7SU)までサポート
Reference Architectureの資料にだいたい書いてある
InﬁniBand HDR (200Gbps)のFabrichttps://images.nvidia.com/aem-dam/Solutions/Data-Center/gated-resources/nvidia-dgx-superpod-a100.pdf
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

24

NVIDIA DGX SuperPOD H100のアーキテクチャ●●●

32台のDGX H100をSU(Scalable Unit)として2048台(64SU)までサポート
Reference Architectureの資料にだいたい書いてある(2023年9月公開)
InﬁniBand NDR (400Gbps)のFabrichttps://docs.nvidia.com/https:/docs.nvidia.com/dgx-superpod-reference-architecture-dgx-h100.pdf
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

25

NVIDIA DGX SuperPOD A100のCompute Fabric●●GPU間でRDMAの通信を行うFabric
Fat-Treeトポロジーで構築されているが、いつものやつと何かが違う○○

1つのノードが8台のLeafに接続する
7SU (140ノード)のときのスイッチの台数はLeafよりSpineが多くなる！

Rail-optimized TopologyとFull Bisection Bandwidthがキーワード

https://images.nvidia.com/aem-dam/Solutions/Data-Center/gated-resources/nvidia-dgx-superpod-a100.pdf
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

NVIDIA DGX A100 の内部構成●

A100 80GB GPU 8枚に対してそれぞれ200G IB NICが1枚割り当てられている○○

GPUとNICの間はPCIe Gen 4で接続
GPU間はNVSwitchで接続

https://www.microway.com/hpc-tech-tips/dgx-a100-review-t
hroughput-and-hardware-summary/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

27

Rail-optimized Topology●

複数のノードの同じ番号のNICを同じLeafに収容するトポロジー
○
○
○
○

●

NCCLは複数のノードでAll-reduce演算を行うときに同じGPU番号を使用する
パフォーマンスを最大化するためにはGPUの数に対応したNICでMulti-rail構成を取る
Multi-rail構成においてRDMAを行うときにはGPUから一番近いNICを使う
クラスタサイズを最大化するにはサーバに搭載するGPUの枚数だけLeafスイッチを用意する

ToR構成が取りづらいので物理配線が地獄○AOCだとパッチパネルも使えなくなるのでもっと地獄

https://docs.coreweave.com/networking/hpc-interconnect

https://developer.nvidia.com/blog/doubling-all2all-performance-with-n
vidia-collective-communication-library-2-12/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

28

バイセクションバンド幅 (Bi-section Bandwidth）●●

全ての計算ノードが全力で通信した時にシステム全体で達成しうる通信性能の下限＝計算ノードを二分割したときのグループ間の通信帯域幅の最低値

https://www.acri.c.titech.ac.jp/wordpress/archives/2870

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

Constant Bisection Bandwidth(CBB)●

バイセクションバンド幅が定数になるネットワーク○●

LeafでオーバーサブしているようなCLOSトポロジー

バイセクションバンド幅1200Gbps、2:1 OversubcriptionのCBBの例○○

ダウンリンク: 2x48x25Gbps = 2400Gbps
アップリンク: 2x6x100Gbps = 1200Gbps

32x100GbE Spine

3x100G

32x100GbE Spine

3x100G

48x25GbE + 6x100GbE Leaf

48x25GbE + 6x100GbE Leaf

25G

48x25GbE + 6x100GbE Leaf

48x25GbE + 6x100GbE Leaf

25G

48 Servers

48 Servers

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

30

Full Bisection Bandwidth (FBB)●

クラスタ内の任意の半数のノードが同時に残り半分のノードにデータを送信してもネットワーク内での競合が発生しないネットワーク○●

各スイッチのオーバーサブ率は1:1以上である必要がある

バイセクションバンド幅3200Gbps、1:1 OversubcriptionのFBBの例○○

ダウンリンク: 4x8x100Gbps = 3200Gbps
アップリンク: 2x16x100Gbps = 3200Gbps

32x100GbE Spine

32x100GbE Spine

32x100GbE Spine

32x100GbE Spine

32x100GbE Leaf

32x100GbE Leaf

32x100GbE Leaf

8x100G
32x100GbE Leaf

100G

100G

16 Servers

16 Servers

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

DGX A100 SuperPOD 1SUのフルバイセクション構成●

バイセクションバンド幅32,000Gbps、1:1 Oversubsctiption
サーバからの帯域: 20x8x200Gbps = 32,000Gbps
Leaf/Spine間の帯域: 8x5x4x200Gbps = 32,000Gbps○○

40x IB HDR Spine #1
1

…

4

…

21

…

24

25

…

…

…

…

…

28

29

…

32

33

Spine #2
29

…

36

37

Spine #3

Spine #4

40x IB HDR Spine #5
1

…

4

…

24

25

32

…

…

…

…

…

…

32

33

…

57

…

64

40

5x4x200G
…

…

…

40

21

40x IB HDR Leaf #1
1

2

3

4

…

…

Leaf #2

17

…

18

19

Leaf #3

Leaf #4

Leaf #5

Leaf #6…

Leaf #7

28

29

…

36

37

…

17

18

19

20

40x IB HDR Leaf #8

20

1

2

3

4

…

…

…

4

5

6

7

8
ConnectX-6
IB HDR

3

ConnectX-6
IB HDR

2

ConnectX-6
IB HDR

ConnectX-6
IB HDR

1

ConnectX-6
IB HDR

ConnectX-6
IB HDR

8

ConnectX-6
IB HDR

ConnectX-6
IB HDR

7

ConnectX-6
IB HDR

ConnectX-6
IB HDR

6

ConnectX-6
IB HDR

5

ConnectX-6
IB HDR

4

ConnectX-6
IB HDR

3

ConnectX-6
IB HDR

2

ConnectX-6
IB HDR

1
ConnectX-6
IB HDR

20x1x200G

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

A100

Server #1

Server #20

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

32

DGX A100 SuperPOD 7SUのRail-optimized Topology●

SU間でもRail-optimizedな構成にするためにSpine Groupを構成する○○○○

SUをまたぐノード間の同一GPU番号の通信をSpineで折り返せるようにする
各SUのLeaf 1番をSpineのグループ1番に収容する→8グループ必要
フルバイセクション構成にする→各Spineグループには10台のSpineが必要
全部でSpineは80台必要

https://images.nvidia.com/aem-dam/Solutions/Data-Center/gated-resources/nvidia-dgx-superpod-a100.pdf
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

33

InﬁniBand Adaptive Routing●

負荷が一番少ないポートからトラフィックを転送することで特定のリンクの輻輳を回避する○○●

InﬁniBandのStatic Routingでは特定のデータフローは特定のパスだけを通る
複数の広帯域データフローが1つのリンクに集中してしまうと輻輳が発生してしまう

Out-of-Orderが発生するのでHCA(サーバのNIC)でリオーダーする

https://developer.nvidia.com/zh-cn/blog/accelerating-your-network-with-adaptive-routing-for-spectrum-ethernet/※図はEthernetのAdaptive Routingですが概念やイメージは同じ
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

34

Ethernet-based Network

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

35

HPCにおけるEtherent●●

HPCのTOP500のInterconnectのシェアはEthernet 45% vs Inﬁniband 40%
それなりのパフォーマンスのシステムを比較的安価につくることができる○

TOP500の上位はカスタムとかInﬁniBand

https://www.top500.org/statistics/list/ (2023/June)
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

36

Ethernetを採用するモチベーション
●

コスト
○

●

マルチテナンシー○●

クラウドプロバイダ内で提供されている他のサービスと連携を行いたい

セキュリティとコンプライアンス○●

コンピュートとネットワークの動的なプロビジョニングを行いたい

既存のサービスとの連携○●

複数のJobの間でパフォーマンスの影響を排除したい

SDN
○

●

トラフィックを分離してセキュリティを確保したい

複数ジョブのパフォーマンス隔離○●

安く作りたいパケットブローカーやIDSとの連携を行いたい

オープン化
○

SONiCなどのオープンなソフトウェアを使って構築したい
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

37

EthernetでAI/ML学習用ネットワークを作るには
InﬁniBandのような特性を持ったネットワークを作る必要がある●

Lossless: パケットをDropしないようにすること
○
○
○

●

RDMAはInﬁniBandのロスレスを基本としているので再送に弱い(Go-Back-N)
QoSと輻輳制御でパケットを落とさないようにする
EthernetはCSMA/CDのプロトコル

Eﬀective Load Balancing: 帯域を有効活用して輻輳を防ぐこと○○

そのまえにPure L2ではマルチパスできないのでIP Fabricが必要
InﬁniBandのAdaptive Routingに相当する機能が必要

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

38

RoCEv2 (RDMA over Converged Ethernet)●●

InﬁniBandのRDMAをEthernet/IPネットワークで実現するための技術
IBのトランスポート(BTH)をUDPの上に乗せる

https://www.keysight.com/blogs/tech/traf-gen/2021/04/19/understanding-real-rocev2-performance
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

39

RoCEv2のためのLossless Ethernet Conﬁguration●

ETS (Enhanced Transmission Selection)○○●

PFC (Priority Flow Control)○○●

ホスト側の技術
送信トラフィックにQoSを行う
スイッチ側の技術
VLAN CoSまたはIP ToSで優先度制御を行い、優先度キューごとにXoﬀ/Xonで制御する。

ECN (Explicit Congestion Notiﬁcation)○○○○

https://www.janog.gr.jp/meeting/janog52/wp-content/uploads/2023/06/janog52-aiml400-uchida-koshoji.pdf

スイッチ側＋ホスト側の技術
IP ToSのECNの2-bitを使用して輻輳を制御する
途中のスイッチが輻輳を検知するとビットを立ててCongestion Experienced(CE)を通知
CEを受け取った受信側ホストはCongestion Notiﬁcation Packet(CNP)を送信側ホストに通知し、トラフィック送信を抑制してもらう■ ※CNPはInﬁniBandのBTH内で示される

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

40

NVIDIA ZTR (Zero Touch RoCE)●DCQCN (PFC+ECN)の設定を行わずにLossless Ethernetを実現する仕組み
○
○
○
○

●

NVIDIA独自の仕組み
DCQCNの手動設定の98-99%程度のパフォーマンスをゼロタッチで実現できる
Round-Trip Time Congestion Control (RTTCC)と一緒に使う
NIC側＝ConnectXに設定する

MicrosoftがAzure Stack HCIで採用している

https://developer.nvidia.com/blog/scaling-zero-touch-roce-technology-with-round-trip-time-congestion-control/
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

41

Adaptive Routing / Dynamic Load Balancing●●

ポートの使用率やキューの使用状況に基づいて動的に経路を選択する
RoCEv2のECMP+ハッシュによるフローの偏りをなくすことができる○○●

Spectrum + Cumulus Linuxの場合ポートごとの帯域使用率のしきい値で発動を制御
Flowlet (Flowの時分割)単位ごとに振り分ける

BroadcomのTomahawk 4では Dynamic Load Balancingという機能○

リオーダーをどこでやっているのかはよくわからない

https://www.keysight.com/blogs/tech/traf-gen/2021/04/19/understanding-real-rocev2-performance
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

42

マルチテナンシーRoCEv2の実現●

マルチテナンシーを実現するためにはネットワークのIsolationが必要○●

従来の方法で実現可能○○●

クラウドサービス的な学習環境が提供可能になる
EVPN-VXLANによるL2VPN
VLAN+VRF (やりたくない)

EVPN-VXLANによるL2VPNで実現する場合○○

PFCのDSCPをOuterのIPヘッダにコピーする機能が必要
サーバ側で設定されたDSCPを信用する必要があることに注意

https://docs.nvidia.com/networking/display/onyxv3102202/vxlan

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

43

Ethernet GPU Fabric - ベンダーの動向※個人の印象です●●

NVIDIA、Cisco、Broadcom系の３大勢力を感じる
NVIDIAはSpectrumシリーズ○●

CiscoはNexusシリーズ○○●

100G/200G/400G/800Gと揃っていて、ライブラリからNICまで全部持っているので
RoCEv2でもNVIDIA Spectrumを使って垂直統合で組む人が多い印象■ 特にA100用の200GはService Provider系のベンダーはあまり製品を持ってない
現在はCloud Scale ASICがほとんど。これからSilicon Oneでも出てくる？
Preferred NetworksはNexus 9000シリーズでRoCEv2を使用しMN-2を構築

Broadcom系○○○

Arista: MetaのAIプラットフォームで7800シリーズが使われているらしい
Juniper: SambaNova社でQFX5200を使用してMLクラスタを構築
WBS+SONiC: 公開事例なし？

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

44

CyberAgentさんの事例●●●●

DellのPowerEdge XE9680にHGX H100を搭載
NICはConnectX-7で400GbE (RoCEv2)
スイッチはNVIDIA SN4700でフルバイセクション Fat-Treeトポロジー
Lossless Ethernet + Adaptive Routing

https://www.janog.gr.jp/meeting/janog52/wp-content/uploads/2023/06/janog52-aiml400-uchida-koshoji.pdf

https://twitter.com/yaemonsan/status/1685934499425828869
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

45

Scheduled Fabric●

Fat-TreeトポロジーのFabricをEtherent/IPベースではなくVOQベースで実装したFabric
○
○

●
●
●
●

シャーシ型スイッチのアーキテクチャ
Leafがラインカード、Spineがスイッチファブリック

パケットまたはそれより細かい単位(Cell等)でスイッチングする
クレジットベースで転送するのでロスレス
リンク負荷に応じて均等に振り分けるので輻輳が発生しない
製品・導入事例はまだなさそう？

https://www.arista.com/assets/data/pdf/Whitepapers/AI-Network-WP.pdf

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

46

BroadcomのScheduled Fabric●

LeafにJerico系、SpineにRamon系を使用したFabric○○●

現行はJerico2C+ & Ramon
次世代はJerico3-AI & Ramon3

実装はDriveNets DDCが有力？
○

2023-10-17にJerico3-AI & Ramon3の”Network Cloud-AI”のプレスリリース

https://www.youtube.com/watch?v=fMKq0Y0jPHk

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

47

CiscoのScheduled Fabric●

Silicon OneのスイッチでLeaf-SpineをVOQ Fabricモードで動作させる○●

Spray and Reorder○○●

Unscheduled Ethernet fabric に対して Fully scheduled fabric と呼んでいる
Ingressではパケットごとに出力リンクに対して均等に分散して送出される(Spray)
Egressでパケットを並び替える(Reorder)

ボックス型のSilicon One Nexusで対応？

https://www.cisco.com/c/en/us/solutions/collateral/silicon-one/silicon-one-wp.html

https://www.cisco.com/c/en/us/solutions/collateral/silicon-one/
evolve-ai-ml-network-silicon-one.html

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

48

シャーシ型スイッチによるクラスタの構築●●

Pizza Box SwitchでScheduled Fabricを組むぐらいならシャーシ型で組んでしまえばいいのでは？
Arista 7816R3 (576 x 400G) 2台で576 GPU (DGX 72台)のクラスタ○

BroadcomのJerico 2C+ラインカード & Ramonファブリックの構成

https://www.arista.com/assets/data/pdf/Whitepapers/AI-Network-WP.pdf

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

49

NVIDIA Spectrum-X Network Platform●

NVIDIAが提供するEthernetベースのAI/MLクラスタ用ネットワークプラッ
トフォーム
○
○

●

SuperPODのようなリファレンスアーキテクチャはまだ公開されていない
ホワイトペーパーは入手可能

Spectrum-4 (400G/800G)とBlueField-3 DPUの組み合わせ

https://nvdam.widen.net/s/6lmkmc8lqg/nvidia-spectrum-x-whitepaper

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

50

NVIDIA Spectrum-X Network Platform●

Flowletやポート使用率ベースではなく、Packet単位でロードバランスする○●

Spectrum-4 Adaptive Routing

BleField-3 DPUで受信したパケットを並び替える○

NVIDIA Direct Data Placement (DDP)

https://nvdam.widen.net/s/6lmkmc8lqg/nvidia-spectrum-x-whitepaper

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

51

NVIDIA Israel-1●

NVIDIA Spectrum-X Network Platformを使用してイスラエルで建設中のスーパーコンピュータ○

2023年末頃にできあがるらしいので、そのあとちょっとしてから
リファレンスアーキテクチャが公開されるかもしれない

https://www.timesoﬁsrael.com/nvidia-taps-into-israeli-innovation-to-build-generative-ai-cloud-sup
ercomputer/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

52

Ultra Ethernet Consortium (UEC)●

AI/MLなどのHPCのためのEthernetの通信規格の実現を行う団体
○
○

●

活動内容
○
○
○
○

●

RoCE プロトコルを Ultra Ethernet Transport に置き換えることを目指している
Multipath/Spraying, Congestion Notiﬁcationなどにより効率化を行う
Ethernet通信におけるプロトコル、電気的/光学的信号特性、APIおよびデータ構造
既存のリンクおよびトランスポートプロトコルを拡張または置き換えるための、リンクレベ
ルおよびエンドツーエンドのネットワークトランスポートプロトコル
AIやマシンラーニング、HPC環境に適したリンクレベルおよびエンドツーエンドでの輻輳、テレメトリ、信号のメカニズム
さまざまなワークロードおよび動作環境を促進するソフトウェア、ストレージ、セキュリ
ティの構成

設立メンバー○

AMD、Arista、Broadcom、Cisco、Eviden(an Atos Business)、HPE、Intel、Meta、Microsoft

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

53

最新の研究動向

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

54

フルバイセクションバンド幅は必要なのか？
●

Metaの32K GPUクラスタ構想では7:1のオーバーサブスクリプション○

LLMの学習においては実際にフルバイセクション構成が必要ない

https://atscaleconference.com/videos/networking-for-genai-training-and-inference-clusters/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

55

フルバイセクションバンド幅は必要なのか？
●

2023-07-22 に投稿された論文でMetaが “rail-only” ネットワークを提案○○○“Optimized Network Architectures for Large Language Model Training with Billions of
Parameters“
Model Parallel と 1st/2nd Stage のData Parallelのデータ転送量の計測からRail間の通信がそれほど多くないことを発見したためRail間の通信をネットワークから除去
ネットワーク機器コストを最大75%減らせた

https://huggingface.co/papers/2307.12169

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

56

ネットワークトポロジー●●

Fat Tree (folded CLOS)トポロジーではノード数が増えるとホップ数が増えるし、リンクの本数が多いためコストや消費電力の面で課題がある
Dragonﬂy+トポロジーではホップ数が均一になりリンクの数も減らすことができる

https://network.nvidia.com/ﬁles/doc-2020/wp-saving-power-in-the-modern-datacenter.pdf
https://www.hpcwire.com/2019/07/15/super-connecting-the-supercomputers-innovations-through-network-topologies/

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

57

Routing in Dragonﬂy+ Topology●

2023-07-10 に IETF の rtgwg に Routing in Dragonﬂy+ Topologies というInternet-DraftがSubmitされた○○

InﬁniBandでは実現可能だったDragonﬂy+を、IPルーティングでも実現するための実装方式について提案している
2023-10-14に開催されたJANOG52.5では 「draft-agt-rtgwg-dragonﬂy-routingを試してみた」というタイトルのLTがあり、さっそくこのDraftの内容を動かした人がいた

https://www.janog.gr.jp/meeting/janog52.5/doc/lt1_dragonﬂy-routing.pdf

LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023

58

まとめ
●
●

LLMのブームにより従来のデータセンターネットワークエンジニアもHPCネットワークを理解して構築できるようになる必要がでてきた
InﬁniBandからEthernetへ、オープン化・コモディティ化の動きがあり
現在進行系で進化している

Special Thanks!!
LINEヤフー 小林さん、CyberAgent 高橋さん＆内田さん＆⼩障⼦さん
ネットワンシステムズ 平河内さん
LLMとGPUとネットワーク / @yuyarin / 2023-10-26 / MPLS Japan 2023