jh200027-ISH

超巨大ニューラルネットワークのための分散深層学習
フレームワークの開発とスケーラビリティの評価
田仲 正弘（情報通信研究機構）
田浦 健次朗（東京大学大学院情報理工学系研究科）
塙 敏博（東京大学情報基盤センター）

概要
我々は従来から、モデルパラレルによる大規模ニューラルネットワーク学習を行うミドルウェ
ア RaNNC の開発を進めてきた。今年度は RaNNC の大幅な拡張を行い、GPU 利用率のためのパイプライン並列を導入すると共に、新たなニューラルネットワークの分割アルゴリズムを導入した。そこで、本課題を通じてチューニングや動作検証を実施した。研究代表者の所属組織の計算資源を用いた機能拡張を含めた総合的な改善の結果、モデルパラレルを用いるフレームワークである

Megatron-LM と比較して、大規模化した BERT の事前学習において、約 5 倍のパラメータを持つネットワークを学習できること、両方が学習可能な規模のネットワークでは、ほぼ同等の学習速度であることを確認した。また大規模化した ResNet の学習において、同じくモデルパラレルを用いるフレームワークであるである GPipe と比較して、実験した全ての条件で、顕著に優れた学習速度が得られた。

処理分野では、2018 年に Google から発表さ1 共同研究に関する情報
1.1

れた BERT[1] を端緒として、事前学習を用い共同研究を実施した拠点名

る極めて大規模なパラメータを持つニューラル

東京大学

1.2ネットワークが次々に発表されてきた。直近の共同研究分野

例では、GPT-3 [2] と呼ばれるニューラルネッ■超大規模情報システム関連研究分野

1.3

トワークは、約 1750 億ものパラメータを持つ。

参加研究者の役割分担

従来、深層学習の大規模化には，主にデータ• 田仲正弘 (研究代表者): 実施の統括、深層パラレルと呼ばれる並列化が用いられてきた。

学習フレームワークの開発

データパラレルでは、学習例のミニバッチを• 田浦健次朗, 塙敏博: 並列計算の高速化分割し、複数の GPGPU 上で並列に計算する。
そのため、入力データやニューラルネットワー

2 研究の目的と意義クの逆伝播等のために保持されるデータは複数の GPGPU に分割配置できるが、ニューラル

近年、深層学習で用いられるニューラルネッ

ネットワークの学習パラメータは各 GPGPU

トワークの大規模化が進んでいる。例えば言語1

上に複製される。従って、ニューラルネット

大規模 Web 情報分析システム WISDOM X*1 ,ワークのパラメータが多く、GPGPU のメモリ

次世代音声対話システム WEKDA, 高齢者向けに収まらない場合には適用できない。

マルチモーダル音声対話システム MICSUS*2

そのため近年、ニューラルネットワークを分などの大規模自然言語処理アプリケーションを割し、複数 GPGPU に配置するモデルパラレ有している。一方、共同研究拠点となる東京大ルと呼ばれる方式が注目されている。モデルパ

学情報基盤センターに所属する副代表者らは、ラレルを用いて大規模なネットワークを学習す

並列分散処理による大規模計算における実績をるフレームワークとして、Megatron-LM [3]、持つ。このように、異なる専門性を持つ研究代

Mesh-TensorFlow [4]、GPipe [5] などがある。

表者・副代表者らによる共同研究の体制によっ

しかしこれらを適用するには、高い学習速度て、相補的な研究の遂行が可能になる。

が得られるように、通信オーバヘッドなどを考実施においては、巨大ニューラルネットワー慮しながら、ユーザが複雑なニューラルネットクの学習に研究代表者が所属する情報通信研

ワーク定義の大半を書き換えてモデル分割を実究機構の持つ大規模コーパスを用いると共に、装する必要があり、利用のハードルが高い。

各種の学習結果を比較対象として利用した。まそこで我々は、モデルパラレルのためのモデた、共同研究拠点に所属する副代表者らが、大ル分割を自動的に行うフレームワーク RaNNC規模化・高速化の指針を定めるという形で研究(Rapid Neural Network Connector) を開発を進めた。

してきた。PyTorch で記述されたニューラルJHPCN で提供される計算資源の他、研究代ネットワークの定義を変更することなく、高表者らの計算資源等も合わせて使用し、包括い学習速度が得られるような分割を自動で決的な RaNNC の機能強化を実施した結果、研定するため、モデルパラレルによる学習を大幅究代表者と、共同研究拠点に所属する共同研究に簡単化できる。本課題では、今年度に実施し者らによる共著論文が、IPDPS 2021 に採択さた RaNNC の機能拡張について、チューニングれた。また、RaNNC をオープンソースとしてや動作検証を行った。本課題を通じて RaNNC

GitHub で公開し、研究代表者の所属する情報の性能と堅牢性が向上することで、これまで学通信研究機構と、共同研究拠点である東京大学習が困難であった極めて大規模なパラメータをで、共同のプレスリリースを行った*3 *4 。

持つニューラルネットワークを、多くのユーザ

4 前年度までに得られた研究成果のが容易に学習できるようになり、深層学習の研概要究が大きく加速されると期待される。

前年度が終了した時点で、RaNNC を用い、3 当拠点公募型研究として実施したモデルパラレル・データパラレルのハイブリッ意義*1 https://wisdom-nict.jp

研究代表者らの所属する情報通信研究機構*2 https://www.youtube.com/watch?v=

は 、300 億 ペ ー ジ 規 模 の Web コ ー パ ス と 、

gCUrC3f9-GoAAAI, ACL 等に採択された深層学習技術（成*3 https://www.nict.go.jp/press/2021/03/31-2.html

果 [6, 7, 8, 9, 10] など）、及びそれらを用いた*4 https://www.u-tokyo.ac.jp/focus/ja/press/z0310_00002.html

2

ドによる基本的な学習が実現できていた。まク定義を大幅に書き換える必要があり、利用のた、BERT のパラメータ数を 17 億（原論文のハードルは高い。

約 5 倍）に大規模化したニューラルネットワー

GPipe [5] はグラフ分割によるモデルパラレ

クを、GPU 数百枚を用いて学習し、正常に実行ルを行う代表的なフレームワークであるが、分できることを確認していた。一方、ネットワー

割はユーザが定義する必要がある。ニューラル

クが大規模化し、モデルパラレルによる多数ネットワークの自動分割を目指したものとしの部分ネットワークへの分割が必要になると、て、PipeDream [18], PipeDream-2BW [20] なGPU 利用率が低下するという問題があった。

どがある。しかしこれらのフレームワークは、分割で得られた部分ネットワークの間で、パラ5 今年度の研究成果の詳細メータ更新を非同期的に行うため、学習性能が本年度は、パイプライン並列 [11, 12] と、そ低下することがある。この問題は、parameterれを前提とする新たなネットワーク分割アルstaleness と呼ばれる。大規模ニューラルネッ

ゴリズムを導入し、処理可能なニューラルネッ

トワークの学習において、数値安定性が重要なトワークの規模と学習速度を大幅に向上させことが指摘されており [3, 22]、大規模ニューラた。これらの機能強化について、基本的なアルルネットワークの学習には適さないと考えられゴリズムの実装には主に研究者代表者の所属る。また、ある程度自動で分割を行うものの、機関の計算資源を用い、様々な設定でのチューモデル定義は大幅に修正が必要である。

ニングと動作検証のために、本課題に提供されグラフ分割によるモデルパラレルの課題とした Reedbush の計算資源を用いた。以降では、て、分割で得られた部分グラフに依存関係があ関連研究について紹介した後、本年度実施した

るときは、前段の部分グラフの処理が終了する

RaNNC の機能拡張について、概要と性能評価まで、後に続く部分グラフが実行できず、GPUについて述べる。の利用率が低下することが挙げられる。その関連研究ため、多くの既存フレームワークは、パイプラ

5.1

近年、モデルパラレルによる分割を行うフイン並列と呼ばれる方法を併用する。パイプラ

レームワークは、研究レベルのものを含めて複イン並列では、ミニバッチを更に細かいデータ数提案されている（表 1）。これらの研究は、テに分割し、ステージと呼ばれる部分グラフに入ンソルの分割を行うものと、ニューラルネット力して計算を行う。各ステージでは、ある分割ワークを計算グラフと見なし、グラフ分割を行データを処理し終えた後、次の分割データの処

うものの 2 種類に大きく分けられる。

理を実行できるので、GPU 利用率を向上できテンソルの分割を行うフレームワークとしる。パイプライン並列では、最も長く計算時間て、Megatron-LM [3] と Mesh-TensorFlow [4]がかかるステージが全体のボトルネックとながよく知られている。しかしこれらのフレームる。そのため、全てのステージの処理時間を均ワークを使用するには、通信オーバヘッドを軽等に近づけることによって、GPU 利用率を向減し効率よく並列計算が可能なように、ユーザ上し、処理速度を改善できる。RaNNC はグラが分割を自ら決定する必要がある。その際、分フ分割によるモデルパラレルを行うため、この散計算のために提供される特殊な計算モジュー

パイプライン並列を使用する。

ルを使うように、既存のニューラルネットワー

3

表1

モデルパラレルによる学習を行うフレームワーク

分割対象

ハイブリ

手動/自動ッド並列

Parameter
staleness

Mesh-TensorFlow [4], Megatron-LM [3]

テンソル

あり

手動なし

OptCNN [13], FlexFlow [14], Tofu [15]テンソルあり自動なし

GPipe [5]

グラフ

なし

手動なし

AMPNet [16], XPipe [17]

グラフ

なし

手動ありPipeDream [18], SpecTrain [19]

グラフ

あり

自動あり

PipeDream-2BW [20], HetPipe [21]

グラフ

あり

自動あり

RaNNC (Ours)

グラフ

あり

自動なし

!"#$ !

!

!"#$ "!"#$ #

章に挙げた研究成果に記載しており、ここでは

"

#$!

"

#$!

"

#

概要のみ説明する。
最初のステップである atomic-level parti$

tioning では、与えられた PyTorch のモデルを!"#$%#&

図1

計算グラフに変更した後、入力されたミニバッチの内容によって結果が変化する処理を 1 つパイプライン並列（数字は分割データのみ含む subcomponent を特定する。計算グの対応を示す）

ラフは、学習パラメータや定数に対する計算など、入力されるミニバッチによって変化し5.2ない処理を含むが、そうした処理のみからな

分割アルゴリズムの改善

RaNNC は PyTorch [23] で 記 述 さ れ た ニる subcomponent をデータパラレルのためにューラルネットワークを計算グラフに変換し、複製することは意味がない。以降のステップ

計算時間・使用メモリ量などのプロファイリは、subcomponent を組み合わせて最終的な分ングに基づき、グラフ分割を決定する。分割で割を決定するため、このステップで、データパ得られた部分ネットワークは、複数の GPU にラレルのために複製して意味のあるような、最配置され、並列に計算される。計算エンジンに小の単位を特定するのが目的である。
次に、block-level partitioning で、atomicは、PyTorch を用いる。
ニューラルネットワークの分割は、図 2 に示

subcomponent をグループ化し、より粗粒度す 3 つのステップで行う。ここでは、ニューラな subcomponent を作る。subcomponent のルネットワークに対応する計算グラフの部分グ組み合わせの探索によって、最終的にパイプラフを subcomponent と呼び、始めに細粒度のライン並列のためのステージを決定するが、大subcomponent を特定してから、それらを組み規模モデルでは atomic subcomponent は多数合わせ、最終的にパイプライン並列におけるス得られるため、組み合わせの探索空間が非常にテージを構成する。なお、各ステップの詳細に大きくなる。そこで、探索の前に subcompo-

ついては、アルゴリズムの詳細については、7nent を組み合わせて数を減らすことにより、大4

B2C2

B1C4C6B4

C1C7

1. Atomic-levelpartitioning

w1
in

embed
w2!R#$S3T%+

matmulv2

v3

transpose!'matmul

v6

ReLU

v5!&

u1
w3

v4

ReLU

v1
matmul!(C8B3!8# BCDE?FGHI5JKLMNO67"89:;9<=<>?PQout
B1
cross_entropyloss!)!"#$%&'()*+,-./01234567"89:;9<=<>?@A

図2

C5

3. Stage-level partitioning

softmax

target!$C3

2. Block-levelpartitioning!%

u1!"!"#$%&'()*!"+,-./!"#$#*0120!,-./
34$5$6"+#7"89"!,:;.
3<$5$6"+#7+:;"20,34.
-$$$$$$$$!#transpose

B2
S1!"#$%&'

B3

B4
S2
!(#$%&'!U# (VW)VXYZ3JK3[\&]^%&'()*+3YZN?_A

分割のステップ

幅に探索空間を削減できる。グループ化するいる。

atomic subcomponent を決める際は、異なる始めに、大規模 BERT の事前学習におけるGPU に配置されたときの通信時間を削減するスループットの比較した。BERT の隠れ層サような組み合わせを優先的に選択する。

イズは 2048 に設定し、レイヤ数を最大 256 ま最後に、stage-level partitioning は、パイプで拡張した。256 レイヤの設定において、パラライン並列のためのステージを決定するとともメータ数は 129 億に達する（BERT の原論文に、それぞれのステージについてのデータパラ

では、隠れ層サイズは 1024, レイヤ数は 24 で、レルの並列度を決定する。このとき、パイプラ

パラメータ数は 3.4 億）。バッチサイズは 256,イン並列で高いスループットを達成するため、系列長 512, 数値精度は FP32 に設定した。

ステージの処理時間が均等になるように、先の比較対象として、データパラレルのみの設ステップで祖粒度化された subcomponent の定の他、GPipe 、Megatron-LM、PipeDream-組み合わせと、データパラレルの並列度を探索

2BW と比較した。ただし、GPipe は原論文する。

ではモデルパラレルのみを行う手法が提案さ5.3

実験結果れているため、ここでは PipeDream-2BW のRaNNC のモデル規模に関するスケーラビ

著者らによるデータパラレルと併用する実装

リティと、訓練の実行速度を確認するため、（GPipe-Hybrid）を用いた。

大規模化ニューラルネットワークの訓練を試

図 3 に 示 す よ う に 、RaNNC は 最 大 でみ、他のフレームワークとの比較実験を行っ

Megatron-LM の 5 倍 の モ デ ル を 訓 練 で きた。なお、本実験は、必要リソース量の問題か

た*5 。また同一条件で訓練できた場合では、ほら、研究代表者の所属機関のクラスタで実行しぼ同等のスループットを得た。また、GPipe とた。各設定において、NVIDIA V100 を 8 枚備えたサーバ 4 台を用いている。ノード間接続*5 本稿作成時点では、Megatron-LM にパイプライン

は、InfiniBand により 100Gbps で接続されて並列機能が実装されているが、本実験の実施時には未実装であったため、使用していない。

5

比較すると、全ての設定でより優れたスルー

ど、GPU メモリサイズの制限のため従来学習プットを得られた。PipeDream-2BW と比較が困難であったネットワークの学習が可能なこ

すると、幾分スループットが低い結果となっとを確認した。ているが、前述の通り、PipeDream-2BW はRaNNC のソースコードについては、ドキュparameter staleness により学習精度が低下す

メントや大規模ニューラルネットワーク学習のる可能性がある。

サンプルコード等を整備した上で、GitHub に

また、ResNet [24] を大規模化したネット公開している。

ワークの学習も行った。大規模化にあたって、今後の拡張として、Megatron-LM 等の、テResNet のフィルタサイズを 8 倍としており、ンソルを分割する方式とのハイブリッド化によ

152 層の場合で 37 億パラメータになる。

り大規模ニューラルネットワークへの対応を計

BERT での比較に用いた Megatron-LM は、画している。また、BERT 以外の大規模化ネッ

BERT 等の Transformer 系のネットワークに

トワークについては、ある程度学習が進むことしか適用できない。また、データパラレル・モを確認する段階であるが、今後、主要な最新のデルパラレルの併用が可能な GPipe（GPipe-ネットワークについて大規模化による最終的なHybrid）と、PipeDream-2BW は、BERT のみ学習性能を確認していく予定である。に対応した実装であったため、使用できなかっ7 研究業績一覧（発表予定も含む）た。そこで比較対象として、GPipe を PyTorchで実装した torchgpipe [25]（GPipe-Model）を学術論文 （査読あり）用いた。ただし、データパラレルと併用できななし

いなこと、複数ノードの利用ができないことか国際会議プロシーディングス（査読あり）

ら、モデルパラレルのみで 8 GPU での比較を• Masahiro Tanaka, Kenjiro Taura, Toshi-行った。図 4 に示すように、データパラレルで

hiro Hanawa and Kentaro Torisawa, Au-は学習不可能な規模のネットワークにおいて、tomatic Graph Partitioning for VeryGPipe より顕著に高速に動作することを確認

Large-scale Deep Learning, In the Pro-した。

ceedings of 35th IEEE International Parallel and Distributed Processing Sym-

6 今年度の進捗状況と今後の展望

posium (IPDPS 2021), pp. 1004-1013,

実施計画において、実行効率の改善や多様なMay, 2021.

ネットワークへの適用を挙げていたが、従来国際会議発表

17 億パラメータ程度を上限として動作してい（査読なし）なし

たところ、本報告書に記載した新たな分割アル国内会議発表ゴリズムの導入により、評価実験では 129 億パ（査読なし）• 超大規模ニューラルネットワークのたラメータでの動作を確認している。また、パイめの自動並列化深層学習ミドルウェア

プライン並列の導入により、GPU 利用率は最RaNNC, 田仲 正弘, GTC 2021 (日本国

大で数倍程度向上している。対象となるネット内向けセッション), 2021 年 4 月 14 日.

ワークについても、包括的な評価実験の対象とした BERT, ResNet 以外に、T5, 3D U-Net な6

!"#"$%"&"''(')*+,-)%(./01&)2-)%(!&("+.345

6(7"#&89.:6$%%&'(#%%-(."#&/012-, >")'?&(!"#"$%"&"''(')*+, >")'?&(-(."#&/012-, >")'?&(!

-(."#&/012-, >")'?&("!!

!"#"$%"&"''(')*+, >")'?&(#!!!

-(."#&/012-, >")'?&(!"#"$%"&"''(')*+, >")'?&(#"!!

!"#"$%"&"''(')*+, >")'?&(;"<<=!"#"$%"&"''(')*+, >")'?&()*+,-./01023245+6/70$!!!

$"( 89:;

#'$

$
#"!
&'()'*+!,%&'()'*-!-,%&/))>06789:(;<"=./*/01/2/33'34(506789:(;%=8941'?@AB'306789:(;%=

大規模 ResNet 学習のスループット

公開したライブラリ等

Connector)&'()'*-+",%./*/01/2/33'34(506789:(;<"=図4• RaNNC!"#"$%"&"''(')*+3$,4/01*2$!"#$%&'()%!"#"$%"&"''(')*+$,-./01*2$!"#$%&'()!"#$%&'&()*%+(,-./!"#"$%"&"''(')*+3$,4/01*2$!"#$%&'()!"#"$%"&"''(')*+$,-./01*2$!"#$%&'()

図 3 大規模 BERT 学習のスループット(Rapidhttps://www.u-tokyo.ac.jp/focus/NeuralNetwork

ja/press/z0310_00002.html)(https://github.com/

参考文献nict-wisdom/rannc)
その他（特許，プレス発表，著書等）[1] Devlin, J., Chang, M.-W., Lee, K.

•（ プ レ ス 発 表 ）自 動 並 列 化 深 層 学 習 ミ

and Toutanova, K.: BERT: Pre-training

ド ル ウ ェ ア RaNNC（ ラ ン ク ）を オ ーof Deep Bidirectional Transformers for

プンソースで公開 〜超大規模ニューLanguage Understanding, NAACL-HLT

ラルネットワークの学習が飛躍的に簡2019, pp. 4171–4186 (2019).

単 に 〜, 国 立 研 究 開 発 法 人 情 報 通 信 研[2] Brown, T. B., et al.: Language Models

究 機 構, 国 立 大 学 法 人 東 京 大 学, 2021

are Few-Shot Learners, arXiv preprint,

年 3 月 31 日 (https://www.nict.

arXiv:2005.14165 (2020).
[3] Shoeybi, M., Patwary, M., Puri, R.,

go.jp/press/2021/03/31-2.html,

7

LeGresley, P., Casper, J. and Catan-Iida, R., Kruengkrai, C. and Kloetzer,zaro, B.: Megatron-LM: Training Multi-J.: Semi-Distantly Supervised NeuralBillion Parameter Language Models Us-

Model for Generating Compact Answers

ing Model Parallelism, arXiv preprint,

to Open-Domain Why Questions, Pro-arXiv:1909.08053 (2019).

ceedings of the 32nd AAAI Conference[4] Shazeer, N., Cheng, Y., Parmar, N. eton Artificial Intelligence (AAAI 2018),

al.: Mesh-TensorFlow: deep learning forpp. 5803–5811 (2018).

supercomputers, Advances in Neural In-[9] Iida, R., Kruengkrai, C., Ishida, R.,formation Processing Systems 31 (NIPS

Torisawa, K., Oh, J.-H. and Kloet-2018), pp. 10435–10444 (2018).

zer, J.: Exploiting Background Knowl-[5] Huang, Y., Cheng, Y., Bapna, A.,edge in Compact Answer Generation forFirat, O., Chen, M. X., Chen, D.,Why-questions, Proceedings of the 33rd

Lee, H., Ngiam, J., Le, Q. V., Wu,

AAAI Conference on Artificial Intelli-

Y. and Chen, Z.:Eﬃcientgence (AAAI 2019), pp. 142–151 (2019).

Training of Giant Neural Networks us-[10] Oh, J.-H., Kadowaki, K., Kloetzer,

ing Pipeline Parallelism, arXiv preprint,

J., Iida, R. and Torisawa, K.: OpenarXiv:1811.06965 (2018).

Domain Why-Question Answering with[6] Kruengkrai,GPipe:

K.,

Adversarial Learning to Encode Answer

Improving

Texts, Proceedings of the 57th Annual

Event Causality Recognition with Mul-

Meeting of the Association for Com-

tiple Background Knowledge Sources

putational Linguistics (ACL 2019), pp.

using

4227–4237 (2019).

Hashimoto,C.,

Torisawa,

C. et al.:Multi-Column

Convolutional

Neural Networks, Proceedings of the[11] Giacomoni,J.,

Moseley,T.

and

31st AAAI Conference on Artificial

Vachharajani, M.:

FastForward forIntelligence (AAAI-17), pp. 3466–3473

Eﬃcient

Parallelism:(2017).

Cache-Optimized Concurrent Lock-Free[7] Kadowaki, K., Iida, R., Torisawa, K.,
Oh, J.-H. and Kloetzer, J.:Queue,PipelineA

The 13th ACM SIGPLAN

EventSymposium on Principles and Practice

Causality Recognition Exploiting Mul-of Parallel Programming, pp. 43–52

tiple Annotators’ Judgments and Back-(2008).

ground Knowledge, Proceedings of the[12] Gordon, M. I., Thies, W. and Ama-

2019 Conference on Empirical Meth-rasinghe, S.: Exploiting Coarse-Grained

ods in Natural Language Processing andTask, Data, and Pipeline Parallelism in

9th International Joint Conference onStream Programs, ACM SIGOPS Oper-Natural Language Processing (EMNLP-ating Systems Review, Vol. 40, No. 5, pp.

IJCNLP 2019), pp. 5820–5826 (2019).

151–162 (2006).

[8] Ishida, R., Torisawa, K., Oh, J.-H.,[13] Jia, Z., Lin, S., Qi, C. R. and Aiken,
8

A.:

Exploring Hidden Dimensions inK., Chen, X. and Zaharia, M.: Memory-Parallelizing Convolutional Neural Net-Eﬃcient Pipeline-Parallel DNN Train-works, Proceedings of the 35th Interna-ing, arXiv preprint, arXiv:2006.09503

tional Conference on Machine Learning(2020).

(ICML 2018) (2018).

[21] Park, J. H., Yun, G., Yi, C. M., Nguyen,[14] Jia, Z. and Zaharia, M.: Beyond Data

N. T., Lee, S., Choi, J., Noh, S. H.

and Model Parallelism for Deep Neuraland Choi, Y.-r.:Networks, The 2nd SysML Conference

Large DNN Training on (Whimpy) Het-(2018).

erogeneous GPU Clusters through Inte-HetPipe:

Enabling[15] Wang, M., Huang, C.-c. and Li, J.: Sup-gration of Pipelined Model Parallelism

porting Very Large Models using Auto-and Data Parallelism, arXiv preprint,

matic Dataflow Graph Partitioning, The

arXiv:2005.14038 (2020).

14th EuroSys Conference 2019 (EuroSys[22] Lepikhin, D., Lee, H., Xu, Y., Chen,’19), pp. 1–17 (2019).

D., Firat, O., Huang, Y., Krikun, M.,[16] Gaunt, A. L., Johnson, M. A., Riechert,
M. et al.:AMPNet:Shazeer, N. and Chen, Z.:

GShard:Asynchronous

Scaling Giant Models with Conditional

Model-Parallel Training for Dynamic

Computation and Automatic Shard-

Neuraling, arXiv preprint, arXiv:2006.16668

Networks,arXivpreprint,

arXiv:1705.09786 (2017).

(2020).

[17] Guan, L., Yin, W., Li, D. and Lu,X.: XPipe:[23] Paszke, A., Gross, S., Massa, F. etEﬃcient Pipeline Modelal.:

PyTorch:An Imperative Style,Parallelism for Multi-GPU DNN Train-High-Performance Deep Learning Li-ing, arXiv preprint, arXiv:1911.04610

brary, Advances in Neural Information(2019).

Processing Systems 32 (NIPS 2019), pp.

[18] Harlap, A., Narayanan, D., Phan-8024–8035 (2019).

ishayee, A., Seshadri, V., Devanur,N.,

Ganger,G. and Gibbons,[24] He, K., Zhang, X., Ren, S. and Sun,P.:

J.: Deep Residual Learning for Image

PipeDream: Fast and Eﬃcient Pipeline

Recognition, 2016 IEEE Conference onParallel DNN Training, The 27th ACM

Computer Vision and Pattern Recogni-Symposium on Operating Systems Prin-tion (CVPR 2016), pp. 770–778 (2016).

ciples, p. 1–15 (2018).

[25] Kim, C., Lee, H., Jeong, M., Baek, W.,[19] Chen, C.-C., Yang, C.-L. and Cheng, H.-Yoon, B., Kim, I., Lim, S. and Kim, S.:Y.: Eﬃcient and Robust Parallel DNN

torchgpipe: On-the-fly Pipeline Paral-Training through Model Parallelism onlelism for Training Giant Models, arXiv

Multi-GPU Platform, arXiv preprint,preprint, arXiv:2004.09910 (2020).

arXiv:1809.02839 (2018).
[20] Narayanan, D., Phanishayee, A., Shi,
9