第93回 お試しアカウント付き
並列プログラミング講習会

Reedbush スパコンを用いたGPU
ディープラーニング入門
東京大学 情報基盤センター
担当：下川辺 隆史
shimokawabe @ cc.u-tokyo.ac.jp1

東大情報基盤センター
スーパーコンピュータの概略
2

東大センターのスパコン
FY
08

2基の大型システム，6年サイクル
09 10 11 12 13 14 15 16 17 18 19 20 21 22

Hitachi SR11K/J2
IBM Power-5+

18.8TFLOPS, 16.4TB

Yayoi: Hitachi SR16000/M1
IBM Power-7:5@/.
2@6@/>7;@3

54.9 TFLOPS, 11.2 TB

Hitachi HA8000 (T2K)
AMD Opteron

JCAHPC: ?
Oakforest-PACS
Fujitsu, Intel KNL

25PFLOPS, 919.3TB

140TFLOPS, 31.3TB

Oakleaf-FX: Fujitsu PRIMEHPC FX10,SPARC64 IXfx

BDEC system

50+ PFLOPS (?)

1.13 PFLOPS, 150 TB

Oakbridge-FX

136.2 TFLOPS, 18.4 TB
4@3 ?09;=@0<>
2@6@/>7;@3

$#!*!,*)"%"'%(+*$&#Reedbush, SGI
Broadwell + Pascal

1.93 PFLOPS
Reedbush-L 1<8
Pascal 1.4+PF
-2@6@/>7;@3Peta

K

K computer

Post-K ?

3

4システム運用中
n Oakleaf-FX (富士通 PRIMEHPC FX10)

ü 1.135 PF, 京コンピュータ商用版, 2012年4月 〜 2018年3月

n Oakbridge-FX (富士通 PRIMEHPC FX10)

ü 136.2 TF, 長時間実行用（168時間）, 2014年4月 〜 2018年3月

n Reedbush (SGI, Intel BDW + NVIDIA P100 (Pascal))ü データ解析・シミュレーション融合スーパーコンピュータ
ü 3.361 PF, 2016年7月〜 2020年6月
ü 東大ITC初のGPUシステム (2017年3月より), DDN IME (Burst Buffer)n Oakforest-PACS (OFP) (富士通、Intel Xeon Phi (KNL))ü JCAHPC (筑波大CCS＆東大ITC)
ü 25 PF, TOP 500で6位 (2016年11月) (日本で1位)

ü Omni-Path アーキテクチャ, DDN IME (Burst Buffer)4

東京大学情報基盤センター スパコン（1/3）
Fujitsu PRIMEHPC FX10

FX10!

Total Peak performance: 1.13 PFLOPS
Total number of nodes: 4,800
Total memory: 150TB
Peak performance per node : 236.5 GFLOPSMain memory per node: 32 GB
Disk capacity: 2.1 PBSPARC64 IXfx 1.848GHz

20127 ~20183

!

Oakbridge-FX#  FX10
#24$576
 #168
"!
5東京大学情報基盤センター スパコン（2/3）
Reedbush SGI Rackable 

Reedbush-U (2016/7/1 ~ )• 508TFlops•  420•  Intel Xeon Broadwell x2
Reedbush-H (2017/3/1 ~ )• 1418TFlops•  120•  Intel Xeon Broadwell x2 + NVIDIA P100 GPU x2
Reedbush-L (2017/10/1 ~ )• 1435TFlops•  64•  Intel Xeon Broadwell x2 + NVIDIA P100 GPU x46

7東京大学情報基盤センター スパコン（3/3）
 

Oakforest-PACS Fujitsu PRIMERGY CX600
Total Peak performance: 25 PFLOPS
Total number of nodes: 8,208
Total memory: 897.7 TB
Peak performance per node : 3.046 TFLOPSMain memory per node
: 96 GB (DDR4)+ 16 GB(MCDRAM)
Disk capacity: 26.2 PB
File Cache system (SSD): 960 TBIntel Xeon Phi 7250 1.4 GHz 68 core x1 socket

201612 1
20174 3  7

FX10

TOFUNetworkCore#0Core#1

Core#2Core#3L1

L1

L1L1



…
: L1



20GB/
Core#12Core#13Core#14Core#1532KB L1

L1L1L1ICC

L2 (16  12MB)

85GB/
=(8Byte×1333MHz×8 channel)

MemoryMemoryMemoryMemory4GB ×2

4GB ×2

4GB ×2

4GB ×28GB×432GB



DDR3 DIMM

8

FX10の通信網
TOFU



1TOFU


6
5GB/


9

FX10の通信網（１TOFU単位間の結合）
n ユーザから見ると、X軸、Y軸、Z軸について、奥の1TOFUと、手前の１TOFUは、繋がってみえます（３次元トーラス接続）
n ただし物理結線では
n X軸はトーラス

n Y軸はメッシュ
n Z軸はメッシュまたは、トーラスになっています10

Reedbush-Uノードのブロック図
n メモリのうち、「近い」メモリと「遠い」メモリがある=> NUMA (Non-Uniform Memory Access)(FX10はフラット)128GB

DDR4DDR4
DDR4DDR4

G3 x16

76.8GB/sIntel Xeon
E5-2695 v4(BroadwellEP)

76.8GB/s
QPI
QPI
76.8GB/sIntel Xeon
E5-2695 v4(Broadwell-EP)

DDR4
DDR4
DDR4
DDR4
128GB

76.8GB/s

15.7 GB/s

IB EDR
HCA

11

Broadwell-EP

Core
#0

L L
1 2L3

Core
#5

L L
1 2Core#1

L L
1 2L3Core#6L L
1 2Core#2L L
1 2L3Core#7L L
1 2Core#3L L
1 2L3Core#8L L
1 2Core#4L L
1 2L3DDR4DIMM L1: 2KB, L2: 256KB,
L3: 2.5MB() => L3 45MB

PCIe

QPI x2Memory

Memory16GB ×2

16GB ×2L3Core#9L L
1 2L3Core#14L L
1 2L3L3Core#10L L
1 2L3Core#15

L L
1 2L3L3Core#11L L
1 2L3Core#16

L L
1 2L3L3Core#12L L
1 2L3Core#17L L
1 2L3Core#13L L
1 2L3  !16GB 8"128GB

MemoryMemory16GB ×2
16GB ×276.8 GB/=(8Byte 2400MHz 4 channel)
12Reedbush-Uの通信網
n フルバイセクションバンド幅を持つFat Tree網ü どのように計算ノードを選んでも互いに無衝突で通信が可能
n Mellanox InfiniBand EDR 4x CS7500: 648ポート
ü 内部は36ポートスイッチ (SB7800)を (36+18)台組み合わせたものと等価
648

Director 1
...

36
Spine
18

...

36
Leaf 
36

Uplink: 18

Downlink: 18
1...

18

19...

3637...

5413

Reedbush-Hノードのブロック図128GB

DDR4
DDR4
DDR4
DDR4

76.8GB/s
QPIIntel Xeon
E5-2695 v4(Broadwell-EP)

QPI
76.8GB/s

15.7 GB/s

15.7 GB/s

128GB

76.8GB/s

G3x16

G3x16NVIDIAPascal

DDR4DDR4DDR4DDR4PCIe sw

PCIe sw

IB FDR
HCA

G3x16

G3x1676.8GB/s

Intel Xeon
E5-2695 v4(BroadwellEP)

20 GB/s
NVLinKNVLinKNVIDIAPascal

IB FDRHCA

20 GB/s
EDR switch
EDR
14

Oakforest-PACS
計算ノード
Knights Landing: Next Intel® Xeon Phi™ Processor
Intel® Many-Core Processor targeted for HPC and SupercomputingFirst self-boot Intel® Xeon Phi™ processor that is binary
compatible with main line IA. Boots standard OS.
Significant improvement in scalar and vector performance

Integration of Memory on package: innovative memoryn Intel Xeon
Phi (Knights Landing)architecture for high bandwidth and high capacity

n 1ノード1ソケット
Integration of Fabric on package

Three products

HotChips27
Knights LandingOverview
KNL KNL Self-Boot KNL Self-Boot w/ Fabric
KNL Cardn MCDRAM:
オンパッケージ(Baseline)(Fabric Integrated)(PCIe-Card)の高バンド幅メモリ16GB+ DDR4メモリ

MCDRAMMCDRAM

2 x16
1 x4

X4DMI

PCIe
Gen 3

DM
I

MCDRAMMCDRAM

Potential future options subject to change without notice.
All timeframes, features, products and dates are preliminary forecasts and subject to change without further notification.

 16GB696GB

Core

1MB
L2CH
A
N
NEL
S

EDC

EDC

3Tile

EDC

Core

MCDRAM

DDR
436 Tiles
connected by
2D MeshInterconnect

DDR MC

2 VPU

4EDC

3DDR
4MCDRAM: 490GB/ DDR4: 115.2 GB/=(8Byte2400MHz6 channel)
2 VPU

EDC

EDC

MCDRAM

Omni-path not shown

misc

Package

DDR MCEDC

MCDRAM

CH
A
N
NE
L
S

EDC

MCDRAM

15

Oakforest-PACS: Intel Omni-Path Architecture によるフルバイセクションバンド幅Fat-tree網

768 port Director
Switch12(Source by Intel)

22Uplink: 24

48 port Edge Switch
362 

Downlink: 24
1...

24

25...

48

49...

72

*-0#&483(.)+79391'• +-/6 !$ '
•  ;,75!&2:1% "


16

東大情報基盤センターOakforest-PACSスーパーコン
ピュータシステムの料金表（2017年4月1日 ）n パーソナルコース（年間）n コース１：まで
n コース２：まで

100,000円 ： 8ノード(基準)、最大16ノード200,000円 ： 16ノード(基準)、最大64ノード

n グループコースn400,000円 (企業 480,000円) ： 1口 8ノード（基準）、最大128ノードまで

n 以上は、「トークン制」で運営
n 申し込みノード数

360日 24時間の「トークン」が与えられる
n 基準ノードまでは、トークン消費係数が1.0n 基準ノードを超えると、超えた分は、消費係数が2.0になるn 大学等のユーザはFX10、Reedbushとの相互トークン移行も可能
17

東大情報基盤センターReedbushスーパーコンピュータシステムの料金表（2017年4月1日 ）n パーソナルコース（年間）n150,000円 ： RB-U: 4ノード（基準）、最大16ノードまで
RB-H: 1ノード（基準）、最大2ノードまで

n グループコース
n 300,000円： 1口 4ノード（基準）、最大128ノードまで、

RB-H： 1ノード（基準）、最大32ノードまで（トークン係数はUの2.5倍）

n RB-Uのみ 企業 360,000円： 1口 4ノード（基準）、最大128ノードまで
n RB-Hのみ 企業 216,000円 ： 1口 1ノード（基準）、最大32ノードまで
n 以上は、「トークン制」で運営
n 申し込みノード数

360日 24時間の「トークン」が与えられる
n 基準ノードまでは、トークン消費係数が1.0n 基準ノードを超えると、超えた分は、消費係数が2.0になる
n 大学等のユーザはFX10, Oakforest-PACSとの相互トークン移行も可能
n ノード固定もあり
18

東大情報基盤センターFX10スーパーコンピュータシステ
ムの料金表（2017年4月1日）
n パーソナルコース（年間）n コース１：90,000円 ： 12ノード(基準)、最大24ノードまで

n コース２：180,000円 ： 24ノード(基準)、最大96ノードまで

n グループコース

n 360,000円 (企業 432,000円)：1口、12ノード、最大1440ノードまで

n 以上は、「トークン制」で運営
n 申し込みノード数

360日 24時間の「トークン」が与えられる
n 基準ノードまでは、トークン消費係数が1.0n 基準ノードを超えると、超えた分は、消費係数が2.0になる
n 大学等のユーザはReedbush, Oakforest-PACSとの相互トークン移行も可能

19

20

JPY (=Watt)/GFLOPS Rate
Smaller is better (efficient)
SystemOakleaf/Oakbridge-FX (Fujitsu)(Fujitsu PRIMEHPC FX10)
Reedbush-U (SGI)(Intel BDW)
Reedbush-H (SGI)(Intel BDW+NVIDIA P100)
Oakforest-PACS (Fujitsu)(Intel Xeon Phi/Knights Landing)

JPY/GFLOPS
125
62.0
17.1
16.5

トライアルユース制度についてn

安価に当センターのOakleaf/Oakbridge-FX, Reedbush-U/H, Oakforest-PACS
システムが使える「無償トライアルユース」および「有償トライアルユース」制度があります。
n アカデミック利用
n パーソナルコース、グループコースの双方（1ヶ月〜3ヶ月）

n

企業利用

n パーソナルコース（１ヶ月〜３ヶ月）（FX10: 最大24ノード、最大96ノード,RB-U: 最大16ノード, RB-H: 最大2ノード、OFP: 最大16ノード, 最大64ノード）
講習会いずれかの受講が必須、審査無n グループコース
n 無償トライアルユース：（１ヶ月〜３ヶ月）：無料（FX10:最大1,440ノード、 RB-U: 最大128ノード、RB-H: 最大32ノード、OFP: 最大2048ノード）n 有償トライアルユース：（１ヶ月〜最大通算９ヶ月）、有償（計算資源は無償と同等）
n スーパーコンピュータ利用資格者審査委員会の審査が必要（年2回実施）
n 双方のコースともに、簡易な利用報告書の提出が必要
21

スーパーコンピュータシステムの詳細
n 以下のページをご参照ください
n 利用申請方法
n 運営体系
n 料金体系

n 利用の手引などがご覧になれます。
http://www.cc.u-tokyo.ac.jp/system/ofp/
http://www.cc.u-tokyo.ac.jp/system/reedbush/
http://www.cc.u-tokyo.ac.jp/system/fx10/22