第100回 お試しアカウント付き
並列プログラミング講習会

Reedbush スパコンを用いたGPU
ディープラーニング入門
東京大学 情報基盤センター
担当：下川辺 隆史
shimokawabe ＠ cc.u-tokyo.ac.jp1

東大情報基盤センター
スーパーコンピュータの概略
2

東大センターのスパコン
FY
08

2基の大型システム，6年サイクル
09 10 11 12 13 14 15 16 17 18 19 20 21 22

Hitachi SR11K/J2
IBM Power-5+

18.8TFLOPS, 16.4TB

Yayoi: Hitachi SR16000/M1
IBM Power-7:5@/.
2@6@/>7;@3

54.9 TFLOPS, 11.2 TB

Hitachi HA8000 (T2K)
AMD Opteron

JCAHPC: ?
Oakforest-PACS
Fujitsu, Intel KNL

25PFLOPS, 919.3TB

140TFLOPS, 31.3TB

Oakleaf-FX: Fujitsu PRIMEHPC FX10,SPARC64 IXfx

BDEC system

50+ PFLOPS (?)

1.13 PFLOPS, 150 TB

Oakbridge-FX

136.2 TFLOPS, 18.4 TB
4@3 ?09;=@0<>
2@6@/>7;@3

$#!*!,*)"%"'%(+*$&#Reedbush, SGI
Broadwell + Pascal

1.93 PFLOPS
Reedbush-L 1<8
Pascal 1.4+PF
-2@6@/>7;@3

Peta

K

K computer

Post-K ?

3

現在2システム運用中
n Oakleaf-FX (富士通 PRIMEHPC FX10)

ü 1.135 PF, 京コンピュータ商用版, 2012年4月 〜 2018年3月

n Oakbridge-FX (富士通 PRIMEHPC FX10)

ü 136.2 TF, 長時間実行用（168時間）, 2014年4月 〜 2018年3月

n Reedbush (SGI, Intel BDW + NVIDIA P100 (Pascal))ü データ解析・シミュレーション融合スーパーコンピュータ
ü 3.361 PF, 2016年7月〜 2020年6月
ü 東大ITC初のGPUシステム (2017年3月より), DDN IME (Burst Buffer)n Oakforest-PACS (OFP) (富士通、Intel Xeon Phi (KNL))ü JCAHPC (筑波大CCS＆東大ITC)
ü 25 PF, TOP 500で6位 (2016年11月) (日本で1位)

ü Omni-Path アーキテクチャ, DDN IME (Burst Buffer)4

東京大学情報基盤センター スパコン（1/2）
Reedbush SGI Rackable 

Reedbush-U (2016/7/1 ~ )• 508TFlops•  420•  Intel Xeon Broadwell x2
Reedbush-H (2017/3/1 ~ )• 1418TFlops•  120•  Intel Xeon Broadwell x2 + NVIDIA P100 GPU x2
Reedbush-L (2017/10/1 ~ )• 1435TFlops•  64•  Intel Xeon Broadwell x2 + NVIDIA P100 GPU x4
5

6

東京大学情報基盤センター スパコン（2/2）
 




Oakforest-PACS Fujitsu PRIMERGY CX600
Total Peak performance: 25 PFLOPS
Total number of nodes: 8,208
Total memory: 897.7 TB
Peak performance per node : 3.046 TFLOPSMain memory per node
: 96 GB (DDR4)+ 16 GB(MCDRAM)
Disk capacity: 26.2 PB
File Cache system (SSD): 960 TBIntel Xeon Phi 7250 1.4 GHz 68 core x1 socket

201612 1
20174 3

6

Reedbush-Uノードのブロック図
n メモリのうち、「近い」メモリと「遠い」メモ

リがある=> NUMA (Non-Uniform Memory Access)(FX10はフラット)

128GB

DDR4
DDR4
DDR4
DDR4

G3 x16

76.8GB/sIntel Xeon
E5-2695 v4(BroadwellEP)

76.8GB/s
QPI
QPI
76.8GB/sIntel Xeon
E5-2695 v4(Broadwell-EP)

DDR4
DDR4
DDR4
DDR4


128GB

76.8GB/s

15.7 GB/s

IB EDR
HCA7Broadwell-EP

Core
#0

L L
1 2

L3Core#5L L
1 2Core#1

L L1 2L3Core#6L L
1 2Core#2L L
1 2L3Core#7L L
1 2Core#3L L
1 2L3Core#8L L
1 2Core#4L L
1 2L3DDR4DIMM L1: 2KB, L2: 256KB,
L3: 2.5MB() => L3 45MB

PCIe

QPI x2

MemoryMemory16GB ×2

16GB ×2



L3Core#9L L
1 2L3Core#14L L
1 2L3L3Core#10

L L
1 2L3Core#15L L
1 2L3L3Core#11L L
1 2L3Core#16L L
1 2L3L3Core#12L L
1 2L3Core#17L L
1 2L3Core#13L L
1 2L3  !16GB 8"128GB

MemoryMemory16GB ×2
16GB ×2
76.8 GB/=(8Byte 2400MHz 4 channel)
8Reedbush-Uの通信網
n フルバイセクションバンド幅を持つFat Tree網ü どのように計算ノードを選んでも互いに無衝突で通信が可能
n Mellanox InfiniBand EDR 4x CS7500: 648ポート
ü 内部は36ポートスイッチ (SB7800)を (36+18)台組み合わせたものと等価
648

Director 1
...

36
Spine
18

...

36
Leaf 36

Uplink: 18

Downlink: 18
1...

18

19...

3637...

54
9

Reedbush-Hノードのブロック図128GBDDR4DDR4DDR4DDR476.8GB/s
QPIIntel Xeon
E5-2695 v4(Broadwell-EP)

QPI76.8GB/s

15.7 GB/s

15.7 GB/s

128GB

76.8GB/s

G3x16

G3x16

NVIDIA
PascalDDR4
DDR4
DDR4DDR4PCIe sw

PCIe sw

IB FDR
HCA

G3x16

G3x1676.8GB/s

Intel Xeon
E5-2695 v4(BroadwellEP)

20 GB/s
NVLinK
NVLinKNVIDIA
PascalIB FDR
HCA

20 GB/s
EDR switch
EDR
10

Oakforest-PACS
計算ノード
Knights Landing: Next Intel® Xeon Phi™ Processor
Intel® Many-Core Processor targeted for HPC and SupercomputingFirst self-boot Intel® Xeon Phi™ processor that is binary
compatible with main line IA. Boots standard OS.
Significant improvement in scalar and vector performance

Integration of Memory on package: innovative memoryn Intel Xeon
Phi (Knights Landing)architecture for high bandwidth and high capacity

n 1ノード1ソケット
Integration of Fabric on package

Three products

HotChips27
Knights Landing
Overview
KNL KNL Self-Boot KNL Self-Boot w/ Fabric
KNL Cardn MCDRAM:
オンパッケージ(Baseline)(Fabric Integrated)(PCIe-Card)の高バンド幅メモリ16GB+ DDR4メモリ

MCDRAMMCDRAM

2 x16
1 x4

X4DMIPCIeGen 3DM
I

MCDRAMMCDRAM

Potential future options subject to change without notice.
All timeframes, features, products and dates are preliminary forecasts and subject to change without further notification.

 16GB696GB

Core

1MB
L2CH
A
NNE
L
S

EDC

EDC

3Tile

EDC

Core

MCDRAM

DDR
436 Tiles
connected by
2D MeshInterconnect

DDR MC

2 VPU

4EDC

3DDR
4MCDRAM: 490GB/ DDR4: 115.2 GB/=(8Byte2400MHz6 channel)
2 VPU

EDC

EDC

MCDRAM

Omni-path not shown

misc

Package

DDR MCEDC

MCDRAM

CHA
N
N
E
LS

EDC

MCDRAM

11Oakforest-PACS: Intel Omni-Path Architecture による
フルバイセクションバンド幅Fat-tree網

768 port Director
Switch12(Source by Intel)

22
Uplink: 24

48 port Edge Switch
362 

Downlink: 24
1...

24

25...

48

49...

72

*-0#&483(.)+79391'• +-/6 !$ '
•  ;,75!&2:1% "
12

東大情報基盤センターOakforest-PACSスーパーコン
ピュータシステムの料金表（2018年4月1日 ）n パーソナルコース
n 個人研究者（大学・公共機関）のみ
n 1口：100,000円=17,280トークン（2ノード年相当）

n グループコース
n 1口：400,000円 (企業 480,000円) =69,120トークン（8ノード年相当）
n 基準、最大ノード数n 基準（口数 8）ノード、最大2,048ノードまで
n トークン消費について
n 基準ノードまでは、トークン消費係数が1.0n 基準ノードを超えると、超えた分は、消費係数が2.0になる
n 大学等のユーザはReedbushとの相互トークン移行も可能
13

東大情報基盤センターReedbushスーパーコンピュータシステムの料金表（2018年4月1日 ）nパーソナルコース
nnn

グループコースnn

1口：300,000円 (企業 360,000円) =34,560トークン（ Reedbush-U 4ノード年相当）

基準、最大ノード数nnn

n

個人研究者（大学・公共機関）のみ
1口：150,000円=17,280トークン（Reedbush-U 2ノード年相当）

Reedbush-U: 基準（口数 4）ノード、最大128ノードまで
Reedbush-H: 基準（口数 1）ノード、最大32ノードまで
Reedbush-L: 基準（口数 1）ノード、最大16ノードまで

トークン消費について

基準ノードまでは、トークン消費係数がRB-U: 1.0、RB-H: 2.5、RB-L: 4.0
n 基準ノードを超えると、超えた分は、それぞれの消費係数が2倍となる
n 大学等のユーザはOakforest-PACSとの相互トークン移行も可能
n ノード占有利用（ノード固定）制度あり
n14

15

JPY (=Watt)/GFLOPS Rate
Smaller is better (efficient)
SystemOakleaf/Oakbridge-FX (Fujitsu)(Fujitsu PRIMEHPC FX10)
Reedbush-U (SGI)(Intel BDW)
Reedbush-H (SGI)(Intel BDW+NVIDIA P100)
Oakforest-PACS (Fujitsu)(Intel Xeon Phi/Knights Landing)

JPY/GFLOPS
125
62.0
17.1
16.5

トライアルユース制度について安価に当センターのReedbush-U/H/L, Oakforest-PACSシステムが使える「無償/有償トライアルユース」制度があります。
n アカデミック利用（有償のみ）
n パーソナルコース、グループコース（1ヶ月〜3ヶ月）
n 企業利用n パーソナルコース（１ヶ月〜３ヶ月、有償）
n 最大ノード数：

RB-U: 16、RB-H: 4、 RB-L: 4、OFP: 16
n 講習会いずれかの受講が必須、審査無n グループコース

n 無償トライアルユース：（１ヶ月〜３ヶ月）
n 最大ノード数：

RB-U: 128、RB-H: 32、 RB-L: 16、OFP: 2048

n 有償トライアルユース：（１ヶ月〜最大通算９ヶ月）
n 最大ノード数：無償と同等

n スーパーコンピュータ利用資格者審査委員会の審査が必要（年2回実施）n 双方のコースともに、簡易な利用報告書の提出が必要

16

スーパーコンピュータシステムの詳細
n 以下のページをご参照ください
n 利用申請方法
n 運営体系
n 料金体系

n 利用の手引などがご覧になれます。
https://www.cc.u-tokyo.ac.jp/guide/17