グリーンなスパコンはエクサスケールの夢を見るか- TSUBAME2.0を例にして 東京工業大学 学術国際情報センター教授
松岡 聡
PC Cluster Consortium招待講演
2010年12月10日

TSUBAMEの歴史
2006
TSUBAME 1.0
85TFlops/1.1PB
アジアNo.1「みんなのスパコン」
x86 CPU+アクセラレータ

2007
TSUBAME 1.1
100TFlops/1.6PB
ストレージ・アクセラレータ
増強

2008
TSUBAME 1.2
160TFlops/1.6PB
GPUアクセラレータ
680枚増強2010/11/01

TSUBAME 2.0
2.4PFlops/7.1PB
日本初のペタコン、TSUBAME1.0の30倍の性能• TSUBAME初の完全リプレース
TSUBAME 2.0 ガイダンス2

今後のペタ級マシン
Inst/Agency/Country(

Name

MachinePeak Perf

ORNL/DoE/USJaguar Upgrade

Cray XT5

2.3PF

Cray XT5

1PF2009 Cracken

Tennessee大学/NSF/US
Julich/欧州(ドイツ)

JugeneIBM BG/P

1PF

中国・防衛大学

天河 (Tihanhe 1)

GPU Cluster/Dawning

1.2PF

中国・深圳国立スパコン 2010星雲 (Nebulae)

GPU Cluster/???

3PF

日本・東工大GPU Cluster/HP-NEC

2.4 PF

Cray XE6

1.3PF

TSUBAME2.0

LBNL/DoE/US

2010 Hopper

中国・防衛大学

天河 (Tihanhe 1-A)

GPU Cluster/Dawning

5 PF

欧州PRACE計画・仏CEA

Tera 100

Nehalem-EX Cluster/Bull

1.25PF

ORNL/DoE/USJaguar Upgrade 2

Cray XE6 +GPU

20PF

NCSA/NSF/US

Blue Waters

IBM Power7 server

10PF

LLNL/DoE/US

Sequoia

IBM BG/Q

20PF

IBM BG/Q

10PF

ArgonneNL/DoE/US

2011-12 ???

日本・理研

「京」

富士通 Venus 専用設計

10PF

日本・筑波大HA-PACSGPU Cluster/HP-NEC

1PF

欧州ペタコン群/PRACE計画???

IBM, Cray等~PF x 4~5

中国

4~6個所

???Dawning?

合算数十PF以上

2004

2008

2012

2016

2020

Exaflop

Petaを達成したが中国に抜かれた米国は2018-2020
Exa(1018)flopへ驀進を開始

Peter Koggeらによる300ページのDoD
Exascaleシステムのレポート
６アプリ分野のExascale
Workshop(2008-2009)

DoE Exascale
2000-5000億円の十年計画
軽量なsimple coreが2020年頃
有望だが、1~10億の並列性

US DoE Exascale Roadmap

ペタ～エクサへのスケーリングのロードブロック• 「10億並列へ」は勇ましいが。。。
– 電力・エネルギー– (強)スケーリングの欠落– N2 vs. N 問題により深まるメモリ階層 (I/O含む)
– 極端に低まる信頼性と実行不能性– プログラミングや実行モデル

ある日施設課に呼び出され。。。

Biggest Problem is Power…
MachineCPU Cores Watts

Peak

Peak
GFLOPS

Watts/MFLOPS/ CPU
Watt

Core

Ratio c.f.
TSUBAMETSUBAME(Opteron)

10480

800,000

50,400

63.00

76.34

TSUBAME2006 (w/360CSs)

11,200810,000

79,430

98.06

72.32

TSUBAME2007 (w/648CSs)

11,776820,000

102,200

124.63

69.63

1.00

Earth Simulator

5120

6,000,000

40,0006.67 1171.88

0.05

ASCI Purple (LLNL)

12240

6,000,000

77,82412.97 490.20

0.10

AIST Supercluster (Opteron)3188 522,240

14400

27.57

163.810.22

LLNL BG/L (rack)2048

25,0005734.4229.38

12.21

1.84

Next Gen BG/P (rack)4096

30,00016384

546.137.32

4.38

810,000 1,024,000

1264.20

5.06

10.14

TSUBAME 2.0 (2010Q3/4)

160,000

TSUBAME 2.0 x24 improvement in 4.5 years…?  ~ x1000 over 10 years

2016年ULP-HPC技術によりデスクサイド・ペタスケールコンピューティングへ
JST-CREST Ultra Low Power HPCにおける基礎研究
ペタコン技術の1000倍のダウ
ンスケール：
どうやって？
2006年東工大TSUBAME
アジア一位：85TeraFlops,> 10,000 CPU, 1.2 MegaWatt, 350m2

2016年デスクサイドワークステーション~100TeraFlops, 1.5KiloWatt,

単純なスケーリングでは達成不可

ULP-HPC

350cm21000倍(あとx10)の技術ブレーク
スルーを行う情報科学研究

クロック上昇不可「マルチコア」でもせいぜい数十~100倍「ペタスケールシミュレーションがエンジニアにとって日常的に」JST CREST ULP-HPC全体スキーム
Ultra Multi-Core
Slow & Parallel(& ULP)(提案3) 自動チューニング共通基盤(須田@東大)ULP-HPC
SIMD-Vector(GPGPU, etc.)

ABCLibScript: アルゴリズム選択

モデルと実測の Bayes 的融合

実行起動前自動チューニング指定、• Bayes モデルと事前分布

アルゴリズム選択処理の指定!ABCLib$ static select region start!ABCLib$ parameter (in CacheS, in NB, in NPrc)
コスト定義関数で使われる!ABCLib$
select sub region start
入力変数!ABCLib$
according estimated!ABCLib$(2.0d0*CacheS*NB)/(3.0d0*NPrc)

モデルによる
所要時間の推定yi ~ N ( i ,  )2ii |  ,  i2 ~ N ( xiT  ,  i2 /  0 )コスト定義関数 i2 ~ Inv -  2 (v0 ,  02 )ULP-HPC
Networks

MRAM
PRAM
Flash
etc.

所要時間の実測データ• n 回実測後の事後予測分布0yi | ( yi1 , yi 2 ,, yin ) ~ t n ( in ,   n 1 /  n )2in n   0  n,  n   0  n,  n  ( 0 xiT   nyi ) /  n

省電力高性能     
ソフト機構・モデル化
n2n(提案1) ULP-HPC用次世代SW/HW要素利用
技術およびモデル化(松岡@東工大・本多@電通大、鯉渕@NII)



0

2
0



対象１（アルゴリズム１）
select sub region end
select sub region startaccording estimated(4.0d0*ChcheS*dlog(NB))/(2.0d0*NPrc)
対象２（アルゴリズム２）!ABCLib$ select sub region end!ABCLib$ static select region end!ABCLib$!ABCLib$!ABCLib$!ABCLib$( ym  yi ) 2   0 n( yi  xiT  ) 2 /  n
yi 

1

1
 yim
n

電力性能比
の最適化
Power

Perf

最適点
10倍のエネルギー
性能効率達成0

省電力高性能アルゴリズム・モデル化(提案2) 超省電力型のHPCアプリケーション
及びアルゴリズム(青木@東工大)

対象領域1、22016年 TSUBAME
1/1000に

省電力化の手法と有効性
情報基盤/手法

エンタープライズ・ビジネス・ク
ラウド

HPC

仮想化による統合化(Server Consolidation)

○

×

DVFS

○
△

△

(Differential Voltage/Frequency
Scaling)

新デバイス(コストや継続性)
新アーキテクチャ△(コストや継続性)

冷却技術

○

○
○

△
(ただし高熱密度)GPU (Multithreaded Vector) vs. Standard Many
Cores?
SharedSharedSharedSharedSharedShared

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

SP SP

MC

MC

MC

MC

MC

vs.

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

PE

MC

GDDR3 GDDR3 GDDR3 GDDR3 GDDR3 GDDR3

 今後スパコンが巨大化するにつれ、強スケーリング(strong scaling)が選択肢において重要な決定要素に
NEC Confidential

DOE のキーアプリケーション群(following slides courtesy John Shalf @ LBL NERSC)
NAME

Discipline

Problem/Method

Structure

MADCAP

Cosmology

CMB Analysis

Dense Matrix

FVCAM

AGCM

3D Grid

CACTUSClimateModeling
Astrophysics

General Relativity

3D Grid

LBMHD

Plasma Physics

MHD

GTC

Magnetic Fusion Vlasov-Poisson

PARATEC

DFT

SuperLU

Material
Science
Multi-Discipline

2D/3D
Lattice
Particle in
Cell
Fourier/Grid

PMEMD

Life Sciences

Molecular
Dynamics

LU Factorization

NEC Confidential

SparseMatrixParticleアプリケーションにはバンド幅？レーテンシ？
Latency Bound vs. Bandwidth Bound?
 How large does a message have to be in order tosaturate a dedicated circuit on the interconnect?
 N1/2 from the early days of vector computing
 Bandwidth Delay Product in TCP
SystemTechnology

MPI Latency

Peak
Bandwidth

Bandwidth Delay
Product

SGI Altix

Numalink-4

1.1us

1.9GB/s

2KB

Cray X1

Cray Custom

7.3us

6.3GB/s

46KB

NEC ESNEC Custom

5.6us

1.5GB/s

8.4KB

Myrinet Cluster

Myrinet 2000

5.7us

500MB/s

2.8KB

Cray XD1

RapidArray/IB4x

1.7us

2GB/s

3.4KB

• Bandwidth Bound if msg size > Bandwidth*Delay• Latency Bound if msg size < Bandwidth*Delay– Except if pipelined (unlikely with MPI due to overhead)– W/HW DMA a few 100ns but not much more
NEC Confidential(Original slide courtesy John Shalf @ LBL)

多くの実問題は実はレーテンシバウンド-小規模メッセージパッシングプロセッサの問題-

95% Latency Bound!!!
Don’t need all that global NW
bandwidth?
Great news for weak scaling
codeA

Bad news for strong
scaling codeD
Weak scaling=> What
if O(n2) complexity=>
infeasible runtime!

NEC Confidential(Original slide courtesy John Shalf @ LBL)ペタからエクサへのスケーリング
強スケーリング達成のためには レーテンシをなるべく短く Extreme multi-core incl. vectors
 “Fat” nodes, exploit short-distance interconnection
 Direct cross-node DMA (e.g., put/get for PGAS) 又はレーテンシ隠し(高バンド幅＋大量のスレッド)
 Dynamic multithreading (Old: dataflow, New: GPUs)
 Trade Bandwidth for Latency (so we do need BW…)
 Departure from simple mesh system scaling レーテンシに敏感なアルゴリズムを変更
 From implicit Methods to direct/hybrid methods
 Structural locality, extraploation, stochastics (MC) Still may require global bandwidth for implicit solvers
NEC Confidential

GPUs as Commodity Massively Parallel
Vector Processors• E.g., NVIDIA Tesla, AMD Firestream– High Peak Performance > 1TFlops• Good for tightly coupled code e.g. Nbody– High Memory bandwidth (>100GB/s)• Good for sparse codes e.g. CFD– Low latency over shared memory• Thousands threads hide latency w/zero overhead– Slow and Parallel and Efficient
vector engines for HPC– Restrictions: Limited non-stream memory
access, PCI-express overhead, programming
model etc.

How do we exploit them given vector
computing experiences?

新世代のベクトル計算機としてのGPU
従来型アクセラレータ:
N-body Grape,ClearSpeed,

計算密度

MatMul

HPCのワークロードとして、二つのタイプ
•

GPUs

化学系

•

スカラー型CPU

計算密度が高い「密問題」→従来型のアクセラレータが得意
メモリアクセス密度が高い「粗問題」→ベクトル型スパコンが得意

スカラー型CPUはどちらもそこそこ→高性能を得るために巨大並列化
FFT
GPUは、新世代のベクトルプロセッサと、計算密度が高いアクセラレータとしてCFD
気象の両面を持つベクトル型スパコン→効率の良いスパコンの主要素
Cray, SX…
ただし、少ないメモリ量・CPUや他GPUとの通信・GPU向アルゴリズムやアプリ・
メモリアクセス密度ベクトル並列のプログラミング手法・
東工大GSICでのシステムソフトウェア等の技術課題
NEC Confidential
研究開発

GPU vs. CPU Performance
Roofline model: Williams, Patterson 2008
Communication s of the ACM
10

GeForce
GTX 285

708 GFlops

x10
-20

MD (N log N)

x5-10
memorybound

N-Body (N log N)

1

SGEMM

2

LBM
Riken BMT

10FFT (NUKADA)

10-D
diffusion

Performance [GFlops]
GFLOPS

3

FLOP/Byte =F/BCore i7
Extremecompute
bound

0

10 -2
10

10-1

100

FLOP/Byte

101
19

TSUBAME 1.2への進化(GPU等拡張) 2008年10月
Voltaire ISR9288 Infiniband x8 NEC SX-8i
10Gbps x2 ~1310+50 Ports~13.5Terabits/s(3Tbits bisection)

500GB
48disks

Storage
1.5 Petabyte (Sun x4500 x 60)
0.1Petabyte (NEC iStore)
Lustre FS, NFS, CIF, WebDAV (overIP)
60GB/s aggregate I/O BW

10Gbps+External
10,000 CPU Cores
NW
Unified Infiniband

Sun x4600 (16 Opteron Cores)

32~128 GBytes/Node10480core/655Nodes
21.4TeraBytes
50.4TeraFlops
OS Linux (SuSE 9, 10)
NAREGI Grid MW

300,000 SIMD Cores~900TFlops-SFP,~170TFlops-DFP
80TB/s Mem BW (x2 ES)

network

GCOE TSUBASAHarpertown-Xeon
90Node 720CPU
8.2TeraFlops

NEW: co-TSUBAME
72Node 586CPU (Low Power)~5TeraFlops

PCI-e

ClearSpeed
CSX600SIMD accelerator
360 648 boards,
35
52.2TeraFlops

Nvidia Tesla S1070: 170台, 総計 680カード
High Performance in Many BW-Intensive Apps
10% power increase over TSUBAME 1.0 (130TF SFP / 80TF DFP)
NEC Confidential

680 Unit Tesla Installation…
While TSUBAME in Production Service (!)

21
NEC Confidential

TSUBAME2.0のノードアーキテクチャ
GPU+CPUによるスカラー・ベクトル混合型アーキテクチャ

DRA
M I/F

DRA
M I/F

DRA
M I/F

Giga
Thread

HOS
T I/F

DRA
M I/F

L2

GDDR5
150GB/sCore
DatasetVectorParallel

DRA
M I/F

DRA
M I/F

GPU
Vector

PCIe 2 x16
8GB/s x n

IOH
IOH

IB QDRNVIDIA Tesla M2050 GPU
IB QDRHCA
515GFlops/ 448 CUDA Cores
HCA
3GBメモリ容量、150GB/sメモリバンド幅
40Gbps IB x 2
新世代のベクトルプロセッサ
NEC Confidential

CPU Scalar- OS- Services- Legacy- 非均質疎行列系

Flash 200GB>450MB/s

ネットワーク・I/O強化のためのカスタムMB設計

Highlights of TSUBAME 2.0
Design (Oct. 2010) w/NEC-HP

 2.4 PF Next gen multi-core x86 + next gen GPGPU
 1432 nodes, Intel Westmere/Nehalem EX 4224 NVIDIA Tesla (Fermi) M2050 GPUs
 ~100,000 total CPU and GPU “cores”, High Bandwidth 1.9 million “CUDA cores”, 32K x 4K = 130 million CUDA threads(!)

 0.72 Petabyte/s aggregate mem BW,

 Effective 0.3-0.5 Bytes/Flop, restrained memory capacity (100TB)

 Optical Dual-Rail IB-QDR BW, full bisection BW(Fat Tree) 200Tbits/s, Likely fastest in the world, still scalable Flash/node, ~200TB (1PB in future), 660GB/s I/O BW
 >7 PB IB attached HDDs, 15PB Total HFS incl. LTO tape

 Low power & efficient cooling, comparable to TSUBAME 1.0(~1MW); PUE = 1.28 (60% better c.f. TSUBAME1)
 Virtualization and Dynamic Provisioning of Windows HPC +Linux, job migration, etc. NEC Confidential

TSUBAME2.0 2010年11月1日稼働開始

24

TSUBAME2.0の特徴
1. 世界一クラスのペタコン: 倍精度2.4ペタフロップス• 最新型GPU・CPUによるベクトル・スカラー混合アーキテクチャ：高い計算性能とバンド幅• 2.4 Petaflops, メモリバンド幅0.72ペタバイト/s (地球シミュレータの4.3倍)• 世界最高速クラスの200テラビット級のバイセクションバンド幅を実現した光ネットワーク• 最新のSSDなどを活用した多階層ストレージによる15PBの大規模化と高速化(0.66TB/s)

2. 世界一環境「グリーンスパコン」• TSUBAME1同等のエネルギー消費・30倍の電力性能比・PUE=1.28・「Green500」世界一？
- GPU+マルチコアCPUの大幅活用による高効率化- 最先端の冷却法： 密閉型の水冷ラック, 負荷集中での高熱勾配, 夏季の負荷キャップ- JST-CREST Ultra Low Power-HPC等の研究成果の応用• => PUE 1.28以下(他の国内のスパコンセンターは1.7~2.0程度)

3. 「クラウド型スパコン」：総合的学内ITホスティング• Windows HPC/Linuxなど複数OS, 複数環境のサポート• 仮想化による種々のデータセンターホスティング機能のサポート• 教育用/Kioskシステムのバックエンド化、全学アカウント・総合的学内ITの集中化・費用削減

4. 東工大GSICでの種々の基礎研究・メーカー共同開発の成果• JST-CREST “Ultra Low Power HPC”, 科研特定領域「情報爆発」, 文科省-国立情報研 NAREGI / e-Science等、多くの基礎研究• 海外企業とも： NVIDIA CUDA CoE (日本初), Microsoft TCI 包括共同研究契約
NECVoltaire,
Confidential• NEC, HP, NVIDIA, Microsoft,
DDN 等との共同開発体制

26

TSUBAME2.0技術パートナーベンダー群
NEC: 主幹・全体設計及びインテグレーション・クラウド管理
HP: ノード開発・全体設計・グリーン; Microsoft: WindowsHPC・クラウド仮想化
NVIDIA: Fermi GPU (ベクトル) CUDA; Voltaire: QDR Infiniband Network
DDN: 大規模ストレージ; Intel: Westmere & Nehalem-EX CPU (スカラー)
PGI: GPU用ベクトル化コンパイラ
東工大GSIC: 基礎設計・各種GPU技術・スパコン省電力技術・クラスタ運用

USA
Japan

Israel

NEC Confidential

TSUBAME2.0の性能向上
地球シミュレータ ⇒ TSUBAME 4年間
30-40倍のダウンサイズ

Japanese NLP>10PF(2012)
US >10P(2011~12?)

10PF

1PF

TSUBAME ⇒TSUBAME 2.0
4年間で30-40倍
BlueGene/L
360TF(2005)

100TF

10TF

Earth Simulator
40TF (2002)

TitechCampus Grid
1TF

1.3TF

2002

KEK 59TF
BG/L+SR11100

2004

NEC Confidential

2006

2008

2010

2012

NEC Confidential

~50 compute racks + 6 switch racks
Two Rooms, Total 160m2
1.4MW (Max, Linpack), 0.48MW (Idle)

TSUBAME2.0 システム概念図
ペタバイト級HDD ストレージ： Total 7.13PB(Lustre+ home)
並列ファイルシステム領域
5.93PB

x5

ホーム領域
1.2PB

MDS,OSS
HP DL360 G6 30nodes
Storage
DDN SFA10000 x5( 10 enclosure x5)
Lustre（5File System）
OSS: 20 OST: 5.9PB
MDS: 10 MDT: 30TB
OSS x20

MDS x10Sun SL8500
テープシステム~8PB

Storage Server
HP DL380 G6 4nodes
BlueArc Mercury 100 x2
Storage
DDN SFA10000 x1（10 enclosure x1）

NFS,CIFS用 x4

SupreTitenet

NFS,CIFS,iSCSI用 x2

E-Science
Renkei-POP
高速データ交換

ノード間相互結合網: フルバイセクション ノンブロッキング 光 QDR Infiniband ネットワーク
Core Switch

Edge Switch

12switches
Voltaire Grid Director 4700 12switches
IB QDR: 324port

Edge Switch(10GbE port付き)

179switches

6switches

Voltaire
Grid Director 4036 179switches
IB QDR : 36 port

Voltaire
Grid Director 4036E 6 switches
IB QDR:34port
10GbE: 2port

管理サーバ群

SupreSinet3

計算ノード： 2.4PFlops(CPU+GPU)，224.69TFlops(CPU), ~100TBメモリ、~200TB SSD
Thin計算ノード

・・・・・・

HP製GPU搭載サーバ 1408nodes
CPU Intel Westmere-EP 2.93GHz（Turbo boost 3.196GHz） 12Core/node
Mem:55.8GB(=52GiB)
103GB(=96GiB)GPU NVIDIA M2050 515GFlops,3GPU/node
SSD 60GB x 2 120GB ※55.8GBメモリ搭載node
120GB x 2 240GB ※103GBメモリ搭載node
OS: Suse Linux Enterprise Server
Windows HPC Server

Medium計算ノード

Fat計算ノード

HP製4Socketサーバ 24nodes
CPU Intel Nehalem-EX 2.0GHz
32Core/node
Mem:137GB(=128GiB)
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise Server
CPU Total: 6.14TFLOPS

HP製4Socketサーバー 10nodes
CPU Intel Nehalem-EX 2.0GHz
32Core/node
Mem:274GB(=256GiB) ※8nodes
549GB(=512GiB) ※2nodes
SSD 120GB x 4 480GB
OS: Suse Linux Enterprise Server
CPU Total: 2.56TFLOPSCPU Total: 215.99TFLOPS(Turbo boost 3.196GHz)
PCI –E gen2 x16 x2slot/node

CPU+GPU: 2391.35TFlops
Memory Total：80.55TB (CPU) + 12.7TB (GPU)1408nodes (32node x44 Rack)

SSD Total：173.88TB

NEC Confidential

GSIC:NVIDIA Tesla S1070GPU

TSUBAME
1 (2006年,
22億円)

T2K東大
(2008年,
90億円)

TACC Ranger(2008年.
60億円?)TSUBAME2.0(2010年, 32億円)

Cores/Node

16

16

16

12(CPU)+1344(GPU)

Node Mem BW(GBytes/s)

20

20

20

64(CPU)+450(GPU)

Node Network BW (Gbps)

20

40

10

80

#Nodes

655

952

3,936

1408(Thin) + 34(Med/Fat)#Cores (Total)

10,480(CPU)15,232

62,976

17,664(CPU)+189万(GPU)# GPUs/Accelerators

360 (ClearSpeed)004224 (Tesla M2050)

理論 Peak TFLOPS (倍精度)

80

141

579

2400

合算メモリバンド幅(TB/s)(Flops/Byte)

17 (0.21)

20 (0.13)80 (0.13)

ネットワークバイセクション(Tbps)

6

40倍以上
41

80

~720 (0.3)
高バンド幅 ベクトル・スカラー混合>200

Memory (Tbytes)

21

30

126

100

Linpack (倍精度-TFLOPS)

48

102

433

>1000

合算 3D-FFT 256^3(TFLOPS)

~13

~20

~80

~700 (GPU only)

HDD Storage (Raw TBytes)

1100

1500

1700

7130

Local SSD Storage/BW (Raw
TBytes) (Bandwidth TByte/s)

0/0

0/0

0/0

~200 (0.66PByte/s)

Energy(Incl. Cooling)

850KW/年~1MW/年

2.4MW Year

~1MW/年

Compute Racks

65

~100

~44

NEC Confidential
70?

TSUBAME2.0 Compute Nodes
1408nodes：

Thin
Node

4224GPUs：59,136 SIMD Vector
Cores, 2175.36TFlops (Double FP)

Infiniband QDR
x2 (80Gbps)

2816CPUs, 16,896 Scalar Cores:
215.99TFlops

HP SL390G7 (Developed for
TSUBAME 2.0)

Total： 2391.35TFLOPS

GPU: NVIDIA Fermi M2050 x 3
515GFlops, 3GByte memory /GPU
CPU: Intel Westmere-EP 2.93GHz x2(12cores/node)
Memory: 54, 96 GB DDR3-1333
SSD：60GBx2, 120GBx2
IB QDR

PCI-e Gen2x16 x2
NVIDIA Tesla
S1070 GPUHP 4 Socket Server
CPU: Intel Nehalem-EX 2.0GHz x4(32cores/node)
Memory: 128, 256, 512GB DDR3-1066
SSD：120GB x4 (480GB/node)

Memory： 80.6TB (CPU) + 12.7TB(GPU)
SSD： 173.9TB

34 nodes:8.7TFlops
Memory:6.0TB+GPU
SSD: 16TB+

NEC Confidential

Total Perf
2.4PFlops
Mem： ~100TB
SSD: ~200TB
4-1

NEC Confidential

NEC Confidential

TSUBAME2.0ノード間相互結合網
5基
SFA10K

・・・・
・

20ノード
SFA10KOSS OSS

・・・

10ノード

OSS OSS

10Gb Ethernet x2

管理ノード x51

並列ファイルシステム領域
MDS MDS・・・

MDS MDS※IB接続するノードは
40
Mgmt
Mgmt
Server ・・・・・・・ Server

ホーム領域
4ノード

2ノード

storagestorage・・・ server mercury
serverVoltarie Grid Director 4036E x6 + Grid Director 4036 x1

mercury

10Gb Ethernet x10

世界一クラスのバイセクションバンド幅 (200Tbps)
約３０００本の光ファイバ
Voltaire Grid Director 4700 x12

Sun SL8500
Tape 8PB HFS

Second RailFirst Rail

フルバイセクションFat Tree・ノンブロッキング・光ネットワーク
Edge Switch #1
Voltaire 4036E Edge Switch #2

Edge Switch #3

Edge Switch #4

Thin Thin Thin Thin Thin Thin
Thin Thin Thin
Thin Thin Thin
・・・ Node Node Node Node・・・ Node Node Node
Node Node Node
Node Node

16ノード

16ノード

Thin計算ノード x1408

Rack#1

Edge Switch x2

Med. Med.
Med. Med.
Node Node ・・・・・Node Node

Fat
Fat
Node ・・・・・・
NodeMedium計算ノード x24 Fat計算ノード x10

x44Racks

TSUBAME2.0ネットワーク全体図
NEC Confidential

SINET 3
JGN 10Gps
HPCI
4-7

NEC Confidential

TSUBAME 2.0ペタバイト級ストレージ
1)各ノードの短期記憶用SSD、2) Lustre/GPFSを利用した「並列ファイルシステム領域」，
NFS,CIFS,iSCSIを備えた「ホーム・クラウドサービス用領域」のHDD群, および 3) 長期保存用テープシステムで構成

Lustre 並列ファイルシステム領域

ホーム・クラウドサービス用領域

MDS：HP DL360 G6 x10

NFS/CIFS用：HP DL380 G6 x4-CPU:Intel Westmere-EP x2 socket(12コア)-メモリ：51GB(=48GiB)-IB HCA:IB 4X QDR PCI-e G2 x1port-CPU:Intel Westmere-EP x2 socket(12コア)-メモリ：51GB(=48GiB)-IB HCA:IB 4X QDR PCI-e G2 x2port

OSS：HP DL360 G6 x20

NFS/CIFS/iSCSI アクセラレーション：BlueArc
Mercury100 x2-CPU:Intel Westmere-EP x2 socket(12コア)-メモリ：25GB(=24GiB)-IB HCA：IB 4X QDR PCI-e G2 x2port-10GbE x2

ストレージ：DDN SFA10000 x1

ストレージ：DDN SFA10000 x5-Total容量：1.2PB
2TB SATA x 600 Disks-Total容量：5.93PB
2TB SATA x 2950 Disks + 600GB SAS x 50 Disks

1

2

SFA10K 600 Disks
OST, MDTSFA10K 600 Disks
OST, MDT

3
SFA10K 600 Disks
OST, MDT

4
SFA10K 600 Disks
OST, MDT

並列ファイルシステム領域 5.93PB

5
SFA10K 600 Disks
OST, MDTHomeSFA10K 600 Disks

SFA6620 100 Disks

ホーム領域 1.2PB

約200TB SSD+7.13PB HDD + 約8PBテープ（予定)の大容量階層ストレージ
合算15ペタバイト: 全国大学基盤センター群合算の数倍の容量
NEC Confidential

11ペタ(1015)バイトのストレージ

NEC Confidential

TSUBAME2.0 テープシステム(別調達)
合計15PB以上、階層ファイルシステムの構築

階層型ストレージ用
サーバ追加予定

本年度~8PB拡張予定

NEC Confidential

東工大 e-Science RENKEI-POPによる分散ストレージ・HPCIへの貢献
 目的: 高速SINET網を活用・スパコンセンター間データ共有基盤の構築
 RENKEIプロジェクト（文科省e-Science委託事業）と連携
 ストレージサーバRENKEI-PoP (Point of Presence)の開発・全国に配備
 大容量、高速IO性能を備えたデータ転送用サーバアプライアンス
 SINET3上に広域ファイルシステムGfarm等によりRENKEI-クラウド構築
 TSUBAME2.0や他の機関のスパコン間の大規模データ交換
CPU

Core i7 975 Extreme (3.33 GHz)

Memory12GB (DDR3 PC3-10600 , 2GB*6)NIC

10GbE (without TCP/IP Offload Engine)

System Disk

500GB HDD

SSD RAID

30TB (RAID 5, 2TB HDD x 16)

 現在9拠点に配備、110TBの高速分散クラウドストレージとして利用可能
東京工業大学

大阪大学

国立情報学研究所

高エネルギー加速器研究機構

名古屋大学

筑波大学

産業技術総合研究所

東北大学

NEC Confidential

近年度中に全大学
盤センターに？

TSUBAME2.0クラウド運用形態
OSを動的に変更する「動的プロビジョニング機構」
 「ジョブ管理システム」「クラスタ管理システム」と連携
 プールノード（サービスに割り当てられていない計算ノード）を利用し，余剰の計算リソースをサービスに割り当て Linux,Windows双方のバッチスケジューラにより計算ノードを協調管理 Linuxノード，Windowsノードの動的な増減が可能
 バーチャルマシン上の仮想計算ノードもスケジュール可能な資源として動的にバッチスケジューラの管理対象
Linux

ジョブ管理システム

Linux
Windows
Windows 仮想環境用 仮想環境用サービスに対して必用なリソースを割り当てる

ノード情報の収集
プールノード起動・停止，OS切替
動的プロビジョニング機構

起動・停止
OS切替

クラスタ管理システム

管理者
NEC Confidential

4-35

グリーンスパコン: 環境監視システム
各計算ノード，ラック，及び計算機室の温度情報・消費電力等を監視する「環境監視システム」．
 センサー情報及び各計算ノードの情報をオンラインでモニタリング
 温度情報（温度センサーから取得）
 ヘルスチェック結果，サービス提供状況，故障の有無
 消費電力（各ノード・及び各分電盤から取得）

管理端末から必用な情報をフィルタリングし，環境監視DBに格納環境監視DB

各種センサー情報の設定を行う．
またセンサーからの情報を採取するための機能を有する．

変換
処理

分電盤

分電盤
温度センサー

ストレージ
ラック

計算機

管理端末
ネットワークラック

環境監視システム
オペレーション

分電盤

管理者
NEC Confidential

空調機
分電盤

各ノードの利用電力
量，温度情報を採取．
各ノードのヘルスチェック結果を採取
各ラック単位の温度情報を採取．
【SNMPなど】
吸気温度情報を採取【SNMPなど】

消費電力情報を採取【SNMPなど】
4-52

GPU-optimized node in HP Skinless
Packaging
Typical Tsubame2 node:
•
•
•
•
•

2 Intel® Xeon® Processor X5670 (six-core 2.93Ghz)
54 GB or 96 GB memory
2 SSDs per node
Dual Rail IB
3 NVIDIA M2050 GPU board– Nodes go into chassis withshared fans and power– Chassis mounted into
lightweight racks– Easy assembly– Lower weight– Reduced heat retention– Modular and flexible– Standard 19” racks
NEC Confidential

Compute Rack Building Block for
Tsubame2
HP Modular Cooling System
G2 rack– 42U HP Modular Cooling System
G2 rack– 30 nodes per rack – 90 GPUs
– 8 chassis with Advanced PowerManagement– 1 HP Network Switch for sharedconsole and admin local area
network– 2 Airflow Dam (Liquid Cooled)– 4 Voltaire 4036 Leaf Switch– Power distribution units
Power per rack approximately
35KW

NEC Confidential

Pulling It All Together

NEC Confidential

TSUBAME2.0 レイアウト(全体で200m2程度, TSUBAME1の2/3以下)

NEC Confidential

グリーンスパコン：HP Modular Cooling System G2による高密度実装・水冷キャビネット冷却• ラック内に熱交換システムを内蔵した密閉型水冷システム• 高密度な冷却が可能・ラックあたり最大35kW(世界最高)
通常のデータセンターの10倍!!
• サーバの吸入口に均質な冷却風を提供• ドア平開は自動化・加湿不要• 完全自動温度制御による最適な
消費電力点の制御• 95% から 97% の熱を水冷で除去• ポリカーボネート製のドアにより大幅なノイズ削減

ORNL Jaguar and Tsubame 2.0
Similar Peak Performance, 1/4 the Size and PowerNEC Confidential

TSUBAME2.0 アプリケーション性能予測 1.192 TFlops Linpack [IEEE IPDPS 2010]
 Top ranks Green 500?
 ~0.5 PF 3D Protein Rigid Docking (Node 3-D FFT)

[SC08, SC09] 145Tlops ASUCA Weather Forecast [SC10 Best
Student Paper Finalist] Multiscale Simulation of Cardiovascular flows[SC10 Gordon Bell Finalist] Various FEM, Genomics, MD/MO (w/IMS), CSApps: search, optimization, …
NEC Confidential

TSUBAME2.0世界ランキング
スパコン二大リスト (2010年11月)
The Top 500 (ベンチマーク絶対性能、ペタフロップス)
1位： 2.566 中国防衛大 Tianhe 1-A (11)
2位： 1.758 ：米国オークリッジ国立研究所 Cray Jaguar (81)
3位： 1.271 ：中国深圳国立スパコンセンター Dawning Nebulae (13)
4位： 1.192 ：日本 東工大/HP/NEC TSUBAME2.0 (2)
5位： 1.054 ：米国ローレンスバークレー国立研究所 Cray Hopper (30)
6位： 1.050 ：仏CEA国立研究所 Bull Bullx (97)
7位： 1.042 ：米国オークリッジ国立研究所 IBM Roadrunner (16)33位(日本2位)： 0.1914：日本原子力研究開発機構/富士通 (95)(Green500 rank)

The Green 500 (ベンチマーク電力性能、メガフロップス/W)
1位： 1684.20 ： 米国 IBM研究所 BlueGene/Q プロトタイプ (116)
2位： 958.35 ：日本 東工大/HP/NEC TSUBAME2.0 (4)3位： 933.06 ：米国 NCSA Hybrid Cluster実験機 (403)
4位： 828.67 ： 日本 理研 京 (170)
5-7位： 773.38 ： ドイツ ユーリッヒ大等 IBM QPACE SFB TR (207-209)
10位(日本3位)： 636.36 ：日本 環境研 (102)(Top500 rank)“Little Green 500” では TSUBAME2.0の実験構成が1.037 Gigaflops/W 達成 (米Microsoftとの共同研究)

朝日20101119(夕刊)日経20101121

朝日20101119

NEC Confidential

朝日20101118

ペタフロップス？ギガフロップス/W?
6.6万倍高速3倍省エネ<<

4.4万倍データ
Laptop: SONY Vaio type Z (VPCZ1)
CPU: Intel Core i7 620M (2.66GHz)MEMORY: DDR3-1066 4GBx2
OS: Microsoft Windows 7 Ultimate 64bit
HPL: Intel(R) Optimized LINPACK Benchmark for
Windows (10.2.6.015)
256GB HDD
18.1 ギガ(109)フロップス

Supercomputer: TSUBAME 2.0
CPU: 2714 Intel Westmere 2.93 Ghz
GPU: 4071 nVidia Fermi M2050
MEMORY: DDR3-1333 80TB + GDDR5 12TB
OS: SuSE Linux 11 + Windows HPC Server R2
HPL: Tokyo Tech Heterogeneous HPL
11PB Hierarchical Storage
1.192 ペタ(1015)フロップス

369 メガ(106)フロップス / Watt

1037 メガ(106)フロップス / Watt

TSUBAME2.0へのJST-CREST
Ultra Low Power HPCの成果の反映• GPU中心の2.4 PF我が国最速・世界3~4位のスパコン– 1432 nodes, Intel Westmere/Nehalem EX– 4224 NVIDIA Tesla (Fermi) M2050 GPUs
– ~76,600 total CPU and GPU “cores”, High Bandwidth– 電力効率世界一？(後述)• 省電力運用のための仕組みが随所– ノード・ラック・配電版など随所の電力センサーネットワーク– 大量の温度センサー(ノード18個=>全体で2万個以、ファンセンサー…)– ノード単位の電力キャップ・高効率冷却ノード設計– 密閉型水冷ラック/チラー (35KW => PUE=1.28以下)• 今後ULP-CRESTの成果の適用– 開発された高性能・省電力GPUライブラリ等の利用– 省電力自動チューニング
– 省電力スケジューリング(温度感知=>マイグレーション)
54

ULPHPCにおける省電力化の研究（サンプル)

Measuring GPU Power Consumption• Two power sources– Via PCI Express: < 75 W
– Direct inputs from PSU: < 240 W• Uses current clamp sensors around thepower inputs
Precise and Accurate Measurement with Current Probes+

A/D converter
NI PCIe-6259

Measurement PC
Attaches current sensors to
two power lines in PCIe

Direct power
inputs from PSU

Reads currents at 100
us interval統計的GPU電力モデリング[IEEE• IGCC10]
GPUの消費電力を統計的に推定

GPUパフォーマンスカウンタnp    i ci  
i 1• 性能プロファイル（パフォーマンスカウン
タ）を説明変数とした線形回帰モデル

高精度（誤差平均4.7％）

平均消費電力• リッジリグレッションによる過学習の防止• クロスフィッティングによる最適パラメー
タの決定

高分解性能電力計
今後：電力モデルによる電力最適化
線型モデルでも十分な精度億単位のプロセッサからなるエクサスケール
における最適化の実現可能性

Average Power Consumption (W)
180

160

0
MersenneTwister::BoxMullerGPU
MersenneTwister::RandomGPU
MonteCarlo::inverseCNDKernelMonteCarlo::MonteCarloOneBlockPer…
backprop::bpnn_layerforward_CUDA
backprop::bpnn_adjust_weights_cuda
bfs::Kernel
bfs::Kernel2
binomialOptions::binomialOptionsKernel
boxFilter::d_boxfilter_rgba_ycell::evolve
cfdsolver::cuda_time_step
cfdsolver::cuda_compute_flux
cfdsolver::cuda_compute_step_factor
cfdsolver::cuda_initialize_variables
dwtHaar1D::dwtHaar1D
dxtc::compress
dynproc::dynproc_kernel
fastWalshTransform::fwtBatch1Kernel
fastWalshTransform::fwtBatch2Kernel
gaussian::Gaussian_CUDA
histogram64::histogram64Kernel
hotspot::calculate_temp
kmeans::invert_mapping
matrixMul::matrixMul
needle::needle_cuda_shared_1
needle::needle_cuda_shared_2
nn::euclid
quasirandomGenerator::inverseCNDKe…
quasirandomGenerator::quasirandom…
scalarProd::scalarProdGPU
scan::scan_naive
scan::scan_workefficientscan::scan_best
scanLargeArray::prescan
simpleCUBLAS::sgemm
srad::srad_cuda_1
srad::srad_cuda_2
streamcluster::pgain_kernel
transpose::transpose_naivetranspose::transpose

200

inActual4.7%
vs.error
EstimatedPower
Measured
average
Estimated

140

120

100

80

60

40

20

Low Power Scheduling in GPU Clusters[IEEE IPDPS-HPPAC 09]
Objective：Optimize CPU/GPU
Heterogeneous

6000
5000

EDP(10^9sj)• Optimally schedule mixed sets of jobs
executable on either CPU or GPU but
w/different performance & power

EDP

7000

4000
3000
2000
1000
0

• Assume GPU accel. factor (%) known
30% Improvement Energy-Delay
Product• Different app. power profile• PCI bus vs. memory conflict– GPU applications slow down by 10 % ormore when co-scheduled with memoryintensive CPU app.

Proposed (static)

ECT

Proposed (on-line)

SRAD

Slowdown

16
14
実行時間増加率TODO: More realistic environment

Fixed

12
10
8

6
4
2
0
0

2000

4000

6000

8000

バックグラウンドプロセス（MB/s)
BackgroundCPUprocess BW (MB/s)

10000

GPUクラスタにおける省電力タスクスケジューリング
(ノード内のプロセス間のメモリやPCIバス競合を考慮)
C0

C1

C2

C3 CPUGPU0

L3 Cache

PCI&HT
Router

MemoryGPU1GPU2

競合によるアクセス時間の増加
GPU3

各プロセスは以下のいずれかの状態にある．
（１）メモリアクセス（２）PCI転送中（双方向）（３）コア内で計算中プロセスの時間増加率＝各状態にある確率r（時間的な割合）×競合率α．
α( s0,{s1, s 2, s3})r ( s0)r ( s1)r ( s 2)r (s3)


s0

s1

s2

0

1

2

3

s3

ECT(Earliest Complete Time)スケジューリング
でプロセス間の競合を加味した手法を提案。
実測による結果

最大2.3％のエネルギー削減

1400

ECT
提案手法

1300
MakeSpan(sec)

各ジョブの下記情報（単独実行時）を既知と仮定．
•実行時間•メモリアクセス量（パフォーマンスカウンタから取得）•PCI転送量（CUDAプロファイラから取得）
これらからプロセス実行時間の増加率をモデルにより
推定

1200
1100
1000
900
800
700
task_set1

task_set2

task_set3

HPC アプリケーションの成果

TSUBAMEにおける 青木Ｇ（東工大）
次世代気象予測(気象庁との共同研究)

メソスケール大気モデル:
雲の解像： 3次元非静力学平衡モデル
Compressible equation taking consideration of sound waves.

メソスケールa few km2000 km

竜巻, ダウンバースト
集中豪雨

台風

NEC Confidential

Next Generation

Numerical Weather Prediction[SC10]
Collaboration: Japan Meteorological Agency

Meso-scale Atmosphere Model:
Cloud Resolving Non-hydrostatic model

ex. WRF(Weather Research and Forecast)Typhoon ~ 1000km
1~ 10kmTornado,Down burst,
Heavy Rain

WSM5 (WRF Single Moment 5-tracer) Microphysics*
Represents condensation, precipitation and thermodynamic effects of latent
heat release
1 % of lines of code, 25 % of elapsed time
⇒ 20 x boost in microphysics (1.2 - 1.3 x overall improvement）

ASUCA : full GPU Implementation
Block Division
for Advection ny

developed by Japan Meteorological Agency

nx

TSUBAME 2.0 : 145 Tflops
World Record !!!

Overlapping
Overlapping
Non-overlapping
Non-overlappingnz

for 1-D
Helmholtz eq. ny

6956 x 6052 x 48
528 (22 x 24) GPUs

nx

CPU
nz
Typhoon

ASUCA Multi GPU PerformanceSupercomputing 2010で発表
3.2 TFlops

Overlapping
Non-overlapping

3164 x 3028 x 48

3990GPUs 145TFlops

気象コードとしては世界記録(現在ではほぼピーク性能が同じ(2.4PF)、神戸ペタ
コンに類似の オークリッジ国立研の1900 x 2272 x 48 Jaguar の
50TFflops)
1268 x 1264 x 48
636 x 760 x 48

対Jaguar電力性能比 8-12倍
コスト性能比10倍以上
NEC Confidential

[Massimo Bernaschi]

x3 40 rack BG/P

NEC Confidential

呼吸器のシミュレーション【東北大学医学部との共同研究】

Collaboration with Tohoku University

Lattice Boltzmann Method



f i
1
eq
 ei  f i   f i  f i
t




9
3
 3

2
f i eq  wi 1  2 ei  u   4 ei  u   2 u  u 
2c
2c
 c


Streaming step:

Collision step:f i  x  ei t , t  t   f i  x, t 

f i  x, t   f i  x, t  1
f i  x, t   f i eq  x, t ×89
X-Ray CT images
D3Q19

Airway structure
Extraction

15
12
16

11

5

3

8

7

2
10

1
9

4
17
14

6
18

13

Lattice Boltzmann
GPU computing

バイオインフォ：遺伝子相同性検索BLAST on GPUs
• CUDA-BLASTP (NTU)
http://www.nvidia.com/object/blastp_on_tesla.html

一つ前の世代の GPU, CPU
ソケットあたり3~5倍の速度向上• GPU-BLAST (CMU)

TSUBAME2.0では約1.6万ソケット(10万CPUコア)相当

http://eudoxus.cheme.cmu.edu/gpublast/gpublast.html“4 times speedup on Fermi GPUs”

分子動力学：GPU Amber 11• ベンチマークでGPU1枚あたり8コアのCPUノードの420倍高速– マルチGPU版は「9月末に出る」はずだったがまだ出ていない。

• 精度は「問題ない」そうだが、今後検討の余地あり• 平均10倍とすると、TSUBAME2.0では30万コア相当
FactorIX NVE = 90,906 atoms~TSUBAME2
1GPU~TSUBAME1
1node

JST-CREST ULP-HPCの成果適用によるスパコン・クラウド情報基盤のウルトラグリーン化
JST-CREST Ultra Low Power HPC (2006-2013)

スパコンの1000倍の性能電力向上を目指す基礎研究
Ultra Multi-Core
Slow & Parallel(& ULP)(提案3) 自動チューニング共通基盤
ULP-HPC
SIMD-Vector(GPGPU, etc.)

ABCLibScript: アルゴリズム選択

モデルと実測の Bayes 的融合

実行起動前自動チューニング指定、• Bayes モデルと事前分布

アルゴリズム選択処理の指定!ABCLib$ static select region start!ABCLib$ parameter (in CacheS, in NB, in NPrc)
コスト定義関数で使われる!ABCLib$
select sub region start
入力変数!ABCLib$
according estimated!ABCLib$(2.0d0*CacheS*NB)/(3.0d0*NPrc)

モデルによる
所要時間の推定yi ~ N ( i ,  i2 )

i |  ,  ~ N ( x  ,  /  0 )
2
i

T
i

2
i

コスト定義関数 i2 ~ Inv -  2 (v0 ,  02 )ULP-HPC
Networks

MRAM
PRAM
Flash
etc.

所要時間の実測データ• n 回実測後の事後予測分布0yi | ( yi1 , yi 2 ,, yin ) ~ t n ( in ,   n 1 /  n )2in n   0  n,  n   0  n,  n  ( 0 xiT   nyi ) /  n

省電力高性能     
ソフト機構・モデル化
n

2
n



0

2
0



対象１（アルゴリズム１）
select sub region end
select sub region startaccording estimated(4.0d0*ChcheS*dlog(NB))/(2.0d0*NPrc)
対象２（アルゴリズム２）!ABCLib$ select sub region end!ABCLib$ static select region end!ABCLib$!ABCLib$!ABCLib$!ABCLib$( ym  yi ) 2   0 n( yi  xiT  ) 2 /  nyi (3) JST ULPHPC 基礎研究の適用によるスパコン用
超省電力ミドルウェア・ア
プリ等

対象領域1、2

1

1
 yim
n

電力性能比
の最適化

(提案1) ULP-HPC用次世代SW/HW要素利用
技術およびモデル化

Power(2) TSUBAME2.0 (2010) 2.4PFlops
トップクラスの電力性能

Perf

最適点
10倍のエネルギー
性能効率達成0

省電力高性能アルゴリズム・モデル化(提案2) 超省電力型のHPCアプリケーション及びアルゴリズム

2016年 TSUBAME
1/1000に冷却用CO2
排出の大幅削減

排気

TSUBAME2.0/3.0

Nvidia Maxwell(2013)追加
TSUBAME2.5 ~10PF
1MWの維持大気チャンバー
冷気 兼高効率電源設備
自然フィルター-TSUBAME3.0への成果大気吸気
2014-5年 TSUBAME3.0
数十PFlops ---TSUBAME1.0比で(1)自然大気冷却等 年平均PUE ~ 1.1
数百倍の性能電力比

ULPHPCにおけるスパコン
大規模高信頼性の研究

NVCR : A Transparent
Checkpoint/Restart for CUDA
CUDA Checkpoint using BLCR (Takizawa, 2009)- Save all data on CUDA resource.
- Destroy all CUDA context.
- BLCR- Reallocate CUDA resource.
- Restore data.

Sec.

After reallocation, the address or handle may differ
from previous one.
Handles are Opaque pointers : can be virtualized.
Addresses must be visible for user application.
Our answer is `REPLAY’.
NVCR records calls of all APIs related to device
memory address such as;
cuMem*(), cuArray*(), cuModule*().
We added some optimization of reducing the API
records. For example, locally resolved alloc-free pairs
are removed from the record.

8
7
6
5
4
3
2
1
0

Overhead of single checkpoint

Other
Replay, etc.
BLCR

The time for Replaying is quite negligible comparedwith the main BLCR procedure to write image to HDD.
NVCR supports- All CUDA 3.0 APIs
- OpenMPI- Both CUDA runtime and CUDA driver API.
CUDA pinned memory is supported partially … Fullsupport requires NVIDIA’s official support.

Checkpointer for MPI+CUDA applications• Very important in large-scale GPU systems• Supports a majority of the CUDA RT API• Based on BLCR and OpenMPI

Runtime (s)MPI CUDA Checkpointing
35
30
25
20
15
10
5
0

Checkpoint Overhead

Pre-processing
BLCR
Post-processing

100 200 300 400 500 600 700 800 900 1000

Checkpoint
signal arrival

CPU

GPU

Data size (MB)Running kernel

Waiting until
communication of
CPU-GPU and kernel
execution finish
Programresumes

Evacuate states
on GPU to CPU

Open MPI+BLCR
checkpoint

Restore thestates on GPU• GPU state saving andrestoring has little
overall performance
impact.
• Can be significantly
faster with our scalable
checkpointing
algorithms

More details at
the Research
Poster SessionHybrid Diskless CheckpointProblem: Decrease the ckpt. overhead witherasure codes on large-scale GPU systems.

Scalable encoding algorithm and efficient groupmapping [CCGrid10]
Fast encoding work on idle resource (CPU/GPU)[HiPC10]P1 P2 P3 P4

P1 P2 P3 P4 P5

Tim
e

Ckpt.
overhead

Execution

Local ckpt.

RS encodingHybrid Diskless CheckpointLess than 3% of ckpt. overhead using idle resources

We are currently combining this technique with our
MPI CUDA Checkpoint.

Software Framework for GPGPU Memory FT[IEEE IPDPS 2010]

Error detection in CUDA global memory + Checkpoint/Restart
Works with existing NVIDIA CUDA GPUs••

Lightweight Error Detection••

Detects a single-bit error in a 4B word
Detects a two-bit error in a 128B block
No on-the-fly correction  Rollback upon errors

450
400
350
300
250
200
150
100
50
0

GFLOPS••

Cross Parity for 128B blocks of data

Original (kernel only)
Original
Ours (kernel only)
Ours
1024

2048

4096

Matrix Size (N)8192

Exploit the latency hiding
capability of GPUs fordata correctness

Exaflopsへ向けた我が国のeScience
インフラ・基盤センターへの提言• 世界レベルのLeadership Computing and Data Facilityとしての性能ロードマップ策定と、基盤センター群による競争・協調・多様性を伴った年次の着実な遂行：HPCIのあるべき型– 国家レベルでの年次スケーリングの目標設定– 多様性と競争原理の適用センター毎の定額予算からの脱却• HPCIの資源センターが自らの計算科学・計算機科学・応用数学
を連動するHPC研究開発・人材育成・産学連携体制– 理研NLPや研究所を中心とした連携・人材交流– 基礎研究=>運用実験=>(リーダーシップ)実運用– 「カタログからマシンを買うだけのセンター」はいらない• 「ガラパゴス」から「国際連携」へ– LHCや国際宇宙ステーションに学べ

国際Exascale SW Project
http://www.exascale.org/
筑波 10/19-21/2009