筑波⼤大学の取り組み
朴 　泰祐

計算科学研究センター
筑波⼤大学

taisuke@cs.tsukuba.ac.jp
最先端共同HPC基盤施設シンポジウム2013	
1	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

アウトライン
筑波⼤大学計算科学研究センター紹介n 計算科学研究センターにおけるスパコンの歩みn 現在のリソースと今後の展開n 最先端共同HPC基盤施設に向けてn

最先端共同HPC基盤施設シンポジウム2013	
2	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

筑波⼤大学計算科学研究センター紹介

最先端共同HPC基盤施設シンポジウム2013	
3	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

筑波⼤大学・東京⼤大学・JCAHPC
12/ 10/ 23-‐‑

Go o g l e

  

筑波大学	

東大柏キャンパス（JCAHPC）	

東京大学	

  ©2012  Google,  ZENRIN  -­最先端共同HPC基盤施設シンポジウム2013	
4	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

筑波⼤大学計算科学研究センター
Center for Computational Sciences (CCS)n 広範な計算科学分野の研究者と⾼高性能計算⼯工学分野の研究者が常駐する研究センターnn

計算科学分野n

n

計算機⼯工学分野nn

素粒粒⼦子物理理，宇宙物理理，物性物理理，地球環境，⽣生命科学
⾼高性能計算システム，グリッド，⼤大規模データベース，マルチメディア

応⽤用側のニーズとシステム側のシーズの融合nn

アプリケーションの研究者とシステムの研究者の⽇日常的な共同研究
このようなセンターは希少

実応⽤用に即した⾼高性能計算に関する研究の⽇日常的推進n 研究に必要な計算機を、ただ買ってくるのではなく⾃自ら設計し
作り上げる
n

最先端共同HPC基盤施設シンポジウム2013
5

2013/07/24

Center for Computational Sciences, Univ. of Tsukuba

計算科学研究センター（続き）
n

応⽤用分野
n
n
n
n
n

n

システム分野nnn

PP: 素粒粒⼦子物理理研究部⾨門
ANP: 宇宙・原⼦子核物理理研究部⾨門
QCM: 量量⼦子物性研究部⾨門
LS: ⽣生命科学研究部⾨門
GES: 地球環境研究部⾨門
HPC: ⾼高性能計算システム研究部⾨門
CI: 計算情報学研究部⾨門

⼀一般的な「計算サービス／リソースセンター」ではない「顔・アプリケーション」の⾒見見えるユーザが対象
n 計算科学に特化した⼤大規模アプリケーション実⾏行行環境を全国共同利利⽤用施設として提供n

最先端共同HPC基盤施設シンポジウム2013
6

2013/07/24

Center for Computational Sciences, Univ. of Tsukuba

計算科学研究センターにおけるスパコン
開発・導⼊入の歩み

最先端共同HPC基盤施設シンポジウム2013	
7	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

CCSにおけるスパコン開発・運⽤用の２つの流流れn

開発系システム（PACS/PAXシリーズ）

センター独⾃自の  mission  oriented  なシステムを設計・開発
し、「使い易易い汎⽤用システム」よりも「特定⽤用途向けのチャレンジシステム」を⽬目指すn （原則）計算機レンタル予算ではなく概算要求ベースの独⾃自予算により研究を推進nn

計算リソースサービス系システム（VPP⇒T2K）
n

「使い易易い汎⽤用システム」を市場から調達。「市場」はマシン本体だけでなくCPU、ネットワーク、メモリ等の部品を含む（クラスタ技術）
最先端共同HPC基盤施設シンポジウム2013	

8	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

CCSにおける計算機導⼊入の歴史
n

独⾃自開発の先進的計算システム〜～PACS/PAXシリーズ〜～

mission  oriented  な計算と専⾨門的プログラミングを対象とした（準）専⽤用システムの開発
n PACS  (PAX)  seriesn 新プログラム（CP-‐‑‒PACS）、特別教育研究経費（PACS-‐‑‒CS）、特別経費（HA-‐‑‒PACS）、科研特別推進（FIRST）等、⽂文科省省を中⼼心とする個別
予算ベース
n

n

⼀一般のスパコン利利⽤用を対象とした汎⽤用システム
n
n
n

市場ベース（マシン⾃自体だけでなく個々の部品・要素技術）のシステム
筑波⼤大学学術情報メディアセンターのスパコンサービスをCCSに移⾏行行
VPP500,  VPP5000,  T2K-‐‑‒Tsukuba

最先端共同HPC基盤施設シンポジウム2013	
9	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

超並列列計算機PAX(PACS)の開発の歴史
n
n
n
n

1977年年に研究開始（星野・川合）
1978年年に第⼀一号機が完成
1996年年のCP-‐‑‒PACSはTOP500第⼀一位
2012年年のHA-‐‑‒PACSは第8号機
第１号機PACS-9

第２号機PAXS-32

名称

	

計算速度

	

PACS-9

7KFLOPS	PAXS-32

500KFLOPS

1983年

	

PAX-128

4MFLOPS

	
1989年	
1996年	
2006年	
2012年	

PAX-32J

	
14GFLOPS	
614GFLOPS	
14.3TFLOPS	
800TFLOPS	

1978年
1980年

1984年

10	

QCDPAX
CP-PACS
PACS-CS
HA-PACS

PACS-CS

世界最高速を達成した第6号機CP-PACS

第５号機QCDPAX

	

完成年

1996

1989

1980

1978

2006

	
	

n

計算科学者＋計算機工学者の共同開発による「実用的スパコン」	

n

Application-drivenな開発	

n

持続的な開発による経験の蓄積 	

		

3MFLOPS

Center for Computational Sciences, Univ. of Tsukuba

CP-‐‑‒PACS  (1996年年）
n

n
n

n

n
n

n
n

11

筑波⼤大学計算物理理学研究センター（CCSの前⾝身）
筑波⼤大学＋⽇日⽴立立
1996年年3⽉月に1024PU完成⇒  10⽉月に2048PUに
⼤大学主導計算機として世界最⾼高速となった貴重な例例
計算物理理学のための計算機
ソフトウェアベクトル処理理のために強化されたプロ
セッサ
2048  CPU,  614GFLOPS
Linpack性能368GFLOPS
1996.11  TOP500で１位

最先端共同HPC基盤施設シンポジウム2013	
2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

FIRST:  宇宙物理理学のための「ヘテロクラスタ」(2005年年)
256 （16×16） nodes	
512 CPU ＋ 	
256 Blade-GRAPE	
	

Total Performance = 38.5 Tflops	
Host 3.5 Tflops	Blade-GRAPE 35 Tflops	
	

Total Memory = 1.6TB	
	Total storage = 22TB (Gfarm)	

•  全ノードにBlade  Grape  (重⼒力力計算アクセラレータ)  を搭載した  heterogeneous  PC  cluster•  ClearSpeed等が出始めた頃の  heterogeneous  computing  の⾛走り
最先端共同HPC基盤施設シンポジウム2013	
12

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

Blade GRAPEFIRSTクラスタのための重⼒力力計算アクセラレータ（ノード組み込み型）
ØFull size PCI card requiring
2-PCI slots	Ø10 layers in a board	Ø4 GRAPE6 chips= 136.8GFLOPS	Øelectric power of 54W	Ømemory of 16MB
（260K particles）	
ØImplemented byHamamatsu Metrics Co.	

GRAPE6 chips×４	

heat-sink

Blade-GRAPE

最先端共同HPC基盤施設シンポジウム2013	13

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

PACS-‐‑‒CS:  「バンド幅重視」Cluster  (2007年年)
nPACS-‐‑‒CSの設計コンセプト
n
n

n

バンド幅を重視した設計  (memory  &  network)
コモディティ技術に基づくMPP-‐‑‒like  system

PACS-‐‑‒CSの特徴
n

n
n

n
n

16x16x10=2560  node
⇒  14.4  TFLOPS  (peak)
10.6  TFLOPS  (Linpack)#34  in  TOP500  (June  2006)
single  core,  single  CPU  /  nodeCPU  FLOPS  :  Memory  B/S  :  Network  B/S
=  5.6  GFLOPS  :  6.4  GB/s  :  0.75GB/s
ハイパクロスバ網により様々な物理理ドメイン形状を計算対象に
GbEthernet  x  6  を３次元展開したネットワーク

最先端共同HPC基盤施設シンポジウム2013	14

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

PACS-CS マザーボード写真
CPU

Chipset

PCI bridge

GbE NICs
VGA
USBx2

Memory8 portsof RJ-45

最先端共同HPC基盤施設シンポジウム2013	15

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

現在のリソース・研究と今後の展開

最先端共同HPC基盤施設シンポジウム2013	
16	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

T2K-‐‑‒Tsukuba:  ⼤大規模汎⽤用クラスタ  (2008年年)#20 at TOP500 on June 2008 (Linpack: 76.46 TFLOPS)⇒ H26.2末に運用終了予定
最先端共同HPC基盤施設シンポジウム2013	17

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

計算ノードとファイルサーバ
Computation node （70racks）(Appro XtremeServer-X3)	

648 node (quad-core x 4socket / node)
Opteron “Barcelona” 8356 CPU
2.3GHz x 4FLOP/c x 4core x 4socket= 147.2 GFLOPS / node
= 95.3 TFLOPS / system
20.8 TB memory / system

800 TB (physical 1PB) RAID-6
Luster cluster file system
Infiniband x 2
Dual MDS and OSS config.
⇒ high reliability

File server (disk array only)(DDN S2A9550)

最先端共同HPC基盤施設シンポジウム2013	18

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS  base  cluster  (2012年年)• 268 node, 4 GPU/node, 802 TFLOPS (peak), 421.6 TFLOPS (Linpack)#39 on 2012.6• 計算ノード： Appro GreenBlade 8240
• ネットワーク： InfiniBand QDR x 2rail, Mellanox ConnectX3• ファイルサーバ： DDN SFA10000 (500TB, RAID6, Lustre)	
最先端共同HPC基盤施設シンポジウム2013	
19	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS:  base  cluster  (computation  node)(16GB, 12.8GB/s)x8=128GB, 102.4GB/s	

AVX	
(2.6GHz x 8flop/clock)

20.8GFLOPSx16=332.8GFLOPS	
Total: 3TFLOPS	

(6GB, 177GB/s)x4=24GB, 708GB/s	

665GFLOPSx4=2660GFLOPS	

8GB/s	
最先端共同HPC基盤施設シンポジウム2013	
20	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS:  base  cluster  (computation  node)
GPU (M2090) x 4	InfiniBand QDRx2

CPU (SandyBridge-EP) x 2	

計算ノードシャーシ（4 node）	

最先端共同HPC基盤施設シンポジウム2013	
21	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

現在のリソース利利⽤用nT2K-‐‑‒Tsukuba

学際共同利利⽤用：約55%
n HPCI：約20%n ⼤大規模⼀一般利利⽤用（有償）：約20%n 計算基礎科学連携拠点：約5%nn

HA-‐‑‒PACSn

n

学際共同利利⽤用：100%

利利⽤用状況（H25.4~∼6⽉月平均ジョブ稼働率率率）

T2K-‐‑‒Tsukuba:  69.9%    (システム稼働率率率：96.6%)n HA-‐‑‒PACS:  87.4%                (システム稼働率率率：96.6%)n

最先端共同HPC基盤施設シンポジウム2013	
22	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS/TCAn

TCA:  Tightly  Coupled  Accelerator  nn

アクセラレータ間直接通信ネットワーク機構  (GPUs)
PCIeをアクセラレータ間直接通信リンクとして利利⽤用

現在のアクセラレータやその他のI/Oデバイスは全てPCIeによりCPUに結合されているn インテリジェントなPCIeスイッチと外部リンクにより理理論論的にはあらゆるデバイスを結合可能
n

n

n

このコンセプトの下でノードを跨がるアクセラレータ間並列列結合システ
ムを構築し強スケーリング可能なアプリケーションを実⾏行行可能な環境を提供

HA-‐‑‒PACS/TCAn

TCA機構の有効性を実証するための実験クラスタとしてHA-‐‑‒PACS  base  cluster  を拡張し、TCA機構を組み込む

最先端共同HPC基盤施設シンポジウム2013	
23	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS/TCA  (Tightly  Coupled  Accelerator)n

True GPU-direct
n

n

n

現在のGPUクラスタではGPU間通信に多数のホップが必要 (3-5
回のメモリコピー)
強スケーリングを実現する大規模GPUクラスタのためには超低レイテンシで高バンド幅を持つ
GPU間直接リンクが必要
PCIe	
 PCIe	
IB
CPU	
HCA	

PEACH2nn

TCAをGPU間結合で実現する
FPGAベースのPCIeスイッチ
CPUを経由することなくノードを跨ぐGPU間直接通信が可能

Node	

Node	
PCIe	

MEM	

GPU	

CPU	

PCIe	

PEACH
2	

PCIe	

GPU	

MEM	

IB
Switch	

PCIe	

IB
HCA	

PCIe	

PCIe	

CPU	

GPU	

MEM	

MEM	

CPU	

PCIe	

PEACH
2	

PCIe	
GPU	

最先端共同HPC基盤施設シンポジウム2013	
24	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS/TCAノード構成nnCPUからのGPUの⾒見見え⽅方は均⼀一PEACH2から全てのGPUにアクセス可能
n

n

n

n

Kepler  +  CUDA  5.0  “GPUDirect Support for
RDMA”
によりGPUメモリをアクセス

他の3ノードと接続

PEACH2を除けばHA-‐‑‒PACS  base  clusterと同等の構成(CPUは異異なる)CPUソケット内蔵のPCIe（80レーン）
を全て使⽤用CPU(IvyBrid
ge)	

G2
x8	
G2
x8	

PEA
CH2	

G2
x8	

G2
x8	

QPI	

CPU
(IvyBridge)

単一PCIeアドレス空間	
G2
G2

G2
x16	

G2 PCIe	
x16	

x16	

x16	

K20X	

K20X	

K20X	

K20X	

G3
x8	

IB
HCA	

最先端共同HPC基盤施設シンポジウム2013	
25	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

PEACH2  boardn

PCI  Express  Gen2  x8  peripheral  boardnCompatible  with  PCIe  Spec.

Side View	

26	

Top View	

Center for Computational Sciences, Univ. of Tsukuba

Demonstration  at  SC1227	

Center for Computational Sciences, Univ. of Tsukuba

TCA通信とMPI通信の⽐比較
別ノードのGPUデバイスメモリ間通信

PEACH2の性能はMVAPICH2より
⾼高く、さらにノード内GPU間
CUDA通信よりも⾼高いnPEACH2:  TCAによる通信n CUDA:  ノード内GPU間のcudaMemcpy()
n

n
n

MVAPICH2:  CUDA  device間直接通信ONn

InﬁniBand  FDR10(Mellanox  Connect-‐‑‒X3  directly  connected  by  cable)

50

CUDA (noUVA)
CUDA (UVA)
MVAPICH2
PEACH2 (GPU-GPU)
PEACH2 (GPU>CPU-GPU)

Latency (usec)	

45
40
35
30
25
20
15
10
5

CUDA (noUVA)
CUDA (UVA)
MVAPICH2
PEACH2 (GPU-GPU)
PEACH2 (GPU>CPU-GPU)

5000
4000
3000
2000
1000
0

8

0

8

28	

6000

Bandwidth (Mbytes/sec)	

n

No-UVA: without Unified Virtual Address
UVA: with Unified Virtual Address

128
2048
32768
Data Size (Bytes)	

256
8192
262144
Data size (Bytes)	

Center for Computational Sciences, Univ. of Tsukuba

HA-‐‑‒PACS/TCA実験システム導⼊入
n

システム

ノード：Cray-‐‑‒3623G4-‐‑‒SM  (Supermicro社M/B)n CPU:  Intel  Xeon  E5-‐‑‒2680  v2  (IvyBridge)                2.8GHz  10core  *  2n GPU:  NVIDIA  K20X  *  4n ノード数：64n ネットワーク：InﬁniBand  QDR  *  2  railn 総性能：CPU部=  224GFLOPS  *  64  =    28.6TFLOPS                        GPU部=  1.31TFLOPS  *  4  *  64  =  335.4TFLOPS
合計  364TFLOPSnn

HA-‐‑‒PACS  base  clusterとの結合
n
n
n

TCA部をbase  clusterとInﬁniBand  QDR  *  2  を40ポートで結合システム総ピーク性能は1.17PFLOPSに2013年年10⽉月末インストール
最先端共同HPC基盤施設シンポジウム2013	

29	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

Accelerated  Computing  に向けての研究n

今後のエクサスケールコンピューティング、EFLOPSコン
ピュータの実現に向け、演算加速機構は重要な役割を持つ

現実的な範囲でEFLOPSを実現するためのEFLOPS/W達成
n ⼤大規模並列列環境において演算加速装置と通信機構は⼀一体化される必要があるn ⼤大規模演算加速装置・通信機構環境における新たなアプリケーション／
アルゴリズムの開発が必要n ⽂文部科学省省  Feasibility  Study  において筑波⼤大を中⼼心とするグループは上記研究を推進・提唱nn

CCS独⾃自資源としては引き続き  accelerated  computing  を軸としたマシン導⼊入・アプリ開発を継続する予定⇔  JCAHPCにおける汎⽤用システム路路線

最先端共同HPC基盤施設シンポジウム2013	30	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

最先端共同HPC基盤施設に向けての取り組み

最先端共同HPC基盤施設シンポジウム2013	31	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

⼤大規模メニーコア実験システム（調達中）
n

n

n

n

n

n

最先端共同HPC基盤施設のスパコンとして想定されているメニーコア・アーキテクチャに基づくプロセッサ上での⼤大規模計算科学のための実験シ
ステム
メニーコア・プロセッサを多数⽤用いた並列列クラスタを導⼊入し、アプリケー
ション開発を⾏行行う
東京⼤大学で開発中のメニーコア・プロセッサ向けOSの実験と実アプリケー
ションでの評価を⾏行行う
HA-‐‑‒PACSで開発中の演算加速器（GPU）向けアプリケーションの移植・
チューニングの研究基盤
筑波⼤大学で開発中のPGAS⾔言語（XcalableMP）のメニーコア・アーキテク
チャ向け実装の研究基盤
さらにTCAをメニーコア・プロセッサ・ベースのアクセラレータ技術にも応⽤用最先端共同HPC基盤施設シンポジウム2013	
32	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

⼤大規模メニーコア実験システムの仕様（抜粋）n

ノード構成・性能

メニーコア・アーキテクチャに基づく演算加速装置を持つPCクラスタ⇒メニーコア部の性能  >  2TFLOPSn ⼀一定のマルチコアを持つCPUをホストとする⇒マルチコア部の性能  >  400GFLOPSn メモリバンド幅  >  119  GByte/s
メモリ容量量  >  64  GiByte
n

n

並列列構成
n
n

n

InﬁniBand  FDR以上のネットワークリンク
バイセクションバンド幅を保証

システム全体性能n
n

メニーコア部総性能  >  565TFLOPS
マルチコア部総性能  >  112TFLOPS
最先端共同HPC基盤施設シンポジウム2013	

33	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

⼤大規模メニーコア実験システムの利利⽤用
n

研究
n
n
n

n

JCAHPCシステムに向けたアプリケーション開発
筑波⼤大学各種システムソフトプロジェクトの研究基盤
東京⼤大学との連携研究の研究基盤

サービス
n

現在のT2K-‐‑‒Tsukuba（H26.2⽉月末でshut  down）の後継として、
JCAHPCシステム運⽤用開始までの間の各種計算リソースサービス
学際共同利利⽤用（HA-‐‑‒PACSと平⾏行行して）n HPCI（汎⽤用プロセッサ部のみを提供の予定）n ⼀一般利利⽤用（有償）n

最先端共同HPC基盤施設シンポジウム2013	
34	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

メニーコア・プロセッサについてn

現状のメニーコア・プロセッサの技術的課題

数⼗十コアが搭載されているが、個々のコアの性能は最先端汎⽤用CPUコアに⽐比べて弱いn 多数のコアによる並列列処理理がベースで、throughput  computing的な利利⽤用には向いているが、逐次部分が多いと性能ボトルネックが顕在化するn 演算加速装置として使った場合、ホストとの通信・ノード間通信にどう
対応するか
n

n

演算加速装置としてGPUとの⽐比較、今後のアクセラレータ系計算に対するプログラミングをどうするかn HA-‐‑‒PACSと⼤大規模メニーコア実験システムの両⽅方を運⽤用することにより、様々な実験に対応
n

最先端共同HPC基盤施設シンポジウム2013	35	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

導⼊入計画
現在調達中（最終仕様確定、⼊入札準備中）n H25.9中に⼊入札、10⽉月末に開札・契約n H26.3末にインストール（3⽉月と4⽉月に分けて導⼊入）n 各種サービスをH26.4⽉月より開始する予定n 設置場所：T2K-‐‑‒Tsukubaを撤去した跡地
n ファイルサービスの継続性：T2K-‐‑‒Tsukubaに新ファイルサー
バを設置し、データ移⾏行行をスムーズにn

最先端共同HPC基盤施設シンポジウム2013	36	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

JCAHPCにおける筑波⼤大の役割
n

T2K-‐‑‒Tsukuba  ⇒  ⼤大規模メニーコア実験システムに引き継がれるスパコンリソースサービスの継続
n
n
n
n
n

n

全システムの約1/3が筑波⼤大持ち分（予定）
学際共同利利⽤用
HPCI
計算基礎科学連携拠点
その他（有償サービス）

超⼤大規模システムにおける各種研究の展開（全システム占有時を含めた）先進的計算科学研究・アプリケーション
開発・実⾏行行n メニーコア・アーキテクチャを中⼼心とする⾔言語・ライブラリの開発n

最先端共同HPC基盤施設シンポジウム2013	37	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba

まとめ
筑波⼤大学計算科学研究センターは前⾝身の計算物理理学研究セン
ター発⾜足から20年年余り、計算機⼯工学と計算科学の融合研究を継続n CP-‐‑‒PACSを始めとする数々の成功体験の上で、システム開発と応⽤用プログラム開発を平⾏行行して進め、多くの世界的研究成果を達成
n 全国共同利利⽤用施設として学際共同利利⽤用・HPCI等にけるサービ
スを提供、主として⼤大規模計算に貢献
n 最先端共同HPC基盤施設における超⼤大規模システム上で研究を展開することにより、さらなる発展をn

最先端共同HPC基盤施設シンポジウム2013	
38	

2013/07/24	

Center for Computational Sciences, Univ. of Tsukuba