東京大学の取り組み

中島 研吾
東京大学情報基盤センター
スーパーコンピューティング研究部門

2• 東京大学情報基盤センターのスパコン• 将来のHPCIシステムのありかたの調査研究• ポストT2Kへ向けた取り組み：ppOpen-HPC

t
東京大学情報基盤センター
スーパーコンピューティング研究部門・本部情報システム部
情報基盤課スーパーコンピューティングチーム（スーパーコンピューティング部門）（1/2）
http://www.cc.u-tokyo.ac.jp/• スーパーコンピュータの運用，利用支援– 3つのシステム• Hitachi SR16000（Yayoi）（2011.10-）• Hitachi HA8000（T2K東大）（2008.6-）• Fujitsu PRIMEHPC FX10（Oakleaf-FX）（2012.4-）– 合計約2,000人のユーザー（学外が半分）• 大学（研究，教育），研究機関，企業
3

東大情報基盤センターのスパコン
1システム～6年，3年周期でリプレース
Oakleaf-FX(Fujitsu PRIMEHPC FX10)

T2K-Todai（Hitachi HA8000-tc/RS425 ）Yayoi(Hitachi SR16000/M1)

Total Peak performance : 1.13 PFLOPS
Total number of nodes : 4800
Total memory: 150 TB
Peak performance / node : 236.5 GFLOPSMain memory per node : 32 GB
Disk capacity: 1.1 PB + 2.1 PB
SPARC64 Ixfx 1.84GHz

Total Peak performance : 140 TFLOPS
Total number of nodes : 952
Total memory: 32000 GB
Peak performance / node : 147.2 GFLOPSMain memory per node : 32 GB, 128 GB
Disk capacity: 1 PB
AMD Quad Core Opteron 2.3GHz

Total Peak performance : 54.9 TFLOPS
Total number of nodes : 56
Total memory: 11200 GB
Peak performance / node : 980.48 GFLOPSMain memory per node : 200 GB
Disk capacity: 556 TBIBM POWER 7 3.83GHz

512ノード for HPCI

Total Users > 2,000
4

Site

Computer/Year Vendor

Cores

Rmax

Rpeak

Power

1

National
Tianhe-2A Intel Xeon E5-2692, TH
33863
3120000
Supercomputing
Express-2, IXeon Phi2013 NUDT(= 33.9 PF)
Center in Tianjin, China

54902

17808

2

Oak Ridge National
Laboratory, USA

Titan
Cray XK7/NVIDIA K20x, 2012 Cray

560640

17590

27113

8209

3

Lawrence Livermore
National Laboratory,
USA

Sequoia
BlueGene/Q, 2011 IBM

1572864

17173

20133

7890

4

RIKEN AICS, Japan

705024

10510

11280

12660

5

Argonne National
Laboratory, USA

786432

85867

10066

3945

6

TACC, USA462462

5168

8520

4510

7

JuQUEEN
Forschungszentrum
Juelich (FZJ), Germany BlueGene/Q, 2012 IBM458752

5009

5872

2301

8

DOE/NNSA/LLNL,
USA

VulcanBlueGene/Q, 2012 IBM

393216

4293

5033

1972

2897

3185

3423

2566

4701

4040

9

10
26

K computer, SPARC64 VIIIfx ,2011 Fujitsu
Mira
BlueGene/Q, 2012 IBM
Stampede
Xeon E5-2680/Xeon Phi, 2012 Dell

Leibniz
SuperMUC
147456
Rechenzentrum,iDataPlex/Xeon E5-2680 2012 IBMGermeny
National
Tianhe-1ASupercomputing
186368Heterogeneous Node 2010 NUDT
Center in Tianjin, China
Rmax：実効性能（TFLOPS）
ITC/U. Tokyo
Oakleaf-FX
76800
Japan Rpeak：ピーク性能（TFLOPS），Power:
SPARC64 IXfx, 2012 FujitsukW1043http://www.top500.org/
1135
1177 5

東大情報基盤センターのスパコン
FY
05

06 07 08 09 10 11 12 13 14 15 16 17 18 19
Hitachi SR16000/M1
based on IBM Power‐7

Hitachi SR11000/J2
18.8TFLOPS, 16.4TB

54.9 TFLOPS, 11.2 TB

大容量メモリを使って自動並列化

Our Last SMP，MPPへ移行サポート

Hitachi HA8000 (T2K)

HOP

140TFLOPS, 31.3TB
MPIによる並列化，メモリは遅いが通信は良い

Fujitsu PRIMEHPC FX10
based on SPARC64 IXfx

STEP

1.13 PFLOPS, 150 TB
Hybridへの転回点，Flat MPIでも高い性能

JUMP
Peta

京

Post T2K

O(101‐102)PFLOPS

Exa

6

7

T2K - Oakleaf-FX - Post T2K• Hop– HA8000（T2K）, Homogeneous Compute Nodes– O(10-1) PFLOPS– Flat MPI• Step– PRIMEHPC FX10, Homogeneous– O(100) PFLOPS– MPI + OpenMP，但しFlat MPIも充分速くなければ使えない• Jump– Post T2K, Heterogeneous（ではなくなりそうだが）• 省電力，メモリバンド幅– O(101-102) PFLOPS– MPI + X （OpenMP, CUDA, OpenCL … OpenACC）• その先にExascale Systemがあるはず％

2011年4月
5月
6月
7月
8月
9月
10月
11月
12月
2012年1月
2月
3月
4月
5月
6月
7月
8月
9月
10月
11月
12月
1月
2月
3月
4月
5月
6月

計算ノード稼働率の変遷
HA8000
SR16000
FX10

100
90
80
70
60
50
40
30
20
10
0

8

9

利用ノード時間積による利用分野
T2K：FY.2011
専用キュー＋教育＋企業
Engineering
Earth/Space
Material
EnergyInformation Sci.
Education
Industry
Bio
Economics

10

利用ノード時間積による利用分野
FX10：FY.2012
グループ＋教育＋企業
Engineering
Earth/Space
Material
Energy/Physics
Information Sci.
Education
Industry
Bio
Economics

東京大学情報基盤センター
スーパーコンピューティング部門（2/2）• 研究– システムソフトウェア，数値アルゴリズム，自動チューニング
– 利用者との共同研究，JHPCN（共同利用・共同研究拠点）– 将来のHPCIシステムのあり方の調査研究（FS）– FP3C（JST-ANR），ppOpen-HPC（JST-CREST）– LBNLとの国際研究協力，OPL（Open Petascale Library）• 普及・人材育成– 学際計算科学・工学 人材育成プログラム• 全学的なHPC（High-Performance Computing）教育• http://nkl.cc.u-tokyo.ac.jp/CSEedu/– お試しアカウント付き講習会（Oakleaf-FX）– RIKEN AICS Summer School 共催• 広報活動– スーパーコンピューティングニュース（年6回＋特集号）

11

12

様々なサービス・共同研究プロジェクト• 教育利用– 学部・大学院講義（学外も含む）：無料– 試行アカウント付講習会（企業ユーザーも参加可能）• 若手支援– 40歳以下の若手：無料– 科研費，学際大規模情報基盤共同利用共同研究拠点（8センター）公募型研究への進展が期待される• 企業利用– 大規模計算普及，社会貢献，年4回募集– 通常有償利用– トライアルユース（有償・無償）• 大規模HPCチャレンジ– 月1回24時間 全計算ノード（4,800ノード）占有，提案書ベース

13• 東京大学情報基盤センターのスパコン• 将来のHPCIシステムのありかたの調査研究– Feasibility Study （FS）

• ポストT2Kへ向けた取り組み：ppOpen-HPC

14

戦略的高性能計算システム開発に関する
ワークショップ（SDHPC）
Workshop on Strategic Development of High
Performance Computers
http://www.open-supercomputer.org/workshop/sdhpc/• 2010年8月～– 2013年7月30日に第10回ワークショップ（北九州）• 次世代スーパーコンピュータ開発へ向けた自発的取組– Architectures, System Software, Compiler/Programming,
Applications, Algorithms– Academia & Industries• 報告書（2012年3月）– 今後のHPCI技術開発に関する報告書– HPCI技術ロードマップ白書

System Requirement for Target Sciences by 2020
Mapping of Architectures

Requirement of B/F

1.0E+1CB

1.0E+01.0E-1RM

GP

1.0E-2CO
1.0E-3

1.0E-4
1.0E-3• 800 – 2500 PFLOPS• 10TB – 500 PB• B/F: 10-3-100

1.0E-2

1.0E-1

1.0E+01.0E+1

1.0E+2

1.0E+3Requirement of Memory Capacity (PB)
Source: Masaaki Kondo’s presentation at
IESP Kobe meeting, 201215

Candidate of the Post Peta-scale Architectures• Four types of architectures are
considered– General Purpose (GP)• Ordinary CPU-based MPPs
• e.g.) K-Computer, GPU, Blue
Gene, x86-based PC-clusters– Capacity-Bandwidth oriented (CB)• With expensive memory-I/F rather
than computing capability• e.g.) Vector machines

Memorycapacity
CB oriented
Memorybandwidth

Generalpurpose

ReducedMemory– Reduced Memory (RM)
• With embedded (main) memory• e.g.) SoC, MD-GRAPE4, Anton– Compute Oriented (CO)• Many processing units• e.g.) ClearSpeed, GRAPE-DR

Computeoriented

FLOPS

Source: Masaaki Kondo’s presentation at
IESP Kobe meeting, 201216

将来のHPCIシステムのありかたの調査研究（2/2）

GP

RM+
CO
CB
〔文部科学省〕17

Towards Next-generation General Purpose Supercomputer
Feature of Target System:
Deployment around 2018
Power consumption 30MW, 2000 m2 constraints
Extension of K/FX10.
Co-Design, Memory-Bound Applications
PI: Yutaka Ishikawa, U. of Tokyo Organization
 System Software Stack Performance Prediction and Tuning

Co-PI: Kei Hiraki, U. of Tokyo
Applications

 Architecture Evaluation,
Compiler, and Low power
technologies

System Software Stack(MPI, parallel file I/O, PGAS,
Batch Job Scheduler, Debugging and
Tuning Tools)

Co-PI: Yuichi Nakamura, NEC System Software Stack

Commoditybased
Supercomputer

Co-PI: Mutsu Aoyagi, Kyushu U.
 Network Evaluation
Environment

Next-Gen
General Purpose
Supercomputer

Co-PI: Naoki Shinjo, Fujitsu

Co-PI: Tsuneo Iida, Hitachi
 Storage Architecture andSystem Software Stack〔Ishikawa, 2012〕

 Processor, Node, Interconnect
Architecture and System
Software Stack
18

Target Applications considered in FY2012•

ALPS(Algorithms and Libraries for Physics Simulations)–•– Total Memory: 10〜100PB, low latency and high radix
network
RSDFT (Real-Space Density Functional Theory)–•A DFT(Density Functional Theory) code with real space discretizedwave functions and densities for molecular dynamics simulations
using the Car-Parrinello type approach– Total Memory: 1PB– 1EFLOPS (B/F = 0.1+)
NICAM (Nonhydrostatic ICosahedral Atmospheric Model)–•

Providing high-end simulation codes for strongly correlated
quantum mechanical systems

A Global Cloud Resolving Model (GCRM)– Total Memory:1 PB, Memory Bandwidth: 300 PB/sec– 100 PFLOPS (B/F = 3)
COCO (CCSR Ocean Component Model)–

ocean general circulation model developed at Center for Climate
System Research (CCSR), the University of Tokyo– Total Memory: 320 TB, Memory Bandwidth:150 PB/sec.
– 50 PFLOPS (B/F=3)〔Ishikawa, 2012〕19

Target Applications considered in FY2012
Mapping of Architectures

Requirement of B/F

1.0E+1CB

1.0E+01.0E-1RM

GP

1.0E-2CO
1.0E-3

1.0E-4
1.0E-3

1.0E-2

1.0E-1

1.0E+01.0E+1

1.0E+2

1.0E+3Requirement of Memory Capacity (PB)
Source: Masaaki Kondo’s presentation at
IESP Kobe meeting, 201220

Co-design Strategy
 Four teams, architecture design,
application tuning, architecture
Programming Model
Execution Modelevaluation, and system
software design, are intensively
cooperative.
Evaluation and Tuning ofApplications
 Every two months, thearchitecture design teamprovides architectural
Parameters to evaluate
Feedback
and tune applications
parameters• To evaluate and tune
Study of New Architecture Feedback
applications
Evaluation ofProcessor, Node, Interconnect,
Architecture• To design and implement
Hierarchical storage systemsystem software stack• To evaluate architecture
Parameters
Feedback
to design OS
 In FY2013 More applications
will be used to evaluate the
Design and Prototype
architecture
implementation of System
 Good system for Linpack is
Software Stack
not necessarily a good one for〔Ishikawa, 2012〕21certain applications

22• 東京大学情報基盤センターのスパコン• 将来のHPCIシステムのありかたの調査研究• ポストT2Kへ向けた取り組み：ppOpen-HPC

23

Key-Issues for Appl’s/Algorithms
towards Post-Peta & Exa Computing
Jack Dongarra (ORNL/U. Tennessee) at ISC 2013
• Hybrid/Heterogeneous Architecture– Multicore + GPU/Manycores (Intel MIC/Xeon Phi)
• Data Movement, Hierarchy of Memory• Communication/Synchronization Reducing Algorithms• Mixed Precision Computation• Auto-Tuning/Self-Adapting• Fault Resilient Algorithms• Reproducibility of Results

24

ppOpen-HPC（1/2）• 東京大学情報基盤センターでは，ヘテロジニアスなアーキ
テクチャによる計算ノードを有するポストペタスケールシス
テムの処理能力を充分に引き出す科学技術アプリケー
ションの効率的な開発，安定な実行に資する「自動チュー
ニング機構を有するアプリケーション開発・実行環境：
ppOpen-HPC」を開発している。
• 科学技術振興機構戦略的創造研究推進事業（CREST）研究領
域「ポストペタスケール高性能計算に資するシステムソフトウェア
技術の創出」（2011～2015年度）• PI：中島研吾（東京大学情報基盤センター）• 東大（情報基盤センター，大気海洋研究所，地震研究所，大学
院新領域創成科学研究科），京大学術情報メディアセンター，海洋研究開発機構

25

26

ppOpen-HPC（2/2）• 対象離散化手法を有限要素法，差分法，有限体積法，境界要素法，個別要素法に限定し，各手法の特性に基づきハードウェアに依存しない共通インタフェースを有するアプ
リケーション開発用ライブラリ群，ノード間通信ライブラリ，
耐故障機能を含む実行環境を提供する。
• 自動チューニング技術の導入により，様々な環境下における最適化ライブラリ，耐故障機能を持つ最適化アプリ
ケーションの自動生成を目指す。
• 2015年度に東京大学情報基盤センターに導入予定のポストT2Kシステムをターゲットとし，同システム上で実アプ
リケーションによって検証，改良し，一般に公開する。
• 2012年11月にT2K，FX10向けのプロトタイプを公開• ポストT2Kシステムへのスムースな移行を目指す• Intel Xeon/Phiをターゲット，京・FX10，Crayなども対象

27

対象とする離散化手法
局所的，隣接通信中心，疎行列

28

ppOpen-HPC：基本的方針• 対象離散化手法による分類• ハードウェアに依存しない共通インタフェースを有するア
プリケーション開発用ライブラリ群，耐故障機能を含む実行環境を提供– 各離散化手法の特性に基づく• 自動チューニング技術により，様々な環境下における最適化ライブラリ・アプリケーション自動生成を目指す• 数値ライブラリ，システムソフトウェア，アプリケーションの専門家の協力：Co-Design• 既存ソフトウェア資産（e.g. HEC-MW）の効率的利用• 実際に動いているアプリケーションから機能を切り出す• 外部グループ（堀敦史チーム（理研AICS）：OS関連）

マイルストーン＝動くソフトウェアの公開
公開内容
趣旨，目標
ターゲットマシン
第 1 回 ppOpen-APPL プ ロ ppOpen-APPL ， ppOpen-AT 東大T2K
H24秋 トタイプ（適応格 が様々なマルチコアクラス 東大FX10子・動的負荷分散 タ，GPUクラスタで稼働す 京コンピュータを除く），領域分 る こ と を 検 証 す る 。 大 学 GPU
割ユーティリティ，（学部，大学院）講義へのppOpen導入，講習会開催を継続的
MATH/VIS・に実施する。
ppOpen-AT/STATIC
プロトタイプ
第 2 回 ppOpen-HPC
ppOpen-HPC の 各 機 能 東大FX10
H25秋 （ ppOpen-AT ／ （ppOpen-AT／DYNAMICを 京コンピュータ
DYNAMIC を 除 除く）をこの時期までに一 Intel Xeon Phiく）
通り完成する。実アプリ
ケーションへ適用することにより更なる改良を図る。
第 3 回 ポストペタスケー ターゲットとするポストペ 東大ppシステム
H26秋 ス シ ス テ ム 向 け タスケールシステム向けのppOpen-HPCプロト ppOpen-HPCをマシン稼働開始と同時に利用可能とする。
タイプ
第 4 回 ポストペタスケー 第 3 回 で 公 開 し た ppOpen- 東大ppシステム
H27秋 ス シ ス テ ム 向 け HPCを実アプリケーション
ppOpen-HPC完成版 へ適用することにより，更に改良，最適化した最終バージョンを公開する。

29

開発環境
東大T2K
東大FX10
京コンピュータ

東大FX10
京コンピュータ
Intel Xeon Phi

東大FX10
Xeon Phiクラスタ
京コンピュータ
東大ppシステム
Xeon Phiクラスタ
東大FX10
京コンピュータ30

第1回公開 2012 Fall（1/2）• マルチコアクラスタ向け• Flat MPI，OpenMP/MPI Hybridに対応• SC12@SLCに合わせて公開，配布（英文DOC（のみ））Component

Archive

Flat MPI

OpenMP/MPI

C

F

ppOpen‐APPL/FDM ppohFDM_0.1.0○

ppOpen‐APPL/FVM ppohFVM_0.1.0○○

ppOpen‐APPL/FEM ppohFEM_0.1.0○○

ppOpen‐APPL/BEM ppohBEM_0.1.0

○

○

○

ppOpen‐APPL/DEM ppohDEM_0.1.0

○

○

○

ppOpen‐MATH/VIS ppohVIS_FDM3D_0.1.0○

ppOpen‐AT/STATIC‐

ppohAT_0.1.0

○

‐

○
○

○

○

○

○

○

第1回公開 2012 Fall（2/2）
内容

Component•••
ppOpen‐APPL/FVM••
ppOpen‐APPL/FEM••
ppOpen‐APPL/BEM••
ppOpen‐APPL/DEM•
ppOpen‐APPL/FDM

二次元・三次元陽解法コード開発環境（Flat MPI）
固体力学
三次元陽解法コード開発環境・領域分割ツール：四面体，三角柱
圧縮性流体力学
有限要素法コード開発環境・領域分割ツール：各種要素
弾性静力学
密行列による汎用境界要素法コード開発環境
表面電荷法テンプレート
個別要素法コード開発環境
三次元重力落下

ppOpen‐MATH/VIS• 三次元差分格子向けリアルタイム可視化ライブラリ（Flat MPI）

ppOpen‐AT/STATIC• 自動チューニング向けプリプロセッサ• ppOpen-APPL/FDM，ppOpen-APPL/BEMで検証済み

http://ppopenhpc.cc.u-tokyo.ac.jp/

31

2013-0531

普及活動（1/2）

32• ppOpen‐AT関連共同研究– 工学院大学 田中研究室• 田中研究室開発のAT方式(d‐spline方式)の適用対象としてppOpen‐ATのAT機能を拡張– 東京大学 須田研究室• 電力最適化のため，須田研究室で開発中のAT方式と電力測定の共通APIを利用し，ppOpen‐ATを用いた電力最適化方式を提案• JHPCN共同研究課題– 高精度行列‐行列積アルゴリズムにおける並列化手法の開発（東大，早稲田大）（H24年度）（研究としては継続）• 高精度行列‐行列積演算における行列‐行列積の実装方式選択に利用– 粉体解析アルゴリズムの並列化に関する研究（東大，法政大）（H25年度）• 粉体シミュレーションのための高速化手法で現れる性能パラメタのATで利用を検討

普及活動（2/2）

33• JHPCN共同研究課題（続き）– 巨大地震発生サイクルシミュレーションの高度化（京大，東大他）（H24・25年度）• Hマトリクス，領域細分化– ポストペタスケールシステムを目指した二酸化炭素地中貯留シ
ミュレーション技術の研究開発（大成建設，東大）（H25年度）• 疎行列ソルバー，並列可視化– 太陽磁気活動の大規模シミュレーション」（東大（地球惑星，情報基盤センター））（H25年度）• 疎行列ソルバー，並列可視化• 講習会，講義– ppOpen‐HPCの講習会を2013年秋から開催予定– 講義，講習会（並列有限要素法）でppOpen‐MATH/VISを使用して可視化を実施する予定

34

GeoFEM‐Cube• 性能評価用ベンチマークプログラム– 有限要素法（三次元固体力学：弾性静解析）– SGS前処理付きCG法：Memory‐Bound– Flat MPI，OpenMP/MPI Hybrid，Single/Multi nodeに対応• Multicolor/RCM/CM‐RCM reorderingZ• 2010年秋より標準ベンチマークとして使用

UZ=1• 改良版（Ver.2.0：近日公開予定）– 配列サイズ，reordering法を指定可能– 領域間通信（受信）メモリーコピー

NZ• HPCGY
NX– HPL（Linpack）に替わる新しい指標（ISC’13）

NY
X

35

Xeon Phi〔大島・金子 2013〕
Phiのみ頂点数10^3、他は全て頂点数40^3
SR16K/M1

T2K 東大Oakleaf-FX

「京」

CPU

Preproduction
Xeon Phi
1.10GHz

E5-2670
2.60GHzPower7
3.83GHz

Opteron8356
2.3GHzSPARC64 IXfx
1.848GHzSPARC64
VIIIfx2.0GHz

コア数/ノード

57 (228)

8 (16)

32

16

16

8

最大GFLOPS

1003.2

166.4～
211.2?

980.5

147.2

236.5

128.0

STREAM Triad(GB/s)

102.0

75.7

264.2

20.0

64.7

43.4

Byte/Flops

0.102

0.455

0.269

0.136

0.274

0.338

GeoFEM-Cube(GFLOPS)

17.9

15.0 (8)16.8 (16)

72.7

4.69

16.0

11.0

% to Peak

1.78

10.10

7.41

3.18

6.77

8.59

LLC/core (MB)

0.512

2.50

4.00

2.00

0.75

0.75

 GeoFEM-Cubeの性能GFLOPSを見るとPhiの性能は悪くない、むしろ良い ピーク性能は低い、全てPhiで実行していることやキャッシュの小ささが影響？

36

Xeon Phi〔大島・金子 2013〕
2280x10x10（flat228並列のプロセスあたり10^3相当）

1反復あたり時間[sec]

0.03
0.025
0.02
0.015
0.01
0.005

balancedcompact

0

並列度（プロセス数 x スレッド数）
 大きな差はないがflatが一番高速

scatter37

まとめ（私見）• 計算科学研究センター，情報基盤センター（普通名詞）– 教員，職員（技術・事務）一体となった協力体制が重要• 東大情基セ：2系列のスパコンシステム– 研究開発型：T2K⇒ポストT2K（FY.2015）– 市場調達型：SR11K⇒SR16K・FX10⇒？（FY.2018）• 東大情基セ： 何らかの「研究開発型」が今後のスタイル– CPUはコモディティである可能性はあるが– Application Driven, Co-Designを前提として利用者へのサービスを考えていかなければならない– センターとしての独自性，研究の方向性• 最先端共同HPC基盤施設最大の懸念：システムの名称– 1F：Oakleaf-XXX– 2F：Oakwoods-YYY or Oaktree-ZZZとするつもりだったが• 最先端共同ＨＰＣ基盤施設内で今後議論する必要あり