JCAHPCの新スーパーコンピュータ
Oakforest-PACS〜 1年の運用を通してみた利用と成果〜
朴 泰祐
JCAHPC・運用支援部門長／筑波大学計算科学研究センター

1

PCCシンポジウム2017@秋葉原
2017/12/15

資料協力：
JCAHPC井戸村泰宏氏＠原研
石川裕氏＠AICS
中尾昌広氏＠AICS

アウトラインOakforest-PACSの導入
n システム仕様
n 運用・システムソフトウェア
n アプリケーション
n 運用を通じてn2

PCCシンポジウム2017@秋葉原
2017/12/15

Oakforest-PACSの導入

3

PCCシンポジウム2017@秋葉原
2017/12/15

9 大学スパコンセンター導入計画 (Feb. 2017）
Fiscal Year
Hokkaido

2014

2015

2016

2017

2018

HITACHI SR16000/M1（172TF, 22TB）
Cloud System BS2000 （44TF, 14TB）

Tsukuba

2020

2021

2022

3.2 PF (UCC + CFL/M) 0.96MW

2023

2024

2025

30 PF （UCC +CFL-M） 2MW

0.3 PF (Cloud) 0.36MW

Data Science Cloud / Storage HA8000 / WOS7000（10TF, 1.96PB）

Tohoku2019

NEC SX~30PF, ~30PB/s Mem BW (CFL-D/CFL-M)
SX-ACE(707TF,160TB, 655TB/s)
9他
LX406e(31TF), Storage(4PB), 3D Vis, 2MW~3MW(60TF)
HA-PACS (1166 TF)
PACS-X 10PF (TPF) 2MW
COMA (PACS-IX) (1001 TF)

Oakforest-PACS 25 PF 4.2 MWTokyo

Fujitsu FX10(1PFlops, 150TiB, 408 TB/s),

Reedbush 1.8〜1.9 PF 0.7 MW

50+ PF (FAC) 3.5MW

Hitachi SR16K/M1 (54.9 TF, 10.9 TiB, 28.7 TB/s)

Tokyo Tech.
NagoyaTSUBAME 2.5 (5.7 PF,110+ TB, 1160 TB/s),
1.4MW

TSUBAME 2.5 (3～4 PF, extended)

TSUBAME 3.0 12 PF, UCC/TPF 2.0MW

Fujitsu FX100 (2.9PF, 81 TiB)
Fujitsu CX400 (774TF, 71TiB)
SGI UV2000 (24TF, 20TiB)
2MW in total
FX10(90TF)

CX400(470TF)

Cray: XE6 + GB8K +XC30 (983TF)

Kyoto

HA8000 (712TF, 242 TB)
SR16000 (8.2TF, 6TB)
FX10 (272.4TF, 36 TB)2.0MW
CX400 (966.2 TF, 183TB)??MWFX10(90.8TFLOPS)K Computer (10PF, 13MW)
40.7-1PF (UCC)

6.9PF+3.0PF

100+ PF(FAC/UCC+CFLM)up to 4MW

50-100+ PF(FAC/TPF + UCC) 1.8-2.4 MW

3.2PB/s, 5-10Pflop/s, 1.0-1.5MW (CFL-M)

NEC SX-ACE NEC Express5800(423TF) (22.4TF)

KyushuTSUBAME 4.0 (100+ PF,>10PB/s, ~2.0MW)

50+ PF (FAC/UCC + CFL-M)
up to 4MW

5 PF(FAC/TPF)
1.5 MW

Cray XC30 (584TF)

Osaka

100+ PF 4.5MW(UCC + TPF)
200+ PF(FAC) 6.5MW????

25.6 PB/s, 50100Pflop/s,1.52.0MW

100-150 PF(FAC/TPF + UCC/TPF)3MW
Post-K Computer (??. ??)Power consumption indicates maximum of power supply (includes cooling facility)

2017/12/15

PCCシンポジウム2017@秋葉原

Oakforest-PACS (OFP)2016年12月1日稼働開始
n 8,208 Intel Xeon/Phi (KNL)，ピーク性能25PFLOPS
nn

富士通が構築TOP 500初出 6位（国内1位），HPCG 3位（国内2位）
n 最先端共同HPC 基盤施設(JCAHPC: Joint Center for
Advanced High Performance Computing)nnn

東京大学情報基盤センター
筑波大学計算科学研究センターnn

5

東京大学柏キャンパスの東京大学情報基盤センター内に、両機関の教職員が中心となって設計するスーパーコンピュータシステムを設置し，最先端の大規模高性能計算基盤を構築・運営するための組織

http://jcahpc.jp

PCCシンポジウム2017@秋葉原
2017/12/15

TOP500 list on Nov. 2017 (#50)#Machine

ArchitectureCountry

MPP (Sunway,ChinaSW26010)
Tianhe-2 (MilkyWay- Cluster (NUDT,2China2), NSCG
CPU + KNC)
MPP (Cray,3 Piz Daint, CSCS
Switzerland
CPU + GPU)MPP
4 Gyoukou, JAMSTEC (Exascaler,Japan
PEZY-SC2)
MPP (Cray,United
5 Titan, ORNL
CPU + GPU)
StatesMPP (IBM,United
6 Sequoia, LLNLBlueGene/Q) States
Trinity, NNSA/
MPP (Cray,United
7LABNL/SNL
KNL, Xeon)
StatesMPP (Cray,United
8 Cori, NERSC-LBNL
KNL)
StatesOakforest-PACS,
Cluster9Japan
JCAHPC(Fujitsu, KNL)
K Computer, RIKEN
10JapanAICS
MPP (Fujitsu)
1

TaihuLight, NSCW

Rpeak(TFLOPS)

Rmax (TFLOPS)

93,014.6

125,435.9

6051.333,862.7

54,902.4

1901.5

19,590.0

25,326.3

10398.0

19,125.8

28,192.014167.3

17,590.0

27,112.5

2142.817,173.2

20,132.7

2176.6

14,137.3

43,902.6

3667.8KNLシステムとして
55%
14,014.7 は最高の27,880.73556.7

13,554.6

25,004.94985.1

10,510.0

11,280.4830.2

赤字：新規またはJun.2017からのアップグレード
PCCシンポジウム2017@秋葉原
2017/12/15

MFLOPS/W

6Oakforest-PACS (OFP)• ピーク性能25 PFLOPS• 8208 KNL CPUs
• OmniPathによるFBB
Fat-Tree• HPL 13.55 PFLOPS
2016/11:
国内第１位
世界第６位
⇒ 2位、9位 (2017/11)• HPCG 0.385PFLOSP（2.8% of HPL)
2016/11: 世界第３位⇒ 6位• Green500
2016/11: 6位⇒ 22位• IO500
2017/11: 1位
7

PCCシンポジウム2017@秋葉原
2017/12/15

計算ノードとシャーシ

Chassis with 8 nodes, 2U size
(Fujitsu PRIMERGY CX600 M1)
Computation node (Fujitsu PRIMERGY CX1640 M1)
with single chip Intel Xeon Phi (Knights Landing, 3+TFLOPS)
and Intel Omni-Path Architecture card (100Gbps)

8

PCCシンポジウム2017@秋葉原
2017/12/15

水冷パイプ、リアパネル冷却、OPA、ファイルサーバ

ExaComm'17@ISC2017, Frankfurt
92017/06/22

システム仕様10

PCCシンポジウム2017@秋葉原
2017/12/15

Oakforest-PACSのシステム仕様
Total peak performance

25 PFLOPS

Total number of compute nodes

8,208

ComputenodeProductFujitsu Next-generation PRIMERGY server for HPC(PRIMERGY CX1640 M1)Processor

Intel® Xeon Phi™
（Code name: Knights Landing）, 68 cores

MemoryInterconnect

Loginnode11

MCDRAM

16 GB, > 400 GB/sec (effective rate)

DDR496 GB, 115.2 GB/sec (DDR4-2400 x 6ch, peak rate)

ProductIntel® Omni-Path Architecture

Link speed

100 Gbps

Topology

Fat-tree with (completely) full-bisection bandwidth

ProductFujitsu PRIMERGY RX2530 M2 server# of servers

20Processor

Intel Xeon E5-2690v4 (2.6 GHz 14 core x 2 socket)

Memory256 GB, 153 GB/sec (DDR4-2400 x 4ch x 2 socket)

2017/12/15

PCCシンポジウム2017@秋葉原

Oakforest-PACSのI/O仕様
Parallel File
SystemType

Lustre File System

Total Capacity

26.2 PB

Meta
data

Product

DataDirect Networks MDS server +SFA7700X# of MDS

4 servers x 3 set

MDT

7.7 TB (SAS SSD) x 3 set

Product

DataDirect Networks ES14K# of OSS(Nodes)

10 (20)Aggregate BW

500 GB/sec

Objectstorage

Fast FileCacheSystem

12TypeBurst Buffer, Infinite Memory Engine (byDDN)

Total capacity

940 TB (NVMe SSD, including parity data byerasure coding)

Product

DataDirect Networks IME14K# of servers (Nodes)

25 (50)Aggregate BW

1,560 GB/sec

PCCシンポジウム2017@秋葉原
2017/12/15

Intel® Omni-Path Architectureによるフルバイセクションバンド幅の相互結合網
12 of768 port Director Switch(Source by Intel)

22
Uplink: 24

362 of48 port Edge Switch

Downlink: 24
1...

24

25...

48

49

...

72

ComputeNodes
Login Nodes

20

Parallel FS64IME200

Mgmt, etc.
Total
13

2017/12/15

PCCシンポジウム2017@秋葉原

8208

88600利用者から見たシステム

14

PCCシンポジウム2017@秋葉原
2017/12/15

Oakforest-PACSの特徴
n

最先端のHPC向けメニーコアCPUの利用
nnn

n

最先端の高性能相互結合網をfull-bisectionバンド幅で装備
nnnnn

極めて高い並列性（ノード内，ノード間）を持つHPCアプリケーションが主要ターゲット（3TFLOPS）
高度なチューニングにより性能を大幅に向上可能
初期プログラム移植の容易さ（OpenMP+MPI）
100Gbpsのリンク速度
ジョブスケジューラによるノード配置の自由度が高い
ノード位置にかかわらず全てのファイルを高速にアクセス可能
超並列アプリケーションを容易に実行可能

高性能並列ファイルシステムとバーストバッファnn15Lustreによる高並列・高性能アクセス（500GB/s）
ファイルキャッシュ（バーストバッファ）による1TB/s越えの超高速アクセス

PCCシンポジウム2017@秋葉原
2017/12/15

16

JPY (=Watt)/GFLOPS 比
System

JPY/GFLOPS
125

Reedbush-U (SGI)(Intel BDW)

62.0

Reedbush-H (SGI)(Intel BDW+NVIDIA P100)

17.1

Oakforest-PACS (Fujitsu)(Intel Xeon Phi/Knights Landing)

16.5

PCCシンポジウム2017@秋葉原
2017/12/15

BetterOakleaf/Oakbridge-FX (Fujitsu)(Fujitsu PRIMEHPC FX10)

運用・システムソフトウェア

17

PCCシンポジウム2017@秋葉原
2017/12/15

運用状況
n

2016/12~2017/3 試験運用（無償）nnnn

2017/4~ 公開運用
nnnn

n

システム安定稼働チェック
機能・性能の確認（特別）大規模HPCチャレンジ：GBP
HPCI, 各大学の個別運用プログラム
実運用だがユーザによってはここでチューニング開始
試験運用で実績を積んだグループはジャンプスタート（素粒子、光物性等）
月末のメンテナンス前に大規模HPCチャレンジとして約24時間の全系占有利用

稼働状況
nn

18

実稼働率（メンテナンス、停電等を除く）：ほぼ100%
利用率：45~55%程度（後述）
PCCシンポジウム2017@秋葉原
2017/12/15

運用：KNLのメモリモード
n

メモリモードnnn

動的メモリモード変更
nnn

Cache:Flat = 50:50 (4096+4096 nodes)
様子を見て比率を変える予定だが現状ではバランスしている
オンデマンドでCache:Flatの比率を緩やかに動的変更することを計画中
ノードのリブートが予想より時間がかかるため様子見

大規模ジョブ（最大2048ノード）が通常利用可能
nn
n

19

メモリモードの関係もあり、リソース確保が難しい
キューイングの自由度に制限（fair shareを実行していない）
利用率の抑制原因なのでは？⇒ さらに解析・改善が必要

PCCシンポジウム2017@秋葉原
2017/12/15

Oakforest-PACS のソフトウェア
OS: Red Hat Enterprise Linux (ログインノード)、CentOS および McKernel (計算ノード、切替可能)

nn

McKernel: 理研AICSで開発中のメニーコア向けOS
nLinuxに比べ軽量、ユーザプログラムに与える影響なしn

ポスト京コンピュータにも搭載される予定。

コンパイラ：GCC, Intel Compiler, XcalableMPnn

XcalableMP: 理研AICSと筑波大で共同開発中の並列プログラミング言語
nCやFortranで記述されたコードに指示文を加えることで、性能の高い並列アプリケーションを簡易に開発することができる。

ライブラリ・アプリケーション： オープンソースソフトウェア

nn20

ppOpen-HPC, OpenFOAM, ABINIT-MP, PHASE system, FrontFlow/blue，
LAPACK, ScaLAPACK, PETSc, METIS, SuperLU etc.

PCCシンポジウム2017@秋葉原
2017/12/15

McKernel on OFP
nMcKernel on OFPの開発状況
nnnnn

基本部分は動作しており運用に向けて準備中。
Linux only modeからMcKernel modeに移行する際に時間がかかる場合がありバッチジョブシステム側でジョブをKillしてしまうが、その対策方法がわかったのでその対策を施したときの影響を調査中。
⇒ MCDRAM上でクリーンな連続領域を確保するのに時間を要する⇒ MCDRAMを Hot-Pluggable Memoryとすることで解決する見込み
別途、mcexecが不具合を起こす場合があり、調査中。
上記が済んで大規模でのアプリ実行動作を確認した後、一般に運用に向けての最終検討を行う予定。

McKernel on OFPの意義
nnn21

OFP上でのアプリケーション性能向上
ポスト「京」に向けてのMcKernel開発（理研AICS with 東大）
ユーザにMcKernelに慣れてもらう⇒ポスト「京」PCCシンポジウム2017@秋葉原
2017/12/15

(slide courtesyby Y. Ishikawa)

McKernel評価：GeoFEM (University of Tokyo)n

ICCG with Additive Schwartz Domain Decomposition - weak scaling
Acknowledgement: Kengo Nakajima, University ofUp to 18% improvement

Figure of merit (solved problem sizenormalized to execution time)

n16LinuxIHK/McKernelTokyo, for providing GeoFEM. This result is on
Oakforest-PACS supercomputer, 25 PF in peak, at
JCAHPC organized by U. of Tsukuba and U. of Tokyo

14121020017/04/05

86Results using the same binary

42010242048

4096 8192
16k
32k
Number of physical cores

64k

128k

22McKernel評価：CCS-QCD (University of Tsukuba)nLattice quantum chromodynamics code - weak scaling
Acknowledgement: Ken’ichi Ishikawa, Hiroshima
Up to 38% improvement

University, providing CCS-QCD. This result is on
Oakforest-PACS supercomputer, 25 PF in peak, at
JCAHPC organized by U. of Tsukuba and U. of Tokyo

MFlop/sec/noden(slide courtesyby Y. Ishikawa)

10000
9000
8000
7000
6000
5000
4000
3000
2000
1000
0

Linux

Results using the same binary1024

20017/04/05

IHK/McKernel

2048

4096 8192 16k
32k
Number of physical cores

64k

128k

23

(slide courtesyby Y. Ishikawa)

McKernel評価：miniFE (CORAL benchmark suite)nn

Conjugate gradient - strong scaling
Up to 3.5X improvement (Linux falls over.. )12000000

Linux3.5X

IHK/McKernel

Total CG MFlops

10000000
8000000

Results using the same binary

6000000
4000000
2000000
010242048

4096
8192
16k
Number of physical cores

32k

64k

Oakforest-PACS supercomputer, 25 PF inpeak, at JCAHPC organized by U. ofTsukuba and U. of Tokyo

24 20017/04/05

XcalableMP (XMP)n

XMP on OFP
nnn

理研AICSと筑波大の共同研究で実装・評価中
OFPのノード間MPI通信とノード内MPI+OpenMPでの性能評価

QCDミニアプリでの性能評価（by 中尾昌広氏）
nnnnn

25

ポスト「京」重点領域研究アプリ (Fibre) の一つ
4次元格子上のステンシル計算、倍精度複素数演算
4次元隣接通信とAllreduce通信
ここでは2次元プロセス配列に4次元格子をマッピング
OFPの最大256ノードを利用（64スレッド／ノード）

PCCシンポジウム2017@秋葉原
2017/12/15

(slide courtesyby M. Nakao)

分散配列の定義と袖交換
Quark_t v[NT][NZ][NY][NX];#pragma xmp template t[NT][NZ]#pragma xmp nodes p[PT][PZ]#pragma xmp distribute t[block][block] onto p#pragma xmp align v[i][j][*][*] with t[i][j]#pragma xmp shadow v[1][1][0][0]4次元の配列データを2次元ブロック分散する
幅1の袖を分散配列に追加する#pragma xmp reflect(v) width(/periodic/1,/periodic/1,0,0) orthogonal
WD(..., v); // ステンシル計算

(slide courtesyby M. Nakao)

forループ文の分割#pragma xmp reflect(v) width(/periodic/1,/periodic/1,0,0) orthogonal
WD(..., v); // ステンシル計算
void WD(…, Quark_t v){#pragma xmp loop (it,iz) on t[it][iz]#pragma omp parallel for collapse(4)for(it = 0; it < NT; it++){for(iz = 0; iz < NZ; iz++){for(iy = 0; iy < NY; iy++){for(ix = 0; ix < NX; ix++){…

XMP指示文で各プロセスに分割したfor文に対して，さらにOpenMP指示文でスレッド分割を行う．

性能評価（計算ノード内は64スレッド）
問題サイズは32x32x32x32

1 MPI proc./node, 64 thread/proc(slide courtesyby M. Nakao)

Oakforest-PACSのアプリケーション

29PCCシンポジウム2017@秋葉原
2017/12/15

30

Oakforest-PACS：代表的アプリケーションn

SALMON/ARTEDnn

Lattice QCDnn

全地球大気・海洋連成

GHYDRAnn

格子量子色力学

NICAM-COCOnn

電子動力学

三次元地盤震動（FEM）

Seism3D/OpenSWPC
n

三次元広域波動伝搬（FDM）

アプリケーション紹介n

GT5D (PI: 井戸村泰宏＠原研）
nnnnn

核融合トカマクシミュレーション
5次元自由度の超並列・超大規模シミュレーション「京」コンピュータ等での実績「第1回OFP利活用報告会」における井戸村氏の発表から抜粋

ARTED（PI: 矢花一浩＠筑波大）
nnn

31

光物性等のための電子動力学法シミュレーション
超並列波数空間・小規模実空間格子シミュレーション「京」コンピュータ、GPUクラスタ等での実績

PCCシンポジウム2017@秋葉原
2017/12/15

(slide courtesyby Y. Idomura)32

(slide courtesyby Y. Idomura)

33

(slide courtesyby Y. Idomura)34

Xeon Phi tuning on ARTED (with Y. Hirokawa undercollaboration with Prof. K. Yabana, CCS) ➙ SALMON nownn

ARTED – Ab-initio Real-Time Electron Dynamics simulator
Multi-scale simulator based on RTRSDFT (Real-Time Real-Space Density
Functional Theory) developed in CCS, U. Tsukuba to be used for Electron
Dynamics Simulationnnn

RSDFT: basic status of electron (no movement of electron)
RTRSDFT : electron state under external force

In RTRSDFT, RSDFT is used for ground statenn

RSDFT: large scale simulation with 1000〜10000 atoms (ex. K-Computer)
JournalAdvanced Simulation
Scienceand Engineering
RTRSDFT : calculate a numberof ofunit-cellswith in10~ 100atoms
Macroscopic grids
VacuumMicroscopic grids
ySolids

AtomZ
Electric fieldx

picture of the multi-scale
coordinates
system. Left-handside shows
RSDFT Figure 1: A schematic: Real-Space
Density
Functional
Theorythe macroscopic coordinate to describe propagation of the macroscopic electromagnetic
RTRSDFT
Real-Time
fields. :Righ-handside showsRSDFT
the microscopic coordinates to describe quantum dynamics

35of electrons induced by the fields.
PCCシンポジウム2017@秋葉原
2017/12/15

2. Theoretical formulation and scientific aspects

Stencil code (original)
integer, intent(in) :: IDX(-4:4,NL),IDY(-4:4,NL),IDZ(-4:4,NL)! NL = NLx*NLy*NLz
do i=0,NL-1! x-computationv(1)=Cx(1)*(E(IDX(1,i))+E(IDX(-1,i))) ...
w(1)=Dx(1)*(E(IDX(1,i))-E(IDX(-1,i))) ...
! y-computationv(2)=Cy(1)*(E(IDY(1,i))+E(IDY(-1,i))) ...
w(2)=Dy(1)*(E(IDY(1,i))-E(IDY(-1,i))) ...
! z-computationv(3)=Cz(1)*(E(IDZ(1,i))+E(IDZ(-1,i))) ...
w(3)=Dz(1)*(E(IDZ(1,i))-E(IDZ(-1,i))) ...
! update
F(i) = B(i)*E(i) + A*E(i) - 0.5d0*(v(1)+v(2)+v(3)) - zI*(w(1)+w(2)+w(3))
end doOriginal code just compiled on KNC with “-O3” option ➝ less than 5% of peak!

36

PCCシンポジウム2017@秋葉原
2017/12/15

Stencil code (original)
integer, intent(in) :: IDX(-4:4,NL),IDY(-4:4,NL),IDZ(-4:4,NL)

indirect index array:! NL = NLx*NLy*NLz
do i=0,NL-1keeping nearest neighbor index! x-computationv(1)=Cx(1)*(E(IDX(1,i))+E(IDX(-1,i))) ...
w(1)=Dx(1)*(E(IDX(1,i))-E(IDX(-1,i))) ...
! y-computationv(2)=Cy(1)*(E(IDY(1,i))+E(IDY(-1,i))) ...
w(2)=Dy(1)*(E(IDY(1,i))-E(IDY(-1,i))) ...
! z-computationv(3)=Cz(1)*(E(IDZ(1,i))+E(IDZ(-1,i))) ...
w(3)=Dz(1)*(E(IDZ(1,i))-E(IDZ(-1,i))) ...

write-only in the loop

! update
F(i) = B(i)*E(i) + A*E(i) - 0.5d0*(v(1)+v(2)+v(3)) - zI*(w(1)+w(2)+w(3))
end dovector length=4, for DP-complex vector calculation-> 512-bit AVX fittable

37

PCCシンポジウム2017@秋葉原
2017/12/15

For automatic vectorization
real(8),intent(in) :: B(0:NLz-1,0:NLy-1,0:NLx-1)
complex(8),intent(in) :: E(0:NLz-1,0:NLy-1,0:NLx-1)
complex(8),intent(out) :: F(0:NLz-1,0:NLy-1,0:NLx-1)#define IDX(dt) iz,iy,iand(ix+(dt)+NLx,NLx-1)#define IDY(dt) iz,iand(iy+(dt)+NLy,NLy-1),ix#define IDZ(dt) iand(iz+(dt)+NLz,NLz-1),iy,ix
do ix=0,NLx-1
do iy=0,NLy-1!dir$ vector nontemporal(F)do iz=0,NLz-1
v=0; w=0! z-computation
v=v+Cz(1)*(E(IDZ(1))+E(IDZ(-1))) ...
w=w+Dz(1)*(E(IDZ(1))-E(IDZ(-1))) ...
! y-computation! x-computation
F(iz,iy,ix) = B(iz,iy,ix)*E(iz,iy,ix) &&+ A*E(iz,iy,ix) &&- 0.5d0*v - zI*w
end doend doend do38

PCCシンポジウム2017@秋葉原
2017/12/15

convet to 3D arraydirect index calculation

non-temporal write without cachereordering according tomemory access sequenceHand vectorization – unit-stride memory access optimization(how to utilize AVX-512 SIMD load and operation)

E=1514131211109876543210(1) reading nearest neighboring points from 3-D domain
array E by 512-bit vector load to store in v0, v1 and v2(1)(2)

m=v0 =

151413

F[3]

F[2]

F[1]

211, v1 =

321

F[0]

F[3]

F[2]

F[1]

F[0]

0154321±1015145432±201514136543±3151413127654±412,p=

Memory direction

39

PCCシンポジウム2017@秋葉原
2017/12/15, v2 =07654(2) generate 4x4 squre matrix from ±4 of nearest
neighboring points
ComputationDirection

Stencil computation (3D) performance
SiO2 case

800.0
700.0
600.0
500.0
400.0
300.0
200.0
100.0
0.0

758.4
690.3
591.4

547.0

467.9
251.4

157.6

93.0

KNC x2KNL

PERFORMANCE [GFLOPS]PERFORMANCE [GFLOPS]

Si case
8007006005004003002001000593.8
542.9442.0336.4
230.6
185.0

148.3

57.2
KNC x2

KNL

Original

Compiler vec.

Original

Compiler vec.

Explicit vec. (w/o SWP)

Explicit vec. (w SWP)

Explicit vec. (w/o SWP)

Explicit vec. (w SWP)

>2x faster than KNC (at maximum) -> up to 25% of theoretical peak of KNL

40

PCCシンポジウム2017@秋葉原

2017/12/15

Weak scaling on OFP full system
4 PFLOPS
Hamiltonian performance
4096

450

2048

300
250
200
150
100
50

Graphite

1024
512
Higher is
BetterPerformance [TFLOPS]

350

Lower isFasterDynamics time / Iteration [msec]

400

256
12864

SiliconGraphiteSilicon

3201285122048# of compute node8192

1285122048# of compute node8192

41

2017/12/15

PCCシンポジウム2017@秋葉原

運用を通じて

42

PCCシンポジウム2017@秋葉原
2017/12/15

運用を通じてn

１年間の運用（実運用としては8ヶ月）を通じてnnnnn

システムは基本的に安定動作している。各部品の故障率については想定範囲内。
ユーザによっては大規模・大量ジョブで運用しているが、ジョブサイズは多岐に渡っている
KNLチューニングの度合いはまちまち？
KNLは温度環境の性能（turbo boost freq.) に対するsensitivityが高い？

運用上の懸案nnn

43

Burst Buffer（ファイルキャッシュ）は性能は出ているがいくつかの制約があり試験運用を継続中⇒間もなく本運用に入る予定
Cache/Flatメモリモードの効率的制御はノード単位での高速・安定リブートが可能になれば実施したい
ジョブ利用率はまだ不足、スケジューリングパラメータ等のチューニングを要する
PCCシンポジウム2017@秋葉原
2017/12/15

OFPの位置付けn

一般的に利用可能な国内リソースとしては最大性能
nnnn

大型ジョブをはじめとする各種・各サイズアプリケーションの資源としての利用
大規模HPCチャレンジにより「京」を超えるリソースを提供
今後、「京」が運用を停止し、ポスト「京」が出るまでのHPCI等における重要な資源となる

メニーコア・アプリケーション開発
nn

44

x86系科学技術計算向けメニーコア・アプリの開発プラットフォーム（AVX512等の命令に依存するコードはSkylake等にも引き継がれる）
McKernel、XcalableMP等の環境を提供⇒ ポスト「京」への布石

PCCシンポジウム2017@秋葉原
2017/12/15

まとめnnnnnn

OFPは実運用に供されているスーパーコンピュータとしては依然国内最高性
能で、HPCIをはじめとする東大・筑波大の様々な利用プログラムに活用されている
1年間の運用を通じ、システムは基本的に安定稼働しているが、Burst Bufferやquick rebootが難しい等の運用上の改善が望まれる
スケジューリングパラメータをチューニングし、利用率を上げていきたい
McKernel, XMPといったシステムソフトウェア開発はOFPの性能改善、プログラミング環境改善だけでなくポスト「京」の開発にもつながる
大口・大規模ユーザは性能チューニングをよく行っており、研究を強力に推進している⇒ セミナーやワークショップを通じてノウハウを共有していきたい
一般運用・大規模HPCチャレンジを通じて計算科学・計算工学研究・教育に一層貢献していきたい

45

PCCシンポジウム2017@秋葉原
2017/12/15