メニーコア型大規模スーパーコンピュータシステム
Oakforest-PACSの現状と動向
東京大学 情報基盤センター
最先端共同HPC基盤施設(JCAHPC)
塙 敏博

HPCI: High Performance Computing Infrastructure
日本全体におけるスパコンインフラ••

9大学（北大、東北大、筑波大、東大、東工大、名大、京大、阪大、九大）の情報基盤センター
海洋開発研究機構、統数研＋SINET
PCクラスタワークショップ in 柏 20172017/2/17

2HPCI第2階層システムの開発・整備・運用計画(2016年9月時点）

HPCIコンソーシアムのホームページ掲載 http://www.hpci-c.jp/

PCクラスタワークショップ in 柏 20172017/2/17

3

4

Oakforest-PACS(OFP)• 最先端共同HPC 基盤施設(JCAHPC: Joint Center
for Advanced High Performance Computing)• 東京大学情報基盤センター• 筑波大学計算科学研究センター• 両センターが共同で、最先端の大規模高性能計算基盤を構築・運営するための組織• 東京大学柏キャンパスの東京大学情報基盤センター内• 2016年12月1日稼働開始• 8,208 Intel Xeon/Phi (KNL)• ピーク性能25PFLOPS• TOP 500 6位（国内1位），HPCG 3位（国内2位），
Green 500 6位（国内2位）（2016年11月）
PCクラスタワークショップ in 柏 20172017/2/17

4

フラグシップとの両輪として
PF
1000

第１階層（理研：京、ポスト京）と第２階層が共にExascale Computingへ

FutureExascale

Post K Computer
理研 AICS

100

Oakforest-PACS

10

1

JCAHPC（東大と筑波大）

Tokyo Tech.
TSUBAME2.0

T2K

U. of Tsukuba
U. of Tokyo
Kyoto U.

2008

2010

2012

2014

PCクラスタワークショップ in 柏 2017

2016

2018

2017/2/17

52020

最先端共同HPC基盤施設 JCAHPC• Joint Center for Advanced High PerformanceComputing(http://jcahpc.jp)• 平成25年3月、筑波大学と東京大学は「計算科学・工学及びその推進のための計算機科学・工学の発展に資するための連携・協力推進に関する協定」を締結• 本協定の下、筑波大学計算科学研究センターと東京大学情報基盤センターが JCAHPC を設置• 両センターが共同で、最先端の大規模高性能計算基盤を構築・運営するための組織• 東京大学柏キャンパスの東京大学情報基盤センター内
PCクラスタワークショップ in 柏 20172017/2/17

6

JCAHPC共同調達のポリシー～2センターで共有したこと～• T2Kの精神に基づき、オープンな最先端技術を導入• T2K： 2008年に始まったTsukuba, Tokyo, Kyoto の3大学でのオープンスパコンアライアンス、3機関の研究者が仕様策定に貢献、システムへの要求事項を共通化• システムの基本仕様• 超並列PCクラスタ• HPC用の最先端プロセッサ、アクセラレータは不採用
à 広範囲なユーザとアプリケーションのため
à ピーク性能追求より、これまでのコードの継承を優先• 使いやすい高効率相互結合網• 大規模共用ファイルシステム
Oakforest-PACS• スケールメリットを活かす• 超大規模な単一ジョブ実行も可能とする
PCクラスタワークショップ in 柏 20172017/2/17

7

Oakforest-PACS 全景

時事通信
www.jiji.com
国内最高性能の新スパコン「オークフォレスト・パックス」の前で握手する
東大の中村宏情報基盤センター長（左）と筑波大の梅村雅之計算科学研究センター長＝１日午後、千葉県柏市の東大柏キャンパス
PCクラスタワークショップ in 柏 20172017/2/178

設置場所：東京大学柏キャンパス
筑波大学

東京大学柏キャンパス

東京大学本郷キャンパス

PCクラスタワークショップ in 柏 20172017/2/17

9

設置場所：東京大学柏キャンパス
第２総合研究棟 ２階

写真はマイナビニュースよりhttp://news.mynavi.jp/news/2016/12/02/035/
PCクラスタワークショップ in 柏 20172017/2/17

10

Oakforest-PACSの特徴 (1/2)• 計算ノード• Intel Xeon Phi (Knights Landing)• 1ノード 68コア，3TFLOPS×8,208ノード＝ 25
PFLOPS• メモリ（MCDRAM（高速，16GB）＋DDR4（低速，96GB））• ノード間通信• Intel Omni-Path Architecture• フルバイセクションバンド幅を持つ
Fat-Treeネットワーク• 全系運用時のアプリケーション性能に効果，多ジョブ運用

PCクラスタワークショップ in 柏 20172017/2/17

11

11

12

Oakforest-PACS の特徴（2 / 2）
• ファイルI/O• 並列ファイルシステム:
Lustre 26PB
• ファイルキャッシュシステム
（DDN IME）：
1TB/secを超える実効性能,約1PB

並列ファイルシステム

ファイルキャッシュシステム

• 計算科学・ビッグデータ解
析・機械学習にも貢献• 消費電力• Green 500でも世界6位• Linpack： 2.72 MW• 4,986 MFLOPS/W（OFP）• 830 MFLOPS/W（京）ラック当たり120ノードの高密度実装

PCクラスタワークショップ in 柏 20172017/2/17

12リアドア冷却Intel® Omni-Path Architecture を用いたフルバイセクションバンド幅Fat-tree網
768 port Director
Switch12台(Source by Intel)

22Uplink: 2448 port Edge Switch
362 台

Downlink: 241...

2425...

4849...

計算ノード
ラックに分散72

コストはかかるがフルバイセクションバンド幅を維持• システム全系使用時にも高い並列性能を実現• 柔軟な運用：ジョブに対する計算ノード割り当ての自由度が高い

PCクラスタワークショップ in 柏 20172017/2/17

13

14

Oakforest-PACS の仕様
総ピーク演算性能

25 PFLOPS

ノード数8,208

計算ノード

Product

富士通 PRIMERGY CX600 M1 (2U) +CX1640 M1 x 8node
Intel® Xeon Phi™ 7250
プロセッサ
（開発コード: Knights Landing）
68 コア、1.4 GHz
メモリ 高バンド幅 16 GB, MCDRAM, 実効 490 GB/sec
低バンド幅 96 GB, DDR4-2400, ピーク 115.2 GB/sec

相互結 Product合網
リンク速度
トポロジ

Intel® Omni-Path Architecture
100 Gbps
フルバイセクションバンド幅Fat-tree網
PCクラスタワークショップ in 柏 20172017/2/17

14

Oakforest-PACS の仕様（続き）
並列ファイ
ルシステム

高速ファイ
ルキャッシュシステ
ム

総消費電力
総ラック数

Type

Lustre File System

総容量
Product

26.2 PB

総バンド幅
Type

500 GB/sec

総容量Product

940 TB (NVMe SSD, パリティを含む)
DataDirect Networks IME14K

総バンド幅1,560 GB/sec

DataDirect Networks SFA14KE
Burst Buffer, Infinite Memory Engine(by DDN)

4.2MW（冷却を含む）
102
PCクラスタワークショップ in 柏 20172017/2/17

15

Oakforest-PACS のソフトウェア• OS: Red Hat Enterprise Linux (ログインノード)、
CentOS および McKernel (計算ノード、切替可能)• McKernel: 理研AICSで開発中のメニーコア向けOS• Linuxに比べ軽量、ユーザプログラムに与える影響なし• ポスト京コンピュータにも搭載される予定。

• コンパイラ：GCC, Intel Compiler, XcalableMP• XcalableMP: 理研AICSと筑波大で共同開発中の並列プログラミン
グ言語• CやFortranで記述されたコードに指示文を加えることで、性能の高い並列アプリケーションを簡易に開発することができる。

• ライブラリ・アプリケーション： オープンソースソフトウェア• ppOpen-HPC, OpenFOAM, ABINIT-MP, PHASE system,
FrontFlow/blue，LAPACK, ScaLAPACK, PETSc, METIS,SuperLU etc.
PCクラスタワークショップ in 柏 20172017/2/17

16

各種ベンチマーク• TOP 500（Linpack，HPL）• 連立一次方程式ソルバー（直接法），計算速度（FLOPS値）• 規則的な密行列：連続メモリアクセス• 計算性能• HPCG• 連立一次方程式ソルバー（反復法），計算速度（FLOPS値）• 有限要素法から得られる疎行列（ゼロが多い）• 不連続メモリアクセス• 実アプリケーションに近い• メモリアクセス性能，通信性能• Green 500• HPL（TOP500）実行時のFLOPS/W値
PCクラスタワークショップ in 柏 20172017/2/17

17

48th TOP500 List (November, 2016)
Site

1Computer/Year Vendor

National Supercomputing
Center in Wuxi, China

Sunway TaihuLight , Sunway MPP,
Sunway SW26010 260C 1.45GHz,
2016 NRCPC

Tianhe-2, Intel Xeon E5-2692, THExpress-2, Xeon Phi, 2013 NUDT
Titan
Cray XK7/NVIDIA K20x, 2012 Cray
Sequoia
BlueGene/Q, 2011 IBMCori, Cray XC40, Intel Xeon Phi 7250
68C 1.4GHz, Cray Aries, 2016 CrayOakforest-PACS, PRIMERGY CX600
Joint Center for Advanced
M1, Intel Xeon Phi Processor 7250 68C
6 High Performance
1.4GHz, Intel Omni-Path,Computing, Japan
2016 Fujitsu
K computer, SPARC64 VIIIfx , 2011
7 RIKEN AICS, Japan
Fujitsu
Piz Daint
Swiss Natl. Supercomputer
8Cray XC30/NVIDIA P100, 2013 Cray
Center, Switzerland
Argonne National Laboratory, Mira
9BlueGene/Q, 2012 IBM
USA
Trinity, Cray XC40, Xeon E5-2698v3
10 DOE/NNSA/LANL/SNL, USA
16C 2.3GHz, 2016 Cray
National Supercomputing
Center in Tianjin, China
Oak Ridge National
3Laboratory, USA
Lawrence Livermore National4
Laboratory, USA
DOE/SC/LBNL/NERSC
5USA2Cores

Rmax
Rpeak
Power(TFLOPS) (TFLOPS) (kW)10,649,600

93,015(= 93.0 PF)

125,436

15,371

3,120,000

33,863(= 33.9 PF)

54,902

17,808560,640

17,59027,1138,209

1,572,864

17,173

20,133

7,890

632,400

14,01527,881

3,939

557,056

13,55524,9142,719

705,024

10,51011,28012,660206,720

9,779

15,9881,312

786,432

8,587

10,066

3,945

301,056

8,101

11,0794,233

Rmax: Performance of Linpack (TFLOPS)
Rpeak: Peak Performance (TFLOPS), Power: kW

http://www.top500.org/

HPCG Ranking (SC16, November, 2016)
Site
1 RIKEN AICS, Japan
2

NSCC / Guangzhou,
China

3 JCAHPC, Japan

Computer

TOP500Rank

HPCG(Pflop/s)

HPCG/HPL (%)

705,024

10.51070.6027

5.73

Tianhe-2

3,120,000

33.86320.5800

1.71

557,056

13.55560.3855

2.84

10,649,600

93.01510.3712.399

632,400

13.83250.3554

2.57

1,572,864

17.17340.3304

1.92

Titan

560,640

17.59030.3223

1.83

Trinity

301,056

8.101

100.1826

2.25

Pleiades: SGI ICE X

243,008

5.952

130.1752

2.94

Mira: IBM BlueGene/Q,

786,432

8.587

90.1670

1.94

Oakforest-PACS

6 DOE/NNSA/LLNL, USA Sequoia

http://www.hpcg-benchmark.org/

HPL Rmax(Pflop/s)

K computer

National
4 Supercomputing Center Sunway TaihuLightin Wuxi, China
DOE/SC/LBNL/NERSC
5Cori
USA
DOE/SC/
7 Oak Ridge National
Laboratory, USA
DOE/NNSA/
8 LANL/SNL,USA
NASA / Mountain View,
9USA
DOE/SC/
10 Argonne National
Laboratory, USACores

2017/2/17

PCクラスタワークショップ in 柏 201720

Green 500 Ranking (SC16, November, 2016)
SiteComputerCPU

NVIDIA DGX-1, Xeon E5-2698v4 20C
2.2GHz, Infiniband EDR, NVIDIA TeslaP100
Swiss National
Cray XC50, Xeon E5-2690v3 12C
2 Supercomputing Piz Daint
2.6GHz, Aries interconnect , NVIDIA
Centre (CSCS)
Tesla P100
3 RIKEN ACCS
ShoubuZettaScaler-1.6 etc.
National SC
SunwaySunway MPP, Sunway SW26010
4Center in Wuxi TaihuLight 260C 1.45GHz, Sunway
SFB/TR55 at
PRIMERGY CX1640 M1, Intel Xeon
5 Fujitsu Tech.
QPACE3Phi 7210 64C 1.3GHz, Intel OmniSolutions GmbHPath
PRIMERGY CX1640 M1, Intel Xeon
Oakforest6 JCAHPCPhi 7250 68C 1.4GHz, Intel OmniPACSPath
DOE/SC/Argonne
Cray XC40, Intel Xeon Phi 7230 64C
7ThetaNational Lab.
1.3GHz, Aries interconnect
Cray CS-Storm, Intel Xeon E5-2680v2
Stanford Research
8XStream
10C 2.8GHz, Infiniband FDR, Nvidia
Computing Center
K80
ACCMS, Kyoto
Cray XC40, Intel Xeon Phi 7250 68C
9Camphor 2University
1.4GHz, Aries interconnect
Jefferson Natl.
KOI Cluster, Intel Xeon Phi 7230
10
SciPhi XVI
Accel. Facility
64C 1.3GHz, Intel Omni-Path
1

NVIDIACorporation

http://www.top500.org/

DGX
SATURNVHPLTOP500Rmax
Rank(Pflop/s)

Power(MW)GFLOPS/W

3.307

28

0.350

9.462

9.779

8

1.312

7.454

1.001

116

0.150

6.674

93.01

115.37

6.051

0.447

375

0.077

5.806

1.355

6

2.719

4.986

5.096

18

1.087

4.688

0.781

162

0.190

4.112

3.057

33

0.748

4.087

0.426

397

0.111

3.837

運用
• 2017年度3月末までは無料（但し停止期間等あり）• 計算資源は全系を共用（パーティション分けはしない）• 全8,208ノード（25PF）を常に全系で運用できるようにしておき，国内最大の計算資源を有効に活用する○利用形態• 両大学独自の利用コース• HPCI

来年度の利用募集中!!
• 筑波大：大規模一般利用（予定）• 東大：パーソナル・グループコース、等• 全資源の20%を「JCAHPC」として拠出，企業利用可能• JHPCN（学際大規模情報基盤共同利用共同研究拠点）• 全資源の5%程度：企業共同研究，国際共同研究も含む（東大のみ）• 教育（講義，講習会）• 大規模HPCチャレンジ：全ノード占有
PCクラスタワークショップ in 柏 20172017/2/1722

HPCIへの資源提供• 平成29年度課題募集におけるハードウェア資源一覧• http://www.hpci-office.jp/pages/h29_boshu_hpci_resource?parent_folder=23

PCクラスタワークショップ in 柏 20172017/2/17

23

Oakforest-PACSのバッチジョブキュー
• 全てのキューでメモリモードの異なる -cache と -flat 2種類• 例： regular-cache, regular-flat
代表キュー名

キュー名

最大ノード数

実行制限時間（経過時間）

interactive_n112h82 (-cache)
96 (-flat)

interactive
interactive_n162-16

ノード当たりメモリ量(GB)10 min

82 (-cache)
96 (-flat)
82 (-cache)

debug

debug

1-128

30 min1-128
129-512513-1024
1024-2048

48 h
48 h
48 h
24 h

82 (-cache)

regularsmall
mediumlarge
x-large
prepost16h

222 (Xeon)

prepost

PCクラスタワークショップ in 柏 20172017/2/17

96 (-flat)

96 (-flat)24

メモリモード• Cacheモード• Flatモード• L3キャッシュとして動作• 明示的に使い分け
MCDRAM
16 GB

MCDRAM
16 GB

DDR4
96 GB

2017/2/17

物理アドレス

DDR4
96 GB

PCクラスタワークショップ in 柏 201725

クラスタリングモード

現在OFPではQuadrantのみ
Cluster
Mode: Sub-NUMA C• Quadrant: ソフトウェ

アからはフラットなメモ
リ空間に見えるOPIOMCDRAMOPIOMCDRAMOPIO
MCDRAM

PCIe

IIO

OPIO
MCDRAM

EDC

EDC

EDC

EDC

• 内部では4分割、格納先のMCDRAMと同じ領域にキャッシュ情報（タグ）を配置

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

iMC

Tile

Tile

Tile

Tile

• SNC-4: 4つのNUMA
ドメインに見える

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

Tile

EDC

EDC

Misc

EDC

EDC

3142
iMC

DDR

• 4ソケットある場合と同じ

DDR

OPIO
MCDRAMOPIO
MCDRAMOPIO
MCDRAMOPIO
MCDRAM

HotChips27
1) L2 miss, 2) Directory access, 3) Memoryaccess, 4) Data return
KNLスライドより
16
PCクラスタワークショップ in 柏 20172017/2/1726

利用実績• 稼働率 = B / A• 利用率 = C / B• A: 全計算ノード数 x 24時間 x 日数
• B: 計算ノードが利用可能であった延べノード時間• C: ユーザジョブが動いていた延べノード時間

稼働率

利用率

2016年12月

96.4 %

68.8%

2017年1月

87.1 %

81.7%• 1月からの一般試験利用開始に伴うユーザ登録、ジョブキュー構成の変更等で、1月の稼働率はやや低い• 1月の利用率は、システム導入直後としては非常に高い
PCクラスタワークショップ in 柏 20172017/2/1727

メモリモードの使い分け• 実行ノード時間• ジョブ回数
90000

5000000

80000

4500000
4000000

70000

3500000

60000

3000000

50000

2500000

40000

2000000

30000

1500000

20000

1000000

10000

500000
Flat0
2016年12月2017年1月

2017/2/17

Cache

PCクラスタワークショップ in 柏 20170
2016年12月 2017年1月

28

利用ノード数分布• 実行ノード時間• ジョブ回数
100%

100%

90%

1025～2048ノード

80%

513～1024ノード

80%

70%

257～512ノード

70%

60%

129～256ノード

60%

65～128ノード

50%

33～64ノード50%40%

17～32ノード

40%30%

2～16ノード

30%

1ノード

20%

2017/2/17

90%

20%

10%

10%

0%

0%

12月

1月
PCクラスタワークショップ in 柏 2017

12月

1月
29

おわりに
• JCAHPC（最先端共同HPC基盤施設）• 筑波大学計算科学研究センターと東京大学情報基盤センターが設置• 計算科学・工学及びその推進のための計算機科学・工学の発展に資するために連携して設置• Oakforest-PACS：ピーク性能 25 PFLOPS• Intel Xeon Phi (Knights Landing) と Omni-Path Architecture• CPU時間を2大学で按分することで柔軟な運用を可能• 全系を１システムとして超大規模単一ジョブの実行も可能に• 2016/12から全系システム稼働、すでに高い利用率• HPCI資源を含め、通常の資源提供は2017/4から• JCAHPC：最先端HPC研究に寄与する計算資源の提供を目
指し、コミュニティに貢献していく予定
PCクラスタワークショップ in 柏 20172017/2/1730

31

参考：Oakforest-PACSに関する情報• JCAHPC• http://jcahpc.jp• Oakforest-PACS がTop500で国内最高性能に認定[プレスリリース]• http://www.jcahpc.jp/pr/pr-20161114.html• 運用開始に関する報道等（主なもの）• 日本経済新聞
http://www.nikkei.com/article/DGXLASDG01H23_R01C16A2CR0000/• 共同通信https://this.kiji.is/176995523516057077?c=39546741839462401• ITMedia
http://www.itmedia.co.jp/news/articles/1612/02/news116.html• マイナビニュース http://news.mynavi.jp/news/2016/12/02/035/• 他
PCクラスタワークショップ in 柏 20172017/2/1731