IFERC‐CSC運用報告
宮戸直亮
CSC サブリーダー

量子科学技術研究開発機構 核融合エネルギー研究開発部門
六ヶ所核融合研究所 核融合炉システム研究開発部

プラズマ・核融合学会 計算科学研究部会総会
2016年11月29日 東北大学青葉山キャンパス
1

IFERC‐CSCの運用体制


日欧の研究者にIFERC‐CSCスパコンを提供し（運転・保守）、利用に際して必要となる利用者支援を行う。
IFERC事業長（中島徳嘉（JA））

REC
DEMO R&D/Design

CSCマネジメント- CSCリーダー- CSCサブリーダー組織に変更はないが
平成28年4月1日より日本側実施機関がJAEAからQSTに変更

Jacques NOÉ(EU)宮戸直亮（JA）

CSCサポートチーム（JA）- 一般的利用者支援（アカウントの開設、相談窓口など）- 一般的プログラミング支援（デバッグなど）
HPC運転チーム（EU）- CSC HPCの運転（運転、保守等）- 高レベルプログラミングサポート（高速化など）
2

IFERC‐CSC Heliosシステムの現状
BAの1つであるIFERC‐CSCでは、2011年12月に高性能計算機システム（HPC）の六カ所サイトへの導入を完了し、2012年1月から初期運用を開始

2011
IFERC‐CSC

2012

2013

HPC導入

2014

2015

2016

HPC運用

初期運用

2017
HPC撤去

通常運用
HPC増強システム

国際選考枠日本枠

通常運用
導入 初期運用
第1サイクル 第２サイクル 第３サイクル 第４サイクル 第５サイクル
第1サイクル 第２サイクル 第３サイクル 第４サイクル 第５サイクル

 2014年1月に増強システム（Intel Xeon Phi搭載のMICシステム）を導入••

理論最高性能値 427Tflops
Linpack性能値
225.1Tflops さらに2016年初頭に、GPGPUノード（6ノード）を導入••

理論最高性能値 36Tflops
Linpack性能値
26.7Tflops

3Heliosの構成（2016年）
本体システムINTEL
Sandy‐Bridge EP
8 cores – 2.7Ghz
21.6 Gflop/s per core

BULL/BullX B5102 processors (16 cores)
346 Gflop/s
64 GB memory
1 blade=2 nodes

BULL/BullX
Enclosure
6.2 Tflop/s
18 nodes

BULL/BullX
Rack
31.1 Tflop/s
5 enclosures
Water cooled door

250 enclosures

50 racks

1.555 Pflop/s

1 bottom switch/ enclosure
9000 processors
72000 cores
INTEL
Xeon Phi 5110P
60 cores – 1.053 Ghz
16.8 Gflop/s per core
8 GB local memory

360 processors
21600 cores

増強システムINTEL
Sandy‐Bridge EP
8 cores – 2.1 Ghz
16.8 Gflop/s per core

360 processors
2880 cores

2 links/blade(18 total)

4500 nodes1 link/top switch(18 total)

BULL/BullX B515
2 Xeon Phi (120 cores)
2 Xeon SB (16 cores)
2375 Gflops
48 GB memory
1 blade=1 node

180 nodes

18 top switches
288 ports/switch
BULL/BullX
Enclosure21.37 Tflop/s
9 nodes

BULL/BullX
Rack
85.49 Tflop/s
4 enclosures
Water cooled door

20 enclosures

5 racks

0.427 Pflop/s

4

1 nodeGPGPUノードの構成
hostaccelerator

INTEL
Xeon E5‐2650 v3
Haswell
10 cores – 2.3Ghz
400 Gflop/s

NVIDIAK80
24 GB of GDDR51.870 Tflop/s

6 nodes

2 processors
20 cores
800 Gflop/s

0.038 Pflop/s
1 rack:6 compute nodes
1 service node
1 IB switch
Peak: 38.4 Tflop/s
Linpack: 29.7 Tflop/s

128 GB of memory

12 Xeon E5processors (120 cores)
4.8 Tflop/s

3 K80
72 GB of memory
5.6 Tflop/s

18 K80 processors
33.6 Tflop/s

5

国際枠のプロジェクト数の推移
第1サイクル（2012/04/09 – 2012/11/14）
58 projects (JA: 25, EU: 33) (about 190 users)
第2サイクル（2012/11/15 – 2013/11/14）
74 projects (JA: 29, EU: 44, IO 1) (about 270 users)
第3サイクル（2013/11/15 – 2014/11/18）
109 projects (JA: 34, EU: 75) (about 400 users)
第4サイクル（2014/12/02 – 2015/11/16）
117 projects (JA: 36, EU: 81) (about 430 users)
第5サイクル（2015/11/17 – 2016/12/27）
118projects (JA: 35, EU: 83) (about 430 users)
StC80% Projects
10081

75

80

44

33

60

25

4083

29

34

36

20

EU

35

JA0EU
1st

2nd

3rdJA
4th

5th6カテゴリ毎の資源割当状況
第5サイクルプロジェクトの各カテゴ
リへの資源割当率

第5サイクルプロジェクトの各カテゴリへの割当CPU時間 (M node hours)

Category Count Total
Reactor
Reactor technology
materials
10%11%1%Integrated
modelling
7%

Edge physics
11%
Heating/
Current Drive
7%

3%
Turbulence/transport
31%

2%

MHD13%
Fast particle
physics10%

 乱流/輸送カテゴリへの割当が最大だが、前サイクルより率は微減。
 その次は、高速粒子物理、MHD、エッジ物理カテゴリへの割当が多い。
7Availabliity
Utilization
Used by EU80%
Used by JA80%
Used by EU10%

05/24 ‐ 05/31

05/17 ‐ 05/24

05/10 ‐ 05/17

05/03 ‐ 05/10* 04/26 ‐ 05/03

04/19 ‐ 04/26

04/12 ‐ 04/19

04/05 ‐ 04/12* 03/29 ‐ 04/05

EU80%

03/22 ‐ 03/29

80%

03/15 ‐ 03/2290%

03/08 ‐ 03/15

EU10%

03/01 ‐ 03/08* 02/23 ‐ 03/01

02/16 ‐ 02/23

02/09 ‐ 02/16

02/02 ‐ 02/09* 01/26 ‐ 02/02

01/19 ‐ 01/2610%

01/12 ‐ 01/19

20%

01/05 ‐ 01/1250%

12/29 ‐ 01/05

60%* 12/22 ‐ 12/29

12/15 ‐ 12/22

12/08 ‐ 12/15

12/01 ‐ 12/08* 11/24 ‐ 12/01

11/17 ‐ 11/24

本体システムの利用状況

100%

稼働率

利用率

70%

JA80%

40%

30%

JA10%

0%

Used by JA10% 第5サイクル（2015/11/17～2016/5/31）の稼働率・利用率
8Availabliity
Utilization
Used by EU80%
Used by JA80%
Used by EU10%

12/20 ‐ 12/27

12/13 ‐ 12/20

12/06 ‐ 12/13

11/29 ‐ 12/06

11/22 ‐ 11/29

11/15 ‐ 11/22* 11/08 ‐ 11/15

11/01 ‐ 11/08* 10/25 ‐ 11/01* 10/18 ‐ 10/25

10/11 ‐ 10/18

10/04 ‐ 10/11* 09/27 ‐ 10/04

09/20 ‐ 09/27

EU80%

09/13 ‐ 09/20

09/06 ‐ 09/13* 08/30 ‐ 09/06

EU10%

08/23 ‐ 08/30

08/16 ‐ 08/23

10%

08/09 ‐ 08/16

20%

08/02 ‐ 08/09

50%* 07/26 ‐ 08/02

80%

07/19 ‐ 07/26

90%

07/12 ‐ 07/19

60%

07/05 ‐ 07/12* 06/28 ‐ 07/05

06/21 ‐ 06/28

06/14 ‐ 06/21

06/07 ‐ 06/14* 05/31 ‐ 06/07

本体システムの利用状況

100%

稼働率

利用率

70%

JA80%

40%

30%

JA10%

0%

Used by JA10% 第5サイクル（2016/5/31～2016/11/22）の稼働率・利用率
9本体システムの利用状況(8) Used Node.hour of EU10%,EU80%,JA80%,JA10% and systemusers between [2015/11/17‐2016/11/22]
System, 658821 , 1.8%

EU10%, 1664676 , 4.5%

4thJA10%, 819437 , 2.2%
5thJA10%, 2106432 , 5.7%

EU80%, 17690961 , 48.2%
JA80%, 13762865 , 37.5%*System refers to the members of CSC support and HPC support t 欧州側の利用がやや多い。日：欧＝45.4：52.7
10

Availabliity
Utilization
Used by EU

05/24 ‐ 05/31

05/17 ‐ 05/24

05/10 ‐ 05/17

05/03 ‐ 05/10* 04/26 ‐ 05/03

04/19 ‐ 04/26

04/12 ‐ 04/1904/05 ‐ 04/12

04/01 ‐ 04/05* 03/29 ‐ 04/01

03/22 ‐ 03/29

10%

03/15 ‐ 03/2250%

03/08 ‐ 03/15

60%

03/01 ‐ 03/08

30%* 02/23 ‐ 03/01

02/16 ‐ 02/23

02/09 ‐ 02/16

02/02 ‐ 02/09* 01/26 ‐ 02/02

01/19 ‐ 01/26

01/12 ‐ 01/19

01/05 ‐ 01/12

12/29 ‐ 01/05* 12/22 ‐ 12/29

12/15 ‐ 12/22

12/08 ‐ 12/15

12/01 ‐ 12/08* 11/24 ‐ 12/01

11/17 ‐ 11/24

MICシステムの利用状況

100%

稼働率

90%

80%

70%

利用率

40%

JA20%

EU0%

Used by JA 第5サイクル（2015/11/17～2016/5/31）の稼働率・利用率
11AvailabliityUtilization
Used by EU

12/20 ‐ 12/27

12/13 ‐ 12/20

12/06 ‐ 12/13

11/29 ‐ 12/06

11/22 ‐ 11/29

11/15 ‐ 11/22* 11/08 ‐ 11/15

11/01 ‐ 11/08* 10/25 ‐ 11/01* 10/18 ‐ 10/25

30%

10/11 ‐ 10/18

40%

10/04 ‐ 10/11

70%* 09/27 ‐ 10/04

80%

09/20 ‐ 09/27

50%

09/13 ‐ 09/20

09/06 ‐ 09/13* 08/30 ‐ 09/06

08/23 ‐ 08/30

08/16 ‐ 08/23

08/09 ‐ 08/16

08/02 ‐ 08/09* 07/26 ‐ 08/02

07/19 ‐ 07/26

07/12 ‐ 07/19

07/05 ‐ 07/12* 06/28 ‐ 07/05

06/21 ‐ 06/28

06/14 ‐ 06/2106/07 ‐ 06/14* 05/31 ‐ 06/07

MICシステムの利用状況

100%

稼働率90%

利用率60%

JAEU20%10%

0%Used by JA 第5サイクル（2016/5/31～2016/11/22）の稼働率・利用率
12

MICシステムの利用状況(10) Used Node.hour of MIC_EU,MIC_JA,and system users between[2015/11/17‐2016/11/22]

System, 3270 , 0.5%

MIC_EU, 281849 , 46.2%

MIC_JA, 324878 , 53.3%*System refers to the members of CSC support and HPC support t 日本側の利用が多い。
13

今後の予定 Heliosは予定通り2016年12月末で運用停止。
 2017年1月より撤去作業開始。
 増強システム部分（MICシステム+GPGPUノード）、ストレージ等を欧州から譲り受け、再構築し、2017年3月末から、QST核融合スパコン（国内用）として運用開始予定。運用は1年間で2018年3月末までを想定。

14