12/01/2019 プラズマ・核融合学会 計算科学研究部会総会(中部大学)

プラズマシミュレータについて
核融合科学研究所
計算機作業班 三浦・宇佐見現行プラズマシミュレータ(大規模並列型計算サーバ)
FUJITSU Supercomputer PRIMEHPC FX100

主な仕様
運用期間

2015.6-2020.2

ノード数

2592

主記憶81TB(32GB/node)

演算性能

2.62PFlops

CPUコア数

82944

ノード間転送速度

50GB/s × 2(双方向)

外部記憶装
置容量

10 PB

主なランキング(2019.11)
2448ノード：プラズマシミュレータ共同研究
144ノード：LHD数値解析サーバ利用共同研究

Top500 116位
（国内15位）
HPCG 35位（国内8位）

プラズマシミュレータ関連共同研究
数値実験炉研究プロジェクト
核融合プラズマ閉じ込めの物理機構解明とその体系化を行うと共に、予測性を有するシミュレーションコード体系、ヘリカル数値実験炉の構築を目指した研究を推進。
プラズマシミュレータ共同研究
A. 研究所提案型
数値実験炉構築を目指した８つの研究所提案に基づく課題
B. 応募者提案型共同研究
A以外で、核融合プラズマをその中心とし、自然科学の様々な研究分野で行われているシミュレーション関連の研究課題や新しい学問領域としてのシミュレーション科学の発展に貢献し得る課題。計算科学関連課題。

LHD数値解析サーバー利用共同研究
LＨＤプラズマを中心に、関連する核融合プラズマや基礎プラズマの数値解析、中小規模のシミュレーション、装置設計やデータ処理などに関する共同研究。[今年度をもって廃止, プラズマシミュレータ共同研究に統合]

プラズマシミュレータの更新推移
主記憶
演算性能 容量

外部記憶装置容量

16TB

0.5PB

40TB

2.0PB

81TB
202TB
(VE)

10.0PB
31.2PB

期間
機種
H21.3～ SR16000モデルL2
H24.8
128ノード
77 TF
H24.10 SR16000モデルM1～H27.3
322ノード315 TF
H27.6～ PRIMEHPC FX100
R2.2
2592ノード
2.62PF
10.5PFR2.6～ SX-Aurora
R7.2
TSUBASA A412-8
540ノード 4320VEプラズマシミュレータ運用実績
年度

共同研究課題
利用者数
数(所内/所外)H24(phaseI)
56169(50/119)
H24(phaseII
同上同上)
H25
51158(50/108)
H26
53162(50/112)
H27
60
154(49/105)
H28
65
184(50/134)
H29
67
194(45/149)

ジョブ本数
4,188
12,496

運用時間(千CPU時間)
14,30647,901

19,54821,54046,07870,04190,73087,45785,359564,836
703,882698,944H30

68

194(50/144)

96,796

701,860

R01

68

186(54/132)

39,626

409,537

ジョブスケジュール（2020年2月まで）
Mon

Tue

Wed

Thu

FriSatSun

9:00
mediumsmall

medium
17:00
18:00

large/large1h

mediummedium完全同期large/
large1hlarge/
large1hlarge/
large1h

翌9:00• medium: 25-762ノード, 11月08日以降は25-1152ノード• large: 1921-2160ノード

令和元年度運用状況• 利用者数核融合研 54, 大学等 125• 保守計画停電&保守 2019年6月7日 15:00-6月10日 17:00• 講習会・ソフト開発支援の実施

・利用者講習会 2019年７月10-12日
参加者: PS利用者講習 10名, AVS講習 9名
・プログラム最適化支援（常設)・プログラム開発支援(2019年5月末で終了済）• 利用者との意見交換

プラズマシミュレータシンポジウム(2019年9月)
ユーザMLでの意見募集

プログラム開発支援・最適化支援• プログラム開発支援 2019年5月末日終了

2016年度 11件(NIFS 9件), 2017年度 11件(NIFS 7件),
2018年度 10件(NIFS 7件), 2019年度 3件(NIFS 2件)• プログラム最適化支援(常時受付) 運用終了まで継続

2015年度 12件, 2016年度 3件, 2017年度 3件,2018年度 3件, 2019年度 1件(～6月末)• プログラム相談2015年度 72件, 2016年度 63件, 2017年度 54件,2018年度 25件, 2019年度 7件 (～6月末)

ジョブ運用• Large ジョブについて(1) Large week 2019年４月26日-5月2日*障害対策として中間にmedium5時間(2) Lage ジョブの申請制度の導入
第I期(4-7月): 4-7月 (全ユーザ利用可能)
第II期(8-11月):要利用申請（審査あり）
第III期(12-2月): 同上

令和二年度は新システム導入に伴い、申請制度なし• 令和二年度共同研究課題の変更
LHD数値解析サーバー利用共同研究はプラズマシミュレータ
共同研究の一部として統合

次期プラズマシミュレータ(2020年6月～）

次期プラズマシミュレータ諸元• 大規模並列型計算サーバ

NEC SX-Aurora TSUBASA A412-8（540 ベクトルホスト）
Type 10AE VE 4320 基(1 ラック 144 基×30 ラック)VE 総主記憶容量:202TB（48GB／VE）
VE 総合演算速度（理論値）:10.5PF
VE 総 CPU コア数:34560 (8 コア/VE)
ノード間ネットワーク: 10TB/s Infiniband HDR NW
外部記憶装置 容量:32.1PB• データ解析サーバ

NEC LX 124Ri-4G（8 ノード）
主記憶容量:1.5TB（192GB／ノード）
演算速度（理論値）:25.8TF
総 CPU コア数:384（48 コア／ノード）
NVIDIA Tesla V100 ×2 ／ノード OS

移行スケジュール• 現行システム停止予定 2020年2月28日正午（アナウンス予定）• 新システム稼働開始予定 2020年6月• 現行システムから新システムへのデータ移行(1) /home, /data/lng 以下のデータを次期システムに移行/data/sht は移行しない(2) /data/lng データの圧縮をユーザに呼びかけ(3) データ移行に伴い、データ解析サーバの一部をユーザ利用から切り離し、データ移行専用に(4) 12月中にデータ移行着手（予定）、1月以降のどこかの時点で/data/lng を凍結、以後のデータ変更については、次期システムへの移行に反映されない（かもしれない）• ジョブスケジューリング、利用者講習会： TBD

次期システムへの接続、その他• 概ね、現行システムと同じイメージで接続• ２段階認証は維持（ssh公開鍵＋パスワード）• NoMachine社リモートデスクトップ利用可能（接続方法について検討中）→ AVS などの利用利便性が向上（期待）• 可視化環境

AVS/PCE 廃止
AVS/Express Developer のみ
ParaView, VisIt, IDL 利用可能