12/04/2018 プラ核学会 計算科学研究部会総会

プラズマシミュレータについて
核融合科学研究所
計算機作業班 宇佐見

プラズマシミュレータ
大規模並列型計算サーバ

フロントシステム

データ解析サーバ

PRIMEHPC FX100: 12ラック
総性能: 2.62PFLOPS
総ノード: 2,592ノード
総主記憶容量: 81TB

総性能: 4.32TFLOPS
総コア数: 108core
総主記憶容量: 576GB

総性能: 5.76TFLOPS
総コア数: 144core
総主記憶容量: 4TB

RX2540 M1 3台
2CPU（36core）
主記憶容量：192GB

RX4770 M1 4台
2CPU（36 core）
主記憶容量：1TB

プラズマシミュレータ、LHD数値解析サーバ
InfiniBandネットワーク（InfiniBand FDRスイッチ 10台）
ファイルサーバ(FEFS)

可視化処理サーバ

実効容量：10.0PB

実効容量：25.6TB

MDS RX300 S8 2台
MDT DX200 S3 1台
OL-SAS 600GB x 24
RAID1（1D+1M）x 3RG +RAID1+0（8D+8M） x 1RG + 2HS

MDS RX300 S8 2台
MDT DX200 S3 1台
OL-SAS 600GB x 11
RAID1（1D+1M）x 3RG +RAID1+0（2D+2M）x 1RG + 1HS

総性能: 5.76TFLOPS
総コア数: 144core
総主記憶容量: 512GBOSS RX300 S8 16台
OST E5560 16台
DE6600 48台
NL-SAS 4TB x 3488
RAID6（10D+2P）x 288RG + 32HSOSS RX300 S8 2台
OST E5560 1台
OL-SAS 900GB x 42
RAID6（8D+2P）x 4RG + 2HS

RX4770 M1後継機 2台
4CPU（72 core）
主記憶容量：256GB

ゲイトウェイ

バックアップ装置
実効容量：85.5TB

ゲイトウェイサーバ
RX2540 M1 2台
2CPU（36core）
主記憶容量：128GB
ファイアウォール
IPCOM EX2700 IN 1台

Ethernet
ネットワーク外部記憶装置(FEFS)

所内

SNET

プラズマシミュレータ(大規模並列型計算サーバ)
FUJITSU Supercomputer PRIMEHPC FX100

主な仕様
運用期間

2015.6-2020.2

ノード数

2592

主記憶81TB(32GB/node)

演算性能

2.62PFlops

CPUコア数

82944

ノード間転送速度

50GB/s × 2(双方向)

外部記憶装
置容量

10 PB

主なランキング(2018.11)
2448ノード：プラズマシミュレータ共同研究
144ノード：LHD数値解析サーバ利用共同研究

Top500 84位（国内13位）
HPCG 33位（国内8位）

プラズマシミュレータ関連共同研究
数値実験炉研究プロジェクト
核融合プラズマ閉じ込めの物理機構解明とその体系化を行うと共に、予測性を有するシミュレーションコード体系、ヘリカル数値実験炉の構築を目指した研究を推進。
プラズマシミュレータ共同研究
A. 研究所提案型
数値実験炉構築を目指した８つの研究所提案に基づく課題
B. 応募者提案型共同研究
A以外で、核融合プラズマをその中心とし、自然科学の様々な研究分野で行われているシミュレーション関連の研究課題や新しい学問領域としてのシミュレーション科学の発展に貢献し得る課題。計算科学関連課題。

LHD数値解析サーバー利用共同研究
LＨＤプラズマを中心に、関連する核融合プラズマや基礎プラズマの数値解析、中小規模のシミュレーション、装置設計やデータ処理などに関する共同研究。

プラズマシミュレータの更新推移と運用実績
主要性能
期間
H21.3～H24.8
H24.10～H27.3

H27.6～H32.2

機種
SR16000モデルL2128ノード
SR16000モデルM1322ノード
PRIMEHPC
FX100
2592ノード

演算性能

主記憶容量

外部記憶装置容量

77TFlops

16TB

0.5PB

315TFlops

40TB

2.0PB

2.62PFlops

81TB

10.0PB

利用状況
年度

共同研究課
題数

利用者数
(所内/所外)

ジョブ本数

運用時間
(千CPU時間)

H24(phaseI)

56

169(60/109)

4,188

14,306H24(phaseII)

同上

同上

12,49647,901H25

53

158(59/99)

19,54887,457H26

59

162(62/100)

21,54085,359H27

60

166(53/113)

46,078564,836

H28

65

184(49/135)

70,041

703,882H29

67

175(45/130)

90,730698,944

ジョブスケジュール
Mon

Tue

WedThuFriSatSun

9:00
mediumsmall

medium
17:00
18:00

mediumlarge/
large1h

medium完全同期

large/
large1h

翌9:00• medium: 25-762ノード• large: 1921-2160ノード

large/
large1hlarge/
large1hlargeジョブ期間(large week)
Mon

Tue

WedThumediummediummediumlarge/
large1hlarge/
large1hlarge/
large1h

FriSatSun

9:00

small

large/
large1hlarge/
large1hlarge/
large1hlarge/
large1h

翌9:00• 年度に3回、1週間程度のlarge weekを設ける。
• すでに、5月、9月に実施済み。次は12/28-1/8の予定。

平成30年度運用状況• 利用者数核融合研 48名 大学等 141名 (2018年11月現在)• 保守

計画停電・保守2018年6月1日-6月7日
保守
2018年10月26日• 講習会・ソフト開発支援の実施

・利用者講習会 2018年6月27-29日
・プログラム最適化支援（常設)・プログラム開発支援(2019年5月末で終了、途中でも打ち切り）• 利用者との意見交換

プラズマシミュレータシンポジウム(2018年9月)
ユーザMLでの意見募集2019年度largeジョブ審査について• largeジョブ利用のためには、通常の共同研究申請書（1月締め切り）とは別に、申請をして審査を受ける必要がある。
• 2019年度を、第I期：4月~7月、第II期：8月~11月、第III期：12月~3月に分ける。第II期と第III期が審査対象。第I期は審査なしでlargeジョブ利用可。
• 申請締め切りは、第II期：6月末、第III期：10月末。
• このlargeジョブ審査も、一般共同研究委員会が行う。
• 「数値実験炉研究プロジェクトの推進に大きく貢献する課題」、「学術的に特に優れた成果が期待できる課題」を採択。
• 1課題80万ノード時間以上を想定し、1期の採択課題数は4件程度。
• 申請方法のまとめ：(1)通常の共同研究申請書に、largeジョブの計算資源を含めて計算時間を記入し、largeジョブ利用予定「有り」を選択して提出する。
(2)その上で、largeジョブ利用申請を別途行う。