Fusion Plasma Simulations andTheir Massively-Parallel Benchmarks
渡邉智彦 （核融合研/総研大）Tomo-Hiko Watanabe (NIFS/Sokendai)
協力者： 藤堂泰（核融合研/総研大）、ヴェンデル ホートン(テキサス大)Collaborators: Yasushi Todo (NIFS/Sokendai), Wendell Horton (U. Texas)
2009/9/3

SS研HPCフォーラム2009

1

アウトライン はじめに
 核融合研究について
 核融合プラズマシミュレーションの特徴
 プラズマ乱流輸送シミュレーション
 5次元運動論的シミュレーション結果の例
 核融合シミュレーションの大規模並列ベンチマーク
 使用したコードとシステムの特徴
 ベンチマーク結果
 新プラズマシミュレータでの性能
 まとめ
2009/9/3

SS研HPCフォーラム2009

22009/9/3

SS研HPCフォーラム2009

3

核融合研究について
 太陽や恒星を輝かせるエネルギー源
 軽い原子核を衝突・融合させ（核融合反応）、質量差分のエネルギーが発生。 E=mc2
 実験室では、重水素-三重水素の反応を利用
 核融合を起こすには高温高密度状態を一定時間維持（1014/ccを1億度で1秒間）=> プラズマ閉じ込め
Courtesy ITER organization(http://www.iter.org/sci/Pages/WhatisFusion.aspx)
2009/9/3

SS研HPCフォーラム2009

4プラズマ閉じ込め方式
磁場閉じ込め方式
トカマク型
磁場閉じ込め方式
ヘリカル型

レーザー方式ITER(Courtesy ITER organization;
http://www.iter.org/proj/Pages/Default.aspx)

大型ヘリカル装置（核融合研）
2009/9/3

SS研HPCフォーラム2009

激光XII号（大阪大学）(Courtesy Osaka U. ILE;
http://www.ile.osaka-u.ac.jp/
research/GOD/html/gallery.html)
5

核融合プラズマの特徴
 超高温ガス（プラズマ）閉じ込め=> 遠非平衡系
 電磁場揺動と結合した乱流=> 強非線形系
 幅広い時間・空間スケールにわたる現象=> マルチスケール性
 電子・陽子・丌純物・中性粒子・壁=> マルチ・フィジックス
2009/9/3

SS研HPCフォーラム2009

6大規模シミュレーションの役割
 理論解析だけでは丌十分 高温プラズマ計測の困難（測定器挿入丌可!） 計算機シミュレーションを用いた現象の理解

 最新の巨大実験装置は非常に高価
 事前評価・予測への貢献が期待される

 世界各国で国家的プロジェクト
 SciDAC, FSP (US), ITM-TF, Euforia (EU) ITER-BA (EU-Japan)
 国内研究機関として、日本原子力開発機構、核融合科学研究所
2009/9/3

SS研HPCフォーラム2009

7核融合研での主な取り組み
 磁場閉じ込めプラズマの乱流（異常）輸送
 ジャイロ運動論に基づく5次元シミュレーション

 高速粒子の閉じ込め
 高エネルギー粒子と流体のハイブリッド計算

 プラズマ丌安定性の流体シミュレーション
 レーザー・プラズマ統合シミュレーション
 基礎プラズマ・シミュレーション
資料提供：三浦英昭 氏 （核融合研）
2009/9/3

SS研HPCフォーラム2009

8

2009/9/3

SS研HPCフォーラム2009

9プラズマの異常輸送
 磁場閉じ込めプラズマの性能を劣化させる要因
 長年にわたって核融合研究の中心的課題
 プラズマ乱流が原因• 磁場閉じ込め装置の内部から外部に向けて熱・粒子が漏れ出る<= プラズマ乱流輸送<= 丌均一な密度・温度分布• 衝突理論にもとづく予測を遥かに上回る大きさ

2009/9/3

SS研HPCフォーラム200910理論研究における困難点
 閉じ込め分布から生じる乱流 (強非線形)
 Maxwell分布から外れた速度分布（遠非平衡）
 粒子の平均自由行程が装置サイズの数千倍
 通常の流体近似が成立しない (Knudsen数 > 103）
 速度分布関数を扱う運動論的解析が必要

速度空間=> ５次元シミュレーション

 閉じ込め磁場がもたらす強い非等方性 時間・空間のマルチスケール性

多次元
位相空間
実空間

 微視的な粒子軌道幅から巨視的装置サイズまで
 粒子の微視的運動時間から、輸送による拡散時間まで
2009/9/3

SS研HPCフォーラム2009

11トカマク型装置に発生するプラズマ乱流

速度空間上の分布関数の揺らぎ

装置内部から外部への熱輸送に重要乱流自身がつくる自発的流れ（ゾーナルフロー）が輸送を抑制• 総格子点数 > 500億点 / 5次元位相空間• 5TFlops, 2.6TB using ES 192 nodes, 24 hours.
ドーナツ型をしたプラズマ配位 の一部分において静電ポテン
シャル揺動（流れ関数）を表示 

2009/9/3

SS研HPCフォーラム200912自然界における流れと輸送
Zonal Flow in JupiterCassini Observation(Courtesy NASA/JPL/University of Arizona;
http://photojournal.jpl.nasa.gov/targetFamily/Jupiter)
2009/9/3

SS研HPCフォーラム2009

Zonal Flow in Plasma

プラズマ乱流が強いシア流を作り出し、輸送が低下する=> 自発的なシア流を強くできれば良い13

大型ヘリカル装置 (LHD)

１億度を達成 !
 平成元年５月核融合科学研究所「名古屋市 千種区」に設立
 平成７年８月大型ヘリカル実験棟竣工
 平成９年７月土岐地区へ移転 研究所所在地
を「岐阜県」に変更
 平成９年１２月大型ヘリカル装置（ＬＨＤ）完成
 平成１０年４月ＬＨＤ実験開始
 平成１６年４月大学共同利用機関法人「自然科学研究機構」設立、同機構の一研究所に再編








2009/9/3

SS研HPCフォーラム2009

高さ（ポート部含）
直径
重量
冷却部重量
プラズマ主半径
プラズマ平均小半径
プラズマ体積
磁場強度
磁場蓄積エネルギー

9.1m
13.5m
約1500ton
約850ton
3.9m
0.6m
30m3
3-4T
1-2GJ
14

2種類のLHD磁場配位を比較

左側の「内寄せ」磁場配位で強いプラズマ流が発生
Watanabe & Sugama, PRL (2009)2009/9/3

SS研HPCフォーラム2009

15強い自発的流れが輸送を低減
Eexp/EISS95

輸送強度の時間発展規格 100
化
閉
じ込め
時
間

10-1
Watanabe & Sugama,
PRL (2009)

Rax=3.6m
Rax=3.75m

Reactorcondition
10-1

Rax=3.9m

100101

*b
規格化衝突周波数 磁場配位の最適化により、異常輸送が低下する

Yamada et al.

ことを５次元運動論的シミュレーションで実証
 LHD実験とも定性的に一致
2009/9/3

SS研HPCフォーラム2009

16

2009/9/3

SS研HPCフォーラム2009

17大規模並列ベンチマーク評価
 核融合プラズマ －磁場閉じ込めプラズマ－ 乱流異常輸送や高エネルギー粒子挙動の解析に、大規模な運動論的シミュレーション研究が必要 近年のスーパーコンピュータ・システム
 システム構成の階層化・多様化
多数の並列計算ノード、ノード内共有並列、複数のプロセッサコア
 ネットワーク構成、ノード内のメモリ配置、プロセッサ構造 実際の大規模アプリケーションで性能を評価する必要
 シミュレーションのコスト評価 => 将来計画へ
 新システム導入時の基礎データ
2009/9/3

SS研HPCフォーラム200918

ジャイロ運動論的Vlasovシミュレー
ション: GKV トカマクやヘリカル系プラズマの運動論的乱流輸送シミュレーション
 5次元位相空間上のジャイロ中心分布関数とそれが作る電場（流れ場）の時間発展を追跡

2009/9/3

SS研HPCフォーラム2009

19

MHD‐高エネルギー粒子ハイブリッ
ドコード：MEGA トカマクおよびヘリカル系プラズマにおけるトロイダルアル

ヴェンモードと高エネルギー粒子挙動解析に適用
 MHD（流体）と高エネルギー粒子運動（PIC）の結合

資料提供：藤堂 泰 氏 （核融合研）
2009/9/3

SS研HPCフォーラム200920使用したコードの特徴
 GKVコード （5D ジャイロ運動論的シミュレーション）
 3次元空間差分 => MPIで並列化、3次元領域分割
 2次元スペクトル=> FFT lib.、自動並列で手続き呼び出し 2方向の reduction 演算 => 2種類のcommunicator 利用 MEGAコード （粒子と流体のハイブリッド）
 場と粒子ともに3次元領域分割 => MPI並列のみ
 電磁場と流体量 => 差分法
 両コードともメモリー・スループットへの要求が比較的高い
 歴史的には、ベクトル機で開発されてきた
2009/9/3

SS研HPCフォーラム2009

21

GKVコードでの並列化
F( i, j, k, l, m)2次元実FFT 差分法、FFTの多重ループ
分割なし、同一rank 3次元領域分割、データ分散
ベクトル化 最外ループでスレッド（自動）並列
Reduction演算

FFTのスレッド（自動）並列を使った手続き呼び出し!cdir cncall(SX-7, ESでの例)!poption parallel(SR16000での例)!OCL INDEPENDENT(fft)(FX1での例)
do m = 1, nm
call fft(f(:,:,:,:,m), … )end do2009/9/3

SS研HPCフォーラム2009

22

MEGAコードでの並列化
流体量と粒子の３次元分割

粒子分布を格子へ割り付け粒子に働く力を場の量から求める

 MEGAコード （粒子と流体のハイブリッド）
 場と粒子ともに3次元領域分割 => MPI並列のみ
 電磁場と流体量 => 差分法

2009/9/3

SS研HPCフォーラム200923使用したシステム
システム

プロセッサ

ノード数

コア数/ノード

理論最大
性能 TF

メモリ/ノードGB

SX-7@NIFS

SX-7

5

32

1.41

256

地球シミュレータ

SX-6

640

840

16

HPCx@UK

Power 5

160

16

15.36

32

SR11000@東大Power 5+128

1618.84128

Franklin@NERSC

Opteron (D)96602101.5

4

Ranger@U.Texas

Opteron (Q)

3936

16503

32

（旧）地球シミュレータ（海洋研究開発機構）
2009/9/3

Ranger (Courtesy TACC, Univ.

Franklin (Courtesy NERSC;Texas; http://www.tacc.utexas.edu)

http://www.nersc.gov/)

SS研HPCフォーラム200924

ベンチマークテストの問題規模
 GKV - small: Main variable size: (85, 169, 160, 64, 32), complex*16

 456.8GF on SX-7/5 nodes

 GKV - large: (= Small x 8)

1つの配列サイズ：約560GB
格子点数： 約1700億点

 Main variable size: (85, 169, 320, 128, 64), complex*16

 MEGA - small: Main variable size: (512, 512, 640), real*8
 310.7GF on SX-7/5 nodes MEGA - large: (= Small x 8)

格子点数： 約13億点
粒子数もほぼ同等

 Main variable size: (1024, 1024, 1280), real*8
2009/9/3

SS研HPCフォーラム2009

25

GKVコードの実行性能
Large
Small機種

Nodes

Cores

Peak

実効Flops

ピーク性能比旧PS比地球シミュレータ

2562048

16TF~ 5.9TF

~37%

13.2

Franklin

8,192

16,384 83.2TF~ 6.4TF

~7.7%

14.4

Ranger

1,024

16,384~ 2.25TF

~1.8%

5.0

2009/9/3

128TF

SS研HPCフォーラム2009

26

MEGAコードの実行性能
Large

Small

機種

Nodes

Cores

Peak

実効Flops

ピーク性能比旧PS比地球シミュレータ

2562048

16TF~ 5.1TF

~32%

16.8

Franklin

8,192

16,384 83.2TF~ 3.4TF

~4.0%

11.1

Ranger

1,024

16,384~ 1.4TF

~1.1%

4.5

2009/9/3

128TF

SS研HPCフォーラム200927演算コアあたりの性能
 線形にスケールする領域で演算コアあたりの実行性能を評価
 演算性能 / core
 SR11000 : 9.2 Gflops
 Franklin : 5.2 Gflops
 Ranger : 8.0 Gflops
 メモリバンド幅 / core
 SR11000 : 8.5 GB/s
 Franklin : 5.3 GB/s
 Ranger : 2.65 GB/s
 特にGKVはメモリスループット
ネックの傾向が強い
2009/9/3

SS研HPCフォーラム2009

28

2009/9/3

SS研HPCフォーラム2009

29

新プラズマシミュレータ SR16000
SR16000 モデルL2
プロセッサノードシステム

名称

POWER 6

周波数

4.7 GHz

演算性能

18.8 Gflops / CPUコア

CPUコア数

32

搭載メモリ

128 GB

ノード数

128 ノード

ネットワーク16 GB/s ×2

 核融合研の新システム

 Linpack性能

 平成21年3月運用開始

Top 500 順位

Rmax

Rpeak

Rmax/Rpeak

65 (June 2009)55.6577.00
72.27%
Phase 1 : 2009年3月 - 2012年8月
Phase 2: 2012年10月 - 2015年3月• 総主記憶容量32TB, 総演算性能315Tflops, 外部記憶容量2.0PB
2009/9/3

SS研HPCフォーラム2009

30

システムの特徴…

・ ・ ・ ×6
(外部記憶装置)
AMS2300
総容量 ：0.5PB

×48

大規模並列型計算サーバ：
SR16000モデルL2128ノード（77TFLOPS、総主記憶容量16TB）
主記憶容量128GB/ノード
ノード間ネットワーク：16GB/s（片方向） × 2
フロントシステム：1ノード
データ解析サーバ：1ノード 主記憶容量64GB

ゲートウェイ

プログラム開発支援サーバ
SR16000モデルVL1 1ノード
POWER6 5.0GHz(64コア)、主記憶容量1TB
SR16000モデルL2 2ノード
主記憶容量 256GB/ノード(外部記憶装置)
AMS2300
総容量：0.2PB×20

可視化処理サーバ ×4
HP DL785(32cores)×2nodes
主記憶容量 64GB/ノード

ファイルサーバ
Hitachi Essential
NAS Platform/home領域：5TB（バックアップ実施）

凡例 大規模シミュレーション・コードのベンチマークで性能評価 (Vlasov, Hybrid, PIC, 3D FFT)
 大規模シミュレーションの実行を推奨

Fibre Channel(400MB/s)
10Gbps Ethernet
1000Base-T
1000Base-SX

 全128ノードを利用したジョブも通常運用で実行
2009/9/3

SS研HPCフォーラム200931計算ノードの特徴
 1ノード、16CPUソケット、32プロセッサ・コア
 4CPUソケットで一つのMCM密結合ブロックを構成
 SMT(Simultaneous MultiThreading)を用い、1ノード64論理コアとして利用

CC CC
CC CC

CC CC
CC CC

CC CC
CC CC

CC CC
CC CC

 GKVでは、1MPIプロセスで4-16スレッドの自動並列ノード構成の模式図

 主記憶容量 128GB/ノード

 ノード間通信 16GB/s （片方向）×2
2009/9/3

SS研HPCフォーラム2009

32

新Plasma Simulator でのGKV コードの実行性能
Small

コード
GKV (optimized)

Large

Nodes Cores
128

4,096

PeakFlops

ピーク性能比

旧PS比

77TF~ 5.7TF

~7.4%

13.5

 ループ融合・インライン展開
 ロード・ストア削減、キャッシュ利用効率向上

 通信用変数のパッケージ化・同期通信
2009/9/3

SS研HPCフォーラム200933

自動並列化の実行性能
演算総量の99.5%以上をコンパイラで自動並列化

 自動並列化機能によりスレッド並列を実行（SMT利用）
 32ノード(1024演算コア)を用いて、GKV (small size) を実行
 MPI通信の削減により効率化 => 20%程度の性能向上
 16スレッド（8演算コア）まで良好な特性 （0番スレッドは通信コスト含む）
 オリジナルコードには、並列手続き呼び出しの指示行2行のみを挿入
2009/9/3

SS研HPCフォーラム2009

34

新Plasma Simulator でのMEGA コードの実行性能
Large

Small

コード
MEGA (optimized)

2009/9/3

Nodes Cores
128

4,096

Peak

Flops

ピーク性能比

旧PS比

77TF~ 2.9TF

~3.8%

9.6

SS研HPCフォーラム200935

ベンチマーク結果のまとめ
 GKV, MEGAともに、高い並列性能を実証
 地球シミュレータ => ベクトル化、自動並列、MPI並列
 Franklin => 16,384 cores 利用でも高いMPI並列性能
 新プラズマシミュレータ=> 自動並列（4-16SMP）とMPIのハイブリッド並列が、通信とメモリの削減に有効(GKV) どちらのコードも、メモリ性能に対する高い要求
 特にGKVは広いバンド幅を必要とする
 MEGAは高並列時に通信ネックの傾向が現れやすい
 新システム導入に際し有用な基礎データを提供
2009/9/3

SS研HPCフォーラム200936

より新しいシステムとの比較(1)

GKV
Small

GKV
Large

機種

Nodes CoresPeak

実効Flops

ピーク性能比Q/D比Franklin(Q-core; 2.3GHz)

8,192

16,384147.2TF~ 5.7TF~3.9%> 0.9464

6.4TF~1.1TF~17%-SX-9@東北大2009/9/3

SS研HPCフォーラム200937

より新しいシステムとの比較(2)
MEGA
Small

MEGA
Large

機種

Nodes CoresPeak

実効Flops

ピーク性能比Q/D比Franklin(Q-core; 2.3GHz)

8,192

16,384147.2TF~ 2.9TF~2%> 0.85464

6.4TF~729GF~11%-

SX-9@東北大
2009/9/3

SS研HPCフォーラム200938

今後に向けて ITER計画をはじめとした種々の核融合プラズマの性能予測に向け、プラズマ乱流輸送の研究は今後さらに重要
 イオン温度勾配乱流による局所輸送=> 大規模なプラズマ分布構造の形成=> 長時間にわたる高精度=> マルチフィジックス（電磁揺動、電子応答、質量比）
 大規模なスーパーコンピュータ利用の需要は今後も増大

2009/9/3

核融合研、JAEA、 ITER-BA計算センター、次世代スーパー・コン
ピュータ
SS研HPCフォーラム2009

39