学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

jh130040-NA20

輻射流体シミュレーションコードの高速化手法に関する研究
長友英夫（大阪大学レーザーエネルギー学研究センター）
概要 レーザープラズマの数値計算では、様々な物理モデルが含まれている。特にプラズマ流体と光など、異なる時間、空間スケールの物理が混在するため、数値解析は困難を伴う。本課題では、このようなコードの計算の高速化のために２次元一般曲線座標系における輻射輸送、および熱伝導を扱う拡散方程式の陰的解法の反復法についての改善を試みる。特に本研究課題では、これまで共有メモリ上で自動、あるいは OpenMP で並列していた部分に関して MPI、HPF 等を用いることによって分散メモリ上でも並列計算を行えるようにし、大規模シミュレーションを実現可能にする。

1. 研究の目的と意義利便性を考え、可能であれば HPF(High Performance

レーザープラズマなど高温高圧状態を伴うプラFortran),XscalableMP[2]などの並列アプリケーショ

ズマの流れ場では、輻射輸送の影響が無視できなンを用いた並列化も検討した。

いため流体コードに直接組み込んで計算を行う必これら最適化されたコードでは、これまで大規要がある。通常、流体と輻射輸送を同時に解くた模計算が必要でシミュレーションが困難であった

めには光子の運動方程式を拡散方程式に近似して短波長擾乱を伴うレーザー駆動レーリー・テーラ求める。ただし、レーザープラズマでは輻射エネ

ー不安定性の解析などの実用的なシミュレーショルギーのレンジが大きいことから、エネルギー毎ンに結びつける。の拡散方程式を解く方式、多群拡散法を用いてお現在、大阪大学サイバーメディアセンター(以下、り、通常、これら拡散方程式は反復法で求解する

阪大 CMC)の SX-8R、および SX-9 を利用してお[1]。しかし、拡散方程式解法における計算負荷はり、反復法についてはベクトル化されたライブラ

大きく、一般的なレーザープラズマ解析では総 CPUリ、あるいは自前のコードを使っている。これら時間の 95%以上が反復法に費やされている。

を用いたコードは、自動並列、計算効率が格段に

これは、反復法を解くアルゴリズムの並列化が向上し高速化されるだけでなく、分散メモリで解難しく、ベクトル化のチューニングしか施されてくことができるようになると、これまではシミュいないことが主因である。並列化に関しては、多レーションを行うことができなかった計算格子点群拡散近似していることから、エネルギー毎にノ数のシミュレーションも可能になる。レーザー駆ード内並列化(エネルギー分割法)することによっ動ターゲットの流体力学的不安定性について、よてある程度の高速化は可能になっている。しかしり短い波長の擾乱の挙動を調べることができるよながら、エネルギースペクトル毎に反復の収束性うになる。さらに、３次元シミュレーションにもが異なることから並列化の効率が悪く、さらに、繋がる重要なステップであると考える。

エネルギースペクトルの数より CPU 数が多い場合

ここでは、レーザープラズマシミュレーションや分散メモリ環境では並列化率が低下する。このにおける輻射輸送の多群拡散近似法における拡散点を改良し、多ノードを用いた並列計算が行える方程式の解法に主眼をおくが、同じ手法は類似しようにする。さらに、各エネルギー内で領域分割、た反復法を用いる解法すべてに適応可能で、熱伝並列化することによって計算の高速化を図り、よ導方程式、磁場の拡散輸送など様々なコードの最り大規模計算を可能にすることを最終目標とした。 適化が可能になる。これらは、他の研究分野でも活用可能でそれら知見は阪大 CMC と共有、公開す

ここでは主に MPI による並列化を考えているが、
1

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

ることによって、他の利用者にも有益なものとなOpenMP、あるいは sxf90 の指示行を加えることにる。

よってエネルギースペクトル毎にマクロタスク型並列処理を図ることによってノード（共有メモリ）

2. 当拠点公募型共同研究として実施した意義内で高速化が図れることを確認した。そこで、ま(1) 共同研究を実施した拠点名および役割分担ず、OpenMP から比較的容易に分散メモリによる並大阪大学サイバーメディアセンターで実施し、列処理に拡張できる HPF による並列化への拡張を

特に MPI(HPF)化に関する技術的支援を中心に、共試みた。

同研究として実施した。

エネルギースペクトル毎に拡散方程式を解く多群拡散近似法を採用しており、このスペクトル方(2) 共同研究分野

向に CPU 数に応じて空間分割を行った。これは、超大規模数値計算系応用分野

OpenMP と同様に HPF の指示行を加えることによって分割したので実際にはソースコードに指示行を(3) 当公募型共同研究ならではという事項など5-6 行追加しただけである。それ以外の部分には物理モデルに関するコード研究は、研究代表者

自動並列のマイクロタスク機能を用いて並列化しで行えるものの、計算機に依存する計算法についた。ては、情報基盤センターなどで計算手法の専門家の協力が必要であった。今回は、ベクトル・並列計算機の効果的な活用方法について、阪大 CMC と共同研究を実施した。

3. 研究成果の詳細と当初計画の達成状況(1) 研究成果の詳細について
これまでのシミュレーションでは、並列化は自動並列で行っていたため、共有メモリ上で実行できる規模のシミュレーションとしての限界があった。一方で、コードには流体、輻射輸送、レーザー光の光線追跡・吸収、状態方程式、輻射の放射率・吸収率のテーブル参照、等の様々なスケール

図１．並列化による CPU 数と計算時間の関係の物理モデルが含まれ、容易に並列化を行えない状況であった。そこで、今回は全計算量の約 95%

ベンチマーク計算は阪大 CMC の SX-9 を用いて行を占める輻射輸送部分の並列化を重点的に行い計った。計算格子点数は 300x61 で、輻射輸送は 32算効率の向上を試みた。輻射輸送では、多群拡散群で近似している。図１に CPU 数と経過時間の結近似法を用いており、群数（通常は 32 群）の拡散果を示す。単にマクロタスクで自動並列化した場方程式を反復法で解く。また、時間的に移動する合、4CPU で 132 秒であった。また、従来の計算で一般曲線座標系を用いているため、歪んだ計算格はノード内共有メモリの制約から最大 16CPU の計子でも収束するよう、反復法には２次元９点の算が限界であったが、これによってより多くの CPUILUBCG 法を採用している。

を用いた並列計算が可能になった。

特に、これまでは並列処理を sxf90 による自動計算例として、レーザー照射によるプラスチッベクトル・並列機能に依存していたが、今回の共クシェルの爆縮において外部磁場を与えた場合の同研究の準備段階において、輻射輸送については磁場圧縮のシミュレーション結果を示す。初期に2

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

300T の磁場が与え、爆縮に従って磁場が圧縮する域付近は、物理量の急峻になる場合があり、反復様子が捉えられるようになった。図１に、その過法の安定的な解法を追及する必要がある。さらに、

程の磁力線、および密度分布を示す。この 300ps

実際は３次元シミュレーションが求められている

後に爆縮は最大圧縮に到達するとともに、磁場もが、現状では２次元シミュレーションしか行えて10kT を超える高強度場を形成することが明らかにいない。今回の手法は３次元シミュレーションになった。

も活用可能であり、検討を進める。
なお、今回並列アプリケーションとして採用した HPF だけでなく、XcalableMP[2]なども利便性が高いのではないかと考える。今後のコード開発についても活用を検討する。
参考文献[1] Nagatomo H. et al Phys. Plasmas 14 056303, 2007.
[2] 次世代並列プログラミング言語検討委員会(http://www.xcalablemp.org/index-jp.html)

図２．コーン付シェルの爆縮途中の磁力線（上）および密度分布（下）。

5. 研究成果リスト(1) 学術論文（投稿中のものは「投稿中」と明記）
H. Nagatomo, T. Johzaki, A. Sunahara, H. Sakagami,(2) 当初計画の達成状況について

K. Mima, H. Shiraga and H. Azechi, “Computational

エネルギースペクトル毎に分割されたエネルギ

study of strong magnetic field generation in a

ー群を MPI、あるいは HPF によって並列化された

cone-guided implosion, Nucl. Fusion 53 063018

ことによって、分散メモリ上で処理できるように(2013)なった。この結果、これまでノード内のコア数で制限されていた並列度がより大きくとれるように(2) 国際会議プロシーディングス

なった。しかしながら、当初の目標としていた空H. Nagatomo, T. Sano, T. Johzaki, A. Sunahara, H.

間方向の分割によって並列度を増やすことを試み

Sakagami, K. Mima, “Compression of the Magnetic

たが、反復法の収束安定性の悪化などの問題に直field in a Coned-guided Implosion”, Journal of

面し改善されなかった。

Physics, to be submitted.

4. 今後の展望(3) 国際会議発表

今回の改善によって可能となる大規模計算では、シェル表面の微細な擾乱(モード 100-200 程度)を

H. Nagatomo, T. Sano, T. Johzaki, A. Sunahara, H.
Sakagami, K. Mima, “Compression of the Magnetic

考慮した計算が実行可能となった。さらなる並列

field in a Coned-guided Implosion”, 7th International

度を高めるために、空間分割あるいは方向分離にConference

よって並列度を向上させることができないか検討

onInertialFusion

andScienceApplications, Nara, Sep.12, 2013.

を続ける。また、反復法については、代数的マル

H. Nagatomo, T. Sano, T. Johzaki, A. Sunahara, H.

チグリッド法など反復法の改善が急務である。特Sakagami, K. Mima,“Magnetic field compression in anに、レーザー吸収領域や希薄プラズマと接する領

implosion for fast ignition”Annumal meeting of3

学際大規模情報基盤共同利用・共同研究拠点 平成 25 年度共同研究 最終報告書 2014 年 5 月

Annual meeting of American Physical Society,
Division of Plasma Physics, Denver USA, Nov.17,
2013.
(4) 国内会議発表
長友英夫、城﨑知至、砂原淳、佐野孝好、坂上仁志、西口彰夫、三間圀興, 「爆縮による外部磁場のシミュレーション」 日本物理学会秋季大会
2013 年 9 月 25 日、徳島大学常三島キャンパス.
長友英夫、城﨑知至、砂原淳、坂上仁志、藤岡慎介、中井光男、白神宏之 「高速点火実験炉におけるコーン付爆縮に関する物理と炉心設計」第 30 回
プラズマ・核融合学会年会, 2013 年 12 月 6 日、東京工業大学.
長友英夫、朝比奈隆志、佐野孝好、城﨑知至、砂原淳、坂上仁志、三間圀興, 「外部磁場中のレーザー爆縮の輻射流体シミュレーション」 第２７回
数値流体力学シンポジウム 2013 年 12 月 17 日、
名古屋大学東山キャンパス.
長友英夫、朝比奈隆志、佐野孝好、城﨑知至、砂原淳、坂上仁志、西口彰夫、三間圀興, 「キロテスラ級磁場のレーザー爆縮への影響」物理学会 第69 回年次大、2014 年 3 月 27 日、東海大学湘南キャンパス.
(5) その他（特許，プレス発表，著書等）

4