学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

jh200019-NAH

マルチスケール宇宙プラズマ連成シミュレーションの研究
三宅 洋平（神戸大学）
概要
異なる時空間スケールや素過程をターゲットとする複数のシミュレーションモデルをプロセス間通信により協調動作させることで、マルチスケール／マルチフィジックスの宇宙プラズマ連成シミュレーションを実現する。今年度はこの目的のために開発したコー
ド結合フレームワーク CoToCoA の動作検証を実施するとともに、具体的な物理計算モデルとして地球磁気圏変動と人工衛星帯電現象の結合系の事例について、連成計算に向けた結合モデルの設計と検証を実施した。

1. 共同研究に関する情報

2. 研究の目的と意義(1) 共同研究を実施した拠点名

本研究の目的は、異なる時空間スケールや素神戸大学・九州大学・京都大学・東北大学・過程をターゲットとする複数のシミュレー

名古屋大学・北海道大学の複数の研究者がションモデルをプロセス間通信により協調参加する共同研究であり、京都大学および動作させることで、マルチスケール／マルチ北海道大学の大規模計算資源を利用する。

フィジックスの宇宙プラズマシミュレーションを実現することである。過去に研究が行(2) 共同研究分野

われてきたマクロ－ミクロ連結階層シミュ

超大規模数値計算系応用分野

レーションのように、マクロ計算プログラム内部にミクロ計算部を完全に埋め込む実装(3) 参加研究者の役割分担

方式では、解析ターゲットの現象に特化した（汎用性を欠く）コード実装が避けられず、

三宅洋平(神戸大学)
南里豪志(九州大学)

研究統括、宇宙プラズマ連成モ
デルコード開発と応用
連成フレームワーク CoToCoAの開発

中島浩(京都大学)

高効率プラズマ粒子計算手法の検討加藤雄人(東北大学)

メソスケールプラズマシミュ
レーションモデルの開発

算から抽出する」、といった緩やかなコード

深沢圭一郎(京都大学)
岩下武史(北海道大学)
大村善治(京都大学)
臼井英之(神戸大学)

グローバルプラズマシミュレーションモデルの開発
大規模連立 1 次方程式並列求解手法の検討
プラズマ波動粒子相互作用の理論的アプローチ
月磁気異常・太陽風相互作用のシミュレーション解析間連携を実現することをターゲットとする。

中澤和也(神戸大学)

宇宙プラズマ連成シミュレー
ションの実装・実行・評価

は 、 MPMD （ Multiple Program Multiple

開発・維持コストが非常に高いことが課題であった。本研究では、例えば「マクロ・ミクロ間の片方向の情報伝達」や、「ミクロ計算解析開始をトリガーする判断基準をマクロ計

これを柔軟かつ省コストに実現するためのコード間結合フレームワーク CoToCoA を構築し、それを宇宙プラズマ分野の連成シミュレーションに適用することを目的とする。
本共同研究で開発を進めている CoToCoA
Data）モデルに基づくコード間結合フレーム

表 1: 研究の役割分担ワークである。本フレームワークにおいて、結合対象の各コードは、全プロセス空間を分割した部分プロセス空間（サブコミュニケー1

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書タ）内で従前通りの計算を進めつつ、必要に可欠な研究テーマであり、拠点公募型共同研応じて他のコードとの情報のやりとりを行究として実施した意義は大きい。

う。またプロセス空間内に、コード間情報伝達の管理、同期、排他制御を担う Coupler プ

4.

前年度までに得られた研究成果の概要ロセスを含める。これにより、結合対象コー

継続元の JHPCN 課題では、本課題で結合対ドのプログラム修正、および実行性能への影象となる個別の計算コードの高効率実装に響を最小化する。

取り組んできた。これらの成果は計算科学・2019 年度までに課題代表者らが実施して計算機科学分野の連携によって創出されてきた「超並列宇宙プラズマシミュレーションきたものである。以下にその概略を記述する。の研究」において、当該分野で幅広く用いらプラズマ粒子 PIC シミュレーションに関しれている粒子－格子ハイブリッド型シミュて、プロセス間の負荷不均衡を回避できる革レーションの高効率並列実装法の探求を行新的な領域分割型 MPI 並列化手法 OhHelpってきた。今年度は、Ⓐ継続元の JHPCN 課題が開発され、優れた分散メモリ並列効率を得において個別に開発・チューニングされてきることが可能となった。これに続いてメニーたシミュレーションコードを CoToCoA フレー

コアアーキテクチャにおける PIC 計算で想ムワークにより連携動作可能であることを定される技術的課題と、それらに対する個別確認するとともに、Ⓑ次世代の宇宙天気予報的解決法を提案した。

システムの構築に向け、意義が大きいと認め

応用分野においては、全粒子モデルプラズられる「宇宙環境変動＋人工衛星帯電現象のマ計算コード EMSES を用いた 3 次元シミ連成解析」の基盤となる数値技術を確立するュレーション解析により、近年月探査衛星でことを念頭に置いて研究開発を推進した。

発見された縦孔地形周辺の帯電ダスト環境を明らかにした。また、放射線帯の高エネル

3.

当拠点公募型研究として実施した意義

ギー電子生成に重要な役割を果たすコーラ

部分プロセス空間内で独立に動作する複数ス放射の発生過程を再現する計算機実験をのコードが高効率かつ正しく情報伝達を行実施し、コーラス放射の波動特性が背景磁場うには、メモリ一貫性に配慮した上でリモー強度の空間構造に応じて大きく変化するこトメモリアクセス方式に基づいた並列プロとを明らかにした。さらに強磁場プラズマ中グラムを記述する必要があり、計算機科学分では、人工衛星などの固体表面で発生した乱野の知識と経験が必要である。一方で、れが、長距離に渡って波及することを初めてCoToCoA のような、連成フレームワークを数値シミュレーションにより突き止めた。

設計する上では、実際の連成アプリケーショ

MPMD モデルに基づく連成計算フレームンでやり取りが発生するデータの種別やサワークのアイデアに基づき、フレームワークイズ、頻度に応じて仕様を策定する必要があを中核部分を構成する連成モジュールの開り、ソフトウェア設計者と利用者間のコデザ発を実施した。当該成果が今年度の課題実施インが必要である。また個別のシミュレーシに引き継がれている。

ョンコードの効率化作業においても、両分野5.の協働が極めて有効であることは、申請者の今年度の研究成果の詳細

これまでの JHPCN 課題の成果が示してきた宇宙空間に存在する人工衛星は、周囲に満ちとおりである。このように本課題は、計算科ているプラズマとの接触などの影響で帯電学と計算機科学分野の緊密な連携が必要不する。この帯電現象が衛星障害や、科学衛星
2

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図 1 衛星周辺地球磁気圏グローバル MHD シミュレーションから抽出されたプラズマ密度分布のスナップショット．本検証では黄色の点の位置に固定した単一の人工衛星の帯電計算を実施する．今後、CoToCoA 連成計算フレームワークに提案帯電解析を当てはめることで、地球磁気圏変動シミュレーションを実施しつつ、その中を移動する衛星群の複数同時帯電計算を実現させる構想である（2021 年度以降の課題）。
観測へ悪影響を引き起こすことは良く知らトーム発生時には、米国の Galaxy15 衛星れている。人工衛星帯電現象の定量評価のたが実際に障害を起こしていることが報告さめ、プラズマ粒子計算手法を用いた数値シミれている[Ferguson et al., 2011]。今回は事前ュレーション解析が活用されている。しかし、に当該イベントを再現した MHD シミュレー

多数のプラズマ粒子の運動を計算する当該ションから得られたプラズマ圧力と密度の手法の計算コストの高さ故に、実行できるシデータを元に衛星帯電計算を実施した。図 1

ミュレーションは長時間の現象解析を行うに MHD 計算で得られた、ある時刻での磁気ことが困難であり、宇宙天気現象に伴って圏周辺のプラズマ密度分布を示す。本検証で時々刻々と変動する環境パラメータを反映は簡単のため、計算対象とする人工衛星は図した帯電解析は困難であった。本研究では、中に黄色で示す位置に固定されているもの太陽活動度に応じてダイナミックに変化すと仮定し、時間変動するプラズマパラメータる宇宙環境を考慮しつつ、従来に比べて長時に対して衛星電位の時間発展を計算する。

間の衛星電位計算に対応可能な数値手法をMHD 計算から得られたプラズマ圧力と密度提案する。のデータを元にプラズマ温度を算出し、帯電提案手法の構成とその開発状況は 6 節の③計算の入力値とする。衛星帯電計算には電子項に述べることとし、本項ではその妥当性ととイオンそれぞれの温度情報が必要となる有用性の検証のために実施した解析結果をが、MHD 計算ではイオンと電子を分離する詳述する。太陽フレア噴火由来のコロナ質量ことは原理上できないため、電子とイオンの放出による地磁気サブストームが発生した

温度は同一の値であると仮定している点に2010 年 4 月 5 日の地球磁気圏環境に、仮想注意が必要である。

的な人工衛星が曝されたことを想定し、その図 2 に本検証実験の計算結果を示す。上段衛星の帯電現象を解析した。なおこのサブスから順に MHD 計算から算出したプラズマ密3

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図 2 提案フレームワークを用いた人工衛星帯電計算の検証．(a) MHD 計算から得られたプラズマ密度．(b) MHD 計算から得られたプラズマ温度．(c) プラズマ環境変動を考慮した人工衛星電位予測結果．
度と電子温度、最下段が本フレームワークを粒子シミュレーションで計算した定常電位用いた衛星電位計算結果を示す。それぞれのの値である。衛星が導体で構成されていると物理量の時間発展を比較すると、衛星電位は想定した場合の提案フレームワークによる電子温度との逆相関が認められる。一般に、電位計算値は定常電位とほぼ一致している。

電子とイオンからなる 2 成分プラズマ中に物

これは導体で構成された衛星の静電容量か体を配置すると、熱速度の大きい電子電流がら求まる帯電時定数が、環境パラメータの時支配的となるため、物体は電子温度程度に負間変動スケールに対して十分に短いため、衛に帯電することで周辺の電子の一部を排斥星電位が環境変動に対して瞬時に応答できし、イオンとの電流平衡を成立させるようにているためと解釈できる。これに対して、衛ふるまう。本検証計算で得られた衛星電位の星表面が誘電体で被覆されていることを想時間変化もこのような基本的性質を反映し定した電位計算値は、環境変動に対して時間た結果となっている。

遅れを持つ。誘電体の静電容量は導体に比べ図 2(c)において、青のデータ点で表される

大きく、その帯電時定数は大きい。これによ

電位は、その時刻でのプラズマ条件を静的パり、衛星電位が環境変動に追随できず、時間ラメータとして入力した従来型のプラズマ遅れを持つような結果が得られたと考えら
4

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

間結合フレームワーク CoToCoA を開発し、れる。
以上の検証計算により、衛星の構成要素毎一般公開を開始した。のプラズマ環境変動に対する電位応答差の異種プラズマシミュレーション間およびポ評価に対し、提案フレームワークが有効であスト処理計算とのコード間結合検証：ターゲることを示した。過去の人工衛星障害の事例

ットアプリのうち、MHD とハイブリッドのほとんどは、衛星構体内の部分帯電が引きPIC 連成シミュレーションテストモデルを金となっているため、衛星部材毎に環境変動実装し、性能評価を行った。磁気圏 MHD シに対する電位変動を予測できることは重要

ミュレーションの結果から磁力線を計算し、である。現実には、導体部と誘電体部は互いハイブリッド PIC シミュレーションに繋げに接着された構造となっており、互いの電位るためにかかる通信部分の時間を評価した。

差を緩和する効果を示す導電電流の考慮は今年度は結合対象のコードが扱うデータサ必須である。現状ではモデル化されていないイズに対するスケーリングを測定し、検証をこれらの物理要素を提案フレームワークに実施した。その結果を図 3 に示す。図中の追加していく作業が必要となる。将来的には

sampling は 計 算 時 間 で あ り 、 そ の 他 は提案手法とグローバル磁気圏シミュレーシ

CoToCoA 関数の実行時間となる。CoToCoA

ョンや衛星観測データの組み合わせにより、関数の中でも大きな処理時間を占めるポー

宇宙天気イベントに対する衛星障害発生リ

リング処理に着目しても、計算時間スクを定量的に評価可能になることが期待（sampling）の 1/10 程度の時間に抑えられされる。ており、データサイズによらず CoToCoA フ
レームワークを有効に利用できることが確

6.

認された。

今年度の進捗状況と今後の展望①複数の並列プラズマシミュレーションコ

次に衛星プラズマ環境全粒子シミュレーードによる結合計算の実証

ションコードとプラズマ粒子速度分布関数

申請者らが過去の JHPCN 課題で開発したソルバを CoToCoA により結合し、全粒子コ並列シミュレーションコードを活用した連ード側が適時、他方のプログラムにプラズマ成実証実験に向け、下記検討を行った。

粒子速度分布計算の要求と、必要なデータを連成フレームワークの開発と公開：本研究で他方のプログラムに送信する。

は、結合対象の複数のシミュレーションモデ

Cray XC40 システムを用い、1283 立方格子

ルに関して、プログラムとしての独立性を可の 3 次元検証計算において、「全粒子モデル能な限り維持しつつ、連成計算を達成するこ1 ステップあたりの計算時間」、「テスト粒子とを重視している。各々のシミュレーション

計 算 が 完 了 す る ま で の 時 間 」、「 1 回 のモデル（並列プログラム）に対して MPI プ

CoToCoA 通信にかかる時間」の比を測定しロセスの部分集合から構成されるサブコミたところ、1:370:0.92 であった。測定結果よュニケータを割り当てるとともに、それらをり、テスト粒子計算の頻度を、全粒子モデル監視し、必要に応じて制御するコンダクタプ計算における 400 ステップに一回以下としログラムも動作させることで、複数モデル間た場合には、テスト粒子モデルによる速度分の協調動作を実現する。一方のモデルが自身

布計算時間は衛星プラズマ環境計算時間にの計算処理の進捗に応じて、他方のモデルに隠蔽され、全体の計算を律速しないことがわ計算要求を発行する動作モデルに基づき、ポかる。またその際に CoToCoA 通信コストはーリングなどの必要な機能を備えたコード無視できるほど小さいことがわかった。
5

京都大学

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図 3 MHD-ハイブリッド PIC 連成計算のデータスケーリング性能評価．
以上により、独立したシミュレーションコする宇宙天気予報システムのニーズが高まードを MPI により複数同時に起動可能であっている。当該システムに人工衛星帯電予測ること、プロセス間通信によりコード間で必機能を備えるためには、時々刻々と変化する要な情報のやり取りを実施可能であること、地球磁気圏環境を再現し、かつ得られた環境その際の通信オーバーヘッドが物理計算を下での衛星帯電評価を実施する必要がある。

大きく律速しないこと、が確認された。

従来はこれらは時空間スケールの異なるシミュレーションモデルで独立に研究されて②メニーコア型クラスタ向け高効率プラズきた。そこで連成計算の考え方に基づき、地マ計算手法の開発と性能モデリング

球磁気圏環境変動と衛星帯電現象の 2 種の計連成シミュレーションにおいて、結合対象算を有機的に結合する仕組みを提案する。の各コードに適切な計算資源の割り振りを提案手法の基本設計は以下の通りである。

行うためには、問題に応じたコードの要求資準備段階として多数回のプラズマ粒子シミ源と計算性能を定量的に把握しておく必要ュレーションを実施し、様々な宇宙環境パラがある。最終的に性能に関するモデルを構築

メータに対応した衛星の電流電圧特性デーすることを目的として、詳細な計算性能測定

タベースを作成しておく。地球磁気圏グローを実施した。特にノード数に対する集団通信

バルシミュレーションの実行中に抽出したオーバーヘッドの増加率が、ノード内のプロ宇宙プラズマの圧力・密度の時系列データを

セス数 P とスレッド数 T の様々な配分方式入力とし、蓄積された電流電圧特性データベ（PT=コア数は固定とする）に大きく依存ースを参照して、衛星電位の時間発展方程式するという知見を得た。

を数値積分する。これにより変動する宇宙環境中に置かれた人工衛星の電位応答を評価③宇宙環境変動を反映した人工衛星帯電評する。連成の枠組みとしては、地球磁気圏グ価システムの確立に向けた取り組み

ローバルシミュレーションと（複数の）衛星社会インフラに影響を及ぼす宇宙環境のの電位時間発展計算の結合モデルとなる。

変動現象をリアルタイムにモニターし、予測提案手法の特徴は以下のとおりである。ま
6

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

図 4 磁気圏環境変動－衛星帯電評価フレームワークの構成．
ず電流電圧特性データベースを作成するプして妥当かどうかの検証を実施した。具体的

ラズマ粒子シミュレーションでは衛星電位には地球磁気圏グローバルシミュレーショを制御パラメータとして取り扱う。これによンと衛星電位時間発展計算の間で情報を受り、従来の衛星電位を未知数とするシミュレけ渡しに最適な物理データフォーマットをーション解析に比べて、短時間で衛星流入電策定し、磁気圏計算側のデータ出力、衛星電流の定常解を得ることが可能である。次に衛位計算側のデータ入力インターフェースそ星電位時間発展計算においては、衛星に飛来れぞれに整備した。この際に衛星電位計算にする多数個のプラズマ粒子の軌道計算では必要な物理情報の全てが、必ずしも磁気圏計なく、データベース化された衛星流入電流を算から直接出力されるわけではないため、欠用いて衛星電位の時間発展を解く。その計算けている情報はモデルを用いて適宜類推す

コストはプラズマ粒子シミュレーションにる必要がある。続いて磁気圏計算を独立で実比べて非常に低く、複数の衛星について磁気行して必要なファイルにデータを出力し、そ圏環境が変動していく中での電位変化を長のファイルからデータを入力することによ時間にわたって追うことが可能である。設計

り衛星電位計算を実施した。すなわちした磁気圏環境変動－衛星帯電評価フレー

CoToCoA フレームワークによる連成計算でムワークの構成を図 4 に示す。

はなく、ファイル経由での順次実行による衛2020 年度は設計した手法が物理モデルと星電位評価である。その計算結果は 5 節に述7

学際大規模情報基盤共同利用・共同研究拠点 2020 年度共同研究 最終報告書

3.

べたとおりであり、変動する宇宙環境下での国際会議発表 （査読なし）[2] Fukazawa, K., Y. Katoh, T. Nanri,帯電計算が実現可能であることを示した。
以上により、提案した枠組みにより磁気圏and Y. Miyake, Development of Cross-

環境変動と衛星帯電の連携解析が可能であReference Framework CoToCoA andることが示された。次年度以降、CoToCoA フ

Application to Macro- and Micro-scale

レームワークに基づく、連成計算モデルへ発Simulations in the Space Plasma, AGU

展させていく計画である。

Fall Meeting, Online, December, 2020.
4.

〇当初目標の達成状況と今後の展望

国内会議発表 （査読なし）

課題申請時に計画として挙げた①プラズマ[3] 三宅洋平, 粒子モデルプラズマ運動コードによる連成計算の実証、と②高効率プ論シミュレーションの高効率計算技法,ラズマ計算手法の性能モデリング、のうち、プラズマシミュレータシンポジウム, オ

特に前者で進展が得られた。①については、

ンライン, 2020.（招待講演）

課題申請時は単一の課題項目として記述した[4] 川口慧士, 三宅洋平, 深沢圭一郎,

が、実際には①a. 異種コード間のデータ転送

臼井英之, 宇宙環境の時間変動を考慮し機構の検証と、②b. やり取りされる情報に基た人工衛星帯電数値解析手法の開発, 第づき整合的な計算を実施するための物理モデ

148 回地球電磁気・地球惑星圏学会総会

ル化、という異なる階層の小課題に分かれる

および講演会, オンライン, 2020.

ことを、年度途中に見出したことは大きな気[5] 三宅洋平, W.J. Miloch, S.H. Kjus,

づきであった。今年度はその双方の観点におH.L. Pecseli, 弱磁化宇宙プラズマ中のいて今後につながりうる知見を獲得した。こ固体物体周辺の静電構造に関する粒子

れにより、次年度は磁気圏環境－衛星帯電のシミュレーション, 第 148 回地球電磁具体的な物理結合系に対して、連成計算モデ

気・地球惑星圏学会総会および講演会,ルの確立とその動作検証を実施できる見込み

オンライン, 2020.

である。以上の進捗よりおよそ 75%の達成状[6] 加藤雄人, 深沢圭一郎, 南里豪志,

況と自己評価する。

三 宅 洋 平 , 中 澤 和 也 , Code-To-CodeAdapter (CoToCoA)ライブラリによる

7. 研究業績一覧
1.

惑星電磁圏連成計算研究の現状と展望,

学術論文 （査読あり）

2020 年度 ISEE 研究集会「太陽地球圏[1] Zhang, Z.(+),

環境予測のためのモデル研究の展望」,

Miyake,H.

R.T. Desai(+), Y.

Usui,

O.

オンライン, 2021.

Shebanits,
5.

Particle-in-Cell, Simulations, of theCassini Spacecraft's Interaction with

[7] Nanri, T., コード間結合ライブラリ

Saturn's Ionosphere during the Grand

CoToCoA, https://github.com/tnanri/coFinale, Monthly Notices of the Royaltocoa.
6.

Astronomical Society, 504, pp.964-973,
2021.（国際共著論文）
2.

公開したライブラリなど

その他（特許，プレスリリース，著書等）
該当なし

国際会議プロシーディングス（査読あり）
該当なし

8