九州大学先端的計算科学研究プロジェクト 平成 25 年度成果報告書 2014 年 4 月

宇宙飛翔体・極限宇宙プラズマ環境相互作用の高並列粒子シミュレーション
三宅洋平、臼井英之（神戸大学）
概要 九州大学 Fujitsu CX400 を用いた大規模高並列プラズマ粒子シミュレーションにより、地球・太陽間に存在する極限宇宙プラズマ環境と宇宙飛翔体の相互作用過程を解明する。具体的には、太陽探査衛星 Solar Probe Plus が到達予定の太陽コロナ環境に着目し、衛星壁に相当する非プラズマ境界を内部に設定できる衛星プラズマ環境シミュレーターEMSES を用いて、衛星周辺プラズマ擾乱の現象再現と衛星帯電特性の定量評価を行う。これに加えて、独自の動的負荷分散手法 OhHelp を適用した EMSES コードに関して、MPI/OpenMP ハイブリッド方式の導入などさらなる高効率化に向けた検討を開始する。これらの取り組みを通してプラズマ粒子シミュレーション計算の超並列化に関する技術的知見を得ることを目標とする。

1. 研究の目的と意義

大学や名古屋大学の大規模並列計算機システム上

本研究の目的は、九州大学 Fujitsu CX400 を用で高効率の並列計算を行ってきた実績がある。当

いた大規模高並列プラズマ粒子シミュレーション

該シミュレーションコードの性能評価を CX400 上により、地球・太陽間に存在する極限宇宙プラズマで実施するとともに、新たに OpenMP スレッド並環境と宇宙飛翔体の相互作用を定量的に理解する列を含めたハイブリッド並列実装の試みを開始しことである。宇宙飛翔体とプラズマ間の相互作用たのでその進捗についても紹介する。

は、太陽からの距離や地球磁気圏内の領域毎に全2. 計算手法の概要

く異なる様相を示す。本研究では、太陽探査衛星
Solar Probe Plus が到達予定の太陽コロナ環境や衛星プラズマ環境シミュレーターEMSES は 3

地球磁気圏中でも極端に希薄なプラズマ領域とな次元電磁粒子シミュレーション法を基本とし、こっている磁気圏ローブ領域に着目し、飛翔体周辺れに宇宙飛翔体の金属境界の扱いを導入したもののプラズマ密度・電位構造や非定常のプラズマじとなっている[1]。計算空間は格子によって離散化ょう乱の様相を明らかにする。またその結果、引きされており、電磁場と電流／電荷密度場はオイラ起こされる衛星帯電や観測装置誤差を定量的に評ー量として格子点上に定義される。一方、プラズ価する。本研究によって得られた結果は、科学衛星

マ分布関数は連続的な位置座標を取りうる代表粒による宇宙環境計測の信頼性を担保する上で重要子によって記述される。そしてこれらの粒子と場な知見であり、ひいては宇宙空間のプラズマ電磁の量は Particle-In-Cell と呼ばれる手法により互環境の解明にも貢献可能なものである。

いに結び付けられる。基礎方程式としては、電磁これに加えて、数値シミュレーション手法とし場発展を記述する Maxwell 式と荷電粒子ダイナてのプラズマ粒子（Particle-In-Cell）計算の高度化ミクスを記述する運動方程式が用いられ、これらにも取り組む。次節に紹介するように、本課題で用を相互に解き進めることによりプラズマと電磁場いる衛星プラズマ環境シミュレーターEMSES は間の相互作用を自己無動着に再現する。 また

領域分割に基づく Flat-MPI 並列化が施されておEMSES は、宇宙飛翔体の金属表面を内部境界とり、分散メモリ型並列計算機による大規模計算がして取り込む機能を有しており、帯電などの飛翔可能である。また単純な領域分割法では粒子の空体プラズマ相互作用を取り扱うことが可能である。

間的な粗密による負荷不均衡が常に問題となるが、EMSES の並列化に関しては、基本的には均等EMSES にはこれを解決するための動的負荷分散

領域分割法を踏襲しており、各 MPI プロセスは分技法 OhHelp が実装されており、これまでに京都割された各部分領域とそこに含まれる粒子に関す
1

九州大学先端的計算科学研究プロジェクト 平成 25 年度成果報告書 2014 年 4 月

Uniform@CX400
Localized@CX400

17 %

45 %

Uniform@Cray XE6 (Kyoto U.)

図 1: OhHelp アルゴリズムにおける 1 次担当領域（黒字のプロセス番号）および 2 次担当領
図 2: EMSES-OhHelp コードの Weak Scaling

域（青字のプロセス番号）割り当ての一例．

性能．1 秒あたりに処理された粒子個数を性能指る処理を担当する。ただしこの簡明な領域分割法標として採用している．

のみでは粒子の空間的な粗密による負荷不均衡が問題となる。そこで EMSES に実装されている動ていく条件を示しており、OhHelp の負荷分散機的負荷分散技法 OhHelp では、一つのプロセスを構が効果を発揮する設定である。

除く全てのプロセスが本来の担当（1 次担当領域）

図 2 に、前述の 2 種類の粒子分布で測定したシとは別の部分領域を一つだけ担当し（2 次担当領ミュレーションコードの性能を示す。参考のため域）、その領域に含まれる粒子の一部分について電に過去に京都大学 Cray XE6 システムにおいて一磁場との相互作用計算を行うことで、この問題を様粒子分布の条件で測定した性能も掲載する。図

解決している（図 1）[2]。これに加えて、申請者

より、いずれのケースにおいても、2048 までの並らが OhHelp 特有の粒子移送パターンに対して最列度において性能は飽和することなく増加してい

適な MPI 通信方式を考案した結果、粒子が不均一ることがわかる。粒子配置を著しく不均一にしたな状態での高並列計算においても高いスケーラビ

場合の性能低下は 17%程度であった。これに関しリティを示すことが実証された[3]。ては OhHelp がおよそ 15%の負荷不均衡を許容する設定でシミュレーションを実行していること、そして負荷均衡化に関わるオーバーヘッドがさら3. 計算コードの高度化および性能評価
EMSES-OhHelp コードの現状把握として、まに加わることを考慮すると妥当な結果である。まず は 従 前 の Flat-MPI 並 列 実 装 を 変 更 せ ず にた京都大学 XE6 システムとの比較では、九州大学

CX400 上で性能評価を行った。プロセス数に比例

CX400 は 2 倍弱の性能が出ていることが確認できして全体の領域サイズと粒子数を増加させるる。これに関してもコアあたりの理論ピーク性能

Weak Scaling の手法により実施し、CX400 計算が XE6 において 10 GFlops であるのに対して、ノードの 1 演算コアに 1 プロセスを割り当てた。

CX400 では 22 GFlops であることを考慮すると、プロセスあたりの領域サイズを 323 の立方体に固妥当な結果だと評価できる。

定し、最大で 2048 の MPI プロセス数に対して測次に EMSES-OhHelp のハイブリッド並列実装定を行った。シミュレーション領域中の粒子の分導入に向けた検討として、計算ノード内演算の布としては一様分布と極端に不均一な分布を想定

OpenMP スレッド並列化と、その初期性能評価をした。ここで「極端に不均一」とは、初期状態にお開始した。事前の調査により、プラズマ荷電粒子いて全粒子が単一の部分領域に集中しており、時の電流密度計算部分が全計算負荷の 90%以上を占間の経過とともにその粒子群が z 軸方向に移動しめることが判明している。
2

九州大学先端的計算科学研究プロジェクト 平成 25 年度成果報告書 2014 年 4 月が見られ、性能が劣化する傾向がみられる。この原因としては並列数が多くなるほど Reduction 等
Idealのオーバーヘッドの寄与が顕著になるためである。

323

これを裏付ける結果として、領域サイズが 643 の場合の方が 323 の場合に比べて性能劣化が著しい。
今回の結果を踏まえると、電流密度計算部分の643

OpenMP スレッド並列にはまだ改善の余地があると考えられる。具体的には、領域分割の発想に基づく並列化を階層化してプロセスレベルのみならずスレッドレベルにも導入する方法が考えられ、

図 3: スレッド並列化された電流計算および速この点については今後の課題である。

度・位置更新部分の性能．破線は各々の領域サ

4. シミュレーション成果例

イズにおける理想直線．

現在 NASA を中心に太陽コロナの「その場」
電流密度計算では、おのおのの粒子がつくる電観測を目指す Solar Probe Plus 衛星計画が進行

流要素を、それらの位置座標に隣接する格子点に中であるが、人類未踏の領域である太陽近傍環配分する（格子点上の電流値を更新する）形で計境における衛星プラズマ相互作用の実態は未解算が行われる。このことはシミュレーション中に決である。そこでこれまで開発を進めてきた大時々刻々値が変化する粒子位置座標によって決定規模プラズマ粒子シミュレーション技術を当該される格子点上にアクセスが発生することを意味問題に適用した。通常、宇宙プラズマダイナミする。このような処理においてスレッド並列化時

クスの空間スケールとしては電子デバイ長が最の整合性を保証する直観的な実装として、電流密小単位となるが、衛星近傍の高密度プラズマ領度配列をスレッド個数分だけ複製し、各スレッド域では、この電子デバイスケールが数 cm と極がアクセスする配列を完全に private にする方法端に小さくなる。この衛星近傍の微細スケールがある。これはいわゆる粒子分割の発想に基づいを解像しつつ、最低でも数 m～数 10 m の広がており、並列計算部分の終了時に各スレッドが計りを持つ背景宇宙プラズマダイナミクスを 3 次算した電流密度データの Reduction 操作が必要と元計算で追うためには、九州大学 CX400 システなる。電流密度計算および速度・位置更新の部分ムで提供されるような多大な計算資源を要する。

のみを繰り返し行う基礎評価用の縮小版コードを具体的には 384×384×768 格子点、1.4×1010 超作成し、上述の方針に基づき、粒子配列を走査す粒子数の計算を実施するため CX400 の 128 ノるループを OpenMP で並列化した。

ード分を利用して計算を行った。

この性能評価においては 1 プロセス実行とし、

図 4 は、EMSES コードによって得られたスレッド並列数を 1～16 の間で変化させてシミュSPP 衛星周辺の空間電位分布のシミュレーショレーター性能を測定した。シミュレーション領域

ン結果である。計算結果より衛星の定常電位はは 323 もしくは 643 格子点からなる立方体の 3 次

20.5 V となり、背景プラズマと比較して負に元空間とし、その中に電子 224、イオン 224 の合計帯電していることが確認された。またシミュレ225（およそ 3400 万）の粒子をランダムに配置しーション結果の詳細解析により、衛星表面に存た。図 3 に今回実施した Strong scaling 方式によ在する超高密度の光電子および二次電子層が負る性能評価の結果を示す。いずれの領域サイズでの電位バリアを形成しており、それにより衛星もスレッド数の増加に伴って理想直線からのずれ

表面から一旦放出された大量の光電子や二次電3九州大学先端的計算科学研究プロジェクト 平成 25 年度成果報告書 2014 年 4 月

空間電位分布：fSolar Probe Plus衛星探査計画(V)
電位バリアp1p2

電位プローブ位置計算モデル
光電子密度：nph
図 4: 科学衛星と太陽コロナプラズマの相互干渉に関する大規模計算機実験
105zB0B0

Solar windC0
も同様の研究を実施し、亜音速プラズマ中で発生
1042m  2m shield
ことが判明した。衛星から光電子が放出されるECするスプリアス電場形成メカニズムについての研y3

10
究成果を発表予定である。こうした結果は、科学条件下では、一般的に衛星は正に帯電すると理SC velocity

(/cc)

E B

子のほとんどが衛星表面に押し戻されてしまう

Solar Probe Plus (SPP):

解されているが、今回、逆に負に帯電しうると
Perfect conductor

衛星による宇宙環境計測の信頼性を担保する上で2いう知見が得られたことは、太陽近傍環境での重要な知見であり、宇宙空間の電磁環境の解明に10

衛星帯電の特異性として注目すべき結果である。 も大いに役立つと期待される。
5.6 m

101

この結果に加え、衛星上部の太陽放射シール

また計算科学的観点からは、既に導入済であっ0ド面から放出される光電子大電流により、衛星たプラズマ粒子シミュレーション用動的負荷分散周辺の磁場強度が変化することも確認された。

技法 OhHelp が CX400 環境でも有効であること

これは、電磁的相互作用を自己無動着に考慮しを確認した他、さらなる計算コードの高度化を目た EMSES シミュレーションならではの結果で指してハイブリッド並列実装の検討を開始した。

あり、従来の衛星プラズマ相互作用数値研究で現在までに得られているスレッド並列性能結果ははこの観点からの解析はほとんどなされていな必ずしも十分なものではないが、今回の課題実施かったため、その意義は大きい。

がプラズマ粒子シミュレーションの超並列化に向10x

けた足がかりとなるに間違いない。

5. 今後の展望
6. 文献

先端的計算科学研究プロジェクトによる九州大学 CX400 計算機資源を活用して、太陽近傍等の極(1) 当該プロジェクトによる研究成果

限プラズマ環境と科学衛星の電磁的相互作用に関Marchand, R., Y. Miyake, H. Usui, et al., Cross-する大規模粒子シミュレーション解析を実施した。 comparisonofSpacecraft-environment

その結果、通常とは異なる衛星帯電の極性や光電Interaction Model Predictions Applied to Solar

子電流によるローカル磁場変動など、極限環境特Probe Plus near Perihelion, submitted.

有の衛星プラズマ相互作用を確認した。この結果(2) 参考文献

は学術的な意義のみならず、将来に計画される衛[1] Miyake and Usui, Phys, Plasmas, 16, 062904,

星探査ミッションで予想される衛星プラズマ環境

2009.

じょう乱を定量的に予測するものとして実用的価[2] Nakashima et al., Proc. 23rd ICS, 90-99, 2009.

値がある。報告書では太陽近傍衛星に関する研究[3] Miyake and Nakashima, Proc. 11th IEEE

事例を紹介したが、地球磁気圏探査衛星に関して

ISPA, 2013.
4