学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

jh160013-NAH

超並列宇宙プラズマ粒子シミュレーションの研究
三宅洋平（神戸大学・課題代表者）、中島浩（京都大学）、加藤雄人（東北大学）
小路真史（名古屋大学）、臼井英之（神戸大学）、大村善治（京都大学）、岩下武史（北海道大学）
深沢圭一郎（九州大学）、船木裕司（神戸大学）、寸村良樹（神戸大学）
概要 本研究の目的は、Particle-in-Cell 方式に基づく宇宙プラズマ粒子シミュレーションを最新の大規模並列計算機アーキテクチャへ効率的に実装し、宇宙プラズマ理工学の重要問題に適用することである。今年度は、これまで検討を進めてきた OhHelp 分散メモリ並列・高効率スレッド並列、および SIMD ベクトル化の技術的知見を組み合わせ、メニーコア型クラスタ上での高効率プラズマ粒子計算の実現を目指す。これに加え、月や小惑星などの弱磁場小型天体周辺で予想される電子スケールのプラズマ電磁じょう乱現象、電子ハイブリッドシミュレーションによる、地球および惑星放射線帯の相対論的高エネルギー電子加速現象、の物理機構を大規模シミュレーション解析により解明する。

1.

共同研究に関する情報

大な数のプラズマ代表粒子と空間格子点上の電磁(1) 共同研究を実施した拠点名

場の相互作用計算がシミュレーションの大部分を本課題は、神戸大学・京都大学・東北大学・名古占める。このとき、分割された小領域間で粒子の屋大学・北海道大学・九州大学の複数の研究者が粗密が生じると、負荷不均衡が発生し、並列効率参加する共同研究であり、京都大学の大規模計算を著しく損なう。分散メモリ(プロセス)並列レベ資源を利用する。

ルでは、我々が独自に開発・実用化を進めている(2) 共同研究分野：超大規模数値計算系応用分野

動的負荷分散技法 OhHelp により、既にこの問題(3) 参加研究者の役割分担に対処している。

参加研究者の役割分担は過年度の体制に、大学②に関しては、格子点配列へのアクセスパター院生を加えた構成である。詳細は H26 年度最終報

ンが粒子位置に依存して決まる、いわゆる間接ア告書、表 1 を参照願いたい。宇宙プラズマ理工学

クセスを有したままだと、メニーコアプロセッサ分野の中でも粒子モデルシミュレーションの専門が有する SIMD 演算機構を有効活用することがで家と流体計算の専門家、そして計算機科学分野研きない。この問題に関して、我々は所属セルに応究者・技術者が有機的に協力して行う共同研究体

じた厳密な粒子ビニングを行うことで、複数粒子制となっている。

間で間接アクセスを排することを提案した。
メニーコアプロセッサを基盤とする超並列シス

2.

テムへのプラズマ粒子計算の実装に向け、上記 2

研究の目的と意義

本研究の目的は、Particle-in-Cell (PIC) 方式に点の要素技術が有効であることを個別的に示した。

基づく宇宙プラズマシミュレーションを対象に、今年度の課題は、これらを組み合わせて実用コー近年主流となりつつあるメニーコア型並列計算シドを構築する上で問題となる、ビンオーバーフロステムへの高効率実装を実現することにある。こーなどの変則的なイベントに対する対策を検討すの目標に向け、①不均一な粒子分布に起因する負ることである。

荷不均衡、②粒子位置座標に依存して決定される実問題への応用に関しては、OhHelp 適用済の格子点配列への不規則アクセス、を解決する必要

全粒子シミュレーションコード EMSES により、がある。

月などの天体の固体表面と宇宙プラズマの相互作①について、PIC 粒子シミュレーションは、膨用現象を再現し、将来の着陸探査計画に貢献可能1

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

な定量データを取得する。またプラズマ波動の 1とに成功した。これに加えて高エネルギー電子を種であるホイッスラーモード・コーラス放射と光粒子、背景電子を流体としてモデル化する独自の速の 99 %を超える相対論的高エネルギー電子と粒子・流体ハイブリッドコードへの OhHelp 実装の相互作用に関する大規模計算機実験を実施し、が完了し、その有効性が確認された。

高エネルギー粒子生成過程を明らかにする。

応用分野における成果としては、衛星プラズマ上述の課題を遂行することは OhHelp 法の有効環境シミュレータ EMSES を用いた大規模 3 次元性の実証という数値アルゴリズム的観点、およびシミュレーション解析により、月の縦孔地形周辺

超大規模モデルによる宇宙プラズマ粒子シミュレのプラズマダイナミクス・電気環境の再現と、そーションの実現と最先端研究成果の創出という宇の中での帯電ダスト粒子の基本的な振る舞いを明宙科学的観点の双方において大きな意義がある。

らかにした。
理学的応用としては、電磁イオンサイクロトロ

3. 当拠点公募型共同研究として実施した意義

ントリガード放射のハイブリッドシミュレーショ

本研究は、アルゴリズム開発、コード開発、大ンにより、宇宙プラズマ中のプロトン分布関数が規模シミュレーション実行の全ての段階で、複数大きく歪められることが発見された。また、放射の大学の計算科学者と同センターの計算機科学者

線帯での相対論的電子生成機構において重要な役との緊密な連携によって実施されている。このよ割を果たすと考えられているプラズマ波動・コー

うな研究体制により、動的負荷分散技法 OhHelp

ラス放射の発生過程を再現する計算機実験を実施

や粒子ビニング法などの高度な並列処理関連技術し、その波動特性が背景磁場強度の空間構造の変を提案・開発するに至っている。実際に OhHelp化に応じて大きく変化することを明らかにした。のアルゴリズムは、木構造を用いた負荷均衡状況の再帰的なチェックなど、非数値的な発想を随所

5. 今年度の研究成果の詳細に活用しており、計算機科学から計算科学への貢(1) 地球放射線帯高エネルギー粒子を生成するコ献の代表例となっている。本課題を契機として開ーラス放射波動の発生条件に関するパラメー発・改良された OhHelp は、他の JHPCN 課題（課題タサーベイ研究

番号：JH160023）での活用事例や、OhHelp 情報交

放射線帯は光速の 99 %を超える相対論的高エ換セミナー（2017 年 2 月、於：核融合科学研究所）

ネルギー粒子が地球を取り巻くように分布していの開催など。プラズマ関連分野で拡がりを見せつる領域である。放射線帯の相対論的粒子のフラッつあり、このことからも当研究課題の継続的実施

クス量が、いつ・どこで・どのように変動するかの意義は大きいと言える。

を明らかにすることは、宇宙天気分野での最重要課題の一つである。本研究の目的は OhHelp 適用

4. 前年度までに得られた研究成果の概要

済の電子ハイブリッドコードを用いた大規模数値領域分割方式の超並列計算が困難とされてきた解析により、放射線帯電子を作り出す過程で重要プラズマ粒子 PIC シミュレーションに関して、プな役割を果たすとされるプラズマ波動、ホイッスロセス間の負荷不均衡を回避できる動的負荷分散

ラーモード・コーラス放射の励起過程を再現し、技法 OhHelp を宇宙プラズマシミュレーションに相対論的高エネルギー電子が生み出される物理過適用した結果、優れた並列計算効率が得られるこ程を定量的に理解することである。今年度は、高とが実証された。また所属セルに応じた厳密な粒エネルギー電子がどのような速度分布を持つとき子ビニングの高効率実装法を提案し、その結果とにコーラス放射が発生するかを、広範なパラメーして従来の PIC コードで問題となっていたコンパタ範囲でサーベイする計算を実施した（図 1）。地イラによる SIMD 命令発行の阻害要因を排するこ

球磁気圏の赤道領域に存在する数千〜数十万電子
2

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

図 1:コーラス放射発生条件のサーベイ計算結果．
赤印がコーラス放射の発生が確認されたパラメー 図 2:IBE 法を適用した衛星プラズマ環境シミュレータ EMSES による、様々な宇宙環境パラメータタを示す．
ボルト（数〜数十 keV）の運動エネルギーを持つ中での衛星ウェイクの計算例．

電子がコーラス放射を発生する過程でエネルギームの開発が急ピッチで進められている。その要源となっている。このコーラス放射の発生条件を素技術として、衛星障害の原因となりうる衛星定量的に明らかにするには、広範なパラメータ範帯電現象と、太陽活動度によりダイナミックに囲をサーベイすることが必要となるが、一つのパ変動するプラズマ環境の間の相関の、定量的評ラメータでの計算には 256 コアを用いて約 2 日間価手法を早期に確立する必要がある。

が必要であり、一定の計算機資源が必要であった。

実際の人工衛星の帯電過程と、それが衛星運用

この点、本研究課題では OhHelp を実装した電子に及ぼす影響を正確に PIC 法に基づく数値シミュハイブリッドコードを用いることにより、256 コレーションにより評価するには、衛星に搭載されアでの計算では計算性能が 50%、1024 コアでのた種々の測器を含めた詳細な数値モデルが必要で計算では 100%の性能向上が得られたことを活かある。しかし例えば科学衛星に搭載される電場プして、効率的にサーベイ計算を実施することがでローブなどの観測装置の詳細形状を取り込むのは、きた。その結果、高エネルギー電子の運動エネル

プラズマじょう乱現象との空間スケール差のため、ギーと数密度が異なる約 40 例の計算結果から、運JHPCN 共同研究課題で提供される大規模計算資動エネルギーが高くなるほどコーラス放射発生に源をもってしても非常に困難である。そこでこれ必要な数密度は小さくなること、また、コーラスまでの研究で得られた技術的知見を集積し、境界放射の発生に必要な具体的数値を定量的に示すこ要素法とプラズマ粒子計算手法を組み合わせることに成功した。以上の成果は、第 35 回 JSST シンとで上述の問題を解決できることを示し、ポジウムで速報され、当シンポジウムの優秀論文

Immersed Boundary Element 法として確立した。

賞に選出されている。さらにはその詳報を別の学本アプローチは、複雑な構造を持つ人工衛星と術論文誌に投稿済みである。

プラズマの相互作用に関連する幅広い問題に適用(2) 人工衛星詳細構造を考慮した衛星帯電現象解できることが認められ、Radio Science 誌の Editors highlight に選出された(http://agupubs.

析数値ツールの確立

太陽嵐や磁気嵐など宇宙環境のダイナミック

onlinelibrary.wiley.com/hub/article/10.1002/

な変動による人類の社会インフラへの影響を正2016RS006095/editor-highlight）。高度な数値モ確に予測するため、太陽地球圏環境予報システデリング手法と大規模計算資源の活用技術の組み合わせにより、顕著な成果を得た実例となった。
3

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月の数は、各セルに存在する粒子数の増減に従って変化し、あるセルに粒子が集中する状況においては、それまでのセル毎の格納可能個数に対してオーバーフローを引き起こすことが想定され、その際の例外処理としてオーバーフローが発生したセル用のバッファ長を増加させる処理を行う。
(2) 粒子ビンのサイズ変更(上半期)
粒子ビンのサイズ変更に関する最低限の条件は、あるセルに集中した粒子を格納できるようにすることであるが、実際には将来のオーバーフローの可能性をできる限り低減するような工夫が必要である。これは粒子ビンのバッファ長変更は、粒子図 3:前年度に変更した粒子データ構造．

ビンのシフト、すなわち大規模なデータ移動を伴うため、それ自体が高コストであるという理由に6.

今年度の進捗状況と今後の展望よる。ここでは、オーバーフローの頻度をなるべ前年度までに、PIC シミュレーションカーネル

く抑えるための、粒子ビンサイズの決定方法につ計算の SIMD ベクトル化促進のため、所属セルにいて検討した結果を報告する。

応じた厳密な粒子ビニングを提案した。これらのあるセルc に所属する粒子を格納するための粒技術を実用化するには、セル内粒子の増大による子ビンのサイズを B(c) = |(c)| + g(c) と表現す

粒子ビンのオーバーフローなどに対する対策を適る。ここで (c) はセルc に所属する粒子の集合、切に行う必要がある。今年度は、そうした例外的g(c) は上述したマージンのサイズである。g(c) はな処理の実装を行ったが、その説明の便宜上、粒さらに、各セルに最低限割り当てられる gf と、子ビニング法の採用に伴う、粒子データ構造の変|(c)| に依存して決定される gv(c) の和、すなわ更（前年度実施）に関しても簡単に記述する。

ち g(c) = gv(c) +(1) 粒子データ構造の変更(前年度)

計算プロセスnが有するトータルの粒子バッファ

gf と表わされる。ここで当該

まず粒子のデータ構造に関して、従来の構造体

長をNarray、実際にプロセスが保持している粒子数配列（Structure of Array: SoA）から配列構造体を Nn とすると、NarrayNn|Cn|gf =Mn が、全セ（Array of Structure: AoS）へ変更した。この目

ルの gv 用に残されたバッファ数である。（Cn は的は、複数粒子の同一座標成分がメモリ上で連続セル c の集合である。）これをどのように各セルして並ぶようにすることにある。これにより、複に振り分けるかがポイントとなる。

Mn の振り分けに関して、もっとも自然な考え数粒子間の SIMD ベクトル処理が実現される。
また従来のように複数粒子のデータを粒子配列方は、各セルの粒子数 |(c)| に比例したバッファ上に前から順に詰めて配置するのではなく、同一数を gv(c) に与える、すなわちgv(c) = (|(c)|/Nn)

所属セルの粒子毎に固めて配置することとし、所Mn とすることである。しかしこの簡便な方法で属セルが異なる粒子群の間には適当な数のマージは、プロセス間の粒子移送と組み合わせる場合にン（空き領域）を設けることとした。これにより、以下のような問題が生じる。すなわちプロセス間前年度の報告書で紹介したオンザフライ方式に基境界に位置するHaloセルは、他のプロセスとの粒づく粒子ビニングの採用が可能となる。

子のやり取りに伴って高い頻度で粒子数の増減を繰り返すため、上述の方針ではオーバーフローがここで所属セルが異なる粒子群の間のマージン4学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

図 4:粒子ビンのシフト処理の概要。シフト方向に応じて、粒子ビンを「forward」と「backward」のいずれかのシーケンスでグルーピングする。各シーケンス内を①～⑤の順序でマルチスレッド処理する。矢印の色はシフト処理を担当するスレッドの区別を表す．
多発することになってしまう。

から明らかなように、前向きにシフトするグルー

これを回避するため次のように gv(c) を決定すプについては後ろ側のビンから、後ろ向きにシフる。まず、あるセルでオーバーフローが起こった

トするグループについては前側のビンから、それ時点で、各セルのマージン数に応じてセルの集合ぞれ逐次的に処理することにより、他の粒子ビンCn を Cn+ = {c | |(c)| > B(c) gf }とCn= {c | |(c)|を上書きすることなく安全にシフトできることが< B(c)  gf }の2つの部分集合にわける。まず Cn+明らかである。に属するセル c に関しては gv(c) = (|(c)|/Nn)

ここではさらに、前向きと後ろ向きのそれぞれMn により、gv を決定する。一方で Cnに属するのシーケンス内のシフト操作をマルチスレッド処

セル c については次の式で gv(c) を決定するこ

理する方策を考える。上述したように、各シーケととする。

ンス内では、ある一方向から逐次的にビンを処理

𝑔𝑣 (𝑐) =することが基本であるため、複数スレッドでの並∑𝑐∈𝐶𝑛− |𝜋(𝑐)|𝑅(𝑐)∙∙ 𝑀𝑛∑𝑐∈𝐶𝑛− 𝑅(𝑐)𝑁𝑛

列処理を行うためには、待避用バッファの利用はここで R(c) = B(c)  gf  |(c)| である。これに必須となる。ただしこの場合の待避用バッファはより、粒子ビンのサイズ変更をする時点で粒子数スレッド毎に例えば数千個の粒子相当分で十分でが少ないセルであっても、数ステップ前に粒子数あり、冒頭に述べた全粒子用の待避バッファと比が多ければ十分な数の gv(c) を与えることが可能

較すると十分に小さい。となり、オーバーフローの多発を抑制できる。

具体的な手順は以下の通りである。ここでは、
図 4 中の緑色で示された forward のシーケンスを(3) 粒子ビンのシフト処理の実装(上半期)例にとって、2 スレッドでの並列処理を念頭に説

粒子ビンのサイズが決まれば、それに従い、ビ明する。まず、スレッド毎の待避用バッファに粒ンのシフト処理を実施する。最も簡単な実装は、子を格納できる限界の数まで、右側から粒子ビン全粒子を別のバッファに一度退避させ、元の粒子をスレッドに割り当てる。図 5 では①で示されたバッファに書き戻す方法であるが、これには巨大ビンの割り当て（矢印の色はスレッドの区別を表な待避用バッファ領域が必要となる上、2 度の粒す）が、初回の割り当てとなる。これらのビンに子走査を含む実装となり、得策とは言えない。

含まれる粒子について、一度バッファに退避させ、そこで元の粒子バッファ内でシフトが完結する

シフト後の位置へ書き戻す作業をスレッド毎に並ように次のような実装を提案する。本手法では図4 に示すように、各粒子ビンをそのシフトの方向列的に行う。ここで一旦スレッド間の同期をとり、に応じてグルーピングすることから始める。図 5

次は図中の②のような割り当てで同様の作業を行5

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

すと厳密な粒子ソーティングが不要となる。一方、OVL バッファ中の粒子も以下の Sub-coloring の方法を用いることでマルチスレッド処理は可能である。すなわち、各スレッド領域はマルチスレッド処理のため既に色分けが施されている（例えば
H26 の最終報告書を参照）が、粒子移動前後の所属セルへの電流足しこみを考慮すると、各色の中をさらに 4 色（①～④）に色分けする Sub-coloringが必要である。ここでは詳細な説明は避けるが、
図 5:オーバーフロー粒子の移動方向に応じた、 図 5 に示すように、移動方向に応じて各粒子を①Sub-coloring された 4 つの小容量バッファへの格 から④の適切なバッファに格納することでスレッ納パターン．図中の粒子の他、同色内で移動する ド間競合を避けることが可能である。
なお、OVL バッファ中の粒子処理は SIMD 最粒子は①のバッファに格納する．
う。これを繰り返すことで、forward のシーケン適化が適用されないため、ある一定の数以上にバスを終了した後は、次に黄色で示された backward

ッファ内粒子が増加する場合には、(2)のビンシフのシーケンスを今後は左側のビンから順に同様にトを実施して根本的にオーバーフローを解消する処理していく。これを繰り返すことで、粒子ビンこととしている。のシフトを完了する。

(5) 提案手法の性能評価と分析(下半期)

上記の実装の特徴として、粒子のコピー作業はこれまでに述べたいくつかの要素技術を組み込容易に SIMD 化可能であることに加え、各スレッドんだプロトタイプシミュレーターを作成し、京都はせいぜい待避バッファサイズ程度の範囲内で、大学 Cray XC30 の Intel Xeon Phi 5120D (KNC)

待避と書き戻しを行うため、参照局所性も良いも上で性能評価を実施した。利用したノード数は最のとなっている。もちろん(2)に述べたように、シ大で 32 であり、Weak scaling 方式で並列性能をフト処理の頻度はできる限り低減する必要はある取得する。当該プロセッサは物理コアを 60 有してが、その例外的な処理による 1 回あたりのオーバおり、ハイパースレッディング機構を利用するとーヘッドを低減する意味で本実装が役立つ。

各コアあたり 1～4 のスレッドを動作可能である。

(4) オーバーフロー粒子のバッファ処理(下半期)各ノードの 60 コアを如何にプロセスとスレッド前出の(2)で述べたような粒子ビンサイズ変更に分配するかは大きな自由度があり、本性能評価により、緩やかな粒子数変動をある程度予測し、では最も効率の良い組み合わせを見出すことも目ビンシフトの頻度を低減することが可能である。

的の一つである。

しかし、濃い粒子の塊が一定速度で系内を移動す

図 6(a)は粒子が均一分布を有するときの使用ノるような状況では、通過経路上に存在するセルはード数に対する性能向上率である。図中の「ideal」

急激な粒子数変動を経験することとなり、頻繁なは並列効率 100%のときの参考値、「P=12,H=2」

粒子ビンシフト処理が避けられない。このようなが本プロトタイプシミュレーターで実際に計測し急激な粒子数変動に対処するため、各スレッドがた性能値である。ここで「P=12,H=2」は各ノードオーバーフロー粒子を保持する小容量バッファ内に 12 プロセスを起動し、ハイパースレッディン（以下、OVL バッファ）を持つことを提案する。

グ H の数を 2 としたことを表している。このときこのときバッファ中の粒子はそれほど多くないこのプロセスあたりのスレッド数は 60/PH=10 ととを想定し、SIMD-unaware に処理することを許なる。これが平均的に最も良い性能を示した構成
6

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月(a) 粒子均一分布
10.0

best of uniform

109 particles/sec

5.02.01.0
0.50.20.1

ideal

10.0

ideal
P=12, H=25.0

109 particles/sec(b) 粒子不均一分布

P=12, H=22.0
1.00.50.2

1248#nodes16320.1

1248#nodes1632

図 6:提案した MPI-OpenMP-SIMD のハイブリッド並列実装に基づくプロトタイプ版 EMSES プラ
ズマ粒子シミュレータの性能．京都大学 Cray XC30 の Intel Xeon Phi 5120D (KNC)を 32 ノードまで利用して評価した．(b)の「粒子不均一」は全体の 1/4 の領域のみに粒子が分布する状況を示す．ここで、P: ノード内 MPI プロセス数、C=60/P: プロセスあたりコア数、H: ハイパースレッディング、
T=CH: スレッド数、である．
であり、物理的にはメモリ空間が共有されているの点線で示している。このときのノード数 N に対60 コアを全てスレッド並列に用いることが性能する性能はおおよそ N に比例する形になり、均一向上に結び付かない実態が浮かび上がった。

分布の場合との性能差を見ても、想定以上の性能

図 6(a)から性能は使用ノード数に応じておおむ劣化が生じる、という結果になった。この原因に

ね線形に増加してことが見て取れる。H が 4 でなついて調査を進めており、ここでは詳細を省くが、く、2 の時の方が高性能な理由としては、ハイパー

OhHelp を用いた分散メモリ並列時に必須となるスレッディングで動作するスレッドがキャッシュ1 次領域と 2 時領域の電流の All-reduce 処理が全メモリを共有しており、H=4 などでは各スレッド体の計算時間の 25%以上を占めていることが判明が実質的に利用できるキャッシュサイズが不足すしている。すなわち MPI 通信性能の不足が主な原るためと考えられる。また P=12 が最適となる理因という結論であるが、これは KNC のノード間

由については、各プロセス内で単一のスレッドが通信が必ずホストプロセッサを経由して行われる

MPI 通信を担当していることと関係している。すことと関係が深いと推測できる。

なわち P<12 では、ノード間通信に 関与するコア(6) 進捗状況の自己評価と今後の展望数が少なくなり、ノードが本来持つバンド幅を充

今年度は、昨年度までに提案した「粒子ビニン足をしていないことが考えられ、逆に P>12 では、グに基づく SIMD-aware な PIC カーネル実装」

プロセス数の増加によりノード内の通信量そのもにおいて問題となる、粒子ビンのオーバーフローのが増大し、メモリバンド幅を浪費していることに対する検討を中心に行い、できる限り低コストが、それぞれ性能低下の原因になると考えている。の対処法を提案した（IPDPS 2017 において発表予

次に粒子分布が不均一なケースとして、全空間定）。そして提案手法を組み合わせ MPI-OpenMP-の 1/4 の領域のみに粒子が分布する状況を設定し、SIMD のハイブリッド並列実装としたプロトタイ同様の性能測定を行った。その結果を図 6(b)に示

プコードを作成し、京都大学で提供されるメニーす。参考のため、均一分布での性能グラフを青色コア型クラスタ上で初期性能評価を実施した。
7

学際大規模情報基盤共同利用・共同研究拠点 平成 28 年度共同研究 最終報告書 2017 年 5 月

また高度化された計算コードによる大規模シミ

Nakashima, H. Usui, and K. Fukazawa,

ュ―レーションにより、地球等の放射線帯におけElectron Hybrid Code Simulations withるプラズマ波動コーラス放射の発生条件を定量的OhHelp Load Balancer for the Study ofに明らかにした。さらには、本課題で開発されたRelativistic

高性能計算技術と高度な物理モデリングの組み合

Planetary

わせにより、複雑な形状を有する人工衛星の帯電JSST現象を詳細に解析する手法を確立した。

Simulation

ElectronAcceleration

Magnetospheres,InternationalinProc.

2016

ConferenceonTechnology.

*Outstanding

Presentation Award Winner

これらの実績と当初の研究計画を比較し、本年度の達成度を 90％と自己評価する。

4.

Nakashima, H., Y. Summura, K. Kikura,
and Y. Miyake, Large Scale Manycore-

性能評価の結果としては、粒子均一分布の際にはおおむね予想通りの性能が得られたが、粒子がAware

PIC

Simulation

不均一なケースでは予想を上回る性能劣化が確認

Particle

された。この結果を踏まえ、今後は次に示す課題

accepted for publication.

Binning,に取り組むことを予定している。

(3) 国際会議発表

A) 京都大学 Cray XC40 (KNL)での性能分析．特

5.

Proc.

withEfficient

IPDPS

2017,

Miyake, Y., Full Particle Simulations onに MPI 通信性能に関して KNC との比較．

Plasma and Dust Environment near Lunar

B) 電流の All-Reduce 通信実装の改良．不必要なVertical Holes, USC-Kobe Joint Research

同期処理の排除による並行通信処理の実現．

Kick-off Symposium, Kobe, 2016. （招待講C) ノード内の粒子不均一分布およびスレッド間演）
6. Katoh, Y., and K. Fukazawa, Electron-

負荷バランスへの影響の評価．
D) データ I/O を含めたプロダクションラン用Hybrid and MHD Simulations of Whistler-

Manycore-Aware PIC コードの開発．

Mode Chorus in Planetary Magnetospheres,E) Simulation kernel 部分とそれ以外の分離おAOGS, Beijing, 2016.

よびライブラリ化の検討．

(4) 国内会議発表
7.

7.

研究成果リスト

三宅洋平, 西野真木, 月面近傍プラズマ環境における帯電ダスト挙動に関する粒子シミュ(1) 学術論文

レーション, 日本地球惑星科学連合大会, 幕

1.

張, 2016.

Miyake, Y. and H. Usui, Particle-in-Cell
8.

Modeling of Spacecraft-plasma Interaction
Effects on Double-probe Electric Field

コーラス放射発生過程の計算機実験, 日本地

Measurements, Radio Science, 51, 1905-

球惑星科学連合大会, 幕張, 2016.
9.

1922. *selected as Editors’ Highlight in2.

加藤雄人, 深沢圭一郎, 惑星磁気圏における小路真史, 大村善治, 高エネルギープラズマRadio Science, 4 Nov. 2016.と EMIC トリガード放射の相互作用のシミュ

Usui, H., Y. Miyake, T. Matsubara, M. n.

レーション, 日本地球惑星科学連合大会, 幕

Nishino, and J. Wang, Electron Dynamics in

張, 2016.

the Mini-Magnetosphere above a Lunar

10. 三宅洋平, 西野真木, 月縦孔・地下空洞周辺の電気

Magnetic Anomaly, J. Geophys. Res., 122(2),

環境に関する数値シミュレーション, 宇宙科学連合

1555–1571, 2017.

後援会, 函館, 2016.

(2) 国際会議プロシーディングス(5) その他（特許，プレス発表，著書等）

3.

該当なし

Katoh, Y., Y. Omura, Y. Miyake, H.
8