解適合格子法によるプラズマ粒子（AMR-PIC）シミュレーション

藤本 桂三

国立天文台 理論研究部

内容
 開発の動機、戦略
 AMR-PICコードの開発
 最近の研究成果
 まとめSS2012

理解したい物理は何か？

開発の動機、戦略

SS2012

Magnetic Reconnection Line：Field line, Contour： neArrow：Ve

Anti-parallel B-field

Particle acceleration

 Change in field line topology
 Plasma acceleration andheating
SS2012

Magnetic Reconnection in Space
地球磁気圏（オーロラ）サブストーム

太陽フレア[NASA]

SS2012

Multi-Scale Nature of Reconnection
1km

10km

103km

Topology

Dissipation Hall effectDee, e1011km105km

i, i∬LMHD

Full PIC(Magnetohydrodynamics)(Particle-In-Cell)

SS2012Lc

Coulomb meanfree pathi ~ 1陽的PICスキームの制約
Grid spacingx ≲ 3De
Num of particles per gridNp ≳ 102
Memory requirement per grid
Field (ns, Js, E, B)
14×4 Byte
使用可能メモリ

<<Particle (xs, vs)(12×4 Byte)×102

粒子数決定
SS2012

システムサイズ国内外のスパコン事情

K
SequoiaJaguarOakleaf-FX
TSUBAME
FX1@名大SS2012

10倍AMR-PICコード[Fujimoto, JCP, 2011]

陽解法の制約 x ≲ 3De

(Adaptive Mesh Refinement – Particle-in-Cell)

De,lobe ~ 6×103 m
De,ps ~ 3×102 m
不必要な格子を取り除く！

電子スケールの構造

格子分割

粒子分割

SS2012

AMR-PIC SimulationsSS2012

AMR-PICコードの開発

SS2012陽的電磁粒子(EMPIC)コード[Birdsall and Langdon, IOP, 1991]
Super-particle
S: Shape function
超粒子（Buneman-Boris法）

電磁場（Yee-Bunemanスキーム）

電荷保存法[Villasenor & Buneman,1992]

SS2012

Staggering Grid Scheme [Yee, 1966; Buneman, 1968]
C’
Ex C
Bx

 電磁フラックスが厳格に保存 電磁波に対する数値散逸なし

SS2012von Neumannの安定解析

SS2012

AMRの適用：データ構造
Similar to a fully
threaded tree
(FTT) structure(Khokhlov, 1998).

[Fujimoto & Machida, JCP, 2006]

SS2012

AMRの適用：階層間同期
細分化格子の解がより高精度
SL

LevelLCoarse-toFine Op

Fine-toCoarse Op

SL+1Level
L+1
SS2012

AMRの適用：階層間同期
Fine-to-Coarse Operationを保存させる

Coarse-to-Fine Operation

ファラデーの式を満たすように電磁フラックスを保存させる。
e.g.,
on cell surfaces
SS2012

AMRの適用：電磁場のスムージング

ESM=fSM(E)
BSM=fSM(B)

SS2012

超粒子の分割・統合 [Lapenta, JCP, 2002]
分割前後で保存させる
格子点上のモーメント（c, J）、全電荷・質量（c, m）、粒子の全エネルギー（mv2/2）、粒子の分布関数（f(v)）

２次元の場合３次元の場合q1 = q2; m1 = m2
x0 = (x1 + x2)/2
V0 = (V1 + V2)/2
q0 = q1 + q2; m0 = m1 + m2

x, y, zSS2012分散並列化：問題点
８ノード並列の例

PICシミュレーションでは全計算時間の99％以上を粒子に関する計算に要する。

ノード当たり粒子数の不均衡性

SS2012

適合ブロック法
バッファ領域とプライベートオクトの生成

バッファブ領域
プライベートオクト
各ノードで個別に設定

グローバルオクト
すべてのノードでシェア
grank: ノード番号
gOctNb: 隣接するオクト

pOct
iPr
SS2012

rank: ノード番号
iNb: 隣接するオクトの親セル

ipr: 親セル
OctCh: 子オクト・・・
物理データ

適合ブロックを用いたシミュレーション
８ノード並列の例
ノード当たり粒子数の不均衡性

SS2012

超並列AMR-PICコードの性能
Fujitsu FX1（名大情報基盤センター）
ノード
ＣＰＵ
（４コア）

ＣＰＵ
（４コア）

メモリ
（32G）

メモリ
（32G）

ＣＰＵ
（４コア）

ＣＰＵ
（４コア）

メモリ
（32G）

メモリ
（32G）

並列化率：
99.8%

SS2012

最近の研究成果（磁気X線における磁気拡散機構）

SS2012

Simulation Setup
Fujitsu FX1, 1024 cores
81 iBx = -B0 tanh(z/)Jy = -J0 sech2(z/)mi/me = 100
Max resolution:
4096×512×4096 ~ 1010
Max number of particles
Ion + Electron ~ 1011

10i ~ 1Re

81i ~ 10Re

SS2012Max memory used ~ 6TB

Time Evolution of the Current Sheet
Surface: |J|, Line: Field line
Color on the surface: Ey, Cut plane：JySS2012

Wave Activity

SS2012

Anomalous Momentum Transport

Anomalous effects

SS2012

Plasmoid-Induced Turbulence
Plasmoid formation
Wave
amplification
Local turbulence
enhancement
Propagation along
the field line
Intensified turbulenceat the x-lineSS2012

Plasmoid-Induced Turbulence*t = 1.6 ci-1
LXO = 0.95 i*

Information
propagates at
Vp ~ VA*(B* = 0.5B0)

LXO

SS2012

まとめAMR-PICコードの必要性
1. 空間非一様性が強く、かつ、運動論効果が重要な現象
2. 国内汎用スパコンを用いて世界最大規模の計算を実現
AMR-PICコード開発のポイント
1. 細分化レベル間の同期（場と粒子のconsistency保持）2. 電磁場のスムージング（短波長モードの除去）
3. データ構造（ツリー構造が便利）
4. 粒子分割・統合（格子当たりの粒子数調節）
SS2012

今後の課題 開放境界条件
 逐次計算効率の向上（粒子データのソーティング）
 数千コア並列以上の場合における最適化
 ソースコードの公開 マニュアルの作成
 ユーザの拡大

SS2012