富岳による宇宙論的ニュートリノのVlasovシミュレーション
第4回HPCIコンソーシアムシンポジウム
2021年10月28日

筑波大学

計算科学研究センター
吉川 耕司

共同研究者：

田中 賢 (京都大学 基礎物理学研究所)
吉田 直紀 (東京大学

Kavli 数物連携宇宙機構)
1

宇宙大規模構造◼ 天の川銀河の外にある銀河の空間分布◼ 非一様でフィラメント状に銀河が分布◼ ダークマターを含めた宇宙の質量分布を反映

2
Credit: 2dF Galaxy RedshiftSurvey

宇宙大規模構造◼ 宇宙初期の非常に小さな密度揺らぎが重力相互作用によって成長◼ 宇宙初期における物理状態や構成成分についての情報を含む。
◼ 宇宙大規模構造の観測によってダークマター・バリオン・ニュートリノの性質に関する情報を得られる。
◼ これまでの宇宙大規模構造の観測

質量をもつ成分の大半はダークマター
熱速度が極めて小さい“cold dark matter (CDM)”

3

ニュートリノ

素粒子の標準模型
fermionHquarks◼ 電気的に中性のレプトンboson◼ 他の素粒子とほとんど相互作用しない

Higgsboson◼ 素粒子の標準模型では質量０とされており、宇宙大規模構造の形成にはほとんど影響しないと考えられていた。

◼ ニュートリノ振動の発見によって、０ではない質量を持つことが明らかとなり、宇宙大規模構造の形成に対して力学的な影響を及ぼすことが明らかになった。

leptons◼ 宇宙には大量に存在（数密度～100 cm-3）

neutrino

gaugeboson◼ 但し、0でない質量を持つことは分かっても、質量がいくつかは分かってない。

3種類の質量の総和に対する制限(参考： 電子質量は 5.11×105 eV)

4

宇宙大規模構造におけるニュートリノ
◼ 宇宙大規模構造における力学的影響✓ 軽い質量の為に大きな速度分散を持つ✓ ダークマターの重力ポテンシャルを乗り越えて行き来することができる✓ 重力相互作用による密度揺らぎの成長を抑制する働き （自由流減衰・無衝突減衰）
Hannestad et al. (2006)◼ 自由流減衰の大きさはニュートリノ質量に異存✓ 宇宙大規模構造の観測からニュートリノ質量に対する制限が可能✓ 3種類のニュートリノの質量の順序 (質量階層)も原理的には観測によって決定可能◼ 素粒子物理学にとって重要な物理量を天文学的な観測によって測定可能

高精度の数値シミュレーションを用いて正確な理論予言

5

Vlasov シミュレーション
N体シミュレーション

Vlasov
シミュレーション
realdistributionof neutrinos: 6次元位相空間における分布関数◼ Vlasov 方程式(無衝突 ボルツマン方程式)✓ 物質分布を6次元位相空間で離散化◼ 運動方程式✓ Vlasov方程式を有限体積法で解く： 重力ポテンシャル

N-body vs Vlasov◼ N体シミュレーション✓ 密度の高いところで空間分解能が高い✓ 多数の粒子数を扱うための計算手法・並列化手法が良く研究されている✓ 物質分布の統計的なサンプリングによるショットノイズが常にある✓ 自由流減衰などの速度分布のテイル部分が重要となる運動論的な物理過程を解くのが苦手◼ Vlasov シミュレーション✓ 速度分布のテイル部分の情報を持っているので、自由流減衰を正確に解くことができる。
✓ ショットノイズの影響は原理的にない。

✓ 6次元空間を離散化するのに膨大なメモリが必要で空間分解能はあまり良くない✓ 6次元空間でVlasov方程式を解く計算コストもかなり大きい。
◼ 長所と短所は互いに相補的で扱う物質の性質で選ぶべき。

7

自己重力系のVlasovシミュレーション◼ Vlasov-Poisson シミュレーション◼ 等質量の 自己重力平衡球 を正面からぶつける◼ 6次元位相空間でのVlasovシミュレーション⚫ 筑波大 CCSのT2K-Tsukubaで世界で最初に実現
Yoshikawa, Yoshida, Umemura (2013)
最大メッシュ数は643 × 643⚫ ポスト京重点課題 (9) で宇宙大規模構造でのニュートリノのVlasovシミュレーションに取り組む。

8Hybrid Vlasov/N-body Simulation◼ ダークマターとニュートリノの2成分系での宇宙大規模構造の数値シミュレーション◼ ダークマター成分はN体シミュレーションで計算

速度分散が極めて小さいので速度空間での広がりはほぼ無い◼ ニュートリノ成分はVlasovシミュレーションで計算◼ ダークマターとニュートリノが感じる重力ポテンシャル
ダークマターとニュートリノの密度分布からPoisson 方程式を用いて計算
9Hybrid Vlasov/N-body Simulation
ダークマター密度場

ニュートリノ密度場

10

Vlasov シミュレーションとN体シミュレーションの比較◼ ニュートリノの運動をN体シミュレーションで計算した場合との比較⚫ ニュートリノのN体シミュレーション

粒子数：Nν = 15363⚫ ニュートリノのVlasovシミュレーション

メッシュ数：Nx=1923, Nv=643

同じ計算資源を用いた場合の計算時間はほぼ同じ◼ N体シミュレーションの結果は細かい構造がショットノイズに埋もれてしまう
密度場

速度場

速度分散

11

富岳における最適化◼ VlasovシミュレーションのSIMD命令による高速化⚫ x軸に沿った移流⚫ y軸に沿った移流
SIMDレジスタ上での“in-place” なデータの転置12富岳における最適化
CMGあたりのVlasovシミュレーションのパフォーマンス

direction

w/o SIMD inst.

w/ SIMD inst.

w/ transpositionvx

4.84 Gflops

176.7 Gflops

N/Avy

7.14 Gflops

233.3 GflopsN/Avz

7.44 Gflops

17.9 Gflops

224.2 Gflops

x5.51 Gflops

150.0 Gflops

N/Ay

6.88 Gflops

154.1 Gflops

N/Az

6.50 Gflops

149.2 Gflops

N/A(cf. 単精度理論ピーク性能 : 1.5Tflops/CMG )◼ Vlasovシミュレーションの演算性能は理論性能の12-15%を達成◼ N体シミュレーションの粒子間相互作用の計算についても、A64FX プロセッサに移植した “Phantom-GRAPE”による高速化を達成。
13

並列化効率◼ weak scaling✓ Vlasov シミュレーションが全体の約7割を占める。
✓ Vlasov シミュレーションのweak scaling効率は94%以上。
✓ 全体のweak scaling 効率は82%ー91%。
◼ strong scaling✓ Vlasov シミュレーションのstrong scaling効率は93%以上。

✓ 全体のstrong scaling 効率は最も小さい問題サイズについてでも87％という良い結果。
✓ FFTを用いた重力ポテンシャルの計算が最大問題サイズでボトルネックになっている。

◼ weak scaling と strong scaling のどちらでも良い効率を達成できた。

14

富岳全系を用いたシミュレーション◼ 富岳の158,976ノードのうち147,456ノード(92%に相当)を用いた世界最大のVlasovシミュレーション◼ ダークマター粒子数はNDM=69123、Vlasovシ
ミュレーションのメッシュ数はNx=11523 , Nu =643 （400兆個のメッシュ数）。
◼ シミュレーションを完了するのに5.86 時間(5.65 hours + 0.21 hours for I/O)
◼ ニュートリノの世界最大のN体シミュレーション✓ Tianhe-2 supercomputer を用いた TianNu simulation✓ 粒子数 NDM=69123 と Nν=8×NDM3✓ ショットノイズを2%までに抑えた場合に我々のシミュレーションと等価な空間分解能✓ システム全体16000ノードの13824ノードを用いて52時間◼ IOを含めた計算時間で8.9倍の改善

15

まとめ
◼ 宇宙大規模構造におけるニュートリノの世界初のVlasovシミュレーション◼ ダークマター成分のN体シミュレーションとのハイブリッドシミュレーション◼ Vlasov方程式の解法に効率の良いSIMD命令による実装◼ 富岳において90%近い並列化効率を達成◼ これまでで最大のN体シミュレーションと比較しても8.9倍の計算時間の改善を達成◼ 今後の方向性
宇宙における磁気プラズマの運動論シミュレーション
自己相互作用(衝突)するダークマターの数値シミュレーション（ボルツマンシミュレーション）

16