銀河形成シミュレーション
2022/07/01
斎藤貴之(神戸大学)
Takayuki Saitoh & Tadaaki Takeda https://www.youtube.com/watch?v=Rdd9KAUcvgQ自己紹介• 斎藤貴之• 1977年2月18日生まれ• 旭川市出身• 略歴• 1992/4-1995/3 旭川北高校• 1995/4-2004/3 北海道大学物理学科、物理学専攻• 2004/4-2011/7 国立天文台研究支援員、研究員、学振研究員、専門研究職員• 2011/8-2013/3 東京工業大学研究員/特任准教授• 2013/04- 東京工業大学地球生命研究所研究員/特任准教授• 2018/12- 神戸大学准教授

Photo by Nerrissa Escanler

内容
• 背景
• 銀河形成シミュレーション• 我々の取り組み
• まとめ

内容
• 背景
• 銀河形成シミュレーション• 我々の取り組み• まとめΛCDM paradigm• Energy budget• Cold dark matter• Galaxy formationin ΛCDM univ.
Hierarchicalformation via
merger andaccretion

Copyright: ESATegmark 2004

我々の宇宙における銀河形成
ダークマターハロー
⾼温ガス

銀河 (星間ガス, 星)
⾼温ガスの冷却銀河同⼠の衝突合体
銀河の進化

銀河団の形成化学進化(重元素放出)
超新星爆発

ガス雲の形成

星形成

6

内容
• 背景
• 銀河形成シミュレーション• 我々の取り組み• まとめちょっと寄り道：First galaxy simulation
using computer• 1960年代初頭、スウェーデン• Computer : BESK
• N=116• メモリリミット• 4次ルンゲクッタ• dt=8Myr• 7.5 min/step

See Lindblad 2015: https://arxiv.org/abs/1503.01795

8

銀河形成シミュレーションモデル
• 冷たい暗黒物質(ダークマター)• 位相空間からサンプリングした粒子(N体粒子)に置き換えて重力相互作用を計算：遠距離力• 通常の物質(バリオン)• 圧縮性流体として扱う(SPH/メッシュ(AMR)法)：近距離力• ガスの放射冷却加熱• 通常事前計算したテーブルを利用• 低温高密度ガスから星形成• 質量の一部を重力相互作用だけする恒星集団粒子(Simple stellarpopulation)へ• 計算機の能力、プログラミング能力の限界で、いまのところ個別の恒星をあつかえていない• 超新星爆発• 大質量星がエネルギーと金属を放出(化学進化)

9

方程式
重力(ダークマター,ガス,星)圧縮性流体(ガス)重力計算• 重力相互作用の直接的な計算量はO(N2)• 近似計算法• Tree法(Barnes & Hut 1986)、PM法(Hockney & Eastwood1981)、TreePM法(Xu1995)、FMM(Greengard & Rokhlin
1987; Dehnen 2000; Springel 2020)• 専用計算機• GRAPE(Sugimoto et al. 1989)• チューニングカーネル• Phantom-GRAPE(Nitadori et al. 2006; Tanikawa et la. 2013)• PIKG(野村; 第7回HPC-Phys 勉強会)

流体計算
• 極めて疎密の大きいガスを扱うため、圧縮性流体を解く• 粒子法• Smoothed particle hydrodynamics (Lucy 1977; Gingold Monaghan
1977; Saitoh & Makino 2013; Hopkins 2013; Hosono, Saitoh &Makino 2013)• メッシュ法• Adaptive mesh refinement(Teyssier 2002)• 移動メッシュ法• Springel 2010

• メッシュフリー法• Gaburov & Nitadori 2011;
Hopkins 2015

SSPHDISPH

時間刻み法• Leap-frog 法がよく用いられる(2次精度)• ＋Hamiltonian-splitting
1. 遠距離力(PM)と近距離力(Tree)に異なるdt(Springel 2005)
2. 重力相互作用と流体相互作用に異なるdt(Saitoh & Makino 2010)
3. 近接散乱が重要な系を高次スキーム(e.g., エルミート; Makino &Aarseth 1992)に置き換え(Fujii et al. 2007)• 独立時間刻み法(Aarseth 1963; McMillan 1986; Makino1991)を用い粒子ごとに異なる時間刻み幅を持たせる• O(N) の処理が卓越して効率的ではない(Wadsley et al. 2004)

サブグリッド物理• ガス冷却/加熱• 事前に計算した放射加熱強度のテーブル• 赤方偏移、密度、温度、金属量の関数• 最近だと Grackle (Smith+2016)• 星形成• ガスが密度閾値を超えると無衝突粒子へ• 一般的には Schmidt 則に従って変換: ρ*∝ρgas1.5• Simple stellar population (SSP)近似• おなじ年齢、金属量を持つ恒星の集団• フィードバック• 超新星爆発、AGN からの熱・運動量・金属の周辺ガスへの放出• 放出される金属種はSNの計算から

Katz & Gunn 1991

Steinmetz & Muller 1995

Abadi et al. 2003

Gas (face on)

Gas (face on)

Gas (edge on)

Gas (edge on)

Gas (edge on)

Star (edge on)

初期の銀河形成シミュレーション(199１-2010年代前半)
DiskDMStars• 立派な星円盤が出来ないという角運動量問題– 最初の3Dシミュレーションの頃から指摘されていた(seeKatz & Gunn 1991,
Navarro & Benz 1991)• フィードバックが非効率なため、バリオンクランプが過剰形成され、力学的摩擦で角運動量を失いつつ銀河中心部に沈降
Abadi et al. 2003

SSP 近似下でのフィードバック問題• SSP (星粒子を同じ年齢金属量を持つ集団)近似のもとでのSN の 寄与
U!" = $#$ %∗ &#$ ⁄'$& %#'(= 2.5×10)* ⁄'$& ./0⁄0※!!"# = !∗• 温度で書くと
1#$ ~4×10* / '$& ⁄32 6• Thermal FB は有効ではないために何らかのモデル化が必須
è冷却を止める or Kinetic FB• 本質的には個別の恒星を分解することが必要
See Saitoh 201717

どれだけ分解能が必要？
• 超新星爆発のインパクトを正確に扱うには、energy conserving phase を分解する必要がある• Hu (2019)•• 実際には、矮小銀河でのmass/energy loading factor からは mgas≦5M◎• エネルギーの入れ方にもよらなくなる
Hu 2019

Illustris simulation

Vogelsburger+2014

19

Illustris(TNG50)

Latte/FIRE

SandraSandra:Appleburm+2021
TNG:https://www.tng-project.org/media/ (Pillepich+2019)
Latte/FIRE:https://fire.northwestern.edu/milky-way/ (Wetzel+2016)

MWサイズ銀河ハロー内のDM粒子数の増加• 1990年代：~103• Tree法、GRAPE• 2000年代：~104-5• Gadget/Gasolineなど並列コード• 2010年代：~106-7
mgas=103M◎

mgas=107M◎• スキームの更新• 扱われる物理の増加• より複雑なsubgrid-models• 数千コアで数ヶ月数年• 2020年代：• 我々のチャレンジ

スパコンの性能進化(Top500)• この30年で７桁以上の成長• 銀河形成シミュレーションは4桁程度•• ３桁以上のギャップ
https://www.top500.org/statistics/perfdevel/

分解能があがらないのは何故？

• CFL条件は、高密度高温領域が一番厳しい(超新星領域)• ある密度を分解するサイズ：
ρ ∝ m/h3èh∝m1/3• SNのエネルギーは分解能に比例する領域に入るとする：
ESN∝1/mècs∝1/m1/2• dtCFL =h/cs ∝ m5/6èほとんど m に比例• 宇宙年齢は一定• 現在の高分解能計算の典型値：1pc/1000km/sè１０００年• 独立時間刻み法を使っても、O(N)パートのせいでNa≪N のところでも計算が効率化しない(Wadsley+2004)

内容
• 背景
• 銀河形成シミュレーション• 我々の取り組み• まとめ

恒星スケールを直接分解する銀河形成シミュレーションを実現する

ASURA-FDPS(開発中)• ASURA• CELib• 化学進化• 圧縮性流体(DISPH)• Star-by-star model• 放射冷却加熱• 星形成• フィードバック(SNII/Ia/AGB/NSMs)• FDPS• プロセスプール管理運用• 領域分割• 遠距離、近距離相互作用(PMMM/TreePM/P3T/SPH)• 時間積分
PIKG•• ロードバランサー• 相互作用カーネル自動生成パフォーマンスに関係する新実装
1.
2.
3.
4.

サブドメイン分割による独立時間刻み法
高パフォーマンス相互作用カーネルの自動生成
PMMM(Nitadori 2014)による高速周期境界演算
深層学習によるサブドメイン分割領域推定

通常の独立時間刻み法
1. アクティブな粒子を選択
2. すべての粒子の予測値を計算
3. ツリー構築
4. アクティブな粒子の相互作用計算
5. アクティブな粒子を積分

O(Na)
O(N)
O(N logN)
O(Na logN)O(Na)Na ≪ N では

Step 2, 3 が主となる時間刻み方向にハミルトニアン分割を適用
1. アクティブな粒子を選択
2. アクティブな粒子の予測値を計算
3. アクティブな粒子のツリーを構築
4. アクティブな粒子の相互作用計算
5. アクティブな粒子を積分

O(Na)
O(Na)
O(Na logNa)
O(Na logNa)
O(Na)グローバルコミュニケーションが残る

領域ことに分割
Subdomain 1

Subdomain 2

コンパクトな高温領域を独立した領域にして時間積分

BRIDGE(Fujii et al. 2007) の発展型

MPI_COMM_WORLD

MPI_Comm_split で実現

プロセスプールhttps://github.com/FDPS/PIKG

Kernel 単体性能@富岳
重力相互作用カーネル

流体相互作用カーネル• 重力相互作用カーネルの性能は～30-36Gflops• 流体相互作用カーネルの性能は～22-32Gflops• 理論ピークに対して、24-28%、17-25%

Weak scaling test(富岳全系利用)
31Pflops!

7.9 sec for grav.

Eff=3.3-4.5%; ~1Gflops/W

Comparison
withGadget-4
Springel+2020• システム:SuperMUG-NG Xeon 3.1GHz• 6656^3=294876348416 粒子重力相互作用に 270 sec
è3.5x108 part/sec/GHz• ASURA-FDPS at Fugaku full system• 125139576422 粒子重力流体力学相互作用に 21 sec
è 3.0x109 part/sec/GHz

MPI 使用メモリ@富岳
富岳1ノード:48コア
32GB

Tips:MPI_Alltoallv がむずかしい• A2Av をつかった全体通信が遅い• 0.1-100MByteレンジで～1sec (LP=4)• 1step で10回
• 理想的には通信時間は1-2桁下がって良いはず• なお、A2A はもうすこしまし• 通信はすべて Isend/Irecvへ書き換えた

深層学習による孤立領域予測モデル(平島 et al.)
初期条件 シミュレーション 予測

孤立進化できる領域を深層学習モデル(3D-MIM)によって推定• 3D-MIM は95%以上の膨張粒子を捕捉• 予測により領域を推定可能• 推論時間1sec以下希望• Ryzen 9 3950X 3.5GHz/32スレッド：18sec• 富岳1ノード:Ryzen の6倍遅い(TensorFlow)• 別な推論エンジンの利用を検討中

Hirashima, Moriwaki, Fujii1, Hirai, Saitoh, and Makino, MNRAS submitted.

星形成モデル：IMF sampling model• 冷たく密度の高いガスからの星形成• IMF を仮定してサンプリング• IMF を3つに分解• 0.1à1.3 M◉:SSP• 1.3à 6.0 M◉:SSP/TypeIa/AGB• >6.0 M◉: ind. star/TypeII/NSM

Massive stars(Pre SNe)• 粒子数の爆発的増加を抑えつつ、特に影響の大きい大質量星を分解
SIRIUS model に基づく
(Hirai, Saitoh, et. al. 2021;
Fujii, Saitoh et al. 2021ab,2022ab)

Low mass SSPs

Massive starremnants

Michiko Fujii & Takaaki Takeda 4D2U NAOJ https://www.youtube.com/watch?v=bvKDx8tneUM

内容
• 背景
• 銀河形成シミュレーション• 我々の取り組み
• まとめ

まとめ

• 恒星スケールを直接分解する銀河形成シミュレーションを富岳上で実現するのためのシミュレーションコード開発中• 時間積分モデル、深層学習による孤立進化領域予測モデル、星形成モデルの構築• 富岳全系を用いた自己重力流体の計算で 31 Pflops 達成(Eff=〜4%; 〜1Gflops/W)• ノードあたりのメモリの少なさが律速• TensorFlow(C++ API)が想定以上に遅かった• 別推論エンジン利用を検討• Star formation model の構築• 富岳にて銀河形成シミュレーション試験中