2021 年 10 月 28 日
国立大学法人筑波大学
国立大学法人京都大学
国立大学法人東京大学
国立研究開発法人理化学研究所「富岳」を用いた宇宙ニュートリノの数値シミュレーションに成功〜2021 年ゴードン・ベル賞ファイナリストに選出〜
本研究では、ブラソフシミュレーションと呼ばれる全く新しい手法を世界で初めて採用し、スーパーコンピュータ「富岳」の全システムを用いて宇宙大規模構造におけるニュートリノの運動に関する大規模数値シミュレーションを実行することに成功しました。ブラソフシミュレーションは、従来の計算手法（N 体シミュレーション）に比べて、ノイズのない数値シミュレーションを実行することが可能ですが、計算量や必要なメモリ容量がかなり大きくなることが問題でした。本研究では、革新的な計算アルゴリズムと「富岳」に最適化したコーディング手法と並列化手法を用いて、90％を超える並列化効率を達成し、さらに、富岳の全システムを用いた数値シミュレーションによって、計算領域を約400 兆個ものメッシュに分割した世界最大のブラソフシミュレーションを実施することに成功し、N体シミュレーションによる過去最大規模のニュートリノの数値シミュレーションと同等規模の数値シミュレーションに要する時間を約 10 分の１に短縮することができました。
なお、本研究論文は、スーパーコンピュータを用いた科学・技術分野の研究の中で、その年に最も顕著な成果を上げた研究グループに与えられる米国計算機学会のゴードン・ベル賞の最終候補（ファイナリスト）に選出されました。ゴードン・ベル賞の最終発表は米国ミズーリ州セントルイスのアメリカズセンター及びオンラインで開催される国際会議において、現地時間 11 月 18 日 12 時 30 分より行われます。

研究代表者
筑波大学 計算科学研究センター
吉川 耕司 講師
京都大学 基礎物理学研究所
田中 賢 特定研究員
東京大学 カブリ数物連携宇宙機構
吉田 直紀 教授

1

研究の背景宇宙大規模構造形成におけるニュートリノの運動の数値シミュレーションは、宇宙の銀河分布を手掛かりにしてニュートリノ質量や質量階層などの素粒子物理学にとって重要な物理量を測定する研究に欠かせません。
宇宙大規模構造形成の数値シミュレーションでは、物質の空間分布や速度分布を統計的にサンプリングして多数の質点の位置と速度で表現する N 体シミュレーションという手法が採用されてきました。この手法は過去数十年にわたって研究され、改良が加えられてきましたが、物質分布を統計的にサンプリングするために、数値シミュレーションの結果に人工的な数値ノイズ（ショットノイズ）が含まれてしまうという欠点があります。また、ニュートリノが宇宙大規模構造に及ぼす主な力学的影響としては、ニュートリノのうち少数の高速度成分が重要な役割を果たす無衝突減衰注 3）という物理過程が挙げられますが、統計的なサンプリングでは高速度成分を忠実にサンプリングできず、正確な数値シミュレーションとなっていない可能性が指摘されていました。
本研究グループは、2015 年 2 月から 2020 年 3 月まで実施された「ポスト『京』重点課題 9『宇宙の基本法則と進化の解明』」という、スーパーコンピュータ「富岳」（図１）で行う数値シミュレーションを推進する研究プロジェクトにおいて、宇宙大規模構造注 1)におけるニュートリノ注 2)の運動を正確に計算するための新たな数値シミュレーションコードの開発に取り組んできました。
この新しい数値シミュレーションでは、ショットノイズの影響を受けない計算手法として、多数の粒子の集団的な振る舞いを記述するブラソフ方程式を直接数値的に解く手法（ブラソフシミュレーション）を採用しています。この手法は、位相空間と呼ばれる空間 3 次元と速度空間 3 次元を合わせた合計 6 次元の仮想的な空間を多数のメッシュに分割して扱い、膨大な記憶容量と計算量が必要となるため、これまで実際に採用された例はありませんでしたが、2019 年まで稼働していた理化学研究所のスーパーコンピュータ「京」や筑波大学と東京大学が共同運用するスーパーコンピュータ Oakforest-PACS といった国内有数の大規模スーパーコンピュータを用いて、2020 年に本研究グループが世界で初めて実現しました。
研究内容と成果
本研究では、2020 年から稼働を開始した世界最高の演算性能をもつ理化学研究所計算科学研究センターのスーパーコンピュータ「富岳」を用い、宇宙大規模構造形成におけるニュートリノのブラソフシミュレーションを高い演算性能と並列化効率注 4)で実行することを目指して、計算プログラムの最適化を行いました。
まず、数値シミュレーションを高速化するために、ブラソフ方程式の数値解法としてこれまでになく高精度で、かつ演算量の少ないアルゴリズムを開発し、また、スーパーコンピュータ「富岳」で使われているプロセッサに合わせてプログラムの実装を全面的に見直すことで、この種類の数値シミュレーションとしては極めて高い、理論ピーク性能の 15%という実行性能を達成しました。また、計算ノード間のネットワーク構成に合わせた並列化を行い、最大で 96%という非常に高い並列化効率を達成しました。
また、「富岳」の全システム注 5)（158,976 ノード）の約 93%にあたる 147,456 ノードを用いて、最大で約 400 兆個のメッシュを使ったニュートリノの数値シミュレーションを行うことに成功し、中国のスーパーコンピュータ「天河二号(Tianhe-2)」で実行された、過去最大の数値シミュレーションと同等の数値シミュレーションを、約 10 倍高速に実行することに成功しました。
本研究論文は、2021 年のゴードン・ベル賞注 6)の最終候補に選ばれました。同賞の受賞者は 2021 年 11
月 14-19 日に米国ミズーリ州セントルイスで開催される国際会議「The International Conference forHigh Performance Computing, Networking, Storage and Analysis (SC21)」において発表されます。
2

今後の展開本研究では、ブラソフシミュレーションの大規模な数値シミュレーションをスーパーコンピュータによって高い並列化効率で実行できることを示しました。このことは、これまで N 体シミュレーションに代表される、粒子シミュレーションの手法で行われてきた数値シミュレーションを行う際の選択肢が増えたことを意味します。
粒子シミュレーションとブラソフシミュレーションは、どちらも物質の集団的な振る舞いを記述するためのシミュレーション手法ですが、長所・短所は互いに相補的で、取り扱う物質の性質によって使い分けるのが理想です。実際に、本研究で行った数値シミュレーションでは、ニュートリノの運動の計算にはブラソフシミュレーションを用いていますが、ダークマターの運動については、N 体シミュレーションの手法を採用しています。このように、両者を組み合わせて使うことも本研究が世界で初めて実現しました。
また、ブラソフシミュレーションはダークマターやニュートリノの重力相互作用の数値シミュレーションだけではなく、磁場が重要な役割を果たす磁気プラズマの数値シミュレーションにも適用可能です。
実際に核融合プラズマや宇宙における磁気プラズマの振る舞いを研究する数値シミュレーションでは、本研究のような 6 次元ではなく計算コストの小さい低次元の位相空間においてではありますが、ブラソフシミュレーションが用いられています。今後はこのような分野においてもブラソフシミュレーションやそれをさらに発展させたシミュレーション技法を利用することが可能になると考えられます。
参考図図１ スーパーコンピュータ「富岳」

3

図２

本研究の数値シミュレーションで得られた宇宙大規模構造におけるダークマター（CDM）とニュートリノの空間分布。スーパーコンピュータ「富岳」のほぼ全システムを用いて、それぞれ約 3000 億個の粒子と約 400 兆個のメッシュでダークマターとニュートリノの運動を計算した。h-1 Mpc は長さの単位で 1 h-1 Mpc は約 466 万光年。

用語解説
注１）

宇宙大規模構造

宇宙の銀河の分布が示す非一様な構造。銀河がほとんど存在しない「ボイド」と呼ばれる領域や銀河が多く集まる「フィラメント構造」が存在する。宇宙の質量の大半を占めるダークマターも同様の分布をしており、宇宙初期の非常に小さな密度揺らぎが重力相互作用によって増大して宇宙大規模構造を形成すると考えられている。
注２）

ニュートリノ

電気的に中性な素粒子の一種で素粒子物理学における「弱い相互作用」に関わる。従来は光子と同様に質量を持たないと考えられていたが、日本のスーパーカミオカンデなどによる素粒子実験で僅かながら質量を持つことが明らかとなった。
注３）無衝突減衰

速度分散をもつ多数の粒子が重力相互作用をする場合、速度分散の大きさに依存したある空間スケー
ル以下の波長をもつ密度揺らぎが時間とともに減衰する現象。速度分散が大きいほどより波長の大きな密度揺らぎが減衰する。
注４）

並列化効率

大規模な数値シミュレーションを実行する場合、膨大な演算を複数のネットワークで相互接続された4計算機（ノード）に分割して担当させ、必要に応じてノード間でデータをネットワークで転送しつつ高速に計算する。このとき「N 台のノードを用いる場合は、1 台のノードを用いる場合と比較して計算時間が 1/N になる」、もしくは「計算量が N 倍になってもノード台数を N 倍にすればかかった計算時間は同じになる」のが理想的だが、実際はネットワークを介したノード間のデータの転送時間などにより計算時間が理想的な場合よりも長くなってしまう。理想的な計算時間を実際にかかった時間で割った比率を並列化効率と呼ぶ。
注５）「富岳」の全システム「富岳」の通常運用では、利用者は割り当てられた一部のシステムで研究を実施するが、本研究は文部科学省の『「富岳」全系規模大規模計算実施公募』で採択されたものであり、「富岳」を運用する理化学研究所の全面的な支援を受け、全システム規模の大規模計算を実施することで遂行した。
注６）

ゴードン・ベル賞

ゴードン・ベル賞（ACM Gordon-Bell Prize）は、米国の計算機工学者として著名なゴードン・ベル（Gordon Bell）氏が 1987 年に並列計算機技術開発を促進するために創設した。毎年 11 月に開催される高性能計算技術に関する国際会議 SC で、大規模並列シミュレーションの科学・技術分野への応用で最も優れた成果を上げた論文に授与される。
研究資金
本研究は、文部科学省ポスト「京」重点課題 9「宇宙の基本法則と進化の解明」、文部科学省「富岳」
成果創出加速プログラム「宇宙の構造形成と進化から惑星表層環境変動までの統一的描像の構築」（JPMXP1020200109）、JST CREST「広域撮像探査観測のビッグデータ分析による統計計算宇宙物理学」（JPMJCR1414）、JST AIP 加速課題「革新的画像解析技術を用いた広域宇宙撮像データ分析」（JP20317829）、科学研究費補助金（JP18H04336、JP21H01079）および計算基礎科学連携拠点（JICFuS）の支援と理化学研究所のスーパーコンピュータ「富岳」（課題番号：hp200124、hp210164）と最先端共
同 HPC 基盤施設の Oakforest-PACS（課題番号：17a40、xg18i019、HPCI 課題番号：hp170123、hp190093）の利用により実施されました。
掲載論文【題 名】 A 400 Trillion-Grid Vlasov Simulation on Fugaku Supercomputer: Large-Scale Distributionof Cosmic Relic Neutrinos in a Six-dimensional Phase Space（スーパーコンピュータ「富岳」において 400 兆グリッドを用いたブラソフシミュレーショ
ン： 宇宙ニュートリノの 6 次元位相空間における大規模構造）【著者名】 Kohji Yoshikawa, Satoshi Tanaka, Naoki Yoshida【掲載誌】 SC ’21: Proceedings of the International Conference for High Performance Computing,Networking, Storage and Analysis【掲載日】 2021 年 11 月 14 日
【DOI】

https://doi.org/10.1145/3458817.3487401

5

問合わせ先【研究に関すること】
吉川 耕司（よしかわ こうじ）
筑波大学計算科学研究センター 講師
TEL: 029-853-6490
Email: kohji@ccs.tsukuba.ac.jp
URL: https://www2.ccs.tsukuba.ac.jp/Astro/Members/kohji/【取材・報道に関すること】
筑波大学 計算科学研究センター 広報・戦略室
TEL: 029-853-6260
E-mail: pr[at]ccs.tsukuba.ac.jp
京都大学 総務部広報課 国際広報室
TEL：075-753-5729 FAX：075-753-2094
E-mail：comms[at]mail2.adm.kyoto-u.ac.jp
東京大学国際高等研究所カブリ数物連携宇宙研究機構 広報担当 小森 真里奈
TEL: 04-7136-5977 / 080-4056-2930
E-mail：press[at]ipmu.jp
理化学研究所 広報室 報道担当
E-mail：ex-press[at]riken.jp

6