計算科学ロードマップの基礎科学分野の更新状況：
素粒子原子核物理
金森 逸作 (R-CCS)
2022 年 9 月 16 日 (online)
第 16 回 HPC-Phys 勉強会

登録フォームでのアンケート
ご専門を以下から選ぶなら、どれに該当しますか？（複数選択可）••••

アプリ（使う、作る） : 21
システム: 3
ハードウェア: 2
その他: (物理のテーマ等はアプリに計上)

24 名の回答がありました。

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

2/14

計算科学ロードマップ••••

計算科学ロードマップ 2012
計算科学ロードマップ 2014
計算科学ロードマップ 2017
計算科学ロードマップ 2022

今後の HPC 技術の研究開発のあり方を検討する WG
将来の HPCI システムのあり方の調査研究（アプリケーション分野）
今後の HPCI を使った計算科学発展のための検討会
HPCIC 計算科学フォーラム coming soon!

基礎科学分野で取り上げられている課題••担当者は 2022 年版、敬称略

素粒子・原子核 取りまとめ：山崎剛、素粒子：金森逸作、原子核：宇都野穣、アドバイザー：石川健一
宇宙・天文 取りまとめ：滝脇知也
最新版での更新点のあらまし、性能見積もりの例、などを紹介します

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

3/14

計算科学ロードマップ
最新版は、HPCIC 計算科学フォーラムが母体となって作成

平成 25 年度までの『将来の HPCI システムのあり方の調査研究「アプリケーション部門」』では「計算科学ロードマップ 2014」を作成・公開しましたが、その後もロードマップの編集者有志を中心に「計算科学検討会」の名前で、計算科学分野における横断的なコミュニティの育成・維持・発展、若手の発掘、情報交換・成果発表の場の創出、計算科学のための計算資源の確保を目指し活動を行ってきました。
これまでの活動としては、新規分野を含む「計算科学ロードマップ」の改定作業のための会合、分野横断的なオープンな学術的会合「計算科学フォーラム」の定期的な開催などがあり、平成 29 年
7 月には「計算科学ロードマップ 2017」を公開しました。
将来的には、フラッグシップで進めるべき課題の提言、フラッグシップ・第二階層・第三階層システムのアーキテクチャに関する提言などを行うことも視野にいれた分野横断的な「学会」として活動することも見据えています。
平成 29 年度（2017 年度）からは、より安定かつ継続的な運営としていくために、HPCI コンソーシアムの下部組織「計算科学フォーラム」として活動を継続しています。
https://hpcic-kkf.com/より

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

4/14

2022 年版の方針•
•

•
•
•

2026 年-2031 年に実行・解決したい研究課題と必要な計算機資源の見積もり
想定ピーク性能: 2〜20 EFLOPS
cf. NGACI 白書、計算科学フォーラムでの近藤正章氏の講演 (2021/11/2)
https://hpcic-kkf.com/forum/2021/kkf_01/

想定計算機に厳密に合わせる必要はない、むしろズレは歓迎
サイエンスの観点から要求性能値を積み上げる、想定マシンより著しく大きく（小さく）なっても OK
フラッグシップ級だけでなく、HPCI 第 2 階層（e.g. Wisteria ）や専用機等もターゲット

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

5/14

Outline
1. 計算科学ロードマップについて
2. 素粒子・原子核分野の更新点
3. リソース見積もりの例

宇宙・天文分野はこのあとの滝脇さんの講演で

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

6/14

素粒子・原子核分野の更新点: 概ね 2017 年版を踏襲
新規

暫定版はこちら https://www-het.ph.tsukuba.ac.jp/˜yamazaki/Roadmap2022/220908_pre_final/Roadmap_pre_final_20220908.pdf••••••

テンソルくりこみ群による素粒子物理学および物性物理学の研究
格子 QCD を用いた QCD の相構造の解明
格子 QCD を用いた核子構造の理解
アルファクラスター構造
核物質状態方程式の計算
今後期待される計算手法（機械学習、量子計算）•2 テーマ•16 テーマ

廃止
継続金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

7/14

要求性能：5 課題
課題

アプリ名

格子 QCD を用いたバリオン相互作用の決定

LQCD アプリ (HMC 法, Wilson)

多核子力を含む核力の深い理解

rmcsm

新物理探索・解明のための精密格子 QCD シミュ LQCD アプリ (HMC 法, DWF)
レーション

QED の高次補正計算

格子 QCD を用いたバリン相互作用の決定••

QED アプリ（多次元数値積分）
Hadron-Force

計算機ごとに具体的なアプリを乗り換えることがあるため、具体的なアプリ名を指定していないものもある
例：BG/Q から Intel KNL への移行で Iroiro++ から GRID に移行した（LQCD アプリ (HMC 法、DWF))

問題サイズ・パラメータが決まればアプリの詳細によらず演算量は決まるので、具体的なアプリ名は重要ではない ただし何らかの名称がないと不便なので上記のように記載

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

8/14

資源の見積もりの例：LQCD アプリ (HMC 法、Wilson)

Hybrid Monte Carlo (HMC) 法(とてもとても乱暴な説明)“賢いサイコロ” を振って場をランダムウォークさせる。サイコロの結果を選り好みすることで目的の分布になることを保証

反復法で線形方程式を特く部分が計算時間の過半を占める•••

物理: 背景ゲージ場のもとで Dirac 方程式を解く
カーネル（疎行列ベクトル積）は、4 次元構造格子上の 9 点ステンシル計算（hopping 8方向 + 自分自信の足しこみ）
メモリアクセス＆通信律速

問題設定•••

1924 格子、格子間隔 a = 0.043 fm、105 分子動力学時間
ノードあたり 163 × 32 格子、ノード数は 123 × 6 = 10, 368
実測値からスケールさせた必要演算量の見積もり: 7 × 107 EFLOP

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

9/14

資源の見積もりの例：LQCD アプリ (HMC 法、Wilson)
問題設定

••
•

1924 格子、格子間隔 a = 0.043 fm、105 分子動力学時間
ノードあたり 163 × 32 格子、ノード数は 123 × 6 = 10, 368
実測値からスケールさせた必要演算量の見積もり: 7 × 107 EFLOP

•
•
•
•
•

ノード性能は、実効性能で 40 TFlops
演算量では、疎行列ベクトル積の mult が 90% を占める
通信を含まない前処理 (SAP 等) を組み合わせる。通信の頻度は mult 5 回に付き 1 回
mult の 1 格子点あたりの演算量は 1944 FLOP, B/F 比は 0.94 （単精度）
単精度演算を用いた加速も利用：ソルバーの演算のほとんどが単精度仮定

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

10/14

資源の見積もりの例：LQCD アプリ (HMC 法、Wilson)••

メモリアクセス
7 × 107 FLOP の 90% が mult B/F 比からメモリアクセスは 5.9 × 107 EB
mult 以外の線形代数、ソルバー以外の演算もある 7 × 107 EB
通信バンド幅バルクの演算で通信を隠蔽できるものとする。ノード内で 2 領域に分割（164 × 2）を仮定して、(バルクの演算量) ≃ 1944 × 164 = 127 MFLOP/domain
40 TFlops/node だと、127 MFLOP/40 TFlops = 3.2 µs
この間の通信サイズは7(方向) × 163 (表面積) × 3(color) × 2(spin) × (複素数) × 4(単精度)byte = 1.4 MB••

通信レイテンシが 1 µs のとき: 1.4 MB/2.2µs = 640 GB/s
通信レイテンシが 0.5 µs のとき: 1.4 MB/2.7µs = 520 GB/s

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

11/14

資源の見積もりの例：LQCD アプリ (HMC 法、Wilson)••

通信量（机上）SAP の利用で隣接通信が mult 5 回につき 1 回として、隣接通信のデータサイズは全体で1.4 MB × 2(even- and odd- 領域) × 10368(nodes) × 2.4 × 1013(# of mult)/5 = 1.4 × 105 EB
個々の隣接通信のサイズ: 1.4 MB/7 = 200 kB
サイトあたりの通信サイズ: 1.4 MB/(163 × 32) = 10 byte/site/mult
通信量（富岳併用）
964 格子、576 nodes (2304 MPI proc.), 5.2 × 10−3 B/F
プロセスあたりの体積: 8 × 6 × 8 × 96, 隣接通信サイズは 20 byte/site/mult
10−375×(5.2×10B/F)
×(7×10EFLOP)=
1.8×10EB こちらを採用
20

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

12/14

資源の見積もりの例：LQCD アプリ (HMC 法、Wilson)••

ファイル I/O
1 配位 780 GB を O(1) sec. で書き込む 0.1 TB/s
キャッシュサイズ（オンチップメモリ）
単精度で線形ソルバーの主要なものが乗る大きさを要請•••

フェルミオン場: 12.6 MB × 6ゲージ場: 37.7 MB × 1クローバー項: 37.7 MB ×1

計 151 MB

192 MB

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

13/14

まとめ

1. 計算科学ロードマップについて
2. 素粒子・原子核分野の更新点
3. リソース見積もりの例：LQCD アプリ（HMC 法、Wilson）
宇宙・天文分野はこのあとの滝脇さんの講演で

金森逸作: 第 16 回 HPC-Phys 勉強会, 2022 年 9 月 16 日 (online)

14/14