次世代情報基盤に関するコミュニティ活動と調査研究事業について
慶應義塾大学理工学部情報工学科
理化学研究所計算科学研究センター

近藤 正章
2022/9/26

SS研HPCフォーラム2022

1

富岳開発への道のり• SDHPCの活動がポスト京コンピュータ（富岳）開発の源泉に

2022/9/26

SS研HPCフォーラム2022

2

SDHPC:戦略的高性能計算システム開発• 2010年より高性能計算システムにおいて今後必要な技術などを議論• 「HPCI 技術ロードマップ白書」を2012年3月にまとめる– この白書をベースに富岳開発プロジェクトの前身であるフィジビリティスタディが始まる
表1．プロセッサ・メモリ： 最大（20MW）システム性能の予想値
総演算性能
PetaFLOPS

総メモリ帯域PetaByte/s

総メモリ容量PetaByte

汎用（従来型）

200~400

20~40

20~40

容量・帯域重視

50~10050~10050~100

メモリ容量削減

500~1000

250~500

0.1~0.2

演算重視

1000~2000

5~10

5~10

表2. ネットワークのレイテンシと帯域の性能の予想値
Injection

SDHPCでまとめた白書
2022/9/26

P-to-P

Bisection Min 遅延

Max 遅延High-radix (Dragonfly)

32 GB/s 32 GB/s

2.0 PB/s

200 ns1000 ns

Low-radix (4D Torus)

128 GB/s 16 GB/s

0.13 PB/s

100 ns5000 ns

アプリに適するシステム構成の検討結果
SS研HPCフォーラム2022

3

次世代計算基盤の開発に向けたコミュニティ活動• NGACI: Next-Generation Advanced Computing Infrastructure– 概要と活動目的
今後の高性能計算機の持続的な発展を考えるにあたり、AIやビッグデータ技術とのさらなる融合、Society5.0といった新しい応用分野への展開など、さらなる発展も期待されますが、ムーアの法則の終焉など多くの技術的課題が待ち受けていることも事実です。本活動(NGACI)は、将来の高性能計
算環境として、また共用計算機資源としてどのような技術的課題があり、どのような研究開発が必要なのか、コミュニティーとしてどのような活動をしていくべきなのかなどに関して、オープンに意見交換をしつつそれをWhite Paperとしてまとめることで本分野の発展に寄与することを目的としています。

– これまでの実績

https://sites.google.com/view/ngaci/home• 本活動に登録して頂いているコミュニティのメンバー数：104人• 9回の全体ミーティングと3回のセミナーを実施• ４つのWGにより将来のシステム像や課題を集中的に議論– アーキテクチャWG、システムソフトWG、アプリ/ライブラリWG、システム運用WG– White Paperについて• 1.0.0版（164ページ）を公開中（https://sites.google.com/view/ngaci/home）• 更新版である1.1.0版の公開準備中
2022/9/26

SS研HPCフォーラム2022

NGACI white paper 4

White Paperの章構成（WP1.0.0より）
1.はじめに
2.スーパーコンピュータの技術動向
2.1 ハードウェア技術の動向
2.1.1 デバイス
2.1.2 プロセッサ
2.1.3 メモリ技術
2.1.4 データ転送技術
2.1.5 ASIC/FPGA
2.1.6 その他
2.2 システムアーキテクチャの技術動向
2.2.1 ノードアーキテクチャ
2.2.2 インターコネクト
2.2.3 ストレージ
2.3 システムソフトウェアの技術動向
2.3.1 基盤ソフトウェア
2.3.2 大規模並列/高性能計算
2.3.3 プログラミング環境
2.3.4 性能解析ツール
2.3.5 利用高度化ツール
2.3.8 資源管理
2.3.9 外部資源連携
2.4 数値計算ライブラリ／ミドルウェア／
アルゴリズムの技術動向
2.4.1 数値計算ライブラリ
2.4.2 数値計算ミドルウェア
2.4.3 数値計算・アプリケーションを支える重要技術

2022/9/26

2.5 運用に関する技術動向
2.5.1 スパコン利用の枠組み
2.5.2 従来のスパコン利用方式
2.5.3 クラウドとHPC
2.5.5 新しい利用形態
2.5.6 設備と運用技術

5. 次世代型運用への要求
5.1 新しい利用形態とシナリオ
5.2 設備・管理
5.3 ユーザ利用・課金モデル

6. 技術課題と研究開発ロードマップ
6.1 デバイス・アーキテクチャ
6.1.1 汎用システム型
6.1.2 専用システム混載型
6.1.3 PIM混載型
6.2 システムソフトウェア
6.2.1 基盤ソフトウェア
6.2.2 大規模並列/高性能計算
6.2.3 プログラミング環境
6.2.4 データフレームワーク
6.2.5 性能解析ツール
6.2.6 利用高度化ツール
6.2.7 資源管理
6.2.8 外部資源連携
6.3 数値計算ライブラリ・アルゴリズム
6.3.1 数値計算ライブラリ
6.3.2 数値計算ミドルウェア
6.3.3 数値計算・アプリケーションを支える重要技術

3. アプリケーションの要求性能分析
3.1 アプリケーションの次世代システムに対する要求性能
3.2 要求性能に対するアプリケーション分析
3.2.1 汎用システム型要求アプリケーション
3.2.2 メモリ性能要求アプリケーション
3.2.3 演算性能要求3.2.4 ネットワーク性能要求3.2.5 ポスト処理性能要求

4. 次世代(2028年頃)システムの検討
4.1 汎用システム型
4.1.1 メニーコアCPU型
4.1.2 メニーコアCPU & GPU混載型
4.1.3 その他（ベクトルプロセッサ）
4.2 専用システム混載型および新たなる可能性
4.2.1 CPU拡張型

4.2.2 アクセラレータ主体型 / ヘテロジニアス型

7.

おわりに

4.2.3 Processing-In-memory主体型

SS研HPCフォーラム2022

5

White Paperの執筆協力者（WP1.0.0より）• 取りまとめ: 近藤（東大・理研）• アーキテクチャWG

所属等は2020年11月時点– WGリーダ: 三輪（電通大）, 佐野（理研）, 谷本（九大）– WGメンバ: 安島（富士通）, 井口（北陸先端大）, 井上（九大）, 江川（電機大）,岡本（Spin Memory） 小野（九大）,
鯉渕（NII）, 児玉（理研）, 小林（筑波大）, 小松（東北大）, 佐藤（東北大）, 塩見（京大）, 田邊（東大）, 中里（会津大）,吉川（富士通研）, 福本（富士通研）, 星（NEC）, 三好（わさらぼ）, 宮島（理研）• システムソフトWG– WGリーダ: 佐藤（理研）, 佐藤（豊橋技科大）– WGメンバ: 合田（NII）, 遠藤（東工大）, 小柴（理研）, 小松（東北大）, 坂本（東大）, 高野（産総研）, 滝沢（東北大）,
辻（理研）, ゲローフイ（理研）, 中島（富士通研）, 深井（理研）, 山本（理研）, 和田（明星大）• アプリケーション・ライブラリ・アルゴリズムWG– WGリーダ: 深沢（京大）, 今村（理研）, 中島（東大・理研）– WGメンバ: 岩下（北大）, 小野（九大）, 笠置（富士通研）, 片桐（名大）,白幡（富士通研）,住元（富士通研）,
高橋（筑波大）, 寺尾（理研）, 長坂（富士通研）, 椋木（理研）, 村上（都立大）• システム運用WG– WGリーダ: 塙（東大）, 野村（東工大）– WGメンバ: 大島（名大）, 實本（理研）, 庄司（理研）, 滝澤（産総研）, 竹房（NII）, 藤原（NII），三浦(理研)
2022/9/26

SS研HPCフォーラム2022

62028年頃に実現可能な次世代システムの予測• 次世代システムの構成としていくつかのアーキテクチャタイプを検討– 汎用システム型• メニーコアCPU型：富岳の構成の延長として考えられるシステム• メニーコアCPU＆GPU混載型：GPUとホストCPUで構成（現在多くのシステムでも採用）• ベクトルプロセッサ混載型：ベクトルプロセッサとホストCPUで構成（例： SX-Aurora TSUBASA ）– 専用システム混載型（ムーアの法則減速により重要な検討事項に）• CPU拡張型– ISA（SIMD）の専用的な命令をCPUに拡張機能として搭載（例：Intel AMXやARM SVEのFMMLAなど）– BFloat16やINT8、INT4などの応用に特化したデータ型の導入• アクセラレータ主体型/ヘテロジニアス型– システム搭載方式：チップ内拡張(SoCやMCM)、ノード内拡張、ラック間疎結合– アクセラレータ構成方式：専用、準専用、汎用• Processing-In-memory主体型– 演算器とメモリの密接実装によるメモリアクセスの高バンド幅化と低遅延化• （新計算原理の混載）
2022/9/26

SS研HPCフォーラム2022

7

汎用システム型の性能予測方法• システムコンポーネント毎に以下の文献データから予測– プロセッサ：IRDS Roadmap - Systems and Architectures (2017 and 2020 edition)• ソケットあたりコア数: 70コア, SIMDビット長：2048-bit x 2, クロック周波数：3.9GHz• CPUソケットのTDP: 351W

– GPU
• 保守的な予測：NVIDIA社の過去のハイエンドGPUの性能をもとに線形で外挿• 積極的な予測：将来のCPUの性能予測値に現行のGPU/CPUの性能比を乗じることで予測– ネットワーク：“Ethernet Alliance Roadmap 2018”• リンクあたり1.6 Tbyte （100Gbps x 16レーン）• ノードあたり1リンク （リンク数増加によってアプリのカバー範囲が変わらないため）– ストレージ：“Lustre: The Next 20 Years”, HPC-IODC Workshop, 2019.
• LustreでI/O性能が1.36x/年、容量が1.38x/年で向上するとの予想を利用• 制約：システム全体の電力– 3種類のシステム電力バジェット：30, 40, 50MW （cf. 富岳では28.3MW） および PUE=1.1– 3種類のCPU（あるいはGPU）の電力バジェットの比率： 60, 70, 80%2022/9/26

SS研HPCフォーラム2022

8参考：IRDS SA 2020 Editionでの予測

Source:INTERNATIONAL ROADMAP FOR
DEVICES AND SYSTEMS 2020 EDITIONSYSTEMS AND ARCHITECTURES

2022/9/26

SS研HPCフォーラム2022

92028年のメニーコア型システムの予測性能（WP1.0.0より）• 最も積極的な予測でも最大1.8 EFLOPS (富岳の性能の3.37倍)システムの電力制約の仮定
CPUの電力バジェット
158,9768.3x106
537
ー
163
ー
4.85

0.33

参考）富岳の諸元(EB)

2022/9/26

SS研HPCフォーラム2022

102028年のGPU混載型システムの予測性能（WP1.0.0より）• 最も積極的な予測で最大18.0 EFLOPS (富岳の性能の33.5倍)
保守的な予測の場合（NVIDIA GPUの性能
トレンドから外挿）

積極的な予測の場合（CPUとの性能比のトレンドから外挿）

2022/9/26

SS研HPCフォーラム2022

11アクセラレータのシステム搭載方式– CPUとアクセラレータが同一CPUダイ上で結合– オンチップキャッシュなどのメモリ階層の一部を共有• チップ内拡張型（マルチチップパッケージ）

CPU

Acc.

L1$
L2$
I/O

Mem cont.

• チップ内拡張型（SoC）

CPU– チップレットをインターポーザで結合– 主記憶を共有

Acc.

HBM

• ノード内拡張型– アクセラレータがPCI-Express、CXL、CAPI等のインターコネクトでCPUと結合– メモリ間のデータ転送やアクセス制御の検討が必要

CPU

PCI-E

Acc.

• 問題特化型ノードやラックによる疎結合型– 独立したアクセラレータ専用ノードやラックをネットワークで結合→ 一方でアクセラレータは手段であり目的でないことに留意→ 詳細なワークロードの分析により決定することが重要
2022/9/26

SS研HPCフォーラム2022

Acc.
CPU

Acc.
12

アプリケーションの要求性能分析• 計算科学ロードマップやアンケートに基づき37個のアプリの要求性能を解析– そのうちノード数の要求について記載のないものは除く– より多くのアプリ（重点課題やビッグデータアプリ）の分析は今後の課題• 分析の目的– 性能要求の分析により必要なシステムのタイプを分類– 汎用的なシステム構成によりどの程度のアプリケーションがカバーできるかの調査• 分析の際に仮定するシステム構成（メニーコア型・GPU混載型の積極的な予測の場合）# of CPU Sockets or GPUs
# of total cores
PFLOPS (double)
DDR total BW (PB/s)
HBM total BW (PB/s)
Total Size of DDR (PB)
Total Size of HBM (PB)
2022/9/26

Manycore (50MW, CPU80%)
103,600
7,252,000
1,810
228
683
39
9
SS研HPCフォーラム2022

GPU (50MW, CPU80%)
112,580
1.2 x 109
17,963
ー
743
ー
10
13

アプリケーションの要求性能• サイエンスロードマップ(2017年版)をベースにNGACIで作成
App. Area

Elementally particle,
Atomic nucleus

Material science

Energy, Resources

Brain science, AI

Earthquake, Tsunami
Weather, Climate

Space, Astronomy

2022/9/26

Name of Application(unknown)(unknown)(unknown)
rmcsm(unknown)
HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM(unknown)
EM-PIC
P3T
AmaTeRAS# of Required
Comp. Perf.
Node(TFlops/node)
40,000
7.75
4,100
7.56
1,000
5.6
6,000
5
4,100
4.15
1,000,000
0.03
18,00011.11
100,000
10
100,000
31
100,000
2.7
100,000
5
50,00030
50,00011.2
100,000
7.6
16,000
100
6,900
100
200,000
2.8
400,000
1.23
40,0001.15
32,0000.2
160,000
1.38
100,000
6.9
100,000
200
100,000
1.6
10,0003.1
1,000,000
1

Memory BW(TB/s/node)

SS研HPCフォーラム2022

1
0.073
0
0.5
21.22
0.001
16.111
17
1.3
0.033
0.5
3.2
1.22
1
23.75
24.638
1.1
3.5
1.575
0.438
1.688
0.028
0.36
0.46
0.01
0.024

Memory(GB/node)Interconnect BW(Tb/s/node)
2
1.25
0.98
0.088
1
0
5
0
4.88
53.75
100
1.025
1,944.44
0.001
320
0.014
11
0.05
40
0.018
1
0.003
78
0
22
0
0.02
0
1.88
0.25
4.35
0.425
75
0.025
30
0
1.25
0
1250
750
4.38
0
100
25
72
0.125
960
0.125
0.1
0.001
0.45
41.25

File I/O BW(GB/s/node)
0.045
0.039
0.1
0.017
0.006
0.009
0.002
0.003
0.01
0
0.001
0
0
0.13
0.006
0.493
0.005
0
0
2.5
0.5
0.3
0.06
10
0.001
0

Storage Size
(PB)

60
5
0.001
0
120
340
0.1
0.32
0
0.02
500
1
5
160
175
290
1
230
33
50
10
300
2,600.00
2,000.00
400
20

14

アプリケーションの要求性能との比較（WP1.0.0より）• メニーコア型システム構成（システム電力50MW, CPU80%）の場合

要求メモリバンド幅 (B/F)

合計メモリBW不足

合計メモリサイズが不足

要求メモリサイズ (PB)
2022/9/26

SS研HPCフォーラム2022

15

アプリケーションの要求性能との比較• GPU混載型システム構成（システム電力50MW, GPU80%）の場合

要求メモリバンド幅 (B/F)– 赤: 要求性能を満たす, 灰色: 要求性能を満たしていない要求メモリサイズ (PB)
2022/9/26

SS研HPCフォーラム2022

16

より高性能なシステム構成へ向けて• HPC向けのプロセッサを仮定したメニーコアの（個人的な）見積り– Intelプロセスでの仮定：チップサイズ600mm2、コア部割合=33%– TSMCプロセスでの仮定：チップサイズ450mm2、コア部割合=33%
TSMCプロセス

コア数の予測コア数の予測Intelプロセス– A64FXベースで見積もると160～240コア程度は搭載可能– メモリバンド幅とバランスは未考慮 → 考慮した上でシステムを検討する必要あり
2022/9/26

SS研HPCフォーラム2022

17

ワークロードの分類とそれぞれをカバーするアーキテクチャ
Compute Bound(aka Top500)

Bandwidth Bound(aka HPCG)

Latency Bound(aka Graph500)

Classic Vector (e.g. Earth Simulator) ~90s
COTS-CPU based clusters late 90s~late 2000s (ASCI XXX, Tsubame1/T2K, Jaguar, K)
Standard Memory Technologies (DDR DRAM), Massively Parallel
GPU

CPU

GPU-Based ‘Heterogeneous’ Machines: high (compute & BW & latency) for GPU
Tsubame2/3, ABCI, Summit, Piz-Daint, Fronter, Aurora, …
Fugaku/A64FX, Sapphire Rapids: incorporating high bandwidth vectors & Good SW Ecosystem
GPU/Matrix

CPU

Unexplored but good? (programmability, performance, industry adoption, …)
Strong Scaling CGRA/Matrix
2022/9/26

CPU/PIM

Strong Scaling CGRA

CPU/PIM for BW bound, Strong Scaling CGRA for compute&latency bound
SS研HPCフォーラム2022

出典：松岡R-CCSセンター長18

NGACIにおけるプロセッシングエレメントの分類• 仮定するプロセッサのタイプ– Latency Sensitive （LS）
• データベースなどランダムアクセス処理にも対応可能なアーキテクチャ• 大容量メモリ、大容量LLC、深いキャッシュ階層• 例）Xeon, EPYC, Amazon Graviton, etc.

– Bandwidth Centric （BC）
• グラフィックス、HPCなどストリーミング処理• 高帯域メモリ、帯域×遅延に必要十分なローカルメモリ／キャッシュ• 例）Tesla, Radeon Instinct, Intel Xe, A64FX, SX-Aurora Tsubasa, etc.

– Compute Centric （CC）
• 学習、推論などAI処理• 高密度な演算器、必要十分な入出力帯域• 例） Google TPU, Cerebras WSE, Tesla D1, Esperanto ET, Graphcore Colossus, SambaNova,
etc.
2022/9/26

SS研HPCフォーラム2022

19

Latency Sensitiveプロセッシングエレメントのトレンド予測• IEEE IRDS Roadmap System and Architecture (2022年版)に提案し掲載
2019
8

2022
8

2024
8

2026
8

2028
16

2030
16

2032
16

2034
20

# core per chiplet

8

8

12

16

16

24

32

32

# core per socket (max)

64

64

96

128

256

384

512

640

Processor base frequency
(GHz)

2.2

2.5

2.8

3

3.2

3.4

3.4

3.4

1024

1024

1024

1024

2048

2048

2048

2048

36

40

40

42

42

44

44

44

48

96

96

128

128

160

160

160

1

1.5

2

2

2

2.5

2.5

2.5

64-12864-800128-1024

256-1536

256-2048

512-4096

512-4096

512-4096

8

12

12

12

16

16

16

16

(DDR4)(DDR4)(DDR5)(DDR5)(DDR5)(DDR6)(DDR6)(DDR6)

0.2

0.31

0.61

0.76

1.02

1.1

1.2

1.2

DDR size per socket (in TB)

1

3

4.5

6

8

10

12

12

Socket max TDP (Watts)

280

300

400

450

600

600

700

700

Socket performance (TFLOPS)
2022/9/26

4.5

5.1

8.6
12.3
SS研HPCフォーラム2022

52.4

83.6

111.4

139.3

# chiplet per socket

SIMD width (bit)L1 data cache size (in KB)
L1 instruction cache size (inKB)
L2 cache size (in MB)
LLC cache size (in MB)# of DDR channels
DDR bandwidth (TB/s)

20

Bandwidth Centricプロセッシングエレメントのトレンド予測• IEEE IRDS Roadmap System and Architecture (2022年版)に提案し掲載
2019

2022

2024

2026

2028

2030

2032

2034

# chiplet per socket

1

1

4

16

16

16

16

20

# core per chiplet

108

132

36

36

42

48

54

54

# core per socket (max)

108

132

144

576

672

768

864

1080

Processor base frequency
(GHz)

1.2

1.4

1.4

1.4

1.6

1.6

1.6

1.6

Vector length (Ops)

32

64

64

64

128

128

128

128

# of HBM ports

6

6

8

8

8

10

10

10

HBM bandwidth (TB/s)

1.6

3

4

4

6.6

8

8

10

HBM size per socket (in GB)

40

80

256

512

800

1024

1024

1024

Socket max TDP (Watts)

400

400

400

440

500

500

500

500

Socket performance (TFLOPS)

8.3

23.7

25.8

103.2

275.3

314.6

353.9

442.4

2022/9/26

SS研HPCフォーラム2022

212028年のシステムの予測性能• ソケットあたりの性能比較
LS modelBC modelFP64 Peak Performance

13.1 TFlops

137.6 TFlops

Memory Bandwidth

1.02 TB/s

6.6 TB/s

Memory Capacity

8 TB

800 GB

B/F

0.08

0.05

Power Consumption

600 W

500 W

• システム全体の性能見積（40MWの電力を仮定した場合）

2022/9/26

LS modelBC modelNum. of Socket

48,48558,182PFLOPS

615

8,007

Total Memory BW (PB/s)

49.5

384

Total Memory Capacity(PB)

379

44.4

SS研HPCフォーラム2022

22

アプリケーションの要求性能との比較• Latency Sensitive（LS）型プロセッサの場合

Required Memory BW (B/F)

lack of system memory BW

B/F ≒ 0.8

Required memory size > 100PB

Required Memory size (PB)
2022/9/26

SS研HPCフォーラム2022

23

アプリケーションの要求性能との比較• Bandwidth Centric（BC）型プロセッサの場合

Required Memory BW (B/F)

lack of memory BW in a nodeRequired memory size > 40PB

Required Memory size (PB)
2022/9/26

SS研HPCフォーラム202224世代計算基盤に係る調査研究（FS）の概要

出典: 文部科学省
SS研HPCフォーラム202225世代計算基盤に係る調査研究（FS）の全体推進体制

Source: MEXT
SS研HPCフォーラム2022

26

調査研究の全体概要（理化学研究所：システム調査研究）
次世代計算基盤には、SDGs・Society5.0の実現に向けた課題解決のためのプラットフォームとしての役割が求められる。そこで、今後の科学に「研究DX」をもたらす高度なデジタルツイン実現の基盤として、広範な計算手法・シミュレーション技法や大規模データを駆使しつつ、それらが密に連携しながら全体のワークフロー実行が可能な汎用性の高い計算基盤の実現を目指し、あるべきアーキテクチャやシステムソフトウェア・ラ
イブラリ技術について、アプリケーションとのコデザインを通じた調査研究を行う。
特に、システム設計の基本理念として演算精度も考慮しながら必要な計算性能を確保し、電力制約の下でデータ移動を高度化・効率化す
る“FLOPS to Byte”指向のシステム構築を、アーキテクチャ開発からアルゴリズム設計、アプリケーション技術に至るまで実践する。
ALL Japan体制のもと、実効的な性能を向上させる次世代計算基盤のシステム構成や要素技術の調査検討、要素技術の開発を、アーキ
テクチャ・システムソフトウェアとアプリケーションとのコデザインを通じて実施する。

より高い実効性能

取組概要

デジタルツインによる研究DXプラットフォーム
より広いアプリ分野への適用

調査内容
アーキテクチャ調査研究
 半導体技術・パッケージング技術動向を踏まえつつ、システム全体やその構成要素について考え得る技術的可能性や総合性能を調査（新規要素技術として三次元積層メモリ技術、強スケーリング・計算インテンシブ向けアクセラレータ、チップ間直接光通信技術などを意識） アプリケーション調査研究G提供のベンチマークセットの性能解析に基づき将来システムの性能を予測、また次世代アプリ開発へとフィードバック
システムソフトウェア・ライブラリ調査研究
 従来のソフトウェアに加え、データ利活用促進、機械学習技術と第一原理シミュレーションや大規模リアルタイムデータ処理との高度な融合、
高セキュリティの担保などを主要検討項目と据え、国内で開発すべきソフトを優先度も含めて明らかにしつつ今後の開発ロードマップを策定
アプリケーション調査研究 複数アーキテクチャを統一的に評価するための広範なベンチマークセットを構築し、それを利用したアーキテクチャ評価結果を踏まえてアルゴリズム
やパラメータの改善を検討しつつベンチマークセットを更新しながら、性能モデルも利用した探索的な”What if”の視点で解析を行う
 次世代計算基盤に向けてどのようなアルゴリズムのクラスが大幅な進化が見込まれるか、の指標も抽出して今後のアプリ発展につなげる

アーキテク
チャ
調査研究

ベンチマーク提供／
評価とWhat if解析

要求要件調査と開発
ロードマップ検討

コデザイン
システムソフトライブラリ
利用調査と必要
調査研究

SW項目検討

アプリケー
ション
調査研究

スケジュール
2022 Q3
アーキテクチャシステムソフトウェア
アプリケーション

2022 Q42023 Q1

2023 Q22023 Q3

2023 Q42024 Q1

テクノロジ・アーキ技術の調査・検討

ベンチマーキングによる性能解析/予測

アーキ再検討

既存ツールや利用動向調査

新規開発ソフト項目検討・定量的評価

将来の要件整理

アプリ調査とベンチマーク設計

ベンチマーク評価に基づく性能分析
SS研HPCフォーラム2022 アルゴリズム最適化検討

プロセッシングエレメントの検討要素技術例

27

研究体制：ALL Japan＋メジャー国外ベンダーによる実施体制
GL: グループリーダ
AD: アドバイザー
SGL: サブグループリーダ※赤字は開始後に追加予定機関

システム調査研究チーム（代表機関）理化学研究所【代表者：近藤， AD: 松岡(理研)】

アーキテクチャ調査研究グループ
取りまとめ担当:（代表機関）理化学研究所◎【GL: 佐野, 副GL: 三輪(電通大), AD: 天野(慶大)】アーキテクチャ調査研究サブG１（理化学研究所）【SGL: 泰地】アーキテクチャ調査研究サブG２（分担機関）富士通株式会社【SGL: 新庄】アーキテクチャ調査研究サブG３（分担機関）インテル株式会社【SGL:矢澤】アーキテクチャ調査研究サブG４（分担機関）日本AMD株式会社【SGL:吉田】アーキテクチャ調査研究サブG５（協力機関）NVIDIA Corporation【SGL:Wells】
アーキテクチャ調査研究サブG６（協力機関）Hewlett Packard Enterprise【SGL:根岸】

システムソフト・ライブラリ調査研究グループ
取りまとめ担当:（代表機関）理化学研究所◎【GL: 佐藤賢斗, 副GL: 片桐(理研), AD : 佐藤(理研)】

スケジューラ・ランタイムサブG（分担機関）東北大学【SGL: 滝沢】IO・ストレージ・ファイルシステムサブG（分担機関）筑波大学【SGL: 建部】ストレージアーキ・パターン調査

システムソフト取りまとめ補助（協力機関）名古屋大学【機関代表: 片桐】

通信ライブラリサブG（分担機関）九州大学【SGL: 南里】
コンパイラ・プログラミングモデルサブG（理化学研究所）【SGL: 辻】アプリケーション調査研究グループ
取りまとめ担当:（分担機関）北海道大学◎【GL: 岩下, 副GL : 高橋(筑波大),深沢(京大), AD: 中島・富田(理研)】

アプリ調査研究取りまとめ補助（協力機関）京都大学【機関代表: 深沢】

生命科学分野サブG（分担機関）横浜市立大学【SGL: 寺山】社会科学分野サブG（理化学研究所）【SGL: 楳本】

新物質・エネルギーサブG（分担機関）物質・材料研究機構【SGL: 山地, 副SGL 】

デジタルツイン・Society5.0分野サブG（分担機関）東京大学【SGL: 下川辺】

（協力機関）株式会社DDNジャパン【機関代表: 橋爪】数値ライブラリサブG（理化学研究所）【SGL: 今村】

気象・気候サブG（分担機関）海洋開発研究機構【SGL: 小玉】

（協力機関）日本原子力研究開発機構【機関代表: 小野寺】

OS・仮想化・クラウド連携サブG（協力機関）国立情報学研究所【SGL: 竹房】

AIフレームワークサブG（理化学研究所）【SGL: Mohamed】

地震・津波防災（分担機関）東京大学【SGL: 藤田】科学技術計算アルゴリズムサブG（分担機関）筑波大学【SGL: 高橋】ものづくり分野サブG（理化学研究所）【SGL: 大西】機械学習アルゴリズムサブG（分担機関）東京工業大学【SGL: 横田】

HPC利用環境サブG（分担機関）大阪大学【SGL: 伊達】

ものづくり分野協力

アーキテクチャ調査研究サブG７（協力機関）海外ベンダー【予定】【SGL: 未定】

デジタルツイン・Society5.0分野補助（協力機関）宇宙航空研究開発機構【機関代表: 未定】

ベンチマーク構築サブG（理化学研究所）【SGL: 村井】基礎科学分野サブG（理化学研究所）【SGL: 青木】性能モデリングサブG（理化学研究所）【SGL: Domke】

宇宙・惑星アプリ分野協力アーキテクチャ調査研究グループ

システムソフト・ライブラリ調査研究グループ

SS研HPCフォーラム2022（協力機関）国立天文台【機関代表: 瀧脇】

アプリケーション調査研究グループ28

次世代計算基盤構築に向けたスケジュール予測
富岳Next スケジュール予測
2020
R2

2021
R3

NGACI WP1.0

2022
R4

2024
R6

2025
R7

2026
R8

2027
R9

2028
R10

2029
R11

2030
H12

2031
H12

WP1.1

FS1.5年版

FS
公募

FSを2.5年にした場合

FS
公募

半導体プロセス
予測

2023
R5

TSMC N5Intel 10nm

開発PJ
(基本設計)

調査研究

Intel7 (10nm+)

開発PJ(詳細設計)

開発PJ(基本設計)

調査研究

TSMC N4

開発PJ(詳細設計)

TSMC N3
Intel4

Intel3

Intel18A

開発PJ(製造・設置・調整)
TSMC N1.4?

TSMC N2Intel20A

開発PJ(製造・設置・調整)

Intel15A?

（参考）富岳開発スケジュール実績∇ Top500#1

https://www.ssken.gr.jp/MAINSITE/event/2020/20210121-sci/lecture-01/20210121_sci_ishikawa.pdf
SS研HPCフォーラム2022

29

HPCワークロードのルーフライン解析
 富岳の100倍の性能を達成するには？

ハードウェアだけで達成する場合
ハードウェアおよびアプリ協調

現行のA64FXの性能

Real apps performance* GPU V100: 7.45 Tflops (0.9 TB/s)* A64FX: 2.7 Tflops (1TB/s)• ハードウェアへの要求‒ DP性能: 15 Tflops(A64FXの10倍)‒ メモリンド幅: 8.6 TB/s
(A64FXの25倍)• アプリの協調: 低精度演算の積極的利用による演算強度増
出典：松岡R-CCSセンター長ら

SS研HPCフォーラム202230

ムーアの法則の終焉に従い計算の主体はO(n)データ移動へ※出典：松岡聡 理研計算科学センター長

 2030へ向けた変遷 (Post-Mooreの入り口)

計算の分類(領域)2021の現状

 CPUでのデータ処理におけるノイマンボトルネックの解消が課題に ヘテロ・特化型（＝汎用CPU+特化）は使いこなしが困難• ムーア則の終焉による、演算性能の進化の終焉• 新デバイス・パッケージングによるデータ移動コストの革新的削減)• アルゴリズムや利用法の進化による、計算量オーダーの削減(＋データ移動の相対的な要求の増加)• BD/AI/第一原理の融合による本質的なデータ中心の流れ

対象領域

アルゴリズム

量子
ゲート

探索・
最適化

量子物理

組合せ
最適化

物理学

イジング
モデル

FLOPS重視

データ移動(BYTES)重視

ディープラーニング
量子シミュレーション

機械学習・シミュレーション

HF

新原理
アーキ
計算量

SVM

FFT

GPU

DA
)

CPU or GPU𝑂(𝑛 )計算オーダの飛躍

DL・映像

𝑂(𝑛 )
今後のイノベーションに不可欠

1

探索・
最適化

NP困難
対象領域 量子化学等
アルゴリズムアーキ

量子アルゴリズム

新原理
量子

組合せ最適化

先進最適化
アルゴリズム𝑂(𝑛)Copyright 2021 FUJITSU LIMITED

データ移動(BYTES)重視

DL・量子シミュSparse NN
O(n) QM

機械学習・シミュレーション

SVM

FFT

CG

H-Matrix グラフ

レーテンシ重視
帯域性能重視CPU and/or GPU + α (チップ内外データ移動アクセラレーション)

𝑂(2𝑛 )
計算量 計算オーダの飛躍
2022/1/28

Hグラフ
MatrixCG

メモリ性能重視

演算性能重視

量子
𝑂(2𝑛

CNN

低オーダーアルゴリズムへ
SS研HPCフォーラム2022

𝑂(𝑛 log 𝑛)
今後のイノベーションに不可欠

𝑂(𝑛)
31

次世代計算基盤として目指すシステムの方向性
 データ移動効率化指向のアーキテクチャ・アルゴリズムの一例

三次元積層メモリ技術を駆使した相対メモリバンド幅の大幅な向上
 シリコンフォトニクスによるリモートメモリアクセスへの高バンド幅確保
 強スケーリング実行での実行効率の確保：データフロー型の導入などによる低遅延実行
 混合精度演算の積極的利用とアーキ・ソフトウェアからのサポート
プロセッシングエレメントの構成例
High Capacity DRAMHigh Capacity DRAMHigh Capacity DRAM

Strong Scaling / Compute
Intensive Accelerator
Low Latency 3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

3D SRAM

Many Core General Purpose CPU

Compute Centric Accelerator

Silicon Photonics
Multi-Port High Injection
1Tbps x 12 = 12Tbps

密結合かつホモジニアスなシステム構成
Silicon Photonics
Optical Interface

TSV Interposer
基板への実装Organic Substrate「３次元メモリ技術」＋「光技術」：日本の技術力を結集して破壊的イノベーションへ
SS研HPCフォーラム2022

32技術課題と研究開発ロードマップ（デバイス・アーキ）• 計算処理ハードウェア– 電力効率の改善– SIMDベクトル長の拡大への対策• テンソル・プロセッシング向けの2次元PEアレイの検討、プログラミング環境の強化– アクセラレータアーキテクチャの検討• コデザインによる幅広いアプリに適用可能なアクセラレータとそのシステム搭載方式の検討• データ転送部分を最適化できるアクセラレータの検討• メモリ– 広帯域と大容量メモリの3D積層に向けたパッケージ技術、歩留まりの改善– NVMやSCMといった新しいメモリ技術の導入• インターコネクト– シリコンフォトニクスやコパッケージドオプティクスなどの光伝送技術の実用化
2022/9/26

SS研HPCフォーラム2022

33

技術課題と研究開発ロードマップ（システムソフトウェア）• 基盤ソフトウェア– コンテナ化されたアプリケーション／ユニカーネルの効率的な実行– 不揮発性メインメモリ（NVDIMM）のサポート• 大規模並列・高性能計算– CPUとアクセラレータの効率的に利用と統一的な管理– データ転送の最適化、NVMを用いたチェックポインティング、ルーティングや集団通信最適化– 非同期通信の進捗処理• プログラミング環境– Oversubscriptionプログラミング、マルチレイヤコンパイラ、ワークフロー向けプログラミング• 次世代システム向け各種フレームワーク– データフレームワーク、プロファイラ、電力管理、スケジューラ、C/R• 新しいシステムコンセプト向けのシステムソフトウェア– ディスアグリゲーション、外部資源（クラウドやIoT）との連携、ワークフロー型の計算
2022/9/26

SS研HPCフォーラム2022

34技術課題と研究開発ロードマップ（ライブラリ・アルゴリズム）• 自動チューニング
– 超非均質プロセッサの対応、混合精度演算対応、Society 5.0アプリ向けチューニング
– AIと自動チューニング技術の融合• 耐故障機構– アプリケーションレベルでのC/R、代替計算継続・縮退リソース計算継続方式• 機械学習フレームワーク– 新アーキ向け各種フレームワーク改良・ライブラリの高速化– 外部計算資源との連携、シミュレーションとの連携• アルゴリズム– 特定問題のアクセラレーション（グラフ処理など）• 新計算原理との融合– 従来型計算機と量子計算機のハイブリッド利用
2022/9/26

SS研HPCフォーラム2022

35

次世代型運用への要求• 新利用形態への対応– 観測データやセンサデータ、外部データベースを直接取り込みながらリアルタイム処理• 例）地震観測データによるデータ同化、ゲリラ豪雨予測、ビッグデータによる異常検知– 高信頼性・高セキュリティへの要求• データアーカイブ・流通– 大規模データの流通、重要データの保護、ディザスタリカバリ– クラウドとの連携• 設備・管理– カーボンニュートラル化検討、省エネ運用、電力変動対応、冷却設備の負荷変動大への対応– 外気導入や湖水・海水の利用を含めた次世代冷却技術• ユーザ利用・課金モデル– Service Level Agreement (SLA)の定義– 省エネ実行に対するユーザのインセンティブの明確化と課金モデルへの反映
2022/9/26

SS研HPCフォーラム2022

36

おわりに：次世代の先端的計算基盤へ向けて• 次世代計算基盤の創出が果たすべき役割– 計算＆データによる科学の発展・進化と社会貢献に向けたプラットフォーム化– 新時代のコンピューティングの開拓とそれに向けた人材育成• コデザイン強化＋新応用分野開拓／オープンイノベーションPF構築＋ポスト
ムーア時代へのアプリ進化を当初から意識したアーキテクチャ選定・開発
新応用分野の開拓の例

オープンイノベーションPF• デジタルツインによるSociety5.0推進• 開発SW/HWの幅広い展開• 戦略的な各種連携体制強化が重要‒ 人の行動心理や感情も含めた社会シミュレーション→ ソフト/AI/データの一体フレームワーク• 量子・古典ハイブリッド計算環境構築

グランドチャレンジ自体の創出
2022/9/26‒ ベンダー間、ユーザ間連携‒ ベンダー・ユーザ・開発者間連携‒ 国際的な連携

エコシステム構築と長期的な人材育成
SS研HPCフォーラム2022

37