次世代高性能計算基盤の開発に向けた計算機科学コミュニティでの活動紹介
慶應義塾大学理工学部情報工学科
理化学研究所計算科学研究センター（兼務）近藤 正章
2021/11/2

2021年度第1回計算科学フォーラム1

富岳開発への道のり• SDHPCの活動がポスト京コンピュータ（富岳）開発の源泉に

2021/11/2

2021年度第1回計算科学フォーラム

2

SDHPC:戦略的高性能計算システム開発• 2010年より高性能計算システムにおいて今後必要な技術などを議論• 「HPCI 技術ロードマップ白書」を2012年3月にまとめる– この白書をベースに富岳開発プロジェクトの前身であるフィジビリティスタディが始まる
表1．プロセッサ・メモリ： 最大（20MW）システム性能の予想値
総演算性能
PetaFLOPS

総メモリ帯域PetaByte/s

総メモリ容量PetaByte

汎用（従来型）

200~400

20~40

20~40

容量・帯域重視

50~10050~10050~100

メモリ容量削減

500~1000

250~500

0.1~0.2

演算重視

1000~2000

5~105~10

表2. ネットワークのレイテンシと帯域の性能の予想値Injection

SDHPCでまとめた白書
2021/11/2

P-to-P

Bisection Min 遅延

Max 遅延High-radix (Dragonfly)

32 GB/s 32 GB/s

2.0 PB/s

200 ns1000 ns

Low-radix (4D Torus)

128 GB/s 16 GB/s

0.13 PB/s

100 ns5000 ns

アプリに適するシステム構成の検討結果
2021年度第1回計算科学フォーラム3現在のCS側のコミュニティ活動の紹介• NGACI: Next-Generation Advanced Computing Infrastructure– 概要と活動目的
今後の高性能計算機の持続的な発展を考えるにあたり、AIやビッグデータ技術とのさらなる融合、Society5.0といった新しい応用分野への展開など、さらなる発展も期待されますが、ムーアの法則の終焉など多くの技術的課題が待ち受けていることも事実です。本活動(NGACI)は、将来の高性能計算環境として、また共用計算機資源としてどのような技術的課題があり、どのような研究開発が必要なのか、コミュニティーとしてどのような活動をしていくべきなのかなどに関して、オープンに意見交換をしつつそれをWhite Paperとしてまとめることで本分野の発展に寄与することを目的としています。

– これまでの実績

https://sites.google.com/view/ngaci/home• 本活動に登録して頂いているコミュニティのメンバー数：104人• 7回の全体ミーティングと3回のセミナーを実施• ４つのWGにより将来のシステム像や課題を集中的に議論– アーキテクチャWG、システムソフトWG、アプリ/ライブラリWG、システム運用WG– White Paperについて• 1.0.0版（164ページ）を公開中（https://sites.google.com/view/ngaci/home）• 現在更新版の公開に向けて準備中
2021/11/2

2021年度第1回計算科学フォーラム

NGACI white paper 4

White Paperの執筆協力者• 取りまとめ: 近藤（東大・理研）• アーキテクチャWG

所属等は2020年11月時点– WGリーダ: 三輪（電通大）, 佐野（理研）, 谷本（九大）– WGメンバ: 安島（富士通）, 井口（北陸先端大）, 井上（九大）, 江川（電機大）,岡本（Spin Memory） 小野（九大）,鯉渕（NII）, 児玉（理研）, 小林（筑波大）, 小松（東北大）, 佐藤（東北大）, 塩見（京大）, 田邊（東大）, 中里（会津大）,吉川（富士通研）, 福本（富士通研）, 星（NEC）, 三好（わさらぼ）, 宮島（理研）• システムソフトWG– WGリーダ: 佐藤（理研）, 佐藤（豊橋技科大）– WGメンバ: 合田（NII）, 遠藤（東工大）, 小柴（理研）, 小松（東北大）, 坂本（東大）, 高野（産総研）, 滝沢（東北大）,辻（理研）, ゲローフイ（理研）, 中島（富士通研）, 深井（理研）, 山本（理研）, 和田（明星大）• アプリケーション・ライブラリ・アルゴリズムWG– WGリーダ: 深沢（京大）, 今村（理研）, 中島（東大・理研）– WGメンバ: 岩下（北大）, 小野（九大）, 笠置（富士通研）, 片桐（名大）,白幡（富士通研）,住元（富士通研）,高橋（筑波大）, 寺尾（理研）, 長坂（富士通研）, 椋木（理研）, 村上（都立大）• システム運用WG– WGリーダ: 塙（東大）, 野村（東工大）– WGメンバ: 大島（名大）, 實本（理研）, 庄司（理研）, 滝澤（産総研）, 竹房（NII）, 藤原（NII），三浦(理研)
2021/11/2

2021年度第1回計算科学フォーラム

5

White Paperの章構成
1.はじめに
2.スーパーコンピュータの技術動向
2.1 ハードウェア技術の動向
2.1.1 デバイス
2.1.2 プロセッサ
2.1.3 メモリ技術
2.1.4 データ転送技術
2.1.5 ASIC/FPGA
2.1.6 その他
2.2 システムアーキテクチャの技術動向
2.2.1 ノードアーキテクチャ
2.2.2 インターコネクト
2.2.3 ストレージ
2.3 システムソフトウェアの技術動向
2.3.1 基盤ソフトウェア2.3.2 大規模並列/高性能計算
2.3.3 プログラミング環境
2.3.4 性能解析ツール
2.3.5 利用高度化ツール
2.3.8 資源管理
2.3.9 外部資源連携
2.4 数値計算ライブラリ／ミドルウェア／アルゴリズムの技術動向
2.4.1 数値計算ライブラリ
2.4.2 数値計算ミドルウェア
2.4.3 数値計算・アプリケーションを支える重要技術

2021/11/2

2.5 運用に関する技術動向
2.5.1 スパコン利用の枠組み
2.5.2 従来のスパコン利用方式
2.5.3 クラウドとHPC
2.5.5 新しい利用形態
2.5.6 設備と運用技術

5. 次世代型運用への要求
5.1 新しい利用形態とシナリオ
5.2 設備・管理
5.3 ユーザ利用・課金モデル

6. 技術課題と研究開発ロードマップ
6.1 デバイス・アーキテクチャ
6.1.1 汎用システム型
6.1.2 専用システム混載型
6.1.3 PIM混載型
6.2 システムソフトウェア
6.2.1 基盤ソフトウェア
6.2.2 大規模並列/高性能計算
6.2.3 プログラミング環境
6.2.4 データフレームワーク
6.2.5 性能解析ツール
6.2.6 利用高度化ツール
6.2.7 資源管理
6.2.8 外部資源連携
6.3 数値計算ライブラリ・アルゴリズム
6.3.1 数値計算ライブラリ
6.3.2 数値計算ミドルウェア
6.3.3 数値計算・アプリケーションを支える重要技術

3. アプリケーションの要求性能分析
3.1 アプリケーションの次世代システムに対する要求性能
3.2 要求性能に対するアプリケーション分析
3.2.1 汎用システム型要求アプリケーション
3.2.2 メモリ性能要求アプリケーション
3.2.3 演算性能要求3.2.4 ネットワーク性能要求3.2.5 ポスト処理性能要求

4. 次世代(2028年頃)システムの検討
4.1 汎用システム型
4.1.1 メニーコアCPU型
4.1.2 メニーコアCPU & GPU混載型
4.1.3 その他（ベクトルプロセッサ）
4.2 専用システム混載型および新たなる可能性
4.2.1 CPU拡張型

4.2.2 アクセラレータ主体型 / ヘテロジニアス型

7.

おわりに

4.2.3 Processing-In-memory主体型

2021年度第1回計算科学フォーラム

6

2028年頃に実現可能な次世代システムの予測• 次世代システムの構成としていくつかのアーキテクチャタイプを検討– 汎用システム型• メニーコアCPU型：富岳の構成の延長として考えられるシステム• メニーコアCPU＆GPU混載型：GPUとホストCPUで構成（現在多くのシステムでも採用）• ベクトルプロセッサ混載型：ベクトルプロセッサとホストCPUで構成（例： SX-Aurora TSUBASA ）– 専用システム混載型（ムーアの法則減速により重要な検討事項に）• CPU拡張型– ISA（SIMD）の専用的な命令をCPUに拡張機能として搭載（例：Intel AMXやARM SVEのFMMLAなど）– BFloat16やINT8、INT4などの応用に特化したデータ型の導入• アクセラレータ主体型/ヘテロジニアス型– システム搭載方式：チップ内拡張(SoCやMCM)、ノード内拡張、ラック間疎結合– アクセラレータ構成方式：専用、準専用、汎用• Processing-In-memory主体型– 演算器とメモリの密接実装によるメモリアクセスの高バンド幅化と低遅延化• （新計算原理の混載）2021/11/2

2021年度第1回計算科学フォーラム

7汎用システム型の性能予測方法• システムコンポーネント毎に以下の文献データから予測– プロセッサ：IRDS Roadmap - Systems and Architectures (2017 and 2020 edition)• ソケットあたりコア数: 70コア, SIMDビット長：2048-bit x 2, クロック周波数：3.9GHz• CPUソケットのTDP: 351W

– GPU
• 保守的な予測：NVIDIA社の過去のハイエンドGPUの性能をもとに線形で外挿• 積極的な予測：将来のCPUの性能予測値に現行のGPU/CPUの性能比を乗じることで予測– ネットワーク：“Ethernet Alliance Roadmap 2018”• リンクあたり1.6 Tbyte （100Gbps x 16レーン）• ノードあたり1リンク （リンク数増加によってアプリのカバー範囲が変わらないため）– ストレージ：“Lustre: The Next 20 Years”, HPC-IODC Workshop, 2019.
• LustreでI/O性能が1.36x/年、容量が1.38x/年で向上するとの予想を利用• 制約：システム全体の電力– 3種類のシステム電力バジェット：30, 40, 50MW （cf. 富岳では28.3MW） および PUE=1.1– 3種類のCPU（あるいはGPU）の電力バジェットの比率： 60, 70, 80%2021/11/2

2021年度第1回計算科学フォーラム8参考：IRDS SA 2020 Editionでの予測

Source:INTERNATIONAL ROADMAP FOR
DEVICES AND SYSTEMS 2020 EDITIONSYSTEMS AND ARCHITECTURES

2021/11/2

2021年度第1回計算科学フォーラム9

2028年のメニーコア型システムの予測性能（WP1.0.0より）• 最も積極的な予測でも最大1.8 EFLOPS (富岳の性能の3.37倍)システムの電力制約の仮定
CPUの電力バジェット
158,9768.3x106537ー163ー
4.850.33

参考）富岳の諸元(EB)2021/11/2

2021年度第1回計算科学フォーラム

102028年のGPU混載型システムの予測性能（WP1.0.0より）• 最も積極的な予測で最大18.0 EFLOPS (富岳の性能の33.5倍)
保守的な予測の場合（NVIDIA GPUの性能トレンドから外挿）積極的な予測の場合（CPUとの性能比のトレンドから外挿）

2021/11/2

2021年度第1回計算科学フォーラム11• チップ内拡張型（SoC）– CPUとアクセラレータが同一CPUダイ上で結合– オンチップキャッシュなどのメモリ階層の一部を共有

CPU

Acc.

L1$
L2$
I/O

Mem cont.

アクセラレータのシステム搭載方式

CPU• チップ内拡張型（マルチチップパッケージ）– チップレットとして実装されたアクセラレータをインターポーザなどでCPUと結合– 主記憶を共有• ノード内拡張型

HBM

CPU

PCI-E

– アクセラレータがPCI-Express、CXL、CAPI等のインターコネクトでCPUと結合– メモリ間のデータ転送やアクセス制御の検討が必要

Acc.

• 問題特化型ノードやラックによる疎結合型

Acc.

– 独立したアクセラレータ専用ノードやラックをネットワークで結合
2021/11/2

2021年度第1回計算科学フォーラムAcc.

CPUAcc.
12

アクセラレータの構成法式の種類• 専用アクセラレータ– 特定の計算問題または計算ドメインのみを高速に処理可能な構成方式– 最も高性能・高電力効率であるが、柔軟性やプログラマビリティが低い– 例）ディープニューラルネットワークアクセラレータ、FFTアクセラレータ• 準専用アクセラレータ– 複数の計算モデル・計算問題を高速に処理可能＋ある程度のプログラマビリティを持つ構成– 専用アクセラレータに比べ若干性能や電力効率で劣る– 例）データフロープロセッサ、コンボリューションプロセッサ• 汎用アクセラレータ– 特定のアクセラレータを再構成可能デバイス上に構成する方式– 例）FPGA, Coarse-Grain Reconfigurable Arrays (CGRA)• 特定計算ドメインの候補– 疎行列計算、N体問題、FFT、ソート、グラフ処理、脳型計算、量子計算シミュレーション、エージェントシミュレーション
2021/11/2

2021年度第1回計算科学フォーラム13

汎用 vs. 演算加速機構（アクセラレータ）• ターゲットアプリケーションが複数＋各アルゴリズムも日々改良→特定ドメインで優位性を発揮できる一方で、様々な処理を実行可能な「広義」のアクセラレータ を前提とすべき– 性能優位性とコストのトレードオフを考慮が必要– プログラミング生産性が重要– 特定ドメイン向けの専用システム開発とは異なるアプローチが必要• 技術的な課題– ホストCPUとの役割分担– アクセラレータのメモリ階層の設計– 共有メモリ空間の見せ方とメモリ一貫性維持方式– ホスト・アクセラレータ間やアクセラレータ間のネットワークトポロジ– アクセラレータのプログラミングモデル、デバッガやプロファイラの実装–：
2021/11/2

2021年度第1回計算科学フォーラム14

アプリケーションの要求性能分析• 計算科学ロードマップやアンケートに基づき37個のアプリの要求性能を解析– そのうちノード数の要求について記載のないものは除く– より多くのアプリ（重点課題やビッグデータアプリ）の分析は今後の課題• 分析の目的– 性能要求の分析により必要なシステムのタイプを分類– 汎用的なシステム構成によりどの程度のアプリケーションがカバーできるかの調査• 分析の際に仮定するシステム構成（メニーコア型・GPU混載型の積極的な予測の場合）# of CPU Sockets or GPUs
# of total cores
PFLOPS (double)
DDR total BW (PB/s)
HBM total BW (PB/s)
Total Size of DDR (PB)
Total Size of HBM (PB)
2021/11/2

Manycore (50MW, CPU80%)
103,600
7,252,000
1,810
228
683
39
9

GPU (50MW, CPU80%)
112,580
1.2 x 109
17,963
ー743ー
10

2021年度第1回計算科学フォーラム15

アプリケーションの要求性能App. Area

素粒子・原子核

物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2021/11/2

Name of Application(unknown)(unknown)(unknown)
rmcsm(unknown)
HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellumNEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM(unknown)
EM-PIC
P3T
AmaTeRAS# of Required
Comp. Perf.
Node(TFlops/node)
40,000
7.75
4,100
7.56
1,000
5.6
6,000
5
4,100
4.15
1,000,000
0.03
18,00011.11
100,000
10
100,000
31
100,000
2.7
100,000
550,000
30
50,00011.2
100,000
7.6
16,000
100
6,900
100
200,000
2.8
400,000
1.23
40,0001.15
32,0000.2
160,000
1.38
100,000
6.9
100,000
200
100,000
1.6
10,0003.1
1,000,000
1Memory BW(TB/s/node)
10.073
00.5
21.22
0.001
16.111
17
1.3
0.033
0.5
3.2
1.22
123.7524.638
1.1
3.5
1.575
0.438
1.688
0.028
0.36
0.46
0.01
0.024

2021年度第1回計算科学フォーラム

Memory(GB/node)Interconnect BW(Tb/s/node)
2
1.25
0.98
0.088
105
0
4.88
53.75
100
1.025
1,944.44
0.001
320
0.014
110.0540
0.018
10.003
78
022
0
0.02
0
1.88
0.25
4.35
0.425
75
0.025
30
01.25
01250
750
4.38
0100
25
72
0.125
960
0.125
0.1
0.001
0.45
41.25

File I/O BW(GB/s/node)
0.045
0.039
0.1
0.017
0.006
0.009
0.002
0.003
0.01
00.001
00
0.13
0.006
0.493
0.005
00
2.5
0.5
0.3
0.06
100.001
0Storage Size(PB)
60
5
0.001
0120
340
0.1
0.32
00.02
500
15160
175
290
1230
33
50
10300
2,600.00
2,000.00
400
20

16

アプリケーションの要求性能との比較• メニーコア型システム構成（システム電力50MW, CPU80%）の場合

要求メモリバンド幅 (B/F)

合計メモリBW不足

合計メモリサイズが不足

要求メモリサイズ (PB)
2021/11/2

2021年度第1回計算科学フォーラム17

アプリケーションの要求性能との比較• GPU混載型システム構成（システム電力50MW, GPU80%）の場合

要求メモリバンド幅 (B/F)– 赤: 要求性能を満たす, 灰色: 要求性能を満たしていない要求メモリサイズ (PB)
2021/11/2

2021年度第1回計算科学フォーラム18

各アプリケーションの要求性能との比較• メニーコア型システム（〇および×は各コンポーネントが要求を満たしているかどうかを表す）
App. Area

素粒子・原子核

物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2021/11/2

Name of Application

Node

CPU

MemoryInterconnect

StorageTotal(unknown)(unknown)(unknown)
rmcsm(unknown)
HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM(unknown)
EM-PIC
P3T
AmaTeRAS〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇××〇××〇〇〇〇×〇〇×〇〇×〇〇×〇〇×〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇××〇〇×〇××〇

×××〇〇〇〇××〇〇〇〇

×〇〇〇〇〇〇〇〇×××××〇〇〇××〇〇〇×〇×〇×〇〇〇×〇〇×〇××〇〇〇〇〇〇×〇〇×〇×2021年度第1回計算科学フォーラム

19

各アプリケーションの要求性能との比較• GPU混載型システム（〇および×は各コンポーネントが要求を満たしているかどうかを表す）
App. Area

素粒子・原子核

物質科学

エネルギー・資源脳科学・AI

地震・津波
気象気候

宇宙・天文

2021/11/2

Name of Application

NodeCPU

MemoryInterconnect

StorageTotal(unknown)(unknown)(unknown)
rmcsm(unknown)
HPhi
NTChemSMASH
paraDMRGGELLANMODYLAS
WHC
Realtime cerebellum
NEURON K+ Stochastic
CNN (Forward & Back-prop)
CNN (Forward)
GAMERANICAMSCALE-RM
CHASER-LETKF
NICAM-LETKF
GreeM(unknown)
EM-PIC
P3T
AmaTeRAS〇〇〇〇〇×〇〇〇〇〇〇〇〇〇〇××〇〇×〇〇〇〇×〇〇〇〇〇〇〇〇〇〇〇〇〇〇××〇〇〇〇〇〇×〇〇〇〇〇〇〇××××〇×〇×〇〇××××〇×〇×××〇〇〇〇〇〇×〇〇〇〇〇〇〇〇〇〇〇〇〇〇×〇×〇〇〇×〇〇〇〇〇〇〇〇〇〇〇〇〇〇〇×〇〇〇××〇〇×〇〇〇〇〇〇××××〇×〇×〇〇××××〇×××××〇×2021年度第1回計算科学フォーラム

20

システムへの要求の分類（1/2）• 汎用システム要求– 従来型の延長である汎用的なメニーコア型システムを要求するアプリ• メモリ性能要求– 特にメモリに対して容量・転送速度・アクセス手法の面での拡張を要求するアプリ• 高演算性能要求– ノード数やコア数の増加を要求、あるいはSIMD演算機構への要求を持つアプリ• ネットワーク性能要求– 通信バンド幅や特殊なネットワークトポロジーに関する要求を持つアプリ
システムのタイプ
汎用システム

メモリ性能
高演算性能
ネットワーク性能
2021/11/2

アプリケーション
Rmcsm, paraDMRG, GELLAN, MODYLAS, 生命科学, 創薬医x6, FFB, ADVENTURE,Front-Comp, GT5D, WHC, Realtime cerebellum, NEURON＋Stochastic, SCALE-RM, P3T(BW) NTChem, SMASH, バリオン2体波動関数計算, NICAM, LQCD, GAMERA, SCALE-RM(size) NTChem, CHASER-LTKF, EM-PIC(#node) GAMERA, NICAM, NICAM-LETKF, AmaTeRAS, (#core) CNN, ニュートリノ輻射輸送(others) LQCD, SCALE-RM, NICAM
GreeM, 精密格子QCD, AmaTeRAS
2021年度第1回計算科学フォーラム21

システムへの要求の分類（2/2）• 個別の要求– SCALE-SMD: 配列へのリストアクセス– 精密格子QCD: Allrecue専用NW、4次元構造格子を並列化しやすいNW– GENESIS: リアルタイム可視化のための高いポスト処理性能• 専用アクセラレータの要求– 負荷分散支援ハードウェア（粒子計算）– エージェント処理のハードウェア実装（エージェントシミュレーション）– 疎行列専用ハードウェア（疎行列計算）– メモリアクセスのスケジューリング支援機構（モンテカルロ計算、グラフ処理）– アニーリング（イジング模型による最適化問題）– データフロー型かつ大量のレジスタを持つハードウェア（FFT）– ソーティングのハードウェア実装（ソーティング）
2021/11/2

2021年度第1回計算科学フォーラム22

より高性能なシステム構成へ向けて• HPC向けのプロセッサを仮定したメニーコアの（個人的な）見積り– Intelプロセスでの仮定：チップサイズ600mm2、コア部割合=33%– TSMCプロセスでの仮定：チップサイズ450mm2、コア部割合=33%
TSMCプロセス

コア数の予測コア数の予測Intelプロセス– A64FXベースで見積もると160～240コア程度は搭載可能– メモリバンド幅とバランスは未考慮 → 考慮した上でシステムを検討する必要あり
2021/11/2

2021年度第1回計算科学フォーラム23

2028年のシステムの予測性能（更新版）• 現在NGACIで議論中のシステム性能予測データの一部を紹介– 三輪先生＠電通大、安島さん＠富士通、塩見先生＠阪大に感謝いたします• 仮定するプロセッサのタイプ– Latency Sensitive （LS）
• データベースなどランダムアクセス処理にも対応可能なアーキテクチャ• 大容量メモリ、大容量LLC、深いキャッシュ階層• 例）Xeon, EPYC, Amazon Graviton, etc.

– Bandwidth Centric （BC）
• グラフィックス、HPCなどストリーミング処理• 高帯域メモリ、帯域×遅延に必要十分なローカルメモリ／キャッシュ• 例）Tesla, Radeon Instinct, Intel Xe, A64FX, SX-Aurora Tsubasa, etc.

– Compute Centric （CC）
• 学習、推論などAI処理• 高密度な演算器、必要十分な入出力帯域• 例） Google TPU, Cerebras WSE, Tesla D1, Esperanto ET, Graphcore Colossus, SambaNova, etc.
2021/11/2

2021年度第1回計算科学フォーラム24

2028年のシステムの予測性能（更新版）• ソケットあたりの性能比較

WP未公開データのため削除• 50MW、80%におけるシステム性能の見積り

WP未公開データのため削除

2021/11/2

2021年度第1回計算科学フォーラム25

ムーアの法則の終焉に従い計算の主体はO(n)データ移動へ※出典：松岡聡 理研計算科学センター長

 2030へ向けた変遷 (Post-Mooreの入り口)

計算の分類(領域)2021の現状

 CPUでのデータ処理におけるノイマンボトルネックの解消が課題に ヘテロ・特化型（＝汎用CPU+特化）は使いこなしが困難• ムーア則の終焉による、演算性能の進化の終焉• 新デバイス・パッケージングによるデータ移動コストの革新的削減)• アルゴリズムや利用法の進化による、計算量オーダーの削減(＋データ移動の相対的な要求の増加)• BD/AI/第一原理の融合による本質的なデータ中心の流れ

対象領域アルゴリズム

量子ゲート

探索・最適化

量子物理

組合せ最適化

物理学

イジング
モデル

FLOPS重視

データ移動(BYTES)重視

ディープラーニング
量子シミュレーション

機械学習・シミュレーション

HF

新原理
アーキ
計算量

SVM

FFTGPUDA)

CPU or GPU𝑂(𝑛 )計算オーダの飛躍

DL・映像

𝑂(𝑛 )
今後のイノベーションに不可欠

1

探索・最適化

NP困難
対象領域 量子化学等
アルゴリズムアーキ

量子アルゴリズム

新原理
量子組合せ最適化

先進最適化
アルゴリズム𝑂(𝑛)Copyright 2021 FUJITSU LIMITED

データ移動(BYTES)重視

DL・量子シミュSparse NN
O(n) QM

機械学習・シミュレーション

SVM

FFTCG

H-Matrix グラフ

レーテンシ重視
帯域性能重視CPU and/or GPU + α (チップ内外データ移動アクセラレーション)

𝑂(2𝑛 )
計算量 計算オーダの飛躍
2021/11/2

Hグラフ
MatrixCG

メモリ性能重視

演算性能重視量子𝑂(2𝑛CNN

低オーダーアルゴリズムへ

𝑂(𝑛 log 𝑛)
今後のイノベーションに不可欠

2021年度第1回計算科学フォーラム

𝑂(𝑛)
26

技術課題と研究開発ロードマップ（デバイス・アーキ）• 計算処理ハードウェア– 電力効率の改善（350Wでノード当たり35TFLOPSの達成は簡単ではない）– SIMDベクトル長の拡大への対策• テンソル・プロセッシング向けの2次元PEアレイの検討、プログラミング環境の強化– アクセラレータアーキテクチャの検討• コデザインによる幅広いアプリに適用可能なアクセラレータとそのシステム搭載方式の検討• メモリ– 積層メモリの広帯域化と大容量化、歩留まりの改善– ロジックとメモリの3次元積層化– NVMやSCMといった新しいメモリ技術の導入• インターコネクト– シリコンフォトニクスやコパッケージドオプティクスなどの光伝送技術の実用化
2021/11/2

2021年度第1回計算科学フォーラム27

技術課題と研究開発ロードマップ（システムソフトウェア）• 基盤ソフトウェア– コンテナ化されたアプリケーション／ユニカーネルの効率的な実行– 不揮発性メインメモリ（NVDIMM）のサポート• 大規模並列・高性能計算– CPUとアクセラレータの効率的に利用と統一的な管理– データ転送の最適化、NVMを用いたチェックポインティング、ルーティングや集団通信最適化– 非同期通信の進捗処理• プログラミング環境– Oversubscriptionプログラミング、マルチレイヤコンパイラ、ワークフロー向けプログラミング• 次世代システム向け各種フレームワーク– データフレームワーク（TensorFlowなど）、プロファイラ、電力管理、スケジューラ、C/R• 新しいシステムコンセプト向けのシステムソフトウェア– ディスアグリゲーション、外部資源（クラウドやIoT）との連携・ワークフロー型の計算
2021/11/2

2021年度第1回計算科学フォーラム28

技術課題と研究開発ロードマップ（ライブラリ・アルゴリズム）• 自動チューニング
– 超非均質プロセッサの対応、混合精度演算対応、Society 5.0アプリ向けチューニング
– AIと自動チューニング技術の融合• 耐故障機構– アプリケーションレベルでのC/R、代替計算継続・縮退リソース計算継続方式• 機械学習フレームワーク– 新アーキ向け各種フレームワーク改良・ライブラリの高速化– 外部計算資源との連携、シミュレーションとの連携• アルゴリズム– 特定問題のアクセラレーション（グラフ処理など）• 新計算原理との融合– 従来型計算機と量子計算機のハイブリッド利用
2021/11/2

2021年度第1回計算科学フォーラム29

次世代型運用への要求• 新利用形態への対応– 観測データやセンサデータ、外部データベースを直接取り込みながらリアルタイム処理• 例）地震観測データによるデータ同化、ゲリラ豪雨予測、ビッグデータによる異常検知– 高信頼性・高セキュリティへの要求• データアーカイブ・流通– 大規模データの流通、重要データの保護、ディザスタリカバリ– クラウドとの連携• 設備・管理– 省エネ運用、電力変動対応、冷却設備の負荷変動大への対応– 外気導入や湖水・海水の利用を含めた次世代冷却技術• ユーザ利用・課金モデル– Service Level Agreement (SLA)の定義– 省エネ実行に対するユーザのインセンティブの明確化と課金モデルへの反映
2021/11/2

2021年度第1回計算科学フォーラム

30

おわりに
• これまでに頂いているWhite Paperへご意見– メニーコア型の性能見積りのベースとなるデータが保守的過ぎる– より幅広いアプリケーションで性能要求を調査することが必要– 新計算原理と古典コンピューティングのハイブリッド構成も検討すべき– 将来的な産業展開を当初から見据えた検討をすべき→ 現在White Paper 1.1.0版の公開に向けて作業中• アプリケーション・システムのコデザインがこれまで以上に重要• 計算科学の研究者の皆様と密に協力・連携させて頂ければ幸いです2021/11/2

2021年度第1回計算科学フォーラム

31