次世代先端的計算基盤への期待と課題
理化学研究所 計算科学研究センター
プロセッサ研究チーム チームリーダー
佐野 健太郎2022/9/16

本講演
 ⾃⼰紹介 NGACI White Paper ver 1.0 ⾼性能計算機アーキテクチャの技術動向
 NGACI White Paper ver 1.1 研究開発の⽅向性と課題
 汎⽤CPUはスケールするか︖
 将来のアーキテクチャの可能性
 将来アーキテクチャの課題
 おわりに

2

HPCPhys 勉強会

2022/9/16

⾃⼰紹介︓佐野 健太郎
 専⾨︓ 計算機アーキテクチャ、リコンフィギャラブル計算機システム
 経歴とこれまでの研究

 2000博⼠（情報科学）

東北⼤学⼤学院情報科学研究科

 2000〜2001
2001〜2005

助⼿
助⼿

東北⼤学⼤学院⼯学研究科
東北⼤学⼤学院情報科学研究科• 3次元データ可視化の精度制御⽅式• 可視化の並列アルゴリズム• ベクトル量⼦化の並列アルゴリズム、
FPGAによる専⽤ハードウェア

 2005〜2018 助教授（准教授）
東北⼤学⼤学院情報科学研究科
 2006〜2007 在外研究員
インペリアルカレッジ・ロンドンHPCI 技術ロードマップ⽩書 アーキ執筆担当「アクセラレータ」
 2017〜2018 チームリーダ兼務
理化学研究所計算科学研究機構
 2018〜現在
チームリーダ
理化学研究所計算科学研究センター
 2019〜現在
客員教授
東北⼤学⼤学院情報科学研究科
NGACI (Next-Generation Advanced Computing Infrastructure) ⽩書 アーキ取りまとめ• シストリック計算メモリアレイ• ストリーム計算⽤超⻑パイプライン• データフローハードウェアコンパイラ• ⾼性能計算向けFPGAクラスタ• FPGAによる流体計算専⽤計算機
FPGAによる津波計算専⽤計算機
FPGAによる多体問題専⽤計算機• ストリームデータ圧縮ハードウェア• FPGAによる富岳機能拡張システムとそのアプリケーション• 粗粒度再構成可能プロセッサ(CGRA)• 次世代⾼性能計算機システム

HPCPhys 勉強会

32022/9/16

これまでの研究（2006年〜）
命令実⾏型の「汎⽤プロセッサ」に代わる、特化型計算機アーキテクチャ
シストリック計算メモリアーキテクチャ （2006~2011）

データ圧縮によるデータ帯域向上ハードウェア （2009~）

 流体, 電磁場, 伝熱問題のステンシル計算。自作FP演算器
 世界初のFPGA流体計算

 PDEの解などの連続性を持つ浮動小数点データ向け
 計算中の数値データを可逆圧縮し、メモリやネットデータの冗⻑性排除・専⽤ハード処理
ワークの実効帯域を２～４倍に拡張

計算メモリ、
シストリックアレイ

流体計算専用計算機 （2012~2017）

スケーラブルパイプラインアーキテクチャ （2008~2012） 複数FPGAによる高スケーラビリティ並列計算
 実用問題のストリーム計算をFPGA上に専用ハードウェア化

 複数FPGAによる超長パイプラインにより帯域一定で性能向上（260GF @1GB/s）

データフロー、専⽤回路、専⽤網、並列ストリーム計算

ハードウェアループアンロール、ストリーム計算の超⻑パイプライン
4

HPCPhys 勉強会

2022/9/16

これまでの研究（2015年〜）
実⽤化に向けたシステム研究（ソフト・ハード） 後の実験システム
ESSPERの原型
密結合FPGAクラスタ

General-purpose network データフロー計算をFPGAにオフロード
 FPGA間専⽤ネットワーク

ストリーム計算回路コンパイラ
 Stream Processor Generator
 DFG記述からデータフローによるストリーム計算回路を⾃動⽣成Intra-node network
DRAM
DRAM
DRAM
DRAM

CPU

FPGA
FPGA
FPGA
FPGA

PCI-Express (x8)

DRAM
DRAM
DRAM
DRAM

CPUDRAM
DRAM
DRAM
DRAM

FPGA間
Inter-FPGAnetwork
ネット(Accelerator-domainワークnetwork,ADN)

FPGA
FPGA
FPGA
FPGA

FPGA
FPGA
FPGA
FPGA

CPU

DRAM
DRAM
DRAM
DRAM

FPGA
FPGA
FPGA
FPGA

CPU

Computing node w/ FPGA boards

津波計算︓GPU⽐で実効性能 2倍
電⼒性能⽐ 10倍

数値計算のアクセラレーション
 津波シミュレーション専⽤計算回路
 流体シミュレーション専⽤計算回路
 多体問題専⽤計算回路

IEEE, ACM, Elsevier,
IEICE 論⽂誌
HPCPhys 勉強会

52022/9/16

FPGAによる富岳の機能拡張 実験システム

FPGAクラスタ
実験試作機
ESSPER (別室)

「拡張により富岳に付加価値を与える⽅式の検討課題」(FY2017〜2020)

スーパーコンピュータ富岳

Connected with
100m cablesof 100G IB
6HPCPhys 勉強会

2022/9/16

NGACI White Paper ver 1.0
⾼性能計算機アーキテクチャの技術動向

HPCPhys 勉強会

72022/9/16

NGACI (Next-Generation Advanced Computing Infrastructure)
コミュニティにおいてオープンな意⾒交換を通じ、将来の⾼性能計算環境や共⽤資源の技術的課題、必要な研究開発を⽩書にまとめる活動 ４つのWGにより将来のシステム像や課題を議論 White paper 1.0.0
https://sites.google.com/view/ngaci/home 改訂版に向け議論を継続中

執筆協⼒者 (ver 1.0.0)> ver 1.1.0公開に向け準備中（ドラフトは完成）

 取りまとめ

近藤（慶應⼤・理研）

 アーキテクチャWG

リーダ︓三輪（電通⼤）、佐野（理研）、⾕本（九⼤）安島（富⼠通）, 井⼝（北陸先端⼤）, 井上（九⼤）, 江川（電機⼤）, 岡本（Spin Memory） ⼩野（九⼤）, 鯉渕（NII）, ⼩林（筑波⼤）, ⼩松（東北⼤）,佐藤（東北⼤）, 佐藤（豊橋技科⼤）, 塩⾒（京⼤）, ⽥邊（東⼤）, 中⾥（会津⼤）, 吉川（富⼠通研）, 福本（富⼠通研）, 星（NEC）, 三好（わさらぼ）, 宮島（理研）

 システムソフトWG

リーダ︓佐藤（理研）, 佐藤（豊橋技科⼤）合⽥（NII）, ⼩柴（理研）, ⼩松（東北⼤）, 坂本（東⼤）, ⾼野（産総研）, 滝沢（東北⼤）, 辻（理研）, 中島（富⼠通研）, 深井（理研）, ⼭本（理研）, 和⽥（明星⼤） アプリ・ライブラリ・アルゴWG

リーダ︓深沢（京⼤）, 今村（理研）, 中島（東⼤・理研）

岩下（北⼤）, ⼩野（九⼤）, 笠置（富⼠通研）, ⽚桐（名⼤）,⽩幡（富⼠通研）,住元（富⼠通研）, ⾼橋（筑波⼤）, 寺尾（理研）, ⻑坂（富⼠通研）, 椋⽊（理研）, 村上（都⽴⼤） システム運⽤WG

リーダ︓塙（東⼤）, 野村（東⼯⼤）

⼤島（名⼤）, 實本（理研）, 庄司（理研）, 滝澤（産総研）, ⽵房（NII）, 藤原（NII），三浦(理研)

8HPCPhys 勉強会

2022/9/16

NGACI WP アーキ関連部分 (ver 1.0)
1. はじめに
2. スーパーコンピュータの技術動向
2.1 ハードウェア・テクノロジートレンド
2.1.1 デバイス
2.1.2 プロセッサ
2.1.3 メモリ技術
2.1.4 データ転送技術

2.1.5 ASIC/FPGA
2.1.6 その他
2.2 システムアーキテクチャの技術動向
2.2.1 ノードアーキテクチャ
2.2.2 インターコネクト
2.2.3 ストレージ
2.3 システムソフトウェアの技術動向
2.3.1 基盤ソフトウェア
2.3.2 ⼤規模並列/⾼性能計算
2.3.3 プログラミング環境
2.3.4 性能解析ツール
2.3.5 利⽤⾼度化ツール
2.3.8 資源管理
2.3.9 外部資源連携
2.4 数値計算ライブラリ／ミドルウェア／
アルゴリズムの技術動向
2.4.1 数値計算ライブラリ
2.4.2 数値計算ミドルウェア
2.4.3 数値計算・アプリケーションを⽀える重要技術

5.2 データアーカイブ・流通
5.3 設備・管理
5.4 ユーザ利⽤・課⾦モデル

6.1 デバイス・アーキテクチャ
6.1.1 汎⽤システム型
6.1.2 専⽤システム混載型
6.1.3 PIM混載型
6.2 システムソフトウェア
6.2.1 基盤ソフトウェア
6.2.2 ⼤規模並列/⾼性能計算
6.2.3 プログラミング環境
6.2.4 データフレームワーク
6.2.5 性能解析ツール
6.2.6 利⽤⾼度化ツール
6.2.7 資源管理
6.2.8 外部資源連携
6.3 数値計算ライブラリ・アルゴリズム
6.3.1 数値計算ライブラリ
6.3.2 数値計算ミドルウェア
6.3.3 数値計算・アプリケーションを⽀える
重要技術

4. 次世代(2028年頃)システムの検討
4.1 汎⽤システム型
4.1.1 メニーコアCPU型
4.1.2 メニーコアCPU & GPU混載型
4.1.3 その他（ベクトルプロセッサ）
4.2 専⽤システム混載型および新たなる可能性
4.2.1 CPU拡張型
4.2.2 アクセラレータ主体型 / ヘテロジニアス型
4.2.3 Processing-In-memory主体型

7. おわりに4.2.4 アプリケーションの要求性能に対する評価

HPCPhys 勉強会

2022/9/16

CMOS集積度の限界?

集積度 (MTr/mm2)

500

CMOSデバイス・先進パッケージ技術
 集積度は向上するも限界に近づく (FinFET → GAA FET) トランジスタ単価は下がらず
 歩留まり向上によるコスパ改善 → チップレット
 ダイ間接続技術、MCP技術の進展（アーキテクチャ制約条件の変化）

N2?

400
現在の5倍 ?

300
200
1000

プロセッサ・メモリ（HPC向け）
 メニーコアCPU（Intel, AMD, IBM, Fujitsu, etc.）

N514nm

N77LPP

2015

5nm?

2xxx?

7nm

3GAE
5LPE

10nm

2020

2025IntelTSMC
Samsung

2030

量産初期

 メモリ︓新デバイス研究が進むも既存技術の延⻑が主流（DDR, HBM）

データ転送技術

N3

チップレット 成熟期

 GPU（NVidia, AMD, Intel）, ベクトル型プロセッサ（NEC）

1チップ歩留まり



6. 技術課題と研究開発ロードマップ

3.1 アプリケーションの次世代システムに対する要求性能
3.2 要求性能に対するアプリケーション分析
3.2.1 汎⽤システム型要求アプリケーション
3.2.2 メモリ性能要求アプリケーション
3.2.3 演算性能要求3.2.4 ネットワーク性能要求3.2.5 ポスト処理性能要求

ハードウェア技術の動向



5.1 新しい利⽤形態とシナリオ

3. アプリケーションの要求性能分析

9

5. 次世代型運⽤への要求

2.5 運⽤に関する技術動向
2.5.1 スパコン利⽤の枠組み
2.5.2 従来のスパコン利⽤⽅式
2.5.3 クラウドとHPC
2.5.5 新しい利⽤形態
2.5.6 設備と運⽤技術

 ⾼速シリアル伝送（〜400G）, パッケージ内ダイ間（Si-IP, EMIB, UCIe）ノード内接続（メモリ共有向け: QPI, IFIS, CXL、I/O向け: PCIe）
ASIC/FPGA ASIC TPU等︓様々なカスタム・AIプロセッサが登場
 FPGAXILINX, Intelの⾼性能FPGA︓HPCやデータセンター事例が増

その他 In-Memory computing技術（研究開発は続くが普及はまだ）

チップ面積 [cm2]https://community.arm.com/arm‐research/b/articles/posts/three‐dimensions‐in‐3dic‐part‐1

10

HPCPhys 勉強会

2022/9/16

システムアーキテクチャの技術動向 (v1.0)
HPCアーキテクチャ︓
分散メモリ型超並列計算機

Interconnection Network in a System A lot of "computing nodes"
which are connected by Network
 No shared memory among nodes
 Nodes have a shared storage(shared disks and/or SSDs)
Distributed‐memory
parallel computer

Shared‐memory
parallel computer

Each node/processor
has its own local
memory with its own
memory space.

Nodes/processors
have a common
memory space usedby all of them.

11

Node 1

Node nShared storage

HPCPhys 勉強会

2022/9/16

ノードアーキテクチャ
分散メモリ型 並列計算機
 Many-core CPUs
with their shared memory
 Accelerators in some cases(typically GPUs) Other peripherals, such likenetwork interface and local storage

Interconnection Network in a System
Node 1

Node nNW LocalAccelerator
I/F Storage

NW LocalAccelerator
I/F Storage

CPUCPUCPUCPUCore CoreCore CoreCore Core

Core Core

Core Core

Core Core

Core Core

Core Core

Shared memory

Shared memory

Shared storage

12

HPCPhys 勉強会

2022/9/16

システムアーキテクチャの技術動向 (v1.0)
ノードアーキテクチャ（計算ノードのハードウェア構成）

Node 1

 メニーコアCPU 型
 メニーコアCPU & GPU 混載型
 その他︓FPGA搭載型、ベクトルプロセッサ搭載型


NW LocalAccelerator
I/F Storage

インターコネクト
 現状のトレンドの発展的な継続、Co-packaged Opticsを⽤いる新たな構成、の両⽅
 ボード間結合網（Top500マシンのトレンド︓Fat tree, dragonfly, 5D Torus）
 ⽬的特化型結合網（Anton-s, MDGRAPE-4）

CPUCPUCore Core

Core Core

Core Core

Core Core

Shared memory

ストレージ（⼤規模化・複雑化・階層化）
 ストレージクラスメモリ、バーストバッファ、並列分散ファイルシステム、アーカイブストレージ ストレージインタフェース（SATA, SAS, NVMe, Fiber Channel, USB）
 ストレージネットワーク（NVMe-oF, iSCSI, FCoE）
 ストレージ機能⽀援ハード（Computational Storage）

13

HPCPhys 勉強会

2022/9/16

システム性能（ピーク、実効）Peak performance andapplication performance

Interconnection Network in a System(system peak performance)= (peak perf of node) x (# of nodes)(application performance)= (peak performance) x (efficiency) Efficiency is influenced by

Node 1

Node nNW LocalAccelerator
I/F Storage

NW LocalAccelerator
I/F Storage

CPUCPUCPUCPUCore CoreCore CoreCore CoreCore CoreCore CoreCore CoreCore CoreCore Core

Shared memory

 parallelism
 memory perf for required access network perf for required communication

14

HPCPhys 勉強会

Shared memory

Shared storage2022/9/16

2028年頃に実現可能な次世代システムの予測 (v1.0)
 次世代システムの構成としていくつかのアーキテクチャタイプを検討
 汎⽤システム型

 メニーコアCPU型
 メニーコアCPU＆GPU混載型
 ベクトルプロセッサ混載型

富岳の構成の延⻑として考えられるシステム
GPUとホストCPUで構成（現在多くのシステムでも採⽤）
ベクトルプロセッサとホストCPUで構成（例︓ SX-Aurora TSUBASA ） 専⽤システム混載型（ムーアの法則減速により重要な検討事項に）

 CPU拡張型

 ISA（SIMD）の専⽤的な命令をCPUに拡張機能として搭載（例︓Intel AMXやARM SVEのFMMLAなど）
 BFloat16やINT8、INT4などの応⽤に特化したデータ型の導⼊

 アクセラレータ主体型/ヘテロジニアス型

 システム搭載⽅式︓チップ内拡張(SoCやMCM)、ノード内拡張、ラック間疎結合
 アクセラレータ構成⽅式︓専⽤、準専⽤、汎⽤

 Processing-In-memory主体型

 演算器とメモリの密接実装によるメモリアクセスの⾼バンド幅化と低遅延化
HPCPhys 勉強会

15

汎⽤システム型の性能予測 (v1.0)


ベースラインとしての予測

システムコンポーネント毎に以下の⽂献データから予測 プロセッサ︓ ソケットあたりコア数:
 CPUソケットのTDP:

 GPU

 保守的な予測︓
 積極的な予測︓

2022/9/16

IRDS: IEEE International Roadmap for Devices and Systems

IRDS Roadmap - Systems and Architectures (2017 and 2020 edition)

70コア, SIMDビット⻑︓2048-bit x 2, クロック周波数︓3.9GHz
351W

NVIDIA社の過去のハイエンドGPUの性能をもとに線形で外挿将来のCPUの性能予測値に現⾏のGPU/CPUの性能⽐を乗じることで予測

 ネットワーク︓“Ethernet Alliance Roadmap 2018” ストレージ︓“Lustre: The Next 20 Years”, HPC-IODC Workshop, 2019.

 リンクあたり1.6 TByte （100Gbps x 16レーン）
 ノードあたり1リンク （リンク数増加によってアプリのカバー範囲が変わらないため）
 LustreでI/O性能が1.36x/年、容量が1.38x/年で向上するとの予想を利⽤

制約︓システム全体の電⼒ システム電⼒バジェット︓30, 40, 50MW （cf. 富岳では28.3MW） および PUE=1.1 (Power Usage Effectiveness)
 CPU（またはGPU）の電⼒バジェットの⽐率︓ 60, 70, 80%
16HPCPhys 勉強会

2022/9/16

2028年のシステム予測性能（ピーク性能） (v1.0)
メニーコア型GPU混載型

 最も積極的な予測でも最⼤1.8 EFLOPS(富岳の性能の3.37倍 @ 50MW, CPU 80%)
 制約は、電⼒ (電⼒性能⽐の向上は⾼々2倍程度)

 最も積極的な予測で最⼤14.0 EFLOPS(富岳の性能の33.5倍 @ 50MW, CPU&GPU 80%)
積極的予測︓CPUの性能予測値に現⾏のGPU/CPU性能⽐を乗じて予測システム電⼒CPU電⼒28.3MW

システム電⼒CPU/GPU電⼒• IRDS Roadmap のCPUコア数は保守的過ぎるかもしれない• あくまでピーク性能の予測であり、実効性能はまた別
富岳• ⽇本に限らない話
既存⽅式に限界 → 新⽅式の必要性（チャンス到来︕︖）

HPCPhys 勉強会

172022/9/16

アプリケーションの要求性能分析• 計算科学ロードマップやアンケートに基づき37個のアプリの要求性能を解析– そのうちノード数の要求について記載のないものは除く– より多くのアプリ（重点課題やビッグデータアプリ）の分析は今後の課題• 分析の目的– 性能要求の分析により必要なシステムのタイプを分類– 汎用的なシステム構成によりどの程度のアプリケーションがカバーできるかの調査• 分析の際に仮定するシステム構成（メニーコア型・GPU混載型の積極的な予測の場合）# of CPU Sockets or GPUs
# of total cores
PFLOPS (double)
DDR total BW (PB/s)
HBM total BW (PB/s)
Total Size of DDR (PB)
Total Size of HBM (PB)
2022/5/27

Manycore (50MW, CPU80%)
103,600
7,252,000
1,810
228
683
39
9

GPU (50MW, CPU80%)
112,580
1.2 x 109
17,963ー743ー
10

第11回JCAHPCセミナー
近藤 正章, “次世代先端的計算基盤の開発に向けたNGACIでの取り組み”,
第11回JCAHPCセミナ, 2022年5月.

18

アプリケーションの要求性能との比較（WP1.0.0より）• メニーコア型システム構成（システム電力50MW, CPU80%）の場合

要求メモリバンド幅 (B/F)

合計メモリBW不足

合計メモリサイズが不足

要求メモリサイズ (PB)
2022/5/27

第11回JCAHPCセミナー
近藤 正章, “次世代先端的計算基盤の開発に向けたNGACIでの取り組み”,
第11回JCAHPCセミナ, 2022年5月.

19

NGACI White Paper ver 1.1
⾼性能計算機アーキテクチャの技術動向

20

HPCPhys 勉強会

2022/9/16

2028年のシステムの予測性能（更新版）• 現在NGACIで議論中のシステム性能予測データの一部を紹介– 三輪先生＠電通大、安島さん＠富士通、塩見先生＠阪大に感謝いたします• 仮定するプロセッサのタイプ– Latency Sensitive （LS）
• データベースなどランダムアクセス処理にも対応可能なアーキテクチャ• 大容量メモリ、大容量LLC、深いキャッシュ階層• 例）Xeon, EPYC, Amazon Graviton, etc.

– Bandwidth Centric （BC）
• グラフィックス、HPCなどストリーミング処理• 高帯域メモリ、帯域×遅延に必要十分なローカルメモリ／キャッシュ• 例）Tesla, Radeon Instinct, Intel Xe, A64FX, SX-Aurora Tsubasa, etc.

– Compute Centric （CC）

佐野補足： 2022/9/16
ver 1.1.0 のドラフトは完成（公開に向け準備中）
その他の執筆者の皆様にも感謝
性能推定法： ピーク性能
TSMCのN2ノードを対象とし・ロジック密度・SRAM密度・トランジスタ消費電力・トランジスタ速度の向上から現行品を外挿し推定
CCはオフチップメモリを持たず。

• 学習、推論などAI処理• 高密度な演算器、必要十分な入出力帯域• 例） Google TPU, Cerebras WSE, Tesla D1, Esperanto ET, Graphcore Colossus, SambaNova, etc.
2022/5/27

第11回JCAHPCセミナー
近藤 正章, “次世代先端的計算基盤の開発に向けたNGACIでの取り組み”,
第11回JCAHPCセミナ, 2022年5月.

21

2028年のシステムの予測性能（更新版）• ソケットあたりの性能比較
LS modelBC modelCC modelFP64 Peak Performance

5.9 TFlops

12.8 TFlops86.8 Tflops

Memory Bandwidth

614 GB/s

4 TB/s

173.6 TB/s

Memory Capacity

1.5 TB

512 GB

1.7 GB

B/F

0.25

0.31

2.0

Power Consumption

351 W

140 W

286 W

• 50MW、80%におけるシステム性能の見積り
LS modelBC modelCC model103,600

259,740

127,145

総コア数 (Millionコア)

6.63

258,526.49

523.96PFLOPS

615

3,324

11,036

総メモリバンド幅 (PB/s)

63

1,063

22,072

総メモリ容量159132

0.22

ソケット数

2022/5/27

第11回JCAHPCセミナー
近藤 正章, “次世代先端的計算基盤の開発に向けたNGACIでの取り組み”,
第11回JCAHPCセミナ, 2022年5月.

22

３つの異なる⽅向性に全振りした場合の推定値。
実際には、これらのハイブリッドを含め、カバーすべき性能や、プログラミングモデル等を考慮してアーキテクチャを探索

総評 LSは汎⽤の⾼性能CPUベース

 データセンター向けシステムを持ってきた場合LS, BCのCPUベースでは⼗分な性能向上は不可

 BCはHPC向けの広帯域CPU, GPU等をベース

 現在のスパコンの進化系
 CCはオンチップメモリのみでバンド幅を稼ぎ、リソースの⼤部分を演算器に振ったもの

 汎⽤CPUを⽤いずプログラマブルアクセラレータのみで構成するような極端な想定での推定50MW、80%におけるシステム性能の見積り (TSMC 2N想定)
LS modelBC modelCC model103,600

259,740

127,145

総コア数 (Millionコア)

6.63

258,526.49

523.96PFLOPS

615

3,324

11,036

総メモリバンド幅 (PB/s)

63

1,063

22,072

総メモリ容量1591320.22

ソケット数

23

HPCPhys 勉強会

2022/9/16

汎⽤CPUはスケールするか︖（メニーコアCPUベースで⼗分か︖）

24

HPCPhys 勉強会

2022/9/16

議論の前提 ソケット or ノード性能 で検討

 ここではシステム性能は考えず（コストや電⼒バジェットでシステム規模や性能が決まるため） メニーコアCPUの実効性能を左右するアーキテクチャ要素は何か メニーコアCPUの限界
 NGACI WPで⾒積もったのは、あくまでピーク性能
 現在のCPUアーキテクチャの延⻑線上・巨⼤化で不⼗分なら、どのような選択肢があり得るか メニーコアCPUの限界を知ることは、取るべきアーキテクチャ指針を検討する出発点

25

HPCPhys 勉強会

2022/9/16

メニーコアCPUの性能スケーリングの限界
Core performance is difficult to increase.
 Limited frequency, limited parallelism
 Extra hardware required to boost IPC

Moving data via memory doesn't scale.
 NoC and cache can be a bottleneck ofdata supply from external memories.
 Inter-core data-movement is inefficient.
> latency in writing/reading cache memories

NoC itself and shared LLC doesn't scale.
 Scalable NoC is challenging.
 $-coherence protocol gives higher pressure.

No more improvement in perf/power.
26

汎⽤でプログラマフレンドリではあるが、向上に限界

Core (= programmable state machine)
RF

RF

RFRF

L1L1L1L1L2

L2L2L2LLC
slice

LLC
slice

LLC
slice

LLC
slice

NoC (Network on Chip)
MCMCIO(PCIe)

データ移動の効率化、制御の局所化・⾮同期化が重要

May 25, 2022

Intel Skylake-SP Xeon Processor (28 Cores)
 Ice Lake-SP is similar.
 6x6 Mesh
 Five rows of core & LLC slices Average latency is similar to Brdwell, but more cores Each of two MCs are on each side All IOs are at the top.

From HotChips29
https://www.hotchips.org/wp‐content/uploads/hc_archives/hc29/HC29.22‐Tuesday‐Pub/HC29.22.90‐Server‐Pub/HC29.22.930‐Xeon‐Skylake‐sp‐Kumar‐Intel.pdf

27

May 25, 2022

Fugaku A64FX Processor (48 Cores)
CMG(12+1 core)

HBM2(8GiB)

CPU : NUMA node with 48+ cores L2 cache is shared by 13 cores with X-bar, per CMG
 Four CMGs are connected by a bi-directional ring for NUMA
28

May 25, 2022

Performance of CMG and NoC

 Clustered structure

Performance numbers of CMG and NoC

 Four CMGs (core memory groups)
 Memories are shared by CMGs (NUMA) Each CMG has 12+1 cores (ARMv8.2)
29

EU‐ASEAN HPC Summer School

July 5, 2021

Chipletにより制約・コストは変化

30

HPCPhys 勉強会

2022/9/16

将来のアーキテクチャの可能性（どのような選択肢があり得るか）

31

HPCPhys 勉強会

2022/9/16

アーキテクチャ改良の⽅式 (CPU + X)
前提︓既存CPUよりも⾼性能かつ⾼電⼒効率のアクセラレータによる拡張が必要かもしれない

 コア内拡張

CPU拡張⽅式

 SIMD, 命令pipeline拡張CPU

 CPU内にアクセラレータ要素を追加（拡張のバリエーションについては後で）AB

 特定機能エンジン(Matrix/Tensor/FFT)C

 キャッシュ近傍処理 (rd-md-wr)) コア外拡張


ノード拡張⽅式
 ノード内にアクセラレータ部を追加
 PCI-ExpressやCXL等でCPUと結合 独⽴したアクセラレータXをNoCに接続

Node
A

CPUCPUB

 メモリ内/近傍処理, NW IF近傍処理

C

特化型ノードやラックの疎結合⽅式
 システム内に独⽴したアクセラレータ
専⽤ノードやラックを追加

汎用

A

B

C

 ネットワークで結合
32

HPCPhys 勉強会

2022/9/16

アーキテクチャ改良の⽅向性
NodeCPUAB

CCPUCPU

A

B

汎用

C

拡張⽅式 / 結合⽅法

チップ内結合パッケージ内結合

CPU拡張⽅式〇〇

ノード拡張⽅式

 CPUダイ上で結合〇〇

 Chiplet(2.5D), 3D結合△特化型ノード・ラックの疎結合⽅式

I/Oによる結合

CPUとメモリ共有


A

B

C

ネットワークによる結合〇

CPUとメモリ分散
 ⾰新的⽅向性

保守的⽅向性 可能性や性能向上を追求、⽣産性は将来開発に期待 CPUとは別のアーキを設けて性能を確保する⽅式
 CPUは別のプログラムモデル必要

 プログラマビリティ、コード資産を重視 拡張によりCPUの性能を向上させる⽅式
 CPUと統⼀的にプログラムが可能

HPCPhys 勉強会

33

2022/9/16

CPU・ノード拡張⽅式の分類
B2
PiM,
Near mem

CPUと独⽴した内部状態の有無 (A, B)
 A) Stateless (100% controlled by CPU) B) Has its own state (CPU may still control ops.)

メモリ空間共有, キャッシュコヒーレンシ (1,2,3)
 1) Depending on CPU’s load-store unit Has its own load-store unit 2) Direct access to main memory (e.g., CXL)
Sometimes it has its own memory and cache: 2c) with cache coherency 3) In-direct access through PCIe, NVLink
Usually with its own memory,
and/or augmented cache coherency: 3p) Partial/one way coherency 3f) Full coherency through address translation

34

CPUの⼀部か、別か。またプログラムにおけるホスト、Accのデータ管理に影響
R‐CCS Cafe, K.Sano

Aug 2, 2021

アクセラレータ部の構成⽅式 (Whatʼs X?)
CPU拡張 特定の計算問題またはドメインのみを⾼速処理可能な構成CPUABC 例）Matrix engine, Tensor engine, FFT engine, DL engine︖
A 最も⾼性能・⾼電⼒効率であるが、柔軟性やプログラマビリティが低い

ノード拡張
NodeC

特化型ノード/ラックの疎結合
汎用A

BC

35（準）プログラマブルアクセラレータ
 複数の計算モデル・問題を⾼速処理可能＋プログラマビリティを持つ構成
 固定機能アクセラレータに⽐べ、性能や電⼒効率で劣る 例）GPGPU, データフロープロセッサ（CGRA, Coarse-Grain Reconfigurable Arrays)

CPU
CPU
B

固定機能アクセラレータ



計算モデルによる分類
 ノイマン型（GPU）

命令の逐次実⾏ベース

 ⾮ノイマン型（FPGA, CGRA）

問題を回路に展開し実⾏。データ駆動型

特定計算ドメインの候補
 疎⾏列計算、N体問題、FFT、ソート、グラフ処理、脳型計算、量⼦計算シミュレーション、エージェントシミュレーション、他︖
 演算⼦、依存関係、データ構造（メモリ参照パタン）などで特徴づけ
HPCPhys 勉強会

2022/9/16

アプリ・アルゴリズムからの要求 (Whatʼs X for?) 個別の要求 SCALE-SMD: 配列へのリストアクセス 精密格⼦QCD: Allrecue専⽤NW、4次元構造格⼦を並列化しやすいNW
 GENESIS: リアルタイム可視化のための⾼いポスト処理性能
 専⽤ハードウェア機構への期待 負荷分散⽀援ハードウェア（粒⼦計算）
 エージェント処理のハードウェア実装（エージェントシミュレーション）
 疎⾏列専⽤ハードウェア（疎⾏列計算）
 メモリアクセスのスケジューリング⽀援機構（モンテカルロ計算、グラフ処理）
 アニーリング（イジング模型による最適化問題）
 データフロー型かつ⼤量のレジスタを持つハードウェア（FFT）
 ソーティングのハードウェア実装（ソーティング）

36

HPCPhys 勉強会

2022/9/16

将来アーキテクチャの課題

HPCPhys 勉強会

37

2022/9/16

研究開発の⽬標
 電⼒制約のためにシステム性能向上には電⼒性能⽐の改善が必須

 WPの推定からも、既存CPUアーキの延⻑では⽬標達成は困難
 CPUに代わる、電⼒性能⽐を向上できるアーキを導⼊の必要性

どのようなオプションがあり得るか︖
アプリ・ユーザを考慮した時、何が許されるか︖

 性能・機能・特性において、達成すべきは何か︖その優先順位は︖

 計算性能（ピーク性能, アプリ実効性能）

 電⼒性能⽐（システムの総合性能を左右） コスト（開発コスト, 製造コスト） 汎⽤性（種々の計算問題に対する計算効率）

 ⽣産性（プログラムし易さ, 既存コード再利⽤性, 性能可搬性）

 運⽤可能性（共⽤設備またはクラウド利⽤などに適すか）

計算そのものの価値に影響

利用者数に影響
アプリの広がりに影響
システム稼働率に影響 （耐故障性、保守性、等）38

HPCPhys 勉強会

2022/9/16

課題


汎⽤CPU（コア）部と拡張部Xの割合は︖
 拡張部 X の汎⽤性が低い場合には?（どのドメインか） 複数⽅式を組み合わせるか?
例）CPU内拡張（強化型CPU） + Accによるノード拡張



PFN MN-Core

Groq

Cerebras

SambaNova

Wave computing

プログラミングモデルは?
 CPU⽤のプログラミング⽅式を適⽤できるか︖
C/C++ (11,14,17), FORTRAN, Python
OpenMP, MPI, アクセラレータ⽤プログラミングが求められるか︖
OpenCL, SYCL, DPC++, etc.
 ライブラリ、フレームワーク提供で⼗分か?

Graphcore

XILINXVERSAL(ACAP)

必要な（⼈的）コストを誰が担うか︖
 CPUコンパイラの拡張, ライブラリ・フレームワーク開発
 ベンダやシステムソフトコミュニティ

近年のプログラマブルアクセラレータの例

多くの場合汎⽤コンパイラ(C/C++/FORTRAN)は未提供

 アクセラレータ⽤コードマイグレーション
 ユーザ
39

HPCPhys 勉強会

2022/9/16

ユーザからの要件は︖
 圧倒的な性能・規模の向上︖

 xx倍速くなって欲しい︖
 yy倍⼤きな規模を計算したい︖
 そのために許容できる犠牲は︖
 コードポータビリティ︖

 既存コード（特にCPU向けのC/C++, FORTRAN）の移植は許容できない?
 指⽰⼦を⼊れる程度（OpenMP, OpenACC等）ならOK︖
 妥協案として、ホットスポットのみをAcc向けに書き換えるのはOK︖
 Time-to-solution︖圧倒的な⽣産性︖ 新規コードが簡単に書けて、それなりの性能が出ればいい︖
 素⼈プログラミングから⽞⼈（⾼性能・⼤規模）プログラミングへの移⾏が楽であって欲しい︖

40

HPCPhys 勉強会

2022/9/16

おわりに 既存CPUアーキテクチャの延⻑線のみでは厳しい時代

 電⼒効率を上げるための拡張、という⽅向性
 拡張⽅式、アクセラレータ構成⽅式により、達成可能な性能や使い易さが変わる 汎⽤性重視なら既存CPUベースである程度の性能を達成（しかし向上は限定的）
 舵取りに必要なのは、ユーザの要求と許容 どのような種類の計算をターゲットにするか
 性能と、⽣産性、既存コード資産
 コンサバか、アグレッシブか システム開発側とユーザの意思疎通がこれまでにも増して重要 対話を継続していきましょう 今後の⼤きなトレンドを⾒据えて議論しましょう
41

HPCPhys 勉強会

2022/9/16

42

HPCPhys 勉強会

2022/9/16