情報処理学会研究報告
IPSJ SIG Technical Report

PEZY-SC3: 高い電力効率を実現する MIMD メニーコア
プロセッサ初田 直也1,a)

角田 俊太郎1

内田 広平1

石谷 太一1

塩谷 亮太2

石井 敬1

概要：PEZY-SC3 は我々が開発した高い電力効率と面積効率を持つスーパーコンピュータ向けプロセッサであり，TSMC 7nm プロセス技術を用いて製造されている．PEZY-SC3 は高いスレッドレベル並列性を含むアプリケーションを対象としており，それらにおいて高い効率を実現するために MIMD メニーコア
アーキテクチャ，細粒度マルチスレッディング，ノンコヒーレントキャッシュなどの要素を採用している．
PEZY-SC3 は MIMD メニーコアアーキテクチャの採用により各コアが独立して動作するため，機能が限定された特殊なテンソルユニットや Wide-SIMD を採用した既存のプロセッサと比較して，高いプログラマビリティを持ちながら高電力効率を実現している．また，PEZY-SC3 の各コアはアウトオブオーダ実行や投機実行のような高コストな技術を一切導入せず，シンプルなパイプラインにより高電力効率と高スループットを両立している．さらに，独自のノンコヒーレントで階層的なキャッシュシステムにより，プログラマビリティを損なうことなくメニーコアにおける高いスケーラビリティを実現している．PEZY-SC3 を搭載したシステムの電力効率は 21.892 GFlops/W であり，スーパーコンピュータの電力効率を測定するGreen500（2023 年 6 月）において 39 位となった．本論文ではこの PEZY-SC3 のアーキテクチャの概要と設計について説明する．

1. はじめにPEZY-SC3 は TSMC 7nm プロセスで製造されたスーパーコンピュータ向けプロセッサであり，高い電力効率とや分岐予測といった複雑で高コストな機構を用いずに高いスループットを達成している．さらに，ノンコヒーレントな階層キャッシュシステムにより，プログラマビリティを損なうことなくコア数をスケールさせている．

面積効率を持つ．PEZY-SC3 は，PEZY Computing によPEZY-SC3 を搭載したスーパーコンピュータシステムにり開発された PEZY-SCx シリーズの 3 世代目のプロセッ

おいて LINPACK ベンチマーク [7] を実行した際の電力効サである．PEZY-SCx シリーズはこれまでにさまざまな研率は 21.892 GFlops/W であり，スーパーコンピュータの電究機関に展開され，大規模な科学技術計算に利用されてき力効率を測定している Green500 [8]（2023 年 6 月）においた [1], [2], [3], [4], [5]．て 39 位にランクされている．この Green500 の上位にランPEZY-SCx シリーズは高いスレッドレベル並列性を持つ

クされている各システムでは一般にアクセラレータ部が電アプリケーションをターゲットとしたプロセッサである．

力効率において支配的である．そのようなアクセラレータ

PEZY-SC3 を含む PEZY-SCx シリーズの各世代に共通しとしては，PEZY-SC3 より上位にランクされているシステ

た特徴として，MIMD メニーコアアーキテクチャ，細粒度

ムは全て NVIDIA H100，NVIDIA A100，AMD MI250X，

マルチスレッディング，ノンコヒーレントキャッシュなど

PFN MN-Core のいずれかを採用しており，PEZY-SC3 はの要素の採用がある．PEZY-SCx シリーズでは MIMD メ

それらに次いで 5 位の電力効率を持つと言える．また，上ニーコアアーキテクチャの採用により，特定計算向けに特位の 4 アーキテクチャがいずれもテンソルユニットなど行化したテンソルユニットや Wide-SIMD [6] などを採用し列計算に特化した演算ユニットによって電力効率を向上さたプロセッサと比較して，より柔軟なプログラミングモデせているのに対し，PEZY-SC3 はそれらの演算ユニットをルを提供している．また，細粒度マルチスレッディングに採用しておらず，行列計算に限らず幅広いアプリケーショよる単純なパイプラインにより，アウトオブオーダー実行ンにおいて高い電力効率を発揮することができる．
本論文ではまず PEZY-SCx シリーズに共通するアーキ

12a)

PEZY Computing
東京大学大学院 情報理工学系研究科
hatta@pezy.co.jp

c 1959 Information Processing Society of Japan⃝

テクチャについて説明し，PEZY-SC3 までの各世代の構成について述べる．次に設計・製造した PEZY-SC3 の実装

1情報処理学会研究報告
IPSJ SIG Technical Report

City(16PE)

City(16PE)

City(16PE)

City(16PE)

Special Function Unit

City(16PE)

City(16PE)

City(16PE)

City(16PE)

Village(4PE)

Village(4PE)

City(16PE)

City(16PE)

City(16PE)

City(16PE)

Village(4PE)

Village(4PE)

City(16PE)

City(16PE)

City(16PE)

City(16PE)

L2 I-Cache
32KB
L2 D-Cache
64KB
City (16PE)

Prefecture (256PE)

Program Counter
×8

PE

PE

L1 D-Cache
2KB

L1 D-Cache
2KB

PEPERegister File
6KB

L1 D-Cache
2KB

L1 D-Cache
2KB

Local Storage
24KB

L1 I-Cache
4KB
ALU
8FP ops/cycle

Village (4PE)PE

DDR4 DIMM 25GB/s
HBM2 DRAM 307.2GB/s

HBM2 DRAM 307.2GB/s

MIPS

MIPS

MIPS

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

MIPS

MIPS

MIPS

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

MIPS

MIPS

MIPS

MIPS

MIPS

MIPS

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

Prefecture(256PE)

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

LLC x84096KB

HBM2 DRAM 307.2GB/s

PCIe Gen4 x16
PCIe Gen4 x16

HBM2 DRAM 307.2GB/s
PCIe Gen4 x16

DDR4 DIMM 25GB/s

PEZY-SC3 (4096PE)

図 1PEZY-SC3 のブロックダイアグラム

詳細とそれを搭載したスーパーコンピュータシステムの構は PEZY-SCx が外部の PCIe デバイスを制御するた成について説明し，その後に電力効率の測定結果についてめに使用される．PEZY-SC3 には外部インターフェー

述べる．

スとして PCIe Gen4 が 48 レーン搭載されている．

2. PEZY-SCx のアーキテクチャ

2.1 階層構成

PEZY-SCx シリーズは世代ごとにコア数や動作周波数な

PEZY-SCx は階層化された構造を持っており，上位階層どを向上させているが，基本的なアーキテクチャは共通しから順に state，prefecture，city，village と呼ぶ．以下ではている．ここでは図 1 に示す PEZY-SC3 のブロックダイ

例として PEZY-SC3 における構成を述べる．まず最上位

アグラムを用いて PEZY-SCx のアーキテクチャについての state はチップ全体を示し，各 state は 16 個の prefecture述べる．PEZY-SCx は以下のユニットから構成される：から構成される．同様に各 prefecture は 16 個の city から，• Processor Element (PE)：PE は我々が独自に開発した各 city は 4 個の village から，各 village は 4 個の PE から

RISC 命令セットを持つプロセッサであり，PEZY-SCx構成される．チップ内の各 PE は独立してプログラムを実の主要な計算リソースである．32bit および 64bit の行するが，専用の同期命令により指定された範囲内で待ち整数演算と，半精度・単精度・倍精度の浮動小数点数合わせを行うことができる．たとえば，city を指定した同演算をサポートする．

期命令を発行すると同一 city 内の 16PE で待ち合わせを行• 管理プロセッサ：管理プロセッサは PE や PCIe インターフェースを制御するために使用される．PEZY-

い，state を指定した同期命令ではチップ全体で同期を取ることができる．

SC3 には MIPS64 命令セットを持つ管理プロセッサが6 コア× 2 クラスター搭載されている．

2.2 PE のアーキテクチャ• 外部メモリ：PE および管理プロセッサからアクセス

図 2 に PE のブロックダイアグラムを示す．PE は細粒可能な主記憶として外部メモリが接続される．PEZY-

度マルチスレッディングをサポートしたプロセッサであり，SC3 は外部メモリのインターフェースとして DDR4プログラムカウンタとレジスタファイルを 8 スレッド分搭と HBM2 の 2 つをサポートしている．

載している．L1 命令キャッシュは 4-KB の 8-way セット• 外部インターフェース：外部インターフェースはホスアソシアティブキャッシュであり，8B/cycle の命令を供給

トプロセッサが PEZY-SCx を制御するため，あるいすることができる．PE の命令長は 32bit であるため，1 サ

c 1959 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

CityVillage

PE

L1 Instruction Cache
4 KB 8-way
8 B/cycle
Instruction Fetch
Issue
2 instructions/cycle
Register File
6 KB
Decoder
ALU

ALU

EXTLSU

Local Storage
24 KB

16 B/cycle
L1 Data Cache
2 KB 8-way

8 B/cycle16 B/cycle
L2 Instruction Cache
32 KB 4-way

Special FunctionUnit
図 2イクルに最大 2 命令まで発行可能となっている．
レジスタファイルはスレッドあたり 64bit の整数レジス

L2 Data Cache
64 KB 16-way

PE の構造Thread0back

Thread1
backclockタ 32 本，128bit の SIMD 浮動小数点数レジスタ 32 本を搭載し，8 スレッドの合計は 6-KB となる．実行ユニット

Thread0
front

は整数・浮動小数点数演算を行う ALU(Arithmetic Logic

Thread1
front

i.chgthreadi.actthreadetc..

Unit) が 2 ユニット，ロードストアを行う LSU(Load StoreUnit) が 1 ユニット搭載されている．除算や平方根など一clockclock

部の特殊演算は city に 1 つずつ搭載された SFU(SpecialFunction Unit) で実行される．LSU には 24-KB のローカ

Thread3
front

ルストレージが搭載されており，パイプラインストールをThread2
front発生させることなくロードストアを行うことができる．
Thread3
backclockThread2back

2.3 スレッド実行モデル
PE におけるスレッドの実行モデルを図 3 に示す．8 つ図 3

スレッド実行モデルのスレッドは 2 スレッドずつ 4 つのスレッドグループに分かれており，実行されるスレッドグループはクロックサイフェッチまでに分岐先を確定させることができる．そのたクル毎に切り替わる．各スレッドグループのうち 1 スレッ

め分岐予測器を搭載することなく高い IPC を維持するこ

ドが実行状態，もう 1 スレッドが待機状態であり，専用命とが可能である．

令により実行状態にあるスレッドを切り替えることができる．このスレッド切り替え命令により，長いメモリレイ2.4 キャッシュ階層テンシを効率良く隠蔽することができる．また，各スレッ

PEZY-SCx が搭載している L1/L2/LLC の各キャッシュドは 4 サイクルに 1 回しか実行されないため，次命令のはキャッシュコヒーレンシのための機構を持っておらず，

c 1959 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

Processor Element

管理プロセッサ

ピーク演算性能
外部メモリ (DDR)
外部メモリ (HBM)

表 1 PEZY-SCx シリーズの構成
PEZY-SC3s
PEZY-SC3

PEZY-SC2PEZY-SC

命令セット

Custom ISA

Custom ISA

Custom ISA

Custom ISA

コア数

512

4096

20481024

動作周波数

1.0 GHz

1.2 GHz

1.0 GHz733 MHz

命令セット

RISC-VMIPS64

MIPS64

ARM v5TEJ

コア数

16 × 2cluster

6 × 1cluster

2

動作周波数

1.0 GHz

1.5 GHz

1.0 GHz733 MHz

倍精度

2.0 TFlops

19.7 TFlops

4.1 TFlops

0.75 TFlops

単精度

4.0 TFlops

39.3 TFlops

8.2 TFlops

1.5 TFlops

半精度

8.0 TFlops

78.6 TFlops

16.4 TFlops

3.0 TFlops

構成

DDR4-3200 2ch

DDR4-3200 4ch

DDR4-2400 8ch

帯域51.2 GB/s

102.4 GB/s

153.6 GB/s

構成

HBM2 2.4 Gbps 2ch

HBM2 2.4 Gbps 4ch

帯域

614.4 GB/s

1.2 TB/s

構成

PCIe Gen4 4lane

PCIe Gen4 48lane

PCIe Gen4 32lane

PCIe Gen3 32lane

帯域

8 GB/s96 GB/s

64 GB/s

32 GB/s

製造プロセス

TSMC 7nm

TSMC 7nm

TSMC 16nm

TSMC 28nm

リリース

2022/04

2021/04

2017/04

2014/08

外部インターフェイスキャッシュの一貫性制御は各 PE がフラッシュ命令を発行することで行う．フラッシュ命令は引数に同期範囲を取る命令であり，指定された範囲の全スレッドがその命令で待ち合わせた後，範囲内のキャッシュを下位階層に書き戻すことで一貫性を保つ．これによりチップ全面に張り巡らさ

表 2 PEZY-SC3 の実装
製造プロセス
TSMC 7 nm FinFET
ダイサイズ

25.7 mm × 30.6 mm

ゲート数

3300M ゲート

メモリビット数

2300M ビット

消費電力

470 W (Max)

図 4

PEZY-SC3 のパッケージ外観れたキャッシュ間ネットワークの構成が簡素化される．
各階層キャッシュはクロスバスイッチを介して接続されており，全 PE がメモリアクセスを行った場合でも十分な帯域を確保している．

3. PEZY-SCx の構成
表 1 に PEZY-SCx シ リ ー ズ の 各 世 代 の 構 成 を 示 す ．

PEZY-SC では倍精度浮動小数点数演算の発行性能がサ
イクル当たり 1 演算であったが，PEZY-SC2 で積和演算
命令 (MAD) の追加により 2 演算となり，PEZY-SC3 ではSIMD MAD 命令により 4 演算となった．これに加えて PEのコア数と動作周波数を向上させることにより各世代で 4倍以上の性能向上を達成している．また，演算性能の向上にあわせてローカルストレージの容量も 3 世代で 16-KB，20-KB，24-KB と増加させている．
PEZY-SC および PEZY-SC2 は液浸冷却技術 [9] を用いた大規模なスーパーコンピュータシステムをターゲットとしてきたが，PEZY-SC3 ではそれに加えて比較的小規模な空冷システム [10] においても利用可能となっている．さらに PEZY-SC3 を 1/8 に縮小した PEZY-SC3s もリリース
し，より幅広い領域での利用を目指している [11]．

4. PEZY-SC3 の実装と評価

サイズは 25.7 mm × 30.6 mm である．図 4 に製造された

PEZY-SC3 の外観を，図 5 に LSI 製造用のマスクデータを画像化したものを示す．チップ中央部に PE が，左右辺にHBM メモリコントローラと LLC が，上辺に DDR メモリコントローラが，下辺に PCIe コントローラがそれぞれ配置されている．

PEZY-SC3 では設計時にシミュレーションベースの電力効率の推定を行っている．設計したゲートネットリストに対し，倍精度の行列積演算を行うテストパターンを用い，RTL シミュレーションにより各ゲートの動作波形を取得した．次に設計データより配線とゲートの容量を抽出し，取得した動作波形から消費電力を推定した．使用したツー

表 2 に 実 装 し た PEZY-SC3 の ス ペ ッ ク を ま と め る ．

PEZY-SC3 は TSMC 7 nm プロセスで製造され，そのダイ

c 1959 Information Processing Society of Japan⃝ルは以下の通りである．

• RTL シミュレータ: Synopsys VCS
4

情報処理学会研究報告
IPSJ SIG Technical Report

DDR controllerManagement
Processors

Management
Processors

5. まとめPEZY-SC3 は TSMC 7nm プロセスで製造され高い電力

HBM

HBM

効率をもつスーパーコンピュータ向けのプロセッサである．高いスレッドレベル並列性を持つプログラムに特化することでプログラマビリティと高い電力効率を両立させている．実際のスーパーコンピュータシステムにおける測定では 21.892 GFlops/W の電力効率を達成した．

LLC

Processor Elements

LLC

参考文献
[1]

[2]

HBM

HBM
[3]

PCIe
図 5

PEZY-SC3 のチップレイアウト[4]• 容量抽出: Synopsys StarRC• 消費電力推定: Synopsys PrimeTime PX
使用したテストパターンは 800 MHz 動作時のものであり，このときの演算性能は 8546.38 GFlops，消費電力は[5]300.4 W となった．従って電力効率は 28.45 GFlops/W である．
続いて実際のスーパーコンピュータシステムにおける消費電力測定について述べる．表 3 に示す構成のシステムを[6]用い，Top500 [12] のレギュレーションに従い LINPACK ベンチマークを実行して測定を行った．システム全体の総演算性能は 2.93 PFlops/s であり，LINPACK 実行時の実際の[7]演算性能は 1.95 PFlops/s であった．この時システム全体の消費電力は 88.94 kW であり，電力効率は 21.892 GFlops/Wとなった．

[8]
[9]

実測した電力効率は設計時に推定したものより 23%ほど低下しているが，これはメモリデバイス・ホストプロセッ
サ・インターコネクト・冷却システム・電源系といったチッ

[10]
[11]

プ以外の電力消費によるものと考えられる．
[12]
ノード数

表 3 システム構成
70 ノードホストプロセッサ

AMD EPYC 7702P × 1 (ノード当たり)

プロセッサ

PEZY-SC3 × 4 (ノード当たり)

コア数

1,151,360 コア

インターコネクト

EDR Inﬁniband

Rmax (PFlops/s)

1.95Rpeak (PFlops/s)

2.93

c 1959 Information Processing Society of Japan⃝Hosono, N. et al.: Implementation of SPH and DEM fora PEZY-SC Heterogeneous Many-Core System, Proceedings of the International Conference on Computational& Experimental Engineering and Sciences, pp. 709–715(2020).
Hishinuma, T. et al.: pzqd: PEZY-SC2 Acceleration of
Double-Double Precision Arithmetic Library for HighPrecision BLAS, Proceedings of the International Conference on Computational & Experimental Engineeringand Sciences (ICCES), pp. 717–736 (2020).
Matsumoto, K. et al.: Eﬀectiveness of Performance Tuning Techniques for General Matrix Multiplication onthe PEZY-SC2, Proceedings of the International Symposium on Highly-Eﬃcient Accelerators and Reconﬁgurable Technologies (HEART), pp. 1–6 (2019).
Tanaka, H. et al.: Automatic Generation of HighOrder Finite-Diﬀerence Code with Temporal Blocking
for Extreme-Scale Many-Core Systems, IEEE/ACM International Workshop on Extreme Scale Programming
Models and Middleware (ESPM2), pp. 29–36 (2018).
Iwasawa, M. et al.: Implementation and Performanceof Barnes-Hut N-body algorithm on Extreme-scale Heterogeneous Many-core Architectures, The International
Journal of High Performance Computing Applications,Vol. 34, No. 6, pp. 615–628 (2020).
Sato, M. et al.: Co-Design for A64FX Manycore Processor and “Fugaku”, Proceedings of the International
Conference for High Performance Computing, Networking, Storage and Analysis (SC20), pp. 1–15 (2020).
Dongarra, J. J., Luszczek, P. and Petitet, A.: The LINPACK Benchmark: past, present and future., Concurr.
Comput. Pract. Exp., Vol. 15, No. 9, pp. 803–820 (2003).
TOP500 project: Green500, https://www.top500.org/lists/green500/.
PEZY Computing, K.K.: ZettaScaler 2.0, https://www.
pezy.co.jp/products/zettascaler-2-0/.
PEZY Computing, K.K.: ZettaScaler 3.0, https://www.
pezy.co.jp/products/zettascaler-3-0/.
大友広幸，坂本 亮： PEZY-SC3s プロセッサを用いた
Full-state 量子回路シミュレーション，技術報告 14，東京工業大学, PEZY Computing (2022).
TOP500 project: TOP500, https://www.top500.org.

5