「ZettaScaler-1.5によるHPCシステム構築と、ZettaScaler-2.0構想」

2015年 12月18日

齊 藤元 章（株式会社PEZY Computing/株式会社ExaScaler/UltraMemory株式会社）

11月発表のGreen500最新結果の顛末・本来は、Green500で1-4位独占を実現する目論見であった・7月のISCで、計測ルールがv2.0になることが予告された（現行のv1.2ルールでの計測値改善には注力せず、v2.0対応作業のみ進めていた）・最後までv1.2維持の発表も、v2.0への移行も発表されず（Shoubu, Suiren Blue, Suiren共に前回の値を更新せずに、最新結果を待つことに）・最新TOP500にSuiren BlueとSuiren（Green500計測用）が入れず（4か月間で中国勢が38台から109台に大躍進し、36台の日本を大きく上回ったため）・更に、理研神戸AICS様に設置したAjisai（紫陽花）が選外に（TOP500に2週間、Green500締め切りには3日間に合わず。本来はGreen500で2位）

・来年1月からv2.0対応が必要となるが、此方の準備は完了（20％区間ルールの廃止、15ノード以上、IB Switchを含めるなど）

・来年6月は、5台目を含めてGreen500で1-5位独占としたい

PEZY-SCPEZY-SCPEZY-SCPEZY-SC

第2世代HPCシステム「ZettaScaler-1.4」
PSU

56GbitInfiniBand
Card
PEZY-SCPEZY-SC
Xeon E5-2600 v3

PEZY-SCPEZY-SCPEZY-SCPEZY-SCPEZY-SCPEZY-SCPSU
PEZY-SCPEZY-SC
Xeon E5-2600 v3

PEZY-SC

56GbitInfiniBand
Card *4

Xeon
E5-2600
v3

PEZY-SC

多機能キャリアボード

36ch InfiniBand Switch*2+PEZY-SC

PEZY-SC

Xeon E5-2600 v3

PSU *2PEZY-SC

PEZY-SCPEZY-SCPEZY-SCPSU

Xeon E5-2600 v3

PEZY-SCPEZY-SC

56GbitInfiniBand
Card *4

新型液浸槽「ESLiC-32」上面図(Xeon*64, PEZY-SC*256, Switch*4)

336ch InfiniBand Switch*23←新型液浸槽専用に新たに開発する、3モジュール＋キャリアボード基板構成

第2世代、液浸冷却専用システムを開発（液浸冷却専用の基板複合体“Brick”）

理化学研究所の「Shoubu（菖蒲）」

最新のZettaScaler-1.4による5台構成の2 PetaFLOPS級スパコンを、「Shoubu（菖蒲）」として、理化学研究所和光の情報基盤センターに設置して頂く（全系の安定動作を得るのに、予想を超える問題点が生じており対応中）5

ZettaScaler-1.4から1.5への変更点
・ZettaScaler-1.5からは、液浸冷却の新プラットフォーム全体のシステム構成に・Brickサイズを、2cm拡張して14cm×16cmの断面形状に・Multi-Xeon Brick, Storage Node Brickを追加し混成可能に（Multi-GPGPU Brickも準備中）

・PEZY-SC BrickはXeon用DIMMスロット数を倍増し、128GBまで搭載可能に（32GB VLP DIMMでは256GBまで）
・1,600W電源をBrick当たり4台、2 Node当たり2台の冗長構成としつつ、AC/DC変換効率が最も高い負荷区間で使用可
・Node内の4個のPEZY-SC間でPCIe Gen3 x8で1対3の双方向プロセッサ間通信が可能に

液浸冷却スパコンの消費電力性能
PEZY Computing/ExaScaler社開発の4台のスパコン
Rmax （TFLOPS） 消費電力性能 （GFLOPS/W）
システム名

設置サイト

システム構成Green500申請用

v1.2ルール

v2.0ルール

ZettaScaler-1.4

353.8

7.03

n/a

Suiren Blue（青睡蓮） 高エネルギー加速器研究機構様 ZettaScaler-1.4

193.3

6.84n/aZettaScaler-1.5

214.9

6.52

5.92

高エネルギー加速器研究機構様 ZettaScaler-1.0

202.6

6.22

n/a

Suiren Blue（青睡蓮） 高エネルギー加速器研究機構様 ZettaScaler-1.5

194.7

n/a

5.47

Green500足切り数値：

206.4

Shoubu（菖蒲）Ajisai（紫陽花）Suiren（睡蓮）

理化学研究所和光ACCC様

理化学研究所神戸AICS様

参考（Green500: 2-4位）
TSUBAME-KFC/DL

東京工業大学

Xeon/Tesla K80

272.6

5.33

n/a

The L-CSC cluster

GSI Helmholtz Center

Xeon/FirePro S8150

301.3

6.01

5.27

Sugon Cluster W780I IMP, Chinese Academy of Science Xeon/Tesla K80

310.6

n/a

4.78
7

ZettaScaler-1.5の現状・ボードデバッグが間に合わずに、InfiniBandカードはPCIe
Gen2での接続に留まる・プロセッサ間通信は未使用
・電圧設定が不十分で、消費電力効率が最適化段階にない
・PEZY-SCパッケージの電圧降下問題が未解消
・PEZY-SCパッケージのDDR4クロック問題が未解消

・PEZY-SCモジュールのDDR4 DRAMを倍容量化したものの、パラメータ調整が不十分で低速での通信しか行えていない
・PEZY-SCパッケージとPEZY-SCモジュールの改版作業中
・上記の問題を全て解決できれば、v2.0で10 GFLOPS/Wも次世代HPCシステム開発へ
・今後のHPCシステム向け独自要素技術開発項目
１）MIMD型プロセッサの圧倒的な超々メニーコア化
２）低消費電力・大容量の積層DRAMを独自開発
３）プロセッサ・DRAM間の無線による超広帯域接続
４）Switch Chipを独自開発し、ファットツリーを1チップ化
５）Brick内Interconnectを、無線化、無ケーブル化
６）3重合液浸冷却で超高集積化・小型化・低消費電力化

７）上記全てを2年で開発し、2020年までに2世代分進化
・ZettaScaler-2.0では、このうちの１）、２）、３）、６）を実現予定

ZettaScaler-2.0の開発構想
・第3世代MIMDプロセッサ「PEZY-SC2」（4,096コア, 8TFLOPS, 16nm FinFET, 4TB/sメモリ帯域, 64bit CPU内蔵）・64bit CPUを内蔵することでチップ外のホストCPUを不要として、絶対性能と消費電力性能の大幅な向上
・超広帯域・大容量、3次元TCI（磁界結合）積層メモリ（プロセッサパッケージに同梱する、超広帯域接続の独自積層メモリ）

・沸騰冷却を組み合わせた、3重合液浸冷却システム（冷却電力部を含めたシステム消費電力の低減と、冷却能力の強化）
10開発を進める「PEZY-SC2」の仕様（更新版）
Processor

PEZY-SCPEZY-SC2

TSMC 28HPM（28nm）

TBD（14-16nm FinFET）

ダイサイズ412mm2400-500mm2

動作周波数733MHz

1GHz

キャッシュ

L1: 1MB, L2: 4MB, L3: 8MB

50MB in total (TBD)

周辺回路

動作周波数

66MHz

66MHz

IPs

内蔵CPU

製造プロセス

コア性能

ARM926 x 2

64bit CPU（TBD）(MIPS)

管理・デバッグ用

汎用演算用

PCIe Gen3 x 8Lane 4Port

PCIe Gen3/4 x 8Lane 6Port(8GB/s x 4 = 32GB/s)(48-96GB/s)

DDR4 64bit 2,400MHz 8Port

Custom Stacked DRAM 8Port(19.2GB/s x 8 = 153.6GB/s)(500GB/s x 8 = 4.0TB/s)

1,024 PE

4,096 PE

3.0T Flops (単精度浮動小数点)16.4T Flops (単精度浮動小数点)1.5T Flops (倍精度浮動小数点)8.2T Flops (倍精度浮動小数点)

PCIe

DRAM
コア（PE）数
演算性能
消費電力
パッケージ

60W (Leak: 10W, Dynamic: 50W) 100W (Leak: 10W, Dynamic: 90W)
47.5*47.5mm (2,112pin)

Multi-Die Package (TBD)

次世代、次々世代システムの開発構想
システム消費電力性能
主演算プロセッサ
製造プロセス
MIMDコア数
駆動周波数
倍精度演算性能
搭載メモリ
メモリ容量
メモリ帯域
Byte/FLOP
単体消費電力効率
汎用CPU
CPU種別
実装形態
接続方法
搭載メモリ / 容量
Network Switch
Inteconnect種別
Inteconnect速度
システムボード
ボード種別
冷却システム
冷却方法
体積当たり性能
サーバーラック体積性能
ExaFLOPSシステム構成
サーバラック筐体数
消費電力

ExaScaler-1.0

ExaScaler-1.4

ExaScaler-1.6

ExaScaler-2.0

ExaScaler-3.0

2014年10月
5 GFLOPS/W

2015年6月
7 GFLOPS/W

2016年10月
10 GFLOPS/W

2017年5月？
20 GFLOPS/W

2019年5月？
40 GFLOPS/W

PEZY-SC2
14-16nm FinFET
4,096
1.0GHz
8.19TFLOPS
TCI-3DS-DRAM Gen132-64GB
4.1TB/s
0.540-50GFLOPS/W

PEZY-SC310nm FinFET
8,192
1.25GHz20.46TFLOPS
TCI-3DS-DRAM Gen2
128-256GB
10.2TB/s
0.5
80-100GFLOPS/W

PEZY-SC (ES)28nm Planar
1,024
660MHz1.35TFLOPS
DDR3@1,333MHz
32GB
85.3GB/s
0.063
25GFLOPS/W

PEZY-SC （プロセス修正） PEZY-SC (パッケージ改版)←←←←690MHz
833MHz
1.41TFLOPS
1.70TFLOPS
DDR4@1,600MHzDDR4@2,133MHz
16GB
32GB
102.4GB/s
136.5GB/s
0.073
0.080
←
←

Xeon E5-2600 v2
外付け別システム
PCIe Gen2*16
DDR3 / 128GB

Xeon E5-2600 Lv3←
PCIe Gen2*8
DDR4 / 64GB←←
PCIe Gen3*8
DDR4 / 128GB

64bit CPU (TBD)
同一Die上に内蔵
内部ローカルバス
主演算プロセッサと共有

←
←
←
←

InfiniBand FDR
7Gbit/主演算プロセッサ←14Gbit/主演算プロセッサ←←

InfiniBand EDR (TBD)
25Gbit/主演算プロセッサ

独自TCI-３DS-Switch
TBD

空冷用汎用マザーボード

液浸冷却専用独自Brick← （改版版）

第2世代Brick

第3世代Brick

単純液浸冷却← （4倍密）2重合液浸冷却

3重合液浸冷却←

250TeraFLOPS

800TeraFLOPS

1PetaFLOPS

8PetaFLOPS

20PetaFLOPS

4,000台相当
200MW

1,250台相当
143MW

1,000台相当
100MW

125台相当
50MW

50台相当
25MW

マルチダイで自在な組み合わせを可能とするプロセッサ構成手法
26mm

HBM MIFGPIFGPIF

TCI MIFHBM MIFTCI MIFHBM MIFGPIF

HBM MIFTCI MIFHBM MIF

2,048
Accelerator
Core

64 CPU Core

HBM MIF64 CPU Core

TCI MIFHBM MIFHBM MIFTCI MIF64 CPU Core
TCI MIFTCI MIF64 CPU Core

32mm

GPIF

TCI MIF

GPIF

GPIF

GPIF

GPIF

GPIF
GPIF

DDR4MIFGPIF

DDR4MIFGPIF

16 CPU Core

DDR4MIF

256 Accelerator Core

GPIF

2,048
Accelerator
Core

TCI MIF256 CPU Core

TCI MIFDDR4MIF

256 Accelerator Core

16 CPU Core

256 CPU Core

HBM MIFGPIF

HBM MIFHBM MIFTCI MIFTCI MIFHBM MIF