SS研HPCフォーラム

PRIMEHPC FX10後継機開発の取り組み2014.8.26.
新庄 直樹
富士通株式会社
Copyright 2014 FUJITSU LIMITEDOutline 富士通のスパコン開発の歴史とロードマップ
 「京」とPRIMEHPC FX10

 Post-FX10：PRIMEHPC FX10後継機
 デザインコンセプトと取組み システムの特長 システム構成 性能評価 まとめ

2Copyright 2014 FUJITSU LIMITED富士通のスパコンの歴史
Post-FX10

FX10No.1 in Top500(June and Nov., 2011)
FX1
World’s Fastest
Vector Processor (1999)

VPP5000

NWT*

VPP300/700

Most Efficient
Performancein Top500 (Nov. 2008)

SPARC
Enterprise

Developed with NAL
No.1 in Top500(Nov. 1993)
Gordon Bell Prize(1994, 95, 96)

K computer

PRIMEQUESTPRIMERGY CX400
Skinless server

PRIMEPOWER

HPC2500ⒸJAXA

VPP500World’s Most
ScalableSupercomputer(2003)VP Series
AP3000PRIMERGY
BX900
Cluster node
HX600
Cluster nodeF230-75APUPRIMERGY RX200
Cluster nodeAP1000Japan’s Largest
Cluster in Top500(July 2004)

Japan’s First
Vector (Array)
Supercomputer(1977)

3*NWT:
Numerical Wind Tunnel

Copyright 2014 FUJITSU LIMITEDスパコン開発とExascaleへの取組
2011

2012

2013

2014

2015

2016

2017

2018

2019

 「京」、 PRIMEHPC FX10

FUJITSU・多くのアプリケーションが創出
・産業分野含む多くの成果

Post-FX10 system

PRIMEHPC FX10 1.85 x CPU性能
 設置性改善 CPU、インターコネクト性能の向上
 ⾼実装密度、省電⼒ Post-FX10・CPU、インターコネクトなど「京」、FX10のアーキを継承

 Exascaleへ向けた研究開発
・⾼性能、省電⼒テクノロジの開発
・国家プロジェクトへの参画

国家プロジェクト
開発「京」運用

HPCI strategic applications
programApp.
review

FS

エクサスケール・スーパーコン
ピュータ開発プロジェクト
4

Copyright 2014 FUJITSU LIMITED「京」、PRIMEHPC FX10

5Copyright 2014 FUJITSU LIMITED

「京」の概要
 システム概要
 88,128 ノード
 理研との共同開発
 Top500 #1(2011年6月、11月)
 ACM Gordon Bell賞受賞(2011、2012)

システム

理論ピーク性能 :11.28 petaflops

LINPACK性能 :10.51petaflops

CPU数:
総メモリ容量:88,1281.26 petabytes

CPU

SPARC64TM VIIIfx (8 core, 128 gigaflops)

インターコネクト

6次元メッシュ/トーラストポロジ (Tofu)「京」

6

Copyright 2014 FUJITSU LIMITEDSPARC64 VIIIfx
テクノロジ

45nm

浮動小数点性能

128GFLOPS

メモリバンド幅

64GB/s

消費電力

58W

トランジスタ数760M

 8 core Out-of-orderスーパースカラーCPU
 HPC-ACE*命令サポート
 VISIMPACTハイブリッド実行モデルサポート
 低消費電力 メインフレームの高信頼設計*HPC- Arithmetic Computational Extensions
7

Error detect by hardware
and recover automatically
Error detect by hardware
No affect to system operation
Copyright 2014 FUJITSU LIMITED

Tofu
テクノロジ

65nm

DMA Engine

Send x 4 + recv. x 4

リンクバンド幅

5+5GB/s X 10 ports

PCIe

16 lane Gen2トランジスタ数

200M

3D torus
24 x 18 x 17

 6次元メッシュ/トーラス網
K： （24 x 18 x 17） x （2 x 3 x 2）
低ホップ数、高バイセクションバンド幅 仮想3次元トーラス
 ハードウェア集団通信サポート
 GAP挿入による輻輳制御
83D mesh/torus
2×3×2
Copyright 2014 FUJITSU LIMITED

「京」からPRIMEHPC FX10へ
 「京」のアーキテクチャを継承し、性能向上
 40nm 16コアCPU
 性能、メモリバンド幅を向上
 「京」アプリとのバイナリコンパチビリティ「京」

PRIMEHPC FX10Note

SPARC64 VIIIfx

SPARC64 IXfx

SPARC V9 + HPC-ACE

128 GFLOPS

236.5 GFLOPS

816

メモリ容量

16GB

32GB/64GB

バンド幅

64GB/s

85GB/s

インターコネクト

6D mesh/torus←Tofu

システムサイズ

X x Y x 17

XxYx9

Z=0 is I/O node

リンクバンド幅5GB/s x 双方向←

CPU
ピーク性能
コア数

92GB/core~

Copyright 2014 FUJITSU LIMITEDPost-FX10

10

Copyright 2014 FUJITSU LIMITEDPost-FX10のデザインコンセプトと取組み デザインコンセプト
 「京」やPRIMEHPC FX10とのアプリケーション互換
 高いノード性能、スケーラビリティと可用性
 高い電力性能効率と信頼性

 取組み
 1 CPU/ノード HPC向け命令、uArchの強化
 Tofu2内蔵
 高速積層メモリ、光サポート

11

Copyright 2014 FUJITSU LIMITEDPost-FX10の特長(1/2)
 SPARC64 XIfx
 L1キャッシュ、Wayを2倍に
 アウトオブオーダ資源、分岐予測などを強化
 256 bit幅SIMD•2倍単精度モード、 8バイト整数命令

 アシスタントコアx2•OSノイズ低減、演算と通信のオーバラップ

 HMCサポート Tofuインタコネクト2内蔵
アーキテクチャ
コア数演算器
キャッシュ

メモリ容量
メモリバンド幅

SPARC V9 + HPC-ACE2
32 コア + 2 アシスタントコア
FMA x 2 (256 bit wide SIMD)
L1 inst. cache：64 KB / core
L1 data cache：64 KB / core
L2 cache：
24 MB / node
32 GB / ノード
240 GB/s (Read) + 240 GB/s (Write)
12

Copyright 2014 FUJITSU LIMITEDPost-FX10の特長(2/2)
 Tofu2
 「京」互換のトポロジ、通信方式
 複数RDMAエンジンによる高速集団通信
 バリアハードウェアサポート

 19インチランクマウント型シャーシ
 12ノード / 2U
 シャーシ間光接続

 水冷
 メモリ、光モジュールに対しても直接水冷•水冷率90%13

Copyright 2014 FUJITSU LIMITEDSIMD拡張（HPC-ACE2）
 256bit wide SIMD
 倍精度浮動小数点演算 x 4 または 単精度 x 8 または 整数 x 4
 ストライドLoad/Store, インダイレクト(list) Load/Store Permutation, Concatenate

Stride load

SIMD
倍精度 x 4

reg S

メモリ

128regs‥

reg DPermutation
reg S

メモリ
Specified stride

reg S1
reg S2

Indirect load

Arbitrary shuffle
‥

reg D

reg D

14

reg D

Copyright 2014 FUJITSU LIMITEDHMC(Hybrid Memory Cube)の採用
 HMCの特長
 バンド幅あたり高実装密度 パッケージあたり大容量、高バンド幅
 バンド幅あたり低消費電力

 HMCの採用により、「京」、FX10と同等の容量、バンド幅比を実現

1 CPUあたりHMC x8

容量32GB

バンド幅480GB/s

DDR4-DIMM x832~128GB

154GB/s

8GB320GB/s

GDDR5 x16

15

Copyright 2014 FUJITSU LIMITEDTofu2SPARC64 XIfx
50GB/sMemory32GB

240GB/s

CPU32 CoreL2$ 24MB

240GB/s

50GB/s

Tofu2
12.5 GB/s / link

40 lane

PCI Express
Gen316 lane

16GB/s
16GB/s

Tofu

Tofu2

システム

「京」 および FX10

Post-FX10

対応CPU

SPARC64 VIIIfx/Ixfx

SPARC64 XIfx

CPUへの内蔵（別LSI（ICC）で実現）

内蔵トポロジ

6次元メッシュ/トーラス←

リンクバンド幅

5 GB/s(6.25 Gbps x 8 lanes x 10 dirs)

12.5 GB/s(25 Gbps x 4 lanes x 10 dirs)

ノードバンド幅20 GB/s x in/out

50 GB/s x in/out

その他-キャッシュインジェクション、アトミック
光接続：シャーシ間接続(全体の2/3)を光化
16

Copyright 2014 FUJITSU LIMITEDPost-FX10の構成
Fujitsu designed

SPARC64TM XIfx
 32 + 2 core CPU HPC-ACE2 support
 Tofu2 integrated

Chassis (12 CPUs)
 1 CPU/1 node 12 nodes/2U Chassis
 Water cooledCabinet
 216 nodes/cabinet

CPU Memory Board
Tofu Interconnect 2
 12.5 GB/s×2(in/out)/link 10 links/node Optical technology

High-density
 100% water cooledwith EXCU (option)

 CPU x 3
 3 x 8 Micron’s HMCs
 8 Finisar's opt modules, BOA, forinter-chassis connections
17

Copyright 2014 FUJITSU LIMITEDPost-FX10の性能
18

Copyright 2014 FUJITSU LIMITEDメモリスループットの向上
高速メモリ(HMC)の採用により、ノードあたりメモリスループットがFX10の3～4倍に向上
 姫野ベンチマーク: 流体解析コードの性能評価。メモリスループットの影響大姫野ベンチマーク (1ノード)

350

120

300

100250性能 (Gflops)

スループット (GB/秒)

STREAM Triad (1ノード)

200
150
100

80
60
4050

2000
Ivy Bridge

FX10

Ivy Bridge

Post-FX10(2ソケット)

FX10

Post-FX10(2ソケット)
19

Copyright 2014 FUJITSU LIMITED

演算性能の向上 (1/3)
SIMD幅の倍増(256ビット)により、コアあたり演算性能がFX10の2.7～3.3倍に向上【他の強化ポイント】
 L1キャッシュ制御を改良
 CPU周波数を向上
基本演算性能 (1コア)
3.5ベクトル代入:y(i) = x(i)ベクトル加算:y(i) = x1(i) + x2(i)ベクトル内積:s = s + x1(i) * x2(i)DAXPY:
y(i) = y(i) + s * x(i)

性能比

32.5
2
1.5
10.50
ベクトル代入ベクトル加算FX10ベクトル内積DAXPY

Post-FX10
20

Copyright 2014 FUJITSU LIMITED

演算性能の向上 (2/3)
ストライドやインダイレクトのロード/ストア命令を追加し、SIMD化対象の処理を拡大
 対応するストライド幅: 2～7
 インダイレクトアクセスのアドレス計算もSIMD化対象
ストライド幅3のロード命令

ストライドロード性能 (1コア)

メモリ%l0+0+32+64i[0]%f0i[0]

i[1]
i[2]
i[3]

性能比

lddst,s [%l0]@stride 3, %f043210
ストライド幅3i[1]

i[2]

FX10

インダイレクトロード命令
BCD

メモリ
Ci[2]

AB

D

i[3]

%f2i[0]

i[0]

i[1]

性能比

A

21.5
10.5
0
インダイレクトロード

i[1]

i[2]

Post-FX10

インダイレクトアクセス性能 (1コア)

lddid,s [%f0], %f2%f0

ストライド幅4i[3]FX10i[3]21

インダイレクトストア
Post-FX10
Copyright 2014 FUJITSU LIMITED

演算性能の向上 (3/3)
演算補助命令の追加やSIMD幅倍増により、組み込み関数の処理性能も向上
 EXP/SIGN/FLOOR/AINT: 補助命令を新たに追加 INT/ABS: L1キャッシュ制御を改良
 SQRT/SIN/COS: SIMD幅倍増により性能向上
組み込み関数の処理性能 (1コア)
補助命令追加

10

性能比

8
L1$改良

6

SIMD幅倍増

420EXP

SIGN

FLOOR

AINT

FX10INTABS

SQRT

SIN/COS

Post-FX1022

Copyright 2014 FUJITSU LIMITEDアプリ演算カーネルによる評価
CPUマイクロアーキ改良と命令セット強化により、コアあたり演算性能がFX10の1.7倍に向上
 主に流体系コードによる評価
 マイクロアーキ改良で平均40%、命令セット強化で平均33%の向上
アプリ演算カーネルの性能向上 (同一コア数比較)
2.5

性能向上比率

2HMC採用間接参照命令
整数SIMD命令

Out-of-Order強化

SIMD幅倍増

1.5
10.50AB

FX10の性能C

D

E

F

マイクロアーキ改良の効果
23GHI

平均

命令セット強化の効果
Copyright 2014 FUJITSU LIMITED通信スループットの向上Tofuリンクの高速化(25Gbps)により、リンクあたりスループットがFX10の2.4倍に向上
 特に多方向同時通信では、圧倒的なスループットを実現
IMB PingPongスループット (ノード間)

2方向同時通信時の送受信スループット

10

スループット (GB/秒)

スループット (GB/秒)

128
6
420
1864
512
メッセージ長 (KiB)
系列1

系列24,096

45403530
2520
15
10
50
123

系列324

Copyright 2014 FUJITSU LIMITEDノンブロッキング通信のオーバラップ実行
アシスタントコア(2コア/ノード)により、演算と通信のオーバラップ実行が容易に ステンシル計算の袖領域通信に有効
プロセスi-1

プロセスi

アシスタントコア利用による通信オーバラップ

プロセスi+1

1.5

袖領域を通信
演算コア

演算処理

通信処理

通信開始

アシスタントコア

実行時間比

配列データ1

通信演算0.50なし あり なし あり なし あり
64KiB

通信終了

256KiB

1MiB

メッセージ長、アシスタントコア利用有無
25

Copyright 2014 FUJITSU LIMITEDOSノイズのさらなる低減
OSカスタマイズとアシスタントコア活用により、高並列時の性能ロスをFX10からさらに低減
 デーモンやIO割り込みの処理を演算コアから排除
 エクサ時代では通信間隔が短くなるため、いっそう重要な対策に
OSノイズによる性能ロス(通信間隔1ms)

OSノイズによる演算時間のバラつき2%

スローダウン比率

1.71%

PCクラスタ

1.6

FX10

1.5

Post-FX10

1.4
1.3
1.2
1.1
113

57

9110%
PCクラスタ

FX10

Post-FX10(OSチューニング中)26

ノード数
Copyright 2014 FUJITSU LIMITEDまとめ Post-FX10（PRIMEHPC FX10後継機）
 CPUを独自開発•HPC向けに性能強化を実施•インターコネクトを統合•「京」、PRIMEHPC FX10のアーキテクチャを継承

 メモリにHMCを採用•高いメモリバンド幅を実現

 システムソフトウェアも開発•OS、コンパイラ、スケジュラ、ライブラリ エクサスケールに向けた研究開発
No.1 in Top500(June, Nov. 2011)

Exascale system
Post-FX10

K computer

2010

2015
27

2020
Copyright 2014 FUJITSU LIMITED28 28

Copyright
2010
FUJITSU
Copyright
2014
FUJITSU LIMITEDLIMITED