HPCフォーラム
スーパーコンピュータ「富岳」の開発
新庄 直樹
2019.8.20

0Copyright 2019 FUJITSU LIMITEDアウトライン 「京」コンピュータとその後
 「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuDインタコネクト
 高並列・効率への取り組み

 今後の取り組み
 「富岳」性能予測
 「富岳」導入・運用計画

 まとめ
1

Copyright 2019 FUJITSU LIMITED

「京」コンピュータとその後
2011

2012

2013

2014

2015

2016

2017

2018

2019

2020

 「京」

FUJITSU 10PFLOPSの実用・汎用スパコンを実現 システムソフト「TCS」の開発・提供により、ハードウェアの機能・性能を引き出す
 7年間運用され、多くのアプリが開発された

FX100
後継機

PRIMEHPC FX10PRIMEHPC FX100

1.8x CPU perf.
Easy installation

4x(DP) / 8x(SP) CPU & Tofu2
 高密度実装 & 低消費電力

Technical Computing Suite (TCS)
100万以上のジョブ実行サポート  OS: アシスタントコアを用いた
FEFS:大規模分散ファイルシステム
低ノイズOS
MPI:超大規模システム向け並列ライブラリ「京」の運用HPCI戦略プログラム
App.
FS
review プロジェクト

 FX10, FX100を開発し、TCSで性能を引き出し、提供
 x86クラスタとのハイブリッドシステム

富岳

国家プロジェクト
設計・開発

 TCSを進化させ種々の要件に対応

ポスト京 設計・開発

 スーパーコンピュータ「富岳」を理研と開発
2

Copyright 2019 FUJITSU LIMITED

「富岳」の開発目標とアプローチ
 開発目標 高いアプリケーション性能・高い電力効率
 ユーザに対する利便性の高さ
 「京」で動作していたアプリケーションに対する互換性の維持

 アプローチ 高い性能とスケーラビリティ、独自CPUコアの開発【性能】
幅広いSIMD、数学関数補助命令、高いメモリバンド幅【スケーラビリティ】 スケーラブルなTofuインターコネクトを強化【電力効率】
デバイステクノロジー、電力制御機能、最適なHWバランス（OOO資源等）

 Arm ISA採用によるArmバイナリ互換
 性能バランスの維持と将来への拡張
3

Copyright 2019 FUJITSU LIMITED

「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuD 高並列・効率への取り組み
4Copyright 2019 FUJITSU LIMITED富岳CPU“A64FX”概要
 Arm SVEを採用した高性能・高効率CPU
 倍精度演算性能 2.7+ TFLOPS, 90+%@DGEMM
1024 GB/s,

 メモリバンド幅
PCle
Controller

80+%@STREAM Triad
A64FX

Tofu
Interface

CMG

CMG
CC
HBM2

HBM2NOC

CMG

Armv8.2-A, SVE

プロセステクノロジ

7 nm

倍精度ピーク性能2.7+ TFLOPSSIMD幅512-bit

コア数

48 + 4

メモリ容量CHBM2HBM2CCMG

ISA (Base, extension)

CMG：Core Memory Group NOC：Network on Chip
532 GiB (HBM2 x4)

メモリバンド幅PCIe

Gen3 16 lanes

インターコネクト

TofuD integrated

1024 GB/s

Copyright 2019 FUJITSU LIMITEDA64FX CPU

HBM2 Interface

 Broadcom SerDes, HBM I/O, and SRAMs
 8.786 billion transistors
 594 signal pins

Core

Core

Core

Core

Core

L2Cache

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

Core

HBM2 Interface

L2Cache

Core

Core

Core

Core

Core

Core

Core

Core

Core

L2Cache

CoreRING-Bus

Core

Core

6Core

HBM2 interface

PCIe Interface

TofuD Interface

CoreCore

CoreCoreCore

Core

Core

Core

Core

Core

Core

Core

Core

Core

L2Cache

CoreCore

Core

Core

Core

Core

HBM2 Interface

 TSMC 7nm FinFET & CoWoSCore

Copyright 2019 FUJITSU LIMITEDA64FX CPUの高メモリバンド幅
 コア内、キャッシュ、メモリのアウトオブオーダ制御などにより、全階層で、高いスループットを実現

CMG 12x Compute Cores + 1x Assistant Core
Core

Performance>2.7TFLOPS

Core

Core

Core

512-bit wide SIMD
2x FMAs

L1 Cache>11.0TB/s (BF ratio = 4)

>230
GB/s

>115
GB/s

L1D 64KiB, 4way

L2 Cache>3.6TB/s (BF ratio = 1.3)

>115
GB/s

>57
GB/s

L2 Cache 8MiB, 16way
Memory1024GB/s (BF ratio =~0.37)

256
GB/s
HBM28GiB
8GiB
HBM2

HBM28GiB
8GiB
HBM2
7

Copyright 2019 FUJITSU LIMITEDA64FX CPUのロード性能改善
 アラインされていないSIMDロードも128 bytes/cycleのピーク性能を実現

Read data0
64B/cycle

L1D cache

Read port0

Read data1
64B/cycle

Read port1
128B

 “Combined Gather”は、インダイレクト
ロードで2倍のデータスループットを実現（偶奇ペアレジスタへの2つのデータが同じ“128-byte alignedblock”内にある場合）
アプリ開発者とのコデザインからのフィードバック
8Mem.

0

1

flow-132

75 4

flow-4flow-3

6

flow-2Regs

0 1 2 3 4 5 6 7

8B

Maximizes BW to 32 bytes/cyc.
Copyright 2019 FUJITSU LIMITEDA64FX CPUのエネルギーモニタ/アナライザ
 エネルギーモニタ(チップ単位)

 エネルギーアナライザ(コア単位)

 ノード電力をPower API*1で取得

 PAPI*2 による論理電力の取得

 ノード, コア, L2キャッシュ,メモリ等の平均電力(~ミリ秒オーダ)

 ノード, コア, L2キャッシュ,メモリ等の平均電力(~ナノ秒オーダ)*1: Sandia National Laboratory*2: Performance Application Programming Interface
A64FX

CMG#0
L2 cacheCoreCore activity

Power calc.

L2 cache activity

MemoryPower calc.

Memory activity

Power calc.

Core
EnergyAnalyzer

CMG
#1

CMG
#2

CMG
#3

L2 Cache

MemoryEnergyMonitor

Node

CMG

12 Cores

Assistant core

L2 cache

HBM2Tofu

Power calc. for Tofu
9PCIePower calc. for PCIe
Copyright 2019 FUJITSU LIMITEDA64FX CPUの”パワーノブ”（電力削減機能）
 “パワーノブ”はユーザAPIで機能ユニットの動作を抑制することで、性能/電力を改善可能
Fetch

L1 inst.
cacheIssue

Decode& Issue

Dispatch

RSA

Reg-read

Execute

PGPR

EAGA
EXC
EAGB
EXD

EXA
EXB

RSE0
BranchPredictor
RSE1

RSBR

PPR

Cache and Memory

Commit
CSE

Fetch
Port
Store
Port

L1 data
cache

Write
BufferFrequency reduction
PC

ControlRegisters

PRX

EXA pipeline only
PFPR

FLA
FLB

FLA pipeline only
L2 cache

Decode width: 4 to 2

Tofu controller

HBM2 Controller
HBM210PCI Controller

52 cores

HBM2 B/W adjust(units of 10%)
Copyright 2019 FUJITSU LIMITED京コンピュータと富岳の1ペタシステム
 「京」 「富岳」
 1ラック（SSD含む）

「京」

「富岳」

計算ノード数

7,680(=96x80)

IOノード数

480(=6x80)

設置面積(m2)128(=4x32)

1.1

OS

SPARC Linux

Arm Linux

384

2.2m

 計算ラックx80とディスクラックx20

Arm Linuxのオープンソースコミュニティの活動、コラボレーションにより、多くのアプリ、システムソフトが利用可能になることを期待

11

Copyright 2019 FUJITSU LIMITED

「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuD 高並列・効率への取り組み
12

Copyright 2019 FUJITSU LIMITEDA64FXのアプリケーション性能（1） HPC & AI分野のベンチマークで2.5倍（SPARC64 XIfx比）の性能
 Arm SVEと富士通のマイクロアーキテクチャ、メモリバンド幅が貢献
A64FX chip performance measurements & architectural contributions
HPCAI
Application kernels

Throughput tests

Performance increasenormalized by SPARC64 XIfx

9.4x
Memory BW

2.5TF

512-bit SIMD

840

Combinedgather3.0x

L1$ BW

2.8x

GB/s

L2$ BW

INT8 partial
dot product

3.4x
2.5x
Baseline:
SPARC64 XIfx

DGEMM

STREAM
TriadFluid
dynamics

Atomosphere Seismic wave Convolution Convolution
propagation
FP32
low precision
13

Copyright 2019 FUJITSU LIMITEDA64FXのアプリケーション性能(2)GFLOPS 姫野ベンチマーク
400350300
25020015010050034628685103

Intel Xeon
Platinum8168
2 CPUs

FX100
1CPU30520
京1CPUFugaku
1CPUSX-Aurora† Tesla V100 †
1 VE
1 GPU

† “Performance evaluation of a vector supercomputer SX-aurora TSUBASA”,
SC18, https://dl.acm.org/citation.cfm?id=3291728
14

Copyright 2019 FUJITSU LIMITEDA64FXのアプリケーション性能(3) WRF: Weather Research and Forecasting model Vectorizing loops including IF-constructs is key optimization
 Source code tuning using directives promotes compiler optimizationsｘｘ

15

Copyright 2019 FUJITSU LIMITED

「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuD 高並列・効率への取り組み
16

Copyright 2019 FUJITSU LIMITED

エコシステム形成への取り組み
 Arm HPC Users GroupでのOSSのポータビリティ確認

 Spackを活用したビルド環境の整備（理研と協働）

 OSSアプリの性能評価

17

Copyright 2019 FUJITSU LIMITEDOSSアプリのポータビリティ確認@Arm HPC Users Group

http://arm-hpc.gitlab.io/

Application

Program

GCC

LLVM

Arm

Fujitsu

LAMMPSC++

Modified(C)Modified(C)Modified(C)Modified(C)GROMACSC

Modified(C)Modified(C)Modified(C)Modified(C)GAMESS

FortranModified(C)Modified(C)Modified(C)Modified(C)OpenFOAMC++

Modified(C)Modified(C)Modified(C)Modified(C)

NAMD

C++

Modified(C)Modified(C)Modified(C)Modified(C)SiestaFortran

Yes

No

No

Modified(C)WRF

FortranModified(C)Modified(C)Modified(C)Modified(C)Quantum ESPRESSO

Fortran

Yes

Yes

Yes

Yes

NWChemFortranYes

Modified(C)Modified(C)Modified(S)ABINIT

FortranYes

Modified(S)Modified(S)Modified(S)CP2K

Fortran

Yes

No

No

Modified(S)

NEST

C++

YES

Modified(C)Modified(C)Modified(C)USQCD (MILC)C

Yes

Modified(C)Modified(C)Modified(C)

BLAST

C++

Yes

Modified(C)Modified(C)Modified(C)OpenMXC

Yes

Ongoing

Ongoing

Yes

18

Registered by Fujitsu
Already registered
Not registeredYes: Ok in as is
Modified(C): Build env. modified
Modified(S): Src code modified
No: Issue foundOngoing : Ongoing
Copyright 2019 FUJITSU LIMITEDSpackを活用したビルド環境の整備状況
 コンパイラとターゲットアーキテクチャ毎の登録数とビルド成功数
ビルド成功数/Spack登録数

GCC

富士通コンパイラ

x86

2,386/3,225-

aarch64(ThunderX2)2,270/3,225

1,605/3,225-

1,311/3,225

aarch64(A64FX)

 Spack v0.12.1 2019/6/6
 Gcc 4.8.5
 ビルドのみ（動作・結果検証は未）19

Copyright 2019 FUJITSU LIMITEDOSSアプリの性能評価
 チューニング候補のOSSアプリを性能評価中

 チューニングの成果をコミュニティ・研究機関にフィードバック予定
分野

候補アプリ

気象WRF

材料・創薬 CP2K

MPAS

ABINITLAMMPS

NWChem

NAMD

CPMD

Quantum ESPRESSO

MDACP

海洋

NEMO

GAMESS

TOMBO

地震

SPECFEM3D

材料・創薬

分野

候補アプリ

分野

候補アプリ

バイオ

BLAST

MEGADOCK
流体

OpenFOAM
Code_Saturne

SIESTA

20

Copyright 2019 FUJITSU LIMITED

「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuD 高並列・効率への取り組み
21

Copyright 2019 FUJITSU LIMITED

インタコネクト（Tofu interconnect D）
 CPUにインタコネクトコントローラを実装
 TNIを増やし、高いインジェクションBWと柔軟な通信パターンを実現
 バリアリソースを増やし、柔軟な集団通信アルゴリズムの実装を可能に

 メモリバイパス技術により低レイテンシ通信を実現 ダイレクトディスクリプタとキャッシュインジェクション
cc c c cc c c cc c c c

28.05 Gbps

Link bandwidth

6.8 GB/s

Injection bandwidth

40.8 GB/s
6.35 GB/s

PingPong latency

0.49~0.54 µs

PCle
TNI0
TNI1

NOCcc c c cc c c cc c c c

Measured
Put throughput

A64FX

CMG

HBM2
22TNI2cc c c cc c c cc c c c

CMG

TNI3
TNI4
TNI5

Tofu Network Router

cc c c cc c c cc c c c

TofuD spec
Data rate

HBM2
CMG

2 lanes × 10 ports

HBM2
CMGTofuD

HBM2
Copyright 2019 FUJITSU LIMITEDノード内通信の最適化
 CRP(Contra-Rotating Propellers)アルゴリズム

ノード内alltoall通信性能

10000

 A64FXはリングバスで各CMG間が接続
 従来のアルゴリズムでは経路競合が発生し、スループット低下
Latency (usec)

 CRPは各プロセスがNUMAを意識し、リングバスの経路競合が少なくなるよう通信

CRP Get1000

Pairwise Get

100

101

1
23

64
4,096
262,144
Message Size (byte)
Copyright 2019 FUJITSU LIMITED6TNIを使った転送 3次元双方向パイプラインアルゴリズムの特徴
 最大パイプライン段数を(X+Y+Z-3)段とすることで固定オーバーヘッドを削減
 6方向(±X, ±Y, ±Z)方向に同時送信することでx6の性能を実現
40,000384ノードMPI_Bcast性能

バンド幅(MB/S)

6TNIを使った新アルゴリズム

30,0003TNIを使った旧アルゴリズム「京」

20,00010,0000
1.E+00

Bcastの他Allgatherでも6方向同時通信を利用
24

1.E+02

1.E+04
1.E+06
転送サイズ(Bytes)

1.E+08

Copyright 2019 FUJITSU LIMITEDリダクション演算の高速化
 ハードリダクション(TBI)の要素数

整数

富岳

富岳での活用例

13Complex+Double

163x MAXLOCMPI_Allreduce (us)

浮動小数点

京～70

 MPI
 要素数に応じ最適アルゴリズムを選択

60
京（TBIなし）

5040

富岳（TBIなし）

30
K: Double w/ TBI

20• TBI, Recursive doubling, Reduce & bcast

 TBI複数回呼び出し（京では1回）

384ノードMPI_Allreduce実行時間

INT32 w/o TBI
Double w/o TBI

10
京（TBIあり）

富岳（TBIあり）

Double w/ TBI

0125

INT32 w/ TBI

1121314151 61
Vector length
Copyright 2019 FUJITSU LIMITED

「京」から「富岳」への進化のポイントと状況
 富岳の概要
 アプリケーション性能
 エコシステム TofuD 高並列・効率への取り組み
26

Copyright 2019 FUJITSU LIMITED高並列・効率への取り組み
 OSジッタ低減
 ノイズ削減• LinuxのTicklessモードを採用し、不要なデーモンやサービスを停止

 アシスタントコアの活用• OS動作(割込/デーモン等)をアシスタントコアにオフロード OSジッタ測定値
平均ノイズ率

最大ノイズ長「富岳」

7.06E-07

36.8 μs

ｘ86

3.73E-03

873 us27

Copyright 2019 FUJITSU LIMITED今後の取り組み
 「富岳」性能予測
 「富岳」導入・運用計画

28

Copyright 2019 FUJITSU LIMITED

「富岳」性能予測(理研様まとめ)

https://postk-web.r-ccs.riken.jp/perf.html

 GENESIS,NIC
AM+LETKFで100倍超を達成見込み
 今後も、継続的に実測での達成、改善に協力

29

Copyright 2019 FUJITSU LIMITED

「富岳」導入・運用計画(理研様)https://postk-web.r-ccs.riken.jp/sched.html

 計画通りの導入実施、運用開始に向けて協力

30

Copyright 2019 FUJITSU LIMITED

まとめ 「富岳」開発状況
 高いアプリケーション性能と電力効率
 エコシステムへの取り組み
 TofuDインタコネクトの活用と評価
 高並列・効率への取り組み

 今後の取り組み
 重点課題アプリケーション

 導入・運用への協力

31

Copyright 2019 FUJITSU LIMITEDCopyright 2019 FUJITSU LIMITED