富士通のHPCに向けた取り組み
2015年8月28日
富士通株式会社
次世代テクニカルコンピューティング開発本部
新庄 直樹
1

Copyright 2015 FUJITSU LIMITEDアウトライン HPCシステムの動向
 富士通の取り組み
 ハイエンドシステムPRIMEHPC FX100とポスト京への取り組み
 エクサスケール時代を見据えてハード/ソフトからアプローチ

 PRIMEHPC FX100での評価とまとめ

2

Copyright 2015 FUJITSU LIMITEDHPCシステムの動向(1/2)
 Top500に見るシステムの傾向-全体

http://www.top500.org/lists/2015/06/download/TOP500_201506_Poster.pdf
http://www.top500.org/statistics/overtime/

クラスタ登場1997/650%超
2004/680%超
2005/6x86ベースのクラスタシステムが90%超に80%超
2012/6

Cores per Socket – Systems Share100%

90システムにアクセラレータが搭載
8 core6 core50%

4 coreマルチコア化が進行

16 core12 core2 core0%

2007

2008

10 core
2009

2010

2011

2012

2013

2014

3

Copyright 2015 FUJITSU LIMITEDHPCシステムの動向(2/2)
 Top500に見るシステムの傾向-トップ10• http://www.top500.org/lists/2015/06/download/TOP500_201506.xls

 Rmax（HPL性能）シェアがトップ10で30%を占める
 4システム（40%）がアクセラレータを搭載（Top500全体では18%）
 9システムが専用インターコネクトを使用

 ハイエンドについては、特別な取り組みが必要
トップ10システムの概要 (2015年6月)
Rank

Name
Rmax
Rmax Share Processor
Accelerator
Interconnect
1 Tianhe-2
33,862,700
9.3% Intel Xeon E5-2692v2 12C 2.2GHz Intel Xeon Phi 31S1P TH Express-2
2 Titan
17,590,000
4.9% Opteron 6274 16C 2.2GHz
NVIDIA K20x
Cray Gemini interconnect
3 Sequoia
17,173,224
4.7% Power BQC 16C 1.6GHz
None
Custom Interconnect
4 K computer 10,510,000
2.9% SPARC64 VIIIfx 8C 2GHz
NoneCustom Interconnect
5 Mira8,586,612
2.4% Power BQC 16C 1.6GHz
None
Custom Interconnect
6 Piz Daint
6,271,000
1.7% Xeon E5-2670 8C 2.6GHz
NVIDIA K20x
Aries interconnect
7 Shaheen II
5,536,990
1.5% Xeon E5-2698v3 16C 2.3GHz
None
Aries interconnect
8 Stampede
5,168,110
1.4% Xeon E5-2680 8C 2.7GHz
Intel Xeon Phi SE10P InfiniBand FDR
9 JUQUEEN
5,008,857
1.4% Power BQC 16C 1.6GHz
NoneCustom Interconnect
10 Vulcan
4,293,306
1.2% Power BQC 16C 1.6GHz
None
Custom Interconnect
Top10 total
114,000,799
31.4%
50%
40%
90%
4

Copyright 2015 FUJITSU LIMITEDハイエンドシステムPRIMEHPC
FX100とポスト京への取り組み

5

Copyright 2015 FUJITSU LIMITED富士通の取り組み お客様のニーズに合わせたHPCソリューションを提供
 独自CPU搭載の専用スパコンとx86クラスタシステムの両面サポート
 シングルシステムイメージ運用を実現するシステムソフトの開発・提供
 高性能、高可用性、高信頼性の実現
CPUとインターコネクトを独自開発し、高いスケーラビリティを実現

専用スパコンPRIMEHPC

K computer

PRIMEHPC FX100（理研様と共同開発）

PRIMEHPC FX10

High-end
Divisional

x86クラスタ
CX200/CX400

Large-Scale
SMP System

Departmental
Work GroupPRIMERGYによるx86クラスタで、最新のCPU、アクセラレータに対応

BX900/BX400
RX200

RX900
6

Copyright 2015 FUJITSU LIMITEDシステムソフト(TCS: Technical Computing Suite)
HPCアプリケーションに最適化したLinux OS・ラージページサポート、OSジッタ最適化

自社開発ソフトウェアとOpen Source Software
・自社開発： システム管理ソフトとコンパイラ
・OSSベース：ファイルシステム(FEFS)、MPI（コミュニティにフィードバック）

PRIMEHPCとx86クラスタとのシングルシステムイメージ運用
システムマネージメントポータルとHPCポータル

Technical Computing Suite(TCS)
File system (FEFS)Management System management•••

Single system image
Single action IPL
Fail safe capability• Lustre based• Higher scalability(thousands of IO servers)• Higher IO performance (1.4 TB/s)

 Job management•

Programing environment Compiler

Fortran, XPF, C, C++
Automatic parallelization
SIMD support
 MPI: Open MPI based•••

 Tools and math libraries

Highly efficient scheduler

OS (Linux + HPC specific enhancement)
7

Copyright 2015 FUJITSU LIMITEDロードマップ – エクサスケールへ
2011

2012

2013

2014

2015

2016

2017

2018

2019

FUJITSUPRIMEHPC FX10
1.85 x CPUperformance
Easier installation

PRIMEHPC FX100
Improved CPU & network
performance
High-density packaging & lowpower consumption

Japan’s national projectsFS
projects

PRIMEHPC FX100 :出荷中
「京」のアーキテクチャコンセプトを引き継ぎ、CPUとインターコネクトの性能を向上

理研プロジェクトにて、ポスト「京」コンピュータの基本設計に参画

HPCI strategic applications
programApp.
review

科学/技術分野の多数のアプリが開発され稼動している

エクサスケールに向けて

Operation of K computer

Development

: 稼働中
「京」
PRIMEHPC FX10 : 稼働中

FLAGSHIP2020 Project(Post-K computer development)
8

Copyright 2015 FUJITSU LIMITEDPRIMEHPC FX100の特長
広範な実アプリで高性能を実現する独自開発CPU
高いスケーラビリティを持つインターコネクト
FX100

FX10

K computer

Double Flops / CPUOver 1 TF

235 GF

128 GF

Single Flops / CPUOver 2 TF

235 GF

128 GF

Max. # of cores

32168

Memory / CPU

32 GB32 GB/64 GB

16 GB

SIMD width

256 bit

128 bit

128 bit

Byte per flop

0.4 ~ 0.5

Interconnect

Tofu 6D mesh/torus

Interconnect BW

12.5 GB/s

5 GB/s

5 GB/s「京」及びPRIMEHPC FX10との互換性
バイナリコンパチビリティによりアプリ資産の容易な移行を実現
リコンパイルとライブラリにより性能改善・新機能が享受可能
9Copyright 2015 FUJITSU LIMITEDPRIMEHPC FX100の構成と機能
Tofu Interconnect 2
・12.5 GB/s×2(in/out)/link
・10 links/node
・Optical technology

CPU Memory Board

Cabinet・Three CPUs
・3 x 8 Micron’s HMCs
・8 opt modules,
for inter-chassis connections

・Up to 216 nodes/cabinet
High-density
・100% water cooledwith EXCU (option)

Fujitsu designed SPARC64 XIfx

Chassis・1 CPU/1 node
・12 nodes/2U Chassis
・Water cooled

・1TF~(DP)/2TF~(SP)・32 + 2 core CPU
・HPC-ACE2 support
・Tofu2 integrated
10

Copyright 2015 FUJITSU LIMITEDエクサスケール時代を見据えてハードウェアからアプローチ

11

Copyright 2015 FUJITSU LIMITEDスパコン用CPUのトレンドと富士通の方針
 ポストムーア時代に向かうトレンド••••

ポスト京の時代以降、半導体プロセスの微細化は限界に近づく
その後の性能向上は3次元スタックに向かう （あるいは新デバイス？）
いずれにせよトランジスタは今後も増加、メニーコア化のトレンドは継続
スパコン用メニーコアCPU開発で想定されるアプローチは2通り① 一定の性能を有する、ある程度の大きさのコアを並べる② 徹底的に軽量化した小さなコアを大量に並べる

 富士通の取り組み••

広範なアプリケーションが動作するプラットフォームとして社会に貢献するため、既存システムに対して継続性があり、汎用性の高い①を選択②のアプローチでは、汎用性に限界があり、十分に使命を果たせない
その上で、以下の開発を目標とする
 テクノロジトレンドに合致する適切な面積、性能、電力を備えたコア コア数に応じてスケーラブルな性能を持つメニーコアチップ

12

Copyright 2015 FUJITSU LIMITEDポスト京のCPUで目指したいこと
 ポストムーア時代まで通用する、スケーラブルメニーコア技術の確立•

スケーラブルメニーコア技術を支える3つの柱：• 計算コア• アシスタントコア• コアメモリグループ（CMG）
単体コア性能

電力性能

汎用性

Xeon

◎

×

◎

×(メニーコア化に限界)

GPGPU

△

○

△

×(プログラミングモデルが未成熟)

ポスト京CPU○△※1◎◎(京のスケーラビリティ※2を継承＋スケーラブルメニーコア技術)••••

高いスケーラビリティの実現性

単体コア性能： アプリケーションを高性能で実行できること
電力性能： 性能当たりの電力がreasonableであること汎用性： 多様なアプリケーションに対応できること
スケーラビリティ： メニーコア化に伴い、性能がスケーラブルに向上すること※1: 電力制御などの技術開発により、他の長所を損なわない工夫で実効電力の低減を図る※2: VISIMPACT、Tofuバリアなどの独自技術
13

Copyright 2015 FUJITSU LIMITEDスケーラブルメニーコア技術を支える三本の柱 計算コア
多様なアプリケーションを高性能に実行

MAC

core core
core core
core core
core core

MAC

core core

L2キャッシュを共有するコアグループ
CMG毎に直結されたメモリを高BW、低レイテンシでアクセス
CMG間はディレクトリによるコヒーレント管理

HMC interface

計算コアを、OS等のアプリ実行以外のオーバヘッドから解放 コアメモリグループ (CMG)•core core

面積当たり性能でXeonを凌駕

 アシスタントコア••

Tofu2 interface

メニーコア化が容易な、reasonableな面積で実現
•

FX100 CPUから導入済

core core
core coreTofu2 controller

CMGcore core

L2 cache
Assistant

Assistantcore

core core

core

CMG

L2 cache
PCI controller

MAC•

OOO機能を備えた汎用スーパースカラ計
算エンジン

core core
core core
core core

HMC interface

core core

MAC•

core core
core core

PCI interface

CMG増に伴うハードウェアオーバヘッドを抑え、スケーラビリティを確保
14

Copyright 2015 FUJITSU LIMITEDエクサスケール時代を見据えてシステムソフトからのアプローチ

15

Copyright 2015 FUJITSU LIMITEDエクサスケール向けて6つの取り組み
 性能
 ハイエンドシステムにふさわしい単体性能とシステム性能の達成に取り組む
 様々な観点での性能向上、処理時間短縮にこだわる ★省リソース★追加分

 アシスタントコアでのIO処理(FX100)：IOノード削減
 省電⼒、省メモリ、省時間、省スペース エンドユーザの使い勝⼿・継続性 オープンソース・市販ツール対応の拡⼤
 既存環境・ユーザ資産継承

 ★柔軟性 計算科学ユーザに加え、計算機科学・データ処理ユーザへの対応

 信頼性
 安定動作、即時故障検出、短時間復旧によるサービス停⽌時間の最⼩化

 保守性
 運⽤中のシステムアップデート・調査資料取得実現による保守時間の最⼩化
16

Copyright 2015 FUJITSU LIMITED

省電力課題への取り組み
要素技術の段階的提供により進化を図る
STEP1
STEP2
STEP3
STEP4
計算ノード電力制御
スケジューラ連携
きめ細かな節電センタ全体の電力管理(電力制御API(スケジューラ連携API) (ジョブの移動による (設備連携し電力を制御)の提供)
電力効率改善)・計算ノード電力制御－電源制御/パワーキャップインターフェイス
・スケジューラ連携－スケジューラ連携のためのインターフェイス－使用電力/ノード稼動状況の可視化－未使用ノードの省電力化、パワーキャップ制御
・きめ細かな節電－マイグレーションと組み合わせたジョブの局所化－ジョブの片寄せによる空調、未使用インターコネクトの停止
・センタ全体の電力管理－設備連携のためのインターフェイス－システム稼動状況と連動した空調設備などの制御
17

設備設備連携ジョブ管理ノード
ｽｹｼﾞｭｰﾘﾝｸﾞ情報

制御ノード
電源制御

ノード ノード … ノード
マイグレーション

Copyright 2015 FUJITSU LIMITED

言語処理系での取り組み
 FX100・ポスト京向けに強化した規格・機能をx86向けにもタイムリーに移植
 新規格サポート、最新x86クラスタへも対応 京・ポスト京との親和性と既存のソース資産の移行性を確保
 富士通の強みを活かすべく、数学libとMPIはIntel言語処理系にも対応
富士通言語処理系（専用スパコン、x86クラスタ両方に対応）
コンパイラ・通信lib

ツール

数学lib

ノード内

FortranCC++• SSL II• BLAS• LAPACK

ノード間OpenMP• IDE• デバッガ• プロファイラ

Intel言語処理系• ifort
• icc
• MPI
• MKL
• VTuneなど

MPI
Fortran Coarray• SSL II (FFT)• ScaLAPACKSSL II

XPFortran*1

MPI

富士通HPCライブラリ*1: eXtended Parallel Fortran (富士通の分散並列Fortran言語)
18

Copyright 2015 FUJITSU LIMITEDアシスタントコアによるOSジッタの低減
デーモン、IO処理等をアシスタントコアで実行することでOSジッタを大幅に低減
OSジッタ低減によるスケーラビリティ向上見積もり(comm. interval=1ms)

OSジッタによる計算時間のばらつき評価
x86はより大きいノイズあり
fwq
-w 13
# Bits in work. # of loop iter. is 2^w-n 500000 # # of samples to take-t 32# # of threads to be executed

0.2

1.6
Slowdown rate

0.4

1.7
1.5
1.4
1.3
1.2
1.1
1

0.0

表示区間150秒# of nodes

x86 cluster
19FX10

FX100

Copyright 2015 FUJITSU LIMITEDMPIライブラリの強化
 Open MPIをベースに強化・最適化を推進
システム(対象インターコネクト)

PRIMEHPC向け(Tofu)

X86クラスタ(InfiniBand)

非同期通信の計算処理とのオーバラップ アシスタントコアを活用した通 通信スレッド (対応予定)
信スレッド
中・長メッセージ向け集団通信

複数DMAエンジン
多次元軸活用

フルRDMA化 (対応予定)

短メッセージ向け集団通信(Barrier, Bcast, Reduce, Allreduce)

Tofuバリア活用

-送信側

受信側

送信側

Isend

Irecv

Isend

PT

PT 受信側
Irecv
Ack

Wait

Ack

Wait

Wait

Fin

Wait

PT通信スレッドFin

通常のノンブロッキング通信

通信スレッドによる非同期化
20

関数の出口
MPI関数実行区間

Copyright 2015 FUJITSU LIMITEDアシスタントコアによる通信と計算のオーバラップ 動作イメージ
アシスタントコアがノンブロッキン
グ通信処理の大半を実行
 利用方法 実行時オプションでprogress thread
モードを選択 さらに高速化を行うためには、オーバ
ラップ通信の対象区間をユーザーが明に指定
 コード書き換えなしにオーバラップ通信が可能
 簡易な区間指定でスレッド排他制御
オーバヘッドも抑制可能

21

MPI_IRECV(...);FJMPI_Progress_start();calc(...);FJMPI_Progress_stop();
MPI_WAITALL(...);

オーバラップ通信の対象区間

 特長

対象区間を明示することでクリティカルセクションを限定

Copyright 2015 FUJITSU LIMITEDFX100での評価とまとめ

22

Copyright 2015 FUJITSU LIMITEDアシスタントコアによる通信と演算のオーバラップ (GT5D)
 通信データに依存しない演算処理を、MPI_Waitallの前で実行⇒演算中にアシスタントコアが通信を制御
 性能向上と可搬性/保守性を両立
 従来はOpenMPで通信と演算のオーバラップを実装して強スケーリングを達成していたが、アシスタントコアの利用によって特殊な実装なしでオーバラップが可能
7

MPI_Isend
MPI_Irecv!$OMP PARALLEL DO
do i=…
通信データに依存しない演算処理
enddo!$OMP END PARALLEL DO
MPI_Waitall
do i=…
通信データに依存する演算処理
enddo

6
マスタスレッドの実行時間 (秒)通信/演算オーバラップのコード例

14%短縮

5
通信データ待ち4
通信データに依存しない演算処理
通信データに依存する演算処理

3
2
1
0

アシスタントコア無効

アシスタントコア有効問題サイズ:256×256×64×128、並列数:16スレッド×64プロセス、評価対象区間:l4dx、通信促進:自動区間モード
23

Copyright 2015 FUJITSU LIMITEDHPCGベンチマークによる評価
 メモリスループットの向上により、FX10の3倍のノードあたり性能
 汎用プロセッサの使いやすさを維持しつつ、性能を向上
60

Performance (Gflops/node)

50
40
30

3.0倍

20
100MiraK computer

FX10FX10024

Tianhe-2(MIC x3/node)

Titan(GPU x1/node)

TSUBAME
2.5(GPU x3/node)
Copyright 2015 FUJITSU LIMITEDHPCGベンチマークへの取り組み
vA

 HPCGの主要演算

 1.0

3.0

 5.0 6.0
8.0


 疎行列 A とベクトル v の積 v0  1.0v0  2.0v2   v 1   v  2  


9.0 10.0  v3  

2.0
4.0
7.0

A の非零要素に対応した v の要素との積和演算

 A の圧縮格納形式: 長SIMDアーキ向きのSliced-ELLを採用
格納形式の比較

CRS1.03.0
5.0
8.0

2.0
4.0
6.0
9.0

ELLvs
7.0
10.0

1.0
3.0
5.0
8.0

2.0
4.0
6.0
9.0

Sliced-ELL
0.0
0.0
7.0
10.0

vs

1.0
2.0
0.0

3.0
4.0
0.0

5.0
6.0
7.0

8.0
9.0
10.0
連続アクセス方向

行単位で圧縮（例）HPCG
リファレンスコード

 今後の課題

非零要素数／行を揃える
最内ループ長が定数となり、ループ最適化が容易となる（例）K（理研）

ELLをn行単位でスライス＆転置格納（この例は4行）
効率的なSIMD命令生成が容易

 演算性能の向上 ⇒ 前処理と疎行列ベクトル積のループ融合
 通信コスト削減⇒ MPI_Allreduceと計算とのオーバラップ
25

Copyright 2015 FUJITSU LIMITED

4way SIMD、32演算コアの効果 (NPB-FT) FFT演算カーネルによる評価
 FX10用2way SIMDバイナリを実行すると、1.58倍高速化• メモリ&キャッシュスループット向上による効果

 4way SIMDバイナリに再翻訳すると、1.23倍高速化• 実行命令数43%削減による効果

 2倍の演算コアを使うと、1.83倍高速化• 並列化効率91%の良好なスケーラビリティ

Node performance (Gflops/node)

Breakdown of execution time
40

50

35

1.83倍

40

30

30

1.23倍
20

1.58倍

1025

2‐4 inst. commited

20

1 inst. commited

15

wait (instruction)

10

wait (calculation)

wait (others)

wait (cache)5

wait (memroy)00
16 cores
FX10

2 way SIMD,
16 cores4 way SIMD,
16 cores4 way SIMD,
32 cores

FX100

16 cores2 way SIMD, 4 way SIMD, 4 way SIMD,
16 cores16 cores32 cores

FX10

FX100

使用コード: NAS Parallel Benchmarks Ver. 3.3.1 OpenMP版 クラスC
26

Copyright 2015 FUJITSU LIMITEDセクタキャッシュ機能の効果 (CCS QCD) 高いメモリスループットを、無駄なくさらに活用
 セクタキャッシュを用いて再利用するデータをL2$に維持
セクタ1にL2$ 2.5MBを確保

セクタキャッシュ利用のコード例!OCL CACHE_SECTOR_SIZE(19,5)!OCL CACHE_SUBSECTOR_ASSIGN(ue,uo,yde,fclinve)!$OMP PARALLEL DO SCHEDULE(STATIC,1)
do ix=1,NX
do iy=1,NY
do iz=1,NZ
120…
100gy11=yo(…,iy+1,…)+…
…
80
gy11=yo(…,iy-1,…)+…
…
60
enddo
enddo
40
enddo
!$OMP END PARALLEL DO
20!OCL END_CACHE_SUBSECTOR!OCL END_CACHE_SECTOR_SIZE
0

再利用しない配列をセクタ1に割り当て（再利用するデータはセクタ0に入る）

Node performance (Gflops/node)

Performance (Gflops/node)

9%向上

6%向上

Sector Cache
disabled

使用コード: CCS QCD Miniapp、問題サイズ: 324
https://github.com/fiber-miniapp/ccs-qcd

Sector CacheenabledFX10 (16 cores)
27

Sector Cache
disabled

Sector Cacheenabled

FX100 (32 cores)
Copyright 2015 FUJITSU LIMITEDFX100導入サイトとLINPACK性能
 京、FX10に引き続き、90%超の演算効率を実現
 ノードあたり約1Tflopsの演算性能
100%290%演算効率

演算性能 (Pflops)

3

1080%
理化学研究所(1080ノード)

気象庁気象研究所(1080ノード)

演算性能
28

JAXA
(1296ノード)

核融合科学研究所(2592ノード)

演算効率
Copyright 2015 FUJITSU LIMITED京、FX10、FX100、ポスト京、エクサスケール…
エクサスケールを見据えてポスト京の基本設計中・アプリケーションの高効率実行が鍵・「京」、FX10、FX100のアーキテクチャを継承、革新

PRIMEHPCシリーズC RIKEN

ポスト京

K computer

FX10

FX100

VISIMPACTSIMD extension HPC-ACE
Direct network Tofu

VISIMPACTHPC-ACE
Direct network Tofu

VISIMPACTHPC-ACE2Tofu interconnect 2
HMC & Optical connections

CY2010~CY2012~CY2015~

128GF, 8-core/CPU

236.5GF, 16-core/CPU
29

1TF~, 32-core/CPU
Copyright 2015 FUJITSU LIMITED

日本を代表するIT企業として、国家プロジェクトに貢献するとともに、お客様のニーズに応えるHPC環境を提供していきます。

30

Copyright 2015 FUJITSU LIMITED31

Copyright 2015 FUJITSU LIMITED