Oakforest-PACS が HPCG／SC16 で 3 位に入賞！
1．HPCG とは？
スーパーコンピュータシステムの性能指標としては HPL（Linpack）という密行列（成分のほとんどが非零の行列）を係数行列とする大規模連立一次方程式の解を求めるベンチマークがこれまで使用されており，1993 年に始まった TOP5001では世界のスーパーコンピュータの性能のランキングの情報を得ることができる。TOP500 は年 2 回（11 月の SC-XY（アメリカで開催される International Conference on High Performance Computing, Networking, Storage and Analysis，XY：年号）と 6 月の ISC-XY2（ドイツで開催される International Supercomputing Conference）で更新される。
HPL で高性能を出すためにはできるだけ大規模な問題を解く必要があるが，計算量が未知数の 3 乗に比例するため，PFLOPS3級のシステムでは「日（day）」のオーダーの計算時間が必要となる。システムの規模が大きくなると，計算時間がどんどん長くなっていくことが予想されている。また HPL で実施している計算は実際のスパコンで稼働しているアプリケーションとも大きな隔たりがあり，より実アプリケーションに近いベンチマーク手法の確立が議論されてきた。
HPCG（High Performance Conjugate Gradients）4はそのような背景から開発され，HPL が密行列ソルバーなのに対して，HPCG では有限要素法から得られる疎行列（行列の成分がほとんど0 であるような行列）を解いている。三次元ポアソン方程式を差分格子のような規則的形状によって離散化して得られる疎行列を係数とする連立一次方程式を幾何学的マルチグリッド前処理（Geometric Multgrid Preconditioning）による共役勾配法（Conjugate Gradient Method）を使用して解いている。Multigrid の smoother としては Gauss-Seidel 法が使用されており，スレッド並列化にはマルチカラー法によるリオーダリングが適用されている。
有限要素法は科学技術計算の広い分野において偏微分方程式の数値解法として知られており，HPCG はより実用的なベンチマーク手法と考えられる。HPCG では連立一次方程式を解いている部分の計算性能（FLOPS 値）によって性能を算出する（ただ現状のルールでは計算の準備に要する部分の計算時間も一部も求解部分の計算時間に加算して FLOPS 値を算出することになっているようである）。HPCG では，連立一次方程式が完全に解けるまで計算する必要はなく，最低 30 分（HPCG 2.4 以前は 60 分）計算を実施して，ある程度解が収束していることを示せば良いため HPL と比較して大幅に少ない時間での実行が可能である。
密行列を係数行列とする HPL と比較して，HPCG は疎行列のためデータへのアクセスが不規則で性能を出しにくい傾向にある。また，大規模問題向けのマルチグリッド法を前処理手法として採用しているので，ポストペタスケール，エクサスケールのシステムでのアプリケーションという観点からも，より実用的な手法である。今後はしばらく TOP500（HPL）と HPCG を併用してスーパーコンピュータシステムの性能の評価が実施されていくものと考えられる。
1

http://supercomputing.org/
http://www.isc-hpc.com/
3
FLOPS：Floating Operations per Second（計算機の演算処理能力の指標，1 秒間の浮動小数点演算回数に相当する）），PFLOPS：Peta FLOPS（1 秒間に 1015 回の浮動小数点演算）
4
http://hpcg-benchmark.org/
2- 1 -

HPCG のアイディアが最初に示されたのは 2013 年 6 月の ISC’13（Leipzig, Germany），SC13（Denver）で Ver.1.0（HPCG 1.0）が公開された。プログラムは C++で記述され，Github により開発・整備が進められており，https://github.com/hpcg-benchmark/hpcg/から入手することができる。
ISC’14（Leipzig）で初めてランキング（15 システム）が公開された。SC14 では 25 システムに増加し，初めて Top 3 の表彰も行われた。SC15 では 64 システム，ISC’16（2016 年 6 月開催）
では 80 システムとなり，2 年間で 5 倍以上となった。更に 2016 年 11 月に開催された SC16 では 101 システムとなり，初めて 100 を超えた。

2．HPCG／SC16
筑波大学計算科学研究センターと東京大学情報基盤センターが共同で運営する最先端共同
HPC 基盤施設5（Joint Center for Advanced High Performance Computing, JCAHPC）が設計，導入，6
年 12 月 1 日より正式稼働開始）は，Intel Xeon Phi 7250
運用する Oakforest-PACS システム（2016（Knights Landing）を 8,208 台搭載したピーク性能 25PFLOPS のシステムであり，2016 年 11 月
14 日に発表された最新の TOP500 リストでは 6 位（13.55 PFLOPS），国内 1 位のシステムである7。更に同 11 月 15 日に発表された最新の HPCG ランキング8では 3 位（0.3855 PFLOPS）となった。
表 1 は SC16 における最新のランキングである。前回 2 位だった京コンピュータは更にチューニングが施された結果，0.5544⇒0.6027 PFLOPS と性能が向上し，初めて 1 位となっている。
表 1 の最後のカラム（HPCG/HPL）は HPCG と HPL の性能比である。HPCG は HPL の 1-2 %程度しか性能が出ていないが，京の場合は 5.30%という高い性能が出ており，TOP500 では 7 位にも関わらず HPCG では 1 位となっている。京と同じアーキテクチャのプロセッサを使用している東京大学情報基盤センターの Oakleaf-FX（Fujitsu PRIMEHPC FX10）もやはり 5.00％という高い効率を示している。TOP500 で 1 位の Sunway Taihu Light システムは HPL に対する性能は0.40%未満であり，京や Oakleaf-FX の 10 分の 1 以下の効率である。HPCG における順位はOakforest-PACS を下回る 4 位となっている。更に，TOP500 で 5 位となっていた Cori システム
（Lawrence Berkeley National Laboratory，ピーク性能 30PFLOPS，HPL 性能 14.00PFLOPS，IntelXeon Phi 7250 を 9,152 ノード搭載）は HPCG では 5 位と Oakforest-PACS より下位となっている。
HPCG ではハードウェアの特性を考慮したチューニングの効果が顕著であることもあり，
TOP500 とはやや異なったランキングとなっていることがわかる。
HPCG は SC-XY 期間中の水曜日の夕方に結果が発表され，上位 3 システムが表彰されるのが通例となっている。今回は初登場で表彰式に参加することができた。

謝辞
HPCG 実施にあたっては，Oakforest-PACS システム納入ベンダーである富士通株式会社の多大なご協力をいただいた。ここに深く感謝の意を表するものである。

5

http://jcahpc.jp/
http://www.cc.u-tokyo.ac.jp/system/ofp/release-20160510.html
7
http://jcahpc.jp/pr/pr-20161114.html
8
http://www.hpcg-benchmark.org/custom/index.html?lid=155&slid=289
6- 2 -表1

SC16 における HPCG ランキング（抜粋）

Rank

Site

Computer

1RIKEN
AdvancedInstitute for
Computational
Science, JapanK computer: SPARC64
VIIIfx 2.0GHz, Tofuinterconnect, Fujitsu

2345

6

7

8

91031

Cores705,024

Tianhe-2 (MilkyWay-2):
TH-IVB-FEP Cluster,
NSCC /Intel Xeon 12C 2.2GHz,
Guangzhou,
3,120,000
TH Express 2, Intel Xeon
China
Phi 31S1P 57-core,
NUDT
Oakforest-PACS:
Joint Center for
PRIMERGY CX600 M1,
Advanced HighIntel Xeon Phi Processor
Performance
557,056
7250 68C 1.4GHz, Intel
Computing,Omni-Path Architecture
JapanFujitsu
National
Sunway TaihuLight:
Supercomputing Sunway MPP, SW26010
10,649,600
Center in Wuxi, 260C 1.45GHz, SunwayChina
NRCPC
Cori: XC40, Intel Xeon
DOE/SC/LBNL/
Phi 7250 68C 1.4GHz,
NERSC
632,400
Cray Aries
USA
Cray
Sequoia: IBM
DOE/NNSA/LL BlueGene/Q, PowerPC
1,572,864
NL, USAA2 1.6 GHz 16-core, 5DTorus, IBM
Titan: Cray XK7,
DOE/SC/
Opteron 6274 16C
Oak Ridge
2.200GHz, Cray Gemini
560,640
National
interconnect, NVIDIALaboratory, USA
K20x, Cray
DOE/NNSA/
Trinity: Cray XC40, Intel
LANL/SNL,
Xeon E5-2698-V3, Aries
301,056
USA
custom, Cray
Pleiades: SGI ICE X,
NASA /Intel Xeon E5-2670,
Mountain View, E5-2680V2, E5-2680V3,
243,008
USA
E5-2680V4, Infiniband
FDR, SGI
DOE/SC/
Mira: IBM BlueGene/Q,
ArgonnePowerPC A2 1.6 GHz
786,432
National
16-core, 5D Torus, IBM
Laboratory, USA
Information
Oakleaf-FX: PRIMEHPCTechnology
FX10, SPARC64 IXfx
Center, The
76,800
16C 1.848GHz, Tofu
University ofinterconnect, Fujitsu
Tokyo, Japan- 3 -HPL
TOP500Rmax
Rank(Pflop/s)

HPCG(Pflop/s)

HPCG/
HPL
(%)

10.51070.6027

5.73

33.86320.5800

1.71

13.55560.3855

2.84

93.01510.3712.399

13.83250.3554

2.57

17.17340.3304

1.92

17.59030.3223

1.83

8.101

100.1826

2.25

5.952

130.1752

2.94

8.587

90.1670

1.94

1.043

104

0.05655.43図 1

HPCG@SC16 における表彰式の様子（左から，Mike Heroux 博士（Sandia National

Laboratories，HPCG 提案者），梅村雅之 JCAHPC 副施設長（筑波大学計算科学研究センター長），
中村宏 JCAHPC 施設長（東京大学情報基盤センター長），Jack Dongarra 教授・Piotr Luszczek 博士（University of Tennessee，HPCG 提案者））- 4 -