SENAC Vol. 50, No. 3（2017. 7）— 15 —［研究成果］

HPGMG-FV を用いた SX-ACE の性能評価
江川隆輔 1,2, 磯部洋子 2,4, 加藤季広 4, 小松一彦 1，滝沢寛之 1,2, 小林広明 2,3，撫佐昭裕 2,41
東北大学サイバーサイエンスセンター スーパーコンピューティング研究部
2
東北大学サイバーサイエンスセンター 高性能計算技術開発（NEC）共同研究部門
3
東北大学大学院 情報科学研究科
4
日本電気株式会社

1. はじめに
世界で最も高速なスーパーコンピュータの上位 500 位までをランク付けするための指標として，
Jack Dongarra らが 1977 年に開発した LINPACK が用いられている．TOP500[1]は 1993 年から現在に至るまでのスーパーコンピュータの性能評価結果を公開しており, その資料的価値が高く評価されている一方で，実アプリケーションと LINPACK 性能の乖離や，システムの大規模化に伴う実行時間の長さなどの問題が近年指摘されてきた．これらの問題を解決するべく，より実アプリケーションに近い性能特性を示し，現実的な時間で解くことが可能なベンチマークとして，前処理付き共役勾配法を用いた HPCG(High Performance Conjugate Gradient benchmark)が，同じく Dongarra らによって提案されている[2][3]．LINPACK は大規模な密行列の連立一次方程式を直接法で解くのに対し，HPCG は大規模疎行列の連立一次方程式を反復法で解く．この結果，
LINPACK の性能は演算性能に律速されるのに対し，HPCG の性能はメモリバンド幅に律速されることが知られている[4]．

図１ TOP500 システムの理論性能，HPL 性能, HPCG 性能.

— 16 —SENAC Vol. 50, No. 3（2017. 7）

図 1 に 2016 年の高性能計算に関する国際会議 ISC’16 で発表された TOP500 ランキングとHPCG ランキングに登録されたスーパーコンピュータの LINPACK, HPCG の性能を示す．縦軸は各システムの理論演算性能，LINPACK 性能，HPCG 性能をそれぞれ Pflop/s で示しており，横軸は各システムを示す．このグラフから見ても明らかなように，LINPACK ベンチマークの性能はシステムの理論性能に追随している一方で，HPCG 性能はこれらの 2 つの性能と大きく乖離している．HPCG の性能はスーパーコンピュータのメモリ性能に依存しており，メモリバンド幅律速のアプリケーションの挙動を再現していると見ることができる．しかし，近年のスーパーコ
ンピュータ, およびスーパーコンピュータを用いたシミュレーションコードの多様化は著しい速さで進んでおり，これらのアプリケーションを演算性能律速，メモリバンド幅律速と 2 つに分類する事は極めて困難である．Dongarra は，HPL と HPCG が対照的な性能値を評価していることを踏まえ，今後はこれら 2 つのベンチマークが”bookends” として相補的にスーパーコンピュータの性能を評価するベンチマークとして活用されるとしている[2]．
一方，このような状況下で，LINPACK, HPCG の間を補完する新たなベンチマークとして，2014
年に米国ローレンスリバモア研究所が，幾何的マルチグリッド法による大規模疎行列連立一次方程式の求解プログラムである HPGMG(High-Performance Geometric Multigrid)を提案している[5]．本報告では，HPGMG を用いた SX-ACE の性能評価結果について報告する．本稿の構成は以下の通りである．次節では HPGMG, 特に本稿で性能評価の対象としている HPGMG-FV について概説する．第 3 節では HPGMG—FV の性能評価について述べ，第 4 節にて本報告をまとめる．

2. HPGMG ベンチマーク
HPGMG は幾何学的マルチグリッド法による連立一次方程式求解のベンチマークであり，現在ver0.3 が，HPGMG ウェブページ(https://hpgmg.org/)で公開されている．HPGMG は離散化に有限体積法を用いる HPGMG-FV と有限要素法を用いる HPGMG-FE から構成され，HPGMG-FVはメモリバンド幅に律速され，HPGMG は演算性能やキャッシュ性能に律速されるという特徴を持つ[6]．本稿では以降，HPGMG-FV を対象にする．
HPGMG-FV は C で実装され，本稿ではその MPI 版を用いて性能評価を行う．実行時に 1 ノードあたりの問題サイズとノード数を指定し，性能は DoF/s (degree of Freedom/sec)で算出される．DoF/s に 1,200 を乗じることで flop/s 値を得ることが出来る．HPGMG の性能はフルマルチグリッドアルゴリズム(FMA)における F-cycle で，最も細かいメッシュサイズ，その 2 倍のメッシュサイズ，およびその 4 倍のメッシュサイズまで解いたときの DoF/s が性能値として示される．
基本的には，最も細かいメッシュサイズで解いた時の性能が着目すべき指標となる．これらの性能評価は毎年，高性能計算に関する国際会議 SC でアップデートされ，前述の HPGMG ウェブページにおいて公開されている．2015 年には我が国のフラッグシップシステムである京コンピュー
タは第一位の性能を達成している．
図 2 に HPGMG-FV において標準設定となっている性能計測の対象となるマルチグリッド処理における F-cycle と V-cycle の概念図を示す．マルチグリッド法は与えられた解析格子に対して，それよりも粗い格子を複数用意し，これらの格子群を活用し誤差を修正しながら求解する．
HPGMG-FV におけるフルマルチグリッド法では，はじめに最も粗い格子において連立一次方程式を解き，次に補間演算により一段細かなグリッドを構成し，スムージング処理と残差集約を行う．その後制約演算を行い，一段粗い粒度において再び求解を行う．これを対象としている格子のサイズになるまで繰り返す．本ベンチマークでは，スムージング処理と残差集約が性能を決定づけるメインルーチンとなる．詳細は文献[6][7][8]を参照されたい．

— 17 —

HPGMG-FV を用いた SX-ACE の性能評価

ス ムージ ン グ & 残差

制約

スムージ ン グ

求解制約

ス ムージン グ

補間 (V-Cycle)

残差補間 (F-Cycle)

補間V-Cycle

図2

HPGMG-FV における F-Cycle と V-Cycle.

3. 性能評価
本節では HPGMG-FV の性能結果について述べる．本評価では，ボトムソルバーに BiCGStab 法，スムーザーには Gauss-Seidel Red-Black 法を選択した．評価には拡張筐体で結合された SX-ACE 2クラスタ(1,024 ノード)，C++/SX コンパイラ Rev.102，MPI/SX ライブラリ Ver.10.2.3 を用いて，4,096 プロセスのフルフラット MPI による評価を行った．表 1 に評価に用いた SX-ACE の諸元を示す．コンパイラオプションには，“-Kc99 -C hopt”，問題サイズはノード間の負荷のインバランス軽減を目的に log2_box_dim = 9 とした．問題サイズの選定以外の最適化は，本評価では施していない．表 2 に HPGMG のホームページにおいて公開されている 2016 年 11 月時点におけるHPGMG ランキングを示す．当センターの SX-ACE は最も細かなグリッドサイズにおける求解において，73.8×109DoF/s を達成しており，世界第七位の性能を達成している．
この表の，HPGMG の実行効率を見てみると，HPGMG は HPCG に比べて比較的高い実行効率を示す事がわかる．その中でも当センターの SX-ACE の実行効率は 33%強と他のシステムを大きく凌駕して世界第一位の実行効率を達成している．これらの結果をみても分かるように，HPGMGにおいても，演算性能とメモリバンド幅のバランスの取れたシステムが極めて有用であることがわかる．
現在，HPGMG は GPU, アクセラレータの評価を容易にするべく，OpenMP のみならず OpenACC実装版の開発が，精力的に進められている．今後多様化の進むスーパーコンピュータの一つの性能評価指標，特に，HPL と HPCG のギャップを埋める実アプリケーションの挙動や性能を再現可能なベンチマークとして，HPGMG の開発状況にも注目していきたい．
表 1 サイバーサイエンスセンター大規模科学計算システム（SX-ACE）諸元.

— 18 —

SENAC Vol. 50, No. 3（2017. 7）

表 2 HPGMG ランキング（2016 年 11 月）.
(https://crd.lbl.gov/departments/computer-science/PAR/research/hpgmg/results/results-201611/)

4. まとめ
本報告では，SX-ACE における HPGMG-FV の性能評価に関して報告した．評価の結果，当センターが運用する SX-ACE は，HPCG における評価と同様に，世界第一位（2017 年 7 月現在）の高い実行効率を達成でき，世界最高レベルの高い実行効率を有するシステムであることを改めて明らかにした．将来のスーパーコンピュータは限られた電力，コストの下で高い性能を提供することが求められている．これを実現するためにはシステムの高性能化に加えて，与えられた計算資源を無駄なく活用できる実行効率の高いシステムが必要になると考えられる．今後はこれらの知見を基に，実アプリケーションを効率的に加速することが可能な大規模科学計算システムの設計に取り組んでいきたい．

参考文献[1] “TOP500 Supercomputer Site,” http://www.top500.org/.
[2] Jack Dongarra, Hichael Heroux, Pitor Luszczek, "HPCG UPDATE ISC'16," hpcg-benchmark.org.
[3] “HPCG Results (Nov. 2016) ,” http://www.hpcg-benchmark.org.
[4] V. Marjanovi, J. Gracia, C W. Glass, “Performance Modeling of the HPCG Benchmark,” High
Performance Computing Systems, Performance Modeling, Benchmarking, and Simulation, pp 172 –192, Springer 2014.
[5] “HPGMG Ranking web page ,”[6] V. Marjanovic, J. Gracia, C. W. Glass, ”HPC Benchmarking: Problem Size Matters,” in proceedings of
7th International Workshop on Performance Modeling, Benchmarking and Simulation of High
Performance Computer Systems, pp. 1– 10, 2016.
https://crd.lbl.gov/departments/computerscience/ PAR/research/hpgmg/results/results-201611/.
[7] Y. Ao， et al. (2015) Performance Evaluation of HPGMG on Tianhe-2: Early Experience. In: Wang
G., Zomaya A., Martinez G., Li K. (eds) Algorithms and Architectures for Parallel Processing. LectureNotes in Computer Science, vol 9531.
[8] 下坂健則, 村井均, 佐藤三久, "マルチグリッド法プログラムの京での評価と並列言語
XcalableMP による実装," HPC 研究会報告(2015-HPC-150), pp.1 - 7. July 2015.
[9] K. Komatsu, R. Egawa, R. Ogata, Y. Isobe, H. Takizawa, and H. Kobayashi, "An Approach to theHighest Efficiency of the HPCG Benchmark on the SX-ACE Supercomputer," in Proceedings of theConference on High Performance Computing Networking, Storage and Analysis (SC15), Poster, Nov
2015, pp. 1-2 (USB).