— 42 —SENAC Vol. 51, No. 1（2018. 1）［大学 ICT 推進協議会

2017 年度年次大会論文集より］

大規模科学計算システムにおける利用者プログラムの特性分析
大泉 健治 1), 山下 毅 1), 穂苅 寛光 2), 江川 隆輔 3,4), 滝沢 寛之 3,4), 小林 広明 4,3)
1) 東北大学 情報部情報基盤課
2) 日本電気株式会社 3) 東北大学 サイバーサイエンスセンター
4) 東北大学 大学院情報科学研究科
oizumi@cc.tohoku.ac.jp

Analysis of the characteristics of user programson Supercomputer system
Kenji Oizumi 1), Takeshi Yamashita 1), Hiroaki Hokari 2),
Ryusuke Egawa 3,4), Hiroyuki Takizawa 3,4) , Hiroaki Kobayashi 4,3)
1) Information Infrastructure Division of Information Department, Tohoku Univ.
2) NEC Corporation, 3) Cyberscienece Center, Tohoku Univ.
4) Graduate School of Information Sciences, Tohoku Univ.
概要
東北大学サイバーサイエンスセンターで提供している大規模科学計算システムにおいて、実利用プログラムの性能状況をとらえるため、また性能改善の指標とするため、利用者プログラムの特性分析を実施した。41 本の利用者プログラムを対象とし、プログラムが要求する B/F(Bytes/Flop)値から、性能のボトルネックとなる箇所を演算器律速、ADB バンド幅律速およびメモリバンド幅律速に分類し傾向を分析した。その結果、メモリバンド幅律速のプログラムが約 7 割を占めることがわかった。

1 はじめに東北大学サイバーサイエンスセンター（以下、2 運用状況
2.1 大規模利用課題の動向

本センター）の大規模科学計算システムは、日本

図 1 に 1999 年から本センターで取り組んでい電気株式会社（以下、NEC）製ベクトル型スーパーるセンター独自の共同研究、学際大規模情報基盤

コンピュータ SX-ACE を主力計算機として運用し、全国の研究者へサービスを提供している。また本センターでは 1999 年より、プログラムの高精度共同利用・共同研究拠点（JHPCN）課題および革新的ハイパフォーマンス・コンピューティング・イ化、大規模化の支援を目的とした共同研究制度をンフラ（HPCI）課題採択数の推移を示す。本セン実施している。利用者、計算機科学を専門とする

ター独自の共同研究は恒常的に年 10 課題ほど実センター教員、技術職員、およびベンダー技術者施されていることに加え、近年では JHPCN、HPCIが連携して利用者プログラムの高速化に取り組んを介した共同研究数が増加している。これは、セでいる。これらの高速化支援活動の取り組みの中で、プログラムの性能分析や高速化に関する個々の事例については多数報告してきた。本稿では、ンターとの共同研究を通して利用者プログラムが高度化・大規模化し、 JHPCN、HPCI 採択課題へと利用者プログラム 41 本について、性能状況をとらステップアップした結果だと考えることができ、え性能改善の指標とするため特性分析を行ったの我々の継続的な高速化支援活動が一定の成果を挙で報告する。

げていることが分かる。

— 43 —

大規模科学計算システムにおける利用者プログラムの特性分析

3.1 SX-ACE のアーキテクチャ
表 1 にスーパーコンピュータ SX-ACE の諸元を、
図 3 に CPU コア構成をそれぞれ示す。1 ノードは 1つの CPU とメインメモリから構成される。1 CPU
は 4 つのコアを搭載し 256 GFLOPS(64 GFLOPS×4)のベクトル演算性能を持ち、メインメモリは 64GB、ADB(Assignable Data Buffer)は各コアで 1 MB
図１ 共同研究課題採択数搭載している。また、SX-ACE では、冗長なメモリ
ア ク セ ス を 抑 止 す る た め に MSHR(Miss Status

2.2 利用ノード数の動向

Handling Register)を新たに実装している。以上

図 2 に、SX-ACE の利用ノード数と利用ノード時のような構成により、高メモリバンド幅を必要と間の分布を示す。SX-ACE は、2015 年から運用を開するプログラムで高い実効性能を達成することを始し、利用者はプログラムに応じて最大 1,024 ノ特徴としている。しかしながら、CPU の演算性能ードの計算資源を最大 1 ヶ月まで利用できる運用が向上している一方で、半導体チップへの実装にを行っている。動向分析の対象は、比較的新規利は制約があることからメモリバンド幅の性能向上

用が多い層であるセンターの共同研究課題の利用は難しくなっている。このためメモリバンド幅と者とした。

演算性能の比である B/F(Bytes/Flop)値は減少傾

利用ノード数は、システム導入当初は 1 ノード向にある。図 4 は本センターで提供してきたスーおよび 32 ノードまでの利用がほとんどであったパーコンピュータの B/F 値を示している。1998 年

が、期間を追うごとに 33-256 ノードを利用した割に導入した SX-4 は B/F 性能値が 8 であるが、2015合が高くなっており、利用者プログラムの並列化

年に導入した現行機種 SX-ACE の B/F 性能値は 1 でが進んでいる。これは、これまで我々が取り組んあり、代を重ねるごとに減少していることがわかできた利用者プログラムへの高速化支援によるとる。

ころが大きいと考えられる。また、利用者プログラムの大規模並列化促進を目的に、利用ノード数が多いほど割安となる単価設定を行っていることも、高並列化を促進する一因と考えられる。

図 2 利用ノード数の割合（共同研究課題）

3 利用者プログラムの特性分析
本章では、演算性能とメモリアクセス性能の面からプログラム性能のボトルネックとなる箇所について、利用者プログラムを対象にして分析する。
性能分析にあたり、対象とするスーパーコンピュ
ータ SX-ACE の諸元について述べる。

表 1 SX-ACE の諸元— 44 —

SENAC Vol. 51, No. 1（2018. 1）の B/F 性能値は 1 となる。一方、ADB と各コアの間はそれぞれ 256 GB/sec のバンド幅性能を備えているため、CPU 全体での B/F 性能値は 4 となる。
表 2 は Prog B/F と Actual B/F の 2 つの指標を、SX-ACE の B/F 性能値とそれぞれ比較し性能決定要因を分類したもので、図 6 は横軸を Prog B/F、縦軸を Actual B/F とし、要因ごとに色分けして示している。青色領域は演算器律速、緑色領域は ADB
バンド幅律速、赤色領域はメモリバンド幅律速と分類される。
図 3 CPU コア構成

図 5 SX-ACE のメモリアクセス
表 2 性能決定要因の分類表

図 4 歴代スーパーコンピュータの B/F 値
3.2 Prog B/F と Actual B/F
B/F 値は 1 演算(Flop)に必要なデータ量(Bytes)を示す指標である。プログラムによって要求される B/F 値は異なり、実行する計算機の B/F 性能値より小さければ、演算器へ十分なバンド幅でのデータ供給が可能であり、CPU の演算性能を引き出すことができる。逆に大きければ、演算性能に見合ったバンド幅でのデータ供給をできず実効性能が低下する要因となる。プログラムの要求する B/F値と計算機の B/F 性能値を比較することで、性能を律速している箇所が CPU の演算性能にあるか、メモリのデータ転送性能にあるかを推定することができる。

図 6 性能決定要因の分類図

プログラムが要求する B/F 値は Prog B/F と定義
され、プログラム上（ベクトルロード命令）のメ3.3 分析結果

モリアクセス要素数をカウントすることで算出さ本センターの SX-ACE で実行されている利用者れる。一方、Actual B/F は、実際にメモリから CPUプログラム 41 本を分析対象とした。表 3 は利用分に転送されたデータ量をもとに算出される（図 5）。

野とそのプログラム数である。

また、SX-ACE の B/F 性能値はつぎのとおりであ

まず、図 7 に各プログラムの Prog B/F と Actualる。メモリと CPU の間は 256 GB/sec のメモリバン

B/F の測定値をグラフにて示す。Prog B/F を降順

ド幅性能を備える。4 コアすべてが同時にメモリに並べている。Prog B/F は最大 9.2、最小 0.1、アクセスした場合、各コアで利用可能なメモリバ

平均 3.2 であり、その分散は大きいものの、全体ンド幅は平均 64 GB/sec となり、メモリと CPU 間的に高いメモリバンド幅を必要とするプログラム

大規模科学計算システムにおける利用者プログラムの特性分析が多いといえる。一方、Actual B/F は最大 10.3、— 45 —メモリから読み込まれる余分なデータ量が増える

最小 0.0、平均 2.4 であった。Prog B/F と比較すために、Actual B/F が Prog B/F よりも大きくなると、75 %のプログラムで、Prog B/F よりも Actualるといえる。

B/F の方が小さいことが明らかになった。これは、

表 3 利用分野とプログラム数ADB や MSHR が効果的に機能することによって、無駄・冗長なメモリアクセスを削減できているためと考えられる。残り 25%のプログラムでは、ActualB/F の方が Prog B/F よりも大きな値を示している。
これは、ADB のデータ管理に関係していると考えられる。データはライン単位で ADB に読み込まれるために、実際にはアクセスされない余分なデータも読み込まれる。ADB にヒットしない場合は、

図 7 Prog B/F と Actual B/F の測定値
次に、性能決定要因の分類にもとづき利用者プ

メモリアクセス数が大きくなっていると考えられログラムを分類した結果の分布を、図 8 に示す。

る（橙色領域）。後者は、ADB の効果を確認できる

最も多いのはメモリバンド幅律速（赤色領域）の領域で、Actual B/F 値が相対的に小さくなるほどプログラム 28 本で、全体の 70%を占める。次いで、ADB のヒット率が高く効果が大きい（黄色領域）。

演算器律速（青色領域）が 11 本で 25%、残り 2 本

全体を分析した結果、メモリバンド幅律速のプが ADB バンド幅律速（緑色領域）となった。

ログラムが 70%と大部分を占め、本センターの利演算器律速領域（青色領域）は、メモリバンド用者プログラムにはメモリバンド幅性能を求める

幅および ADB バンド幅ともにデータ転送性能は十プログラムが多いことがわかった。しかし、ベク分余裕があり、理論的には CPU のピーク演算性能トル化率やベクトル長等、改善の余地が残されてを引き出せている。ADB バンド幅律速領域（緑色いるプログラムも存在していると考えられるため、領域）は、無駄・冗長なメモリアクセスが少なく、個々のプログラムのさらなる分析が必要である。

ADB が効果的に機能したデータ転送ができている。

また、Prog B/F と Actual B/F の 2 つの値から、メモリバンド幅律速のプログラムは、さらにプログラム性能のボトルネックとなる要因を比較

Prog B/F <=Actual B/F の 9 本、Prog B/F>Actual的簡単に見積もることが可能なため、プログラムB/F の 19 本に分けられる（図 9）。前者は、Actualの初期性能分析や性能改善の指標として活用できB/F が相対的に大きい領域で、ストライドアクセることがわかった。

スやリストアクセス等でメモリロードが頻発し、

— 46 —

SENAC Vol. 51, No. 1（2018. 1）

参考文献

図 8 利用者プログラムの分布

図 9 メモリバンド幅律速領域

4 まとめ
本稿では、本センターの利用者プログラムを対象に Prog B/F と Actual B/F の測定を行い、本センターにおける利用者プログラムの特性を分析した。これらの分析結果により、利用者プログラムの求める性能が定量的に明らかになり、メモリバンド幅律速のプログラムが多いことがわかった。
今後も引き続き動向を分析し、プログラムチューニングのツールとして、また利用者のニーズに応えられるシステム設計、運用設計に活用していきたい。

[1] R.Egawa, K.Komatsu,S.Momose, Y.Isobe,
H.Musa, H.Takizawa, H.Kobayashi,Potentialof a modern vector supercomputer forpractical applications: performance
evaluation of SX-ACE, The Journal ofSupercomputing, Sep. 2017, Volume73, Issue
9, pp 3948-3976[2] 萩原孝 浜口博幸 山信田恒、スーパーコンピ
ュータ SX-ACE のハードウェア、東北大学サイバーサイエンスセンター大規模科学計算システム広報(SENAC) Vol.48,No.1、pp.5-14、2015．
[3] 工藤淑裕 横谷雄司、SX-ACE でのプログラミ
ング（ベクトル化偏）、東北大学サイバーサ
イエンスセンター大規模科学計算システム広報(SENAC) Vol.48,No.1、pp.15-32、2015．
[4] 東北大学サイバーサイエンスセンター、高速化推進研究活動報告 第 6 号、2015．
[5] 小野敏 他、スーパーコンピュータ SX-ACE の運用について、大学 ICT 推進協議会 2015 年度
年次大会．