XC40 計算ノードにおける消費電力のばらつき評価とその活用研究
深沢 圭一郎 1), 疋田 淳一 2), 當山 達也 2) , 島袋 友里 2)
1) 京都大学 学術情報メディアセンター
2) 京都大学 情報部
fukazawa@media.kyoto-u.ac.jp

Evaluation of Power Consumption Heterogeneity on XC40 Compute Node andStudy of its Application
Keiichiro Fukazawa 1), Junichi Hikita 2), Tatsuya Tohyama 2), Yuri Shimabukuro 2)
1) Academic Center for Computing and Media Studies, Kyoto Univ.
2) Information Department, Kyoto Univ.
概要
大学などのスーパーコンピュータは数百から数千計算ノードから構成されているが、この計算ノードでは CPU 等の製造ばらつきに起因した消費電力のばらつきが存在する。本研
究では、ベンチマークアプリケーションを利用して京都大学のスーパーコンピュータである XC40 における消費電力ばらつきを評価し、そのばらつきを活用した消費電力低減に繋がる研究について議論する。

1

では NVIDIA や AMD が多くのシステムで利用さはじめにれている。これらは富岳や SX-Aurora TSUBASA

近年スーパーコンピュータ（スパコン）システなどの CPU と比べ、性能ばらつきが多く存在する。

ムの開発において、消費電力の増大は大きな課題

一般的には、半導体の製造では、周波数の高い製となっている。これは、スパコンシステムに限ら品は少なく、周波数の低い製品が多く作られるたず増加しているデータセンターにおいても同様のめ、スパコン専用品である場合には、この中でも課題となっている。特に、データセンターの電力厳しい基準を満たす製品が利用される。汎用品の消費量は、2020 年では世界の総電力使用量の 2%場合は、性能に余裕を持たせたある一定の性能基に達すると推定されている[1]。

準を満たす必要がある。この結果、例えば、PC にスパコンシステムでは、リプレイスにおいて高使われる CPU で行われるオーバークロックにおい性能の CPU を搭載した計算ノードを多数導入いて、オーバークロック耐性の高い CPU と低いする場合、その消費電力量が大きすぎ、導入できCPU が表れる。これは周波数を一定にした場合、る量に制限がかかることも起きている。例えば、消費電力が多い CPU と少ない CPU があるというスパコンに導入されるような高コアの 1 世代前のことに繋がる。

Intel 製 Xeon と最新の Xeon を比べると TDP が約HPC 向けである Xeon 系では性能ばらつきは比100W 上昇しており、NVIDIA 製 GPU であれば、較的少ないと考えられるが、この消費電力のばらA100 と最新世代である H100 では TDP が 300W 上つきを理解しておくことで、縮退運転をする際に昇している。世代更新に伴う演算性能も上昇してどのノードを停止させるかなど、消費電力と演算いるので、Flops/W としては向上しているが、多性能を考慮したスパコンシステム運用が可能とな数ノードの導入は難しくなっている。このようなると考えられる。そのため。本研究では、京都大消費電力を抑えるために、システムのスペックを学学術情報メディアセンター（京大メディアセン制限したり、ピーク電力に制限をかけたりするよター）のスパコンシステムである XC40 においてうな施策を行う必要があるが、同時に計算性能もベンチマークアプリケーションを利用して計算ノ制限されてしまう。

ードの消費電力ばらつきを評価し、そのばらつき

一方、近年はスパコン専用 CPU ではなく、x86系 CPU である Xeon や EPYC が多く利用され、GPU30を利用したスパコンシステム全体の消費電力削減に繋がる手法を議論する。

2

計算ノードの評価手法

表 1

XC40 の諸元

機種名CRAY XC40

計算ノード

CPU

Intel Xeon Phi KNL7250×
1 /nodeスパコンの停止を伴うメンテナンスを少なくし、コア数

68 cores /CPU

また停止を伴うメンテにおいても可能な限り停止

周波数

1.4 GHz時間を短くする努力をしている。このため、京大

理論性能3.05 TFlops /node (倍精度)

メディアセンターのスパコンである XC40 の全ノメモリ

MCDRAM: 16GB/node

京大メディアセンターではスパコンの利用サービスとして全ノード利用は行っておらず、また利用者の利用時間を最大限確保する運用思想から、ード（1,800 ノード）で同時に同じベンチマークをDDR4: 96 GB /node

走らせ、ばらつきを評価することができない。そBandwidth

こで、シングルノードジョブを大量に投入し、割MCDRAM: 約 490GB/s
DDR4: 115.2 GB/s

り当てられたノード情報を確認し、多数の異なるB/Fノードを評価する手法をとった。

MCDRAM: 0.16
DDR4: 0.038

これらのノードにおいて、CrayPat という性能プロファイラーツールを利用し、消費電力と実行時間を測定した。以降の評価結果では、測定結果の平均値を利用するため、3 回評価できなかった

総ノード数

1,800 nodes

総理論性能

6.91 PFlops

ノード間接続CRAY Aries (15.75 GB/sec)

ノードは除外している。

68 プロセス（Xeon Phi KNL のコア数は 68 コア）2.1 計算機システムの Flat MPI として、実行した。

京大メディアセンターのスパコンである XC40

HPCG は Linpack に比べて実アプリケーションは、2016 年から 2022 年に運用されていたシステに近いベンチマークとして開発されており、疎行ムであり、2022 年 7 月 28 日に運用を停止した。

列の線形ソルバーである。つまりベクトル演算性

XC40 は Xeon Phi KNL を搭載したメニーコアシス能を評価している。HPCG では 1 ノード 64 プロセ

テムであり、構成の詳細を表 1 にまとめている。

スとして実行した。

このスパコンを利用し、前述のようにジョブを投本研究では、STREAM を 6,000 ジョブ、HPCG入し、ベンチマークアプリケーションが動作したを 4,600 ジョブ投入した結果、STREAM では 623ノードを評価した。また、評価を行う場合には、ノード（3 回以上評価できたノード数は 414 ノーハイパースレッディングはオフにしている。

ド）、HPCG では 430 ノード（同 327 ノード）の異2.2 評価ベンチマークアプリケーションなるノードを評価することができた。

ノードを評価するベンチマークアプリケーシ
ョンとして、STREAM[2]と HPCG[3]を利用した。

3 評価結果STREAM はメモリ操作を行い、メモリバンド幅を3.1 STREAM ベンチマーク評価するベンチマークアプリケーションであり、

図 1 に XC40 で STREAM を実行した際の各ノスパコンの性能評価ではよく利用されている。本ードの消費電力と実行時間を示す。グラフの横軸評価では STREAM の MPI 版を利用し、1 ノード内はノードを表すが、ノード ID 順ではなく、計測がSTREAM消費電力

270

28.2

時間[秒]

消費電力[W]

260250240230STREAM実行時間

28.4

2827.827.6
27.4

0100200300400

ノード

27.20100200ノード

図 1 XC40 ノードにおける STREAM ベンチマーク評価結果

31300400

HPCG消費電力

25038時間[秒]消費電力 [W]240
230

3634220210

HPCG実行時間

400100ノード

20032300

0100ノード

200300

図 2 XC40 ノードにおける HPCG ベンチマーク評価結果
STREAM

270240消費電力 [W]消費電力 [W]

260
250
240
230

HPCG

250

272829

時間 [秒]

303132230
220
210333435

36

時間 [秒]

373839

図 3 STREAM と HPCG の消費電力と実行時間の関係できた順であり、その並び自体に意味は無い。まの変動があった。STREAM に比べて変動が大きい

た、消費電力と実行時間で横軸は同じノード順でことが分かる。消費電力は 50%のノードで 6～12%ある。実行時間では、ほとんどの結果が 27.8～28.2の変動があった。

秒に収まっている。
一方で、消費電力は 235～260W

3.3 STREAM と HPCG の評価比較となっており、ノード毎の結果の変動が大きいこ

STREAM と HPCG の評価結果を比べると、変とが明らかに分かる。詳細に解析すると、実行時動の振る舞い自体は似ているが、変動の幅は違い間は最大で 3.7％の変動があるが、70%以上のノーがあった。HPCG では実行時間の変動の幅が消費ドは実行時間の変動が 3%以下となっている。消費電力と同じ程度であり、アプリケーションにより、電力は最大で 13.5％の変動があり、50％以上のノ異なることが分かる。ここで、STREAM と HPCGードで 6～12%の変動があった。STREAM は CPUの評価結果から実行時間と消費電力の関係を図 3ではなく、メモリに対して負荷の高いベンチマーに示す。この図から、明らかに HPCG の実行時間クであるがため、メモリ性能には大きなばらつきの変動幅が大きいことが分かる。一方で、消費電はなく、消費電力には大きなばらつきがあること力の大きさ自体は STREAM の方が大きくなってが分かる。

いるが、消費電力の変動幅は両ベンチマークとも

3.2 HPCG ベンチマーク

30W 程度となっている。ここから、消費電力のば

次に HPCG の評価結果を示す。STREAM の結らつきはある程度どのアプリケーションでも共通果と同様に評価結果を図 2 に表す。ノード数がの可能性がある。

STREAM と異なるのは、STREAM と HPCG で 33.4 他のシステムのばらつき評価回実行できたノード数に違いがあるからである。

ノード消費電力の変動が XC40 以外にも現れる

HPCG では消費電力は STREAM の場合と同様に変ことを確認するため、九州大学のスーパーコンピ動が大きい。一方で、実行時間は多くが下限の 34

ュータである ITO-A を利用し、ノードの消費電力秒付近に分布し、一部実行時間が遅くなるノードを計測した。ITO-A の構成詳細は、九州大学情報があることが分かる。詳細には、78%のノードが基盤研究開発センターの Web ページを参照された

4%以内の実行時間変動となっており、最大で 14%

い[4]。ノード消費電力に関係する CPU は Skylake32

Power reduction rate [%]図 4 ITO-A における STREAM と HPCG の CPU（PKG）と DRAM 消費電力

10STREAM

HPCG

500%

10%

20%

30%

40%

50%

60%

Node usage rate

70%

80%

90%

100%

図 5 ノード利用率を変化させた場合の消費電力効率の良いノード優先ジョブ割当による消費電力削減割合
世代の Xeon を 2CPU/ノード搭載し、DDR4-2666

ばらつきや消費電力の変動を理解しておくことは、×12/ノードとなっている。この ITO-A を全ノードスパコンセンターの運用としては重要であるが、（2,000 ノード）利用し、消費電力の変動を調べた。

この消費電力ばらつきを上手く利用することで、

ITO-A では RAPL が利用できたため、CPU 電力スパコン全体の消費電力の削減に繋がることが考（PKG）と DRAM 電力を CPU カウンターから取えられる。ノードのジョブへの割当はスパコンに得し、消費電力とした。図 4 に ITO-A におけるよってルールは異なるが、一般的にノードの消費

STREAM と HPCG 実行時のノード消費電力を示す。

電力を考慮した割当は行われていない。今回の評

ここでは、HPCG に PKG 消費電力が低い順にノー

価では、ノードの消費電力は変動がある、つまり、ドを並べている。HPCG は、CPU（PKG）消費電消費電力が少ないノードや多いノードがあること力で大きな変動（約 15W）があるが、STREAM でが分かった。この情報を利用し、消費電力の少なは 3W 程度と変動幅が小さくなっている。DRAMいノードを優先してジョブに割り当てれば、スパの消費電力では、STREAM で 15W 程度と DRAM

コンを運用する際にスパコン全体の消費電力を削消費電力から考えると大きな変動が見える。HPCG減できると考えられる。

でも 10W 程度の変動はあり、DRAM 消費電力がXC40 の評価結果から、平均消費電力より少な30～40W と考えると変動幅の割合は大きい。このい消費電力となるノードの割合は約 10%であり、ように XC40 ではない、他システムでも消費電力

その 10%のノードの中にも平均消費電力に近いノの変動自体は存在することが確認できた。

ードから最も消費電力が少ないノードまでが含ま4 消費電力のばらつきの活用

スパコン上で 1 ノードしか使われない運用状況をれる（図 1、2 を参照）。ここで、非現実的だが、同一システム内のノードにおける実行時間の考える。最も消費電力が少ないノードが割り当てられ続ける状況と、様々な消費電力のノードが割33

り当てられる状況（結果的に平均的なノード消費大最小消費電力の差は 30W にもなり、スパコンの電力になる）を比べると、運用結果として消費電運用上このようなばらつきを把握しておくことは力が削減される。この場合、ノードの平均消費電重要だと考えられる。また、実行時間のばらつき力に対する最低消費電力の差の量だけ削減され、はアプリケーションに依存することが予想され、

XC40 の評価から計算すると、STREAM で 5.6%、今後スパコンの運用を行う上で、実行時間に影響HPCG では 7.7%の消費電力削減となる。のあるアプリケーションの把握やユーザへの情報現実的な状況を考えると、XC40 を 1 ノードだ提供も必要となる可能性が高い。

けの利用から 1,800 ノード利用する状況まで考え消費電力のばらつきは運用上好ましくないが、て、同様の見積もりを行うと、図 5 のようなノーそのばらつきを活用することで、消費電力の削減ドの利用率と消費電力削減率が求まる。ここでは、に繋がる可能性もある。消費電力のいばらつきの理想的に 1 ノードジョブの STREAM または HPCG

中でも消費電力が低いノード、消費電力効率の良のみが動くことを仮定している。利用率が 100％いノードに優先してジョブを割り当てることを考になれば、消費電力の低いノード優先割当は全くえると、単純な見積もり計算では、ノード利用率行えないので、消費電力削減率は 0 となる。また、が 80%程度であっても 2～3%程度の消費電力削減利用率が上がるほど消費電力が高いノードも割りが見込める結果となった。この見積もりは想定条当てられるため、特に HPCG では利用率が 75%を件が現実的では無いが、うまくばらつきを利用す超えると消費電力削減率が低くなる。更に消費電ることで、スパコンの運用に良い影響を与える可力が平均より良いノードは全体の 10%程度だった能性が示されたと考えられる。

ため、利用率が 10％を超えると、消費電力削減率今後は、新システム導入時や全ノード利用時にが低くなる傾向が見える。70％や 80%の利用率でノードの特性を把握しておくことができるように、は、消費電力が 5％も削減されず、2、3%の削減と従来には行われていない評価を容易に行えるツーなっているが、消費電力量が大きいスパコンにとルの整備を考えている。また、ノード消費電力のっては、意味のある削減量と考えられる。

ばらつきを利用したスパコンの消費電力削減が可

この見積もりは、消費電力の良いノードから利用していき（N0, N1,…, Nn）、その場合のノード消能なノードアロケーション手法を開発していく。

費電力の和（P0+P1+…+Pn）を平均的な消費電力ノ参考文献ードの和（Pavg×n）で割ることで求めており、ご[1] Andrew Younge, Gregor von Laszewski, LizheWang, and Geoffrey Fox. Providing a Green
Framework for Cloud Based Data Centers. 01
2011.
[2] STREAM Benchmark(https://www.cs.virginia.edu/stream/)[3] HPCG Benchmark(https://hpcg-benchmark.org/)[4] 九州大学情報基盤研究開発センター研究用計算機システム(https://www.cc.kyushu-u.ac.jp/scp/)[5] K. Fukazawa, J. Zhou, and H. Nakashima, Energy
Aware Scheduler of Single/Multi-node Jobs
ConsideringCPU
Node
Heterogeneity,
IGSC2022 Proceedings, accepted．

く簡単な見積もりとなっている。しかしながらノード消費電力の変動を活用することにより、スパコン全体として消費電力が削減可能だという 1 つの例となる。より現実的な、マルチノードジョブや実際のスパコン運用から取り出したワークロードを用いた、ノードの消費電力のばらつきを利用した消費電力の削減に関しては、別の研究として報告されている[5]。

5 まとめ
本研究では、京都大学学術情報メディアセンターのスパコンである XC40 におけるノード消費電力のばらつきを評価した。半導体製造上の性能ばらつきは一定量存在することは知られているが、製品として規定された性能を満たすために、そのばらつきが消費電力に変換されている。今回の評
価では、ベンチマークの実行時間のばらつきよりも消費電力のばらつきの方が大きく、また、消費電力のばらつき自体を持つノードも多かった。最34