先端的計算科学研究プロジェクト成果報告書
研究課題名：大規模スーパーコンピュータにおける電力資源管理システムのスケーラビリティ評価

近藤 正章, 坂本 龍一(東京大学 大学院情報理工学系研究科)

先端的計算科学研究プロジェクト成果報告書

1

Power consumption

06,2008
11,2008
06,2009
11,200906,2010
11,201006,2011
11,201106,2012
11,201206,2013
11,201306,2014
11,201406,2015
11,2015
06,2016
11,2016
06,2017
11,201706,2008
11,2008
06,2009
11,200906,2010
11,201006,2011
11,201106,2012
11,201206,2013
11,201306,2014
11,201406,2015
11,2015
06,2016
11,2016
06,2017
11,2017

スーパーコンピュータの消費電力のトレンド

 Top10スパコンの消費電力と電力効率のトレンド

システムの大規模化にともない消費電力は増加傾向
 2年でおよそ2倍の電力効率の向上
将来的には電力効率向上ペースは鈍化すると予想
Power efficiency

Average

先端的計算科学研究プロジェクト成果報告書
2

研究の背景 エクサスケールシステムは消費電力が最大の設計制約

京コンピュータでは10PFLOPSを13MWで実現
 将来的にも20～40MWが電力供給の限度

エクサシステムでは同程度の電力で100倍の性能向上が必要

 アプリケーションのシステムへの要求の多様化

計算・記憶・通信の各要素への要求が異なる
 電力がシステム制約となる状況下では各要素へ投入するハードウェア資源は制限せざるを得ない

運用時のピーク電力が制約を超えないことを保証する
worst case設計ではシステムをスケールさせることは難しい
先端的計算科学研究プロジェクト成果報告書3エクサスケールシステムのあるべき姿 ハードウェア資源の有効利用から電力資源の有効利用へのパラダイムシフト
Power
最大許容電力
NW
差の拡大

Mem.
CPUBase・ヘテロ化
・局所性利用・省電力技術

GPU

電力制約適応型

最大負荷 アプリA

最大負荷 アプリAアプリB

最大負荷 アプリA アプリB

ペタスケールポストペタスケール（従来型）

ポストペタスケール(電力制約適応型)

電力制約適応型システム
 最大負荷時電力が電力制約を超過することを積極的に許容 電力性能ノブを制御することで実効電力を制約以下に抑制
 電力資源を計算・記憶・通信へ適応的に配分することで実効性能向上へ
先端的計算科学研究プロジェクト成果報告書

4電力資源配分の最適化
 ジョブの特徴に応じた電力資源配分最適化に必要な技術

ジョブ内の電力資源配分
プロセッサ・DRAM間 プロセッサ・ネットワーク間 ジョブ内のノード(MPIランク)間→ 最適化アルゴリズムとその自動化


ジョブ間の電力資源配分
各ジョブへの電力バジェット配分
 キューからの最適実行ジョブ選択
 各ジョブの動的な電力監視と制御→ 電力を考慮したスケジューリング
→ ジョブ特徴に応じた電力配分最適化
Job 1

ジョブキュー

…

電力情報
Job 2
…

…

スケジューラ Power Cap
Job ݊DRAM・プロセッサ

プロセッサ・ネットワーク
先端的計算科学研究プロジェクト成果報告書

Daemon5電力制約適応型資源管理ソフトウェアの開発(※)
 合計電力資源に基づき各ジョブの消費電力を管理

リソースマネージャからの電力制約設定と管理
 Slurm Workload Managerをベースに開発
 https://github.com/pompp 上で公開
※JST CREST「ポストペタスケールシステムのための電力マネージメントフレームワークの開発」で実施
先端的計算科学研究プロジェクト成果報告書

6

HA8000システムへのインストール
 開発したスケジューラを九州大学情報基盤研究開発センター

HA8000システムへ導入
 HA8000の概要
CPU: Xeon E5-2670 v2 (2.5GHz), メモリ128GB/ノード、965ノード



電力制約設定：RAPL



電力モニタリング：RAPL & IPMI

 開発スケジューラ運用方針

ログインノードにてSlurmサーバを実行

占有の32計算ノードではデーモン(slurmd)の起動が常に可能

全系利用時に全計算ノードのデーモン起動許可を頂くことで実験→ 全系で電力を考慮したジョブスケジューリング評価が可能に

先端的計算科学研究プロジェクト成果報告書

7

大規模システムでの機能検証と評価
 HA8000システムでの機能検証

全体システム電力制約内でのジョブスケジューリング機能
 ジョブスクリプトへの電力制約設定機能
 各計算ノードでの電力モニタリング・電力制約設定機能


全ノードの電力モニタリング結果

電力制約を設定したスケジューリング時の電力

ジョブごとの消費電力

実行待ち
ジョブ数
遊休ノードの消費電力
先端的計算科学研究プロジェクト成果報告書

8電力制約適応型システムを想定した評価
 オーバープロビジョンド環境における電力消費の分析
400ノードの最大消費電力(TDP)を電力制約としノード数を増加

 追加ノード数が増加するにつれ電力資源をより利用
 一方でidleノードの電力が増加 → 無駄に電力が消費

先端的計算科学研究プロジェクト成果報告書

9電力制約適応型システムの課題
 システム構成の設計方法論の構築

電力制約やアプリの特徴に応じたオーバープロビジョンドレベルの設定
 何ノードオーバープロビジョニングするべきか 適用的な計算ノードの電源オン／オフ制御

電力資源・計算ノード利用状況に合わせた電源管理手法
 各ジョブの電力キャップ・スケジューリングとの連携
 細粒度な電源オン／オフのオーバーヘッドの解析
 リソースマネージャとジョブ内電力最適化ツールとの連携

ジョブレベル電力マネージャとの連携が必要
 例) GEOPM: Global Extensible Open Power Manager

スケーラブルな（ユーザレベル）電力マネージャとライブラリ群

 大規模システムを想定した資源管理戦略の評価環境が必須
先端的計算科学研究プロジェクト成果報告書

10システム電力評価環境の構築
 システム電力シミュレータの開発

スケジューリング戦略やジョブの特徴に応じた評価が可能
 様々な資源状態に対応（電力制約や計算ノードの電源状態など）
 シミュレータの精度検証
実システム（HA8000 965ノード）

シスシステム電力シミュレータ

先端的計算科学研究プロジェクト成果報告書

11電力管理戦略 計算ノードオン／オフ戦略

On-demand: 計算ノードアイドル時にはすぐに電源オフ
 電力効率良い、頻繁なオン／オフが発生
 Keep-ratio: アイドルノードのうち固定割合のノードの電源オフ
 一部はすぐに利用可→頻繁なオン／オフ削減、状況によらず固定割合
 Intensive: 全ジョブの状況（power-intensiveness）に応じて電源オフノードの割合を決定 頻繁なオン／オフ削減、電力効率良い
 各ジョブのpower-intensivenessは機械学習により推定
 電力キャッピング戦略
 MAX: 当該ジョブの実効電力の最大値を設定
 MIN: HWがサポートする最小の電キャップ値を利用
 Intensive:各ジョブのpower-intensivenessに応じてキャップ値を設定
 (Increase: 余剰電力分を使用してキャップ値を上げる）
先端的計算科学研究プロジェクト成果報告書

12ジョブスループットの評価
 オン／オフ戦略の比較

 電力キャッピング戦略の比較

good!

good!

先端的計算科学研究プロジェクト成果報告書

13電力使用率の比較
 アイドルノードの電源オン／オフ管理なし

 アイドルノードの電源オン／オフ管理あり

先端的計算科学研究プロジェクト成果報告書

14

まとめ
 電力制約適応型の資源管理ツールの開発と評価
 電力制約適応型のリソースマネージャのHA8000への導入
 HA8000実機と比較したシミュレーション評価環境の検証
 電力管理戦略の評価

 今後の課題 ジョブレベル電力マネージャとの連携が必要
 電力制御手法・アルゴリズムの改良
 大規模アプリでの評価

 謝辞
 スケジューラの導入や全系システムでの評価においてはセンターの皆様に大変なるご尽力を賜りました。ありがとうございました。
先端的計算科学研究プロジェクト成果報告書

15関連発表文献（H29年度）


国際会議（査読付き）
R. Sakamoto, T. Cao, M. Kondo, K. Inoue, M. Ueda, T. Patki, D. Ellsworth, B. Rountree, and M.
Schulz, “Production Hardware Overprovisioning: Real-world Performance Optimization using
an Extensible Power-aware Resource Management Framework”, 31st IEEE International
Parallel & Distributed Processing Symposium (IPDPS 2017), May 2017 (to appear).（センター利用に関する記載あり、センター職員の方著者に含む）

Ryuichi Sakamoto, Tapasya Patki, Thang Cao, Masaaki Kondo, Koji Inoue, Masatsugu Ueda,Daniel Ellsworth, Barry Rountree, and Martin Schulz, “Analyzing Resource Trade-offs in
Hardware Overprovisioned Supercomputers”, 32nd IEEE International Parallel & Distributed
Processing Symposium (IPDPS2018), May 2018 (to appear). （センター利用に関する記載あり、センター職員の方著者に含む）

研究会発表（査読なし）


坂本龍一, カオタン, 近藤正章, 井上弘士, 上田将嗣, Tapasya Patki, Daniel Ellsworth, BarryRountree, Martin Schulz, “オーバープロビジョニング環境での大規模HPCシステムの電力と性能評価”, 情報処理学会ハイパフォーマンスコンピューティング研究会, 2017-HPC-160, 2017年
7月. （センター職員の方著者に含む）

先端的計算科学研究プロジェクト成果報告書

16