— 31 —SENAC Vol. 50, No. 1（2017. 1）［大学 ICT 推進協議会 2016 年度年次大会論文集より］

スーパーコンピュータ SX-ACE の省エネ運用
森谷 友映 1), 齋藤 敦子 1), 佐々木 大輔 1) , 山下 毅 1) , 小野 敏 1) ,大泉 健治 1) , 江川 隆輔 2), 3), 小林 広明 3) ,2)
1) 東北大学 情報部情報基盤課
2) 東北大学 サイバーサイエンスセンター
3) 東北大学 大学院情報科学研究科
t-moriya@cc.tohoku.ac.jp

Energy-saving operation of the supercomputer SX-ACE
Tomoaki Moriya 1), Atsuko Saito 1), Daisuke Sasaki 1) , Takeshi Yamashita 1) ,Satoshi Ono 1) ,Kenji Oizumi 1), Ryusuke Egawa 2), 3) , Hiroaki Kobayashi 3) ,2)
1) Information Infrastructure Division, Information Department, Tohoku Univ.
2) Cyberscience Center, Tohoku Univ.
3) Graduate School of Information Sciences, Tohoku Univ.
概要
東北大学サイバーサイエンスセンターは、全国共同利用機関として学内外の研究者に対して大規模科学計算システムを提供している。システムが大規模化するにしたがって、また近年の電力料金の上昇により、運用コストは急増している。大規模計算機を運用する上でも「省エネ対策」は取り組むべき大きな課題である。本稿では、本センターにおける大規模科学計算システムの省エネ運用の取り組みを設備、運用の面から報告する。

1

はじめに
東北大学サイバーサイエンスセンター（以下、このような状況の下、スーパーコンピュータSX-ACE の新規導入に合わせ計算機専用棟である本センター2 号館が竣工された。2 号館は、電本センター）では、全国共同利用機関として学源設備、計算機の設置スペース、空冷・水冷方

内外の研究者に高性能計算基盤環境である大規式の両方に対応した冷却システムを備えている。

模科学計算システムを提供している。計算シス

これらの整備は計算システムの安定稼働とともテムは定期的に更新や増強を実施し、利用分野に電気料金等のコスト削減にも寄与する。の裾野拡大を図り、大規模・高精度化するシミ

本稿では、本センター2 号館の冷却設備の紹ュレーションモデルに対応するなどして利用者介とその省エネ対策、および SX-ACE の省電力運の研究開発を促進している。

用に関する取り組みについて述べる。

2011 年 3 月に発生した東日本大震災以降、原子力発電所の稼働率低下と燃料価格の高騰に伴

2

大規模科学計算システムについて

う火力発電費の上昇、さらに、2012 年 7 月から本センター大規模科学計算システムの構成を再生可能エネルギー発電促進賦課金が上乗せさ

図 1 に示す。本センターの大規模科学計算シスれたことを背景に、スーパーコンピュータ運用

テムはベクトル型スーパーコンピュータに係る光熱水量経費が急増している。運用コス

SX-ACE、スカラ型並列コンピュータ LX 406Re-2、トを抑えるために、省エネ対策は取り組むべきストレージシステムおよび三次元可視化システ

大きな課題となっている。

ムから構成される。

— 32 —

SENAC Vol. 50, No. 1（2017. 1）

図 1 大規模科学計算システム構成図
ベクトル型スーパーコンピュータ SX-ACE は

1 階には水冷設備と空冷設備、2 階には空冷設備

2,560 ノードから構成される。1 ノードには、を備えている。2 号館の内部構成を図 2 に示す。

理論最大演算性能 276GFLOPS のベクトルプロセ
ッサ 1 基 4 コア、メモリ 64GB の主記憶容量・

表 1 SX-9 と SX-ACE の性能比較

I/O 制御部・ネットワークの制御部を単一 LSIに搭載している。前機種 SX-9 と SX-ACE の性能比較を表 1 に示す。SX-9 システムの理論最大演
算 性 能 が 34.1TFLOPS で あ っ た の に 対 し 、
SX-ACE システムでは 706.6TFLOPS となり、20.7倍に性能向上している。なお、理論演算性能あたりの消費電力については、SX-9 の 1GFLOPS あたり 15.8W であったのに対し、SX-ACE は 1.69Wであり、約 1/10 の低消費電力の設計になっている。
したがって、システム規模の理論演算性能比と 1GFLOPS あたりの消費電力比から、SX-9 システムに比べ約 2 倍の電力増加が想定され、更なる省電力に対する取り組みが必要である。

3 建物・冷却設備における省エネルギ
ｄ ー対策
3.1

本センター2 号館の紹介

2 号館は 2 階建ての建屋であり、1 階にスーパーコンピュータ SX-ACE、2 階に並列コンピュー
タ LX 406Re-2 およびストレージシステムを配置している。
冷却設備は、屋上に密閉型フリークーリング方式の冷却塔一体型チリングユニットを設置し、

図 2 2 号館内部構成

— 33 —

スーパーコンピュータ SX-ACE の省エネルギー運用

3.2 冷却塔一体型チリングユニット

うラック間の側面と上面をビニールカーテンで図 3 に示すように、冷却塔一体型チリングユ仕切る。供給される冷気は、仕切った内部のフニットは 2 号館屋上に設置し 4 基構成で運用しリーアクセスフロアの底面から効率的にている。上部に密閉式冷却塔 3 台、下部に 3 台

SX-ACE へ吸入させ、ラック背面からの高温排のチラーを内蔵している。冷却塔部は、冷却コ

気は天井面の吸入口から天井裏を介し、空調機イルを流れる冷媒を、送風ファンによって取りへ戻している。

込まれた外気と散水槽から散布された水の蒸発潜熱により冷却する。チラー部は、一般的に用いられる圧縮機で冷媒を冷却する。冷媒は15℃で供給するように設定しており、外気の温度が低い期間は冷却塔のみで冷却（フリークーリング）が可能となる。
冬期や朝晩の気温が低い期間は、消費電力の高い圧縮機は停止したまま冷却塔のみの運転となり節電効果は非常に高い。
図 4 アイルキャッピングを設置した SX-ACE

4 システム運用における省エネルギー
ｄ 対策SX-ACE は、バッチ処理システム NQSII の拡張スケジューラ JobManipulator に搭載された省電力運転機能と連携することで、効率的な省電力運転を行うことができる。省電力運転機能にはコア縮退とノード縮退の 2 つがある。本センターではこの 2 つを組み合わせた省電力運転を
図 3 冷却塔一体型チリングユニット
3.3 アイルキャッピング行っている。
4.1 コア縮退
コア縮退は、OS が最低限動作するのに支障が更なる省エネルギー運用を目指し、1 階に設置ない状態に稼動コア数を縮退する機能である。1

した SX-ACE ではアイルキャッピングを採用しノード 4 コアのうち最大 3 コアが休止状態になている。

る。節電効果はそれほど大きくはないが、休止/アイルキャッピングとは、空調機から供給さ復帰のレスポンスが速いため、ジョブの実行状れる冷気と SX-ACE からの高温排気を混流しな況に応じたきめ細かい 省エネルギー運用が可能

いようビニールカーテンで分離する方法である。

である。
4.2 ノード縮退

分離することにより、効率的な空冷制御が可能になり、消費電力の削減が期待できる。
図 4 は、アイルキャッピングを設置した

ノード縮退は、一定時間ジョブの実行がないノードの DC 電源を停止する機能である。

SX-ACE である。冷気の吸入側であるラック前

図 5 に、1 クラスタ(512 ノード)最大定格面側を向かい合わせに配置し、2 列の向かい合240kW を 100%とした際のコア縮退時、ノード縮— 34 —

100%

SENAC Vol. 50, No. 1（2017. 1）

最大定格：
240kW

9080706050
コア縮退なし：89.7kW
コア縮退あり：
83.7kW

40302010ノード縮退：
10.8kW0

図 6 ノード縮退運用の改善前と改善後

図 5 1 クラスタあたりの消費電力退時の消費電力の内訳を示す。ノード縮退は節電効果が非常に大きく、コア縮退時より消費電力を約 1/10 に抑えることができる。
4.3 ノード縮退運用の見直し
ノード縮退では、DC 電源停止/起動時にハードウェアに高い負荷がかかる。このため、ハードウェアの信頼性を確保するためにはノード縮退の頻度を制御する必要がある。
SX-ACE 導入当初は、ノード縮退から復帰す

5

省エネルギー対策の効果
図 7 に、2015 年 1 月から 2016 年 8 月までの外気温、冷却塔一体型チリングユニットの消費電力を示す。2015 年、2016 年とも、夏期（6 月～9 月）の消費電力が大きいが、冬期(10 月～4月)は小さい。
3.2 節のとおり、冬期は冷却塔のみで冷却されるフリークーリングとなり節電効果が大きく発揮されている。

るまでの時間間隔を 4 時間以上あけることでノ

図 8 は、SX-ACE のノード状況と各設備の消費ード縮退の頻度を制御していた。これにより、電力（SX-ACE、冷却設備）の瞬時値である。実ハードウェアの信頼性を確保することはできた

行中以外のほとんどのノードが、コア縮退状態が、ノード縮退中の 4 時間の間、サービス提供やノード縮退状態であり、省電力運転機能が効が止まってしまう問題があった。

いている。よって、消費電力も縮退数に対応しこの問題を解決するために、ハードウェア信て削減でき、稼動状況に応じた効率のよい省電頼性確保の要件を洗い直し、図 6 のように、制力運転ができている。また、図 7 より 2016 年 1

御方法を「ノード縮退の時間間隔」から「ノー月は平均気温 2.4℃と低く、いずれの日もフリド縮退回数（1 日 5 回まで）」へ見直した。このークーリングのみの冷却で、冷却設備において結果、以前と同等の信頼性が確保できることはも省エネルギーな運転ができている。約 150kWベンダーに確認済みである。現在は、この見直の電力消費は、空調ファンや冷媒ポンプ等の動しにより利用者へのサービス提供の質を低下さ力機器によるもので、冷却に必要な最低限の電せることなく省電力運用を行うことが出来てい力である。

る。

— 35 —

スーパーコンピュータ SX-ACE の省エネルギー運用

MWh160チルドタワーの消費電力量

140

24.8

120

24.3

23
20.5

20

18

100

℃
30

平均外気温度
25.7

25

19.8
22.1

17
15.5

80
60

10.7

6.8

40

10

7
5.9

3

2.6

20

15

11.9

11.7

2.4

20

3.5

50
2016/92016/8

2016/7

2016/6

2016/5

2016/4

2016/3

2016/2

2016/1

2015/122015/112015/10

2015/92015/8

2015/7

2015/6

2015/5

2015/4

2015/3

2015/2

2015/10

図 7 冷却塔一体型チリングユニットの月間消費電力量と平均外気温度
kW

ノード数

実行中

コア縮退

ノード縮退

SX-ACE

保守作業

冷却設備(空冷・水冷設備)

2,560

700
600

2,048

500
1,536

400
300

1,024

200
512

100

1/31

1/30

1/29

1/28

1/27

1/261/25

1/24

1/23

1/22

1/21

1/20

1/19

1/18

1/17

1/16

1/15

1/14

1/13

1/12

1/11

1/9

1/10

1/8

1/7

1/6

1/5

1/4

1/3

1/2

0
1/10

図 8 ノード状況と消費電力の瞬時値(2016 年 1 月)
SX-9

MWh
700
600
500
400
300
200
100
0

空冷設
備

SX-ACE

空冷設備

空冷設備・水冷設備

空冷設
備
・
水冷設
備

SX-9
SX-ACE20142016

20142016

20142016

20142016

20142016

20142016

20142016

20142016

20142016

1月

2月

3月

4月

5月

6月

7月

8月

9月

図9SX-9 システムと SX-ACE システムの消費電力量

— 36 —

図 9 に、SX-9 システムと SX-ACE システムの消費電力量を示す。SX-9 システムは 2008 年 11月から 2015 年 2 月まで運用していた。その中でSX-9 シ ス テ ム を 運 用 し て い た 最 終 年 と 、SX-ACE システムの直近 9 ヶ月間と比較している。
消費電力は、すべての月において SX-9 システ
ムを下回っている。SX-ACE システムは SX-9 システムに比べ全体の理論演算性能が 20.7 倍で、1GFLOPS あたりの消費電力が約 1/10 と、単純に2 倍の電力増加を見込んでいた。しかし、省電力運転の効果もあり逆に減少したことが確認できた。
また、冷却設備においては、夏期は両システ
ムともさほど差は見られないが、冬期はフリークーリングの効果により最大 55%の省電力が実現できている。

6

おわりにフリークーリングが可能な冷却設備およびアイルキャッピングの導入により冷却効率の向上をこれまで以上に高めることができ、大幅な 省エネルギー効果を実現できた。また、省電力運転機能を運用に取り入れたことも節電効果へつながっている。
これらの省エネルギー運用をひとつの経験として蓄積し、今後の大規模科学計算システムの運用に活かしていきたい。

参考文献[1] 東北大学情報部情報基盤課共同利用支援係、共同研究支援係、東北大学サイバーサイエン
スセンタースーパーコンピューティング研究部、スーパーコンピュータ SX-ACE の運用について、東北大学サイバーサイエンスセンタ
ー 大 規 模 科 学 計 算 シ ス テ ム 広 報 Vol.49 、
No.1、pp.22-27、2016.

SENAC Vol. 50, No. 1（2017. 1）