スーパーコンピュータ「不老」の湧水噴霧による節電効果の評価
山田 一成 1), 田島 嘉則 1) ,高橋 一郎 1),林 秀和 1) ,片桐 孝洋 2), 大島 聡史 2) , 永井 亨 2)
1) 東海国立大学機構 情報環境部 情報システム運用課
2) 名古屋大学 情報基盤センター 大規模計算支援環境研究部門
yamada@itc.nagoya-u.ac.jp

Evaluation of power saving effect by spraying spring water with
Supercomputer “Flow”
Kazunari Yamada 1), Yoshinori Tajima 1), Ichiro Takahashi 1), Hidekazu Hayashi1),
Takahiro Katagiri 2), Satoshi Ohshima 2), Toru Nagai 2)
1) Information System Operations Division, Information Technology Department, Tokai National Higher
Education and Research System
2) High Performance Computing Division, Information Technology Center, Nagoya University

概要
名古屋大学情報基盤センターのスーパーコンピュータ「不老」は 2020 年 7 月から運用を開始して２年ほど経った．このシステムには情報基盤センターの地下の湧水を利用して冷却設備の一部を冷却するシステムが組み込まれている．本報告では，その湧水を利用したシステムにおける節電効果について評価を行った．加えて，消費電力を抑える取り組みについても紹介する．

1

はじめに

2

名古屋大学情報基盤センター（以下，センター）

2.1 スーパーコンピュータ「不老」の概要

導入されたシステムについてが 2020 年 7 月より運用を開始したスーパーコンピ

名古屋大学情報基盤センターに導入されていュータ「不老」は，4 つのサブシステムと大容量るスーパーコンピュータ「不老」は先に述べたよのストレージ群，可視化システムなどが高速ネッ

うに主に 4 つのシステムと共有ストレージ群などトワークによって接続された複合システムである．

で構成されている．これらのシステム構成図を図

この 4 つのサブシステムのうち冷却設備が水冷方

１に示す．まず Type I サブシステム（以下，Type I）

式である 2 つのサブシステムが使用している冷却として FUJITSU PRIMEHPC FX1000 を導入してい水循環装置（以下，チラー）が屋外に設置されてる．このシステムの総ノード数は 2,304 ノードあいる．このチラーは年間を通して稼動している．

り，総メモリ容量は 72TiB，総理論演算性能は2022 年に入り全国的に電気料金が値上がり傾

7.782PFLOPS である．複数ノードを利用した大規向にあり，本学も同じ状況のため，スーパーコン模計算などに利用されている．

ピュータ「不老」の運用にも影響が出かねない状

次に Type II サブシステム（以下，Type II）と況となっている．そのため運用担当者としては節して FUJITSU PRIMERGY CX2570M5 を導入して電意識が高まっており，スーパーコンピュータ「不いる．このシステムの総ノード数は 221 ノードあ老」の消費電力，特に夏季の消費電力を抑えるたり，総メインメモリ容量は 82.875TiB，GPU を含めに導入したチラーの湧水噴霧システムについてめた総理論演算性能は 7.489 PFLOPS である．このの仕組みや，節電の効果について評価を実施した

システムは１ノードにつき NVIDIA Tesla V100 を 4ので報告するとともに，スーパーコンピュータ「不台と 6.4TB の SSD を搭載しており，機械学習や老」の消費電力を抑える取り組みについても紹介

AI など新しい研究分野の研究者に利用されていする．

る．

40

図１ システム構成図
また，Type III サブシステム（以下，Type III）

10.89PB であり，利用者が光ディスクカートリッとして HPE Superdome Flex が導入されている．こジを追加で持ち込むことが可能となっている．のシステムの総ノード数は 2 ノードであるが，総その他に 8K のタイルドディスプレイ，オンサ

メモリ容量は 48TiB で 1 ノード当たり 24TiB の大イト端末，画像処理装置を導入しており，利用者容量メモリと 51.2TB の SSD の利用が可能となっであれば誰でも利用することができる．その他，ており，総理論演算性能は 77.414 TPLOPS である．

スーパーコンピュータ「不老」の詳細な構成や性Type III は主に大容量メモリを使用する可視化処能については[1][2]で詳しく紹介している．

理のプリポストサーバとしての利用が想定されて2.2 冷却設備の概要おり，可視化システムと連携利用されている．
クラウドシステムには HPE ProLiantDL560 が導スーパーコンピュータ「不老」の冷却設備の構入されている．このシステムのノード数は 100 ノ成図を図 2 に，冷却設備の屋外設備写真を図 3 にードである．リソースの予約システムである
UNCAI も導入されており，システムの一部のノードは予約して利用することが可能となっている．
これら 4 つのサブシステムから利用可能な共有示す．
図 2 に示すように，各システムの冷却方法はType I は水冷方式，Type II は水冷＋空冷方式で，ストレージシステムとして，多数のハードディス

屋外設備のチラーは Type I，Type II ともに空冷

クにより構成されるホットストレージの他に，光方式，その他のシステムは空冷方式となっている．

ディスクライブラリーであるコールドストレージ

また新たな試みとして，センター地下に湧き出しも導入している．ホットストレージの総実効容量ている湧水をチラーの冷却に利用している．このは 30.44 PB である．コールドストレージはシステ
ム 2 段階導入となっており，運用開始時点のフェ湧水は年間通して 18℃前後で毎分 30L 程度の水ーズⅠでは総物理容量 484 TB，2021 年 2 月からの量が湧き出ており，センター地下の釜場に溜めらフェーズⅡでは総物理容量 6 TB に増強されていれ，一定の水位になるとポンプでくみ上げて排水る．なお，コールドストレージの最大搭載容量は溝に流されている．排水溝に流されている湧水の41

図 2 冷却設備構成図

図４ 排水溝に流している湧水

図３ 冷却設備の屋外設備写真
写真を図 4 に示す．この湧水を冷却装置に利用し消費電力を抑えることができないかと考え，今回導入したシステム仕様に盛り込んだ．現在，センター南側に設置されている冷却設備のチラーに，気温が 22℃以上になった時に自動で湧水を噴霧しチラー及びその周辺温度を下げている．チラーに湧水を噴霧している状況の写真を図 5 に示す．
これにより特に夏季（7 月～9 月）期間のチラーの消費電力の削減が期待できる．今回はこの湧水噴霧システムがどのくらい効果があり，消費電力を削減することができているかを検証した．

42

図５ チラーに湧水を噴霧する様子

3 湧水噴霧による節電効果の評価
3.1 測定方法
チラーへの湧水噴霧による節電効果の検証方法
として，噴霧装置の停止時と稼働時とでチラー装置のみの消費電力量を比較する方法を採用した．
測定方法は次のとおりである．すでに述べたように，チラーの湧水噴霧システムは，気温 22 度以上になると自動で動作する仕様となっている．


噴霧装置の効果は天候や気温，特にチラー装置の外部の気温（以下，外気温）に影響され
図６ 寒暖計を臨時に設置した様子

ると予想し，噴霧装置停止日の天候は晴れとした．
噴霧装置停止日は，2022 年 8 月 24 日（以下，8 月 24 日）とし，停止時間は，午前 9 時から午後 5 時までとした．



消費電力の測定は，システム仕様内の「中央電子（株）製の環境監視システム」の計測データを利用した．



8 月 24 日の外気温を測定するため，寒暖計を臨時に設置して目視により午前 9 時から午後5 時まで測定した．最高気温は 34.0℃であった．寒暖計を臨時に設置した様子を図 6 に示す．



節電効果を比較する目的で「噴霧装置が稼働していた日」として，8 月 24 日の外気温の最3.2 測定結果
8 月 24 日の外気温（寒暖計にて午前 9 時から午後 5 時まで測定）と気象庁のデータから引用した
8 月 10 日，8 月 11 日，8 月 24 日の気温を図 7 に示す．
8 月 24 日の午前 9 時から午後 5 時までの外気温と，8 月 10 日，8 月 11 日，8 月 24 日の該当時間の気温とを比較すると，最高気温を最大とした山型のよく似た気温推移となっている．このことか
ら 8 月 24 日の外気温実測値は気象庁のデータから引用した値とよく似ていることが分かる．
チラー装置の消費電力を測定した結果を図 8 に示す．

高気温（34.0℃）と同等の別日を気象庁の「過去の気象データ検索」[3]愛知県，名古屋市（以下，気象庁）から探し，2022 年 8 月 10 日，最高気温 34.1℃，2022 年 8 月 11 日，最高気温 33.9℃，とした．
（以下，8 月 10 日，8 月 11 日）


8 月 24 日と 8 月 10 日および 8 月 11 日のチラーの消費電力を比較・検証した．

図 7 気温の推移

43

図 8 チラーの消費電力の推移

図 9 計算機負荷の推移

図 8 に示すように，8 月 24 日の噴霧装置を停止

図 9 から，8 月 10 日より 8 月 11 日の計算機負している時間帯は，消費電力が増加しており，気荷が高いことからチラーの消費電力も高くなった

温推移とよく似た山型の消費電力の推移となってと思われる．また，8 月 24 日は午後から夜間にかいる．

けて計算機負荷が徐々に高くなっていることが分

また，午前 0 時から午前 9 時までは，8 月 10 日よかる．

り 8 月 11 日の消費電力が高く，図 7 の気温の推移とは相違している．この原因は各システム（Type3.3 考察

I，Type II）の稼働率の違いと予想される．しか今回の測定結果から，以下のことが確認できた．

し，一言に稼働率といっても各ジョブによって

１） 図 7 と図 8 から，気温が高ければチラーの消CPU や GPU などの使い方が違うため，比較する費電力も高くなっていることから，チラーのことが難しい．そこで今回は，稼働率が上がれば消費電力は気温に影響されることが確認でき消費電力も上昇することから，8 月 10 日，8 月 11る．

日，8 月 24 日の各システム単体（Type I，Type II）

２） 図 8 と図 9 から，計算機の消費電力が高けれの消費電力を調査することにより，日ごと，時間ばチラーの消費電力も高くなっていることかごとの消費電力を計算機負荷として比較した．まら，チラーの消費電力は計算機負荷に影響さた，スーパーコンピュータ「不老」は納入時の仕れることが確認できる．

様により，TypeI の冷却における水冷と空冷の比

３） 図 8 から，噴霧装置を停止していた時間帯は，率は 9：1，Type II の冷却における水冷と空冷のチラーの消費電力が増加し，気温推移とよく比率は 58.7：41.3 となっている．この比率は，計似た山型の推移となったことから，湧水噴霧算機負荷およびその他条件によっても変動するが，システムには節電効果があることが確認でき

今回は一律に係数として Type I は 0.9，Type IIる．
湧水噴霧システムによる節電効果が一定程度あは 0.587 を消費電力に乗算して比較した．
各システム（Type I，Type II）の消費電力に係数を乗算した後に合計した，日ごと，時間ごとの計算機負荷の推移を図 9 に示す．

ると確認できることから，8 月 24 日の噴霧装置を停止していた時間帯，午前 9 時から午後 5 時までの間でどのくらい効果があったかを評価する．
図 8 の 8 月 24 日の該当時間におけるチラーの消費電力と，8 月 10 日と 8 月 11 日の内，高かった消費電力との電力差を表 1 に示す．括弧内の数

44

のノード用に Type I を 384 ノード，Type II を 48

値はマイナスである．

ノード，クラウドシステムを 18 ノード設定し，そ表 1 電力差時間

チラー電力（kw）のノードを使用するための専用リソースグループ

電力差(kw)(a)8月24日 (b)8月10日 (c)8月11日 (a)-(b)又は(a)-(c)

備考

999.0

101.2

102.4

(3.4) 噴霧停止

10109.7

105.1

104.2

4.6

11112.6

105.0

106.0

6.6

12115.7

107.9

105.9

7.8

13

119.4

106.7

108.4

11.0

14

119.5

106.0

106.7

12.8

15

115.6

109.2

106.6

6.4

16

111.0

102.5

106.6

4.4

17102.4

101.3

106.3

9時から16時まで合計(kw)extra を新設した．これは大学全体の消費電力が低くなる夕方から翌朝までの夜間 15 時間程度のみ縮退を解除して計算サービスを実施する仕組みであるが，今のところピーク電力のみがひっ迫した状態とはなっていないため，この機能は使用していない．

(3.9) 噴霧開始
50.2

通常電力を抑える取り組みとして，Type I の一

表 1 から，午前 9 時から午後 4 時までの電力差の合計は 50.2kw となっている．該当時間におけ部を縮退して運用できる．この取り組みは 2022
年 6 月から Type I をラック単位（384 ノード）でる節電効果を計算するため，1kw を 1kwh として最大 2 ラック分，合計 768 ノード分をスーパーコ換算すると，午前 9 時から午後 5 時までの 8 時間

ンピュータ「不老」全体の電力消費状況および利での節電効果は 50.2kwh と計算でき，2022 年 8用状況（稼働率）を考慮した上で，縮退して運用月の電気料単価（28.8 円/kwh）から 1,446 円のしている．縮退中は大規模ジョブが流れにくくな節電効果があったと評価できる．

るため，利用者には大規模ジョブ利用時は，セン以上から，節電効果の 1h あたりの平均は，ターに連絡をしてもらうようにお知らせして運用50.2kwh÷8h=6.3kwとなる．この効果が 24h 継続したと仮定するならば， 削減された消費電力は 1 日当たり，している．

5 おわりに

6.3kw×24h=151.2 kwh

本報告では，チラーの湧水噴霧システムについとなり，また，金額ベースではての仕組みを紹介し，節電の効果について評価を実施した．また，スーパーコンピュータ「不老」

151.2 kwh×28.8 円/kwh=4,354 円の消費電力を抑える取り組みについても紹介した．の節電効果があったと評価できる．
さらに，8 月の 1 ヶ月の場合と，7 月から 9 月の夏季期間 3 ヶ月の場合の節電効果を推定する．

湧水噴霧システムについては，節電効果を評価するため，噴霧装置の停止時と稼働時とでチラー装置のみの消費電力量を比較することによって評当然ながら天候も関係する可能性があるが，今回価した．その結果，以下が確認できた．

は，それぞれ日数を 31 日と 92 日として，試算す

１） 気温やシステム負荷によって消費電力は変動する．

る．その結果，２） 8 月 24 日の午前 9 時から午後 5 時までの 8

4,354 円×31 日=134,992 円 8 月 1 ヶ月

時間での節電効果の見積もりは 1,446 円．

4,354 円×92 日=400,623 円 夏季 3 ヶ月３） 夏季の 1 日 24 時間の節電効果の見積もりはの節電効果があると試算できる．

4,354 円．
本評価の実施において苦労した点を述べる．湧4 その他の消費電力を抑える取り組み

水噴霧システムの効果はチラー装置の外気温に影4.1 縮退運転機能響されると仮定した．そのため，外気温を自動でスーパーコンピュータ「不老」では，湧水の噴霧の他にもピーク電力を抑える取り組みや，通常電力を抑える取り組みを実施してきている．

測定し保存できるのが理想であるが，測定機器が手元になかったため，臨時に寒暖計を設置して測定値を得た．加えて，気象庁のデータから引用した気温を比較し，よく似た気温であることを確認

ピーク電力を抑える取り組みとしては，縮退用45した上で，チラー装置の外気温は気象庁のデータから引用した気温で代用することとした点である．
本評価では，晴れの日に湧水の噴霧を 8 時間停止し，そのデータをもとに 1 日 24 時間と 8 月 1ヶ月，および夏季期間 3 ヶ月の効果を評価した．
しかし，8 月 1 ヶ月，夏季期間 3 ヶ月の効果については，天候によって変わると想定される．そのため，今後の課題として，晴れ・曇り・雨などの天候ごとに湧水の噴霧を 24 時間停止し，そのデータをもとに評価することが挙げられる．

参考文献[1] 大島聡史，永井亨，片桐孝洋，スーパーコンピュータ「不老」のシステム構成と性能，大学 ITC 推進協議会 2020 年度年次大会 予稿集，
2020[2] スーパーコンピュータ「不老」システム構成
図, https://icts.nagoya-u.ac.jp/ja/sc/overview.html[3] 気象庁｜過去の気象データ検索
https://www.data.jma.go.jp/obd/stats/etrn/index.php[4] スーパーコンピュータ「不老」リソースグル
ープ一覧
http://www.icts.nagoya-u.ac.jp/ja/sc/resource_limits.ht
ml46