スーパーコンピュータ「不老」の湧水噴霧による節電効果の再評価
山田 一成 1), 田島 嘉則 1) ,高橋 一郎 1),林 秀和 1) ,片桐 孝洋 2), 大島 聡史 2) ,星野 哲也 2) , 永井 亨 2)
1) 東海国立大学機構 情報環境部 情報システム運用課
2) 名古屋大学 情報基盤センター 大規模計算支援環境研究部門
yamada@itc.nagoya-u.ac.jp

Revaluation of power saving effect by spraying spring water with
Supercomputer “Flow”
Kazunari Yamada 1),Yoshinori Tajima 1), Ichiro Takahashi 1), Hidekazu Hayashi1) ,Takahiro Katagiri 2) , Satoshi Ohshima 2) ,Tetsuya Hoshino 2) , Toru Nagai 2)
1) Information System Operations Division,Information Technology Department,Tokai National Higher
Education and Research System
2) High Performance Computing Division, Information Technology Center, Nagoya University
概要
名古屋大学情報基盤センターのスーパーコンピュータ「不老」は 2020 年 7 月から運用を開始して３年ほど経った．このシステムには情報基盤センターの 地下の湧水を利用して冷却設備の一部を冷却するシステムが組み込まれている．その湧水を利用したシステム
における節電効果について，昨年に続き評価を実施したので報告するとともに，スーパーコンピュータ「不老」の電力事情についても紹介する．

1

る．

はじめに
名古屋大学情報基盤センター（以下，センター）が 2020 年 7 月より運用を開始した，スーパーコン2導入されたシステムについて

2.1 スーパーコンピュータ「不老」の概要

ピュータ「不老」は，4 つの計算サブシステムとセンターに導入されているスーパーコンピュ大容量のストレージ群，可視化システムなどが高ータ「不老」は前回，先にも述べたように主に４速ネットワークによって接続された複合システム

つの計算サブシステムと共有ストレージ群などでである．この 4 つのシステムのうち冷却設備が水構成されている．これらのシステム構成図を図１

冷方式である 2 つのシステムが使用している冷却に示す．

水循環装置（以下，チラー）が屋外に設置されてType I サブシステム（以下 Type I）としている．このチラーは年間を通して稼動している．

FUJITSU PRIMEHPC FX1000 を導入し，総主記憶2022 年以降，全国的に電気料金が上昇傾向にあ

容 量 72TiB ， 総 演 算 性 能 は 2,304 ノ ー ド でり，本学も同じ状況のため，スーパーコンピュー7.782PFLOPS で，複数ノードを利用して大規模計

タ「不老」の運用にも影響が出かねない状況とな算などに利用されている．っている．そのため運用担当者としては節電意識Type II サブシステム（以下 Type II）としてが高まっており，スーパーコンピュータ「不老」

FUJITSU PRIMERGY CX2570M5 を導入している．の消費電力，特に夏季の消費電力を抑えるために

このシステムの総ノード数は 221 ノードで，総主導入したチラーの湧水噴霧システムについての仕記憶容量 82.875TiB，総演算性能は，7.489 PFLOPS組みや，節電の効果について，昨年，評価を実施となっている．このシステムは１ノードにつき[1]（以下，前回）した．今回は，前回より噴霧装

NVIDIA Tesla V100 を４台と 6.4TB の SSD を搭載

置の停止時間を長くする機会を得たので再度，節しており，機械学習や AI などの新たな研究分野の電の効果について評価するとともに，スーパーコ研究者に利用されている．

ンピュータ「不老」の電力事情についても紹介す67

図１ システム構成図
Type III サブシステム（以下，Type III）としてその他に８K のタイルドディスプレイ，オンサHPE Superdome Flex が導入され，総ノード数は 2

イト端末，画像処理装置を導入しており，利用者ノードで，総主記憶容量は 48TiB で 1 ノード当たであれば誰でも利用することができる．なおスーり 24TiB の大容量メモリと 51.2TB の SSD の利用

パーコンピュータ「不老」の詳細な構成や性能にが可能で，総演算性能は 77.414 TPLOPS である．

ついては[2][3]で詳しく紹介している．

Type III は大容量メモリを使用する可視化処理のプリポストサーバとして利用され，可視化システ
ムと連携利用されている．

2.2 冷却設備の概要
スーパーコンピュータ「不老」の冷却設備の構クラウドシステムはノード数が 100 ノードで，リソースの予約システムである UNCAI も導入されており，システムの一部のノードを予約により利用が可能となっている．

成図を図 2 に，冷却設備の屋外設備写真を図３に示す．
図２に示す様に，各計算サブシステムの冷却方

またこれら４つの計算サブシステムから利用可

法は Type I は水冷方式，Type II は空冷・水冷ハ

能な共有ストレージシステムがあるが，従来のハイブリッド方式，屋外設備のチラーは空冷方式，ードディスクであるホットストレージの他に，光その他のシステムは空冷方式となっている．またディスクライブラリーであるコールドストレージ

新たな試みとして，センター地下に湧き出していも導入している．ホットストレージの総実効容量る湧水をチラーの冷却に利用している．センターは，30.44 PB である．またコールドストレージはシステム 2 段階導入しており，運用開始時点のフの湧水は年間通して 18℃前後で毎分 30L 程度のェーズⅠでは総物理容量は 484 TB，2021 年 2 月よ水量が湧き出してセンター地下の釜場に溜まってりフェーズⅡとして，総物理容量が 6 TB に増強さおり，一定の水位になるとポンプでくみ上げ排水れている．なおコールドストレージ内の最大搭載溝に流している．排水溝に流している湧水の写真

容量は 10.89PB となっており，利用者が光ディスを図４に示す．この湧水を冷却装置に利用し消費クカートリッジを持ち込むことができる．

電力を抑えることができないかと考え，今回導入68図 2 冷却設備構成図

したシステム仕様に盛り込んだ．現在，センター南側に設置されている冷却設備のチラーに，気温が 22℃以上になった時，自動で湧水を噴霧しチラー及びその周辺温度を下げている．チラーに湧水を噴霧している状況の写真を図５に示す．これにより特に夏季（7 月～9 月）期間のチラーの消費電力の削減が期待できる．今回も前回同様，この湧水噴霧システムがどのくらい効果があり消費電力を削減することができているかを検証した．

図４ 排水溝に流している湧水

図５ チラーに湧水を噴霧する様子

図３ 冷却設備の屋外設備写真69

3 湧水噴霧による効果から探し，噴霧装置稼働日時とした．

3.1 測定方法

・噴霧装置停止日時と噴霧装置稼働日時のチラー

前回は，晴れの日に湧水の噴霧を 8 時間停止の消費電力を比較・検証した．

し，そのデータをもとに 1 日（24 時間）及び夏季（7 月から 9 月）期間 1 ヶ月間と 3 ヶ月間の効果を評価したが，1 ヶ月間と 3 ヶ月間の効果については，天候などの気象条件によって変わると思われる．そのため，晴れ・曇り・雨などの天候ごとに湧水の噴霧を 24 時間停止し，そのデータをもとに調査したいと考えた．そこで今回は，晴れの日と雨の日に湧水の噴霧を 24 時間停止し調査することにしたが後ほど述べる理由により，晴れの日のみの調査となった．
今回チラーへの湧水噴霧による節電効果を評価する検証方法は，前回同様，噴霧装置の停止時と稼働時とでチラー装置のみの消費電力量を比較することによって評価した．なお，チラーの湧水噴霧システムは，気温 22 度以上になると自動で噴霧し，気温 21 度未満になると自動で停止する仕様と

図６ チラー周辺の様子
3.1.2 測定日
【晴れ】
梅雨明け後，１週間程度は天候が安定すると思われるため，次の連続する 2 日間とした．
・噴霧装置停止日時：2023 年 7 月 27 日 17 時～
2023 年 7 月 28 日 16 時なっている．

最低気温 26.3℃
最高気温 35.8℃

3.1.1 晴れ・雨共通測定方法
・噴霧装置の効果は天候や気温，特にチラー装置・噴霧装置稼働日時：2023 年 7 月 26 日 17 時～の外部の気温（以下，外気温）に影響されると予2023 年 7 月 27 日 16 時

想し，噴霧装置停止日時を決定した．

最低気温 26.9℃

・消費電力の測定は，システム仕様内の「中央電最高気温 37.6℃子（株）製の環境監視システム」の計測データを【雨】
名古屋地方に台風が接近し，終日雨と思われた利用した．
・チラー周辺の外気温は，気象庁の「過去の気象

2023 年 8 月中旬を噴霧装置停止日時として予定しデータ検索」[4]愛知県，名古屋市（以下，気象たが，本学休日のため噴霧装置を操作することが庁）とよく似た気温であることが，前回，分かっできず，測定ができなかった．口頭発表時までにた[1]ことから，チラー周辺の外気温は気象庁のデ測定できることを期待したい．

ータを利用することにした．また，チラー周辺の晴れ・雨といった天候についても気象庁のデータを利用することにした．チラー周辺の様子を図６に示す．
・節電効果を比較する目的で「噴霧装置が稼働していた日」として，噴霧装置停止日時の最高気温と最低気温と気温の変化がよく似た別日を気象庁

70

3.2 測定結果
気象庁のデータから引用した噴霧装置稼働日時と噴霧装置停止日時の気温を図 7 に，湿度を図 8に示す．
この気温推移でチラー装置の消費電力を測定した結果を図９に示す．

日時の 13 時から 16 時にかけて，消費電力が下降傾向であるが，噴霧装置稼働日時は逆に少し上昇傾向である．そのため，図 7 の気温の推移とは相違している．この原因は各システム（Type I，TypeII）の稼働率の違いと考えた．そこで稼働率が上がれば消費電力も上昇することから，前回同様，噴霧装置稼働日時と噴霧装置停止日時の各システ
ム単体（Type I，Type II）の消費電力を調査する
ことにより，日ごと，時間ごとの消費電力を計算機負荷として比較することにした．また，スーパ

図 7 気温の推移

ーコンピュータ「不老」は納入時の仕様により，Type I の冷却における水冷と空冷の比率は 9：1，
Type II の冷却における水冷と空冷の比率は58.7：41.3 となっている．この比率は，計算機負荷及びその他条件によっても変動するが，前回同様，一律に係数として Type I は 0.9，Type II は0.587 を消費電力に乗算して比較した．
各システム（Type I，Type II）の消費電力に係数を乗算した後合計した，噴霧装置稼働日時と噴霧装置停止日時の日ごと，時間ごとの計算機負荷の推移を図 10 に示す．

図 8 湿度の推移

図 10 計算機負荷の推移
図 9 チラーの消費電力の推移
図 10 から分かるように噴霧装置停止日時の 13
図 7 と図 8 から分かるように噴霧装置稼働日時

時から 16 時にかけて計算機負荷が下降していると噴霧装置停止日時の気温推移はよく似ている．

ため，チラーの消費電力も下降したと思われる．

湿度についても両者はよく似た推移となっている．

また，噴霧装置停止日時の 6 時から 13 時は，噴霧

図 9 から分かるようにチラーの消費電力は概ね装置稼働日時より計算機負荷が高くなっているこ

全時間帯において図 7 の気温の推移とよく似た消とが分かる．さらに，20 時から 6 時の計算機負荷費電力の推移となっている． また，噴霧装置停止

はどちらもよく似た計算機負荷であったことが分71

表 1 電力差

かる．
時間

3.3 評価
前回の測定結果同様，今回も次の内容が認めら

チラー電力(Kw)

稼働日時(a)

停止日時(b)

電力差(Kw)(b)-(a)17103.3

117.7

14.4

1895.6

113.1

17.5

れた．

1990.6106.5

15.9１） 気温が高ければチラーの消費電力も高くなっ

2091.4

98.3

6.9ていることから，チラーの消費電力は気温に

21

88.2

98.2

10.0

2290.194.7

4.6

2387.695.0

7.4

2488.5

92.7

4.2

1

87.3

95.8

8.5

影響されることが認められた．
２） 計算機の消費電力が高ければチラーの消費電力も高くなっていることから，チラーの消費電力は計算機負荷に影響されることが認められた．

289.1

91.5

2.4

3

83.8

89.6

5.8484.987.82.9３） 噴霧装置停止日時は，チラーの消費電力が増

583.4

89.0

5.6

加し，気温推移とよく似た推移となったこと

682.1

89.9

7.8

783.7

99.7

16.0

から，湧水噴霧システムの節電効果は一定程

885.2

103.6

18.4

度認められた．

988.6

107.4

18.8

1090.9

111.9

21.0

湧水噴霧システムによる節電効果は一定程度認められたが，噴霧装置停止日時と噴霧装置稼働日時でどのくらい効果があったかを評価してみた．
図 9 のチラーの消費電力の噴霧装置停止日時と噴霧装置稼働日時の電力差を表 1 に示す．赤文字の数値はマイナスである．
表 1 から，電力差の合計は，236.9kw となっている．該当時間における節電効果を計算するため，1kw を 1kwh とすると，24 時間での節電効果は236.9kwh と計算でき，前回の評価時単価（2022年 8 月の電気料単価）28.8 円/kwh から1194.9

116.6

21.7

12104.1

119.1

15.0

13109.0

120.1

11.1

14108.1

115.0

6.9

15108.9

110.1

1.2

16113.1

106.0

-7.1

合計(Kw)

20時～6時合計(Kw)

236.9

66.1

計算機負荷であった 20 時から 6 時の 8 時間分のチラーの電力差(表 1 の水色部分の時間)を元に 8時間及び 24 時間での節電効果を再計算した結果，66.1kw/h×28.8 円/kwh=1,903.7 円 8 時間

236.9 kw/h×28.8 円/kwh=6,822.7 円

66.1kw/h×3×28.8 円/kwh=5,711.0 円 24 時間の節電効果があったと計算できる．
前回の 8 時間を元にした 24 時間では，4,354.6 円と評価した．この 24 時間での値を用いて 8 月の 1と評価しており，前回の 1.57 倍となった．この点ヶ月の場合と，7 月から 9 月の夏季期間 3 ヶ月のについては，図 10 から分かるように噴霧装置停止

場合を，天候も関係すると思われるが前回同様，日時の 6 時から 13 時は，噴霧装置稼働日時より計それぞれ日数を 31 日と 92 日として試算してみた．

算機負荷が高くなっており，チラーの消費電力も増えたことも要因と思われる．そのため，今回は，5,711.0 円×31 日=177,041.0 円 8 月 1 ヶ月

噴霧装置停止日時と噴霧装置稼働日時がよく似た

5,711.0 円×92 日=525,412.0 円 夏季 3 ヶ月の節電効果があると試算した．

72

4 スーパーコンピュータ「不老」の電力

るが電気料金は受益者負担の観点から利用者から事情の利用負担金にて賄われている．そのため，電気4.1 電力事情

料金が値上がりすれば運用に影響が出ることにな

スーパーコンピュータ「不老」は 2020 年 7 月

る．図 11 にスーパーコンピュータ「不老」運用開より運用を開始したが，2022 年以降，全国的に電始月の電気料金を 100 とした場合の各月の割合

気料金が上昇傾向になり，本学も同じ状況のため，(%)を示す．

スーパーコンピュータ「不老」の運用にも影響が2020 年 7 月稼働以降，順調に運用していたが，出かねない状況となっている．スーパーコンピュ

2022 年 4 月以降電力料金が上昇傾向となった．そータ「不老」の借料は，国から費用が賄われていのため，様々な対策をおこなった．

図 11 スーパーコンピュータ「不老」運用開始月の電気料金を 100 とした場合の各月の割合(％)① 2022 年 6 月

Type I の縮退運転（約 1/3 停止）

開始④ 2023 年 4 月

Type II 縮退運転（約 20%停止）

開始② 2022 年 11 月 Type I の TCS を使って，ノードが利用されていない(実行していない）時にパーコンピュータ「不老」全体の電力消費状況及

クロックを下げる機能を有効化．
③ 2023 年 1 月
10,000 円で負担金規定を改定

び利用状況を考慮し縮退して運用している．縮退

10,000 ポイント利用可能

中は大規模ジョブが流れにくくなるため，利用者には大規模ジョブ利用時は，センターに連絡をしから10,000 円で2022 年 6 月の Type I 縮退運転開始以降，スー6,500 ポイント利用可能に改定．

73てもらうようにお知らせして運用している．

5 おわりに[2] 大島聡史，永井亨，片桐孝洋，スーパーコ

今回，前回に続きチラーの湧水噴霧システムについての仕組みや，節電の効果について評価を実施した．また，スーパーコンピュータ「不老」の電力事情についても紹介した．
湧水噴霧システムについては，節電効果を評価するため，噴霧装置の停止時と稼働時とでチラー装置のみの消費電力量を比較することによって評価した．前回は，噴霧装置の停止時間は 8 時間であったが，今回はデータの正確性を考慮し 24 時間停止して評価した．その結果，
１） 気温やシステム負荷によってチラーの消費電力は変動することがデータにより再度確認ができた．
２） 噴霧装置稼働日時の 8 時間での節電効果は1,903 円であった．
３） 1 日 24 時間の節電効果は，5,711 円であった．
４） 噴霧装置停止日時と噴霧装置稼働日時のよく似た計算機負荷であった 20 時から 6 時の 8時間分のチラーの電力差を元に節電効果を評価したため，前回より正確性の高い値であると考えられる．
また，苦労した点としては，晴れの日と雨の日に湧水の噴霧を 24 時間停止して調査することにしたが，晴れの日については，経験上，梅雨明け後 1 週間程度は夕立もなく，天候が安定することが多いため，その１週間にターゲットを絞り測定を実施した．しかし，雨の日については，24 時間雨の日の予想は難しく，台風接近時にデータを取得しようとしたが，本学休日のため噴霧装置を操作することができず，測定ができなかった．この点について，今後の課題としたい．

謝辞
今回，湧水噴霧の評価のためアドバイスを頂いた名古屋大学

河合直聡特任助教，また，対応して頂いた情報システム運用課の職員の方々に感謝いたします．

参考文献[1] 山田一成，田島嘉則，髙橋一郎，林秀和，片桐孝広，大島聡史，永井亨，スーパーコンピ
ュータ「不老」の湧水噴霧による節電効果の評価，大学 ITC 推進協議会 2022 年度年次大会 予稿集，202274

ンピュータ「不老」のシステム構成と性能，
大学 ITC 推進協議会 2020 年度年次大会 予稿集，2020[3] スーパーコンピュータ「不老」システム構成
図, https://icts.nagoya-u.ac.jp/ja/sc/overview.html[4] 気象庁｜過去の気象データ検索
https://www.data.jma.go.jp/obd/stats/etrn/index.php[5] スーパーコンピュータ「不老」リソースグル
ープ一覧
http://www.icts.nagoya-u.ac.jp/ja/sc/resource_limits.ht
ml