大規模計算機における空調設備の再利用について
岩﨑 誠 1), 更科 高広 2), 吉川 浩 2) , 吉川 潤 2), 財原 昇平 2)1) 北海道大学総務企画部情報企画課 ICT 支援担当
2) 北海道大学総務企画部情報企画課 HPC システム運用担当
iwasaki@iic.hokudai.ac.jp

Reuse of Cooling System in Large-Scale Computers
Makoto Iwasaki , Takahiro Sarashina , Hiroshi Yoshikawa ,Jun Yoshikawa , Shohei Saihara
ICT Planning Division, General Affairs and Planning Department, Hokkaido University
概要
北海道大学情報基盤センターでは、2018 年に大規模計算機（学際大規模計算機システム）を更新した。一方、空調については一部の新設機器を除き、更新前に使用していた高効率な設備を再利用している。当初の設計とは異なる負荷（計算機）にて、空調の効率に変化があったかどうかを検証する。

はじめに

1

このような経緯から大規模な改修を伴って構築された空調設備（次頁図 1）は、新設の空冷チ

北海道大学情報基盤センターでは現在、スーラー（次頁図 2、計算機との間で循環する水をパーコンピュータやインタークラウド等からな冷却するための屋外装置）をスーパーコンピュる学際大規模計算機システムの資源を、研究支ータの冷却だけではなく、冷水式エアハンドリ援のため全国に提供している。これらの計算機

ングユニット（計算機室から戻った空気の温湿はシステム更新時に全てが入れ替えられるが、度を調整して再び送り出す装置）においても使空調設備についてはコストや再利用の可能性を用し、これがパッケージエアコンに取って代わ考慮して、一部のみを更新するのが基本的な流った（パッケージエアコンは冗長化のために残れとなっている。

された）。エアハンドリングユニットは外気を適

本稿では、計算機の更新後において、再利用度に取り込んだり、冬期はスーパーコンピューした空調設備が効率的に運用され、引き続き省タから戻った冷却水を外気で冷やしたり（空冷エネルギー対策に貢献しているかを確認する。

チラーの負荷低減のため）するなど、様々な運

2

空調設備について

2.1

2011 年 12 月の計算機システム更新時

転モードを設けている。稼働開始後も調整を行いながら、全体の動作を最適化していった。

それまで空冷式だったスーパーコンピュータは、発熱量が増大して水冷式に替わった。そのため、従来の空調設備は空冷用のパッケージエアコンのみであったが、空冷設備のほかに水冷設備も必要となった。全体的な空調のあり方を検討した結果、北海道の冷涼な気候を活用するべく外気も利用することが決まった。

空調設備のさまざまな施策が功を奏し、2012年度の PUE（計算機の消費電力量に対し、計算機と空調機を合わせた消費電力量が何倍であるか、すなわち 1 に近いほど高効率）は 1.22 に、2013 年度は 1.21 となった。このような省エネ
ルギー対策活動が評価されて、「第 6 回さっぽろ環境賞 地球温暖化対策部門 札幌市長賞」を受賞している。

図 1：学際大規模計算機システムと空調機の構成（2011 年 12 月当時）

2.2

2018 年 12 月の計算機システム更新時

その後の計算機の更新においても、水冷の計3計算機更新前後の比較

3.1

システム全体の消費電力

算機と空冷の計算機を併設する点は同様だが、ここからは、計算機更新前の 2012～2013 年

その内訳は大きく変化した。まず、スーパーコ

度と、更新後の 2019 年度におけるさまざまなンピュータの規模拡大に伴い、計算機室が拡張運用データを確認していく。

された。次に空調であるが、新たに屋外機を設システム全体の平均消費電力（次頁表 1-1）及置できる場所が限られ、大きな制約となった。

び計算機の平均消費電力（次頁表 1-2）は、各年既存の空調設備を再利用する事情も重なり、こ度においてそれほど大きな変化が無いようであれらを前提として構成の検討が進められた。そる。なお、2019 年度の前半が低い状態から始まの結果、スーパーコンピュータは計算機ユニッっている点については、計算機の更新から日がトとサーバラック背面ドアの 2 箇所において冷浅いために稼働率が低い状態であったことや、却水が必要であるため、新設の冷却塔（図 2）と省エネルギーのため一部の計算機に電源を投入

従来の水冷設備を各系統に割り振ることになっしていなかったことが理由として考えられる。

た。空冷の計算機があるため、エアハンドリンスーパーコンピュータの CPU 系統が変更になグユニットも引き続き使用している。

ったことも、運用初期の稼働率に影響している可能性がある。年度の後半になると消費電力が

図 2：空冷チラー（左）と冷却塔（右）高く推移し、更新前よりも計算機の規模が拡大していることが窺える。
その後、GPU を搭載した水冷の計算機が新設され、2019 年 12 月から運用を開始した。しかしながら、これは小規模なものであり、システ
ム全体における消費電力としては 1%程度の増加にとどまった。このため、影響はさほど大きくないと見て良いだろう。

表 2：空調機の平均消費電力（kW）

表 1-1：システム全体の平均消費電力（kW）

表 1-2：計算機の平均消費電力（kW）

3.3

PUE と外気温

最後に計算機の PUE（表 3-1）と、外気温（表3-2）の推移を確認する。外気温について、2012～2013 年度は札幌管区気象台（直線距離で 2km）のデータを使用し、2019 年度は計算機の設置場所となっているため、前者においては多少の誤差が含まれる可能性がある。
更新後である 2019 年度の PUE は、はじめのうちは悪化していたが、その後は空調設備の調整により改善したようであり、その状態が現在3.2

空調機の消費電力

次に、空調機の平均消費電力（表 2）を確認す

表 3-1：システムの PUEる。1 年を夏期と冬期に分けると、夏期（4 月から 11 月）は空調の効率が最も悪くなる夏をピークに、上昇または下降する傾向がはっきりしている。また、冬期（12 月から 3 月）は大きな変化が無く、効率の限界があるように見える。
さて、2019 年度の冬期は、空調機の消費電力が高めに推移している。エアハンドリングユニットの運転モードはさまざまな条件によって自動的に変更されるが、冬期にスーパーコンピュータから戻った水を外気で冷却する運転モードに移行せず、空冷チラーの負荷を低減できなかったことが原因として考えられる。まず、空冷の計算機等の数と消費電力が更新前より減ったこと等により、排気の温度が低下した。一方、排気の温度が一定以上であることを前提に空調設備が設計されていたため、期待する運転モードに変更されることがなかったようだ。

表 3-2：外気温（℃）

まで続いているところである。空調機の消費電

参考文献

力でも確認していたが、冬期の効率向上には限[1] 岩﨑誠，羽山広文，二渡直樹，情報基盤セン
ター北館における新空調システムの省エネ効
果，平成 24 年度国立大学法人等施設担当者サマーセミナー

界が存在することが、PUE 値の推移により改めて確認できた。

4[2] 気象庁 過去のデータ検索
https://www.data.jma.go.jp/obd/stats/etrn/

まとめ2011 年度の更新では、短期間で大規模な改修を行う必要があり、建築・設備・電気の作業が入り乱れることから、非常に綿密なスケジュールが組まれた。また、計算機内の巨大なデータを次期の計算機へ移行するため、サービス終了を待たずにバックアップを開始する等、運用面においても多数の課題が発生した。空調設備の調整作業も苦労したようである。その結果、高効率な計算機システムが実現し、運用のノウハウも蓄積されたものと考えている。
2018 年度の更新においては、前回ほどではないが、大きな制約の中で中規模な改修が必要で、様々な検討を行いながら一つずつ課題を解決するしかなかった。旧来の空調設備を使い続けることに懸念はあったが、大きな問題は発生しておらず、最低でも次の更新時までは安定動作することを切に願っている。
最後に、年度毎のデータを確認する（表 4）。
PUE で評価すると、更新前よりも空調の効率が悪化したことは確実なように見える。また、空調単体での消費電力は 10%程度の上昇とみられるが、システム全体から見れば 2%程度の上昇である。計算機や気候等の条件によって空調の効率が変化することや、2019 年度のはじめにPUE が悪化していたことを考慮すると、実際はそれほど悪化していない可能性がある。
表 4：年度毎の平均データ

2012年度 2013年度 2019年度
消費電力（全体）

517.5

550.9

533.1

消費電力（計算機）

425.5

454.7

428.2

消費電力（空調機）

91.9

96.1

104.9

PUE

1.22

1.21

1.24

外気温

9.38

9.44

10.65