新スーパーコンピュータ導入に向けたデータセンター設備増強
寺前 勇希, 勝浦 裕貴, 木越 信一郎
大阪大学 情報推進部 情報基盤課 研究システム班
teramae-y@cmc.osaka-u.ac.jp

Expansion of data center facilities for SQUID
Yuki Teramae, Yuki Katsuura, Shinichiro Kigoshi
Department of Information and Communications Technology Services, Osaka Univ.

概要
大阪大学サイバーメディアセンターでは 2021 年 5 月より新スーパーコンピュータシステ
ム SQUID の運用を開始した。本システムの導入にあたっては、本センターの運用するデータセンターである IT コア棟の冷却設備・電源設備の増強が必要となった。本稿では、ITコア棟を紹介するとともに、設備増強についての検討内容および諸手続きを記す。

1

2.1 電源設備についてはじめに2019 年時点の電源設備を表 1 に示す。これらは大阪大学サイバーメディアセンター（以下、本IT コア棟１階の電気室に収容しており、2 階 UPSセンター）では、2021 年 5 月より新スーパーコン室に設置した分岐盤を経て、サーバ室内の各サーピュータシステム SQUID（Supercomputer for Quest

バに給電されている。本センターのスーパーコン

to Unsolved Interdisciplinary Datascience）の運用をピュータでは、主に三相三線 200V の電源設備を開始した。SQUID は、汎用 CPU ノード群、GPU使用している。利用状況を考慮すると、SQUID にノード群、ベクトルノード群、大容量ストレージ対しては約 2,100kVA の電源を使用できる計算でから構成され、総理論演算性能 16.591 PFLOPS をあった。

有するスーパーコンピュータである。旧システム

表 1

IT コア棟の電源設備(2019 年時点)である SX-ACE と比較すると、プロセッサの違い種別はあるものの、約 40 倍程度の性能となっている。

単相三線 200-100(V)300kVASQUID の導入にあたっては、目標とするシステ

三相三線 200(V)2,800kVA

ム規模に対応するため、システム調達と並行して、三相三線 400(V)500kVA

容量設置場所であるデータセンターの大幅な増強を行った。本稿では、その検討内容および学内の諸手続きについて記す。

22.2 冷却設備について2019 年時点の冷却設備を表 2 に示す。
表 2

IT コア棟について
本センターは、2014 年 12 月よりデータセンタ

種別ー施設「IT コア棟」を運用している[1]。IT コア棟には、スーパーコンピュータ向けの水冷・空冷設備を備えており、高効率な冷却が可能となってい水冷設備る。また、スーパーコンピュータだけでなく、学内の研究用・事務用サーバを集約設置することで、学内全体の省電力効果を図っている。本章では、
IT コア棟の電源設備および冷却設備とその運用状況について記載する。

115

空冷設備

IT コア棟の冷却設備(2019 年時点)
機器名称

台数

冷却能力
(1 台あたり)

ターボ冷凍機3台

703.3kw
200 冷凍トン

開放型冷却塔3台

798.8kw
200 冷凍トン

冷水式空調機5台

238kw
70,800 ㎥/h

間接気化冷却空調

2台

164kw
36,000 ㎥/h

ている機器である。

3 新システム導入の課題
表 3 は 2019 年時点の SQUID の調達スケジュールである。
表 3

SQUID 調達スケジュール(2019 年 9 月時点)

2018 年 5 月 8 日

導入説明会→各社から意見を受け

図1

延長を決定

IT コア棟 冷却の仕組み

水の流れは以下のとおりである。
1.

ターボ冷凍機によって冷水が生成される。
ターボ冷凍機内の冷媒は、屋外の開放型冷却塔から供給される冷却水で冷却される。

2.

冷水がスーパーコンピュータ本体に内蔵される水冷装置および冷水式空調機に供給される。

3.

冷水は水冷装置および冷水式空調機で熱を奪い、再びターボ冷凍機に戻る。

2019 年 6 月 4 日

導入説明会(2 回目)

2019 年 12 月 3 日

仕様書案説明会

2020 年 5 月 1 日

入札説明会

2020 年 7 月 29 日

開札

2021 年 2 月 1 日

稼働プロセッサやアクセラレータのロードマップを鑑み、スケジュールを延期している。2 度目となる 2019 年 6 月の導入説明会では、我々が目標とするシステム性能として以下を示した。
 計算ノード 2,000 ノード以上

風の流れは以下のとおりである。
1. 冷水式空調機は、冷水から冷風を生成し、IT コア棟のサーバ室全体へ供給する。
2. サーバ室内はホットアイルキャッピングされており、サーバから排出される暖気は、IT コア棟の風道を通って、屋上の間接気化冷却空調に供給される。
3. 間接気化冷却空調にて外気と気化熱による冷却を行った後、再び冷水式空調機に戻す[2]。
前述のとおり、IT コア棟にはスーパーコンピュータ以外にも、研究用・事務用のサーバを設置している。これらは大学運営に必要不可欠な人事給与および勤務管理システムを含んでおり、冷却設備については冗長性を持たせた運転が必要となる。
ターボ冷凍機および冷却塔は n+1 で運転することとなっており、IT コア棟としての冷却能力の限界は、1,407kw(ターボ冷凍機 2 台分)ということになる。このうち、約 17％程度(230kw 前後)を各種サーバの冷却に使用しており、n+1 運転を継続した
場合で 1,200kw 程度を SQUID に使用できる計算で

 演算性能 20 PFLOPS 以上 ストレージ 16PB 以上
これに対して、部分提案を含め計 15 社からシステムの提案・意見があった。内容をまとめると、
上記システムを導入するためには、以下の設備が不足していることがわかった。
1.

2,800kW 程度の冷却設備

2.

2,800kVA 程度の電源設備

3.

三相四線 415V の電源設備

導入説明書の時点では性能に対する予算感が十分に把握できておらず、暫定的な性能を記載したに過ぎない。しかしながら、設備側の制約が調達するシステムの性能に影響する事態は避ける必要があると考え、関係者間で検討した結果、開札となる 2020 年 7 月末までに冷却設備・電源設備の増強を行う方向で進めることとなった。また、
上記の要望のうち、3 については一部の企業からのみ要望されたものであるが、こちらも広く公平に調達を行うという観点から、2 と併せて配備する方向で検討することとなった。

4 電源設備の更新あった。
なお、これらの冷却設備は、配管などを除き、全て旧システムである SX-ACE の調達で導入されたものであり、日本電気株式会社からレンタルし116

電源設備の増設にあたって、2019 年 9 月に本学の施設部と、最初の打ち合わせを行った。あくまでスケジュールや予算、必要な手続きを確認する目的の場という認識であったが、担当者からは以IT コア棟において、既存のキュービクルは全て1 階の電気室に集約している。同室内では高圧ト下のように伝えられた。


4.2 設置場所について

三相四線 415V 3000kVA 規模の電源設備の増ランスの設置に必要なスペース約 30 ㎡分は確保

設には、容量に依存する面もあるが、最短で出来ないため、IT コア棟の他設備室や屋上、屋外も 12 ヶ月程度（設計に 4 ヶ月、入札手続きに駐車場といった場所を候補とし、施設部側で検討3 ヶ月、工事に 5 ヶ月）の期間が必要となるした結果、IT コア棟 2 階 UPS 室に設置することため、2020 年 8 月末の引き渡しとなる。となった。UPS 室はその名の通り無停電電源装置キュービクルの設置場所として、30 ㎡程度の（UPS）の設置を目的とする部屋であったが、現スペースが必要となる。

時点では分岐盤複数台とハウジングサービスを利想定していたよりもスケジュールに余裕が無いこ

用する他部局の UPS を１台設置しているのみであとが分かり、予算や設置場所を至急確保するととり、スペースとしては余裕のある状態であった。

もに、調達日程の見直しを行うことになった。

ただし、キュービクルの設置場所としては十分な設備を備えておらず、新規に機器搬入口と空調設4.1 増設する電源について備を設置することとなり、これに伴って既設の有電源容量を確認した結果、既存の高圧受電盤で圧換気扇の電線を再配置も必要となった。有圧換は容量が不足しており使用できないため、新規に気扇については、空調設備の設置に伴い不要とな高圧受電盤を用意することとなった。あわせて、るため、撤去することも選択肢として挙げられたより安定的な稼働を目指し、既存の高圧受電盤とが、空調設備がなんらかのトラブルで停止した場も接続し二重化することとした。

合の予備として引き続き使用することとした。

今回増設する電源は将来的な海外製大型機器対UPS 室内はフリーアクセスとなっており、壁面応も考慮しつつ、電気室とサーバ室間の配線本数に設置した既存の分岐盤からサーバ室までケーブを減らし、サーバ室内で単相 240V も取り出せるルを這わせている。このため、今回設置するキュことができる三相四線 415V を採用し、必要な電ービクルは架台で持ち上げ、設置することになっ源容量は 3,000kVA としたが、トランス構成やブレた。図 3 はキュービクルの搬入風景である。

ーカ盤構成については、事前に提案書を提出した各社に確認することとなった。その結果、500kVAの高圧トランス 6 台を設置することになった。また、以下の要望があり、それぞれ採用することとした。
混触防止板付きのトランス



内部の漏電検出機能の無いブレーカ（システムのフィルタ回路から流れるノイズ電流による誤作動を防ぐため）

今回採用した構成を図 2 に示す。
図3

IT コア棟 キュービクルの搬入風景

4.3 各種手続きおよび工事スケジュールについて電源増設についての学内の手続きおよび工事スケジュールは表 4 のとおりである。
表 4 電源設備増設スケジュール
2019 年 9 月
図2

施設部 経理係に対して、「設備工事依頼書」を提出。予算額とともトランス構成、ブレーカ盤構成に電源増設工事を依頼。

117

2019 年 10 月

耐荷重を調査し設置場所を決定

コア棟全体で余分なスペースがすでに少ないため、2019 年 11 月

各ベンダーから電源についての要

将来 UPS や今回のような電源設備を追加する必望をヒアリング

要がある場合、設置場所を再検討する必要がある。

設計業者および設計費用が決定

耐荷重に問題がなければ屋上、問題があれば駐車設計業者による現地調査の実施

場を潰して設置することになる。

2019 年 12 月

設置場所既設の UPS の情報確認
表 5 増設後の電源設備所有者と調整
2020 年 1 月

2020 年 2 月

電源増設工事作業に伴い、近隣施

種別

容量設含めた停電が発生することが判

単相三線 200-100(V)300kVA明。調整し停電日を 9 月 6 日と決

三相三線 200(V)2,800kVA

定

三相四線 415(V)3,000kVA

工事費用の概算金額を受領。

三相三線 400(V)500kVA

工事業者の入札
バッカン、資材置場の確保
設計図面の受領

5 冷却設備の更新

2020 年 3 月

工事業者の決定2020 年 4 月

工事費用が確定

5.1 既存冷却設備の買取について
2.2 項に記載した冷却設備は、2014 年に導入し仮設事務所の手配
2020 年 5 月

た SX-ACE とともに導入したものであり、日本電建築工事気株式会社よりレンタルしている機器である。前

電源機器製作2020 年 6 月

2020 年 7 月

述のとおり、IT コア棟のサーバ室全体を冷却する建築工事役割も担っているため、調達終了後は本センター電源設備工事が買い取ることとなっていた。この点は、仕様書電源機器製作

でも次のように明記しており、導入当初からその停電のアナウンスような想定であった。

電源設備工事2020 年 8 月

電源設備工事2020 年 9 月

IT コア棟および近隣施設の停電

8-6-4

本調達には、本システムの搬入、据付、配管、配線、調整、既存設備との接続、移行および工事完了

契約満了時ないし解約時の撤去を含むものとす
SQUID 自体は、当初 2020 年 8 月からの構築開る。ただし、8-2 電源設備と 8-3 空調設備は撤去

始および 2021 年 2 月からの稼働開始を予定してお対象から除き、借料期間終了後本学より買取を行り、電源の増設に間に合わない状態であったが、うものとする

仕様書案に対する各業者からの意見でも、製品ロ(平成 25 年 11 月スーパーコンピュータシステムードマップの都合で調達スケジュールを延期してほしい旨の意見があり、電源増設が終了した 2020年 10 月からの構築開始および 2021 年 5 月からの稼働開始となった。

調達 仕様書より)
既存の冷却設備については、2.2 項に示すとおりであるが、大学資産となる部分と日本電気株式会社からのレンタル部分は明確に分かれている。図4.4 増設後の電源設備と今後の課題
今回の増設を経て、IT コア棟の電源設備は表 5のとおりとなった。増設分を太字で示す。既設のトランス含めて、新設および既設の高圧受電盤両方に接続された状態となっており、有事の際は片系の高圧受電盤のみを使った運用も可能である。
今回、UPS 室を電気室に流用したことで、本来UPS を設置するためのスペースが失われた。IT118

4 の赤色部分に示すとおり、冷却塔およびターボ冷凍機、冷水式空調機、間接気化冷却空調といった大型の機器とそれらを監視・制御する中央監視盤は全て日本電気株式会社よりレンタルしている設備である。これらの機器が接続される冷水ヘッ
ダー(1 次、2 次部分)や配管、ポンプは本センター資産の設備となっている。

こととなっており、提案各社からは主に水冷設備の能力が不足しているとの意見があった。そこで、既存の冷却設備のうち、水冷設備であるターボ冷凍機および冷却塔を増設することとなった。前述のとおり、既存システムは n+1 かつローテーション運用を行っており、増設分についても既存の制御盤に接続の上、既存設備と連動することを想定図4していた。したがって、全く同じメーカ製のター

NEC からレンタルしている冷却設備ボ冷凍機/冷却塔を導入し、同じ業者に依頼し構今回の買取においては、日本電気株式会社と調整の上、全ての冷却設備を買取とせず、間接気化冷却空調については撤去することとした。2.2 に記述したとおり、間接気化冷却空調は、サーバ室から排出された暖気と外気の熱交換を行う装置であるため、外気温が一定以上になる場合に、冷却効果が小さくなる。この数年は 6 月頃から 10 月頃にかけて、担当教員の判断をもって当該機器を停止築・保守してもらうことを想定していたのだが、財務部からは競争性を働かせるため、通常の政府調達として進めてほしいと要望があり、そのように進めることになった。結果的には、既存冷却設備の受注者と同じく日本電気株式会社が落札し、当初の想定通り同じメーカ製のターボ冷凍機および冷却塔が導入された。調達手続きおよび導入スケジュールについて表 7 に示す。

する運用となっていた。今回、買取や保守に係る費用と実運用上の効果を考慮し、買取を行わず撤去することとなった。
既存冷却設備の買取について、調達業務を担う財務部と相談したところ、冷却設備は「政府調達随意契約」で対応し、その保守については「一般競争入札」で対応することとなった。前者について、学内の手続きおよび調達スケジュールを表 6に示す。

2019 年 11 月

仕様策定委員会の実施

2019 年 12 月

仕様書の提出
官報公告

2020 年 2 月

技術審査2020 年 3 月

開札2020 年 4 月

冷却設備の機器製作

見積りを受領2020 年 9 月

機器設置

2020 年 10 月

制御盤改造、試験作業完了

財務部と相談し、調達方針を決定
2019 年 10 月

仕様書、図面を作成（システム全体でカタログに相当するものが存

5.3 買取/増設された冷却設備と今後の課題
今回の買取/増設を経て、IT コア棟の冷却設備在しないため、これらで代用）
2019 年 11 月-

2020 年 1 月～2020 年 8 月

表 6 既存冷却設備買取スケジュール
2019 年 9 月

表 7 冷却設備増設スケジュール

随意契約理由書、導入業者の直接は表 8 のとおりとなった。増設分を太字で示す。

販売証明書を準備

表 8 増設後の冷却設備-

2019 年 12 月
2020 年 1 月

随意契約審査委員会の実施

種別2020 年 2 月

官報公示2020 年 3 月

契約締結

水冷設備

機器名称

台数

ターボ冷凍機4台

開放型冷却塔4台

冷水式空調機

5台

買取完了
空冷設備

5.3 冷却設備の増設について
SQUID は仕様書上、計算ノードの全てのプロセッサおよびアクセラレータを直接液冷で冷却する

119

冷却能力
(1 台あたり)703.3kw
200 冷凍トン
798.8kw
200 冷凍トン
238kw
70,800 ㎥/h

今回増設したものも含め、各機器は一定期間でのメンテナンスを必要とする。買取分については

すでに運用開始から 7 年程度経過しており、メー範疇を出るものではないのかもしれないが、カが推奨するタイミングとなりつつある。n+1 運

SQUID 本体の政府調達と並行して、電源増設工事用のため、障害が発生しない限りは運用に影響がの手配、既存冷却設備の保守、買取、増設の各種ない範囲で順番にメンテナンスが可能であるが、調達を一度に行い、通常の運用業務を行うことは、それなりに高額になるため、予算の確保や発注手なかなかに大変であった。

続き、運用面のすり合わせには、再び苦労するこ

今回の機器増設は着手から設置までいずれも 1年程度の時間を要した。施設の増強は総じて高額とが予想される。
また、これは設計上の課題であるが、当該冷却になり、それに伴って調達手続きも時間を要する

設備は IT コア棟全体で運用する想定となっておことになる。今後、設備増強を検討されている方り、風量や冷水流量を部分的な調整が出来ない。

は、機器のキャパシティや更新タイミングとあわIT コア棟では事務用のサーバ、ハウジング用サーせて調達に係るスケジュールや手続きを事前に確バ、水冷スパコンといった性質の異なるシステム認いただくことを強くお勧めする。

を設置しているため、細かく調整することでさらなる効率化が期待できる。次回以降のシステム入れ替えタイミングで、検討したい。

謝辞
普段よりサイバーメディアセンターIT コアの

6 新型コロナウイルス感染症対策について機器保守を担当いただき、設備増設にも尽力いた

2020 年度当初より国内で新型コロナウイルスにあたり、浅海電気株式会社の皆様、施設部の皆感染症が猛威をふるい、当センターでもアルコー様、財務部契約課の皆様には大変お世話になりまル消毒やテレワークといった対策をとることとなした。ありがとうございました。

った。今回の電源増設や冷却設備増設も 2020 年度に工事を行ったことから、少なくない影響があったため、参考まで本項に記載する。
両増設工事では作業員が使用する事務所兼休憩所を設置する必要があった。機器設置場所となる
IT コア棟は本センターの真隣であるため、本来であれば本センター内空き部屋の提供や、両工事共通の仮設事務所を設置することで対応できたと思われるが、仮設事務所内のソーシャルディスタンス確保や、会社間の接触を防ぐため、各工事用の仮設事務所を 1 箇所ずつ設置することとなった。
また、トイレについても本センターのものは使用せず、仮設事務所横にそれぞれ仮設トイレを設置することとなった。その結果、電源増設工事については本センター裏手の駐車場スペース 5 台分のスペースを、冷却設備増設工事については IT コア棟内 冷却塔横のスペースをそれぞれ使用することとなった。このような感染症予防対策を十分に行い、無事工期どおり増設工事を行うことができた。

7 おわりにここまで SQUID 導入にあたっての、設備増設について示した。いずれも、通常の調達手続きの120

だいた NEC フィールディング株式会社の皆様に感謝申し上げます。また、増設機器の設計・調達

参考文献[1] 森原一郎, 環境負荷軽減を目指して：サイバーメディアセンターIT コア棟, 生産と技術,第67 巻第 2 号, 2015 年 4 月．
[2] 伊達 進, 木戸善之, 寺前勇希, 木越信一郎,
大阪大学における新スーパーコンピュータサービス, 大学 ICT 推進協議会 2014 年度年次大会,2014 年 12 月.