三菱重工技報 Vol.59 No.4 (2022) カーボンニュートラル特集

技 術 論 文1

カーボンニュートラル達成に向けたデータセンターの省電力化
Data Center Power Savings to Achieve Carbon Neutrality

伸 英 *1

松 田 直 彦 *2

Nobuhide Hara

Naohiko Matsuda

磯 部 勇 介 *3

梶 谷 史 人 *4

Yusuke Isobe

Fumito Kajitani原

井 上 直 樹 *5

北 本 博 子 *5

Naoki Inoue

Hiroko Kitamoto

近年，デジタル化の進展に伴いデータセンターの整備が進められており，カーボンニュートラ
ルの潮流の中で IT 設備以外の消費電力を低減し，PUE（Power Usage Effectiveness）※を大幅に改善することは喫緊の課題となっている。このため三菱重工業株式会社（以下，当社）ではMEC（Multi-access Edge Computing）利用を想定した小型化かつ低 PUE を実現する液浸冷却装置を適用したコンテナ型データセンターの開発に参画し，Yokohama Hardtech Hub に設置し検証した結果，PUE：1.07 以下を達成した。今後はハイパースケールデータセンターを含め，全体を最適化するシステムを提案し，お客様のニーズに応えるべく開発を進めていく所存である。
※データセンターにおける総電力を IT 電力で除したもので，値が小さい程，省電力を実現できているといえる|1. はじめに世界のデジタル化の進展に伴い，2025 年のデータ量は 2010 年と比較し約 150 倍(1)に増大すると予測されており，データセンター等のデジタルインフラの整備が進められている。
世界の消費電力に占めるデータセンターの消費電力の推移を図１に示す。2018 年時点で総発電量の約１％に相当する電力をデータセンターが消費しており，2030 年には約８％まで増加すると予測されている。データセンターにおける電力消費量内訳を図２に示す。サーバに供される電力が最も多く 57%，冷却はサーバに次いで 31%である。このため，機器メーカとしてカーボンニュートラルを達成し，サステナブルな社会を実現するためには，冷却等に供される消費電力量を下げる取組みが必要となる。
一方，サーバのボード上に設置された CPU や GPU 等のチップについて，１チップ当たりの発熱量が 1 000W を超過するような製品が近い将来，市場に流通するといわれている。現行製品の例では，NVIDIA 社 GeForceRTX3090Ti は熱流束 700kW/m2 程度であるが，今後の発熱量増加に対応するには，冷却性能の向上が必要である。従来型のシステムではサーバ室を冷却し，チップ回りに空気を送風して冷却しているが，１チップ当たりの発熱量が 1 000W を超過する場合には，空冷方式では冷却能力が足りずにチップの許容温度を超えると想定される。そのため発熱部を集中的に冷却する局所冷却方式が採用されるケースが増えると予測される。局所冷却方式として，下記３方式の適用が検討されている。
(1) リアドア冷却システム
サーバラックのリア部に冷却コイルとファンを設置しラック内の空気を強制的に排気し，排気した空気を冷却コイルで冷却，空気を再循環して冷やすシステムである。
*1 総合研究所 伝熱研究部 主席研究員 技術士（機械部門） *2 総合研究所 伝熱研究部 主席研究員*3 カーボンニュートラル推進室 副室長，技術戦略推進室ビジネスインテリジェンス＆イノベーション部 主席部員 技術士（機械部門）*4 総合研究所 伝熱研究部 主席チーム統括*5 総合研究所 伝熱研究部

三菱重工技報 Vol.59 No.4 (2022)

2(2) ダイレクトチップ冷却
CPU や GPU の発熱部にコールドプレートと呼ばれる冷却デバイスを設置し，当該デバイスの冷却ジャケットに冷媒を供給する冷却方式である。供給される冷媒を単相（液体）のまま流動させて冷却する場合と，液体から気体に相変化（沸騰）させて冷却する場合がある。
(3) 液浸冷却
冷媒を貯留したタンクにサーバを浸漬させ，冷媒を循環して冷却する冷却方式である。ダイ
レクトチップ方式と同様に，供給される冷媒を単相（液体）のまま流動させて冷却する場合と，液体から気体に相変化させて冷却する場合がある。
本報では，当社グループのカーボンニュートラル社会達成に向けた取組みとして，現在開発中の液浸冷却装置を適用したコンテナ型データセンターの開発状況について説明する。

図１ 世界の消費電力に対するデータセンターの消費電力の推移予測
世界の消費電力に対するデータセンター消費電力の推移の予測を下記よりデータを引用し，筆者らが作図。
(1) 国立研究開発法人科学技術振興機構 低炭素社会戦略センター，情報化社会の進展がエネルギー消費に与える影響（Vol.4）－データセンター消費電力低減のための技術の可能性検討－，(2022)，表８より 2018年および 2030 年予測の As is ケースを引用。
(https://www.jst.go.jp/lcs/pdf/fy2021-pp-01.pdf)(2) 経済産業省 資源エネルギー庁ホームページ，【第 223-1-1】世界の電力消費量の推移より 2018 年の消費電力データを引用。データアクセス日：2022/08/18(https://www.enecho.meti.go.jp/about/whitepaper/2021/html/2-2-3.html)(3) 日本原子力産業協会 情報・コミュニケーション部，世界の地域別発電電力の見通し 2020 年版（WorldEnergy Outlook 2020, WEO2020）概要紹介（電力・原子力中心に）， (2020), p.19，2030 年の持続可能開発
シナリオケースを引用(https://www.jaif.or.jp/cms_admin/wp-content/uploads/2020/12/weo_2020)

図２ データセンターにおける電力消費内訳
データセンターにおける電力消費内訳を下記 IEA 分析資料データを引用し，筆者らが作図。
(https://www.iea.org/commentaries/data-centres-and-energy-from-global-headlines-to-local-headaches)

三菱重工技報 Vol.59 No.4 (2022)

3|2. コンテナ型データセンターの実証
2.1 実証の背景と概要
前述の通り，近年データセンターに搭載されるサーバには GPU を始めとする高集約及び高発熱のチップが搭載される傾向で，従来の空調空気を用いた冷却方式では排熱処理が追いつかない状況が顕在化している。
また，データセンターにおける電力消費は飛躍的に増加する傾向が予測される中，カーボンニュートラルの潮流も加わり，データセンター全体，特に IT 設備以外の消費電力を低減し，PUE を大幅に改善することは喫緊の課題となっている。
さらに，サーバ利用機会の増加に伴い，設備規模が急速に拡大，ハイパースケールと呼ばれる大規模なデータセンターの建設が進んでいるが，近い将来大規模需要地に近い適地（都市部）の不足も懸念されている。
こうした市場の背景の中，当社はサーバの単相（絶縁性液体であるオイル）による液浸冷却方式と，その液体を外気によって除熱するフリークーリングの組合せに着目し，KDDI 株式会社，
NEC ネッツエスアイ株式会社と共に，将来の MEC 利用を想定した小型化かつ低 PUE を実現するコンテナ型データセンターの開発及び実証に参画した。
本報で採用した冷却方式と機器構成は図３の通りである。熱伝達率が気体（空気）より高い液体（オイル）を使用することにより，従来型の一般空冷方式と比較しサーバの雰囲気温度を高く保持できるため，例えば 40℃を超える外気で冷却することが可能となる。これにより，低温冷水を生み出すヒートポンプチラーを原則必要とせず，チラー内部の冷媒圧縮動力分の PUE 低減が可能となることが最大の特長である。
当社は主に，外気冷却装置の開発と試作，液浸冷却システム及びこれらを内包するコンテナの設計と構築を担い，当社が持つ冷熱機器の冷却設計や発電プラントで培った配置・空間設計の知見とノウハウを活かし，エネルギー需要側の視点から技術的解決に取り組んだ。

図３ サーバ冷却方式

2.2 実証における当社の役割実証を実施するに当たり，各社で自社技術及び製品を持ち寄りコンテナ型データセンターの実証機を製作した。当社は主に下記２項目について役割を担い，実機の試作検証に寄与している。
(1) フリークーリング装置（ラジエータ）
サーバを冷却するオイルと熱交換した冷却水の熱を外気によって除熱する機構としてフリークーリング（ラジエータ）方式を採用し，フリークーリングの周辺機器を含め，当社が持つ冷熱機器の設計を応用して製作した。製作に当たっては，液浸冷却システム全体として PUE の低減を狙うと共に，日本の気候，特に夏季への対応として，フリークーリング装置（ラジエータ）に大面

三菱重工技報 Vol.59 No.4 (2022)

4積のフィン&チューブ熱交換器を適用することで，外気最高温度：42℃においてもサーバを冷却できる設計とした。これにより，高温の環境においても PUE 値を極力低く抑えることに貢献している。なお，データセンターで求められる冗長性については，ＭＥＣのネットワークで確保（複数のコンテナでデータ処理を担保）できるものと想定し，本実証ではコンテナ単体での冗長性は検証していない。
(2) コンテナ製作
従来のサーバ冷却方式においても，データセンターの機能一式を 20 フィートコンテナ等に収納した事例はあるが，MEC を想定し極力小さなフットプリント（設置面積）を目指し，計 50kVA相当のサーバ容量を搭載しつつ 12 フィートコンテナに全ての機能を収納することに成功したことが，本実証の特徴である。また，サーバのメンテナンスを考慮し，サーバの搬出入作業も容易に行えるように，人と動線と各室の換気を考慮し，機器配置設計を行っている。特に配置上工夫した点は下記の通りである。
・角部のデッドスペースをサーバ室と共有することによるファシリティ室空間の最小化
・フリークーリング装置（ラジエータ）用ファンの小型化
・フリークーリング装置（ラジエータ）用熱交換器とパネルドアとの一体化
・サーバ室とファシリティ室の排風口の集約
・サーバの搬出入等液浸装置のメンテナンス動作スペースと作業員動線の考慮
コンテナ型データセンターの概略の構造を図４に示す。

図４ コンテナ型データセンター構造

2.3 実証試験内容と結果
前節で述べたコンテナ型データセンターの実証機を，当社横浜製作所の本牧工場内にある共創施設：Yokohama Hardtech Hub に設置，据付けし，合計 24U/50kVA 相当のサーバなどの IT機器と液浸冷却システム装置を稼働させる実証を行った。設置された様子を図５に示す。なお，コンテナ型のため現地における据付け及び電源接続工事は１日で実施している。
据付け後，試験のための各種設定を経て，サーバの冷却性能の確認及び一定期間におけるPUE の計測を行い，約８ヶ月間に渡って検証した。主要な検証内容は次のとおりである。
(1) 熱除去性能の検証
液浸装置内にサーバを想定した計 50kVA の電気ヒータを設置し，液浸冷却システムに同出力の熱負荷を与え，図６のとおり，サーバ部→CDU（Coolant Distribution Unit）部→フリークーリング（ラジエータ）部→外気へと熱が移動できることを検証した。この結果，計 50kVA のサーバ熱を外気へ全量逃がし，オイル温度がサーバ耐熱の限界温度以下となることを確認し，液浸冷三菱重工技報 Vol.59 No.4 (2022)

5

却システム全体が健全に稼働することを検証した。
(2) 省電力運転（低 PUE 稼働）の検証
Yokohama Hardtech Hub の屋外環境下で，実サーバと電気ヒータにより計 50kVA の発熱体を液浸装置内に装備し，模擬演算の処理を行った際の各種消費電力を実測した。この結果，
計画時の目標 PUE 値：1.1 以下に対し，PUE：1.07 以下を達成した。PUE 値の測定は複数回試験を行い再現性も確認している。
当該試験では，オイル温度が適正範囲となるように，オイル流量を制御している。またロバス
ト性を確保するため，ラジエータの伝熱面積を大きく確保しており，オイル温度と外気温度との差がほぼ一定と出来るため，空気風量やクーラント流量の大幅な変更は必要なく，PUE 値も通年で一定になると予測される。更なる改善代として，外気温度が低い場合には，冷却機器の出力を積極的に制御，調整することにより，PUE 値を更に低減させる運用も可能と考えられる。コ
ンテナ型データセンターの商用化を見据えては，図７に示すとおり，環境条件及び使用者の運用方針に従って複数のモードを設け，より使用性の高い液浸冷却システムを目指していく。オ
イル温度優先モードは，流体流量を一定条件で流動させるため，年間を通じて PUE はほぼ一定となる。PUE（省電力）優先モードはオイル温度を許容範囲の最大温度に設定するもので，外気温に応じて，流体流量を制御する（例えば外気温が低い場合は空気流量を少なくすることが可能）ため，より低い PUE の実現が可能となる。

図５ Yokohama Hardtech Hub に設置した実証機

図６ 熱除去試験における温度マップ

三菱重工技報 Vol.59 No.4 (2022)

6

図７ 液浸冷却システムに適した制御モード

2.4 液浸冷却システムの展開
今回の実証では，単相による液浸冷却方式とフリークーリングの組合せに着目し，データセンターにおいて可能な限りの PUE 低減を実現した。また，将来の MEC 利用を視野に入れ，データセンターの機能一式を 12 フィートの小型コンテナに収納し，実機による使用性の確認も行った。
前述したように液浸冷却システムで PUE 低減のために外気温に応じ，各使用流体の流量を制御する技術は，コンテナ型データセンターに限らず，ハイパースケールを含む全てのデータセンターに適用可能な技術である。今後は，ハイパースケールのデータセンターに向けた液浸冷却システムの水平展開を目指し，安定性，冗長性及び高可用性の検証を行った上で，同技術の商用導入を具現化していく。
また，コンテナ型データセンターに向けても MEC 利用の市場が立ち上がり次第，直ぐに社会実装が可能となる様，データセンターで要求される冗長性に加えて，更なる機能及び使用性の高度化を図っていく所存である。

|3. 今後の展望
ハイパースケールのデータセンター構成設備概要を図８に示す。発電機，UPS，サーバラック，冷却用機器，それらを制御するソフトウェア等の各種技術ならびに，それらを統合することが必要とされており，データセンターの構成機器は当社グループと関係する製品も多い。また，電源に再生可能エネルギーを用いることも可能である。今後もデータセンターの電力需要が更に高まると予測されるため，全体を最適化し，低 PUE を実現しカーボンニュートラルの達成に貢献するデータセンターを実現すべく開発を進めていく所存である。

三菱重工技報 Vol.59 No.4 (2022)

7

図８ データセンターの構成設備概要
データセンターの構成概要図を示す。発電機，UPS，サーバラック，空調機，冷却器，それらを制御するソフトウェア等，各種の技術が必要であり，当社と関係する製品も多く含まれている。

参考文献(1) United States International Trade Commission, Data Centers Around the World: A Quick Look, (2022)(https://www.usitc.gov/publications/332/executive_briefings/ebot_data_centers_around_the_world.pdf)(2) Techpowerup 社ホームページ（https://www.techpowerup.com/gpu-specs/geforce-rtx-3090-ti.c3829）