1

データセンター内のサーバーを液体冷却冷却電力の94%減を達成
KDDI株式会社 ソリューション事業本部 DX推進本部 プラットフォーム技術部

コアスタッフ 谷岡 功基

2023年6月23日© 2023 KDDI2

１．背景と実施構成
２．実証実験内容
３．今後の取り組み© 2023 KDDI3

１．背景と実施構成© 2023 KDDI

液浸データセンター実証実験（PoC）の目的

4

KDDIは 地球を次の世代に引き継ぐことができるよう、地球環境保護を推進することがグローバル企業としての重要な責務であるととらえ、サステナブルな地球の実現ために取り組んでいます。
[ SDGs活動方針 ]地球環境の保全エネルギー効率の向上とゼロエミッションの達成[ 長期計画 ]KDDI GREEN PLAN 2030
循環型社会の形成

気候変動対策

生物多様性保全[ 具体的な取り組み ]液浸データセンター PoC の立ち上げ

国内技術で世界の電力課題へ挑戦
低PUE値を導き出す© 2023 KDDI

市場への普及活動を推進する

データセンター（DC）での現状と課題
As Is

場所

クラウド設備含めDC需要が高まりサーバー設備規模が急速に拡大

5

To Be
冷却方式に液浸冷却技術を活用

DC供給が追いついていない
恒常的に立架スペース不足が発生

設備利用の増加に加え高い電力削減要求
電力
既存DCの電力不足
PUE値の改善要求

GPUサーバーのような高集約/高発熱の機器需要が増加
排熱© 2023 KDDI

空冷での冷却限界
排熱能力が満たせない給電能力の低い既存のデータセンター/ネットワークセンターを活用し、高消費電力/高発熱のサーバーを導入可能とすることで、社会が抱えているエネルギー問題を、消費する立場から技術的解決に取り組む

実証実験の歴史© 2023 KDDI6

液浸データセンターPoC Phase3の目的

7

Our Goal

持続可能な社会への貢献実現に向けた次世代DCを構成する 環境配慮型の 省電力サーバー運用システム 実現
KDDI、三菱重工、NECネッツエスアイが、業界の枠を超えてそれぞれの強みを持ち寄り•••

3社協賛実証による 液浸システム の製品化実現
3社協賛を最大化した社会実装サプライチェーンの構築
ファシリティ×エネルギーの環境配慮マネジメントへの融合研究

液浸DC PoC Phase3連携・協賛で実運用ステージへ省電力サーバー運用システム提供

液浸冷却技術を活用した液浸システムのアセット確立

Phase2から培った液浸システムの事業化と市場展開、実運用へお客さまの付加価値を最大化するソリューション

KDDI

三菱重工

分散型エネルギー基盤

連携・協賛

NECネッツエスアイ© 2023 KDDI

ゼロカーボン・CO2削減を推進する基盤として大型DCにおける使用エネルギーの削減に寄与し効率的にマネジメントする仕組みを統合提供

持続可能な社会への貢献

Phase3での主要項目

8

基本方針

液浸システムの高い冷却効率の立証

高可用性の液浸システムを具現化し成立性と安定性の検証
国内での導入・保守対応の目途をつける
なにをするのか

データセンターでの高い冷却効率の立証© 2023 KDDI

高可用性の液浸システムを具現化し成立性と安定性の検証

国内での商用導入計画の具現化

液浸冷却システムの構成概要と結果

9フリークーリング

B系

CDU

A系

オイル

③ ユニットでの設置
CDU

冷却水

A系

液浸装置

B系

フリー
クーリング

外気

② 設備の冗長① 液浸システム全体

1

高性能な冷却機構により PUE:1.05 実現

サーバーの液浸冷却とフリークーリングを組み合わせ、少動力でサーバーの熱を除去できる仕組みを採用
2

設備の冗長設計により ティア4レベル 確保

高いアベイラビリティ（高可用性）を実現するため、機器・配管などは二重化思想で設計© 2023 KDDI3④ 統合制御システム

モジュールユニットで 工期短縮

フリークーリング本体と付帯設備（コールド/ホットタンク、冷却水ポンプなど）を一体ユニットに搭載
4統合制御により 低PUE と 高可用性 を両立

外気温度に応じたファシリティ全体の最適制御、冗長運転制御、メンテナンス用冷却モードなど多彩な機能も実装

液浸冷却の検証数値

10

液浸冷却技術を用いた場合の実用性と省電力性を立証
従来型データセンタ

液浸PoC Ph3

(参考) 液浸PoC Ph2

機器冷却

強制空冷

液浸冷却

液浸冷却

機器設置

データセンタ 電算室

データセンタ 機械室

屋外設置型コンテナ

室内排熱

空調空冷

外気空冷

外気空冷

総電力170kVA

94.5KVA (44%削減)96kVA (43%削減)

床面積※16.6m2

2.6m2(60%削減）

2.6m2(60%削減）

機器電力

100kVA

90kVA (10%削減）

90kVA (FAN撤去）

冷却電力

70kVA

4.5kVA (93%削減)

6.3kVA (91%削減)

PUE

1.7

1.05

1.07kg/㎡※2182

433433※1 収容効率：空冷ラックあたり10KVAを想定した場合の削減効果※2 機器搭載なし
KDDI/MHI/NESIC 液浸データセンターの開発実証(Phase-3)© 2023 KDDI10

運用体制構築
商用導入を見据え、計21社 が合同で運用体制を確立
運用体制© 2023 KDDI

11

12

動画紹介

© 2023 KDDI13

２．実証実験内容© 2023 KDDI

汎用サーバー・NW機器を液浸システム利用するための4つの対策

対策1

稼働部（FAN）の取りはずしとファームウェアの改修

対策3

耐油性のあるケーブル選定

対策4

液浸対応の光ケーブルを活用▶ IT機器に必要な電力を 10％削減
対策2

グリス成分（油浸対応）変更

対策4 詳細：PoCで抽出された光ケーブルの課題に対して対策を実施
課題：光ケーブルのリンクダウン

対策：液浸対応光ケーブルの活用

光延長ケーブルを利用して光変換部分を液槽から外にだして対策したが 発熱によりリンクダウン

光延長ケーブル光変換の接続部© 2023 KDDI

トランシーバでは、ファイバー端点の固定点を決め、プラスチック素材を充填し、光路への冷却油の侵入を防ぐ
ことで液浸での利用を実現

14

高性能液浸冷却油に適したヒートシンク設計

約1.24倍効率化

液浸下における最適な「フィンチピッチ」と「フィン厚」を評価
・ヒートシンクを通過する冷却油の流速が空気とことなるため、液浸用に最適なヒートシンクの開発が必要
・流体シミュレーションにより、高性能液浸冷却油において熱だまり軽減できるフィンピッチとフィン厚を明らかにし、最適化ヒートシンクを開発

空冷最適化

空冷ヒートシンク
フィンピッチ：1.6mm
フィン厚：0.3mm© 2023 KDDI

液浸用ヒートシンク
フィンピッチ：3.5mm
フィン厚：0.8mm

15高性能液浸冷却油の開発

16

特長② 酸化劣化しづらく長寿命
長期間利用しても劣化物の生成量が少ない
高性能油

Good

劣化物の生成量 ※2

高純度の炭化水素系冷却油

従来油(PAO8)

新油

1年4年10年 相当 ※3※2 冷却液中の酸化劣化物由来の酸価を測定※3 加速劣化試験における想定連続運転年数

動粘度[mm2/s]

200

高性能油

33%低減
(20℃)

高性能油
従来油(PAO8 ※1)

150

28%低減
(40℃)

10030

従来(PAO8)

10%向上

28

密度@15℃[g/cm3]0.837

40℃動粘度[mm2/s]34.8

FOM ※427.6

25.0

危険物分類

可燃性液体類

可燃性液体類

0.832
48.3

50026242220102030

冷却油温度[℃]© 2023 KDDI

特長③ 高い冷却効率

FOM

特長① 低粘度化によりポンプ動力低減に貢献

4050※1 従来油：Poly-α-olefin

高性能油

従来油

※4 冷却性能の指標。値が大きいほど冷却性能が高い

ケーブル実装方式の改善

17

ケーブルガイドパネルやハルタを新規作成し、ケーブル実装を改善
・ケーブル（電源線、通信線）がIT機器の取出時の際に干渉しないようハルタ（横）に配線・ケーブル種別ごとに配線干渉しないようケーブルガイドを活用し配線

改善前

改善後

ケーブルガイドパネルの設置

ハルタ(横)の設置© 2023 KDDI

サーバー・NW機器保守用設備

18

液浸装置外で動作確認環境を用意
・本番環境の液浸装置に設置する前や液浸装置がない環境でサーバー・NW機器の動作確認を一時的に可能にする簡易液槽環境を用意
保守フロー ※イメージ
Step1
ホットスワップ

液槽からサーバーを引き上げず交換作業© 2023 KDDI

Step2

Step3

コールドスワップ

通電確認

液槽からサーバーを引き上げ作業用トレイ上で交換作業

簡易液槽での故障改善確認
FANを除いているため

冷却油の洗浄19

液浸利用した装置に付着した冷却油を“洗浄”することで液浸システム利用後の空冷環境での稼働を確認
冷却油 洗浄目的

・液浸利用した装置／パーツの保管
・空冷環境での再利用
冷却油 洗浄方法

・揮発性の高い、洗浄用油を用いて実施
洗浄用油を入れた洗瓶
装置の空冷化①サーバー内臓の冷却ＦＡＮの取付け②空冷仕様のPSUへ交換
動作確認結果・空冷で通電、冷却ＦＡＮの動作確認
・サーバーＯＳ起動確認

洗浄後のサーバー洗浄中の様子© 2023 KDDI

高性能液浸冷却油の物性相性を評価

20

主要サーバーパーツを網羅的に選定し検証を実施
・評価結果より、接着剤、PVC、EPDMなど冷却油との相性が良くない非互換素材を確認
CPUのキャリア電源ケーブル、PCIeライザー電源ケーブル、などで非互換素材が利用されており、今後、他の材料に置き換えることを検討No.
12345678910111213141516171819© 2023 KDDI

素材
PBT+LCP+Gold & Tin plated terminal
PA66+Gold plated terminal
PCB FR4
PA66
Polyester Fabric & Acrylic Glue
PET
Ethylene-vinyl acetate copolymer + flame
retardant
TeflonStainless steel
Nickel-plated stainless steel
Polyamide
PBT (halogenated)
PBT (Halogen Free)
PVC
Gold plated terminal
Tin plated terminal
PVC+CuFKM
EPDM

適合性有有有有無有Note

素材の異なる主要サーバーパー
ツ片サンプルを冷却油に浸漬し状態変化を観測
接着剤の溶解許容

若干の膨張許容有有有有有無有有有有
無

若干の減量

顕著な膨張
高性能
液浸冷却油

顕著な膨張統合監視システム

21“統合監視システム” により液浸システム運用をサポート
・遠隔操作で液浸システムの動作状態の確認や異常を検知
・オイルイン機器の温度異常を検知し、液浸システムの冷却能力を自動で調整
ポータル内で動作状態、異常をチェック

オイルイン機器の温度異常に応じて、自動で冷却

ポータル画面制御システム
PUE

PUE(1週間)
IT消費電力液浸システム③オイル冷却開始

温度異常
異常検知

温度情報

関連システム連携

設備消費電力②制御システムへオイル冷却を依頼①統合監視システム(Zabbix)にて温度異常を検知

サーバー監視統合監視システム© 2023 KDDI

22

３．今後の取り組み© 2023 KDDI

液浸装置の普及には、大きく3つ律速条件が存在環境課題がトリガーとなり、活用がさらに加速される

23

環境
対応機器

供給

• 液浸サーバーのリリース• 液浸設備のコモディティー化

CO2

市場拡大
・カーボンニュートラル
・SDGs

省電力

AI / 5GなどIT高度化

メンテナンス性の改善

• 高発熱
• 高集約
• 性能向上• パトナー保守体制の確立• パーツ廃棄、機器の再利用(自動化、新オイルの開発)

冷却要求© 2023 KDDI

需要運用体制整備

24© 2023 KDDI