カーボンニュートラルに貢献する
表紙「次世代型データセンター」プロジェクト
August 21, 2024

NTT FACILITIES, INC.

Copyright © NTT FACILITIES, INC. All Rights Reserved.

0

自己紹介
株式会社NTTファシリティーズ
データセンターエンジニアリング事業本部 設計エンジニアリング部長

齋藤 貴之（さいとうたかゆき）
・横浜市在住／千葉県出身
・趣味：旅行、洗濯、スポーツ何でも（高校まで野球やってました）
・専門：建築意匠設計＜経歴＞
・1999年 NTTファシリティーズ入社✓20年弱にわたり、様々な建物の設計を行ってきました・2018年 NTTグループの通信建物等の建築設計部門長
・2022年7月～ 現職

Copyright © NTT FACILITIES, INC. All Rights Reserved.

＜主なPJ実績＞
・D社 九州香椎ビル
・D大学天野貞祐記念館
・世田谷区立R小・中学校
・K社王子ビル・T大学総合武道館、17号館
・K高等学校日吉協育棟
・港区立S小学校
・D社 代々木第二ビル
1

01. NTT GroupNTTNTT FACILITIES(NTT Corp.)(Holding Company)

SIer

NTT DATA(NTT DATA Group Corporation)

Mobile Communication

NTT DOCOMONTT DATA Japan

7,000 Employees
14,000 Buildings Maintenance
11 Regional Branch Offices

NTT DATA, Inc.

Domestic Long Distance Telco

NTT Communications
Real Estate Development

Urban Development

NTT Urban Solutions(Intermediate Holding Company)

NTT Urban Development
Building, Power, Cooling

Smart Energy

NTT Anode Energy

Japan Regional Telco

NTT EAST
NTT WEST

PRO-MATRIXNIHON MECCS
And more

Many more

Copyright © NTT FACILITIES, INC. All Rights Reserved.

2

02. Our Services
PlanningAssessment⁃ 現場評価⁃ デューデリジェンス⁃ 現場フィージビリティスタディ
⁃ 電源コンサルティング⁃ マスタープランニング⁃ 信頼性評価⁃ 設備ヘルスチェック⁃ 運用評価Operation & Maintenance⁃ リモートモニタリング⁃ BEMS⁃ オンサイト設備管理⁃ オンコールメンテナンス

Design & Supervision⁃ プロジェクトマネジメント⁃ グリーンDCコンサルティング⁃ 基本・実施設計（建築・構造・空調・電気）⁃ 工事監理⁃ 工事発注支援

Construction & Procurement*Operation&Maintenanceについては、販売はNTTF作業はNTTアノードエナジー(グループ会社) (2022年7月現在)
Copyright © NTT FACILITIES, INC. All Rights Reserved.

⁃ C＆S工事⁃ FitOut工事⁃ コンストラクションマネジメント⁃ EHS⁃ 空調機器調達(海外製大型AHU、チラー等)⁃ 電力機器調達(受変電、UPS、発電機等)⁃ CxA（Test ＆ Commissioning Consultant ）（Environment,Health and Safety）

3

このプロジェクトを始めたきっかけ●問題意識→国内におけるデータセンター設計・構築・エンジニアリングのリーディングカンパニーであるという自覚・意識を持つ必要があるのでは？

●今はどうか？
→目の前のPJに対応することに精一杯（既存の技術、デザインのみで対応？）になってないか？

●どうしたら良い？
→当社がデータセンターの未来の姿・理想の姿を提示し、世の中をリード（誘導）できないか？
2ndstep

1ststep▼高発熱DCのモデル

現在
Copyright © NTT FACILITIES, INC. All Rights Reserved.

高発熱へ▼ちょっと先の理想形

ちょっと先の未来
4液冷データセンター検討の背景

データセンターの液冷サーバー

カーボンニュートラル化

需要の高まりCopyright © NTT FACILITIES, INC. All Rights Reserved.

5

カーボンニュートラルに向けたNTTグループの取組み
NTT Green Innovation toward 2040

出典：NTT 2021年9月28日ニュースリリース「新たな環境エネルギービジョン「NTT Green Innovation toward 2040」より
https://group.ntt/jp/newsrelease/2021/09/28/210928a.html

Copyright © NTT FACILITIES, INC. All Rights Reserved.

6液冷サーバー需要の高まり
液冷サーバー
空冷サーバー または 液冷サーバー
空冷サーバー

～2019

2021

2023

2024

HPCサーバー

NVIDIA DGX A100

NVIDIA DGX H100

～4kVA/server

6kVA/server

10kVA/server

NVIDIA DGX GB200
NVL72

実効 40kVA/rack

実効 約120kVA/rack～100 TFLOPS※

300 TFLOPS※

1000 TFLOPS※

360 PFLOPS※

実効 ８～12kVA/rack

実効 24kVA/rack

注：今後すべて全てのサーバが液冷へ移行するのではなく、生成AIなど高密度計算処理に対応するサーバーの需要予測を示している
Copyright © NTT FACILITIES, INC. All Rights Reserved.

※FP16(floating point)
7

空冷から液冷への転換
プロセッサの冷却方法
空冷

約8~12ｋｗ/ラック

空冷

約４０ｋｗ/ラック

液冷ラック

ラック
ラック

高発
小型
熱ヒートシンク 化
プロセッサ

大型ヒートシンク

プロセッサ

超高発
熱化

ヒートシンクの大型化【問題】
・小型ヒートシンク
では冷却不可Copyright © NTT FACILITIES, INC. All Rights Reserved.

約１２０ｋｗ/ラック【問題】
・ヒートシンクでは冷却不可
・ヒートシンクの大型化に伴うプロセッサ同士の遠距離化⇒計算機性能にとってマイナス

コールド
プレート
冷水

プロセッサ
小型で高効率な
コールドプレートプロセッサの発熱量8液冷サーバーの冷却方法
空気との熱交換

高温・高効率で放熱

コールドプレート
高発熱プロセッサを液体で冷却

熱源機

熱源機
液冷配管
コールドプレート以外の部分を空気で冷却

空調機

液冷サーバー
マニホールド

CDU
冷却液をサーバーに分配

冷却液をサーバーに分配

35%

※ を負担
サーバー発熱の(アンビエント冷却)

65 % を負担

サーバー発熱の（タスク冷却）※発熱量の比率は一例でありサーバーにより異なる。

Copyright © NTT FACILITIES, INC. All Rights Reserved.

※CDU : Cooling distribution unit
9

液冷データセンターの省エネルギー性能
液冷化による消費電力削減

空冷データセンター：大温度差送水での搬送動力減

空気搬送

水搬送

その他

液冷データセンター
50%

水搬送

冷熱生成

空気搬送

：AHU→CDUによるファン動力削減

冷熱生成：空冷チラー→液冷用冷却塔
空調pPUE ※ =1.21

空調pPUE ※ =1.11※データホールの空調換気設備の消費電力量を対象とした。コールドプレートでの熱処理量をサーバー発熱の6割として試算した。
Copyright © NTT FACILITIES, INC. All Rights Reserved.

10

熱の伝わりやすさ
Water

Air

100
Copyright © NTT FACILITIES, INC. All Rights Reserved.

>111

液冷データセンターモデルプラン

ALCMR

・現行データホールの骨格を大きく変えることなく液冷化が可能な構成
・LCMR(Liquid Cooling Machine Room)を設けセキュリティ性・メンテナンス性・拡張性を確保

データホールB

B・2架列ごとにCDUの冗長性を確保
・二重床不要なCDU配管計画により、将来的な柔軟性を確保

ACMR
平面図

A

液冷配管
ACMR

データホール

LCMR

断面図A
Copyright © NTT FACILITIES, INC. All Rights Reserved.

Cold
Aisle

HotAisle

Cold
Aisle
断面図B
12

従来型データホールと液冷データホールの比較

約1/3に縮小

従来型データホール（ITロード 6.4MW）

Copyright © NTT FACILITIES, INC. All Rights Reserved.

液冷データホール（ITロード 6.4MW）

13液冷データセンタープロトタイプ
屋上設備
エリア
電源設備
エリア

データホール
エリア

RF

2F

1F
Copyright © NTT FACILITIES, INC. All Rights Reserved.

14従来型データセンターと液冷データセンターの比較
ボリュームの低減
電源設備
データホール約15MW

電源設備
地域住民へ開放

データホール約15MW

データホール約30MW

従来型データセンター（ITロード約30MWの例）

液冷データセンター（ITロード約30MWの例）

敷地面積：約30000㎡
建物延床面積：約28000㎡

敷地面積：約30000㎡
建物延床面積：約20000㎡

Copyright © NTT FACILITIES, INC. All Rights Reserved.

15

次世代型データセンターイメージ

Copyright © NTT FACILITIES, INC. All Rights Reserved.

16

断面構成とプレクールコイルウォール
自然冷却後の冷却水
外気により自然冷却

冷却塔
バイパス用配管（自然冷却が不可能な夏季に使用）

銅管をラジエーター状に設置

電源設備
温まった冷却水

オープンスペース

水盤

LCMR

データホール

ACMR

オフィス

DC排熱利用Copyright © NTT FACILITIES, INC. All Rights Reserved.

17

ラジエータCopyright © NTT FACILITIES, INC. All Rights Reserved.

18

次世代型データセンターイメージ

Copyright © NTT FACILITIES, INC. All Rights Reserved.

19

Thank you for yourattention!!
NTT FACILITIESAt a glance

7,000
Employees are engaged
in various kinds ofprojects worldwide

Copyright©©NTT
NTTFACILITIES,FACILITIES,INC.
INC.All
AllRights
RightsReserved.
Reserved.
Copyright￥214B※＄1.36B（￥157/＄）
Revenue in FY 2023

178+

1,100+

140

Project Management
Professionals(PMP®)

Professional
certified architects

Years of experiencefrom 188520