スーパーコンピュータセンターを含む
データセンター省エネ技術トレンド
20年間に及ぶデータセンター省エネ化技術のトレンドを解説。
フロン、⽔、空気に順にPUEが下がりますが、建物コストも上がる。
バランスする設計⼿法を紹介します。
本資料は産総研を代表する資料ではありません。
国⽴研究開発法⼈ 産業技術総合研究所
デジタルアーキテクチャ研究センター
テクニカルスタッフ
National Institute of Advanced Industrial Science andTechnology (AIST), Digital Architecture Promotion Center
Technical Staff

杉⽥正tadashi.sugita@aist.go.jp
sugi@lxs.jp
2021/11/10

スーパーコンピュータセンターを含む
データセンター省エネ技術トレンド

1１．⾃⼰紹介 どんなサイズもPUE=1.1
２．C⼯事から始めよう
３．⾵量を設計 基本はキャッピング
４．⾼密度実装はラック前後スペースが重要
５．スパコンデータセンター ツアー
６．近い未来2021/11/10

スーパーコンピュータセンターを含む データセンター省エネ技術トレンド

2１．⾃⼰紹介

どんなサイズもPUE=1.1

⽇本で私だけ省エネデータセンター
100KWからデザイナー

12MWまで

PUE=1.1

どうして︖・・サーバーを設計するようにデータセンターをデザインする。

2021/11/10

スーパーコンピュータセンターを含む データセンター省エネ技術トレンド

3

Long time Charenge
20Years
でっかいサーバの排熱は難しい
答え︓冷却では無く排熱動⼒を減らす
4

2021/11/10

スーパーコンピュータセンターを含む データセンター省エネ技術トレンドインテルかAMDか︖

省エネデータセンターをデザインするのが仕事。 GPUはちゃんと動くか︖
建物を作るのはゼネコンだがサーバのことは知らない

デザイン

設計

AA
建物

データセンターを作る
設計者は知っているのか︖

B
C C
B

ラック

ネット
ワーク

D
サーバ設置

クラウドサービス構築・運⽤

2021/11/10

1ラックKVA︖“稼働率”は︖
ニューラルエンジンに対応出来るか︖
5G 6G エッジ処理

スーパーコンピュータセンターを含む データセンター省エネ技術トレンド

経験がある

5

年間何億円も省エネ 30年償却で建設費が浮く
pPUE（おおよそ）

差違

採⽤時期・その他

10MWDCの1年間電気代

従来

1.65〜
2.8

---

10年以上の古いデータセンター

20億円以上⾼効率CRAC~1.5

⾼性能コンプレッサー採⽤

NTTが主導して10年前に開発15億円

キャッピング~1.35

冷気分散防⽌ ホットスポット対策

開発は10年前、この数年普及

13.5億円~1.15

室内熱交換無し（冷⽔製造にコンプレッサー）

海外でGoogleが採⽤
⽇本では数MW以上の⼤型DCで採⽤

11.5億円~1.1

冷⽔ポンプ無し（夏場のみCRAC使⽤）

海外でFaceBookが採⽤
⽇本でも2年前から採⽤

11億円

直接
外気排熱

~1.07

ホコリ、腐⾷ガス、湿度侵⼊の⽋点有り

研究施設のみ10.7億円その他

1.1以下

⽔冷アタッチ、液浸、雪冷熱利⽤

スパコン（サーバが⾼価）や研究施設

⽔冷コイル
排熱

ネ
省エ
間接4

外気冷却

冷暖を分離して熱搬送効率を上げるとpPUE=1.1、雪や上昇気流を使ってさらに省エネ。
スーパーコンピュータセンターを含むデータセンター省エネ技術トレンド

6

⾃⼰紹介
国⽴研究開発法⼈ 産業技術総合研究所
デジタルアーキテクチャ推進センター
研究情報利⽤推進室 テクニカルスタッフ
2011年NEDOグリーンITプロジェクト コンテナデータセンター構築（つくば）pPUE=1.15実現の実験設備構築（伊藤先⽣ご指導）
2013年〜2018年 NEDO雪⼭貯蔵による⾼効率熱供給システムの研究開発（北海道美唄市）冬期pPUE=1.015 夏期pPUE=1.05
2014年 経産省補助による省エネデータセンター構築（倉敷チロロネット）pPUE=1.1
2016年 12MW級都市型データセンター設計（東京都新宿区）pPUE=1.1
2018年 産総研スパコンABCIデータセンター構築メンバ（千葉県柏市）
1.5MW連続稼働でpPUE=1.1 ※都市型3カ所は設計段階での騒⾳条例クリアが難敵
2016年より東京⼤学 江崎先⽣ご指導の「次世代データセンター勉強会」世話役メンバ
また、産総研開発技術を提供するとして技術開発コンサルも⾏っています。
本資料は産総研を代表する資料ではありません。
2021/11/10

スーパーコンピュータセンターを含むデータセンター省エネ技術トレンド

7産総研スパコン ABCI 2.0

NVIDIA V1004352GPU

本年５⽉アップデート
A100 GPU×8のGPUノードを120ノード追加

引⽤先：産総研のABCIスパコンが⼤幅アップグレード

マイナビニュース

https://news.mynavi.jp/article/20210507-1884603/

2021/11/10

スーパーコンピュータセンターを含むデータセンター省エネ技術トレンド

8

12MW 東京新宿 pPUE=1.1以下
５層上昇気流を使う
直⾓ラック配置で静圧を制御
コールドアイル・ホットアイル間の微差圧も⼤きい
おそらく省エネ

2021/11/10

スーパーコンピュータセンターを含む
データセンター省エネ技術トレンド

世界⼀

9

FISC対応ゲージからクラウド対応⾼密度実装を可能とするデザイン

作図︓杉⽥
10

2021/11/10

スーパーコンピュータセンターを含む データセンター
省エネ技術トレンド空冷-⽔冷(AHU)⽅式 / pPUE1.1-1.5

空冷ー⽔冷、外気導⼊
天候により⾃動切り替え
経済産業省 クラウド補助⾦を得て建設されました。
倉敷チロロネットデータセンター
12KVA/1Rack x10 x2列を3組
空冷-⽔冷（間接外気）、外気導⼊併⽤ 地下⽔を利⽤した熱処理

コールドアイル
床⾯積を拡張⾵速を抑えている
サーバー熱を井⼾
⽔を使い”捨てる”
引⽤先︓https://www.chiroro.co.jp/datacenter/ からフューチャーファシリティーズCFD解析図

2021/11/10

スーパーコンピュータセンターを含む
データセンター省エネ技術トレンド11

雪冷熱エネルギーを使い、さらなる省エネ
NEDO事業/再⽣可能エネルギー熱利⽤技術開発/その他再⽣可能
エネルギー熱利⽤トータルシステムの⾼効率化・規格化/都市除排雪を利⽤した雪⼭貯蔵による⾼効率熱供給システムの研究開発
ラック上部に⽔冷コイル40KW/1枚循環ファンは無し、サーバーファンを利⽤
コイルへは融雪⽔を利⽤

pPUE = 約 1.05 （冬は1.015）
⽔冷コイル（熱交換器）の能⼒は、通過する”⾵量”で決まる。
温度制御は、⽔冷コイルを流れる雪⼭からの冷⽔⽔量で⾏う。

熱搬送動⼒を省エネ
⽔冷コイル通過⾵量は、サーバー内蔵ファンだけスーパーコンピュータセンターを含む データセンター省エネ技術トレンド

2021/11/1012

NEDO グリーンITプロジェクト2007年〜2012年
間接外気導⼊、外気導⼊、横吹き冷却、⾵量制御と計測などの実験装置
⽔を使わずアルミ熱交換器を使う
AHU：エアーハンドラー
名称「グリーンユニット」
間接外気冷却システム
直接外気導⼊も可能
2011年杉⽥が設計
最⼤23KWを排熱可能
引⽤先︓http://www.nedo.go.jp/activities/DA_00036.html
現在でも⾒学可能。
スーパーコンピュータセンターを含む データセンター省エネ技術トレンド

2021/11/10

13中国江蘇省揚州市 中国電信データセンター(1)

出所：LXStyle,Inc 2011年12⽉
300ラックx 2フロア
キャッピング⼯事

2021/11/10

スーパーコンピュータセンターを含むデータセンター省エネ技術トレンド14中国江蘇省揚州市 中国電信データセンター

出所：LXStyle,Inc 2011年12⽉
300ラックx 2フロア
キャッピング⼯事

キャッピングがお客さんに不評と聞くが、電気代が下がって、利⽤料⾦が下がれば反対しない

2021/11/10

スーパーコンピュータセンターを含む
データセンター省エネ技術トレンド15

⽇本で最初にブレードサーバー⼤量導⼊。

空冷 10KVA 1m3/sec ⾵速1m/sec
2004年5⽉から10年以上現在まで稼働。
PUE=1.3を実現

キャッピングブレードサーバ 8ブレード1筐体8段実装
PUE=1.３
12cm⾓DCファン@3台ｘ８＝24台稼働/１Rack
最低速@60CFMとして１筐体180CFM
2004年施⼯
8段1,440CFMが必須⾵量
1,440CFM＝2,450m3/h＝0.68m3/sec
ラック断⾯積を1m2とすると ⾵速0.68m/sec以上必要
⾵量設計⽬安として約2倍10KVA

1m3/sec

⾵速1m/secが良い

⾵量を管理して省エネ化
引⽤先：⼭洋電気 DCファン
https://products.sanyodenki.com/contents/hp0009/list.php?CNo=9#size_40

2021/11/10

スーパーコンピュータセンターを含む データセンター省エネ技術トレンド

サーバー内蔵ファンはこの⾵量で変速するつまり16年昔にWSCを。
16