データセンターの歩き方

2017

サバイバルツアー2017 USA
Survival Tour2017年6月20日
尾西 弘之（NTTコムウェア）

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

自己紹介
NTTコムウェアのSmartCloud推進部門の部門長

電電公社に入社、電気通信交換網の交換機、オペレーション・システムのシステ
ム開発に主に従事
NTTコムウェア発足後、NTT以外のお客様の開拓、商品企画に従事
11年前に保守運用の責任者► データセンター、クラウドのビジネス立ち上げ► PUE1.3を実現(2009年)
国内外のデータセンター視察を趣味に排熱式(直接外気)DCにより、PUE1.1以下を実現(2011年)
油浸冷却により、PUE1.02を実証(2014年)
データセンター運用、設計などのコンサルティング

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

1

各種団体での活動
OCPジャパン
運営委員
DC勉強会 リーダ (Survival Tour)東京大学TSCP室
サーバ施設高効率化方策検討WG 幹事
日本データセンター協会(JDCC)
グリーン東大ICTプロジェクト(GUTP)
サーバ室技術ガイドブックWG リーダ
The Green Grid
Liquid Cooling WG
Data Center Dynamics DCpro
Accredited Instructor
Copyright © NTT COMWARE 2017

2NTT COMWARE PROPRIETARY

Survival Tour

2015,162015 Survival USA

今回はトラブルなし
ただし、初日、米国国内線
現地入りしてからのキャンセル
早速キャンセル↓
現地でのアポ取りでのリカバリー
アイスバーンの中出発

2016 Survival Oceania

そして、二日目もキャンセル

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

Flat TIRE

3行程2017

Sacramento, CA
3/6

2017年2月26日（日）〜 3月10日（金）WashigtonDC
3/1
Raleigh, NC
2/27

1.米国のデータセンターを視察【7拠点】
2.技術ディスカッション【5拠点】

SanJose, CA
3/7-9

Phoenix, NM
3/3Austin, TX
3/2

3.OCP Summit 2017への参加

 訪問データセンター

 netapp(ノースカロライナ州)
 Sentinal data center(ノースカロライナ州)
 ByteGrid(メリーランド州)
 テキサス大学TACC(テキサス州)
 eBay/PayPal(アリゾナ州)
 io(アリゾナ州)
 ragingwire(カリフォルニア州)

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARYTOPICS

••
•
•
•
•

高発熱機器対応
ブラウンフィールド
モジュールDC
Ragingwire 2N+2™
直流給電
Fog Computing

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

 技術ディスカッション Vapor io(テキサス州、 OCP SUMMIT会場)
 Baselayer(アリゾナ州)
 LinkedIn(カリフォルニア州)
 Nebbiolo Technologies(カリフォルニア州)
 Data Center Delivered(OCP SUMMIT会場)訪問を調整していた、以下のDCは直前にキャンセル• DOD、DOE
米国市民権必要(Trump大統領令)• Dupont
NTTグループは不可

2017

4

高発熱機器対応

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

ITシステムの電力密度予測（出展︔ASHRAE TC9.9 2015.1）

Facebook、AI特化型サーバ「Big Basin」を発表

62017• Big Basinの設計は、前身の「Big Sur」と同様、「OpenCompute Project」を通じてオープンソース化
機械学習︔30％アップ
メモリ︔12G ⇒16G

• 「NVIDIA Tesla P100」GPUアクセラレータを8基搭載• 「NVIDIA NVLink」（CPUとGPUの間で高速通信を実現するための仕組み）採用• モジュール分散設計により、ハード・ソフトを個別にスケールアップ可能

Vijay Rao, Director ofTechnology Strategy,
facebook
Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

7

Microsoftの新サーバ2017• Qualcomm、Caviumのサーバ用ARMを搭載し、Azure用Windows Serverにて検証を開始• AI用GPU拡張シャーシHGX-1; Tesla P100 8基搭載
(nvidiaとの共同開発)

Leendert van Doorn,
Distiguished Engineer,
microsoft

Qualcom Centriq2400(10nmプロセスルール)
搭載マザーボード

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

サーバラック冷却2017

ラ ック電力 密度

架列配置
局所空調

30kW
25kW

リアドア冷却

20kW(25kVA)

10kW(12kVA)㎥/hkW
空気冷却によ る
必要風量15kW(19kVA)

4,500

コールドアイル
コンテインメント
床吹出し方式0

NTT COMWARE PROPRIETARY

リアドア冷却
上部設置
局所冷却

架列配置
局所空調

ホットアイル
コンテインメント

一般的な対応範囲

Copyright © NTT COMWARE 2017より高密度機器の場合にはHPCで使用されてきた、• コールドプレート• 液浸が普及しつつある空冷方式の一般的な対応範囲

3,000

1,500
5kW
床吹出し方式の(6kVA)

8床吹出し＋アイル分離

壁吹出し
ホットアイル
コンテインメント

局所冷却装置液冷ラック
9コロケーションDC

2017

1.Sentinel(Raleigh, NC); ブラウンフィールド
大規模な倉庫（IBM）を買い取り、DCファシリティを構築。訪問直前にCyrusOneにより買収
2.ByteGrid(Springfield, MA); グリーンフィールド高スペックな企業内DCをオーナ(CitiBank)、ByteGrid共にメリットの出る買取で展開オーナ︔将来の拡張計画に備えた空きスペース、ICT機器の高密度化による空きスペースなどの先行投資の回収
DC事業者︔金融向けDCファシリティの入手、固定客の確保
3.io(Phoenix, AZ); ブラウンフィールド
電力、水の設備を既に有する大規模な製造工場（飲料水）を買い取り(Phoenix)、DCファシリ
ティを構築。更にコンテナDCの採用により、大規模空間でのサーバ室設備の環境維持の弱点を克服し、需要に応じた設備投資を実現4.RagingWire(Sacramento, CA); グリーンフィールド
2N+2構成による高信頼性をうたい（SLA 100%）、止まらないDCであることをお客様に魅せる

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

10

ブラウンフィールド(2016.8 中国視察)

2016• AlibabaなどのEC先進国であり、データセンターの新設ラッシュが続いている• 建物を建設する時間も取れず、ブラウンフィールドで対処している
Alibaba•••

倉庫改造 3ヶ月現場設営
サーバ室内は、コンテインメントモジュール
発電機はコンテナ

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

China Unicom• 校舎改造11

モジュールDC
コンテインメント・モジュール

構成品モジュー
ル

コンテナDC

プレハブ・モ
ジュール

○ー○

○

△

○

○

○

現場組立○ーーー

プレハブー○

○

○

○ーーー

筐体ーー○

ー

架台搭載ー○ーー

建屋ーーー○

DCモジュール

機能ブロッ
ク
工場生産

IT装置
電力・空調装置

規格構成品一式
製品

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

12

モジュールDC（コンテインメント・モジュール）• Vapor Chamber• 高集積、高効率• フロント配線前提→OCP規格• 内側にホットアイル

2017

モジュールDCの運用に必要なソフトウェア• openDCRE
monitering,controlのAPI• vaporCORE
openDCREの商用版
Dockerのコンポーネントとして提供

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

13

モジュールDC（構成品モジュール）

2017

電力設備

100kW

200kW

250kW

500kW

1MW

空調設備

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

Skid Layout• 短期間(9ヶ月)でデータセンターを更地から構築

Copyright © NTT COMWARE 201715

NTT COMWARE PROPRIETARY

142014

2015-17

モジュールDC（コンテナDC）

Phoenix
ブラウンフィールド
（元飲料水工場）

Singapore
ブラウンフィールド（元Seagate社HDD工場）
ブラウンフィールド
（元NY Times印刷工場）

Copyright © NTT COMWARE 201716

NTT COMWARE PROPRIETARY

モジュールDC（プレハブ・モジュール）2016-17
構築期間3ヶ月
（計画から9ヶ月）

BladeRoom社製Metronodeデータセンター

Baselayer社製 Baltimoreデータセンター

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

17

モジュールDCメーカ

2017• ioで使うモジュールと制御ソフトの製造メーカ(2015年分社);年間400モジュール製造• ソフトウェアから始まり。データセンターの効率向上のため、いろいろなモニタリングを行い改善を進めた
結果、モジュール型に行き着いた• 自社で設計した冷却、UPSユニットをメーカに作成（複数メーカーにリスク分散）• 組み立て20日、発注から納品まで約3か月• モジュールの側でUSD9,000• ユーザに応じ、様々なカスタマイズ• 電力信頼性99.99999%

本社

組立て工場
空調ユニット

オフィスユニットCopyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

モジュールDCメーカ• 空調は、ニーズに応じて構成

18

2017
直接外気ユニット• 水冷• パッケージ空調• 間接外気• 直接外気（右写真）
エバポレーター

混気室

ECファン
Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

外気取入れ
ガラリ

外気取入れ
ダンパー
19

モジュールの輸送
日本国内では、道路輸送に制限がある

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

20

2017

Ragingwire 2N+2™による100%可用性• 2N+2™はRagingwire社による、特許取得した電源供給モデルで、マーケティング用語• ラックへ2系統供給で、SLA100％を保証• コストはN+2以上、2N以下。可用性は2N 以上• USP(UPS Switching Panel)にて負荷状況を割り振り、故障・保守時に供給元UPSを変更

N+2

Utility

トランス

トランス

トランス

トランストランス

発電機

発電機

発電機

発電機

発電機

UPS

UPS

UPS

UPS

UPS

発電機
UPS

←自動切替

2N

USP（UPS Selector Panel）＋トランス

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY21

Hikariプロジェクト

2017

•

NEDO出資による日系企業集合体による実証事業、Hikariシステムにて直流高電（HVDC）の実証実験(2015年8月)。参加企業はNTTファシリティーズ、三菱電機、日立化成、NEC等。

•

再生可能エネルギー（太陽光発電）の系統連系を直流高電圧で実施することにより、総合15%の省エネ効果を想定。

•

Hikariシステムに採用のスパコン（HPC)はHP社のApollo8000．直接水冷によりHPC高密度(50kW/Rack)の冷却に対応。

•

照明、空調機、監視用サーバー等も直流高電圧対応の機器を使用し省エネを実現。

Copyright © NTT COMWARE 201722

NTT COMWARE PROPRIETARY

TACC

2017

Hikari (直流高電圧用整流器)
Lone Star (HPC CRAY)

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

Hikari (HPC Apollo水冷システム)23

DC48V給電

2017•OCP Summit 2016にてGoogleより紹介された、DC48Vの具体化が進む
Rack Architectures are Changing from 12V to 48V
By Sean Gold - Maxim Integrate

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY24

DC48Vサーバ

2017
Shelf level busbar

IT Gear to rack-level busbar

Google(?) DC48V server

IT Tray to shelf-level busbar

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

25

DC48V給電(Delta)

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

リチウムイオン電池パック（48V, 33kW）2017

OCP V2ラック（48V給電対応、リチウムイオン電池搭載） 26

中電圧配電

2017

•今回は見学を断念したDFT(Dupont Fabros) ACC7（41.6MW)では、• 中電圧配電（4,160V）• 高効率PDU（99.6%︔絶縁油）• 絶縁分離UPS構成•を特徴としている• PUE 1.13(75%時︔従来型は1.28)• スラブ直置き• ホットアイルコンテインメント

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

27

Fog Computing

2017
Public Clouds

Private Clouds

P ublic and P r ivate

Cloud

C ommunications
Infr astructureIT( Inter net, Enterpr ise Ethernet, WiFi)

Fog

CentOSOT

GE-PredixLinux

IoT Endpoints
WindowsKVM

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY2828Confidential

The Fog NodeでのDCエネルギー管理

2017

Data Center/Clouds

Converging Data and Functionality
Nebbiolo Fog Node

Adding Functionality

Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

Confidential

29
29

2017

データセンターの歩き方

ご清聴ありがとうございましたNTTコムウェア株式会社
尾西 弘之
onishi.hiroyuki@nttcom.co.jp
Copyright © NTT COMWARE 2017
NTT COMWARE PROPRIETARY

無断転載禁止図面などは各社の了解を得て記載しております
記載されている会社名、製品名などは、各社の商標または登録商標です30