北米DCサバイバルツアー

2015年6月26日
OCP-J データセンタ勉強会
尾西 弘之－NTTコムウェア

Compute Project0) 視察概要

 今回の視察に当たり、GUTP(グリーン東大プロジェクト)より後援、OCP Japanより協賛を頂き、催行いたしております

Compute Project行程1.

データセンター視察 【７+1+3】

2.

技術ディスカッション【4】3.

OCP Summit 2015参加

3/3
出国
3/15 帰国

Alltoona, IA
3/13

San Jose, CA
3/8-11OCP Summit Ⅴへの参加



Chicago, IL
3/12

Dallas, TX
3/5

RTP, NC
3/4

Austin, TX
San Antonio,TX
3/6



訪問データセンター

技術ディスカッション

netapp(ノースカロライナ州)

NTTAmerica(カリフォルニア州)

MIDAS（テキサス州）



CyrusOne(テキサス州)

intel(カリフォルニア州)

rackspace(テキサス州)

CH3 (テキサス州)

rackspace(イリノイ州)

sgi(カリフォルニア州)



facebook(アイオワ州)

VPS(カリフォルニア州)

Compute Projectスペック一覧
内緒

DallasDallasSanta Clara

San Jose

TX

TX

CA

CA

場所

RTP
NC

用途

社内利用

PUE

1.1

1.3

－

1.1

1.7～1.8

1.3～1.4

1.1～1.2

電力密度（kW/rack）

4～12～60※

－

34～43

3～5

N/A

5～9

CRAH

直接外気

ホスティング、 コロケーショ
コロケーション
ン※BackCooling時

社内利用

ChicagoIL

ホスティング、ホスティング
コロケーション

CRAH

Altoona
IA
SNS

空調方式

直接外気

CRAH

－

直接外気

最大ICT電力
（MW）

25

26.5－

5

N/A

15.6

4

4,270

10,200－

450

N/A

8,780

N/A

Tier1～2－

Tier3
SSAE16－

Tier1Tier2
SSAE16－
SSAE16－

サーバホール面積（㎡）

備考－SmarDashCompute Project

技術ディスカッション
訪問先
MiDAS
rackspace
sgi
VPS

拠点
Austin,TX
San Antonio,
TX
San Jose,CA
San Jose,CA

視察概要
ラックあたり225kWの液浸冷却
OCP準拠サーバ
HPCサーバの冷却システム「ICE」。液冷電源の仮想化

Compute Project参加者(敬称略、順不同)
9法人15名の方々のご参加をいただきました。
全行程参加は4社5名。
株式会社NTTファシリティーズ
斉藤 大祐
富士通株式会社
藤巻秀明
Future Facilities株式会社
池田利宏
IPコア研究所
品川 雅之
NTTコムウェア株式会社
尾西 弘之、小松 和彦(第二週からの参加)
日本電信電話株式会社 環境エネルギー研究所
笹倉 康佑
アルプス・グリーンデバイス株式会社
桑原 功
奈良先端大学 総合情報基盤センター
辻井 高弘、垣内正年、小山 琢也(部分参加)
住友電工株式会社
重松 昌行
NTTファシリティーズUS小林雅幸
NTTコムウェアUS
成瀬 克巳、富永 英之

Compute Project1) 運用技術
2) 冷却
3) 高発熱機器への対応
4) 高電圧直流(HVDC)
5) ユーザ主導ICT技術

Compute Project1) 運用技術

Compute Project

運用技術• ITサービスマネジメントにおいてITILベースでの運用が基本
 クラウド、ホスティング事業者、自社利用；ITIL v3 （netapp、intel、rackspace, facebook）
 ハウジング事業者 ；ITIL v2 (N/A, NTT America)
 コロケーション事業者 ；N/A (CyrusOne)• DCIM(Data Center Infastructure Management)• DCIMの定義はまちまち(ソフトベンダの出自に応じ、自身で定義)• ハウジング事業者においては、ITEとファシリティの運用部門が異なることが多く、其々の管理ツールを利用• 自社利用、ホスティング事業者では、効率化を目的に、ITEとファシリティの統合運用が進みつつあるが、パッケージ商品では対応できず、独自のDC管理ツールを自社開発• facebook社のようにパッケージへの乗り換え事例が出つつあるI• ITILの普及により、CMDBが基本となり、IT装置からのデータ収集としてIPMIを利用しているケースが多い• 直接外気空調を採用しているデータセンターでは、空調装置ではなく、空流制御技術を重要視

IT設備

DCIMの管理範囲

電源設備

空調設備

DCEM
BEMS

配線

サーバラックフロア

建物

DCEM; DC Energy Management
BEMS; Building Energy Management

Compute Projectエネルギー管理• 企業のCSRとして環境管理が重視されており、CO2削減に関わる取り組みに対する株主の関心も非常に高い• 大手企業（特に大手IT企業）は、実利を獲得するだけでなく、建前としても省エネルギーを推進する必要がある• このため、運用ニーズとは別に「見せる化」としての発展が顕著• 日本はそこまでの状況に至っておらず、また認知度の低さがDCIMの普及の差につながっている• BEMSを参考にしたDCEMと、従来のITEのMSP用管理システムとが統合し、自社利用、ホスティング事業者でのDCIM利用が促進している(2014.1 視察)

Compute Project運用(その他)
IT設備管理資産管理

ラック上部カメラ（バーコードリーダ）
設備管理用のユーザインタフェース

ステージングエリ
ア、サーバーホール入り口にRFIDによる資産管理シス
テムが一般的⇓
IT装置の搭載位置を含めてリアルタイムで管理できる

IT装置バーコード
業務の可視化
モジュール毎・サーバ毎の運転状態、PUE、温度等をIPMI、SNMP等から取得

配送や修理のプロセ
スをホワイトボードに表記し，業務の可視化を行っている(2014.1 視察)

DC毎のPUE、サーバ毎の運転情報・温度等を取得可能。iPhoneからVMをプロビジョニング
Compute Project運用(その他)
配線

ラック内配線ネット
ワーク架列での光ケーブル
配線管理の複雑化に対する対応策

架上、電源Starline(2014.1 視察)

光ケーブル用スイッチ

色別配線

光ケーブル用パッチパネル

インテリジェントPDU
電機メーカと共同開発した、インテリジェントPDU• 電流値表示• コンセント・モジュール（抜け防止装置付き）• LANインタフェース

Compute Project運用(その他)
在庫の倉庫Bouldering

Fanatical Support−従業員表彰制度

チャンピオンベルト

Compute Project2) 冷却

Compute Project空流の最適化
空調電力の削減、ラック当たりの発熱量増加に向け、冷却方式の改善を継続的に行なっている
G1: 既存の冷却方式（〜2kW/ラック）G2: コールドアイル/ホットアイル形成 （〜4kW/ラック）外付け温度センサのフィードバック（風量制御）
G3: コールドアイルコンテインメント （〜6kW/ラック）
圧力差のフィードバック（風量制御）
G4: フリークーリング

G4（〜12kW/ラック）

G2

G3

RTP/SVL(2006年)

Mixing Dampers
Cooling Coil
Speed
Control

CRAH
Fan

Temp.
SensorReturn Air

OutsideReliefDampers

OutsideAir

Control Damper

Control Damper

CRA
H

GDL1（2009年）、HDC(2012年)

RACKCRAH

Return AirRACKPress.
Sensor

HotAirReturnR
ACK

Pressure
SensorColdRoomCompute Project外気空調• クラウド型 ；直接外気導入が一般化
 空流方式：気圧制御
 冷却方式：気化断熱冷却方式、サーバ給気の高温度化• 預かり型 ；新設DCではウォーターサイドエコノマイザーが一般化• 空流方式を意識した建物設計（ダブルデッキ）• 高密度環境ではホットアイルコンテイメントが一般化• 直接外気方式を改善した新DC（定点観測対象）：RTP/SVL(2006年)、GDL1（2009年）、HDC(2012年)、GDL2（2014年）：Prineville（2010年）、 Forest City（2013年）、Altoona（2014年）：Albuquerque （2007年）、Jones Farm （2008年）、Santa Clara （2014年）

OutsideReliefDampers

Outside Air Cooling CoilCRAH

DX Cooling CoilExhaustHeatFanFan

OutsideAirFan

ExhaustHeat

Fan

25-43kW/rack

Hot Air
ReturnR
A
CK

Outside Air

Cold
Room

NetApp＠RTP

RACK

R
AC
K

Hot Air
ReturnFacebook＠Altoona

Hot Air
ReturnR ColdA RoomCKIntel＠Santa Clara
Compute Project外気空調(GDL2 RTP, NC)
外気塵埃除去フィルタ
外気取り入れ屋上外気取り入れ＋ダブルデッキ
コールドアイル・コンテインメント
スラブ直置き排気CRAH
OutsideReliefDampers

Outsi
CoolingdeCoil
Air

GDL1

CRAH
Fan
Hot Air
ReturnGDL1 2009年(2010.10視察)

RA
CK

Cold
Room

GDL2 2014年

Compute Project外気空調(Altoona, IO)
壁外気取り入れ＋ダブルデッキ
ホットアイル・コンテインメント
スラブ直置き外気取り入れ混気＋外気塵埃除去フィルタ

有圧扇

Compute Project

サーバ室内空流

コリドー

冷気吹き下ろしコールドアイル
コールドアイル

ホットアイル
ホットアイルCompute Projectサーバラック空流対策

横吹出しNW機器
ダクトを取り付けて誘導
ブラシ型ヒートシャッター

筐体なしサーバー

不燃性段ボールを加工
不燃性段ボールでのピザボックス

Compute Project3) 高発熱機器への対応

Compute Project(参考)IT装置の高密度化• サーバの高密度化が徐々に進行• サーバベンダも世の中で設置可能な適正密度をにらみながら開発している• GPGPU、サーバサイド・フラッシュのクラウドでの実用化の検討が進み、冷却・給電対策が必要
40Uラックフル搭載時の消費電力(KW)

HPCシステムはGPGPU/高性能CPU
高速メモリ搭載より35KW/Rackを超える

クラウドシステムは平均CPU負荷が20～30%と低く
従来のサーバ最大定格でのDC設計は過剰性能
実運用結果をベースに倍密度（マルチノード化）が進行

CPU負荷率

クラウドシステムでも一時的に負荷増大の可能性は否定できず、通常運転時の「平均化」と併せ、DCIMの機能として、Power Cappingなどによるピーク隠蔽機能の導入が検討され始めている

Compute Project液体冷却による高密度IT機器への対応
比熱の高い液体を利用した除熱、更には相変化(液相⇒気相)での気化熱を利用した冷却が実用化
ラック電力密度CPU、メモリなどの大部分の発熱をヒートパイプなどで除熱し、ラック空冷と併用する

30kW

25kW

最大1,000kW/ラック

20kW(25kVA)

15kW(19kVA)

空冷方式の一般的な対応範囲

10kW(12kVA)

5kW(6kVA) 床吹出し方式の一般的な対応範囲

IT機器を含むラック全体を液浸し除熱する

コールドアイル
コンテインメント
床吹出し方式

最大225kW/ラック上部設置
局所冷却

リアドア冷却

架列配置
局所空調

ホットアイル
コンテインメント

Compute Project

MIDAS社XCI

タンクあたり225kWの冷却能⼒

冷却した油は装置側⾯の下側から供給

Compute Project4) 高電圧直流方式(HVDC)

Compute ProjectHVDC対応サーバ
OCPサーバの中でも，HVDCに対応するものが出てきており，米国でも関心を持ちはじめているのを感じた
米国東海岸ではABBによるHVDC試行が進行している状況
一方で、視察した会社では，HVDCについてプレゼンなどしたがあまり肯定的な意見ではなかった（netapp、intel、 rackspace、 facebook）• 電力会社と事業者の責任範囲の差（昨年、報告）がある• HVAC、三相4線方式によるDC内配電が既に普及している• 集中UPS方式から分散バッテリ方式への移行が始まっている• 高電圧直流によるIT技術者に与えるリスクが高い

Accton社製品
AcBel社PSU

Compute Project(参考)電力供給の種類
電源システムファシリティ(電力室)<従来方式>
AC入力
集中UPS

AC/D
C

ラック

サーバー
AC/D
C

DC/A
C

DC12V

Mother
Board

DC12V

Mother
Board

電池

ACサーバ
分散UPS

AC/D
C

電池

DC12V
バスバー
＋
分散UPS

OCP

AC/D
C

DC12V

PT
PSU

MotherBoard

PT
PSUMother
Board

PT
PSU

MotherBoard

電池

HVDC+12V

DC340V

AC/D
C

DC/D
C

電池

Scorpion(中国)電池

DC240V

AC/D
C

DC/D
C
AC/DC

DC48V
(分散UPS)

DC48V

AC/DC

DC12V

DC12V
電池

DC/D
C

DC12V

Mother
Board

DC12V

MotherBoard

電池

HVDC(380V)

DC380V

AC/D
C

DC/D
C

電池

Compute Project集中から分散へ（ＵＰＳの見直し）
AC/DC/AC変換を要するUPSについて、見直し(直流化；バッテリー化)が進展
UPS装置は、電力供給の安定や仮想化環境による冗長性確保等を前提として、よりICT設備に近い位置に配置。

◎ラック単位

◎全設備
受電設備

受電設備

建物
サーバー室
サーバー室
サーバー室

フライホイール
UPS◎サーバー単位

サーバー室

受電設備

サーバー室

ICT Rack
ICT Rack
ICT Rack

ICT Rack
ICT Rack
ICT Rack

Open Rack V1
ラック型バッテリ

Open Rack V2
ラック内バッテリ◎サーバー室等の単位受電設備

建物
サーバー室
サーバー室
サーバー室

◎サーバー内バッテリ
バッテリ内蔵サーバー

ラック型フライホイールUPS200W

Compute ProjectVPS(仮想化電源)
VPS(Virtual Power Systems)社 ICE(Intelligent Control of Energy)
DC12V
DC48V

a AC→Db
３相480V
単相90-270vcab
３相480V
単相90-270v

c

C
3kw
AC→D
C
3kw
AC→D
C
3kw
AC→D
C
3kw
AC→D
C
3kw
AC→D
C
3kw

充放電装置
リチウム電池充放電装置
リチウム電池#1

充放電装置
リチウム電池

電流センサー#n「仮想化」の動き
サーバ、ストレージ、ネットワークと進んできた、次は、
電源

ICE実機

充放電装置
リチウム電池充放電装置
リチウム電池電力制御装置Compute Project5) ユーザ主導ICT技術Compute Project

Facebookのねらい
コスト効率化の側面・・・• DCデザインとハードウェアデザインを協調することにより効率性を改善• システム調達コストの削減
ハードウェア仕様をオープンにすることで広くメーカの参入機会を増やしコストを最適化• 運用コストの削減
各種機器のファームウェア更新などの保守作業を単純化し、運用管理工数を低減

サーバシャーシ、ストレージユニットの例• フロントアクセス（ケーブルコネクト、スイッチ類の前面配置）：保守性向上• ファンの背面配置：Cold/Hotアイルの分離• Coldアイルのみで作業可能

マザーボード冷却ファン

Compute Projectrackspaceの事例
サービス革新の側面• 従来より、ホスティング・サーバは自前保守• OCPガイドラインを用いて自らサーバをデザイン• ベアメタルに代表する最新技術のタイムリーな導入• サーバーメーカと決別し、設計、調達、運用の最適化• 競争力の高いサービスの提供

保守用部品在庫

OnMetal• Dell、HPからの決別• ベアメタルによるElastic（柔軟）なサービス提供• マルチテナント（VM）からシングルテナント（専用サーバ）へ

Compute ProjectRackspace @San Antonio FPGA(Field Programable Gate Array) for Compute• 特にディスクアクセスの高速化と大容量化用途に採用• サーバ内蔵のPCIeカードとして実装• ファイルの圧縮・解凍をFPGAにオフロードする事によりSAS転送量の大幅削減とHDD論理容量の大幅増加を実現

 Kinetic (by Seagate)も採用• HDD単位でEthernetインターフェースを持ち Key-Valueシステムを内蔵• IPV6で環境が整う

32

Compute Projectご静聴ありがとうございました
国内外のデータセンターでの勉強会を開催しておりますので、ご興味のある方は、ご連絡ください
onishi.hiroyuki@nttcom.co.jp

Compute Project