仮想データセンター構築を目指して！

VIOPS‐2 Workshop
2008年12月11日（木）理想のデータセンタとは？
セキュリティ
グリーンIT

SaaS

PaaS

サーバ仮想化

災害対策

Cloud
Computing

ネットワーク仮想化
ストレージ仮想化

第一部 プログラム
13:50-15:20
仮想データセンタの構築を目指して！
司会進行
シーゴシステムズ・ジャパン
尾方 一成
13:55 – 14:05
仮想データセンタの利用要件 ～ 懸念事項と現状 ～ソフトバンクテレコム
橋本 健
14:05 – 14:25
仮想化からクラウドへ
日本アイ・ビー・エム
佐々木 言
14:25 – 14:45
次世代データセンタファブリック
メラノックス テクノロジーズ
早川 洋一
14:45 – 15:00
ストレージ仮想化とは？
データコア・ソフトウェア
片山 崇
15:00 – 15:10
データセンタ・クラスタ 実証実験レポート
ソフトバンクテレコム
橋本 健
15:10 – 15:20
質疑応答

Xsigo Systems （シーゴシステムズ）？
仮想化、最後のピース

Storage
Networks¾US本社創設:¾日本法人設立:¾製品リリース:¾従業員: 100名
¾本社:

2004年8月
2006年11月
2007年9月
サンノゼ, CA, USA◇ 会社役員一覧

I/O
Servers◇ シーゴシステムズ 会社概要

¾レイ・レーン（オラクル元 社長）¾マーク・レスリー（ベリタスソフトウェア創業時社長）¾ビノッド・コースラ（サンマイクロシステムズ創業時社長）¾アショック・クリシュナマティ
（ジュニパーネットワークス創業時副社長）

ちなみに私、尾方 一成は Issei Ogata で 「I/O」！

I/O 仮想化の世界とは？
Any Server

あるサーバを、あるストレージと、あるネットワークに、
リモートから瞬時に接続！
Any Storage
9 FC
9 NAS
9 iSCSI
仮想 NIC / HBA

複数のリンクを統合
vHBA1

vNIC1

vHBA2

vNIC2

vHBA3

10GE

Any Network

業界標準
汎用 x86 サーバ

vNIC3

20Gb/S
リンク

Infiniband
20 Gbps
4Gb 1GE 4Gb

サーバ
サーバ
プロフィール
プロフィール

9 WAN
9 LAN
9 DMZ
9 DB
9 管理

4Gb ファイバ
チャネル

2Gb 500M
1G/10G
イーサネット

すっきりと！

Xsigo トータル I/O ソリューション
I/O 仮想化コントローラ

ユニファイドサーバ
ファブリックネットワークL3 スイッチ

ルータ

IB スイッチ

IB クラスタストレージ¾ 広帯域 ( 20-40Gb)¾ 低コスト（10Gb = 2万円）
ラックマウント/¾ シンプル統合
ブレード
サーバ ¾ 設置後はリモート運用¾ I/Oの集中管理¾ QoS によるサービス保証¾ サーバ再起動必要なし

L3 スイッチ

FC スイッチ
FCoE ブリッジ

Ethernet ストレージ( NAS/NFS/iSCSI)FC ストレージ

FCoE ストレージ

IB スイッチ
IB ストレージ仮想データセンタの利用要件
ー 懸念要素と現状 －ソフトバンクテレコム（株）
研究本部 橋本 健

データセンタ内の仮想データセンタ

サーバ・リソース
ネットワーク・リソース
ストレージ・リソース

データセンタ仮想化のメリット• IT環境の一時利用– 開発・試験環境としての利用等• 開発環境とサービス環境の統一– 仮想リソースの利用による、インタフェースの統一• 動的な負荷変動への対応– オンデマンドでリソース追加– 必要最小限のリソースを最小限のコストで利用• 運用性、管理コスト– リソース統合による物理リソースの削減– ネットワークやストレージの物理接続を仮想化し、管理コストを削減• FCoIB、EoIB、IPoIB、FCoE、etc.

データセンタ仮想化の懸念事項• 性能– I/O集約によるボトルネック• Pass Through ModelやPCIe‐Gen2（IOV）、Virtual Function等の技術だけでは本質的な問題を解決できない。

• セキュリティ– リソース共有に起因するセキュリティ不安• 障害耐性– 多数のIT環境を統合・集約。 → 災害時の被害は甚大！！
– 物理ストレージ障害時のデータ保護不安• 管理方法– 物理環境と仮想環境の管理 （統合or分離？）– リソースプールの設置・増設計画

データセンタ・クラスタ
サーバ・リソース

サーバ・リソースストレージ・リソース
ネットワーク・リソース

ストレージ・リソース
ネットワーク・リソース

サーバ・リソースストレージ・リソース
ネットワーク・リソース仮想化からクラウドへ
日本アイ･ビー･エム（株）
システムx テクニカルセールス
システムズ&テクノロジー・エバンジェリスト
佐々木言

内容
•内容
クラウドコンピューティング• 仮想化共通基盤とリソースプール• 具体的な製品、ソリューション

13

クラウド・コンピューティングとは？
1 利用側にとってz ネットワークを通じて、アプリケーションや
データ、ITリソースをサービスとして利用する新しいコンピュー
ティング・スタイルz どこからでも、いつでも、多様なデバイスから極めて簡単な方法でITサービスを利用できる

利用側
サービスへ
のアクセス

2 管理者にとってz ユーザーのリクエストに即したＩＴサービスを迅速に生成し提供する仕組みz 高度な仮想化・自動化技術により劇的に運用負担を軽減する新しいシステム管理手法

データセンター
インフラストラクチャー

サービス＆ リソースの監視と管理

コンポーネント、ソフトウェア業者
コンポーネント、
サービス・テンプレートの公開と更新

例えば管理者

Cloud Computing
サービス・カタログ
コンポーネント ライブラリー

zサービスとしてダイナミックに提供されるITリソースにいつでも、どこからでもアクセス可能z継続して安定したサービス品質を提供しつつ、極めて迅速にサービスの拡張・縮小が可能
zアプリケーション開発と展開のシンプルな環境を提供。

クラウド･コンピューティングのメリットを企業情報
インフラで実現するIBMのエンタープライズ･クラウド
IBM が NEDC で目指す
エンタープライズ・クラウド

パブリック・クラウド•••

Google や amazon などの Web 2.0 系企業が自社データセンターを利用した無料または非常に低価格なITサービスを、インターネット経由でユーザーに提供
明確なサービス･レベル･アグリーメントはなく、信頼性やセキュリティーに課題
Google Apps Engine や amazon EC2 など•

Web2.0系企業

一般企業

•
•
•

一般企業が自社の情報インフラにクラウド技術を採用し、ユーザーからの要求に対する柔軟性や運用効率性を向上
企業システムで求められるサービス･レベル･アグ
リーメントの実現
情報漏洩やデータ保護に対する対策
IBM Blue Cloud など

インターネット
ユーザーのリクエストは、インターネット上のどこかのサーバー／ストレージで処理される

お客様
ユーザー
社内ユーザー

ユーザーのリクエストは、企業情報インフラのどこかのサーバー／ストレージで処理される

仮想化が新しいITインフラ（共通基盤）を導く
従来のアプローチ

仮想化によるアプローチ

ミドル・アプリの更新

アプリケーション

アプリケーション

アプリケーション

ミドルウェアミドルウェア

ゲストOS

ゲストOS

ミドルウェアOSの更新
ドライバーの更新

OS
CPU

メモリー

HDD

 同じシステムイメージが継続稼動

NIC

仮想デイバスサーバー

CPU

新しいハードウェア

メモリー

HDD

ハイパーバイザー

2コア

共通基盤に求められること
 基盤の変更による上位への影響がないこと

仮想デイバス
NIC

メモリー

CPU

ハイパーバイザー

4コア

ハイパーバイザーがハードウェアの違いを吸収する
ハイパーバイザーが提供する仮想デバイス・インターフェースが継続すること

ソフトウェアとハードウェアの分離→共通基盤への道




HDD

仮想マシンの独立性は確保され、不具合影響範囲の最小化
新しいサーバーでも既存システムの稼動が容易
パーティションモビリティやVMotion機能による可用性やメンテナンス性の向上

NIC

カプセル化がより容易なリソースプールを導く
 リソース・プールとは、あらかじめサーバー等のリソースをプールしておき、要求に応じリソースを提供するという考え方
仮想環境
物理環境
コピーによる拡張
アプリケーション サーバー能力不足による拡張 新システムの導入
アプリケーション
アプリケーション

ゲストOS
アプリケーション

ミドルウェアゲストOS

ミドルウェアミドルウェアミドルウェア

OS

OS

ゲストOS

サーバー

サーバー

①
リソースプールサーバー②④

 システムイメージのカプセル化

仮想デイバス
CPU

③

メモリー

HDD

ハイパーバイザー

ソフトウェア導入・設定

2コア

仮想デイバス
NIC

メモリー

CPU

HDD

NIC

ハイパーバイザー

4コア

OS
ミドルウェア

サーバー

差分の変更による新シス
アプリケーション テム

ミドルウェアアプリケーション

新規業務システム導入時間の低減
リソースの最小化が可能
オーバースペックの抑制が可能（段階的なサーバー拡張が容易）
サーバー増殖の抑制、予備機の抑制

仮想アプライアンス（Virtual Appliance）が鍵
 仮想アプライアンスとは-仮想化テクノロジーを利用した、新しいソフト流通方式（OSとアプリケーションをパッケージ化したもの）-OS、アプリケーションのインストールや設定が簡略化できる（アプリケーションの簡易的な設定程度）

Application

Application
MiddleVirtual ApplianceMiddleOSOS

hypervisor

hypervisor

ServerServerServer•••••

ビジネスモデルへの影響
SIビジネスの変化
サポートスキルの変化
仮想マシンの標準化
MS, Citrix•

IBM・配布形態(バーチャルハードディスクイメージ・フォーマット)
・VMDK（Virtual Machine Disk Format, VMware社）
・VHD（Virtual Hard Disk, マイクロソフト社）無料ライセンス
・JeOS（Just Enough Operating System：必要最小限のOS）

仮想化共通基盤

ソフトウェア販売形態の変化
成果物の提供形態の変化
ミドル、アプリベンダーが最適なチューニング
Open Virtual Machine Format (DMTF)
お互いのハイパーバイザー間で仮想マシンの移行を検討
http://www.vmware.com/appliances/
WebSphereを含めたテンプレート活用を検討
Using virtual image templates to deploy WebSphere Application Server
http://www.ibm.com/developerworks/websphere/techjournal/0705_willenborg/0705_willenborg.html

リソースプールの構成例
 ワークロード制約分析、技術的制約、ビジネス的制約の多次元分析から、複数のプール定義が作成される。
プールS
プールA
プールB

IBM Systems•レスポンスタイムの保証•CPU使用率は60％•停止時間に制限•予備機の装備•レスポンスタイムは柔軟•CPU使用率は70%•メンテナンス停止は柔軟

S
予備機

System z
BladeCenter

Systemx•業務システムテンプレートからコピー•新システム用にカスタマイズ•レスポンスタイム要求なし•統合率の追求•ハードウェアリソースの最小
化

A
A
A
A
A

S
S

A
A

S

Power Systems

B

B

B

B

B

B

B

B

B

B

B

B

共有ストレージ
SAN, iSCSI, NFS, SASSAS•各プールへ展開

B
A

B

System x/BladeCenter 仮想化専用モデル
事前にVMware ESXi 3.5が組み込まれたサーバー

CPU

メモリ

HDD
CPU
CPU

メモリ

x3850M2 仮想化モデル
HS21 XM仮想化モデル
ここにVMware ESXi
3.5が格納されている

仮想化専用モデルの容易なセットアップ①仮想化専用モデル到着②開梱、ケーブル類接続③電源オン

仮想化専用モデル

VMware ESXi 3.5は導入済み④ESXi 3.5の設定⑤Virtual Machine作成、ゲストOS導入
仮想化専用モデル

管理者パスワードのIPアドレスの設定
設定
システムBIOSライクな操作•管理者パスワードの設定•IPアドレス設定
のみ

VMware ESXi 3.5の起動

VI ClientもしくはVirtualCenter•ライセンス設定、Virtual Machineの作成・設定•ゲストOSの導入

クラウドは小規模システムでも・・・!?
業界初SAS接続で共有ストレージを実現
BladeCenter S専用RAID対応SASスイッチ•

VMware Infrastructure 3.5U2– 複数のBladeCenter
HS12/HS21/HS21XMからVMFS領域を共有し、VMotion/DRSが可能な構成を作成できます。

VM

VM

RAID5
VMFS

VM

オフィス配置も可能に！
騒音を低減（60dB程度）「１１Ｕ静音ラック」 +防塵フィルターパネル
・前面、後面の鍵付きのドア
・別途４Uのスペースを有効に活用
・ロック可能なキャスター付き
高さ ： 61.1cm、奥行 ： 115.5cm、幅 ： 51.8cm
重量：41kg、最大重量: 224kg

IBM Virtualization Managerによる一元管理
複数仮想化環境を1つのコンソールで表示
VirtualCenter
Virtual Farm

ホスト OS
ゲスト OS

VMwareホスト OS
ゲスト OS

ホスト OS
ゲスト OSXen

ホスト OS
ゲスト OS
ホスト
ゲスト OSPowerVM

IVM

ゲスト OS

23

仮想サーバー・イメージ管理 Virtual Image Management
システム・テンプレート・ビュー

System Templates

VMwareVirtualCenter

イメージ管理タスク

Select an action…
SelectD

System Template
Linux_App1

Status
Deployed

Platform
Location
System8 (local)
VMwareDescription
A user description of template

Linux_App2

Deployed

System9 (local)

WindowsXP

CreatedNimSvr3 (remote) MSVS

AIX_MyApps

Created

HMC_45Power

System plan used to deploy into new systems

Xen_Test1

DeployedvFarm1 (shared)Xen

A user description of template

Page 1 of 1
RefreshTotal: 5

Filtered: 0

VMwareA user description of template
A user description of template

Displayed: 5

Last refreshed: Feb 1, 2007 9:30:03 AM CSTCreate…
Create Based On…
Edit…
Deploy…
View…
Import…
Compare and Merge…
DeleteProperties
View Deployed Systems

Systemx
Xen

NIMサーバーPowerVM

Storage-based Images
イメージ イメージ イメージ
マスターマスター マスター Shared Storage “Virtual Image Management”はIBM Virtualization Managerのオプション製品
 システム・テンプレート・ビューから、PowerVM, VMware ESX Server, Xen環境のシステムイメージを管理可能
 システムイメージは、各OS、S/Wの導入や設定が完了した状態であるため、迅速な展開が可能

Power Systems

24新しいMassive Scale Out、IBM System x iDataPlex•Web2.0エリアで活躍するお客様からの声を活かした新しいサーバー •ブレード・サーバーで培った技術を活用

サーバー数増加と消費電力削減•••

ラックを90度回転し、サーバー密度の増加
最大84台のサーバー搭載
床面積の削減ラック上面図メンテナンス重視のサーバー
iDataPlex dx340
4個のファンが一体化
H/Wによる冗長機能は排除されている
1個の電源ユニットから2台のサーバーへ電力供給
・冗長構成なし
・ホットスワップなし（障害時最大2ノード停止）

後したファンユニット
2ノードの冷却・冗長構成なし
・ホットスワップなし

約半分の奥行き
ネットワークを含みIO
配線は前面から作業

ラック前面図水冷扉（オプション）による排熱低減

前柔軟なサーバー構成
マザーボードトレイ•リアドアヒートエクスチャンジャー（オプション）•CARCによる空冷方式よりも75%-95%効率化•100,000 Btu/hr of heat (~30 kW)•空調設備の低減

電源ユニットストレージトレイ2U フレックス・シャーシー

ファンユニット
六角形デザイン（IBM特許）

ラック背面図

IOトレイ

必要なコンポーネントを
自由に選択

25

いまできるクラウド！！
アプライアンス
アプライアンス

アプライアンス

VM
MySQL
Linux

VM

いずれかで稼動

MySQL

ブラウザーからドラッグ&ドロップでVM環境の提供を
実現

VM

Linux

MySQL
Linux

26

System x iDataPlex

次世代データセンタファブリック
メラノックス テクノロジーズ

早川 洋一

会社概要
シリコンベースのサーバ・ストレージ用インターコネクト製品
z イスラエル：Ｒ＆Ｄとオペレーション カリフォルニア：ビジネスＨＱz 第四世代目の製品(1999年より)
z 従業員：ワールドワイドで270名以上

インフィニバンド リーダーシップz パワフルコンピュータ基盤
z 410万ポート(10/20/40Gbs)を出荷(2008年9月現在)
z 動作、出荷量、品質安定した財務状態
z 2007年度 $84.1M,

2006年度とくらべ73%成長
z 200年第3四半期、$29.1M
z 2008年過去9ヶ月： $82.5M$106M raised in IPO Feb07
Ticker MLNX

多様なカスタマz Cisco, Dawning, Dell, Fujitsu, Fujitsu-Siemens, HP, IBM, NEC, NetApp,
QLogic, SGI, Sun, Supermicro, Voltaire仮想化データセンター・ソリューション基盤
ハードウェアServers

ソフトウェアエンドユーザEnterprise Data Centers

COMPUTERS

Switches
High-Performance Computing

Storage

Embedded
Embeddedインフィニバンドによる問題解決• サーバ増加による消費電力の増大• 仮想化サーバのI/Oボトルネック• ケーブルの量• ストレージサーバやファイルシステムの応答• 低コストでOracle RACを高速化• アプリケーション・パフォーマンスの改善
低レイテンシと髙バンド幅による効率UP

データセンターの課題*• 電力／クーリング– マルチコアCPUの活用– I/Oとサーバ・ストレージのコンソリデーション• サーバとストレージの増加– パフォーマンスのスケール• 機器の設置スペース– ブレード– ユニファイド・ファブリック

インフィニバンドによる問題改善と総所有コストの
最適化

• 管理
– 仮想化

*SourceJohna Till Johnson, President & Sr. Founding Partner
IT Roadmap Boston, NetworkWorld 2007

インフィニバンドによる改善
マルチコアサーバ／ストレージ電力＆パフォーマンス
2 x Quad Core CPUs
$2800, 240W
WastedMore memory forvirtualization

80Gb/s80Gb/s80Gb/s16GB Memory$1200, 192W

80Gb/sWasted80Gb/s

8GB Memory$600, 96W

80Gb/s40Gb/
s

1GigE, 50µs, $100, 4W

•
•
32

I/O不足

12Gb/s, 50µs, $2400, 28W• 仮想化でI/Oを増やす
CPU & Memoryはアイドル • コスト、消費電力、ケーブ
ル、複雑度UP
資産、電力の浪費

10-40Gb/s, 1µs, $900, 10W• ユニファイド I/O• 消費電力、コストの改善• ケーブルと複雑さを削減

仮想化とI/O統一• 仮想化によるサーバの効率化＝＞ I/O要求の増加• インフィニバンドによるユニファイドI/Oファブリック
•••10, 20, 40Gbp/s bandwidth, low latency
Transparency: no change in VMs and Virtual Center
Experience: end-to-end Eth LAN & FC SAN connectivity

•
•
•
•

I/Oコストの削減
I/O消費電力の削減
SANパフォーマンスの向上(4Gb/s FCの4倍)
LANパフォーマンスの向上(GigEの3-5倍)• インフィニバンドによる利点* With upcoming RSS and
NetQueue enabled release in
April 08. Current BW isabout 3X GigE.

Built-in lossless reliable
services deliver best inclass storage services

I/O統一によるケーブルの悪夢を解決

I/O統一のシナリオ• インフィニバンドで既存ネット• IB アダプタ(サーバ)ワークを活用• LAN/SAN/NAS：複数のオプ
ション/ベンダー IB スイッチ(bladeを含む)

 IB-Ethernet gateways
 IB-FC gateways

VMware と I/O コンソリデーション：効率よく“A single InfiniBand connection has ample room to carry both Ethernet and Fibre Channel traffic”
One InfiniBand adapter replaces Ethernet & Fibre Channel Adapters
Cable costs cut to a third Æ significant cost savings“Ability to dynamically allocate I/O resources between VMs”

According to Hall, Wachovia plans to deploy InfiniBand and VMware within the coming year
(2008). In tests of this combination, he says, he’s found that it can multiply I/O performance by
300% and substantially consolidate cables.
Jacob Hall, head of platform design and data center technology for Charlotte, N.C.-based Wachovia's corporate and investment bank.

“We have standardized our InfiniBand infrastructure on Voltaire because of its ease-of-management,high performance and cost effectiveness,” said Jochen Berger, CTO of Intergenia. “We use
InfiniBand both for storage I/O and network I/O which greatly simplifies our network design.”36インフィニバンドとは
 InfiniBand Trade Associationで定義された標準規格
 System Area Network architectureを定義

Rev
1.0

Rev
1.0a

2000

2001

Rev
1.1

Rev
1.2

2002

… 2004Rev
1.2.1

Processor
Node… 2007

HCA
Consoles サポートアーキテクチャ••••

ホストチャンネル アダプタ (HCA)
ターゲット チャンネル アダプタ (TCA)
スイッチ
ルータ

InfiniBand
SubnetHCA
HCA

Processor
Node

SwitchSwitchSubnetManager

SwitchHCA
SwitchTCA
TCA

 HWデザインの促進• 低レイテンシ / 髙バンド幅• トランスポート オフロード

Processor
Node

Gateway
Gateway
Fibre
ChannelRAID
Storage
Subsystem

Ethernet

インフィニバンドの優位性
 インダストリ スタンダード••

Hardware, software, cabling, management
Design for clustering and storage interconnect

The InfiniBand Performance
Gap is Increasing コストとパフォーマンス
••••240Gb/s(12X)

40Gb/s node-to-node
120Gb/s switch-to-switch
1us application latency
Most aggressive roadmap in the industry

 輻輳管理と信頼性
 効率
•
•
•

120Gb/s

RDMA とTransport Offload
Kernel bypass

80Gb/s(4X)

CPU をアプリケーション処理へ集中 ペタスケールコンピューティング End-to-end quality of service
 Virtualization acceleration
 I/O コンソリデーション

60Gb/s40Gb/s
20Gb/sEthernet
Fibre
ChannelInfiniBand Delivers the Lowest Latency

インフィニバンドのコスト/パフォーマンス

20Gb/s InfiniBand
Single port Copper

10Gb/s InfiniBand
Single port Copper

10 Gigabit Ethernet

Adapter Card
Price

SwitchPrice/Port

Total
Price

Price per
Gb/s

$345

$147

$492

$25

$125

$94

$219

$22

$354

$500

$854

$85

$337

$224

$561

$140

$39

$19

$58

$58

Single port CX44Gb Fibre Channel
Single port w/ SFP module

Gigabit Ethernet
Single port

All prices are end-user, single unit prices (Nov 08)
All switch systems are fixed configuration, 10Gb/s IB pricing from Colfax, 20Gb/s IB
pricing from AVA Direct and SANDirect, 4FC, 10GigE and GigE prices from CDW

Mellanox社のインフィニバンド製品
 ホスト チャンネル アダプタ (HCA)•

優れたパフォーマンス
¾ 10/20/40Gbps & 1usec MPI latency• Dual Port MicroGiGaCN & QSFP 40Gb/s スイッチ製品• 120Gbps Switch-to-Switch

40Gb/s adapter
IB Connectors

40Gb/s adapter
QSFP Connectors

 QDRスイッチ• 36 port 1U スイッチ
• 324 port chassis システム••

アクティブケーブル対応ポート
20Gbps (DDR) も利用可能

1U 36-port
QSFP Connectors

 Qualified copper & fiber cables• 4X Copper – up to 25m• 4X Optical – up to 300m
 主要なインフィニバンド・システムベンダー• HP, IBM, Dell, Sun, Supermicro, Tyan, Voltaire,
Qlogic, Appro, Bull

19U 324-port
QSFP Connectors

Virtual Protocol Interconnect
Applications Use Any Protocol over Any Convergence Fabric
App1

App2

App3

App4

…

AppX

Applications

Consolidated Application Programming Interface

Networking

Networking

Storage

Storage

Clustering

Clustering

Protocols

Management

Virtualization

RDMA

Acceleration
Engines

Dual Port

Auto-sense the fabricindependently per port•

10/20/40Gb/s インフィニバンド, 10Gb/s Ethernet, Data Center Ethernet– Fibre Channel over InfiniBand とFibre Channel over Ethernet

インフィニバンドの事例
HP Oracle Database Machine• データベースとストレージ間のI/Oボトルネックを解決– 20Gb/s インフィニバンド搭載ラックサーバ– インフィニバンド・EXADATAストレージサーバ– Oracle 11g• クリティカルなビジネス局面におけるより高速なアクセス– 10倍以上の Oracle data warehousing
クエリー パフォーマンス

まとめ
様々な用途に適したインフィニバンド

•– 主要なサーバ/ブレード、ストレージ、スイッチ– 優位的なパフォーマンス、プライス、消費電力、信頼性、効率、スケーラブル、柔軟性

インフィニバンドを使ったユニファイドI/Oによるデータセンター•– 次世代データセンターに向けたコンピューティング、ストレージ– 標準通信プロトコルサポート– 低レイテンシ、髙バンド幅、信頼性

Virtual Protocol Interconnect•43ストレージ仮想化とは？
データコア・ソフトウェア

片山 崇従来のストレージ管理
Application
Servers

Storage Area Network

Management Layer

RAID Controller

RAID Controller

RAID Controller

CachingCachingCaching

Volume Deployment & Security

Volume Deployment & Security

Volume Deployment & Security

Snapshot & Mirroring

Snapshot & Mirroring

Snapshot & Mirroring

LUN

LUN

LUN

RAID Function

RAID Function

RAID Function

ストレージ仮想化技術によるストレージ管理
Application
Servers

Storage Area Network

Management Layer
Thin Provisioning

Storage Virtualization Layer

Snapshot & Mirroring

Caching
Volume Deployment & Security

Storage Pool

Virtual Volume

RAID Controller

RAID Controller

RAID Controller

CachingCachingCaching

LUN

LUN

LUN

RAID Function

RAID Function

RAID Functionつまり、ストレージ仮想化技術とは…
●複数の物理ストレージを、仮想化によってあたか
も1台のように見せる●複数のリソースを集めて仮想化によって再配分し、柔軟に効率よく使用

データコアのストレージ仮想化ソリューション

仮想ボリューム
リソースプール
ストレージ仮想化レイヤー
ストレージ仮想化装置

仮想化

1.
2.
3.
4.
5.

ＩＡサーバで構成
Windows OS上で動作
サーバのHBAやNICはターゲットとして動作
物理メモリは Ｉ/Ｏキャッシュとして動作
物理ストレージを接続し統合管理ストレージ仮想化のメリット
将来にわたって継続的な価値をご提供

ハードウェア
の制限にと
らわれない
ストレージ
システム

ストレージ
要件や
コストの
最適化

ストレージ
リソースの
有効活用

柔軟で拡張
性が高く、統
一された管
理性や運用
性の提供

仮想化によってストレージのハードウェアからインフラを分離データコアのストレージ仮想化技術
１

ＳＡＮｍｅｌｏｄｙサーバは、ＩＡサーバ
ＳＡＮｍｅｌｏｄｙサーバは、ＩＡサーバ
をプラットフォームとして利用します。
をプラットフォームとして利用します。
選択するＩＡサーバに応じて、様々選択するＩＡサーバに応じて、様々なタイプのストレージコントローラをなタイプのストレージコントローラを自由に構成する事ができます。
自由に構成する事ができます。

２
ＳＡＮｍｅｌｏｄｙは、ＷｉｎｄｏｗｓサーバＯＳ
ＳＡＮｍｅｌｏｄｙは、ＷｉｎｄｏｗｓサーバＯＳ上で動作します。
上で動作します。

３
４

ＩＡサーバ上のＮＩＣはｉＳＣＳＩＩＡサーバ上のＮＩＣはｉＳＣＳＩ
ターゲットとして、ＦＣ-ＨＢＡ
ターゲットとして、ＦＣ-ＨＢＡ
はＦＣのターゲットとして動作
はＦＣのターゲットとして動作
します。
します。

６

ＳＡＮｍｅｌｏｄｙは、Ｗｉｎｄｏｗｓ
ＳＡＮｍｅｌｏｄｙは、Ｗｉｎｄｏｗｓ ＯＳが認識したＯＳが認識した
物理ボリュームを仮想ボリュームとして提供し物理ボリュームを仮想ボリュームとして提供します。そのため、内蔵・外付けを問わず、あらゆます。そのため、内蔵・外付けを問わず、あらゆ
るストレージリソースを配下で利用する事が可
るストレージリソースを配下で利用する事が可能です。（FC、iSCSI、SATA、SAS、IDE…）
能です。（FC、iSCSI、SATA、SAS、IDE…）

５

ＳＡＮｍｅｌｏｄｙもしくはＳＡＮｓ
ＳＡＮｍｅｌｏｄｙもしくはＳＡＮｓ
ｙｍｐｈｏｎｙをインストールした
ｙｍｐｈｏｎｙをインストールした
ＩＡサーバは、ストレージコント
ＩＡサーバは、ストレージコント
ローラの様に動作します。規模や機能にローラの様に動作します。規模や機能に応じて豊富なライセンス体系を持ち、アッ応じて豊富なライセンス体系を持ち、アップグレードも可能なため、システムやプグレードも可能なため、システムやデータの拡張に合わせて最小のリスクでデータの拡張に合わせて最小のリスクで導入が可能です。
導入が可能です。

ＩＡサーバ上の物理メモリは、最大80％がＩＡサーバ上の物理メモリは、最大80％がストレージのブロックキャッシュとして利用
ストレージのブロックキャッシュとして利用されます。ＩＡサーバの安いメモリを利用すされます。ＩＡサーバの安いメモリを利用する事で安価で大容量のキャッシュが確保る事で安価で大容量のキャッシュが確保
できます。
できます。

仮想ストレージシステム構成
２ エージェントレス
エージェントレス
アプリケーションサーバは、仮
アプリケーションサーバは、仮
想ボリュームを認識するための想ボリュームを認識するためのクライアント/エージェントを必要
クライアント/エージェントを必要としません。仮想ボリュームにとしません。仮想ボリュームに対して自由にフォーマットを行い対して自由にフォーマットを行い通常のＳＣＳＩデバイスとして利通常のＳＣＳＩデバイスとして利用する事ができます。
用する事ができます。

１ インバンド
インバンド
アプリケーションサーバとストレー
アプリケーションサーバとストレージの間にＳＡＮｍｅｌｏｄｙサーバを設ジの間にＳＡＮｍｅｌｏｄｙサーバを設置し、全てのI/Oが仮想サーバを置し、全てのI/Oが仮想サーバを経由する構成を作ります。仮想の経由する構成を作ります。仮想のボリュームと物理のリソースの間でボリュームと物理のリソースの間でデータの管理をSANmelodyが行いデータの管理をSANmelodyが行います。
ます。

３ オープンストレージ
オープンストレージ
物理ストレージからのディスクの認
物理ストレージからのディスクの認識には仮想サーバ上のＷｉｎｄｏｗｓ
識には仮想サーバ上のＷｉｎｄｏｗｓ
ＯＳの機能を利用します。そのため、ＯＳの機能を利用します。そのため、Ｗｉｎｄｏｗｓ
Ｗｉｎｄｏｗｓ ＯＳに対応しているストＯＳに対応しているスト
レージであれば、内蔵、外付、インレージであれば、内蔵、外付、インターフェースやＨＤＤなどの区別な
ターフェースやＨＤＤなどの区別なく、有効に活用する事が出来ます。
く、有効に活用する事が出来ます。

４

パフォーマンス
パフォーマンス
ハードウェアスペックに依存しな
ハードウェアスペックに依存しないパフォーマンス設計が可能に
いパフォーマンス設計が可能に
なります。
なります。
１．大容量キャッシュ
１．大容量キャッシュ
２．アクティブで動作するター
２．アクティブで動作するター
ゲットポートゲットポート３．複数のストレージコントロー
３．複数のストレージコントロー
ラへのI/O分散
ラへのI/O分散

SANmelodyの主な機能
iSCSI / FCターゲット
高速キャッシング
仮想リソースプール“Thin Provisioning”

シン・プロビジョニング“Thin Provisioning”

スナップショット
“Snapshot”

同期ミラーリング
“Auto Failover”

非同期ミラーリング“Asynchronous IP Mirroring”

データマイグレーション“Transporter”

iSCSI / FCの両ターゲットに対応。
1台のSANmelodyサーバ上で混在も可能。
SANmelodyサーバのメモリをIOキャッシュとして利用。
1台あたり16GBまで構成可能。
複数のストレージリソースをプールで束ねて、あたかも一つのス
トレージの様に管理。複数のプールが作成可能。
予め仮想的に大きな容量を与え、書き込みがあった時にリソー
スを割り当てる機能。ストレージ使用効率の向上が可能。
仮想ボリュームの複製機能。筐体を越えた複製が可能。また、差分のブロック管理によって短時間に大容量の複製が可能。
SANmelodyサーバを冗長化し、ストレージを完全に2重化する機能。障害時だけでなく、メンテナンス時の無停止も実現。
IPを使ったリモートミラーリング機能。HWに依存しないため、DRにかかるコストを最適化。
P to Vのデータマイグレーション機能。仮想環境への移行を、最小のダウンタイムで実現。

同期ミラーリング機能

Multi Path

１

Failover１

Failback
２

３

Mirroring Path

Mirroring Path

３

Mirroring Path２
４

４
Management Network

１

２
Management Network

Management Network

SANmelody HA構成図

Failover時の動作

Failback時の動作

2台のSANmelodyサーバ間でキャッシュを同期し、それぞれのストレージへ書き込む事で二重化を実現します。

障害やメンテナンス等で、プライマリパス
側の仮想ボリュームが認識できなくなると、自動でFailoverしI/Oを継続します。

リカバリーが終わると、自動的にFailback
し、プライマリパスにI/Oが戻ります。
Failoverの条件によって差分リカバリーか
フルリカバリーか決まります。

① 書き込み① 書き込み① リカバリー② キャッシュの同期② 物理ディスクへの書き込み② リカバリー完了後Failback③ 書き込み完了③ 書き込み完了④ 物理ディスクへ書き込み仮想サーバとの相性が良い理由
１

ソフトウェアによるインフラ全体の仮想化

2

多くの仮想サーバとのサポートや実績

3

運用ノウハウの蓄積と運用改善

4

ストレージの完全2重化による可用性

5

ハイパフォーマンス

6

ハードウェアに依存しない段階的な拡張

7

ハードウェアに依存しない柔軟な構成変更

8

コストの最適化ソフトウェアによるインフラ全体の仮想化へ

ＦＣ
ＦＣ
ｉＳ
ｉＳ
ＣＳ
ＣＳ
Ｉ
Ｉ

仮想インフラ層
Vi r

tua

l In

f ra

st r

uct
u

re

Lay
e

ソフトウェア層
So

f tw

are

Lay

Virtual Servers
Softwarer

Virtual Desktop
Software

tu
V ir

er

ハードウェア層
Ha

tu
V ir
rd w

are

Lay
e

r

tu
V ir

al

D

kt
es

op

al

rs
rve
e
S

al

r
Sto

age

データセンタ・クラスタ 実証実験報告
ソフトバンクテレコム（株）
研究本部 橋本 健

サーバ仮想化技術におけるクラスタ
単一物理サーバ上への統合 → 複数の物理サーバをクラスタ化
・ 負荷変動への対応、保守性の向上
・ 耐障害性の向上

App

App

App

App

App

App

OS

OS

OS

OS

OS

OS

VM

VM

VM

VM

VM

VM

仮想サーバ

Server Resource Pool
物理サーバ

仮想環境コントローラ

クラスタ化による耐障害性の向上
サーバ、ストレージ等の機器障害発生時にもサービスは継続可能

App

App

OS

OS

VM

VM

Server Resource Pool
サーバ・リソース

仮想環境コントローラ

Storage Resource Pool
ストレージ・リソース
Vol_A

Virtual Volume

Vol_A’

データセンタ・クラスタ・災害耐性を向上し、災害時の復旧コストを最小化
・複数データセンタで負荷分散やピーク性能共有・分散したリソースも単一データセンタと同様に利用・管理

サーバ・リソース
サーバ・リソースストレージ・リソース
ストレージ・リソース
ネットワーク・リソース
ネットワーク・リソース

実証実験の物理構成（概要）
東京 ＤＣ

大阪 ＤＣ

IB

IB

約700km<VP780><VP780>

IB

IB

FC

FC

<v2.0>

Ｓｔｏｒａｇｅ<v2.0>

Ｓｔｏｒａｇｅ

実証実験における切り替え動作（概要）
東京 ＤＣ

大阪 ＤＣ

XP

XP

XP

XP

VM#1

VM#2

VM#1

VM#2

VMware HAによる切り替え
V-Vol
V-Vol

V-Vol
V-Vol
IB

IB

IB

IB

FC

SANmelody HAによる切り替え
Vol

FC
Vol

LUN

LUN
Ｓｔｏｒａｇｅ

Ｓｔｏｒａｇｅパートナー様募集

データーセンター
パートナー様広域仮想化プラットフォーム
DCファシリティ

ネットワーク