「急がれる I/O 統合、そして I/O 仮想化
そのわけとは？」そして、絶間なく進化するインフラ技術。投資保護を実現するポイントとは？

シーゴシステムズ・ジャパン
I/O 仮想化 マーケティング
尾方 一成( Issei Ogata )© 2007 XSIGO SYSTEMSCONFIDENTIAL

1

経営層からの要求
要求

コスト削減

ビジネス機会の損失回避

グリーンITへの貢献

活動

初期投資・運用
コストの削減スピードアップ
信頼性の向上CO2 排出量の削減

目標

50% 以上の削減！

翌日サービスイン
ノンストップ

50% 以上の削減！

その解は？

© 2007 XSIGO SYSTEMS

統合化・仮想化CONFIDENTIAL

2

IT システム管理者の日々の考え事・・・• サービスの立上げ• メンテナンス• 消費電力、熱対策、冷却コスト• ラックスペース• データバックアップ• 災害対策• 障害対策• ドキュメント作成© 2007 XSIGO SYSTEMS

そんな彼は、ある日こんな夢をみました・・
CONFIDENTIAL

3

呪われた データセンタ・・・© 2007 XSIGO SYSTEMSCONFIDENTIAL

4

そうだ、 統合化を始めよう！
サーバ 統合データセンタ 統合

処理能力の高いサーバへの統合・移行

設備管理費削減
運用効率の向上

運用・管理システム 統合

I/O

運用手順の標準化
運用効率の向上ネットワーク 統合
アップリンク広帯域化
セキュリティ強化
ストレージ 統合© 2007 XSIGO SYSTEMS

ディスク利用率向上
バックアップシステムの整備
CONFIDENTIAL

5

I/O の身辺調査
サーバのパフォーマンスは劇的に向上
CPU 数とメモリ容量の増加 → パフォーマンスの向上

サーバ仮想化の促進
複数のアプリケーションを同一サーバ上で稼動させることにより、サーバ性能を最大限有効活用。
広帯域 サーバ I/O のニーズが増加
サーバ性能の向上、サーバ仮想化の促進に加え、ディスクレスサーバの導入が始まり、広帯域サーバ I/O のニーズが向上。
ネットワークのアーキテクチャは絶間なく変化
I/Oに関連する新しい技術 (DCE, FCoE, 8Gbps FC 等) が登場。
データセンタ構築・運用の短期と長期の計画がますます複雑に。
© 2007 XSIGO SYSTEMSCONFIDENTIAL

6

Xsigo Systems（シーゴシステムズ） 会社概要
今日のデータセンタニーズに応え、かつ将来においても既設のシステムと新しい技術を融合（統合）する形にてシステムの増設を可能にする『I/O 仮想化トータルソリューション』プロバイダ•

US本社創設:2004年8月•日本法人設立: 2006年11月•

製品リリース: 2007年9月

•従業員:

•

本社:

110名

– サンノゼ、CA•

出資:• ボードメンバー:¾レイ・レーン（オラクル元 社長）¾マーク・レスリー（ベリタスソフトウェア創業メンバ）¾ビノッド・コースラ（サンマイクロシステムズ創業メンバ ）¾アショック・クリシュナマティ
（ジュニパーネットワークス創業メンバ）– Kleiner Perkins,– Greylock Partners,– Khosla Ventures– Juniper Networks© 2007 XSIGO SYSTEMSCONFIDENTIAL

First shipment : January 2007

7

Award と各種メディアからの注目度© 2007 XSIGO SYSTEMSCONFIDENTIAL

8

サーバ I/O 統合に必要なもの？
10G/20Gbps
サーバ
ファブリック接続

広帯域
低遅延
LAN/WAN
サーバ間通信スイッチ型バスアーキテクチャ

ユニファイドサーバファブリック

ストレージ
管理・モニタリング

低コスト
社内 LAN

EthernetFibre Channel
接続

WAN /Internet© 2007 XSIGO SYSTEMSSAN/NAS
ストレージ

高信頼
エコ

CONFIDENTIAL

9高速サーバ I/O = InfiniBand
InfiniBandは、広い帯域幅と非常に高いRAS（信頼性・可用性・保守性)、そして低遅延の特徴を持つスイッチ型の サーバ用高速 I/O バスアーキテクチャ であり、コンピュータ同士、コンピュータとストレージ、もしくはネットワーク機器を接続。
HCAは、Host Channel Adapter の略で、InfiniBand機器がホスト側のCPUやメモリにアクセスできるようにするもので、ホストにとってInfiniBandの出入口となる。
圧倒的なコストパフォーマンス！

シングルポート

デュアルポート

1ポート 10Gbps ¥86,250
2ポート 10Gbps ¥122,500【特徴】• フロー制御を備えた信頼性の高い伝送• ハイパフォーマンス ( 10,20,40Gbps )• 効率的なデータ転送（RDMAサポート）• 各トラフィック毎の専用リソース• 拡張性 ( 数千台のノード管理）© 2007 XSIGO SYSTEMSCONFIDENTIAL

1ポート20Gbps ¥112,500
2ポート 20Gbps ¥132,750

標準 4Gb FC HBA¥128,000
標準 10GE NIC¥240,000

40GbpsQDR ( Quad Data Rate )Mellanox社 ４月リリース
10Infiniband の真の実力とは？(Top500)
Top500 : スーパーコンピュータの性能を計測し、ランキングを公表するプロジェクト◇ 相互接続プロトコル別（１位～500位）

8%◇ 相互接続プロトコル別（１位～100位）

11%

57%

24%

Gigabit Ethernet
Infiniband独自プロトコル
その他

ところが・・48%

21%

Ethernet = 57%
Infiniband = 24%
◇8%

23%

Gigabit Ethernet
Infiniband
独自プロトコルその他

Ethernet = 8%
Infiniband = 48%

相互接続プロトコル別 （１位～10位）

順位システム導入先

1 Roadrunner
DOE/NNSA/LANL(米)2 BlueGene/L
DOE/NNSA/LANL(米)3 Blue Gene/P
Argonne National Laboratory(米)4 Ranger
Texas Advanced Computing Center(米)5 Jaguar
Oak Ridge National Laboratory(米)6 JUGENE
Forschungszentrum Juelich(独)7 Encanto
New Mexico Computing Applications Center
8 EKA
Computational Research Laboratories(印)9 Blue Gene/PIDRIS(仏)10 SGI Altix ICE 8200EX Total Exploration Production(仏)ベンダーIBM
IBM
IBM
Sun
CrayIBM
SGIHP
IBM
SGI

スコア
相互接続
(TFLOP/s)
1,026.0 Inifiniband
478.2 BuleGene/L独自
450.3 BuleGene/L独自
326.0 Inifiniband
205.0 Cray XT4 独自
180.0 BuleGene/P独自
133.2 Inifiniband
132.8 Inifiniband
112.5 BuleGene/P独自
106.1 Inifiniband* １０サイト中、５サイトが Infiniband を採用。Ethernet の採用は０。
© 2007 XSIGO SYSTEMSCONFIDENTIAL

11

ネットワーク運用の統合化 - FCoE
Fibre Channel over Ethernet（FCoE）は、ANSI INCITS T11で標準化がすすめられている新しいプロトコル。ファイバチャネル（FC）のプロトコルをイーサネット フレームとして運ぶことにより、LAN（イーサネット）とSAN（ファイバチャネル）のI/O 統合が実現。
（課題） FCoE をサポートするイーサネット ネットワークは、ネットワークを通過するパケットがドロップすることなく転送されることが必須。そのためには、FCoE スイッチ設計に、ドロップの発生しないパケット転送とネットワーク フロー制御のメカニズムが組み込まれている必要がある。
2008年 : 標準化作業 →2009年 : テスト導入期間 → 2010年 : 実運用開始

FCoE 対応 10GE CNA ( Converged Network Adapter Card )Emulex LP21000© 2007 XSIGO SYSTEMS

Qlogic QLE8042
CONFIDENTIAL＜フロー制御とロスレスイーサネット＞
ファイバ チャネルでは、データが途中でドロップされずに送信先に届くことを保障しているが、イーサネットでは送信先に確実に届くことは保障しておらず、パケットロスは上位階層の TCP/IP の再送機能で対応する取り決めとなっている。イーサネットのようなパケット ドロップ方式の輻輳管理は、ストレージ ネットワーク環境には使用できないため、FCoE には新たな機能拡張が必要となる。
そこで FCoE では、輻輳管理にイーサネットの PAUSE機能を転用。これは、ある受信ポートのトラフィックが多くなると、その受信ポートから送信元ポートに対してPAUSE 信号を送り、送信を一時的にストップさせる機能。
12

Xsigo のトータル I/O ソリューション
Xsigo I/O 統合 ソリューション
低コスト

ストレージ

広帯域

高信頼

次世代高速
サーバ I/O= Infiniband

ネットワーク
一元化型 I/O= Ethernet

Fibre Channel

Ethernet

低遅延

ネットワーク

一元化

運用性

ネットワーク
管理者向け

サーバ /ストレージ管理者向け
サーバ© 2007 XSIGO SYSTEMSCONFIDENTIAL

13

あらゆる I/O ニーズへ対応
Storage

Internet
Ethernet
L3 Switch

FC
Switch

40Gbps20Gbps Infiniband
10GbpsEthernet
Infiniband

FCoE
Switch

10Gbps Ethernet

FCoE© 2007 XSIGO SYSTEMSCONFIDENTIAL

14

VP780 : I/O 仮想化コントローラ
ハードウェアベースのアーキテクチャ• ノンブロッキング ファブリック

24 サーバポート
Xsigo 独自の ASIC
ラインレートのスループット サーバエッジスイッチの利用により、１００台を越えるサーバも接続可能

4U サイズSCP (システムコントロールプロセッサ)

冗長化ファン

15 x I/O モジュールスロット• 4ポート x 1GbE
• 10ポート x 1GbE
• 1ポート x 10GbE• 2ポート x 4Gb Fibre Channel• 1ポート x 10Gb InfiniBand
冗長化ホットスワップ対応電源© 2007 XSIGO SYSTEMSCONFIDENTIAL

15

VP780 オプション
I/O モジュール

4ポート
1Gigabit
Ethernet

10ポート
1Gigabit
Ethernet

1 ポート
10 Gigabit
Ethernet

2ポート
4 Gigabit
Fibre Channel

ラックスイッチ : IS24
24 ポート Infiniband スイッチ
- 20Gbps / Double Data Rate (DDR)- 10Gbps / Single Data Rate (SDR)
ノンブロッキングファブリック
- 480 ギガビットの帯域© 2007 XSIGO SYSTEMSCONFIDENTIAL

16

シーゴによる I/O 仮想化のイメージ図
OS

OS

OS

Xsigo ドライバ

Xsigo ドライバ

Xsigo ドライバ

PCI-express

PCI-express

PCI-express

vNIC vNIC vHBA

vNIC vNIC vHBA

vNIC vNIC vHBA

NIC

NIC HBAHCANIC

NIC HBAHCANIC

NIC HBA
HCA

ユニファイド多数のアダプタカードとケーブルがスパゲティ状に・・・
サーバ・ファブリック
複雑な運用管理。ヒューマンエラーの原因にもノンブロッキングファブリック
ノンブロッキングファブリック

LAN スイッチ© 2007 XSIGO SYSTEMS

アプライアンスCONFIDENTIAL

ストレージ

17

Xsigo の I/O 統合コンセプト
1GE 1GE 1GE 1GE

10GE
10GE
10GE
10GE FC
NFSiSCSIFCFC

FC

統合型
I/O スイッチ

データセンタ

データセンタラックブレード型
サーバ

ブレード型
仮想データセンタ© 2007 XSIGO SYSTEMS

ラックマウント型
サーバ
CONFIDENTIAL

18例) 120 ラックマウント型サーバ構成
10/20 Gbps の物理 IB リンクをXsigo の帯域保証機能により、複数の仮想リンクに分けて使用。

経営層からの要求
CO2 排出量削減
クリア！

vHBA1 vNIC1vHBA2 vNIC2 vHBA3 vNIC3

Infiniband
10 / 20 Gbps
2Gb 1GE 2Gb 1GE 2Gb500M© 2007 XSIGO SYSTEMSCONFIDENTIAL

19初期投資コストの削減
例）サーバ１２０台の I/O 冗長化構成（定価） 経営層からの要求
初期コスト削減クリア！

今までの I/O

Xsigo の I/O

480 NIC ポート
240 HBA ポート
480 Ethernet ケーブル
240 Fibre ケーブル
480 Ethernet スイッチポート240 FC スイッチポート

240 HCA ポート
240 + 48ケーブル
2 Xsigo 筐体 + OS
1GE + 4Gb FC モジュール
12 Xsigo サーバスイッチ

総合計: 約 $700,000

総合計: 約 $450,000

I/O だけで 35％ の初期投資コスト削減が可能に！
© 2007 XSIGO SYSTEMSCONFIDENTIAL

20

I/O 統合から I/O 仮想化へ
いかに柔軟性・運用性・冗長性が高く、サービス品質の保証を実現できるサーバ I/O を提供できるか？

I/O 統合ユニファイド・サーバファブリック
I/O 仮想化
柔軟性
柔軟性
自由自在に仮想I/Oを制御
自由自在に仮想I/Oを制御

運用性
運用性
サーバI/Oを一元的に集中管理
サーバI/Oを一元的に集中管理

冗長性
冗長性
I/Oの高速切替を完全サポート
I/Oの高速切替を完全サポート

帯域保証(QoS)
帯域保証(QoS)
仮想サーバ環境を最適化
仮想サーバ環境を最適化© 2007 XSIGO SYSTEMSCONFIDENTIAL

21ご想像ください• 新製品/サービスの発表により、Webサーバとアプリケーションサーバのネットワーク増強が必要に

データセンター内へエンジニアを派遣

サーバのふたを取り外し、アダプタカードのインストール© 2007 XSIGO SYSTEMS

物理ネットワーク接続を確認

サーバのシャットダウン
ラックからの取り外し作業

再度、サーバをラックマウント後、サーバ再起動。最終動作確認
CONFIDENTIAL

お疲れ様でした22

Xsigo リモート I/O 管理イメージ
サーバの再起動をすることなく作業完了！
Server Profile

Server Profile
vnic1

vnic2

MAC

MAC

移行

MAC : 00-55-44-33-00-01
MAC : 00-55-44-33-00-02

HCA

vnic1

vnic2

MAC

MAC

MAC : 00-55-44-33-00-01
MAC : 00-55-44-33-00-02

仮想HBA

HCA

add server-profile server1 HP_DL360@ExtSw-b8cffff004401-Port16")
addvnic
server-profile
server1
add
vn01.server110/1")HP_DL360@ExtSw-b8cffff004401-Port16")
add
vnic
vn01.server110/1")
set vnic vn01.server1 -addr-type=static-ip-addr=192.168.10.201 -netmask=255.255.255.0
setvnic
vnicvn02.server1
vn01.server110/1")-addr-type=static -ip-addr=192.168.10.201 -netmask=255.255.255.0
add
add
vnic
vn02.server110/1")
set vnic vn02.server1 -addr-type=static -ip-addr=192.168.10.202 -netmask=255.255.255.0
setvnic
vnicvn03.server1
vn02.server110/1")-addr-type=static -ip-addr=192.168.10.202 -netmask=255.255.255.0
add
add
vnic
vn03.server110/1")
set
vnic
vn03.server1-addr-type=static-ip-addr=192.168.10.203 -netmask=255.255.255.0
set
vnic
vn03.server1-addr-type=static-ip-addr=192.168.10.203 -netmask=255.255.255.0
add vnic vn04.server1 10/1")
add
vnic
vn04.server110/1")
set
vnic
vn04.server1-addr-type=static-ip-addr=192.168.10.204 -netmask=255.255.255.0
setvnic
vnicvn05.server1
vn04.server110/1")-addr-type=static -ip-addr=192.168.10.204 -netmask=255.255.255.0
add
add
vnic
vn05.server110/1")
set vnic vn05.server1 -addr-type=static-ip-addr=192.168.10.205 -netmask=255.255.255.0
setvnic
vnicvn06.server1
vn05.server110/1")-addr-type=static -ip-addr=192.168.10.205 -netmask=255.255.255.0
add
add
vnic
vn06.server110/1")
setvnic
vn06.server1-addr-type=static-ip-addr=192.168.10.206 -netmask=255.255.255.0
setvnic
vnicvn07.server1
vn06.server110/1")-addr-type=static -ip-addr=192.168.10.206 -netmask=255.255.255.0
add
addvnic
vn07.server110/1")
set vnic vn07.server1 -addr-type=static -ip-addr=192.168.10.207 -netmask=255.255.255.0
setvnic
vnicvn08.server1
vn07.server110/1")-addr-type=static -ip-addr=192.168.10.207 -netmask=255.255.255.0
add
add
vnic
vn08.server110/1")
set
vnic
vn08.server1-addr-type=static-ip-addr=192.168.10.208 -netmask=255.255.255.0
set
vnic
vn08.server1-addr-type=static-ip-addr=192.168.10.208 -netmask=255.255.255.0
add vnic vn09.server1 10/1")
add
vnic
vn09.server110/1")
setvnic
vn09.server1-addr-type=static-ip-addr=192.168.10.209 -netmask=255.255.255.0
setvnic
vnicvn10.server1
vn09.server110/1")-addr-type=static -ip-addr=192.168.10.209 -netmask=255.255.255.0
add
addvnic
vn10.server1
10/1")
set
vnic
vn10.server1-addr-type=static-ip-addr=192.168.10.210 -netmask=255.255.255.0
2007
XSIGO SYSTEMSCONFIDENTIAL
set©vnic
vn10.server1-addr-type=static -ip-addr=192.168.10.210 -netmask=255.255.255.0

仮想NIC

23

仮想サーバ環境の今後
仮想サーバ環境のサーバ I/O ボトルネック ＝複数の仮想サーバが 物理 NIC/HBA を共有

VM1-1

VM1-2

VM1-3

VM1-4

VM2-1

VM2-2

VM2-3

サーバ２

サーバ１

トラフィック集中
I/O にボトルネック発生！

© 2007 XSIGO SYSTEMS

VM2-4

VM3-1

VM3-2

VM3-3

VM3-4

サーバ３

仮想サーバの導入によりサーバリソースを増やせたものの、 I/Oのボトルネックにより効果半減
CONFIDENTIAL

24

仮想サーバ環境での帯域保証
各仮想サーバへの個別 I/O の割当て =NIC共有を回避することによる負荷分散
仮想サーバ（アプリケーション）毎の帯域保証

500M

300M

100M

10Gb

10Gb

1G

800M

500M

500M

10Gb

10Gb

1G

200M

200M

200M

10Gb

10Gb

3G

Infiniband
Xsigo QoS により、各仮想サーバへ割当てた NIC の帯域を保証。
仮想サーバ環境でのSLAを実現© 2007 XSIGO SYSTEMSCONFIDENTIAL

25

Xsigo 仮想 I/O 運用・管理ツール

Xsigo アイコン

© 2007 XSIGO SYSTEMSCONFIDENTIAL

26

運用負担比較 （例: 新規サーバの導入）
既存 固定I/O環境

次世代 仮想I/O環境

 先を見据えたI/O構成の計画が必要となり、サーバへは物理的にアダプタカードを追加。
 関連するケーブルの配置計画も必要となり、全て物理的な取り付け作業。
 各サーバにはアプリケーション種別により、個別の I/O 構成があり、それぞれストレージおよびネットワーク機器側の設定に反映させる必要がある。
 通常の導入時間 : 数週間

 サーバとの接続は仮想であり、必要に応じてサーバに実装できる。
 シンプルな配線計画。物理ケーブル配線は、アプリケーションに関わらず全サーバで統一可能。
 ストレージの事前割り当てに加え、ネットワークリソースを一度に複数のサーバに割り当て可能。サーバマネー
ジャは、チーム全体を巻き込むことなく必要に応じてサーバを導入できる。
 通常の導入時間 : 数時間

経営層からの要求運用コスト削減
クリア！

© 2007 XSIGO SYSTEMSCONFIDENTIAL

27

サービスアップを急げ！
システムの設定変更や再構築を完了までに要する時間
サーバ管理者

現在

新規サーバのインストール

アプリケーションのインストール

SAN 管理者

ネットワーク管理者

SAN 接続の再割当て

LAN 接続の再設定

数週間
サーバ管理者

Xsigo

経営層からの要求
ビジネス機会の喪失回避
クリア！

新規サーバ、アプリケー
ションのインストール

短縮時間

数時間

数百倍の速さで システムの再構築が可能！
© 2007 XSIGO SYSTEMSCONFIDENTIAL

28

まとめ : 仮想I/Oの導入効果
複雑化するインフラには・・・

運用は火の車、そこで・・・

I/O統合によりケーブルを削減し、システム構成を簡素化。消費電力の削減によりCO2排出量を削減！

便利な仮想 I/O運用管理ツー
ルやサーバ I/Oの集中統合管理により、日々のシステム運用をもっと楽に柔軟性のないインフラには・・・

設備はパンク寸前、そこで・・・

広帯域 I/Oにより I/Oボトル
ネックを排除し、I/O仮想化
により自由自在にリモートから、I/O設計・構築・拡張を可能に！

様々な物理 I/O 制限を取り除き、ラックスペースの有効活用と、仮想化環境を最適化！

© 2007 XSIGO SYSTEMSCONFIDENTIAL

29

最後にI/O 仮想化といえば・・・

Issei Ogata「イッセー おがた」 まで
iogata@xsigo.com© 2007 XSIGO SYSTEMSCONFIDENTIAL

30