2013/10/29 MPLS JAPAN発表資料

クラウド事業者から見た課題と今後～さくらのクラウド編～
さくらインターネット研究所
大久保 修一ohkubo@sakura.ad.jp

さくらのクラウドとは？
IaaSの基本的なリソースを提供
サーバ• 1コア/1GB～12コア/128GB• 全42種類• UNIX系OS各種、Windows

ストレージ• SSD 20GB, 100GB• HDD 40GB～4TB• アーカイブ、ISOイメージ領域

ネットワーク• 共有グローバルセグメント• 専用グローバルセグメント• スタティックルート• ローカルスイッチ• ロードバランサ• パケットフィルタ
全てAPIで自由に操作可能

これらの組み合わせでSoftware-Defined Data Centerを実現！

最近のアップデート

2013/10/8より石狩第２ゾーン提供開始

ゾーンとは？
• AWSさんのアベイラビリティーゾーン的な• システムを完全に分離、障害が波及しない• APIサーバ（クラウドコントローラ）とコンパネサーバも分離• GSLB等と組み合わせた冗長システムの構築が可能

以前のネットワーク（第1ゾーン）
インターネット
10GbEなストレージ

ルータ10GbE L2スイッチ（ファブリック的な）↑Etherの世界
Ethernet  InfiniBand
変換装置↓InfiniBandの世界

InfiniBand QDR(40Gbps)

ホストサーバ

IBなストレージ新規のネットワーク（第2ゾーン）
インターネット
ルータ
多数のVLANをあらかじめ設定

10GbEのみでシンプルに！
以前IBで組んでいたストレージは10GbEで組み直した。

10GbE L2スイッチ

ToR

ToR

ホストサーバ

ホストサーバ1ラック30台ずつ

1ラック30台ずつ

ToR

10GbEなストレージ課題１：ストレージネットワーク

ネットワークの統合
普通に安全に組むなら・・・

できれば一緒にしたい

VM間通信用ネットワーク

VM間通信用＆ストレージ
ネットワーク

MGMT

MGMT

ストレージ
ネットワー
クA面

ストレージ
ネットワー
クB面

MGMT

MGMT

配線もスイッチもたくさん必要

文化の違うネットワーク

HV内でのストレージ通信の分離
L2ネットワーク

ToR#1

ToR#2
TwinaxVLAN2～4094
eth0

ストレージ通信をOVSから分離することで安定化。
VLANタグの付与、除去はNICへHWオフロード。

eth1

ホストサーバbonding
Open vSwitch
VM
VM

VM
VM

eth0.96eth1.96VM

vlan99bond96VM

100.64.32.1（OVS監視用）

100.64.16.1（ストレージ用）
eth2

IPMI
MGMT

バーストによるパケロスのケア
アップリンクバッファ

バッファから溢れるとパケットロス

瞬間的に合計10Gbpsを超える

10G

10GbEのL2スイッチ
10G

10G

バースト

サーバとかストレージとかバーストサーバとかストレージとかDeep BufferなL2スイッチを導入
PC

ping

PC
1Gbps

10GbE
L2スイッチ

10GbE
L2スイッチ
10Gbps

テスター
ポートを溢れさせ、何μsecのパケットを貯められるかをpingのレイテンシで測定し、バッファサイズを逆算する

ホストの10GbE NICも・・・
10G

10G

ホストサーバ

10G

L2スイッチ

10G

L2スイッチ

ストレージ

現状、iSCSIイニシエータのWindowサイズで調整# iscsiadm -m node -o update ¥-n node.conn[0].tcp.window_size -v 32768

ストレージの課題について
1. ストレージとVM間通信（インターネット通信）を1面のネットワークで干渉しないようにしたい
2. バーストに対して、バッファで吸収するのも限界• End to Endのフロー制御機構が欲しい• DCB / FCoE が一つの解か？
• ファブリックに接続する全機器の対応が必要– NIC(CNA)、L2スイッチ、ストレージ（ある？）– ルータ、Firewall、LoadBalancer（ない？）課題２：DoSアタック対策

ある日発生した事象
バックボーン
クラウドのネットワーク

L2ネットワーク

仮想スイッチ
VM
ホストサーバ

ホストサーバ

ホストサーバ

ホストサーバある日発生した事象
バックボーン
クラウドのネットワーク

L2ネットワーク
仮想スイッチの負荷が・・・
全サーバにフラッディング
仮想スイッチ
VM
ホストサーバ

ホストサーバ

ホストサーバ

ホストサーバ
居なくなるルータのARPタイムを調整
ルータのCPU負荷が・・・バックボーン

ARP Age 4時間 →4分

ルータ
L2ネットワーク

MAC Age 5分

VM
ホストサーバ

ホストサーバ

ホストサーバ

ホストサーバ解決策は？
1. 超高速にARPのリフレッシュができるルータ
2. L2ネットワークのAgingタイムを延長– VMのマイグレーション時や– bonding failoverの切り替わりに懸念が・・・

3. unknown unicastのフラッディング制限を行う

結局どうしたか？
バックボーン
ARP Age 4分 → 4時間
フラッディングする
けど、問題ないレベル

ホストサーバL2ネットワーク

MAC Age 5分
unknown unicastのフラッディング制限

ホストサーバ

ホストサーバ

ホストサーバ課題３：L2網のスケーラビリティ

ゾーン単位の分割とゾーン間接続
第1ゾーン

第2ゾーン
VLAN数、MAC数の上限でシステムを分割

VLAN ID変換の仕組みで相互接続

ネットワークが継ぎ接ぎになる
クラウド第1ゾーン

クラウド第2ゾーン
VLAN100

VLAN100

VLAN200

VLAN200

内部VLAN ID

VLAN ID変換装置

VLAN100

VLAN101

VLAN102

専用サーバ

リモートハウジング
VLAN600

VLAN700

VLAN800
VLAN500

本当はこうしたい
インターネット

さくらのVPS

自由に接続できるVPN

ハウジング

そこで・・・SDN!?
• 2010年頃～
クラウドサービス開始前よりオーバレイ方式の実装方法を検討• 2011年頃～
プロダクトがいくつか出てきた
某N社さんのソフトウェアの検証を実施• 2012年頃～
ミドクラさんと一緒に共同研究を実施
現在、具体的な商用導入に向けた取り組み

East-Westトラフィックの問題
仮想環境だとファイアウォール

ロードバランサ

Webサーバ

DBサーバ

物理環境だとトラフィックが４倍に膨れ上がる

仮想スイッチのインテリジェント化
ボトルネックの排除
East-West
トラフィックの削減

アプライアンスの機能を仮想スイッチに

SDNへの段階的移行
インターネット

VLANで受けたフレームをIPカプセリングして転送

VLANベースのネットワーク

VLANタグを付与

既存のシステム

SDN
コントローラ

普通のIPネットワーク
SDN
ゲートウェイ

IPでカプセリング

SDNを適用したシステム

ご清聴ありがとうございました