困ってるのは OpenFlow
じゃないところです
MPLS Japan 2012
NEC BIGLOBE, Ltd.
Seiichi Kawamura & Satoshi Tsuyama

自己紹介• 津山訓司（29）– サーバ担当を経て、SDN 開発を担当• 川村聖一（35）– バックボーン担当を経て、SDN 開発を担当• ＮＥＣビッグローブ株式会社– 事業• ISP 事業• コンテンツ・メディア事業• データセンター事業©2012 NEC BIGLOBE, Ltd.

2DC Network の現状• 多数のサービスを収容– クラウドホスティング– ついっぷる（Twitter Client）– etc• ネットワークの課題– VLAN ID の不足– 構築スピードの遅さ– 管理 NW 機器の増加による複雑な設定

ServiceA

ServiceB

ServiceC

ServiceDServiceE

ServiceF©2012 NEC BIGLOBE, Ltd.

3SDN導入の狙い• 矛盾のない一括設定– クラウドコントローラ＋OpenFlow コントローラで制御• NW 構築スピードアップ– OpenFlow を使った設定自動化• 大規模な仮想ネットワークに対応– VXLAN を使って VLAN 以上のマルチテナント化を実現©2012 NEC BIGLOBE, Ltd.

4

SDN によるクラウド環境• サーバ、ロードバランサのリソースに加えてNWリソースを自由に組み合わせることができる
Service X

サーバプールサービス担当者が自由にチョイス

ロードバランサプール©2012 NEC BIGLOBE, Ltd.

NW プール5

ネットワーク部の構成
BIGLOBE印
クラウドコントローラ

OpenFlowコントローラ
クラスタ

HTTP

VXLAN でトンネル
1 VNI = 1 仮想セグメント

VNI 1
VNI 2
VNI 3

Pod

OpenFlow で
VXLAN - VLAN
変換する

Gateway サーバ(OpenvSwitch)

VLAN 10VM

VM

Gateway サーバ(OpenvSwitch)

VLAN 30

VM

VM

VM©2012 NEC BIGLOBE, Ltd.

RouterLoad Balancer
6

SDN を設計する上での考慮点• トンネル対応させるシステム設計– プロトコル選択– 既存の NW ノードのトンネル対応方法• OpenFlow を使う上での設計– Gateway サーバの実装– OpenFlow コントローラの実装– OpenFlow コントローラの冗長化©2012 NEC BIGLOBE, Ltd.

7

Why VXLAN?
• 既存のネットワーク上に構築できる– 追加ネットワーク工事が不要• フルメッシュでのトンネル設定が不要– MAC を自分で学習して Switching してくれる

ほぼカン！
©2012 NEC BIGLOBE, Ltd.

8

VXLAN の実装は？
• Linux Kernel Module 実装がない！
• OpenvSwitch にも実装されてない– ML にパッチはあるが、まだ未完成な状態• 現状はユーザランド実装を使用©2012 NEC BIGLOBE, Ltd.

9

既存のノードの VXLAN 対応• VXLAN 対応が必要なノード– ホストサーバ（ｖSphere）– ハードの NW 機器（ルータ、ロードバランサなど）• 基本的には Gateway サーバで VLAN に変換• vSphere （4.X, 5.0）はどうする？
– 5.1 は既に対応済みらしい– vSphere 上に Gateway サーバを構築する？

©2012 NEC BIGLOBE, Ltd.

10

GatewayサーバをESX上に構築する場合不採用！

• ○ VLAN の利用が ESX に閉じる
– VLAN の制限がほぼなくなる• × VMotion 連携（特にDRS）が難しい

VXLAN
Network

VNI 3

Gateway サーバ(OpenvSwitch)

VM

VM

dｖSwitch

VM

VLAN ID 4094 個
１ホスト内で使用可能

VLAN 10

ESX©2012 NEC BIGLOBE, Ltd.

11

Gateway サーバを ESX 外に出す
• △ VLAN Network を複数の ESX と共有• ○ Migration 方式は今までと同じ

Gateway サーバ
VLAN Network (OpenvSwitch)
VLAN ID 4094 個を複数 ESX で使用

VLAN 10VM

VM

Host Server

VM

VM

Host Server

VM

VM

Host Server©2012 NEC BIGLOBE, Ltd.

12

Gateway サーバの実装• VXLAN と VLAN を変換するサーバ– 変換ルールは Flow で定義– OpenFlow スイッチとして OpenvSwitch を採用– VXLAN 非対応の NW ノードが通信する際に使用• Heartbeat を使って冗長化– Stb の vSwitch もコントローラに接続して Act と同じ flow を流し込む©2012 NEC BIGLOBE, Ltd.

13

Openflow コントローラの実装• Trema Application として C 言語で実装• 仮想ネットワーク情報を MySQL で管理• 静的なルールベースの flow を採用– パケットインさせないことでメンテナンス性を高める©2012 NEC BIGLOBE, Ltd.

14

OpenFlow コントローラの冗長化＋負荷分散の設計• LVS を利用して冗長化＋負荷分散を実現
Gateway サーバ(OpenvSwitch)

Gateway サーバ(OpenvSwitch)

Gateway サーバ(OpenvSwitch)

LVS
Trema APP

Trema APP

Trema APP

Trema

TremaTrema©2012 NEC BIGLOBE, Ltd.

15

Mission SDN

ライフサイクルミスマッチ（例：VXLAN）
今ここ

プロトコル開発

2012年8月 draft-02

2011年8月 draft-00

実装開発

2012年4月
開発着手

2011年9月 hogelan 1st commit

2012年9月
BIGLOBEで実装が必要となる

年末にHWスイッチ
リリース予定kernel3.7に入る？

プロトコル開発スピードが遅すぎる©2012 NEC BIGLOBE, Ltd.

17

文化的な何かもし、メモリリークやCPU負荷、相互接続性などが問題になったら・・・

君のところから買ってるんだからよろしくたのむよ。
よろしくちゃんね！

劇的before SDN©2012 NEC BIGLOBE, Ltd.

18

劇的after SDN• 各プロセスの負荷管理

ほんの一例– 問題のある関数はどれ？
– キャッシュされたメモリは解放されるの？
されないの？

• ハードウェアライフサイクルに合わせた対応– ラインカードは4,5年使うけどサーバNICは2,3年で変わる
自ら品質担保する範囲は劇的に増える©2012 NEC BIGLOBE, Ltd.

19

Impact of SDN on SP Operations• 「コストを下げる、スピードを上げる、スケールを広げる」 より良いサービスは作れそう• 副作用はあった！
– SW開発チームを持たないといけない– 解析、デバッグ、テストサイクルは運用に入った後も回す事になる（手離れ悪い）– 初期コストはそれなり生みのくるしみじょじょに馴染む©2012 NEC BIGLOBE, Ltd.

20

暫定対策2012• プロトコルリスク(標準仕様、相互接続)– 一つのプロトコル/実装に依存しすぎない複数解、疎結合• Complexity– 課題はツールや機能追加を検討していく• Development Team
– 自分たちの開発能力をあげる– 資格制度を整備してみた©2012 NEC BIGLOBE, Ltd.

21

がんばってみがくんだ・・・

SDN

Photo by Beverly & Pack
http://www.flickr.com/photos/walkadog/3432078139/©2012 NEC BIGLOBE, Ltd.

22

SDN の適用サービス• まずは自分達で使ってみる– 社内のサービスに適用• フィールドに出すのは準備ができてから– 運用がガラリと変わる• 障害の切り分け• 障害影響の特定©2012 NEC BIGLOBE, Ltd.

23

将来のPlan• Open＋独自softwareでやれているので、機能は自由に設計できる– centralized フィルタ– centralized ロードバランス• コアネットワークへの拡張 (not OpenFlow justyet)– そろそろルータもAPIを・・・• Northboundの対応– ステータスの吸い上げ©2012 NEC BIGLOBE, Ltd.

24

まとめ
• VXLAN、OpenvSwitch、独自コントローラ(クラウド、NW、OpenFlow)でSDN DCのファーストステップを実現• 開発能力の進化が必要– ネットワークエンジニアは今までと異なるパラダイムでの仕事– サーバエンジニアは今までと異なる品質要求での仕事• 課題は次のInnovationの材料• ユーザ向けサービスリリースに向けて、基盤と技術を磨いてます！
©2012 NEC BIGLOBE, Ltd.

25