SDNにに対する通信事業者する通信事業者の通信事業者の取組みと取組みと今後みと今後の今後の期待
19ｔｈ July 2013
佐藤陽一
NTT Communications
Corporation

Copyright © NTT Communications Corporation. All right reserved.

Today’s Agenda
OpenFlowとSDNに対する認識• OpenFlowって何？
• SDNって何？
ネットワークに関する課題• DC内ネットワーク• 中継網• アクセス網• 構内網
OpenFlow/SDNの取組み紹介• 商用サービスへの適用• 自前コントローラの開発
今後の期待と課題
Copyright © NTT Communications Corporation. All right reserved.

2

OpenFlowってって何って何？何が新しいのか？
しいのか？
元々装置の内部にあった２つの機能を分離した。
• アーキテクチャを変えただけ（C/D分離）• ネットワーク方式に対し、何か新しい技術をもたらしたわけではない
AppNMS/Provisioning

AppSrvc

API等
OpenFlow ControllerCLI、SNMP等

App

Srvc

App
標準プロトコルコントロール
プレーン
データプレーン

OpenFlowプロトコル

Srvc

コントロール
プレーン
データプレーンApp

データプレーン

データプレーン

Srvc

コントロール
プレーン
データプレーン

データプレーン

現在の一般的な構成

OpenFlowの構成

Copyright © NTT Communications Corporation. All right reserved.

3

SDNのとらえのとらえ方のとらえ方 （１）（１） OpenFlowを中核にSDNのフレームを構築→ OFCからAPIを提供→ 共通化されたハード仕様のOFSの振舞いをOFCからプログラミング•運用の効率化、自動化によるOPEXの削減•装置のコモディティ化によるCAPEXの削減
API等
上位システム（プログラム）から制御できるインタフェースを提供
OpenFlow
Controller
OpenFlowプロトコル（標準化、開示）
パケット転送の振る舞いをOpenFlowで記述
OpenFlowスイッチ

GoogleやStanford大学等が主張するSDNの例
Copyright © NTT Communications Corporation. All right reserved.

4

SDNのとらえのとらえ方のとらえ方 （２）（２） 既存の装置をSDNのフレームに当てはめる→ CLI等をAPIに置き換え→ 集中制御のための独自コントローラを提供•運用の効率化、自動化によるOPEXの削減
上位システム（プログラム）から制御できるインタフェースを提供
API
開発キット（SDK）を提供
SDNコントローラ等

API
Black Box

VDN

制御部
C-Plane装置内インタフェース（ベンダ独自、非開示）

orスイッチ部Black Box
制御部
C-Plane装置内インタフェース（ベンダ独自、非開示）
スイッチ部

既存装置ベンダが主張するSDNの例

Copyright © NTT Communications Corporation. All right reserved.

5

NTTコムとしてSDNに期待していること
サービスの差異化 （Innovation/Differentiation)• 市中製品に縛られないサービスの提供• オンデマンド・ダイナミック・プロアクティブなサービ
ス提供によるユーザエクスペリエンス向上

Time-to-Marketの短縮 （Velocity）• ベンダのロードマップに縛られないサービス導入• 必要な機能を必要なときに開発して導入費用効果 （Cost-efficiency）• OSS利⽤による開発規模の削減• 運用の自動化，標準API・マルチベンダ対応によるOPEX
削減• コモディティハードウェアによるCAPEX削減

Copyright © NTT Communications Corporation. All right reserved.

6

Current status of carriers’ business
Internet traffic  Steady growth
Traffic per user  Steady growth with no change in ARPU
2000kbps/subscriber

Gbps

100

1800

1.7T

90

1600

80

1400

70

1200

60

49k

1000

50

800

40

600

30

400

Gbps
kbps/subscriber

200020100

Copyright © NTT Communications Corporation. All right reserved.

7

NW展開
展開の展開の方向性
高速、高速、大容量
通信事
業者の課
題

スピード、スピード、柔軟性

ﾊﾟｹｯﾄ多重サービス基盤の柔軟な設計

大容量化（100G化）

波長/伝送
波長 伝送

NWサービスサービス

スピーディな対応
ﾘｿｰｽのEnd-End
End-End
ｺﾝﾄﾛｰﾙマルチベンダソフトウェア処理が適した領域

ハードウェア処理が適した領域

解決のNext Gen PTN/Optical
OpenFlow/SDN
方向 NWサービス機能を支える波長／伝送は、ハー 柔軟性でスピーディなNWサービス機能の性 ドウェアでNWをコントロール実現に、ソフトウェアでNWをコントロールする
する既存技術で対応する
SDNを導入する
Copyright © NTT Communications Corporation. All right reserved.

8

ネットワークモデル

VM

VM

HyperVisor
CPE

DC内NW

中継網

アクセス網

構内網
イントラネット

DC内ネットワーク

中継網

アクセス網

構内網

Copyright © NTT Communications Corporation. All right reserved.

9

DC内ネットワークの課題■ クラウドDC内
クラウド 内NWのの課題

DC #A
ストレージ

FW
VM VM
VM
HVFW
VM VM
VM
HVFW
VM VM
VM
HV

SW

SW

SW

SW

SW

【方式・技術上の課題】
方式・技術上の課題】
・イーサネットに起因する課題-VLAN数4096制限（方式）-ARP/BC/MCの処理（SW仕様）-MACテーブル、Arpテーブル制限（SW仕様）-トポロジの制限（方式）-ル－プ/フラッディングの問題（方式）-OAM/モニタリング（運用）⇒スケーラビリティの課題⇒NWの安定性の課題の安定性の課題↓
イーサネット機能を拡張して対応する動き→ ベンダ主導の解決策（非イーサネット化）
TRILL、イーサ、イーサFabric、イーサOpenFlowによる対応の動き
による対応の動き→事業者主導の解決策（OF/SDN））
事業者主導の解決策（

DC-GW【クラウドとの協調】
クラウドとの協調】
・多様なHV種別、ベアメタルへの柔軟な対応
種別、ベアメタルへの柔軟な対応
・多様な・VMの移動に関する課題の移動に関する課題
・スケーラビリティ【コスト面の課題】
コスト面の課題】→ 自動化（SDN）機構の導入）機構の導入
・OPEX削減削減
自動化（・CAPEX削減
削減 →コモディティ装置の利用、スケールメリットによる効率化
Copyright © NTT Communications Corporation. All right reserved.

10中継網の課題
・既存網の有効活用
・Packet/光トランスポートとの連携による網資源の効率的利用
・L2/L3網の統一的実現
・DC内のテナントNWとVPN網との自動化された接続
・レイヤ1から3（将来的には4以上）を考慮したNW資源の利用効率の向上
・広域災害等を考慮した対災害性の高い網構成
・広域に広がる設備の運用、保守の容易性、スケーラビリティの確保
・他社網とのSDNを介した相互接続

Copyright © NTT Communications Corporation. All right reserved.

11

アクセス網の課題
・多様なアクセス回線（有線、無線、インタネット等）との相互接続・限定されたNW資源という状況でのQOS/QOEの確保
・多様化する端末への対応
・CPEのシンプル化によるコスト削減

Copyright © NTT Communications Corporation. All right reserved.

12構内網の課題
・構内網と広域網の統一的な運用・管理・人の属性変化（人事異動等）に応じて所属するNW、IT資源への動的な関連付けの自動化

Copyright © NTT Communications Corporation. All right reserved.

13

クラウドサービスへの適用

VM

VM

HyperVisor
CPE

DC内NW

中継網

アクセス網

構内網
イントラネット

DC内ネットワーク

中継網

アクセス網

構内網

Copyright © NTT Communications Corporation. All right reserved.

14

（１）クラウドサービスへの適用
IaaSののDC内ネットワークに内ネットワークにOpenFlowを適用することでを適用することで内ネットワークに顧客毎の仮想ネットワークを自動で設定
ユーザB

ユーザA

インターネット

アプライアンスへの経路を制御しリソースを最低限に抑制

VPN

アプライアンス a)

顧客が要求するVM、 OpenFlow NW
アプライアンスに応じて必要なNWを自動設定

アプライアンス b)

仮想NWによって顧客毎のトラヒックを分離

仮想マシン
物理サーバーCopyright © NTT Communications Corporation. All right reserved.

15

15

Enterprise Cloud Portal
 Self-provisioning of VM from customer portal
 Building necessary network connection automatically by portal
 No need for users to care about network connectivity

Copyright © NTT Communications Corporation. All right reserved.

16

Bizホスティング Enterprise Cloud のグローバル展開計画
2013年度中に年度中に9ヶ国
年度中に ヶ国11拠点に展開し、今後更に拡充予定
ヶ国 拠点に展開し、今後更に拡充予定
タイ
2013.3米国(サンノゼ
米国 サンノゼ)
サンノゼ
2013.2

英国
2013.2

ドイツ
2013末

日本
2012.6

米国(スターリン
米国 スターリン)
スターリン
2013.2マレーシア
2013.3
シンガポール2013.3Copyright © NTT Communications Corporation. All right reserved.

17

香港
2012.617オーストラリア
2013.5

（２）グローバルデータバックアップ機能
OpenFlowにより、グローバルデータセンター間でのリソース連携を実現データにより、グローバルデータセンター間でのリソース連携を実現データ量にあわせて、リアルタイムに回線帯域をコントロール可能

OpenFlowにより帯域の増減をカスタマポー
タルからコントロール

バースト通信発生時にネットワーク帯域を500Mbpsまでブースト可能

追加料金/時間
追加料金 時間

Boost！
！ “Boosting”
通常時

10Mbps

月額固定

重要
バックアップ
データ

Virtualized Network
プライマリーストレージ

バックアップストレージ（日本DC）（香港DC）

Copyright © NTT Communications Corporation. All right reserved.

18

（３）世界初の新マイグレーションサービス
・仮想ネットワークを用いて、既存システムのIPアドレスを変更せずに、クラウドへのマイグレーション可能な新サービスを提供 (2013年夏予定)
オンプレミス既存システム(お客さま拠点)

Bizホスティング
Enterprise Cloud

オンプレミスからクラウドへのマイグレーション

IPアドレスA
IPアドレスA
GW

仮想ネットワーク

Copyright © NTT Communications Corporation. All right reserved.

19

GW

オンプレミスサーバーのIPアドレスと同一アドレスでクラウドへ移⾏自動化の自動化の仕組み
仕組み
自動化の仕組み→ ポータル～オーケストレーション～クラウド／SDNコントローラからなるシステム
カスタマ／オペレータ ポータル（UI、認証）
オーケストレーション
サービスシナリオ

運用シナリオ

顧客管理

故障管理

SO管理

チケット管理リソース管理課金・統計管理

SDNコントローラ

クラウドコントローラ

OpenFlow
コントローラ

VM

VM
アプライ
アンス

HV

OpenFlowスイッチ
Copyright © NTT Communications Corporation. All right reserved.

20

コンフィグ

SNMP等

OpeFlowを導入してどうだったか？
導入メリット
導入メリット・ループフリーな設計が実現でき、設計が容易になった・クラウドとNWの一元管理が実現できた→ SO自動化が実現できた（開通・帯域変更・VLAN設定など）
・VLAN4000制限の壁を越えた→ OpenFlow/SDNのの導入のメリットは導入のメリットは期待通のメリットは期待通り
期待通り
課題
・OpenFlow v1.0の仕様不足（コントローラ冗長、matching field、actionなど不足）・VLAN以外のスケーラビリティ― Flow Table不足：OpenFlow Switchハードウェア共通の課題
・適用範囲拡大において機能不足－ キャリアNWで求められる保守機能が不足（OAMなど）－ Controllerをキャリア側で自由にコントロールできない→ 課題解決に独自の課題解決に向けて、
けて、NTT Com独自独自の技術検討を技術検討を実施
Copyright © NTT Communications Corporation. All right reserved.

21

適⽤領域の拡⼤を考える

OAM/Volt
End-to-end Network Virtualization
VM

VM

エッジのシンプル化
エッジのシンプル化

HyperVisor

CPE

DC内NW

中継網

アクセス網

Dc-VPM間接続自動化
間接続自動化・自前コントローラ
自前コントローラ・OFS
DC内
内ネットワーク

Copyright © NTT Communications Corporation. All right reserved.

22

構内網
イントラネット

OpenFlowコントローラー開発
OpenFlowの効用を最大限に引き出すためには、自前コントローラーを持つことが有効と考え、現在コントローラーを開発中
上位アプリから
SDN Controller
NetworkApplication

NW-APL

NW-APL

DriverAPI
NW-APLAPI
NW-APL

APIAPIAPI
CommonFramework

API

NW-APLを制御するためのAPI

API

NW-APLを作りやすくするためのAPI

SDN Common Framework
OFC(Ryu)

PacketForwarding

OpenFlow
ConfigOpenFlow
Switch

CLIAPI

Abstraction

EMS
etc.

Applianceetc.

Copyright © NTT Communications Corporation. All right reserved.

23

ユースケースに応じた特徴ある機能を実装

Opticaletc.

EMS: element management sys
OFC: OpenFlow controller
CLI: Command Line Interface
API: Application Interface

エッジのシンプル化
 Centralized control of BGP protocol processing on a controller
 Similar to IP-VPN from outside network
Interop Tokyo 2012
ShowNet Demonstration

Customer/Operator Portal

NetworkController

CMDB

VPN-1
VPN-2
VPN-3
VPN-4
VPN-5

BGP
RouteController

SDN Controller

OpenFlow Controller (RYU)

CE11Resource Pool
(Available CEs)

Resource Pool
(Available CEs)

CE31

eBGP

eBGP

eBGP
CE41

CE72

CE51

PE1

P1

PE3

CE32

CE23

PE2

P2

PE4

CE12

CE43

OpenFlow Based L3VPN

CE53
Copyright © NTT Communications Corporation. All right reserved.

CE22

CE42

Resource Pool
(Available CEs)

24

Resource Pool
(Available CEs)

CE52

ShowNet(Internet)

クラウドDC-VPNの境界Today：•クラウド内ではテナントネットワークを自由に作成できるが、VPNと接続する場合はVLAN/VRF等の設計・設定が必要となる•クラウド側でネットワークが追加・削除されたりする度にPEルータのコンフィグをアップデートする必要がある

VRF

VLAN

Data center
Network

MPLS-VPN
VLAN
IP

VLAN

MPLS

Copyright © NTT Communications Corporation. All right reserved.

25

クラウドDC-VPN接続の自動化
Tomorrow：•ポータルサイトからAPIを介して自動的にVPNと接続•SDNコントローラでテナントネットワークとVPNをマッピング•経路のアップデートはBGPで広告されるためVPN側のASBRをコンフィグする必要がなくなる
API
SDN
Controller

OF

eBGP

Data center
Network

MPLS-VPNMPLSInter-AS option B
IP

VLAN

MPLS

Copyright © NTT Communications Corporation. All right reserved.

26

クラウドDC
Tomorrow：•DC内でVLANを使わずMPLSをハイパーバイザまで拡張•HV内のOVSでラベルを操作•制御対象となるOVS増大に対し、分散型のコントローラで対応•OpenStackとの連携

Quantum
Pub/Sub

VM

VM

OFC

SDN
Controller
eBGP

Data center
Network

HV/OVS

MPLS-VPNMPLSInter-AS option B
IP
MPLS

Copyright © NTT Communications Corporation. All right reserved.

27

OpenFlowによるOAM機能の実現• ソフトウェアで実装することで、汎用スイッチに必要最小限のOAM機能を実装できないか？
 OpenFlow ControllerのAppとしてOAM機能を実装
OAM-APL
SDN ctrl

CPE

CPE

ノード間
アクセス区間

ノード間
中継区間
エンド－エンド区間

Copyright © NTT Communications Corporation. All right reserved.

28

ノード間
アクセス区間VOLT
 実環境と実環境と同じ条件下で条件下でSDNのネットワークをSDNのネットワークを設計のネットワークを設計・設計・試験可能な試験可能な「VOLT」
VOLT」
 OpenFlowのOpenFlowの実ネットワークの構成ネットワークの構成や構成や経路情報を経路情報を丸ごと複製ごと複製したテスト
複製したテスト環境したテスト環境をシステム
環境をシステム上をシステム上に作成し、実環境と実環境と同じ条件下で条件下で新たなネットワークを設計たなネットワークを設計・設計・試験することが試験することが可能
することが可能 テスト環境
テスト環境で環境で設計した設計した内容した内容をそのまま内容をそのまま実をそのまま実ネットワークに反映ネットワークに反映させることも反映させることも可能
させることも可能

Copyright © NTT Communications Corporation. All right reserved.

29

SDN ShowCase デモ出展
 SDNにより
SDNにより経路により経路や経路や帯域をリアルタイムに帯域をリアルタイムに変更をリアルタイムに変更する変更する運用する運用が運用が可能なリソース可能なリソース制御なリソース制御システム
制御システム SDNをSDNを既存のネットワークに既存のネットワークに活用のネットワークに活用し活用し、MPLSによるMPLSによる1による1対1もしくは1もしくは1対多の対多の通信経路・通信経路・帯域(帯域(パス)パス)を、好きな時間きな時間・時間・場所・場所・帯域で帯域で高度に高度に変更・変更・制御できるリソース制御できるリソース制御
できるリソース制御システム
制御システム コントローラーとMPLS
コントローラーとMPLSエッジルーターでMPLSエッジルーターで、エッジルーターで、MPLSパスのMPLSパスの状態
パスの状態をリアルタイムに状態をリアルタイムに把握をリアルタイムに把握。
把握。利用するアプ
利用するアプリケーションの品質
リケーションの品質と品質と連動した連動した最適した最適なパス
最適なパス制御なパス制御を制御を実現

Copyright © NTT Communications Corporation. All right reserved.

30

SDNに対する期待

End-to-end Network Virtualization
VM

VM

HyperVisor
CPE

DC内NW

中継網

アクセス網

Copyright © NTT Communications Corporation. All right reserved.

31

構内網
イントラネットSDNガイドライン■目的に応じて、SDNを構成する要素技術をどのように組合わせればよいか→ 設計・構築・運用に関するガイドラインが必要■OpenFlowスイッチを選択する場合、評価手法が必要
技術評価手法が必要
組合わせて動作するか分からない
SDNの設計方法が確立されていない

課題毎の異なった研究開発要素
をSDNとして横断的に仮想NWを構築するための共通的な設計
NW管理・制御
アプリケーション

NWアプリ NWアプリ NWアプリ

ネットワーク
DB

NWコン
トローラ

課題毎NW 課題毎NW 課題毎NW制御技術 制御技術 制御技術

SDN設計技術ガイドライン
として成果をまとめる

NWコン
トローラ
ソフト
SW

ハード 伝送装置
SW 光伝送装置

100程度の仮想ネットワーク

SDNの基本構成

Copyright © NTT Communications Corporation. All right reserved.

1000台規模のSDNネットワークを想定
32

Forwarding Plane
Hardware Switch（SW LSI）

Software Switch
DPDK→→IGEL/IPI

BCM
Socket buff
In

Flow DB

packetmatch
match

Socket bufoutaction
actionpacketout port

In portHardware Switch（NW Processor）

port

Interface DB

Linux kernel interface
learning

Copyright © NTT Communications Corporation. All right reserved.

33

マルチレイヤネットワークへの適用
Cloud/Virtualized DC
Cloud DC NW(Intra/Inter(Intra/Inter-DC)
仮想リソース
仮想リソースサービス NW

OpenFlow SW

DC
GW

DC
GW

• フレキシブル+フレキシブル+迅速化• ベンダフリー

DC
GW

SDN
CommonPlatform

Edge
Edge

• DCとのDCとの接続自動化との接続自動化

Edge

Service NW• エンドエンド-エンドコントロール
Edge

Edge

SDN Controller

CPE(NFV)• シンプル化
シンプル化さらた
さらたエッジ• NFVによる
NFVによる仮想による仮想CPE
仮想CPE

Protocol変換

コアバックボーンNW
コアバックボーンNW• 大容量化
大容量化(100G)(100G)• 波長レイヤと波長レイヤと伝送
レイヤと伝送レイヤ
伝送レイヤ統合
レイヤ統合• パケット伝送
パケット伝送（伝送（ルータレス化ルータレス化）

API

PTN/
OXC
PTN/
OXC

PTN/
OXC
PTN/
OXC

PTN/
OXC

Next Gen PTN/Optical
Copyright © NTT Communications Corporation. All right reserved.

34

Orchestrate endend resources overmulti-layers

NFV…
ネットワーク機能の専⽤アプライアンスから汎⽤サーバ＋ソフトウェアへの移⾏

Copyright © NTT Communications Corporation. All right reserved.

35

End-to-End Network VirtualizationAPI
Svc APL

Svc APL

Ex) NFVアプリのインストール
Config制御/自動化

Svc APL

NW Orchestration

NW Appliances on VM

Route server, etc.
NW APL NW APL

SDN ctrl

NFV ctrl/mgr

OpenStackEx) OpenStackによるVMの制御

Customer VM/IaaS
VM

VM

HyperVisor

WPA

IPSec

VM

VM

NFV Platform

HyperVisor
End-to-end Network Virtualization• トラヒックステアリング• サービスチェイニングDC内NW• Hypervisor内SW• Fabric（物理網）• Overlay NW

中継網

アクセス網

トランスポートInternet
wired/wireless• Hop-by-Hop型の仮想NW• ルータレスNW• モニタベースのTE• マルチバス分散• ３経路切替• マルチレイヤ最適化

vCPE• オーバレイ型の仮想NW• モニタベースのTE

Copyright © NTT Communications Corporation. All right reserved.

36

構内網
イントラネットEx) 人の属性変更に対するNW/IT資源の関連付けの自動化まとめ・OpenFlow/SDNはネットワーク技術を実装する為の手段- ⽐較的容易に実装できる- 机上検討よりも実機での実証実験を通して知⾒を⾼める- オープンイノベーション
・キャリアNWに対しては機能面、コスト面からの期待は大きい- POCを通して有効性を確認- 実証実験を⾏う場（テストベッド）の必要性
・導入に関しては- SDNならではの機能実現- サービス面、運用面に関するインパクトが重要
Copyright © NTT Communications Corporation. All right reserved.

37

Thank You!

Copyright © NTT Communications Corporation. All right reserved.

38