OpenDaylight と WAN SDN コントローラ
Masahiko Suzuki
Sr. Systems Engineer
November 2015

SDN & Orchestration Architecture
BSSOSS

Application
API

Cross Domain Orchestratior
CPE
Control

CLI/SNMP

CPE

Netconf/
YANG

DC/NFV
Control

WAN SDN

BGP-LS

Metro/Access

PCEP

Segment
Routing

WAN

Orchestration
SDN Controller

EMS/NMS

Openstack /vCenter

Data Centre

API
Infrastructure- Physical- Virtual© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential2

WAN SDNへのアプローチ① ODLをコントローラとして使う② ODLをコントローラの一部として使う
Application

Application

RESTREST

Optimization Engine
Network Model

BGP-LSPCEPCollector

Deployトラフィック情報
トポロジ情報Infrastructure

NonPCEP
BGPLS

PCEP

Infrastructure© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential3

アジェンダ•

OpenDaylighto BGP-LS/PCEPo ODL動作o ODL動作 + Applicationo ODL検証/運用 Tips

•WAN SDNコントローラ
o Optimization/ Network Model

•

今後の動向
o NonPCEPo Multi-Layer© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

4BGP-LS/PCEP© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

5

WAN SDN

集中型MPLS-TEパス計算モデル•

ネットワーク全体のトポロジ情報/LSPステート情報をコントローラが所持する	

•ネットワーク全体の状況を把握した上でパス計算を実行する	
PCE
PCEP

LSP DB
TED
BGP-LS

Head End

Tail End© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

6

WAN SDN要素技術
BGP-LS(BGP-Link State)•

LSDB, TEDをBGPで配信•

新たなアドレスファミリーを定義	

PCE

TED

o AFI = 16388
o SAFI = 71•

利点	o BGPの機能を利用可能(Policy-base, Security, Transport)o IGPマルチドメイン対応	
o IGPを外部ネットワークエンティティから分離

BGP-LS
Domain0
BGP-LS

Domain 1

RR
BGP-LS

Domain 2© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

7WAN SDN要素技術

PCEP(Path Computation Element Protocol)•MPLS-TEにおける集中型計算モデル	

•用語	

PCE

o PCE (Path Computation Element)

TED	-> コントローラ	

PCEP

o PCC (Path Computation Client)	
-> ルータ上のエージェント	
o PCEP (PCE Protocol)

LSP DB

PCC
PCE-initiated LSP	-> PCEとPCE間のプロトコル© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

8

WAN SDN要素技術

PCEP(Path Computation Element Protocol)•ステートレス	
o 新規パス計算時、過去に生成したLSP情報が考慮されない•ステートフル (WAN SDNで使用)
o PCE(コントローラ)とPCC(ルータ)はトポロジ/リソース/LSPステート情報を同期する	
o PCE(コントローラ)はパス計算時に上記の情報を考慮する	
o LSPのDelegationとCreate/Update/Deleteをサポート© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

9

ODL動作© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

10

動作環境
POSTMAN(Google Chrome)

Application

OpenDaylight
Controller

Controller

REST

BGP-LS
PCEP

Virtual Infra(XRv)© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

11

動作環境セットアップ
Initial state

POSTMAN(Google Chrome)
REST

OpenDaylight
Controller
BGP-LS

PCEP

GE0/0/0/0

PE1

GE0/0/0/0
10.1.14.0/24

PE4.1.4

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/1

GE0/0/0/0

AS=100
IGP: OSPF

172.16.1.201

GE0/0/0/1

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24

PE2

GE0/0/0/1

GE0/0/0/0

PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

12

動作環境セットアップ
BGP-LSPOSTMAN(Google Chrome)
REST

OpenDaylight
Controller

TED

BGP-LS

PCEP

GE0/0/0/0

PE1

GE0/0/0/0
10.1.14.0/24.4

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/0

BGP-LS SessionPE4.1

GE0/0/0/1

AS=100
IGP: OSPF

172.16.1.201

GE0/0/0/1

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24

PE2

GE0/0/0/1

GE0/0/0/0

PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

13

動作環境セットアップ
BGP-LS: ルータCLI・BGP-LS設定
router bgp 100
address-family link-state link-stateneighbor 172.16.1.201
address-family link-state link-state

・BGP-LSテーブル
RP/0/0/CPU0:PE1#show bgp link-state link-state
NetworkNext HopMetric LocPrf Weight Path*> [V][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r1.1.1.1]]/376
0.0.0.0
0 i*> [V][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r2.2.2.2]]/376
0.0.0.0
0 i*> [V][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r3.3.3.3]]/376
0.0.0.0
0 i*> [V][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r4.4.4.4]]/376
0.0.0.0
0 i*> [E][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r1.1.1.1]][R[c100][b1.1.1.1][a0.0.0.0][r2.2.2.2]][L[i10.1.12.1][n10.1.12.2]]/792
0.0.0.00 i*> [E][O][I0x0][N[c100][b1.1.1.1][a0.0.0.0][r1.1.1.1]][R[c100][b1.1.1.1][a0.0.0.0][r4.4.4.4]][L[i10.1.14.1][n10.1.14.4]]/792© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
14<SNIP>

動作環境セットアップ
BGP-LS: REST API© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

15

動作環境セットアップ
PCEPPOSTMAN(Google Chrome)REST

LSP DB

OpenDaylight
Controller

TED

BGP-LS

PCEP

GE0/0/0/0PE1

10.1.14.0/24

PE4.4

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/0

PCEP Session
BGP-LS Session

GE0/0/0/0.1

GE0/0/0/1

AS=100
IGP: OSPF

172.16.1.201

GE0/0/0/1

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24

PE2

GE0/0/0/1

GE0/0/0/0

PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

16

動作環境セットアップ
PCEP: ルータCLI・PCEP設定mpls traffic-eng
pcepeer source ipv4 1.1.1.1
peer ipv4 172.16.1.201
stateful-client
instantiationdelegation
auto-tunnel pcc
tunnel-id min 1 max 1024

・PCEPセッション
RP/0/0/CPU0:PE1#show mpls traffic-eng pce peer
Sun Nov 8 12:01:29.182 UTC
Address
Precedence
State
Learned From--------------- ------------ ------------ -------------------172.16.1.201
255
Up
Static config© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

17

動作環境セットアップ
PCEP: REST API© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

18

DEMO Movie

PCEP

Create LSP
POSTMAN(Google Chrome)
HTTP POSTRESTLSP DB

OpenDaylight
Controller

TED

BGP-LS

PCEP

GE0/0/0/0

PE1
GE0/0/0/1

PCEP Session
BGP-LS Session

GE0/0/0/0
10.1.14.0/24
lsp1

.4

PE4
GE0/0/0/1

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/0

AS=100
IGP: OSPF.1

172.16.1.201

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24

PE2

GE0/0/0/1

GE0/0/0/0PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

19

DEMO Movie

PCEP

Update LSP
POSTMAN(Google Chrome)
HTTP POSTRESTLSP DB

OpenDaylight
Controller

TED

PCEP

BGP-LS

GE0/0/0/0PE1

10.1.14.0/24

PE4.4

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/0

PCEP Session
BGP-LS Session

GE0/0/0/0.1

GE0/0/0/1

AS=100
IGP: OSPF

172.16.1.201

GE0/0/0/1

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24

PE2

lsp1

GE0/0/0/1

GE0/0/0/0

PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

20

DEMO Movie

PCEP

Remove LSP
POSTMAN(Google Chrome)
HTTP POSTRESTLSP DB

OpenDaylight
Controller

TED

BGP-LS

PCEP

GE0/0/0/0PE1

10.1.14.0/24

PE4

.4

10.1.12.0/24

10.1.34.0/24.2.3

GE0/0/0/0

PCEP Session
BGP-LS Session

GE0/0/0/0.1

GE0/0/0/1

AS=100
IGP: OSPF

172.16.1.201

GE0/0/0/1

GE0/0/0/1

PE(X) IP Address
Loopback-IF: X.X.X.X
Southbound-IF: 172.16.1.X

10.1.23.0/24PE2

GE0/0/0/1

GE0/0/0/0

PE3© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

21

ODL動作 + Application© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

22

ODL動作 + Application
・Application WebUIDEMO Movie

・REST API (CREATE LSP) 一部抜粋
<endpoints-obj><ipv4><source-ipv4-address>30.30.30.30</source-ipv4-address><destination-ipv4-address>28.28.28.28</destination-ipv4-address></ipv4></endpoints-obj><ero><subobject><loose>false</loose><ip-prefix><ip-prefix>49.0.0.22/32</ip-prefix></ip-prefix></subobject><subobject><loose>false</loose><ip-prefix><ip-prefix>58.0.0.21/32</ip-prefix></ip-prefix></subobject><subobject><loose>false</loose><ip-prefix><ip-prefix>44.0.0.24/32</ip-prefix></ip-prefix></subobject><subobject><loose>false</loose><ip-prefix><ip-prefix>51.0.0.28/32</ip-prefix></ip-prefix></subobject></ero>© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential23

ODL検証/運用 Tips
© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

24Tips1: ODLのログ•

BGP-LS, PCEPのセッションが張れない場合、ODLでデバッグ•

Karafにおいて必要なdebugを有効化し、トラブルシューティング[sysadmin@osc bin]$ pwd/opt/cisco/controller/bin[sysadmin@osc bin]$ ./client
client: JAVA_HOME not set; results may vary
Logging in as karaf________________.__ .__.____\_____ \ ______________ \______ \ _____ ___.__.| | |__| ____ | |___/ |_/|\\____ \_/ __ \ /\ || \\__ \<| || | | |/ ___\| | \__\/|\ |_> > ___/|| \|`\/ __ \\___ || |_| / /_/ >Y \ |\_______ /__/ \___ >___| /_______ (____ / ____||____/__\___ /|___| /__|\/|__|
\/
\/
\/
\/\/
/_____/\/

Hit '<tab>' for a list of available commands
and '[cmd] --help' for help on a specific command.
Hit '<ctrl-d>' or type 'system:shutdown' or 'logout' to shutdown OpenDaylight.
opendaylight-user@root>log:set DEBUG org.opendaylight.bgpcep
opendaylight-user@root>log:set DEBUG org.opendaylight.protocol© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

25Tips1: ODLのログ•

BGP-LSが張れないときのODLデバッグ例 (Peerのアドレス指定間違い)

2015-11-06 13:13:41,042 | DEBUG | oupCloseable-4-8 | ProtocolSessionPromise| 155 - org.opendaylight.controller.protocol-framework - 0.5.1.Helium-SR1-10001 |Attempt to connect to /172.16.1.11:179 failed© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

26

Tips2: BGP-LS/PCEPの死活確認•

ルータではshowコマンドでコントローラのup/downを確認可能•

ODLのCLIからはステートを確認するコマンドなし
ー＞RESTのレスポンスにより死活判断？

© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

27

Tips3: ルータCLIでのトンネルの見え方•

show run には出ない
RP/0/0/CPU0:PE1#show run interface tunnel-te21% No such configuration item(s)•show int では出る
RP/0/0/CPU0:PE1#show interfaces tunnel-te21
tunnel-te21 is up, line protocol is up
Interface state transitions: 1
Hardware is Tunnel-TE
Internet address is 1.1.1.1/32
MTU 1500 bytes, BW 0 Kbit
reliability 255/255, txload Unknown, rxload Unknown<SNIP>© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

28

Tips4: トラフィックが乗らない(Traffic Steering)•

乗せる方法1: ルータに直接設定
・設定前
RP/0/0/CPU0:PE1#show route | i 201.1.1.1/32
B
201.1.1.1/32 [200/0] via 4.4.4.4, 1d04h
・スタティックルート設定(例)router static
address-family ipv4 unicast
201.1.1.1/32 tunnel-te21
・設定後
RP/0/0/CPU0:PE1#show route | i 201.1.1.1/32
S201.1.1.1/32 is directly connected, 00:00:04, tunnel-te21© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

29

Tips4: トラフィックが乗らない(Traffic Steering)•

トンネル管理はPCEP、ルーティングは直接設定・・？
Application

PCEP
トンネル

Application

設定投入
システム

コントローラ(+設定投入システム)

ルーティング
設定

RSVP
TE設定

Infrastructure

ルーティング
設定

Infrastructure© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

これもありえる・・？

30

Tips4: トラフィックが乗らない(Traffic Steering)•

乗せる方法2: ベンダー独自TLVを使用
o Auto-route announce requesto Forward-Class ID (FCID)o Load-share Factor

・ご参考：AutoRoute Announce TLV<tlvs><vendor-information-tlv><enterprise-number>9</enterprise-number><igp-auto-route xmlns:cisco="urn:opendaylight:params:xml:ns:yang:pcep:cisco"><absolute>true</absolute><metric>1</metric></igp-auto-route></vendor-information-tlv>© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
31</tlvs>Tips5: Versionに注意•

ODLのVersion、 ルータのVersion間のCompatibilityに注意•

ルータ側ではVersionによりデフォルトの動作が異なる。。
(AutoRoute Announceがデフォルト有効/無効など)© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

32

Tips6: 検証では仮想環境•

動作検証を実施したいとき、仮想ルータでルータ台数を稼ぐ事が可能•

ODLとインフラ環境を、単一サーバ一上でセットアップ•

仮想ルータはデータプレーン性能/機能に制限がある場合があるので注意•

最近ではデータプレーンをエミュレーションした仮想ルータもありo XRv: コントロールプレーン
o XRv 9000: コントロールプレーン＋データプレーン•

トラフィック負荷をかけたい場合は、仮想トラフィックジェネレータもあり
o IxVM (IXIA)o TRex (Cisco)© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

33

アジェンダ•

OpenDaylighto BGP-LS/PCEPo ODL動作o ODL動作 + Applicationo ODL検証/運用 Tips•

WAN SDNコントローラ
o Optimization/ Network Model

•

今後の動向
o NonPCEPo Multi-Layer© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

34

WAN SDNコントローラアーキテクチャ
Application
ControllerREST•

ODLはコントローラの一部となる•最適化の必要性
ODLにパス最適化機能はない
o パス計算エンジンは別途必要
oOptimization Engine
Network ModelCollector
トラフィック情報
トポロジ情報

Deploy•ネットワークモデルの必要性
アプリケーションからネットワークを抽象化
o CollectionエンジンによるNW情報収集oØ トラフィック統計情報

BGPLS

PCEP

Ø トポロジ情報

Infrastructure© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

35パス設定手順① A->ZにXX[Mbps]の帯域がほしい(アプリはNetwork Modelによりトポロジを意識しない)

Application①③④

Controller

REST

Optimization Engine
Network Model
Collector
トラフィック情報
トポロジ情報③ 最適化の結果を返す④ 許可実行
② パスの計算(最適化)②Deploy

BGPLS

PCEP

Infrastructure⑤ PCEPトンネルの生成© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

36

アジェンダ•

OpenDaylighto BGP-LS/PCEPo ODL動作o ODL動作 + Applicationo ODL検証/運用 Tips

•WAN SDNコントローラ
o Optimization/ Network Model

•

今後の動向
o NonPCEPo Multi-Layer© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

37

NonPCEP
Application•

トンネル：RSVP MPLS-TEo ルーティング：Static、PBR、PBTSなど
oController

REST

全て従来のルータ設定でWAN SDNを実現

Optimization Engine
Network ModelCollector•PCEP等の”プロトコル”は用いない

Deploy
設定管理サーバ

トラフィック情報
トポロジ情報TE Service Model
Device Model

Config
DB

トンネル設定ルーティング設定(★)

Infrastructure© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

38

Multi-LayerApplication•

L0 – L3に対するWAN SDN
パス計算、最適化
o Network ModeloWAN Controller•

レイヤを跨ったマルチベンダー対応© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

39

まとめ
© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

40

まとめ•

ODLの機能としてBGP-LS/PCEPをご紹介•WAN SDNの実現にはODL + α(最適化/ネットワークモデル等)が必要•

トンネルを張った後のルーティング方式の議論が必要 – 設定投入またはTLV•

必ずしもWAN SDN = BGP-LS/PCEPではなく、方式の検討が進んでいる•

L0 – L3のマルチレイヤーの検討が進んでいる© 2014 Cisco and/or its affiliates. All rights reserved. Cisco Confidential41