Global Network Cloud Architecture
Telco Cloudのためのアーキテクチャ案

鹿志村康生

1

© 2017 Nokia

yasuo.kashimura@nokia.com

テレコクラウドへの変革•––•

vCPE, Firewall, NAT, IPSec Sec-GW, etc.
vEPC, vBNG, vPE, etc

NFVではVNFを汎用サーバーの上で動作させるために通常の仮想化技術(Openstack/VMware/etc)を使用する。
しかしNFVは通常のデータセンタワーク
ロードとは異なる•––2

これまでの物理機器で提供されていた機能がVNFとしてテレコクラウド環境へ移行

多くのNetwork Functionがデータセンタの仮想化環境へ移行し始めている。

コンピュートとネットワーキングの最適化が必要
ネットワーク/サービスの境界がLeafノードや仮想アプライアンスの所へ© 2017 Nokia

メトロ

テレコクラウド DCコアメトロメトロアクセス

テレコクラウドにおけるチャレンジ••

どのように複数のテレコクラウドDCをコア/メトロに接続するのか?
––––

サービススケールの妥協無しに
End-to-Endでのトラフィックエンジニアリン
グのAbilityを失わずにサービス間の接続の制限無しにDC/WANで方式が異なる場合にはそれによる余計なコストや複雑さ無しに既存のReferenceソリューションでは全てのRequirementを満たすのは非常に大変かも。
––––?

NFVオーケストレーター

DC-GWがDC内(〜Server)のサービスとWAN側のサービスをStitch ?
DC-GWがDC内のVXLANとWAN側のMPLS/SRのEncapを変換?
SDNコントローラー/オーケストレーターは誰がどこまでの範囲を見るのか?
End-to-EndでのTEは?

WAN SDNコントローラー?

DC SDNコントローラー

DC SDNコントローラー
VNF

LEAF

テレコDC１3© 2017 Nokia

SPINE

NFVオーケストレーター

DC-GW

DC-GW

SPINE

LEAF

VNF
テレコDC２

WAN

ComputeCompute既存アーキテクチャでもちゃんとやろうとしてますが、結構大変は大変です。。
ポータル

サービスカタログ

OSS/BSS

サービスフルフィルメント/アシュアランス/オーケストレーション

E2E オーケストレーション

ワークフロー
マネジメントリソースマネジメント

アナリティクスSouthbound プラグインフレームワーク
WAN SDNコントローラー

メトロ

DC SDN / Neutron / others

VNFM

VNF

VIM等

NS Appliances

VMwareデータセンター

コア

IMS

TAS

MSS

SDM

MME

S/P-GW

App A

NFVI

DC-GW

Virtual Networks Orchestration
4© 2017 Nokia

OpenStack

App B

DC HW (x86)…

NFVオーケストレーション

VIM(CBIS)
VIM

で、こんなことも考えてます：Global Network Cloud Architecture• シームレスなDCとWANのインテグレーション

Segment Routing
Global Controller• DC間及びWAN越しでのネットワークエレメント/ワークロード間でのシームレスな接続性を、ネットワークノードへ最小限のタッチで提供NSP• オートメーション/進化したサービス設定• BGP SRによるオーバーレイトポロジーをどのようなUnderlayネットワーク上にもフレキシブルに作成。

テレコDC1DC Controller

VNF

テレコDC2
DCGW

物理LEAF

仮想LEAF(VRS/vSW)
VNF

Leaf

MPLS SR e2e
SPINE

VNF

Spine

MPLSoUDP

DC-GW

WAN

MPLS SR• スタンダードベース、オープンで相互接続可能なSDNソリューション

MLS

モバイル
バックホール

LEAF

セルサイトルーター

5© 2017 Nokia

eNodeB

VNF• Segment Routing Global Controller (SRGC) はEnd-toEndのオーケストレーションを提供。アプリケーションエンドポイントをBGP-EVPNで発見しSR-TEポ
リシーをBGPコントロールプレーンにより自動的にプログラム。

• トランスポート、サービス、SR TEポリシーにはBGPコントロールプレーンを使用。
• データプレーンはまずはSR-MPLS及びMPLSoUDPから。次の段階としてSRv6を想定。
• Deployされたアプリケーションのユーザーポリシー
は”Color”としてエンコード、適切なSR-TEパスの計算に使用される。

Global Network Cloud Architecture
主な特徴
Delivers seamless DC-WAN interconnectivity• E2Eでのトランスポート(BGP-LU) と サービス(BGP EVPN)のBGPコントロールプレーン•

DCとWANの境界を無くす•

DC-GWをサービスプレーンから除外• E2EでのSegment routingデータプレーン。最初はMPLS及びMPLS-over-UDPから。
• 統一されたGlobal SDNコントローラーでE2Eのトポロジーとサービスを把握• DC内はポリシードリブンのSDNコントロー
ラー(Nuage Networks VSP)

• E2Eでのトラフィックエンジニアリング

Segment Routing Global Controller

NSP

Data Center

Data Center

VNF

Leaf

Spine

DCGW

DCGW

Spine

WAN

MPLSoUDP(必要に応じて)
SR-MPLS6© 2017 Nokia

BGPLeaf

VNF

VNF/NFの接続パターン
l IP Underlayに直接接続
l SR policy Endpoint(VTEP的な)がVNF
l SR機能を持つ物理/仮想NF(サービスエッジルーター)等

l EVPNでのoverlayネットワークに接続
l SR policy endpointが Leaf/TORl 物理アプライアンスNF等

l EVPNでのoverlayネットワークに接続
l SR policy endpointが コンピュートホストのvSwitchl SR機能を持たないVNF
SDNコントローラ
BGP

VNF(VM)

OF
BGP

BGP

NF

SR Tunnel
Spine

7© 2017 Nokia

NF

SR Tunnel
Leaf/TORSpine

SR Tunnel
Leaf/TOR

vSwitchComputeSegment Routing Global Controllerの役割••

Segment Routing GlobalController

E2EのSR (TE)コントローラー
E2E SR TEポリシーのセットアップ及び最適化–––NSP•

Data Center

Data Center

オペレータードリブン又はOndemand/dynamic TEポリシー のInstantiation
主な機能:

•–VNF

Leaf

Spine

DCGW

DCGW

Spine

Leaf

VNF

–WAN–MBHNFV POP

eNodeB

8CSR© 2017 Nokia

MLS

Exit Leaf

Spine

Access Leaf

VNF(vEPC)•

DC-to-DC
DC-to-WAN
バックホール–to-NFV POP

DC及びWANのトポロジー学習: BGP-LS、BGP-LU
TEパスをInstallするためにBGP SRポリ
シーをアドバタイズ
EVPNルートをモニターしE2Eの仮想サービス接続マップを管理する

プログラマビリティ、オートメー
ション、最適化ウォークスルー
VNFのInstantiation•VNFM

VNFMがVNFをvNIC
interface=198.51.100.1は“blue”
ポリシーを使用、としてInstantiate

Segment Routing
Global Controller

–NSP

VIM

SRGCが”color”の情報をPublish

VSD(ポリシーマネージャー)

VSC

VSCが”colored”のEVPNルートを生成

Leaf

それぞれのTagはSRポリシーの“color”と関連付けられる。

•“color”の情報はSRGCからVSD’(SDNポリシーマネージャー)へOpen APIでPublishされる。

•

VSC(SDNコントローラー)は”color”をそれぞれのvNICのアドレスのBGP
EVPNルートに入れてAdvertiseする。

RR

Spine

DCGW
WAN

192.0.2.1

9© 2017 Nokia

例えばvNIC1とvNIC2はDisjoint Pathを使用、
vNIC3はLow-latency Pathを使用、等•(SDNコントローラー)VNF

VNFMがVNFをTEポリシーを指定してInstantiate。

ウォークスルー
E2EのEVPNルートAdvertisement
EVPN-MPLS BGP RouteIP address: 198.51.100.1
Mac address:
xx:xx:xx:xx:xx:xx
Label: SL
Next-hop: 192.0.2.1
Color: blue

EVPN-MPLS BGP RouteIP address: 198.51.100.1
Mac address:
xx:xx:xx:xx:xx:xx
Label: SL
Next-hop: 192.0.2.1
Color: blue
RR

EVPN-MPLS BGP RouteIP address: 198.51.100.1
Mac address:
xx:xx:xx:xx:xx:xx
Label: SL
Next-hop: 192.0.2.1
Color: blue
RR

VSC

VNF1

VSC

Leaf

Spine

DCGW1

DCGW2
WAN

198.51.100.1

10© 2017 Nokia

192.0.2.1

Spine

Leaf

VNF2

ウォークスルー
EVPNルートの解決のためのBGP-LUルートのAdvertisement
BGP Route
AFI 1, SAFI 4
Prefix: 192.0.2.1/32
Label: L1
Next-hop: 192.0.2.1
Prefix-SID attr (40)Label-index: nTunnel-encap attr (23)Tunnel type: 13 (MPLSoUDP)

BGP Route
AFI 1, SAFI 4
Prefix: 192.0.2.1/32
Label: L3
Next-hop: DCGW2
Prefix-SID attr (40)Label-index: nTunnel-encap attr (23)Tunnel type: 13 (MPLSoUDP)

BGP Route
AFI 1, SAFI 4
Prefix: 192.0.2.1/32
Label: L2
Next-hop: DCGW1
Prefix-SID attr (40)Label-index: nRR

RR

VSC

VNF1

VSC

LeafSpine

DCGW1

DCGW2

SpineLeaf

WAN
198.51.100.1

192.0.2.1

BGP Route
AFI 1, SAFI 1
Prefix: DCGW2
Next-hop: if1-address
11© 2017 Nokia

BGP Route
AFI 1, SAFI 1
Prefix: DCGW2
Next-hop: if2-address

VNF2

ウォークスルー
ここまででE2EでのReachabilityを確保
MPLSoUDPは BGP-LUルートがTunnel-encap=MPLSoUDPとなっている区間のみ。
MPLSがそのまま通れない区間用(ex.DC内Switch等)
RR

RR

VSC

VSC

VNF1

Leaf

Spine

DCGW1

DCGW2

Spine

Leaf

VNF2

WAN
198.51.100.1

Payload12© 2017 Nokia

192.0.2.1

IP dest=192.0.2.1
UDP
L1
SLPayload

Lx
L2
SLPayload

IP dest=DCGW2
UDP
L3
SL
Payload

Payloadウォークスルー
SRGCでのネットワークの把握•BGP Route
AFI 1, SAFI 4
EVPN-MPLS BGP RoutePrefix: 192.0.2.1/32
IP address: 198.51.100.1
Mac address: xx:xx:xx:xx:xx:xx Label: L1
Next-hop: 192.0.2.1
Label: SL
Prefix-SID attr (40)
Next-hop: 192.0.2.1
Label-index: nColor: blue

Segment Routing
Global Controller

SRGCはRRとPeerを張り、全てのLeafノードとDC-GWノードのBGPLUルートを受信する。
–NSP•

SRGCはBGP-EVPNルートも受ける
ことにより、サービスコネクティビティマップを把握する。
これによりSRGCはトランスポートマップとその上に乗るサービスマップを併せて把握出来る。

RR
VSC

VNF1•LeafSpine

DCGW1
WAN

198.51.100.1

13© 2017 Nokia

192.0.2.1

それぞれのDC及びDC内LeafへのReachability tableを持つため。

–––

VNFとそのReachability
DC-GW
Leafノードウォークスルー
コントローラーでのポリシーテンプレート例
SRGC上でSR TEポリシーを”Color”毎にテンプレートとして設定。
{Red:Objective: Low Latency
Constraints: SID Depth < 4Attributes: Bi-directional
Actions: P2P}{Blue:Objective: Minimize Hops
Constraints: SID Depth < 4Attributes: Bi-directional
Actions: P2P}
14

© 2017 Nokia

Policy 1
Source=192.0.2.1
Endpoint=..
Segment list = {SID1, B.DCGW12.red, leaf-SID}
Policy 2Source=..
Endpoint=192.0.2.1
Segment list = {SID2, B.DCGW21.red, leaf-SID}
Policy 1
Source=192.0.2.1
Endpoint=..
Segment list = {SID1, B.DCGW12.blue, leaf-SID}
Policy 2
Source=..
Endpoint=192.0.2.1
Segment list = {SID2, B.DCGW21.blue, leaf-SID}

Binding SID
途中経路を指定するSegment Listにmapされる

ウォークスルー
BGP SRポリシールートのAdvertisement : E2E SIDリスト
Segment Routing
Global Controller

BGP Route
AFI 1, SAFI 73<RD, endpoint=192.0.2.1, color=blue>
Tunnel encap attribute: 23 (BGP Path Attribute)Tunnel type: 15 (SR TE policy)
Segment-list: SID2,B.DCGW21.blue,SIDn

NSP

RR

RR

VSC

VNF1

VSCLeaf

Spine

DCGW1

DCGW2
WAN

SIDn15© 2017 Nokia

SID1

SID2Spine

Leaf

VNF2ウォークスルー
BGP SRポリシールートのAdvertisement : Binding SID
Segment Routing
Global Controller
NSP

DCGW1

SID4

WAN

BGP Route
AFI 1, SAFI 73<RD, endpoint=192.0.2.1, color=blue>
Tunnel encap attribute (23)Tunnel type: 15 (SR policy)
BSID: B.DCGW21.blue
Segment-list: SID3, SID4, SID1

DCGW2

SID3

SID1

SID2
SID716© 2017 NokiaSID6

SID5

ウォークスルー
VNG2とVNF1間のTEパスが完成

RR

RR

VSC

VSC

VNF1

Leaf

Spine

DCGW1

DCGW2

Spine

Leaf

VNF2

WAN
198.51.100.1

192.0.2.1

IP dest=DCGW2

Payload17© 2017 Nokia

IP dest=192.0.2.1
UDP
SIDn
SL
Payload

SID3
SID4
SID1
SIDn
SL
PayloadUDP
SID2
B.DCGW21.blue
SIDn
SL
Payload

Payloadウォークスルー
同じ方法をVNF〜eNBサイトへ適用•

IGP based SR-MPLS•BGP SR-TE Policy

eNodeB

CSR

RR

AGG
RouterRR

MLS

Exit Leaf

Spine

Access Leaf

CORE
198.51.100.1

VNF(vEPC)

192.0.2.1

IP dest=Exit Leaf

Payload18© 2017 Nokia

SID5
SID6
SIDn
SL
Payload

SID3
SID4
SID1
BSID.MLS-CSR
SL
Payload

UDP
SID2
BSID.EL-MLS.red
BSID.MLS-CSR
SL
Payload

Payloadまとめ•••••

テレコクラウドのためのEnd-to-Endでのアーキテクチャ案
既存のソリューションにおける境界のオペレーションの複雑さやスケール等の制限を 解決可能(かもしれない）ソリューション
End-to-EndでのVNFアウェアなトラフィックエンジニアリングを提供
ネットワーク/サービスの境界を物理/仮想Leafへ拡張
コントローラーの内部実装以外は基本的にInteroperableな標準ベース、
BGPでトランスポート/サービスの情報を伝達<関連RFC/I-D(一部)>
RFC 8277 BGP-LU
RFC 7432 EVPN-MPLS
RFC 7510 MPLSoUDP
draft-ietf-idr-tunnel-encaps
draft-ietf-idr-segment-routing-te-policy
draft-filsfils-spring-segment-routing-policy

19© 2017 Nokia