SDN/NFV:
CPE及びバックボーンへのネットワーク自動化の実装ユースケース
Alcatel-lucent
鹿志村 康生1COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

全体のoverview, 目指すこと	エンタープライズ
ブランチWAN

CPEオープン化
自動化/簡易な運用
Cloudとの融合＝＞SD-WAN	

キャリア IP + Opt バックボーン

サービス/パスプロビジョニングの自動化
ネットワーク使用の最適化
マルチレイヤマルチベンダ＝＞ キャリアSDN	

2
ALCATEL-LUCENT — PROPRIETARY AND CONFIDENTIAL — RESTRICTED — SOLELY FOR AUTHORIZED PERSONS HAVING A NEED TOKNOW.
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Cloud/NFV

キャリアSDN for バックボーンネットワーク
実装例	

3
ALCATEL-LUCENT — PROPRIETARY AND CONFIDENTIAL — RESTRICTED — SOLELY FOR AUTHORIZED PERSONS HAVING A NEED TOKNOW.
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

キャリアSDNの目指すこと：
ポリシードリブン,ネットワークアウェアなサービスのアクティベーション
OSS/IT アプリケーションサービス
オートメーション

NETWORKSERVICES
PLATFORM

Abstract
ネットワーク最適化“10msのLatencyの10GbpsのVPNリンクが欲しい”

フローをマップするための最適なサービスとトンネルを決定
必要であれば新たなトンネルをリクエスト
新たなトンネルのための最適なパスを計算
トポロジと利用可能なトンネルの帯域をアップデート

最適な利用可能なネットワークリソースを用いたL0-L3サービスの自動プロビジョンと最適化
4
ALCATEL-LUCENT — PROPRIETARY AND CONFIDENTIAL — RESTRICTED — SOLELY FOR AUTHORIZED PERSONS HAVING A NEED TOKNOW.
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Path Computation Element
RFC 4655
PCEコンセプト：パス計算とパスシグナリングの機能分離• より高いネットワークのコントローラビリティ

PCEP

PCE

PCE
TED

TED

NMS

PCEP

PCEP

{IRO, XRO, RRO}

• オペレーターポリシーの適用性• マルチベンダー環境への対応

IP/MPLSPCE Communication Protocol(RFC 5440)でPCEとPCEクライアント(PCC)のインタフェースを規定

PCC

クライアントはネットワークノード/NMS/Apps

UNI

PCEはノード上/NMS上にEmbedded,又は独立したエンティティとして存在可能
階層やドメインの違いにより複数のPCEが存在可能
で、互いに協調しマルチドメインのパス計算が可能

PCEP

PCE in
GMRE

GMPLS

PCE
TED

Optical5
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

NSPアーキテクチャ オーバービュー
OSS/IT アプリケーション
ReSTful & Netconf/YANGABTRACT MODEL
ネットワークサービス
ディレクトリー
サービスプロビジョニング/ コ
ネクションマネージャー

リソースマネージャー、
KPI とその分析

Multi-layer Path Computation
NRC-X
IP PathComputation
NRC-P

Optics Path
Computation
NRC-T

マルチベンダー アダプテーション レイヤー
サービスプロビジョニング

トポロジーディスカバリー

Netconf

BGP-LS

SNMP

CLI

PCEP

ISIS OSPF/TE-Ext.

マルチベンダ, マルチドメイン, マルチレイヤー ネットワーク
6
ALCATEL-LUCENT — PROPRIETARY AND CONFIDENTIAL — RESTRICTED — SOLELY FOR AUTHORIZED PERSONS HAVING A NEED TOKNOW.
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

ネットワークプログラム
O.F. BGP-FlowSpec I2RSNSP 機能コンポーネント
NSD(ネットワークサービスディレクトリ)

NRC-X(クロスドメインPCE)

ReST/Netconf

ReST/Netconf

サービスプロビジョニング
Netconf

Inter-layer/domain Path
Computation

サービスコネクション
マネージャ

SNMP CLI

Netconf, PCEP

NRC-F(OF PCE)

NRC-P(IP PCE)

NRC-T(Optical PCE)

ReST/Netconf

ReST/Netconf

ReST/Netconf

Flow Placement

MPLS Path Computation

Optical Path
Computation

OF, BGP

7COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

BGP-LS,IGP-TE

PCEP

Netconf,PCEPEMS

NRC: IP/Optical/クロスドメイン PCE

追加で必要なアクションやアルゴリズ
ムをサポート

NRC-P: 集中化されたパス計算 (SR & LSP)
• バルクパス計算とオンラインパス最適化• リダンダンシ, 分散されたパス• 様々な制約条件化でのパス計算• BGP-LSによるTED取得, 及び PCEPによるPCCPCE communication

Northbound Interfaces

NRC-T: 集中化されたOTN and DWDM
ポリシー

Path Computation と最適化 モジュール
ProgrammingPCEP

LSP DB
TE DB
Network Topology
Discovery

BGP/LS• Opticalレイヤのサポート• CSPF, リダンダンシ, エンクリプション, 分散
されたパス• L0/L1パス計算(最初は自社Opt機器のみのサポートから開始)• SNMP/etc

NRC-X: Cross Domain• マルチドメイン及びレイヤ間のパス計算

8
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

ネットワーク仕様率とナップサック問題
合計キャパシティC

1kg	
$2	

合計トラフィックT
合計レベニューR

10kg	
$4	

4kg	
$10	

• ネットワークキャパシティのアロケーションはナップサッ
ク問題に例えられ、組み合わせにより膨大な選択肢が存在してしまう• ネットワークを使用していくに従って、あるLinkの使用が逼迫すると、新たなトラッフィック要求をネットワークにFitさせていくのが困難になっていく。
• 使用可能なリンクキャパシティーはフラグメント化され使用出来ないまま残って行く• 最適化するためには多次元でのナップサック問題の解法が必要となる。
9COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

理想
cSPF withSTAR PCE

2kg	
$2	15kg	
6kg	
$4	

ネットワーク仕様率

CSPF
のみ創出されるレベニュー

SDN/PCEは使用率を改善させるのに有用なツールとなり得る• 効率的なパス計算アルゴリズム：Bell研のSTAR (Self-Tuned Adaptive Routing), CSPF
及びリニアプログラミング• 定期的なリバランシングによる最適化

0.3
0.4
0.3

S

0.2

P2
0.4

P3
0.3
0.3

0.6

0.2

DP1
Path P1 の最大Link使用率 = 0.6

P1 のHop数 = 3

Path P2 の最大Link使用率 = 0.4

P2 のHop数 = 5

Path P3 の最大Link使用率 = 0.3

P3 のHop数 = 6

効率: ネットワークの総帯域消費を可能な限り最小限に抑える
バランス: デッドロックを避けるためにLinkのoverloadを可能な限り避ける
10
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

最大リンク使用率

STAR (Self-Tuned Adaptive Routing)がアドレスしようとしていること
効率化と最適化のバランス
ちょうど良い所を目指す	

CSPF(Min-hop)

効率とバランス
Min-max
平均リンク使用率

Min-hop: 効率的だがバランスされない
Min-max: 最大限バランスされているが非効率ρ(e) =

the utilization of link ef (e)u(e)• Set the link costc(e) = exp(α[ρ(e) − 1])• Route connection request on the minimum
cost s-d path- Min-Hop: α = 0

最短経路をなるべく通す	- Min-Max: α = ∞最大限分散させる	

- STAR*: 0 ≤ α ≤ ∞ for efficiency and balance
11Network Utilization• Let f(e) represent the current reserved
bandwidth on link e andMaximum Link Utilization

Bell Labs STAR: Self-Tuned Adaptive Routing algorithm

最適なαを見付けて最適なバランスを取る	

COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

αを大きくするとLink
デッドロッ
クを避け易くなる	

αを小さくすると総帯域使用が少なくなる	CSPFとの比較：6ノードトポロジーでのパフォーマンス
CSPF Link Load Distribution after 1400 Requests
BSTAR Link Load Distribution after 1400 Requests

CB

FA

DFA

E

アンバランスなリンクロード分散C

CSPF
REJECTED	  269	  (12%)

DEより効率の高いパッキング要求が増えるにつれ要求がFITせずRejectされるケースが増える

要求が増えてもRejectされる数は
CSPFのケースよりも少ない

COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

STAR
Path*

よりバランスされたリンクロード分散

効率の悪いパッキング

12

REJECTED	  29	  (1%)

ACCEPTED	  2032	  (88%)

ACCEPTED
2272	  (99%)

より大規模な例：59ノードトポロジーでのパフォーマンス
CSPF Link Load Distribution (50% of traffic)

REJECTED	  6230
(24%)

Path* Link Load Distribution (50% of traffic)STARCSPF

ACCEPTED
19770	  (76%)

13
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

REJECTED	  1183	  (5%)

STAR
Path*

ACCEPTED	  24817	  (95%)

ネットワークのSTARによるre-optimization• CSPFを使用してネットワークを動かしておく

Before Re-optimization• 3 Linkの使用率が80%を越えたらreoptimizationをトリガーする• Re-optimizationのためのInput:- Re-route可能な総パス数- Path stretch factor• アルゴリズムにより- Re-routeにより最大の効果をもたらすパスを選択し- そのパスを新たなroutingパスにre-route

14
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

After Re-optimization

H-PCEによるIP/Opt Multi-Layerでの最適化
Problem statementR1とR2間のIP Linkをprovisionしたい
R1

R2
Opt
Opt

Opt
Physical link

Physical link

Fiber

R3

R4Opt

Opt
Opt

15
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

H-PCE トポロジーディスカバリ
H-PCEから見えるMulti-layer/
domain topology
レイヤー/ドメインのボーダーとなるNEのみを見る

R1

R2

IP PCEから見えるIP topology

Optical PCEから見える
Optical topology

R1
IP-OpticalネットワークのPhysical view

16
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

R2

H-PCE – inter-layerのコンピュテーション (1/2)

H-PCEはR1とR2のshortest pathを見付けなければならない
O1-O2, O3-)2間のコストが必要

R13O1?
1833?
15O3
H-PCEはOptical PCEに、必要な条件下(R1-R2間の帯域等)での O1-O2,O3-O2間の可能なパスを問い合わせる

Optical PCEがO1-O2, O3-O2間の最適なパスを決定
1881055517
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

R2O2

15575

H-PCE – inter-layer computation (2/2)

H-PCEは inter-layerでのshortest pathをtotal costから決定する (R1, O3, O2, R2)

R133?
153O3

適切なコンフィグレーションがR1, R2, O2, O3に送られて、R1-R2間のIPリンクが生成されIGPに追加される
810

H-PCEはOptical PCEにPCEPによりO3-O2間のパス生成を命令する

55518
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

R2O2O115575管理ツール: マルチレイヤネットワークの3D VIEW

19
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

管理ツール: マルチレイヤネットワークの3D VIEW	

Linkutilization
snapshot

20
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

CPE向けSDN: SD-WAN
実装例	

21
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

SD-WAN: Nuage VNS主要コンポーネント
1.管理サーバ(VSD)

2.コントローラ (VSC)■ ソフトウェアとして提供■ 仮想ネットワーク全体の設定・管理■ GUI/API フロントエンド■ X86サーバ上で動作(Linux)■ ソフトウェアとして提供■ 仮想ネットワーク全体のプログラミング■ X86サーバ上で動作(Linux)

3-2.NSG-V (VM版GW)

3-1. NSG-E (物理版GW)■ ソフトウェアとして提供■ 仮想マシンイメージ(qcow2/ova)■ KVM/ESXiなどのHV上のVMとして動作■ 機能面ではNSG-Eとほぼ同一■ x86ベースの小型ハードウェアBOX■ live-cdイメージで常に同じ設定で起動■ LTE/WiFi/組込みの暗号化エンジン■ 拠点配布に適した最も簡単な展開方式
NSG-‐‑‒E  物理理アプライアンス

店舗	  事業所拠点・本社・店舗など	  NSG-‐‑‒X  ⼤大規模アプライアンス
Host	  Host	  VXLANトンネリングによりHost	  Host	  中継ネットワークを介してHost	  Host	  相互に通信可能
Host	  Host	  Host	  Host	  Host	  Host	  物理理ホスティング環境	  Copyright 2015 Nuage networks. All rights reserved.

NSG-‐‑‒V  仮想アプライアンス

Hypervisor*

Hypervisor*

クラウドデータセンタ	  VNS SD-WAN アーキテクチャ オーバービュー 	
ポリシーエンジン

Virtualized Services Directory(VSD)

Virtualized Services Controller
(VSC)

OFTLS
ブランチ
オフィス

VXLAN	

サービス
チェイニン
グ
SecureFabric

nCPE

SDN
コントローラ

ブランチ
オフィス
23
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Internet FabricInternet
nCPE

Openflow
F/W

DC

NAT

WAN

VXLAN(w/IPsec)	

Virtual Routing &Switching (VRS)

Networking
edge function

Hypervisor

DC

Community
FabricVM

VM

動作イメージ概要	
直感的に把握しやすいGUIツールでネットワーク構成やセキュ
リティポリシーをデザイン

接続方式■ オーバーレイ方式で各拠点のNSG(ハードウェアまたはソフトウェア)がVXLANトンネリングにより直接通信を行う。
■ VXLANトンネリング、NAT/ACL/FW等の設定ははGUIでデザインした内容に応じて自動構成される。

拠点	  CPE	  (NSG)	  Internet	  VSD	  VSC	  GUIでデザインされたネットワーク・トポロジーをSDNコントローラが具体的な設定内容に変換
各拠点装置に対して一括して設定を実施

キャリア専⽤用線・広域イーサ	  Overlay	  VPN	  (VXLAN/VXLAN	  IPSec)	  拠点	   CPE	  (NSG)	  24COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

本社リソース	  Hypervisor*

Hypervisor*

パブリック・クラウド

DC仮想サーバ環境VNS 自動Bootstrapping	① VSCからのCSRにサーバーが署名。事前手動プロセス
Web-FrontEnd

CA Server

24c

VSD

14b

VSC

HTTPS

③ NSGがブランチに真っ新な状態でDeployされる。
a. OOBメッセージでUserにusr/pwd/OTPを送信
b. Uplinkを接続し、DHCPによりUplink IPを取得しAgentのbootが完了④ 指定のポートに接続し、Web pageに接続
a. credentials + OTPを入力
b. VSDにSSL接続要求がProxyされる
c. User認証とUUIDでのNSGの認識
d. Infrastructure設定がcertと共にdownloadされる

4d

OF-TLS

5Branch② NSGをVSD上でプロビジョニング• ID, Infrastructure {VSD, VSC IP@s, redundancy, UNI ports}

4aUser3aHypervisor	  

WAN

3b

NSG

25
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

INET	  

⑤ AgentがVSCへOF-TLS接続• 署名済みCertsによりClient/server authentication• Forwarding tableがプログラムされる

まとめ	エンタープライズ
ブランチWANx86 CPEとポリシーベースのSDN制御
CPE設定の自動化
Cloud NW技術の再利用	
26
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

キャリア IP + Opt バックボーン

PCEによる外部パス計算
独自アルゴリズムによる最適なネットワーク
パスの選択、効率/使用率のバランス
マルチレイヤ、マルチベンダへの対応
プロビジョニングの自動化

Cloud/NFV27
COPYRIGHT © 2015 ALCATEL-LUCENT. ALL RIGHTS RESERVED.