DC間
間Layer2接続
接続の接続の課題と課題とSolution- PBB/VPLS再訪
再訪
Yasuo Kashimura (yasuo.kashimura@alcatel-lucent.com)
Alcatel-lucent
1
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Data center Architectureのの進化

2
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Vserver model & problem
CouldははDynamicななネットワークを
ネットワークを必要とする
必要とする• VMはネットワークに接続された
サーバー

VMの移動、変更、削除
 Service/Applicationアウェアネス
 AdaptiveなLogical Topology- それぞれCPU/RAMリソース、
IP/MACアドレス、Diskスペースを持つ- VMのDynamic allocation、Hitless Move
- リソースの効率的な利用、クラスタリング、
Defragmentation

VM

VM

OS

VM

OS

OS

VM
VM

OS

VM

OS

VM

OS

OS

IP

IP

IP

MAC

MAC

MAC

Blade Server

IP
MAC

IP

IP

IP

MAC

MAC

MAC

Blade Server- VM 移動/追加/削除• ネットワーク環境の制限- サブネット内に限定- 従来のDC構成ではDC内のみに範囲が制限Blade Center

3
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Blade Center

DATACENTER DEPLOYMENT:
必要となるCONNECTIVITY
SOHO

SOHO

HQ1

• Connectivity type 1:

HQ2

IP-VPN/L2VPN: エンドユーザからのデータセンタリソースへのアクセス- One IP/MAC per VM

WAN:
IP/MPLS• Connectivity type 2:
IP-VPN/L2VPN: VM間のコミュニケーショ
ン (web,Appl,DB VM)

Type 1 (IP-VPN/VPLS): customer access to compute resourcesType 2 (L2/L3): Intra/inter-DC VM communication- One IP/MAC per VM• Connectivity type 3:

DC-PE

Type 3 (L2): Vmotion, VM Management

L2VPN/VPLS: Vmotionのサポート 及びVM マネジメントCoreswitch- One IP/MAC per server• サービスのためのサービスのための新のための新たな要素
たな要素
TOR/
EOR

- サービスの柔軟性, モビリティー, アプ
リケーションパフォーマンスのSLA- ゼロタッチ プロビジョニング- No-SPT, L2MPサービス

VM

DC-site 1
4
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

DC-site 2

DC-site 3

DC間接続
間接続における
間接続における課題
における課題• Layer2ドメインドメインのドメインの物理的制限• 4K/12bitののVLAN数
数リミテーション• 爆発的な
数の増大
爆発的なMAC数• IP/ARPのの増大• Broadcast / Unknown Unicast / MulticastののFlooding制御
制御• コンバージェンス• 柔軟な制御
柔軟なTraffic Path制御• DC間
間ネットワーク方式
ネットワーク方式の方式のオプション• 既存の将来的なサービスとの既存の/将来的
将来的なVPNサービス
サービスとの接続との接続
5
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

今後の今後のデータセンターテクノロジー

Datacenter• 仮想化による仮想化によるマルチによるマルチテナンシーのテナンシーの要求• SAN• ネットワーク設定
ネットワーク設定 の自動化

6
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

ELAN/ELINEサービス
サービスをなOption：：サービスを提供する
提供するScalableなする
PBB-VPLS
1st ELAN/ELINE
Generation

2nd ELAN/ELINE
Generation

3rd ELAN/ELINE
Generation

ETHERNETOVER MPLS

構成の階層化, 効率的なBUM制御Service ScaleとOneTouch Provisioning

LDP VPLS (RFC4762)

H-VPLS (RFC4762)

PW full mesh, LDP signaled

PW hierarchy
BUM-efficient

BGP VPLS (RFC4761)
PW full mesh, BGP signaled

BGP VPLS (RFC4761)

PBB-VPLS

p2mp LSP for BUM efficiency

PBB for service scale,
end-point provisioning
ELAN and ELINEVLL (RFC4447,4448)
PWE, LDP signaled

MS-PW
TLDP hierarchy
7
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

IEEE 802.1ah
Provider Backbone Bridge
PBB
BEB

PayloadPBB
BEB

EtherType

C-VID

PBBN
(802.1ah)

PBN(Q-in-Q —802.1ad)PBN(Q-in-Q —802.1ad)

EtherType
S-VID
EtherType

Service ID

C-SA• Backbone内のForwardingにはB-MAC(B-DA/B-SA)を使用

C-DA• 24 bitののService ID – I-SID – サービスの識別子

I-TAG
EtherType802.1ah- Backbone headerをCustomer Ethernet Frameに付加

B-VID
EtherType

B-SA• Backbone VLAN IDによりBackboneのbroadcast domainが決まる- PBBのEncapsulationがもたらすもの:• MACのの階層化による
階層化によるCOREでのでのMAC数
数を劇的に
劇的に削減
による
での
• I-SID(16M/24bit)でのでのユーザサービス
でのユーザサービス識別ユーザサービス識別• B-VIDでのでのユーザサービス
でのL2インスタンス
でのユーザサービス集約
ユーザサービス集約による集約によるCOREでのによるでの インスタンス
数削減

B-DA

8
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

PBB-VPLS モデル
draft-ietf-l2vpn-pbb-vpls-pe-model
複数のUserのサービス(I-VPLS)は1つのB-VPLS
複数のUserのサービス(I-VPLS)は1つのB-VPLSに多重化可能(M:1)。それによりCustomerに多重化可能(M:1)。それによりCustomer
MAC/VLANはコア上ではNo
MAC/VLANはコア上ではNo Care。
Care。

I-VPLSBCBs

B-VPLS
B-VPLS

BEB PEI-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLS
B-VPLS
B-VPLSI-VPLS

BEB PE
B-PW
B-PW

B-PW
B-PW

B-VPLS
B-VPLSI-VPLS
Backbone-facing
Backbone-facing
B-component
B-component

B-VID
B-VID

BEB PE

B-VPLS
B-VPLSI-VPLSI-VPLS

B-VPLSはBMACの処理のみを行う
B-VPLSはBMACの処理のみを行う
I-VPLS

Customer-facing
Customer-facing
I-component
I-component

I-VID

CPE

I-PW

MPLS

I-VPLSはFrameがB-VPLSを通って他拠点
I-VPLSはFrameがB-VPLSを通って他拠点へ転送される際にPBBのEncapsulationをへ転送される際にPBBのEncapsulationを
行う。
行う。
I-TAG
I-TAG (I-SID)(I-SID) はCustoemr
はCustoemr serviceの識別
serviceの識別(多重化/分離)のために使用される。
(多重化/分離)のために使用される。

I-VID

CPE
9

COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

PBBによる
によるフレームによるフレーム転送
フレーム転送Customer Frame

Customer
PayloadISID = 1
B-SA = 00:01
B-DA = 00:03

C-SA
C-DA

BEB-1
CPE

CPE

CPE

I-VPLS
ISID-2BEB-2BCBI-VPLS
ISID-1

B-VPLS

PW-2

PW-1

B-VPLS

ISID-1CPE

B-VPLS
ISID-2BMAC
00:01

BMAC 00:02

CPE

PW-3

I-VPLS
ISID-3
Ucast
Ucast
Ucast

FIB
00:01
00:02
00:03

Mcast

(*,1)

PW-1
PW-2
PW-3

BMAC 00:03
ISID-1

Mcast

(*,2)

PW-1
PW-2
PW-3
PW-1
PW-2

10
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

B-VPLSCPE
ISID-3BEB-3CPEPBBによるによる使用の向上
による使用リソース
使用リソースのリソースの削減と削減とScalabilityの
VM MACs
Backbone MACs

Core SWs

Core#SWs
MAC Addresses / node
100,000s# MAC Addresses / node
100,000s

ToRs

1,000s
ToR

Core

ToR

ToRs

ToR

1,000s

0

ToR
0

Core

# VLANs-trunks/ node
100,000s

Core SWs
Trks

VLAN instances

VLANs

VLAN trunks

10,000s

ToRs

1,000sVLANs Trks
ToR
0100,000s

Backbone VLANs
Core SW

ToRs

Backbone VLAN trunks

Core
SWs

# Services-VID trks / node

10,000s
1,000sToRs
VLANs trks
ToRs
0

BViDs Btrks
Core

従来と比較してほぼ無限に近いMACアドレス及びELANサービスをサポート
11
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

ToRs

PBB-VPLSでのでのBroadcast/Unknown-Unicast/Multicast
での(M:1 model)
Example:500 2つのサービス, I-VPLS 500, 501が1つのBVPLSにAttachされている

501

Requirement:

501

 IVPLS 500のBUM trafficは IVPLS 500のEndpointのみにFloodされるべき

500
500
501

12
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

PBBでのでのBUM制御
制御のつのオプション
での制御の1つのつのオプション
IEEE 802.1ak MMRP (Multiple MAC Registration Protocol)
 I-VPLSがB-VPLSに追加されると、Group
B-MAC attributeがB-VPLSを通じて
Declare/Registerされる。: Group B-MAC OUI = 01:1E:83

Flooding Tree for
attribute Group B-MAC
01-1E-83-00-03-E8
Node-3

R B-VPLS
D/R
D(MRP) D/R

 Tx portはgroup MACをDeclareするD Rx portはgroup MACをRegisterする
R

R
D/R

B-VPLS(MRP)

B-VPLS(MRP)

B-VPLS
(MRP)

R
D/R

D

DD/R

 Node-1 はI-VPLS 1000のBUM Traffic
を先方からRegistrationが来るまでBVPLSにInjectしない
 Node-3 はI-VPLS 1000のBUM Trafficを

D/R

Registrationが来たPortにのみFloodする。

B-VPLS
(MRP)

D/R
D

R

R
D/R

B-VPLS(MRP)

B-VPLS(MRP)

1000 Node-1

1000

I-VPLSI-VPLS

I-SAP

I-SAP

13
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Node-2

Backbone側構成
側構成の側構成のオプション- VPLS over IP/MPLS B-VPLS(B-VLAN)間をIP/MPLS CORE上でVPLSによって接続。
VPLS Signallingの2つのオプションLDP VPLS (RFC4762)

BGP VPLS (RFC4761)

VPLS peer autodiscovery

Compatible with BGP-AD
or RADIUS auto-discovery
or NMS provisioning

BGP-based

Service label
signaling

LDP (Standard based VLL
signaling)

MP-BGP

Data planeStandard 802.3 bridgefunctionsStandard 802.3 bridgefunctions

14
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Backbone側構成
側構成の側構成のオプション- PBB-VPLS over IP/MPLS
I-VPLSI-VPLSI-VPLS Full-Mesh PW

I-VPLS

B-VPLS
B-VPLS
B-VPLS
B-VPLS

B-VPLS
B-VPLS Mesh PW間では転送を行わない
ことによりLoop防止

IP/MPLS
I-VPLSI-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLSI-VPLSI-VPLS

B-VPLS
B-VPLSI-VPLSI-VPLSI-VPLS HierarchicalなPW構成

B-VPLS
B-VPLSI-VPLSI-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLSI-VPLS

B-VPLS
B-VPLS I-VPLS

IP/MPLS

 Mesh <-> Spokeは間は転送OK
 Full-Meshを最小限にすること
でScalabilityを向上

I-VPLS

B-VPLS
B-VPLSI-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLSI-VPLSI-VPLS

15COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

B-VPLS
B-VPLS I-VPLS

Backbone側構成
側構成の側構成のオプション- PBB over Ethernet B-VLAN(B-VPLS)側をPure Ethernet構成に
 Redundancy ProtocolとしてG.8031/8032を使用
I-VPLS
B-VPLS
B-VPLSI-VPLSI-VPLS

B-VPLS
B-VPLSI-VPLS
B-VPLS
B-VPLS

Pure Ethernet
G.8032 Ring
I-VPLS

B-VPLS
B-VPLS

B-VPLS
B-VPLSI-VPLSI-VPLSI-VPLS
B-VPLS
B-VPLSI-VPLS

16
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

IEEE 802.1aq SPB
DRAFT-IETF-ISIS-IEEE-AQ

WHAT IS IT?

IEEE 802.1aq – SHORTEST PATH BRIDGING (SPB)• SPBV (SPB VID) for 802.1ad QinQ networks• SPBM (SPB MAC) for 802.1ah PBB networks• CONTROL PLANE (ISIS)ををEthernetにに導入• Pure Ethernet上
上、PW上
上 どちらでも動作可能
どちらでも動作可能

WHAT DOES IT
BRING?

IP-LIKE BEHAVIOR WITH PBB DATA PLANE• アドレス学習のUpdateはIS-ISにより行われる (event-driven updates)• Shortest Path、Equal Cost Pathが使用可能となる• Reverse Path Forwarding Checkベースのloop mitigation

COLLATERALBENEFITSKEY BENEFITS• Scalability (1000 nodes)• Fast convergence• Cloud Service, Ethernet Exchange,Ethernet Whole selling等新たなサービスアプリケーションに適した技術

17
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

SPBM-802.1AQ:次世代
次世代の
環境を
次世代のEthernet環境
環境を提供• SPBM for PBB• Scalabilityを大きく拡張• Flooding無し• MAC timer不要•ループフリー•高速なレジリエンシ•ロードバランス

Destination-2

I-VPLSI-VPLS

B-VPLS

B-VPLS• パスはSymmetricalに一致する (ucast/mcast)• 標準的なEthernet
OAMに理想的なシステムを提供• 全てのリンクが使用可能• MetricsによるShortest
Path Forwarding
B-VPLSI-VPLS

Destination-1
18
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

ISISによるによるTopology/Service
Discovery
によるDRAFT-IETF-ISIS-IEEE-AQ
BMAC
44:55:66:77:00:10• Intermediate System – Intermediate
System (IS-IS)• IS-IS の特徴:

BMAC
44:55:66:77:00:16

COST 10- 高い拡張性を持つプロトコル- Link State ルーティングプロトコル- Type Length Value(TLV) ベース- Route calculationはBandwidthを元にした
CostMetricから行われる- Event drivenのUpdate- Layer2ベースのコミュニケーション- Levelコンセプトによる高いスケーラビリティ

BMAC
COST 1044:55:66:77:00:01

ISID-1

ISID-255• SPBMはShortest Path Treeの構築及びVPN InformationのDistributionにIS-ISを使用する。
19
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

STEP 1 – ISISによるによるB-VPLSののTopology
によるDiscoveryととUNICAST FDBのの構築
IS-ISがEnableとなり
Node/Linkが自動的にDiscoverされるそれぞれのNodeはMetrics
を元に他の全てのNodeに対するShortest Path Treeを計算する。

ISIS
database

FID-1
FID-2
FID-3

MAC Notation: xx:yyxx= first byte
yy= last byte

SPF
Ucast
Ucast
Ucast
Ucast
Ucast
…

CSPFの計算の結果によるFIBがPoplate
される。
Equal Cost Pathsは別のFIDを持つ(BVPLS context)
Symmetryを保障するため全てのNodeでは同じTie Breaking Algorithmを使用する。

FIB
BMAC PORT FID
00:03 to-10 1
00:06 to-10 1
00:06 to-10 2
00:06 to-16 3
00:06 to-16 4

20
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

STEP 2 – I-VPLSががActivateされるとされるとISISによるによるService
されるとによるInformationががFloodされる
される
ISID-1ISID #1 (I-VPLS 1) がNodes 1, 3, 5, 6にProvisionされる

ISID-1IS-ISは下記の新しい
ServiceをAdvertise:-BMAC 1, ISID-1, FID1
-BMAC 3, ISID-1, FID1
-BMAC 5, ISID-1, FID1
-BMAC 6, ISID-1, FID1
Network全体に情報が伝達される

ISID-1

ISID-1
全てのSPBM NodeはISID,AssociatedEndpoint(BMAC), Associated FIDの情報を持つ

21
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

STEP 3 – それぞれのNodeがそれぞれのがService Informationをを元に(S,G) Multicast Treeを
を作成する
作成する

Mcast
Mcast
Mcast
Mcast

Am I on the shortest path
between source and othernodes with ISID-1

FIB*Group-BMAC PORT FID
01:01/ISID-1 to-11 1
to-13 1
01:03/ISID-1 to-1
1
to-13 1
01:05/ISID-1 to-1
1
to-11 1
01:06/ISID-1 to-1
1
to-11 1Y
Update FDBN
Do nothing

BMAC 00:03
ISID-1

BMAC 00:05
ISID-1

…
to-11

to-13

IS-IS LSP
BMAC 00:01
ISID-1IS-IS LSP
BMAC 00:03
ISID-1

BMAC 00:06

ISID-1
to-1

to-10

IS-IS LSP
BMAC 00:05
ISID-1

ISID-1

BMAC 00:01

IS-IS LSP
BMAC 00:06
ISID-1

ECT for ISID-1(*) Group-BMAC Notation: xx:yy/ISID-z
xx:yy= SPSourceID
z= ISID number

22
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

SPBM DATA PLANE:
BVPLSでは
ではFDB
AgingややUnknown Floodingはは無い
では
6
Regular
PBB

1

6

FDB

FDB

DATA PLANE

1FDB

DATA PLANE

FDB

DATA PLANE

Unicast reply

Unicast reply

Unicast reply

Unknown Flooding

Unknown Flooding

Unknown Flooding

6

1

ISIS LSDB

61ISIS LSDBCONTROL PLANE

SPBM

6

1

FDB

DATA PLANE

1

CONTROL PLANE

FDB

No aging

6
ISIS LSDBISIS LSDBCONTROL PLANE

FDB

FDB

No aging

No aging
DATA PLANEDATA PLANE

Unicast reply

Unicast reply

Unicast reply

Unicast request

Unicast request

Unicast request

23
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

No aging

SPBM RPFCによるによるDataPlaneののLOOP MITIGATION
による
13のNodeはRPFC=>FailとしてFrameをDropしLoopを防止する
全てのNodeでRPFCが行われる

FID 4
to-10
to-1

FDB (FID4)BMAC 6
to-14
BMAC 1
to-1

to-14

IP Unicast/MulticastのIP RPFと同様のコンセプト
SA.FID(BVPLS)のIngress Interface
は適切か？
DROP
(*) RPFC == Reverse Path Forwarding Check

FORWARD24
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

新たなLayer-2
たな
アプリケーションにアプリケーションにPBB-VPLSとと共に大きな
価値をもたらす
価値をもたらすSPBM
をもたらす

従来のLayer2機能は維持しつつフレキシブ
ルなActive/Activeトポロジーが可能となる。

ネットワークデザインの自由度が向上
最短経路、等コスト経路
B/M の効率的な制御

VM
MAC’s
Containe
d atedge

Simple ISID
ConfigAccess

TOR

Eth

EOR

Spanning Treeの置き換え: Fast
convergence, Scalability without regions

25
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

Standard based Automatic VM Discovery
IEEE 802.1QBG - VDP
DC真のZero-touch Service Creation• VDPによるVMアタッチメントポイントのAuto-discovery• LLDPベースのアプローチ• VM Awarenessのための新しいTLV• PBB serviceのAuto-discovery• PBB-VPLS for DC-Interconnect• StandardベースのMechanism• 多くのDeployment/Interop実績のある技術をベースとしたSolution

Service Provider VPNs orInternet Networks

DC

VPLS PEs

B

B

DC CoreDC with PBB/SPB

PBB Service
Instantiation

ToR

B
VDP
Notification
NIC

Blade
centerv-Switch
VEPA/VEB
GOS
MAC
IP

VM

26
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

New VM
instantiated

まとめ：間接続における
まとめ：DC間接続
間接続における課題
における課題への
課題へのアドレスへのアドレスCREATING THE HYBRID CLOUD• Layer2ドメインドメインのドメインの物理的制限•instantiation
4K/12bitののVLAN数
数リミテーション
Simple service auto-

VM MACs contained atedge

802.1ah PBB• 爆発的な
数の増大
爆発的なMAC数
EOR• IP/ARPのの増大

PBB-VPLS
802.1aq SPBM
MMRP

• BUMののFlooding制御
制御
Eth

TOR

• コンバージェンス
Access

TOR

• 柔軟な
制御
柔軟なTraffic Path制御

EOR
DCG/FCoE

ISID-filter

VEPA/VEB• DC間
間ネットワーク方式
ネットワーク方式の方式のオプション PBB o/Eth, IP/MPLS
• 既存の
将来的な
サービスとの既存の/将来的
将来的なVPNサービス
サービスとの接続との接続 IP/VPN等
等L3サービス
サービス
との統合
との統合

27
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.

28
COPYRIGHT © 2011 ALCATEL-LUCENT. ALL RIGHTS RESERVED.