網統合を再考する

河野 美也 Miya Kohno, (mkohno@juniper.net)

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

1

Agenda「網統合」とは一体何か「網統合」における課題の整理
統合のための要素技術例
まとめ

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

2

統合の考え方
1.
何でも取り込む（インターネットモデル）
Apps & Apps & Apps & Apps &Services Services Services Services ……

2.

3.

垂直統合
Vertical Integration

水平統合
Horizontal Integration

Apps &Services

Apps &Services

Apps &Services

Service Ctrl,
Middleware
Infra

Apps & Services

Endpointやユーザの識別
ポリシー、条件、等DifferentiatedIP Transport

IP

End-to-end

Optimization

Virtualization

Everything over IP

Closed Architecture

Open Architecture

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

3現在の「統合」志向性…
「Transport Stratum」• マルチサーヴィス、FMC、UNI/NNI/SNI(ANI)(from NGN)
「共通インフラ・Platformとしてのネットワーク」• 必要に応じて必要なサーヴィスをタイムリーに提供• 新たなサーヴィスの協調・融合(Mash-up)、早期展開(from SOA)
「複数の異なるネットワークを統合してシンプルに」「運用コスト、機器コストの削減」(from World-wide SP市場動向)

水平統合/Virtualization…
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

4Transportを切り出す(差別化されたトランスポート）

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

5Transportを切り出す(Objectとしてのトランスポート）
EmbeddedであったTransportをモジュールとして捉える• 再利用性• 可視化• 高付加価値化
Service Oriented Architecture
http://www.developer.com/java/web/article.php/10935_2207371_1
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

6

網統合とは一体何か
今我々が「統合」と言っているのはどうやららしCopyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

7Virtualization
仮想化とは• 物理的資源は、仮想化のためのしくみにより、論理的資源に、（ 抽象化｜隠蔽｜分割 ）される。
• ユーザや、サーヴィス・アプリケーションは、論理的資源を利用する。
ユーザ、Service、App

論理的資源

仮想化のためのしくみ

物理的資源

Copyright © 2007 Juniper Networks, Inc.

冗長/Fault Tolerant性を実現する手法、という側面も持つ。
Proprietary and Confidential

www.juniper.net

8Virtualization
仮想化の方法1) Aggregation

2) Partitioning

3) Emulation•Link bundling•Logical Router•VPN•RE redundancy

•vlan

•VPLS

•階層化

•Modularity

•PW

•QoS

…

CsC, RR, LSP hierarchy…
…

•Multi-topology•Confederation…

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

9Virtualizationにおける課題「統合」と「分離」という、内在する二律背反をどうするか
Control Plane- 共通コントロールプレーン- fate-sharing、リソース競合を避ける

Forwarding Plane- 共通インフラ、統合トランスポート- QoS分離、トポロジー分離

Management Plane- 統合マネジメントシステム、一元管理、集中管理- 組織主体、サーヴィスによる分離(provisioning, syslog, statistics..)

その他- セキュリティ、責任分解点のためのBoundary- リソース保護- Disaster Recovery, Risk Management
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

10Virtualization − 設計指針
複雑性、オーヴァヘッドを最低限に留める• 統合・分離を、必要以上には繰り返さない• Link Bundling（統合） + QoS（分離） ?!!

… ??

• Logical Router（分離） + RE redundancy（統合）• Self-similarityが保てればOK（の場合が多い）• Route Reflector（統合） + Confederation（分離）拮抗する要素を調整する• 統合 vs 分離• 安定性 vs 高速性（高速検出・高速処理）• GR/NSR vs Fast Convergence, Route Flap Dampening• 拡張性 vs きめ細かさ• FEC粒度• 運用性（シンプルさ） vs 多機能• パーフェクトなエミュレーションは無理かも…

要素技術を充分吟味し選択する Proprietary and Confidential

Copyright © 2007 Juniper Networks, Inc.

www.juniper.net

11Virtualizationの要素技術例 (1/2)
統合1) トランスポート統合
統計多重によるリソース有効活用
共通基盤化によるCAPEX/OPEX削減
戦略的企業基盤

2) コントロールプレーン統合
運用負荷軽減複雑性の排除
スケーラビリティ向上

3) コントロールプレーン冗長
耐障害性向上網の安定性向上Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

12Virtualizationの要素技術例 (2/2)
分離4) コントロールプレーン分離
組織、運用主管による管理の分離
サーヴィスの分離
fate-sharingの回避

5) フォワーディングプレーン分離
トランスポートを共有しながらも、サーヴィス品質を分ける

リソース保護6) コントロールプレーン保護
過負荷やリソース不足からコントロールプレーンを保護する

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

131) トランスポート統合• IP/MPLS (IETF)• Ethernet (IEEE, MEF) , SDH/SONET (ITU-T)• Optical Transport Network (ITU-T, OIF)
Services
統計多重効率柔軟性

TransportIP• p2p, mp2p
• p2mp, mp2mp

IP

FR
ATM

Packet Infrastructure
IP/MPLS

Metro
EtherVoice
帯域、jitter保証
clock
Copyright © 2007 Juniper Networks, Inc.

Services

LeasedLine

Proprietary and Confidential

FRATMMetro
EtherEthernet
SDH/SONET
Optical Infrastructure

VoiceLeasedLine
www.juniper.net

14

Multi-Service Network Architecture
BASP Local Apps+Security+AFE
VPN
Peering Point
IPAPAggregation
CPE

Network
Demarc
CLEAccess Node

Data Center peering+Security+AFE

IP/MPLSCore

IP Edge
Router or BRAS

Centralized Apps
Internet
Peering Point

Backhaul Network
Access Aggregation

Service Delivery Point
Internet Apps

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

15

統合トランスポート - 考慮点
1. どのレイヤで統合するか
2. Service Delivery Point (SDP) をどこにするか- どこにどの機能が必要か？
3. Access Aggregationに適用する技術を何にするか

SDP

SDP

Endpoint

Access/Agg

Copyright © 2007 Juniper Networks, Inc.

Endpoint

core

Proprietary and Confidential

Access/Agg

www.juniper.net

16Service Delivery Pointに求められる要件
機能要件• Multi-service PE (for business use)
• BRAS (for residential use)
• Voice GWs• Policy Enforcement Point• QoSの扱い• Security (Filtering, uRPF, etc.)…

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

17

Access Aggregationに求められる要件
L3機能は必ずしも必要ないが…
Capacity, Scalability
Low-Cost
Multiservice
p2p, mp2p, p2mp, mp2mpVirtualization (aggregation + separation)
Easy operation
OAM
Protection/Resiliency
QoS

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

18値段が問題?

Cost

Routers optimized for
Ethernet

Ethernet Switches withrouter functions
Time
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

192) コントロールプレーン統合
PSTN
bearer +signalling

Private IP

ATM/FR emulation
Ethernet Services

Internet
IPVPN(IPv4, IPv6)
6PE, MVPNL2VPN,VPWS

VPLS?

Signalling and Auto-discovery (BGP)

Transport Tunnels (MPLS LSPs)
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

20

コントロールプレーン統合- 共通Control PlaneとしてのBGP
IP VPN unicast

L2VPN

VPLS

MVPN

IPv4 / IPv6
prefixes

CE-ID

VE-ID

JoinするCMulticast state(S,G),(*,G)

RDの役割

IP prefixの区別

CE-IDの区別

VE-IDの区別

C-Multicast
state (S,G)(*,G) の区別

RTの役割

VPNメンバーシップの制御

同左

同左

同左

広報するReachability
information

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

21

L3VPN (IPv4)

10.1.1/24
iBGP

Route Target (Ext Community)
NLRI:
LengthRoute Distinguisher

10.1.1/24
Label = 100000

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

22

L3VPN (IPv6)

1001:db8:11:11::/64
iBGP

Route Target (Ext Community)
NLRI:
LengthRoute Distinguisher

2001:db8:11:11::/64
Label = 100000

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

23

L2VPNiBGP

CE ID=1

Route Target (Ext Community)
NLRI:
LengthRoute Distinguisher
CE ID = 1
Block Offset = 1* L3VPNとの違いは、相手CEにより使用するLabelが異なるところ。

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

Block Size = 8Label Base = 100000
www.juniper.net

24

VPLS

iBGP

VE ID=1

Route Target (Ext Community)
NLRI:
LengthRoute Distinguisher
VE ID = 1
VE Block Offset = 1* L3VPNとの違いは、L2VPN同様、相手CEにより使用するLabelが異なるところ。

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

VE Block Size = 8
Label Base = 100000
www.juniper.net

25

MVPN

10.0.0.1
iBGP

S

Route Target (Ext Community)
NLRI:
LengthRoute Distinguisher

S=10.0.0.1
G=232.0.1.10
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

26コントロールプレーン統合-共通Control PlaneとしてBGPを使うことのメリット
MP-BGP + Capability negotiationによる機能・サーヴィスの取捨選択
Route ReflectorによるScalability向上
Route Target Ext Communityによる柔軟なReachability制御
Inter-AS対応
Auto Discovery
Multihome (+BGP path selection)による冗長化と切り替え
PE-PE full-mesh T-LDP sessionやPE-PE full-mesh PIM は要りません ☺
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net273) コントロールプレーン冗長
コントロールプレーン冗長の必要性• コントロールプレーン断は起こりえる• 計画停止ソフトウェアのアップグレード、保守

Routing Engine

CLIkeepalive
SW Fabric• 無計画停止
異常事象、バグ

Forwarding Engine• 起こった場合の影響が予想以上に大きくなる可能性がある• ルーティング収束• Oscillation• Cascade Failure

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

28

Graceful Restart / NSR
Control PlaneとData Planeは独立
RE (Routing Engine)
FE (Forwarding Engine)

Graceful Restartの場合、P障害ルータが復帰すると転送を続行しながら、状態の再同期を取る。

PPE 2

PE 1

Control Planeに障害が起こっても転送は続行。

PE 3

PP

Graceful Restartの場合、Neighborはhelperとして動作する。 但し、他のノードに障害が起こったことを伝播しない。
NSRの場合、Neighborも障害を関知しない。
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

他のノードは、障害を関知しない。

障害は局所に留まる
安定www.juniper.net

294) コントロールプレーン分離
Logical Router (LR)によるコントロールプレーン分離• 分離• Management Plane• Control Plane• 各LRで動作させるSoftware Instance• 共用• Master Management Plane• ハードウェア資源 (Software Logical Routerの場合)– Uplink回線– CPU, memory→ Service Separation… with some partitions→ セキュリティ境界→ fate sharingの回避
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

30

Software Logical Routerがサポートする機能
ルーティングインスタンスの分離
IS-IS, OSPF, RIP, RIPng
BGP
Routing instances
IP Multicast
IPv6 support
Routing policies

SLRにおける
VPNサポート
Layer 2 VPNs
Layer 3 VPNs
VPLS NewCCC

Copyright © 2007 Juniper Networks, Inc.

SLRにおける
MPLSサポート
RSVPLDP
DiffServ TE

インタフェース共用- all types- sub-interface level
論理インタフェース
Frame relay
VLAN
CCC
VPLS

SLRにおけるHA機能
stability
Aggregate i/f
APS, VRRP
Fast re-route
BFD New
Graceful restart

LR Masterにてサポートされる
管理ドメインの分離
SNMP per LR New 機能
GMPLS
LR login class New
Class-of-service
Forwarding options
NSR, ISSU

Proprietary and Confidential

www.juniper.net

31

Logical RouterによるUplinkの共用
Sub-interface(VLAN, VC, DLCI)による顧客の分離
Logical Router A

Logical Router A

Logical Router B

Logical Router B

Uplink は共用される。
(e.g. 10GE/VLANによる分離）

Control Planeは分離

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

32

Logical Routerによるサーヴィス分離例
BorderrouterBorderrouter

L2/L3 service

L2/L3 service

IPv4/v6

Backbone

LR0LR0-master

Copyright © 2007 Juniper Networks, Inc.

IPv4/v6

LR0-master

Proprietary and Confidential

www.juniper.net

335) フォワーディングプレーン分離
Diffserv Queueによる分離
TE, DS-TEによるCSPFとCAC
MTR (Multi Topology Routing)

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

34

Diffserv Queueによる分離
EF (100Kpbs)
AF1 (BW:40%)
AF2 (BW:30%)
AF3 (BW:20%)
AF4 (BW:5%)
BE (default-q)

EF (100Kpbs)
AF1 (BW:40%)
AF2 (BW:15%)
AF3 (BW:10%)
AF4 (BW:5%)
BE (default-q)

EF (100Kpbs)
AF1 (BW:20%)
AF2 (BW:15%)
AF3 (BW:10%)
AF4 (BW:5%)
BE (default-q)

Copyright © 2007 Juniper Networks, Inc.

DRR

DRR

DRR

Shape
100M

Cust1:VLAN 101
Min BW:10%

Shape
100M

Cust2:VLAN 102
Min BW:10%

Shape
100M

Cust3:VLAN 103
Min BW:10%

Proprietary and Confidential

MDRR

TX
GE/10GE

www.juniper.net

35

TE,DS-TEによるCSPFとCAC
CT2 = 3 Mbps for Voice

POP “C”

POP “A”

IP/MPLS Backbone

CT1 = 10 Mbps for Data

• single-class/ multi-class (*)(*) 上の例はsingle-class。Multi-classでは、一つのPOP “B”

TEで複数のCOS classに基づくCACをサポートする。(draft-minei-diffserv-te-multi-class)• RDM/ MAM/ extended MAM• Policer on/off
Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

36

MTR (Mutli Topology Routing)
Voice用Topology

Data用Topology

cost=50
cost=5

POP “C”

POP “A”

IP/MPLS Backbone

POP “B”• Uni/Multicastや、COS classに基づきRIB/FIBを分離する。
• rfc4915• draft-ietf-isis-wg-multi-topology-11

Copyright © 2007 Juniper Networks, Inc.

•…

Proprietary and Confidential

www.juniper.net376) リソース保護
コントロールプレーンによるリソース保護• エッジルータのメモリ保護• L3VPN – per-VRF prefix-limit• Internet – per eBGP peer prefix-limit• VPLS – per VPLS Forwarding Table Max MAC addresses• エッジルータのCPU保護• Control Plane Rate Limiting – per (sub) interface

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

38

まとめ – Virtualized Networkの設計指針「網統合」の目的を明確にする。
• 利用する技術を慎重に吟味する。
{Control plane|Forwarding Plane} x {集約|分離|保護}• 必要以上に「統合」「分離」を繰り返さない。
• 二律背反、拮抗を調整する。
… ??

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

39

Thank you !

Copyright © 2007 Juniper Networks, Inc.

Proprietary and Confidential

www.juniper.net

40