高品質Inter-AS接続を実現するために
MPLS Japan 2003
Miya Kohno (mkohno@cisco.com)
Consulting Systems Engineer, Cisco Systems Japan
Session 303© 2001, Cisco Systems, Inc. All rights reserved.

1

Agenda• Introduction
問題提起Inter-AS接続の分類• High Availability• QoS• Load BalancingとOptimization• まとめ

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

2

Introduction – 問題提起
• ここ数年で、IP/MPLS網を高品質化・高性能化するための、多くの能拡張が行われた。
• しかし、ASを跨った途端、高品質化・高性能化のハードルは高くなる。何故なら、
そもそもInter-AS接続では、ScalabiliyとStabilityが最重要課題。
高速迂回、トラフィック最適化、QoS制御などはその次。

→ 確かにハードルは高い。しかし、今後は？
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

3

Introduction – Inter-AS接続の分類 (1/2)
1. 事業者間接続
1-1 Bilateral Peering (Private Peering)
1-2 Multilateral Peering

ISP-A

ISP-B

ISP-a
ISP-b

IX

ISP-e

ISP-c
ISP-d

2. 同一事業者におけるAS分割 (主にScalability向上を目的とする。）
BackboneAS
subAS
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

subAS

subAS
4

Introduction – Inter-AS接続の分類 (2/2)
3. 大規模Contents Provider, ASP接続
ISP-A

ISP-C

ISP-B

ISP-D

ISP-E

L3 path determination
Firewall, etc.
L7 distribution

L4 distribution

ServersServers

4. SubscriberによるMultihome接続
ISP-A

ISP-B

Customer
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

5

High Availability• SSO/NSF-Stateful Switchover + Protocol Graceful Restart• Routing Convergence• TE FRR

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

6

High Availability– SSO/NSF (Stateful Switchover + Protocol Graceful Restart)- SSO/NSF（障害時も状態を保持したまま転送を続行する）と、他のHigh
Availability実現のための技術 （できるだけ即座に障害を検知する、障害を検知したら速やかに経路を切り替える）は、二律背反的であるため、使用方法に注意する必要がある。
- 適所に上手く使えば効果的
NSF/SSO
Graceful Restart Capable
NSF awareGraceful Restart Capable
AS100

ActiveAS300

StandbyeBGP Peering
OPEN (with Capability Negotiation)
Capability Code 64 (=graceful restart capable)

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

7

Routing Convergence – IGPの場合• 障害の検知• HWによる検出 (LOS, L-AIS/RDI, P-AIS/RDI, SD/BER)• Carrier delayのtuning• IP Event Dampening
12.0(22)S• Fast hello12.0(23)S• BFD(Bidirectional Forwarding Detection)planned• LSA packetの生成• 最初の生成は即座に with Exponential Backoff 12.0(25)S• LSA flooding• pacing間隔の調整
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

12.0(25)S8

Routing Convergence – IGPの場合• SPF計算• SPF delay with Exponential Backoff• iSPF(incremental SPF)

12.0(23)S
12.0(24)S• RIBのアップデート• Prefix Ordering(not in OSPF at this moment)

Stabilityを損なうことなく、Fast Convergenceを行う。
網の規模にもよるが、数100msec以内のConvergenceが可能。
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

9

Routing Convergence – BGPの場合• 障害の検知• Peer Downによる検出
物理リンク断 fast external failover
BGP hold timer timeout• Next hop validationによる検出
BGP scan• UPDATE• 情報の伝播•Min Advertisement Interval•Route Dampening• Best Path Selection• RIBのアップデート
BGPの場合、Scalability上の条件がIGPよりも格段に厳しいため、注意深く設計する必要がある。
課題：IGPとのcorrelation, Dynamic <-> Stableのバランス
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

10

TE/FRR
PLR(Point of Local Repair)

MP(Merge Point)

X
X< 50 msec程度の迂回所要時間

nhoP backup tunnel
nnhoP backup tunnel

予めBackup Pathを計算しておくことにより、高速迂回を実現
N:1の保護が可能
Link ProtectionおよびNode Protection可能
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

11

TE/FRR – Inter-ASの場合 ?!
TE LSPの設定は、Intra-ASが前提• IGPによりfloddされたTopology 情報によるPath Computation• ERO/RROの共有• セキュリティ面が不十分• PATH message中のConstraintsは複雑化する• Policy Controlをどうするか
しかし、限られた条件であれば…
完全なるTrusted Peer同士のVirtual Trunk, etc.
draft-ietf-tewg-interas-mpls-te-req-00.txt
draft-vasseur-inter-as-te-01.txt
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

12Inter-AS TEでのFRR ?!!!
PLRは、RROにStampingされたPrefix/LabelによりFRRDBを構成するが、他ASのinterface addressを認識していないので困る

ASBR

ASBR
I3
I1

I2

RRO: I3

RRO: I3:I2

AS100

AS200
ASBR

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

ASBR

13

Inter-AS TEでのFRR ?!!!
node-idというRROsubobjectを定義し、Router-IDをstampingする。

draft-ietf-mpls-nodeid-subobject-01.txt

PLRはRouter-IDを識別可能なので、FRR DBを構成できる。

ASBR

ASBR
I3
I1

I2

RRO: I3
RRO: NI(R2):NI(R3)

AS100

AS200
ASBR

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

ASBR

14

High Availability

Applicable for…

Technology
Intra-domain

1-1

1-2

234△

◎○○○○

Routing Convergence◎○△○△△TE FRR◎○−○−−

SSO/NSF
Stateful Switchover + Protocol Graceful Restart

Session_303

Inter-domain© 2001, Cisco Systems, Inc. All rights reserved.

15

QoS

• Diffserv PHB• TE/DS-TE

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

16

QoS - Diffserv PHB(Per Hop Behavior)• シンプルなはずのDiffserv PHBも、AS（正確にはQoS Policy Domain）をまたがった途端、使えない！
- Precedence ? ToS ? DSCP ? MPLS exp ?!!
- 他ASからCS7 packetを受け取ったらどうする?!

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

17

QoS - Diffserv PHB(Per Hop Behavior)
今さら(?)、やっと(?)、こんなドラフトが出ました。
draft-baker-diffserv-basic-classes-00.txt
The intent of this document is to provide a consistent marking,conditioning and packet treatment strategy so that it can be
configured and put into service on any link which finds itselfcongested.

● Diffservのための、キーとなるコンセプト (Chapter 1.2)
1. Queueing
1-1 Priority Queueing
1-2 Rate Queueing
2. Active Queue Management
3. Traffic Conditioning
4. DSCP5. PHB
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

18

QoS - Diffserv PHB(Per Hop Behavior)● DSCPとサービスクラスのマッピング
トラフィック種別

サービスクラス
名

DSCP

DSCP値

アプリケーション名

NetworkControl

CriticalCS7111000

Heartbeats

Network

CS6

110000

Network Routing

Premium

CS5, EF

101000,101010

IP TelephonyMultimedia

CS4.AF41
AF42, AF43

100000,100010
100100,100110

Video Conferencing

Streaming

CS3, AF31
AF32, AF33

111000,011010
011100,011110

Streaming Media

HumanResponsive

AF21
AF22, AF23000010000100,000110

Client/Server transactions

Transaction

CS2, AF11
AF12, AF13

010000,001010
001100,001110

Store and forward
applications

Standard

DF, (CS0)

000000

未定義アプリケーション

Scavenger

CS1001000no BW assurance

Interactive
User
Traffic

Responsive

TimelyOther
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

19

QoS - Diffserv PHB(Per Hop Behavior)● 各サービスクラスに使用されるQoSメカニズムのまとめ (1/2)

サービスクラス

DSCP

Critical

CS7

Diffserv Edge
における制御PHB
reference

Queueing

AQM

Ingress: CS7パケットはdropする。
Egress Edge: dropするか、RFC2474またはCS6にmarkdownする。

PriorityNo

CS6

Trusted Sourceの場合、sr+bsポリシングにより受け入れる。
Untrusted Sourceの場合、drop RFC2474するか、Ingressでmarkdownする。

Rate

No

Premium

EF, CS5

Untrusted Sourceの場合、sr+bsによるポリシング
Trusted Source, CAC前提の場合 RFC3246
ポリシングしなくてもよい。

Priority

No

Multimedia

AF41
AF42AF43

TrTCM (RFC2698)

RateYes
Per DSCP

CS4

sr+bsによるポリシング

NetworkSession_303© 2001, Cisco Systems, Inc. All rights reserved.

RFC2597

Yes

20QoS - Diffserv PHB(Per Hop Behavior)● 各サービスクラスに使用されるQoSメカニズムのまとめ (2/2)

サービスクラス

DSCP

Streaming

AF31
AF32
AF33

PHB
reference

Queueing

AQM

Rate

Yes
Per DSCP

Untrusted Sourceの場合、sr+bsによるポリシング
Trusted Sourceの場合はポリシングしなくてもよい。

RFC2597

AF21
AF22
AF23

srTCM (RFC2697)

RFC2597

AF11
AF12
AF13

srTCM (RFC2697)

CS2

sr+bsによるポリシング

Standard

DF

必要なし

RFC2474

Rate

Yes

Scvenger

CS1

必要なし

RFC2474

Rate

Yes

CS3
HumanResponsive

Transaction

Session_303

Diffserv Edgeにおける制御© 2001, Cisco Systems, Inc. All rights reserved.

Yes

RFC2597

Rate

Rate

Yes
Per DSCPYes
Per DSCP
Yes

21

Inter-AS TE/DS-TE

CE

CECE
ASBR

ASBR

ASBR

ASBR

PE

PE

VoIP
VoIP

AS100

AS200
例)
Premium Virtual Trunkfor VPN-yellow
Strit QoS guaranteed
DS-TE

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

22

QoS

Applicable for…

Technology
Intra-domain

Session_303

Inter-domain
1-1

1-2

2

3

4

Diffserv PHB

◎○△

◎

△△

TE/DS-TE◎○−○−−© 2001, Cisco Systems, Inc. All rights reserved.

23

Load BalancingとOptimization• Metric/Cost調整、ECMP、TE• OER (Optimized Edge Routing)Session_303© 2001, Cisco Systems, Inc. All rights reserved.

24

Metric/Cost調整、ECMP、TE
IBGP Multipathの設定

Traffic

AS100
IBGP

EBGP Multipathの設定

EBGP

AS200

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

25

Optimized Edge Routing (OER)• multihomeされていても、コストやパフォーマンスの最適化を行うのは困難。
• OERにより、ルート最適化およびload balancingを、効率的・自動的に行う。
BR1
SLA A

OER Master

ISP A

BR2

ISP B

CR1

eBGP
CR2
SLA B ISP C

Server(s)iBGPand/orOSPF,
EIGRP,etc.

ISP E

IOS routeror IE2100
OERController

BR3
SLA C
ISP F

企業、Contents Provider
Session_303

ISP D

顧客
AccessTransit ISPs

© 2001, Cisco Systems, Inc. All rights reserved.

ユーザ26

OERにより実現することPrefix毎に、あらかじめ規定されたポリシーに基き、最適なパス(ISP)を選択する。

• Brown-outの回避
Provider Blackholeを回避する。

• パフォーマンス
TCP SYN-ACK遅延が最短となる経路を選択することにより、負荷の高いパスを回避、パフォーマンスを向上する。

• 帯域、回線使用率の最適化• Prefix毎のロードシェア、パス選択
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

27

OER - Monitoring
BR1

200ms

OER Master

BR2

SP A

SP B

CR1

eBGP

顧客Access

125ms CR2

Server(s)SP C
iBGP
and/orOSPF, EIGRP,etc.

SP D

BR3

SP E

250ms
SP F

• Monitorするprefix --- コンフィグレーション、または自動学習(Top Talker)• Monitorの対象 --- TCP SYN-ACK delay, Throughput, Packet Loss, Reachability• Monitorの手段 --- Netflow (Passive)、SAA (Active)
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

28

OER - Control
ISP Interfaces

ISPs

A
Routing Updates

BR1

ISP-A

Control Commands
BorderRouterMasterRouting Updates

BR2

B
ISP-B

• EdgeにおけるMonitoringの結果により、次のような制御が可能。
BGP(Local Preference、または他のAttribute)を変える。
static routeを設定する (with redisribute static)。
IGP metricを変更する。
Session_303© 2001, Cisco Systems, Inc. All rights reserved.

29

OER - Reporting• トラフィック分布

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

30

OER - Reporting• OERの状態• SLAポリシー• Routing Tableの変化とその要因

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

31

Load BalancingとOptimization

Applicable for…

Technology
Intra-domain

Metric/Cost調整、ECMP、TE◎OER (Optimized Edge Routing)△Inter-domain
1-1 1-2
(*)

2(*)

34
(*)

○−

○−

○−−−○○(*) with BGP Multipath

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

32

まとめ

• 今後は、Inter-AS環境においても、高品質が求められる。
• 高品質Inter-AS接続を実現するために、Bilateral Peeringの重要性が増す。

Session_303© 2001, Cisco Systems, Inc. All rights reserved.

33