High Avaialabilityの設計と実装の設計と実装－ 理想と現状

MPLS Japan 2004
2 Nov. 2004, Miya Kohno (mkohno@cisco.com)
Incumbent SPEvolution© 2003 Cisco Systems, Inc. All rights reserved.

1

High Availabilityを実現する技術を実現する技術High Availabilityを実現するための、多岐に渡る技術が開発されている。
を実現するための、多岐に渡る技術が開発されている。

Fast Detection

L1/L2 protection•POS trigger control•Link Pass Through•OAM/VCCV•Fast Hello, RSVP Hello•BFD …

•SONET/SDH APS•DPT/RPR•Ethernet Ring
•Link Bundling•Ethernet Channel•POS Channel

L3 Fast Convergence•IGP Fast Convergence•BGP Fast Convergence•HSRP/GLBP/FHSRP…
•Load Balancing

MPLS-TE Protection•TE/Fast Reroute•Link/Node Protection•Path Protection

Fault Tolerant Architecture•NSF•SSO/NSR•ISSU•MK/Process Preemption…
SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

Resiliency•Graceful Restart•Graceful Shutdown, …
2

では、それらをfull動員させれば、では、それらを 動員させれば、High Availabilityを達成できるのか。
を達成できるのか。

• … それがあまり簡単ではない。/
それがあまり簡単ではない。/

SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

3

Need to be careful…
時定数の問題1.

各要素技術が、それぞれ異なる時定数を持つ。
••
••••
•

SONET/SDH APS --- 50m秒秒
Ethernet LOS検出仕様に依存。 (数数10m秒秒~ 数100m秒秒)
検出 --- driver仕様に依存。
Ethernet Ring --- 方式により異なる。
方式により異なる。(数数10m秒秒~ 数10秒秒)
RPR --- 50m秒秒
TE/FRR --- 検出ロジック
検出ロジック(POS alarm or rsvp-hello) およびおよびProtection手法に依存
手法に依存
Link Bundling --- 条件、設定に依存 (数秒～数数秒～数10秒数秒～数秒)
Fast Hello --- 条件、設定に依存 (１秒～１秒～)
１秒～

•
•

IGP Convergence --- 条件、設定に依存 (数数100m秒秒~)
BGP Convergence --- 条件、設定に依存 (数秒数秒 ~)→ 各要素の時定数を考慮した設計をしないと、非効率、干渉を起こす。
Nレイヤの検出時間
レイヤの検出時間 ＞ N-1レイヤの検出時間
レイヤの検出時間
BGPの再計算契機の再計算契機 ＞ IGPの収束時間の収束時間 (BGP nexthopををIGPで解決している場合）で解決している場合）
Wait for BGP.. (BGPルータが再起動した際の、ルータが再起動した際の、IGPが先に収束してしまうことによる不整合を防ぐ）が先に収束してしまうことによる不整合を防ぐ）
ルータが再起動した際の、SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

4

Need to be careful…
2. Hysteresis, Dampening, Exponential Backoff•

ネットワークは、系のつながり•ある系の故障が他に影響を及ぼし、Cascade
Failure, Meltdownををある系の故障が他に影響を及ぼし、引き起こす危険性がある。

→ 障害検知および障害への反応は、単に早ければよい、というものではない。
→ 適切なhysteresis、、Dampening、、Exponential Backoff Algorithmによりにより適切な系を不安定状態から保護する必要がある。

SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

5

Need to be careful…
３． 組み合わせの問題• Fast Convergence/Protectionは、相手の故障を一刻も早く検知し、一刻も早く他は、相手の故障を一刻も早く検知し、一刻も早く他ノードに通知し、一刻も早く切り替える。
• NSF/Graceful Restartでは、相手が故障しても切り替えず、そのまま転送を保つ。
では、相手が故障しても切り替えず、そのまま転送を保つ。
→ 拮抗する（例）FRRNode Protecition. RPR+を定義していたために、却って収束が遅くなった例。
を定義していたために、却って収束が遅くなった例。
（例）
Primary TE tunnel
Redundancy Mode
Non-redundancy(single RP)

SP Evolution

Traffic Loss Time
4 msec

RPR140 msec

RPR +7300 msec
© 2003 Cisco Systems, Inc. All rights reserved.

x RP switchoverx
Backup Tunnel

6Need to be careful…
３．組み合わせの問題
回線障害は、Fast
Convergence/Protection
回線障害は、Control Plane障害は、可能であれば、障害は、可能であれば、NSF/GR。
。
障害は、可能であれば、回線障害??
回線障害
Control Plane ??

Control Plane
障害回線障害RP switchover→ 全てのProtocol/Stateが維持されるかが維持されるか全てのIGP, BGP, LDP, targeted LDP, RSVP-TE, HSRP…
結構いろいろ使っていたりする。

No

どれかが切れると不整合の原因になる。

NSF/GRでで続行可能 ??

Yes→ keep alive等
等Control Planeで回線障害を検出する
で回線障害を検出する
場合

Convergence/Protection判別がつかない！！
BFDは大丈夫？
は大丈夫？ Æ 実装による

SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

7

Need to be careful…
４． バランスの問題• HAは、冗長を基本とするため、コスト高になりがちだが、バランスが悪いと、コは、冗長を基本とするため、コスト高になりがちだが、バランスが悪いと、コストをかけただけの効果が得られない。

＜• 各Component（（）のAvailabilityをを90%とした場合、とした場合、右の系のAvailability＝ 96.1%
右の系の左の系のAvailability＝ 80.8%左の系の•かけたコスト（かけたコスト（SP Evolutionの数）は同じなのに…の数）は同じなのに© 2003 Cisco Systems, Inc. All rights reserved.

8

Need to be careful…
4. バランスの問題• 少なくとも同一機能要素の中では、ヴェンダー、SWversionを統一したり、を統一したり、少なくとも同一機能要素の中では、ヴェンダー、CPU性能を統一したり、利用する性能を統一したり、利用するHA技術要素のを保つ必要があ
性能を統一したり、利用する 技術要素のconsistencyを保つ必要があ技術要素のる。
→ 収束速度が異なると、MicroLoopとなり、却って効率悪化の可能性がある。となり、却って効率悪化の可能性がある。
収束速度が異なると、→ 切り替えポリシーが異なると、不整合が起こる。
A

40• BのみのみFast
ConvergenceののTuning(SPF delayのみが行なわれているとtimer, LSA throttle timer, etc.)が行なわれていると仮定する。

D
1010
B
10×C

10E

• E->DののTrafficに注目。に注目。Best
Pathは、は、E->B->C->D。
。に注目。
は、• C-D間回線障害が起こると、間回線障害が起こると、Bは直ちに計算を行い間回線障害が起こると、 は直ちにSPF計算を行いは直ちにAににTrafficを送るが、を送るが、Aはまだ収束しておらず、を送るが、 はまだ収束しておらず、Bにはまだ収束しておらず、 にTrafficを送り返す。(→を送り返す。 → これは、いずれにせよ回線が切れているのでまぁよい。）• C-E回線が復旧する。
回線が復旧する。
• Bは直ちには直ちにCにを送るが、Cはまだ収束しておらず、は直ちに にTrafficを送るが、を送るが、 はまだ収束しておらず、BににTrafficを送り返す。
を送り返す。 → これは問題。

SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

9

まとめ• Networkはは”Complex System”• High Availabilityを実現するためには、を実現するためには、各系の挙動や仕組みを把握し、

–

時定数

–

Hysteresis, Dampening, Exponential Backoff－ 組み合わせ– バランス……に充分注意した上で、に充分注意した上で、ネットワーク全体からのTop-Down設計を行なう必要がある。
設計を行なう必要がある。
ネットワーク全体からのSP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

10

Disclaimer• このプレゼンテーションは、Network設計の設計のSEの立場から書きました。
このプレゼンテーションは、設計の の立場から書きました。
• ヴェンダーとしては、当然乍ら、– High Availability機能の実装をすること機能の実装をすること– バグを無くすこと– Standardizationにコミットすることにコミットすること…が至上命題と認識しています。
が至上命題と認識しています。
な の で あ ま り い ぢ め な い で ね。

SP Evolution© 2003 Cisco Systems, Inc. All rights reserved.

11