HA機能実装
機能実装の
機能実装の現実: ISSU/NSR/NSS/etc

Japan Alcatel-lucent
yasuo.kashimura@alcatel-lucent.com

All Rights Reserved © Alcatel-Lucent 2010, #####

ノードレベルでのノードレベルでのハイアベイラビリティ
でのハイアベイラビリティにハイアベイラビリティに寄与する
寄与する機能する機能
High Availability Capability

Key Features
 FAN, power supplies, switch fabric,
ハードウェア冗長
ハードウェア冗長
control processor module
 BGP (IPv4 & IPv6), OSPF (IPv4 & IPv6),
ISIS (IPv4 & IPv6), RIP, LDP, RSVP-TE,
Non-Stop Routing
IGMP, RSTP, ECMP, VRRP.
 VLL (Ethernet, Frame Relay, ATM), VPLS,
Non-Stop サービス
IP-VPN, Internet Enhanced Service, DHCP
lease state
リンク・リンク・ノードレベル プロテク  Multi-chassis LAG, multi-chassis APS,multi-chassis ring, multi-class MLPPPション
 Primary and standby LSPs, Fast re-route
IP/MPLS Non-stop RSVP-TE, LDP
 Minor version ISSU,
In-Service Software
Upgrades Major version ISSU(plan)
2 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Alcatel-lucent Service RouterののISSU

In Service Software Upgrade
サービスをサービスを継続したまま継続したままSoftware-Upgradeのの際にも、にも、機器上でサービスは機器上で動作している動作しているRouting/サービス
している
サービスはNon-Stop
Non Stop Routing(NSR)、、NSS(Non Stop Service)ををActive/Standby 異なるVersion間間に拡張
なる

3 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Alcatel-Lucent Service Router ISSU/NSR/NSSのの歴史

ポートフォリオ拡張
ポートフォリオ
ポートフォリオ拡張
拡張
ポートフォリオ拡張

R9.0
R9.0Major
Majorversion
version
ISSUののISSUののサポート
サポート

Service
出荷開始
ServiceRouter出荷開始
Router出荷開始
出荷開始
NSR基本機能
基本機能の基本機能
NSR基本機能
基本機能ののサポート
サポート
基本機能の
BGP,OSPF,ISIS,RIP
L3VPN NSS

R4.0
R4.0Minor
Minorversion
version
ISSUののISSUののサポート
サポート
R6.1
R6.1IOM(LC)IOM(LC)Soft
Softreset
reset

LDP,RSVP-TE
VLL,VPLS NSSPIM/IGMP
OSPFv32003
4 | High Availability – MPLS JAPAN 2010

2006

2008
All Rights Reserved © Alcatel-Lucent 2010

2010

2011

ノードレベルでのノードレベルでのハイアベイラビリティでのハイアベイラビリティにハイアベイラビリティに寄与する寄与する機能
する機能
High Availability Capability

Key Features
 FAN, power supplies, switch fabric,
ハードウェア冗長
ハードウェア冗長
control processor module
 BGP (IPv4 & IPv6), OSPF (IPv4 & IPv6),
ISIS (IPv4 & IPv6), RIP, LDP, RSVP-TE,
Non-Stop Routing
IGMP, RSTP, ECMP, VRRP.
 VLL (Ethernet, Frame Relay, ATM), VPLS,
Non-Stop サービス
IP-VPN, Internet Enhanced Service, DHCP
lease state
リンク・リンク・ノードレベル プロテク  Multi-chassis LAG, multi-chassis APS,multi-chassis ring, multi-class MLPPPション
 Primary and standby LSPs, Fast re-route
IP/MPLS Non-stop RSVP-TE, LDP
 Minor version ISSU,In-Service SoftwareUpgrades Major version ISSU(plan)
5 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

SR OS – High Available OS Architecture コントロール/フォワーディングプレーンをModular化したS/Wデザイン（S/WイメージはFull-binary-imageで提供。 S/Wパッチの提供は無し)
 “Always-on”のリライアビリティに対応。
 分散プロセッシングアーキテクチャ
サービス、プロトコル間統一の割り込み制御
Service Manager
IS-ISBGPOSPF MPLS IP-VPN VPLSNon Stop Routing

VPWS

ESM

Non Stop Service

Hi-Availability Platform モジュール間の統一インタフェース
6 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Non Stop Routing Architecture
CP(Standby)
Protocol
State
Route
Processing

Routing
updateCP(Active)
Protocol
State
Route
Processing
Data Plane
I/O

Customer
Data

LC

Routing
update

RIB

LC

I/O

FIB

FIB
LC

SW
Fabric7 | High Availability – MPLS JAPAN 2010

RIB

Synchronize
RIB/Protocol State,DB,etc

FIB

All Rights Reserved © Alcatel-Lucent 2010

I/O

Customer
Data

Pros & Cons of Non Stop RoutingPros サービスへのサービスへの影響への影響を影響を最小限に最小限に 自己完結するためを問わない
自己完結するため隣接するため隣接との隣接とのInteroperabilityをとの No “Headless” Forwarding, No “black hole”
 Switchover後
後も隣接Routerからのからの再不要
隣接からの再Update不要
 Switchover中
中もRouting Updateにに対応可能
Cons そもそものインプリ
そもそものインプリがインプリが結構大変です
結構大変です 大変度合いはS/Wののアーキテクチャに大変度合いはH/W,
いはアーキテクチャに依存

8 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Non Stop Routing インプリ事例
インプリ事例：
事例：OSPF Protocolとしての処理は全 Active CPM
Standby CPMてActive側で行われSuccessful Operationのみ
OSPF
OSPFがStandbyにSyncされる。
process
 Standby側は全てActive側
LSDB & verify
LSDB
lsdbの処理結果に追従する。
Advertisement(Active側はStandby側動/Hellos/Acks
作には決して依存しない)
 Active/Standby間に非常に高速でReliableなLinkが必須。
 非常に高速なFailover検知
Switch Fabricが必須。

to Linecard
9 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Non Stop Routing インプリ事例
インプリ事例：
事例：BGP
Active CPM
RIBOUT

Standby CPM
RIBIN

RIBOUTRIBIN

TCP TX

RIBIN/RIBOUTはTCP
パケットをSnoopしてBuild TCP RX

TCP RX

BGP

Decisionprocess

RIBIN

BGP

Decisionprocess

RIBIN

BGP statechange sync’d

RIBOUT
RIBOUTTCP TXTCP state + data sync’d
TCP

TCP

TCP CBTCP CB

FabricStandby RIB-IN/OUTはActive側がReceive/TransmitするTCP BGPパケッ
トをSnoopingすることで自身のRIB-IN/OUTをBuildする。

10 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

ISSUのの制限事項
 現時点ではMinor Version間のUpgradeのみに対応。
（Major Version間 ISSUには2011年対応予定。）
 Version Upのみに対応。Version Downには非対応。
 6世代までのMinor Version間のUpgradeに対応✔ 6.0R36.0R9 , then 6.0R96.0R15
 6.0R36.0R15 directly
 Control Plane ModuleのVersion Up後、120分以内にLinecardのResetが必要。Linecard Resetは手動Operationが可能。

11 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

LinecardののReset (Soft Reset)

 IOMのcontrol planeがまず最初にUpgradeされる。その間Data Planeは維持され、Trafficには影響は無い。
 IOM control planeのUpgrade完了後、LatestのForwarding InformationがCPMからDownloadされる。
 その後IOM forwarding planeがIOM
control planeによってLatestのForwarding InformationによってReload/Reprogramされる。

Soft Reset - Download

IOM
Upgrade
CPUControl
ControlPlane

Plane
Populate new

LatestFwd Info

FWD Table
Forwarding
TablesForwarding

Forwarding
TablesTables 断時間は1秒未満。

Traffic
12 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

Multi-Service-Edge環境
環境における環境におけるNSS/NSR
におけるTesting@ISOCORE

1筐体
筐体で筐体で複数サービス複数サービスをサービスを収容し、Scalability等実環境等実環境を等実環境を想定したテスト
したテスト：
テスト：- 22k * IPv4/IPv6 L3 VPN- 19k * L2-VPLS- 88k * L2-VLL- 1M routes- 2M MAC- 4M traffic flows

Control process module (CPM) failover high-availability (HA) recovery
times of 1.6 ms observed on the 7750-SR while supporting non-stop
service of large IP-VPNs, VPLS services, and IPSec tunnels
http://www.alcatel-lucent.com/businessvpns/isocore/
13 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

ISSU: 実際にやってみた
実際にやってみた
1M Routes

1M flow Traffic

BGP

BGP

10Gbps@64Byte
TesterTester
ISSU実施実施

CPM (Act) :8.0R4

CPM (Act) :8.0R4
CPM (Stby) :8.0R4

Stby CPMをを
New Verででreboot

CPM (Stby) :8.0R5

LC : 8.0R4
CPM(Stby) :8.0R5
CPM
Switchover

CPM(Act) :8.0R5
LC : 8.0R4

14 | High Availability – MPLS JAPAN 2010

LC : 8.0R4
CPM(Stby) 8.0R5

LCSoft reset

All Rights Reserved © Alcatel-Lucent 2010

CPM(Act) :8.0R5LC : 8.0R5

ISSU: 実際にやってみた実際にやってみた結果にやってみた結果
1. Standby CPM reboot

2. CPM Switch Over

※全てのケース
Lossをを保証するものではありませんてのケースにおいてケースにおいてZeroにおいて保証するものではありません。
するものではありません。

3. Linecard Soft Reset

15 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

BGP Route Learning中
中にNSR Switchover(ISSU)させたらどうなるさせたらどうなる？？
させたらどうなる？？

(PPS)

Sent Rate
Received Rate

CPM Switchoverwith ISSU
Start sending
Routes16 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

まとめ ISSUやNSRのImplementationは結構大変。そもそものH/W,S/W Architectureに大きく依存。
NSR/NSSの拡張としてのISSU
Full Scalingでもきちんと動作することが必須
 Distributed ArchitectureでのS/W versionのSync。
 既に”実際に使えるレベル”の機能になっており、多くのUserで実際に使用されている。
 Version間の差異をどう扱うかがハードル。特にDowngradeの場合は。。。
 Higher Functionality vs Price17 | High Availability – MPLS JAPAN 2010

All Rights Reserved © Alcatel-Lucent 2010

www.alcatel-lucent.com
www.alcatel-lucent.com

18 | High Availability – MPLS JAPAN 201018 | Presentation Title | Month 2007

All Rights Reserved © Alcatel-Lucent 2010