「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク
1. はじめに
近年、ネットワークを利用したサービスの拡大・成長は目覚ましく、従来型の通信サービス以外にも、政府や自治体の提供する公共系サービス、ネットバンキングやオンラ
イン決済といった金融系サービス、さらには企業の情報システムなど、あらゆるサービ
スがネットワーク上に構築されるようになってきています。このように、ネットワークの社会インフラとしての重要性は増し続けており、24 時間 365 日の連続運用を可能にする「止まらないシステム」へのニーズが高まってきています。
このようなニーズに応えるネットワークを構築するためには、STP や VRRP、OSPF といったプロトコルを組み合わせてシステムを冗長化するのが一般的です。しかし、この手法ではネットワークが複雑になりすぎて、逆にトラブルの原因となってしまうケースが増えてきています。
アラクサラネットワークスの提案するフォールト・トレラント・ネットワーク(FTN :Fault Tolerant Network)は、この「複雑化によるトラブル」を解消するための新しいアプローチです。FT ネットワークによってネットワークをシンプルに構成し、障害の影響範囲を局所化することができます。これは、電気・ガス・電話などの社会インフラと同じ考え方に基づいており、安定かつ確実な「止まらないシステム」の実現を可能にしています。

2. フォールト・トレラント・ネットワーク
IP ネットワークの世界では、パケットは経路情報(ルーティング・テーブル)に従って転送されます。つまり、経路情報にエントリが存在しないネットワークは、外部との通信が一切できなくなってしまい、ネットワーク的に陸の孤島状態となるわけです。したがって、経路情報を適切な状態に保ち続けることは、IP ネットワークにとって非常に重要なことになります。
この経路情報を管理するためには、OSPF や BGP などのダイナミック・ルーティング・
プロトコルを使うのが一般的です。ダイナミック・ルーティングでは、個々の装置がお互いの情報をやり取りし、同じアルゴリズムに従って経路情報を計算することで、ネットワーク全体の経路情報を自動構成します。ダイナミック・ルーティングによる経路情報管理には、多くのメリットがあります。
全装置の経路情報を、手動設定する必要がなくなる
新規ネットワークの追加や、廃止ネットワークの削除が簡単にできる
障害時の迂回経路選択を自動化できる
しかし一方で、ネットワーク全体で情報を自動管理するという仕組みのため、デメリットも存在します。それは、ネットワーク内で障害が発生した場合、その周辺の装置でも自律的に経路情報の再計算を行うため、障害の影響が広範囲に広がってしまうということです。通常、この処理はいずれ収束していきますが、ネットワークの規模や構成、障害発生箇所の組み合わせなどによっては、経路の再構築が収束せずに、ネットワーク
全体が不安定になることもあります。
このような「局所的な障害が、ネットワーク全体に波及してしまう」というデメリッ
トが、昨今の複雑化したネットワークで深刻な問題となっています。そのため、ダイナ

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

1/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

ミック・ルーティングを使用した上で、ネットワークを安定化させるような何らかの仕組みが必要とされているのです。
ネットワーク定常状態

障害発生時の動作

!

!

!

!
障害

!

ダイナミック・ルーティングのセッション維持(
各装置の経路情報( )は定常状態

)

!

!

装置で障害が発生して系切替( )隣接装置とセッション切断( )各装置で経路情報を再計算( ! )さらに、その情報が広範囲に拡散()

図 2-1 IP ネットワークが抱えている問題

同じような問題は、他の場面でも見ることができます。ブロードキャスト・ドメイン内の冗長を考えた場合、一般的には L2 経路を STP 系のプロトコルによって制御し、ネッ
トワークの出口であるデフォルト・ゲートウェイを VRRP などで冗長化します。したがって、各プロトコルを正常に動作させた上で、複数のプロトコルを組み合わせるという連携動作まで気をつけなくてはなりません。また STP を使用することによって、ループ障害に陥ってしまうリスクを抱えこむことになり、最悪の場合はネットワーク全体がダウンしてしまうこともあります。
ネットワーク定常状態

ブロッキング誤解除時の動作

VRRP

VRRP

各装置間でSTPの制御フレーム(BPDU)を送受信
ループしないように、ポートをブロック( )ARPなどのブロードキャストフレーム( )は正常に配信される何らかの問題()により、BPDU送受信が不可能

装置(CPU)負荷の上昇
バースト・トラフィック
回線の片線切れ

その結果、ブロッキングを誤解除( )ループができて、ブロードキャストストーム発生(
さらに、ストームがネットワーク全体に拡散( ))図 2-2 STP の問題点

これらのリスクに対し、「障害の影響範囲を局所化して高速に切り替えることで、シス
テム全体の安定性を高める」というコンセプトの FT ネットワークを適用することで、IP
ネットワークが抱えている問題を解決できます。

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

2/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

従来のダイナミック・ルーティングで制御されるネットワークに対して、システム全体を安定させるグレースフル・リスタート(Graceful Restart)と、装置(スイッチ)自体の障害耐性を高めたフォールト・トレラント・スイッチ(FTS : Fault Tolerant Switch)という、2 つの要素を追加することで FT ネットワークは構成されます。
グレースフル・リスタート【障害の局所化】
障害時に発生する経路情報の再計算処理を、障害発生装置のみに限定化(局所化)する機能。障害の影響を他の装置に波及させないことで、システムの安定化を図ることができる。
FT スイッチ【障害箇所の高速切替】
装置 2 台の機能を 1 台に実装することで、装置単体の可用性を高めたスイッチ。
装置内での高速・確実な切り替えにより、通信に影響を与えず瞬時復旧する。STPや VRRP などの、装置や回線を冗長化するためのプロトコルが不要になるため、システムをシンプル化できる。

図 2-3 フォールト・トレラント・ネットワークの概要

フォールト・トレラント(耐障害性)という名称が意味する通り、障害が起きても動作を継続し続けることができ、以下のようなメリットがあります。
グレースフル・リスタートにより、ダイナミック・ルーティングのメリットを活かしながら、ネットワーク全体を安定化できる
2 台の機能を 1 台に実装しているので、装置台数を削減できる上に、冗長化の面倒な設定やチューニングをしなくても高速・確実に切り替わる
回線の冗長化は STP ではなくリンクアグリゲーションによって行うため、ループ
障害から解放されるゲートウェイ冗長プロトコル(VRRP など)が不要になるため、装置のバタツキ障害(フラッピング)から解放される
装置台数と使用プロトコルが減少するので、ネットワークがシンプルになって運用管理コストを低減できる
無停止バージョンアップが可能
モジュール交換作業時も通信が止まらない(無停止保守が可能)
以上の通り、シンプルさや高可用性を備えた FT ネットワークは、ミッションクリティ
カル性を求められるシステムに適しています。
このホワイトペーパーでは、FT ネットワークを構成するグレースフル・リスタートとFT スイッチという 2 つの要素を中心に、その考え方や特徴などを解説します。

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

3/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

従来の冗長ネットワーク

フォールト・トレラント・ネットワーク

複雑でトラブルの多いネットワーク

シンプルで運用が楽なネットワーク

図 2-4 従来の冗長ネットワークとフォールト・トレラント・ネットワークの比較

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

4/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

3. グレースフル・リスタートによる障害の局所化
前述の通り、IP ネットワークにおけるシステム全体の安定化とは、すなわち経路情報(ルーティング・テーブル)の安定化に他なりません。
しかし、ここで大きな壁にぶつかります。それは、ダイナミック・ルーティングによる自動管理を採用すれば、経路情報がダイナミックに変化するのは必然のこととなるた
め、安定化からは遠のいてしまうという壁です。この壁を乗り越える方法として、スタティック・ルーティングへの回帰が真っ先に思い浮かびますが、大規模化・複雑化した
現在のネットワークでは現実的ではありません。
この壁を乗り越えるためには、FT ネットワークの構成要素であるグレースフル・リス
タートの併用が有効です。グレースフル・リスタートは障害の影響が回りの装置に波及するのを防ぐ技術で、障害を局所化してシステム全体を安定化できます。
「図 2-1 IPネットワークが抱えている問題」のようなダイナミック・ルーティングの
みのネットワークでは、装置間でお互いの状態情報を交換し、各装置で最適な経路を計算することで全体の経路情報を自律的に構築しています。このネットワーク内の 1 台の装置で障害が発生すると、周辺装置はセッションの切断を検出します。その結果「隣の装置に関係する経路が使えなくなった」と判断し、経路の再計算処理を開始します。さらに、この情報はネットワークを伝播して広がっていきます。
通常は、経路情報の再計算はいずれ収束して、ネットワークは安定な状態に復旧しま
すが、復旧するまでの間は通信が途切れてしまう場所もあります。また、ネットワークの規模や構成、障害発生箇所の組み合わせなどによっては、特定の装置に再計算処理が集中して、復旧時間が長くなることもあります。さらに、その負荷が装置の処理能力を超えてしまうと、最悪の場合には、障害とは関係ないはずの装置がダウンするという 2
次障害に発展してしまうこともあります。
これに対し、グレースフル・リスタートを併用したネットワークで障害が発生した場
合、障害装置から周辺装置に対してリスタート通知が送信されます。先ほどと同様に、周辺装置はセッションの切断を検出しますが、リスタート通知を受信している場合は「何もなかったかのように」経路情報を維持し続けます。結果として、障害装置以外では経路情報の再計算処理は発生しないので、通信が途切れることもありません。リスタート
通知とはすなわち「すぐに復活するから、今の状態のままで転送を続けてください」という依頼であり、その依頼通りに周辺装置が協力することで、ネットワーク全体の安定性を保つことができるのです。
経路情報が変化しないので、今までの経路へルーティング
装置で障害が発生して系切替( )→ その際、周辺へリスタート通知を送信(
隣接装置とのセッションを維持
周辺装置は経路情報を維持( )障害

障害時も通信の継続が可能!!
装置内で切り替えて、フォワーディング継続

図 3-1 グレースフル・リスタートを併用したネットワーク

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

5/18

)

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

このときに注意しなければならないのは、装置の耐障害性です。グレースフル・リス
タートによって周辺装置の経路情報は維持されるので、それまで障害装置を経由していた通信は、迂回することなく障害装置へ転送され続けます。したがって、障害装置が転送可能な状態に復帰するまでが通信断時間となるため、装置の切替時間がサービス停止
時間として見えてくることになります。IP ネットワークのインフラとしての重要性を考えた場合、この時間は短ければ短いほど良いということになります。
このようなニーズに応えることができるのが、FT スイッチである AX6700S です。最短
50msec での高速切替を確実に実施できる AX6700S であれば、障害発生時でも瞬時に復旧
して通信を継続することができます。そこで次章では、この FT スイッチについて解説したいと思います。
※ グレースフル・リスタートは以下の RFC および IETF ドラフトに準拠しています
OSPF : RFC2370, RFC3623
draft-kompella-ospf-opaquev2-00.txt
draft-ietf-ospf-ospfv3-graceful-restart-04.txt
BGP : draft-ietf-idr-restart-13.txt

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

6/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

4. フォールト・トレラント・スイッチで障害箇所を高速切替
FT ネットワークのもう一つの構成要素は、装置(スイッチ)自体の障害耐性を高めた FT ス
イッチの AX6700S です。グレースフル・リスタートによって局所化した障害から、FT スイ
ッチの高速切替によって復帰します。
FT ネットワークがシステムとしての耐障害性コンセプトなのに対し、FT スイッチは装置としての耐障害性コンセプトです。そのため、基本的な考え方はサーバやストレージと通じています。すなわち、装置内部で主要部品を冗長化・同期運転することで、装置障害時でも動作を継続するという考え方です。サーバであれば FT サーバが、ストレージであればRAID が、そしてネットワーク装置であれば FT スイッチが、これに該当します。さらに、最高レベルの可用性を持った交換機の技術エッセンスを取り入れることで、従来の LAN スイ
ッチを大きく上回る高可用性を実現しています。
FT スイッチを実現するための技術をフォールト・トレラント・アーキテクチャ(FTA :Fault Tolerant Architecture)と呼び、「①完全冗長化」「②マイクロ・モジュール」「③ク
ロス・コネクション」「④ハードウェア・ミラーリング」という 4 つの技術コンポーネントで構成されています。

1系

2系

完全冗長化

BCU1

完全冗長化
全モジュールの冗長化により、1台の装置に2台分の機能を実装

BCU2
クロス
コネクションコントロール部

コントロール部
マイクロ・モジュール

BSU1

BSU2

ミラーリングフォワーディング部

モジュールを細分化することで、障害時の切替範囲を局所化

フォワーディング部

クロス・コネクション
1系/2系で独立の交差パスにより、装置内の経路を冗長化

NIF1

NIF2
リンク
アグリゲーション・・・

ハードウェア・ミラーリング

・・・

全モジュールを瞬時に同期

図 4-1 フォールト・トレラント・アーキテクチャ

また、隣接装置との接続はリンクアグリゲーションによって冗長化するため、L2 経路制
御プロトコルである STP が不要になります。したがって、STP 使用時に大きな懸念事項となる、ループ障害のリスクを考慮する必要がなくなるため、ネットワークの安定化という面でも非常に大きな効果があります。
従来の冗長ネットワーク(STP使用)

FTネットワーク(リンクアグリゲーション使用)

VRRP① ループ障害の可能性があり、不安定② ブロッキングされた回線は未使用となるため、冗長回線が無駄になる③ 通信経路が分かり難く、トラブル対応が困難④ 切り替え時間が長い① ループの可能性が無いので、安定している② 全回線を負荷分散して使用するため、回線の無駄使いがなくなる③ 通信経路が明白で、トラブル時の切り分けが容易④ 装置内で高速切替

図 4-2 STP とリンクアグリゲーションの特徴比較

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

7/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

4.1.

主要部品の完全冗長化
シャーシ型(モジュラー型)スイッチの AX6700S では、同一モジュールを複数搭載することで、ハードウェアの冗長化が可能になります。モジュールの種類は下表の通りで、全てのモジュールが冗長化可能です。
表 4-1 AX6700S のモジュール一覧

#
1
2
3
4
5

モジュール種別
BCU(Basic management Control module)
BSU(Basic packet Switching module)
NIF(Network Interface module)
PS(Power Supply)
FAN(FAN module)

概要
コントロールエンジン
CPU 等が搭載され、ソフトウェアが動作します
フォワーディングエンジン
パケット転送処理を行います
回線(インタフェース)を収容します
電源の供給を行います
1 つのモジュールに、3 個のファンが実装されています

最大搭載数
2
3
8
8(AC)
4(DC)
4

また以下の通り、BCU/BSU/NIF は装置前面に、PS と FAN は装置背面に実装する構造となっています。
BCU(2系)

PS(1系)

NIF(スロット1)

NIF(スロット2)

PS(2系)

NIF(スロット3)

NIF(スロット4)

PS(3系)

BCU(1系)

BSU(1系)

PS(4系)

BSU(2系)

PS(5系)

BSU(3系)

PS(6系)

NIF(スロット5)
NIF(スロット7)

NIF(スロット6)

PS(7系)

NIF(スロット8)PS(8系)

前面

FAN
(1系)
FAN
(2系)
FAN
(3系)
FAN
(4系)

背面(AC電源搭載時)

図 4-3 AX6700S モジュール搭載位置

一般のシャーシ型スイッチでも、複数モジュールを搭載することで装置のハード
ウェア冗長性を確保できるように考えられますが、実際にはそれだけでは十分といえません。何故ならば、モジュール化されていない部品については単一障害点(SPOF :Single Point of Failure)としてのリスクを抱えているためです。この問題に対し、
AX6700S は主要部品の冗長設計を徹底することで、SPOF リスクの低減を図っています。具体的には、筐体(シャーシ)自体を除くほとんどの主要部品を完全に冗長化することで、SPOF リスクを限りなくゼロに近づけています。
また、NIF には BCU/BSU のような運用系(ACT)/待機系(SBY)という概念がありませんが、同一のモジュールを 2 枚搭載した上で、NIF 間でのリンクアグリゲーションを設定することで冗長化が可能です。
このように、AX6700S は主要部品について完全冗長化設計を行っているため、通常の LAN スイッチを大幅に上回る信頼性を、装置単体で達成できているのです。

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

8/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

4.2.

マイクロ・モジュール
一般的に、モジュール化の単位を細分化すると、障害発生時の切替単位が小さくなるため、 切替時間の短縮や 障害影響範囲の局所化、メンテナンス性の向上といった様々なメリットを得ることができます。その一方で、コストアップというデメリットもあるため、細分化の徹底が最良の選択であるとは限りません。信頼性重視か、
コストパフォーマンス重視かで、モジュール分割の方針は全く異なってきます。
これをまとめたのが表 4-2 ネットワーク装置のモジュール分割方針です。通常のLANスイッチは 2 モジュール分割であることが多いのに対し、信頼性を重視した交換機の場合は 4 モジュール分割となっています。そこでAX6700Sは 3 モジュール分割というマイクロ・モジュール(MM : Micro Module)方式を採用し、通常のLANスイッチ
以上に信頼性を重視した設計を行っています。
表 4-2 ネットワーク装置のモジュール分割方針
装置種別
交換機
AX6700S
通常の LAN スイッチ

4.3.

転送系のモジュール分割方針
CPU/スイッチ/メモリ/インタフェースの 4 モジュール
CPU/(スイッチ+メモリ)/インタフェースの 3 モジュール
BCU → CPU / BSU → スイッチ+メモリ / NIF → インタフェース(CPU+スイッチ+メモリ)/インタフェースの 2 モジュール

クロス・コネクション
交換機では交絡(交差)接続という方式が採用されており、モジュール同士が専用経路で相互接続されています。これはクロス・コネクション(CC : Cross Connection)
として AX6700S にも採用されており、大きな特徴となっています。
クロス・コネクションによって、各モジュール間の通信経路が冗長化されるため、どのモジュールで障害が発生しても、通信の継続が可能になります。
BCU(コントロール部)障害時の通信経路
クロス・コネクションで、BCU-BSU 間の通信経路が切り替わります。パケット転送の通信経路(BSU-NIF 間)には影響が無く、外部との通信経路は変化しません。
BCU障害が発生

SBY

ACT

BCU1

切替前の
経路

BCU2

コントロール部

系切替

コントロール部

切替後の経路

BCU-BSU間の通信経路を瞬時切替
ACT

SBY

BSU1

BSU2

フォワーディング部

フォワーディング部

NIF1

NIF2

NIF3

NIF4

・・・

・・・

・・・

・・・

パケット転送の通信経路に影響無し

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

外部から見た通信経路は変化無し!!

図 4-4 BCU 障害時の経路切替

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

9/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

BSU(フォワーディング部)障害時の通信経路
クロス・コネクションで、BCU-BSU/BSU-NIF 間の通信経路が切り替わります。内部的にはパケット転送の通信経路が変化しますが、外部との通信経路は変化しません。
ACT

SBY

切替前の
経路

BCU1

BCU2

コントロール部

コントロール部

切替後の経路

BCU-BSU間の通信経路を
BSU2へ瞬時切替
BSU障害が発生
SBY

ACT

BSU1

フォワーディング部

系切替

BSU2

フォワーディング部
パケット転送の通信経路を
BSU2へ瞬時切替

NIF1

NIF2

NIF3

NIF4

・・・

・・・

・・・

・・・

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

外部から見た通信経路は変化無し!!

図 4-5 BSU 障害時の経路切替

NIF/回線/トランシーバ(回線収容部)障害時の通信経路
クロス・コネクションで、BSU-NIF 間の通信経路が切り替わります。BCU-BSU 間の通信経路には影響ありません。内部的にはパケット転送の通信経路が変化しますが、異なる NIF 間のリンクアグリゲーションが縮退するだけで、外部との論理的な通信
経路は変化しません。
ACT

SBY

切替前の
経路

BCU1

BCU2

コントロール部

コントロール部

切替後の経路

BCU-BSU間の通信経路に影響無し
ACT

SBY

BSU1

フォワーディング部

BSU2

フォワーディング部

パケット転送の通信経路を
NIF4へ瞬時切替

NIF1

NIF2
NIF3で回線部の

NIF3

NIF4

・・・

・・・

障害が発生

・・・

・・・

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

リンクアグリゲーションの縮退なので、論理的な経路に変化無し!!

図 4-6 NIF/回線/トランシーバ障害時の経路切替

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

10/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

4.4.

ハードウェア・ミラーリング
一般的に、LAN スイッチでハードウェアによる高速転送を行うためには、パケット転送を行うモジュール(フォワーディング部)にフォワーディング・テーブル(転送先情報)を設定する必要があります。フォワーディング・テーブルはコントロール部で動作しているソフトウェアによって自動計算された後、全てのフォワーディング部に対して同じ情報が設定されます。
通常の LAN スイッチで全てのフォワーディング部へ設定を行う場合、運用系(ACT)のソフトウェアから待機系(SBY)のコントロール部に情報を送信し、実際の設定は待機系(SBY)のソフトウェアが実施することになります。これをソフトウェア方式と呼びます。
これに対して AX6700S では、クロス・コネクションを使って、全てのフォワーデ
ィング部へのダイレクト設定が可能なハードウェア方式を採用しています。これをハードウェア・ミラーリング(HM : Hardware Mirroring)と呼び、ソフトウェア方式と比べると待機系ソフトウェアを中継する必要が全く無くなるため、全テーブルを瞬時に完全同期させることが可能です。
なおAX6700Sでは、フォワーディング・テーブルの同期についてはハードウェア方式を用いていますが、場合によってはソフトウェア方式も使用しています。その特徴や使い分け方の詳細については、「5.3 切替後の情報引き継ぎと再開処理」を参照
してください。
ソフトウェア方式
ACT

SBY

CNT1
ソフトウェアハードウェア方式
CNT2

ACT

ソフトウェアSBY

BCU1
ソフトウェアコントロール部

コントロール部

コントロール部

FWD1

FWD2

BSU1

フォワーディング部

フォワーディング部

フォワーディング部

BCU2
ソフトウェアコントロール部

BSU2

ミラーリングフォワーディング部

図 4-7 フォワーディング・テーブルの同期方式

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

11/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

5. フォールト・トレラント・アーキテクチャ以外の高可用性技術
AX6700S では、FT アーキテクチャ以外にも様々な可用性を高める技術を採用しています。
ここでは、それらの技術を説明します
5.1.

確実な障害検出と切替処理の重要性
FT アーキテクチャの採用により、AX6700S はハードウェアの冗長レベルを大きく高めることに成功しました。しかし、そもそも障害の発生を検出できなかったり、
切り替え動作に問題があっては意味がありません。つまり、確実に障害を検出し、確実に切り替えを実施するための仕組みが必要になります。
AX6700S では、EMA(Emergency Action circuit)と呼ばれるエマージェンシー回路
をハードウェアで実装することで、どのような場合でも確実な障害検出と切替処理を実現しています。エマージェンシー(非常時、緊急事態)という名称が示す通り、装置が最悪な状態になるのを防ぐ、「最後の砦」の役割を果たしています。
例えば、カーネルパニックやデッドロックなどによってソフトウェア処理自体が不可能になった場合や、コントロール部(BCU)が突然引き抜かれるといった不正オペ
レーションの場合でも、EMA が障害を検出して切替を実施するので、装置が制御不能な状態になることはありません。
つまり、ソフトウェアがダメな場合に備えて、ハードウェアで救う仕組みを織り込んでいるのです。EMA というハードウェアは、AX6700S の高可用性を支える大きな柱の一つとなっています。
EMAはソフトを監視しているので、
カーネルパニックを障害として検出して、切替処理を確実に実施できる

EMAは対となるBCUを監視しているので、BCUを突然抜去されても障害検出して、切替処理を確実に実施できる

ACT

SBY

ソフト BCU1
・・・

BCU2 ソフト

EMA

CPU

EMA

CPU

通常はソフトが障害検出する

BSU1

BSU2

フォワーディング部

フォワーディング部

NIF1

NIF2

NIF3

NIF4

・・・

・・・

・・・

・・・

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

図 5-1 EMA の役割

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

12/18

・・・

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

5.2.

サイレント故障対策
障害発生時に確実な切り替わりが実施されたとしても、切り替わり先のモジュー
ルが故障していては意味がありません。このように、切り替わった先の待機系が故障していた状態をサイレント故障と呼び、特に連続運用が求められるケースでは対策する必要があります。
サイレント故障を防止するには、運用系(アクティブ)/待機系(スタンバイ)という状態に関わらず、実装している全てのモジュールについて正常性をチェックする必要があります。交換機の場合には、定期的(例えば 24 時間ごと)に運用系と待機系を切り替えるという機能が実装されています。アクティブな状態になれば通常の障害検出ができるので、問題を回避できるという理屈です。
対する AX6700S では、複数の手法を併用することでサイレント故障対策を行っています。

5.2.1.

BSU のダブルアクト/トリプルアクト運転
複数のモジュールが同時に運用(アクティブ)状態で動作できるようになっていれ
ば、サイレント故障から解放されます。AX6700S はこの考えを取り入れており、複数の BSU モジュールを同時にアクティブな状態で動作させることができます。
表 5-1 BSU の運転モード
機能名称
シングルアクト
ダブルアクトトリプルアクト

概要
BSU×1 アクティブ
BSU×2 アクティブ
BSU×3 アクティブ

BSU 実装数
1 枚以上
2 枚以上
3枚

備考
2 枚目以後の BSU はスタンバイ
3 枚目の BSU はスタンバイ
全ての BSU がアクティブ

シングルアクト

ダブル/トリプルアクト

BCUはお互いに死活監視
ACT

SBY

ACT

SBY

BCU1

BCU2

BCU1

BCU2

コントロール部

コントロール部

コントロール部

コントロール部

運用系(ACT)のBSUだから
サイレント故障は関係無し
ACT

待機系(SBY)のBSUは・・・
SBY

BSU1

フォワーディング部

ACT

BSU2

フォワーディング部

ACT

BSU1

フォワーディング部

BSU2

フォワーディング部

待機系(SBY)を無くすことで、サイレント故障から解放!!

NIFには待機系(SBY)という概念が無い(常にACT)ので、サイレント故障は関係無し

NIF1

NIF2

NIF3

NIF4

NIF1

NIF2

NIF3

NIF4

・・・

・・・

・・・

・・・

・・・

・・・

・・・

・・・

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

図 5-2 ダブルアクト/トリプルアクトのメリット

つまり、装置に実装している BSU 全てをアクティブにして運用することで(ダブルアクトやトリプルアクト)、BSU では待機系という状態を無くしてしまうのです。
その場合、BSU 障害時には縮退動作を行うことになりますが、「障害時でも止まらCopyright © 2008, ALAXALA Networks Corporation. All rights reserved.

13/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

ずに動き続ける」という FT スイッチの機能は損なわれません。
また、サイレント故障とは違う観点になりますが、ダブルアクト/トリプルアク
トでは複数 BSU が同時運転することになるため、負荷分散という点でも効果があります。
5.2.2.

他モジュールやバスのヘルスチェック
AX6700S では、BCU から各モジュールに対するヘルスチェックも実施しています。
したがって、サイレント故障を防止することができます。具体的には、運用系ソフトと待機系ソフトの間で定期的な死活監視を行うことで、CPU のサイレント故障を防止しています。また、各モジュールへの定期的なヘルスチェックによって、待機系
制御バスのサイレント故障を防止しています。
さらに、NIF には運用系(ACT)/待機系(SBY)という概念が無く、常に運用状態(ACT)となるため、BSU-NIF 間のバスはサイレント故障がありません。
BCUはお互いに死活監視
ACT

SBY

BCU1

BCU2
ソフト

・・・

ソフト

コントロール部

コントロール部

運用系(ACT)のBCUから各モジュールをチェック

・・・
待機系(SBY)のBCUから各モジュールをチェック

ACT

SBY

BSU1

BSU2

フォワーディング部

フォワーディング部

NIF1

NIF2

NIF3

NIF4

・・・

・・・

・・・

・・・

異なるNIF間のリンクアグリゲーション

異なるNIF間のリンクアグリゲーション

図 5-3 BCU からのヘルスチェック

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

14/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

5.3.

切替後の情報引き継ぎと再開処理
障害時にハードウェアを切り替えた場合でも、ソフトウェアが処理していた情報が失われてしまっては、サービスに影響が出てしまいます。そのため、切り替えの前後で情報を引き継いだ上で、適切な再開処理を実施しなくてはなりません。
交換機の場合、運用系と待機系をハードウェア的に完全同期させるという方式を採用しています。交換機で扱う情報(経路情報)は基本的にスタティックなため、運用系と待機系で状態を同期させるのは比較的容易なことでした。しかし、IP ネット
ワークの経路情報は基本的にダイナミック・ルーティングによって管理されるため、装置同士が連携することで構築されます。したがって、この情報をハードウェアで完全に同期させるのは、非常に困難なこととなります。
そこでAX6700Sでは、装置自身が持つ情報はハードウェアによって引き継ぎ、IPネットワークが持つ経路情報はグレースフル・リスタートという周辺装置との連携機
能で引き継ぐ手法を採用しています。グレースフル・リスタートの詳細については、「3 グレースフル・リスタートによる障害の局所化」を参照してください。

5.3.1.

BCU の情報引き継ぎ
BCU を冗長化した場合、待機系の BCU は装置管理情報やコンフィグレーションの同期化を行い、ホットスタンバイ状態で待機します。その際、同期する情報の種類に応じて、2 つの引き継ぎ方式を使い分けています。各方式の良いところを活かすこと
で、確実かつ高速な同期化を実現しています。使い分けの観点は、データ量(大量のデータを同期するスピード)と即時性(同期完了までのオーバーヘッド)が大きなポ
イントとなります。
ソフトウェア間の通信で同期する。
大量のデータを送信できる反面、ソフト処理の遅延がある。

ACT

BCU1

SBY

BCU2

ソフトウェア

ソフトウェアコントロール部

コントロール部

複数メモリの同時書き込みで同期する。
ライト完了で同期保証できるが、データ量はメモリ容量に制限される。

BSU1

BSU2

メモリ

メモリ

フォワーディング部

フォワーディング部

図 5-4 BCU の情報同期化

ソフトウェア方式
BCU 同士を接続した通信経路を経由して、運用系と待機系のソフトウェア間で連続データ送信を行います。大量のデータを同期する用途に向いていますが、
ソフトウェア処理のため即時性は犠牲になります。例えば、ログ情報などの同期に使用されます。
ハードウェア方式
BSU上のメモリに情報を書き込み、系切替時にはそのメモリから情報を読み出して引き継ぎを行います。メモリに書き込むだけで同期が完了するため、即時性は高くなります。また、別モジュール上にメモリが実装されているため、
BCUダウン時も情報が失われない上に、全てのBSUに同じ情報を書き込むことで冗長化しています。「4.4 ハードウェア・ミラーリング」にある通り、フォワーディング・テーブルはこの方式で同期されており、BSUとBCUの両方から参照されます。

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

15/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

5.3.2.

BSU の情報引き継ぎ
ハードウェア方式で説明した通り、BCUから設定される情報は、全てのBSUに対して同時に書き込みされるため、常に同期状態が保たれます。詳細は「4.4 ハードウェア・ミラーリング」で説明した通りで、ハードウェア転送に不可欠なフォワーディング・テーブルを瞬時に完全同期させることが可能です。

5.3.3.

NIF および回線部の情報引き継ぎ
FT スイッチでは、同一 NIF を 2 枚搭載した上で、NIF 間でのリンクアグリゲーシ
ョンを設定することで、回線部を冗長化します。したがって、回線や NIF で障害が発生した場合、リンクアグリゲーションが縮退するだけで、論理的な通信経路に変
更はありません。そのため、縮退時間以上の通信断が発生することはありません。

5.3.4.

AX6700S の再開処理
これまで、各モジュール切替時の情報引き継ぎについて技術的な説明してきまし
たが、最終的にユーザに見えるのは「切替後の再開時に周囲が受ける影響」となります。そこで、以下のように再開処理レベルを定義して整理します。
レベル 1 再開
周囲に影響を与えずに、切り替えが可能です。
表 5-2 レベル 1 再開の機能 (AX6700S)
#
分類
機能
1
ポート状態(アップ/ダウン)
ネットワークインタフェース
2フィルタ & QoS
3
リンクアグリゲーション
4
MAC アドレステーブル
レイヤ 2 中継5
ポート VLAN
6
プロトコル VLAN
7
MAC VLAN
8
VALN Tag 変換
9
VLAN トンネリング
10
BPDU フォワーディング
11
EAPOL フォワーディング
12
IGMP snooping
IGMP/MLD Snooping
13
MLD snooping
14
IEEE802.1X 認証
ネットワーク認証
15
Web 認証(ダイナミック VLAN)
16
高信頼化
IEEE802.3ah/UDLD (※1)
17
IPv4 パケット中継
ARP テーブル
18
DHCP サーバ (※1)
19
スタティック・ルーティング
IPv4 ユニキャスト・ルーティング
20
OSPF (※2)
21
BGP4 (※2)
22
NDP テーブル
IPv6 パケット中継
23
DHCP サーバ (※1)
24
スタティック・ルーティング
IPv6 ユニキャスト・ルーティング
25
OSPFv3 (※2)
26
BGP4+ (※2)
27
IPv6 マルチキャスト・ルーティング
PIM-SSM(※1)プロトコル動作の関係から、切り替えによって通信が切れることはありません(※2)グレースフル・リスタートを併用した場合です
詳細については「3 グレースフル・リスタートによる障害の局所化」を参照してください

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

16/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

レベル 2 再開
周囲に影響があるため、通信無停止での切り替えはできませんが、機能自体の使用については特に制限はありません。
表 5-3 レベル 2 再開の機能 (AX6700S)
#
分類
機能
1
STP (Single/PVST+/MSTP) (※1)
レイヤ 2 冗長プロトコル2
アラクサラリングプロトコル
3
Web 認証(固定 VLAN)
ネットワーク認証
4
MAC 認証5
高信頼化
GSRP (※1)
6
VRRP (※1)
7
IPv4 ユニキャスト・ルーティング
RIP/RIPv2 (※2)
8
IPv4 マルチキャスト・ルーティング
PIM-SM (※3)
9
PIM-SSM (※3)
10
IPv6 ユニキャスト・ルーティング
RIPng (※2)
11
IPv6 マルチキャスト・ルーティング
PIM-SM (※3)(※1)FT ネットワークでは STP や VRRP の代わりに、完全冗長化とリンクアグリゲーションを使います(※2)FT ネットワークでは OSPF/OSPFv3 が推奨です(※3)マルチキャスト・ルーティングは PIM-SSM(IPv6)が推奨です

5.4.

バックアップ機能
ここまで、どのようにして装置の可用性を高めているのかを詳しく解説してきました。しかし、それらの手段によってもリカバリーできない重大な障害が発生する
可能性も、考慮しなければなりません。すなわち、装置の状態を容易に復旧できるように、設定などをバックアップする機能が必要となります。
FTP や TFTP によってサーバへ、設定ファイルを転送する
内部フラッシュメモリや外部メモリ(SD カード)へ、設定ファイルを保存する
show コマンドによって、設定をコンソール画面に表示する
通常の LAN スイッチと同様に、AX6700S もこれらの標準的な手段によって設定など
をバックアップすることができます。しかし、バックアップやリストア作業の際にはコマンドラインへアクセスする必要があるため、熟練したオペレータ以外にとっては、難解な作業になりがちです。また、作業手順書を準備することで作業を容易化しても、オペレーションミスの可能性はなくなりません。
この保守に関する問題は、SD カードスクリプト機能で解決することができます。
これは、SD カードに作業手順を記述したスクリプトを格納しておけば、その SD カー
ドを装置に挿すだけで作業を自動実行できるという機能です。コマンド入力の必要が無いため、装置に精通していないユーザでも、短時間で簡単・確実にバックアッ
プやリストアなどの作業を実施することができます。
また、設定以外のソフトウェアなども一括でバックアップ/リストアすることができるので、通常の装置交換作業時に必要となるバージョン合わせ作業が不要になります。通常の運用中に SD カードスクリプトでバックアップしておけば、障害時には交換した装置へ SD カードを挿すだけで、完全に元の状態へ復帰することができます。
結果として、オペレーションミスの可能性を排除し、装置が故障した場合の交換作
業時間を最短にすることができるのです。

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

17/18

「止まらないシステム」を実現する
アラクサラネットワークスのフォールト・トレラント・ネットワーク

6. まとめ ～フォールト・トレラント・ネットワークの効果～
ネットワークが複雑になりすぎて、トラブルの原因となってしまうケースが増えているという問題を解決するために、アラクサラネットワークスはフォールト・トレラント・
ネットワーク(FTN : Fault Tolerant Network)というコンセプトを提案してまいりました。FT ネットワークでは、複雑になりすぎたネットワークをシンプルに再構成し、障害の影響範囲を局所化することで、安定かつ確実な「止まらないシステム」を実現しています。
「複雑化によるトラブル」とはすなわち、IP ネットワークが抱えている「局所的な障
害が、ネットワーク全体に波及してしまう」という問題に他なりません。FT ネットワー
クは、システム全体を安定させるグレースフル・リスタート(Graceful Restart)と、装置(スイッチ)自体の障害耐性を高めたフォールト・トレラント・スイッチ(FTS : Fault
Tolerant Switch)という 2 つの要素によって、この問題に対処しています。
ミッションクリティカル用途にも適用可能な装置自体の高可用性に加え、グレースフ
ル・リスタートとの連携によって「止まらないシステム」を構築可能な FT スイッチ
AX6700S は、信頼性において他の追随を許さない製品となっています。

2008 年 6 月 20 日 第 1 版発行

アラクサラネットワークス株式会社〒212-0058
川崎市幸区鹿島田 890 番地 新川崎三井ビル西棟
URL : http://www.alaxala.com/
問い合わせ URL : http://www.alaxala.com/jp/contact/index.html

Copyright © 2008, ALAXALA Networks Corporation. All rights reserved.

18/18