(57)【要約】【課題】上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用可能にする。【解決手段】上位レイヤノードは、クラスタノードとクラスタノード外の通信ノードとの接続関係を示すネットワークのトポロジ情報を保持する。このときに、上位レイヤノード間の接続関係を示す上位レイヤノードトポロジ情報からネットワークのトポロジ情報を生成する。また、上位レイヤノードは、他の上位レイヤノードとのデータ送受信を行う終端部を備え、終端部は、クラスタノード外の通信ノードとのデータ送受信手段を備える。また、流入出されるデータ量または通信の異常を監視し、監視したデータ量に基づき、下位レイヤノードの切替設定の変更により、上位レイヤノード間の接続関係、または、クラスタノード外の通信ノードと上位レイヤノードとの間の接続関係を変更する。【選択図】図１
2008135949.tif 000002
【特許請求の範囲】
【請求項１】
複数の上位レイヤノードと、１つ以上の下位レイヤノードとで構成されるクラスタノードにおいて、
前記上位レイヤノード間は、前記下位レイヤノードを介して接続され、
前記上位レイヤノードと、クラスタノード外の通信ノードとの間は、前記下位レイヤノードを介して接続され、
前記各上位レイヤノードは、クラスタノードとクラスタノード外の通信ノードとの接続関係を示すネットワークのトポロジ情報を保持する手段を備えた
ことを特徴とするクラスタノード。
【請求項２】
前記上位レイヤノードは、
上位レイヤノード間の接続関係を示す上位レイヤノードトポロジ情報を保持する手段と、
前記上位レイヤノードトポロジ情報から、前記ネットワークのトポロジ情報を生成する手段と
を備えた請求項１記載のクラスタノード。
【請求項３】
前記上位レイヤノードは、他の上位レイヤノードとのデータ送受信を行う終端部を備え、
前記終端部は、クラスタノード外の通信ノードとのデータ送受信手段を備えた
請求項１または２記載のクラスタノード。
【請求項４】
前記上位レイヤノードは、
流入出されるデータ量を監視する手段と、
監視した前記データ量に基づき、前記下位レイヤノードの切替設定の変更により、前記上位レイヤノード間の接続関係、または、クラスタノード外の通信ノードと上位レイヤノードとの間の接続関係を変更する手段と
を備えた請求項１ないし３のいずれかに記載のクラスタノード。
【請求項５】
前記上位レイヤノードは、
他の上位レイヤノードとの通信、または、クラスタノード外の通信ノードとの通信の異常を検出する手段と、
前記異常を検出する手段が異常を検出したときには、前記下位レイヤノードの切替設定を変更することにより、他の上位レイヤノードとの通信、または、クラスタノード外の通信ノードとの通信を確保する手段と
を備えた請求項１ないし３のいずれかに記載のクラスタノード。
【請求項６】
前記上位レイヤノードの故障を検出する手段と、
前記故障を検出する手段が故障を検出したときには、前記下位レイヤノードの切替設定を変更することにより、前記故障した上位レイヤノードと接続していたクラスタノード外の通信ノードと、他の正常な上位レイヤノードとを接続する手段と
を備えた請求項１ないし３のいずれかに記載のクラスタノード。
【請求項７】
ネットワークのトポロジ情報を上位レイヤノードが保持する代わりに、クラスタ情報を保持する制御サーバを備えた請求項１または２記載のクラスタノード。
【請求項８】
請求項１ないし７のいずれかに記載のクラスタノードで用いられる上位レイヤノード。
【請求項９】
請求項７記載のクラスタノードで用いられる制御サーバ。
【請求項１０】
複数の上位レイヤノードと、１つ以上の下位レイヤノードとで構成され、前記上位レイヤノード間は、前記下位レイヤノードを介して接続され、前記上位レイヤノードと、クラスタノード外の通信ノードとの間は、前記下位レイヤノードを介して接続されるクラスタノードが実行するクラスタノード構成方法において、
前記クラスタノードと前記クラスタノード外の通信ノードとの接続関係を示すネットワークのトポロジ情報を、前記各上位レイヤノードが保持する
ことを特徴とするクラスタノード構成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レイヤ２、もしくは、レイヤ３の通信ノードと下位レイヤの通信ノードとを複数台連携させ、通信ノードの信号転送処理の能力向上を実現する技術に関する。
【背景技術】
【０００２】
インターネットを流れるトラフィック量は、年々増加して通信ノードのトラフィック処理能力の限界を凌駕すると予想されている。現在、通信ノードの処理能力を向上させるため、通信ノードの巨大化、もしくは、クラスタ化が進んでいる。
【０００３】
従来のクラスタノードの構成は、クラスタノードを構成する上位レイヤノードと、上位レイヤノードの間を接続する下位レイヤノードとから構成されている。上位レイヤノードは終端部、および、下位レイヤノードを経由して他の上位レイヤノードと通信する。上位レイヤノード群は、下位レイヤノードを経由して接続されるため、互いの接続構成は柔軟に変更できる。
【０００４】
一方、クラスタノード外の通信ノードは、上位レイヤノード間を接続するネットワークと異なるネットワークを経由してクラスタノードと接続する。つまり、上位レイヤノードは、他の上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを具備している。
【０００５】
このような通信ノードのクラスタ化技術は、１台の通信ノードの回線接続の数を大幅に増加できるものである。上記で述べた従来のクラスタノード構成は、例えば、非特許文献１または２、特許文献１または２に記載されている。
【０００６】
【非特許文献１】Ｃｉｓｃｏ  Ｃａｒｒｉｅｒ  Ｒｏｕｔｉｎｇ  Ｓｙｓｔｅｍ、［ｏｎｌｉｎｅ］、Ｃｉｓｃｏ  Ｓｙｓｔｅｍ，Ｉｎｃ、［平成１８年１１月１０日検索］、インターネット<URL:http://www.cisco.com/en/US/products/ps5763/index.html>
【非特許文献２】Ｉｎｆｒａｎｅｔ−ｒｅａｄｙ  Ｃｏｒｅ  Ｒｏｕｔｅｒ  Ｐｌａｔｆｏｒｍｓ、［ｏｎｌｉｎｅ］、Ｊｕｎｉｐｅｒ  Ｎｅｔｗｏｒｋｓ，Ｉｎｃ、［平成１８年１１月１０日検索］、インターネット<URL:http://www.juniper.net/products/tseries>
【特許文献１】特開２０００−８３０４５号公報
【特許文献２】特開２０００−７８２０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上位レイヤノードは、他の上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用できない。上位レイヤノードは、終端部の障害などに備え、上位レイヤノード間を接続するための予備用の終端部、および、クラスタノード外の通信ノードと接続するための予備用の終端部が必要となり、終端部に掛ける装置コストが高くなる。もし、終端部を共用可能となれば装置コストを削減可能となる。
【０００８】
一方、終端部を共用する場合、かつ、複数の上位レイヤノード群を１台の巨大な通信ノードとして制御する場合には、従来のルータ、または、クラスタルータで実施されているルーティング機能などの経路制御機能を改良する必要性も生じる。
【０００９】
本発明は、このような背景の下に行われたものであって、複数の通信ノードを連携させて１台の巨大なクラスタノードを構成する場合に、クラスタノード内において、上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用可能にすることができるクラスタノードおよびクラスタノードの構成方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、複数の上位レイヤノードと、１つ以上の下位レイヤノードとで構成されるクラスタノードであって、本発明の特徴とするところは、前記上位レイヤノード間は、前記下位レイヤノードを介して接続され、前記上位レイヤノードと、クラスタノード外の通信ノードとの間は、前記下位レイヤノードを介して接続され、前記各上位レイヤノードは、クラスタノードとクラスタノード外の通信ノードとの接続関係を示すネットワークのトポロジ情報を保持する手段を備えたところにある。
【００１１】
さらに、前記上位レイヤノードは、上位レイヤノード間の接続関係を示す上位レイヤノードトポロジ情報を保持する手段と、前記上位レイヤノードトポロジ情報から、前記ネットワークのトポロジ情報を生成する手段とを備えることができる。
【００１２】
また、前記上位レイヤノードは、他の上位レイヤノードとのデータ送受信を行う終端部を備え、前記終端部は、クラスタノード外の通信ノードとのデータ送受信手段を備えることができる。
【００１３】
これにより、複数の上位レイヤノード群を連携して仮想的に１台の巨大な通信ノードを構築可能であり、かつ、上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とが共用可能となる。
【００１４】
本発明では、上位レイヤノード群を連携させて巨大な１台の通信ノードとして制御することを述べている。本発明において、上位レイヤノードがレイヤ２、または、レイヤ３の主信号の経路転送処理を行い、下位レイヤノードはレイヤ２、または、レイヤ３の主信号の経路転送処理に関与しない。したがって、主信号の転送処理に関する限り、本発明のクラスタノードは、上位レイヤノード群と下位レイヤノード、または、下位レイヤノード群とを連携した巨大な１台の通信ノードとして動作する必要がない。
【００１５】
ただし、上位レイヤノードと下位レイヤノードとの間の制御信号の転送に関すると、本発明のクラスタノードは、上位レイヤノード群と下位レイヤノード、または、下位レイヤノード群とを連携した巨大な１台の通信ノードとして動作する場合がある。
【００１６】
前記の制御信号の転送については、従来どおりに上位レイヤノード群のみ仮想的に１台の通信ノードとして動作してもよい。
【００１７】
本発明において、下位レイヤノードと上位レイヤノードとの一対を一体化してもよい。例えば、シスコシステムズ社製ＯＮＳ１５４５４、シスコシステムズ社製ＯＮＳ１５６００、ノーテルネットワーク社製ＯＭＥ６５００のようなレイヤ１、レイヤ２、レイヤ３の通信をサポートする通信装置がある。これらの装置の構成は、レイヤ１機能をもつ下位レイヤノードと、レイヤ２、または、レイヤ３機能をもつ上位レイヤノードとを統合している。
【００１８】
本発明の終端部は、ＩＰアドレス、ＭＡＣアドレス、サブネットマスク、Ｉｆｉｎｄｅｘなどの識別情報のうちの一部、または、全ての情報を保有する。
【００１９】
上位レイヤノードは、ＯＳＰＦ、ＢＧＰ、または、その他のルーティングプロトコルなどを具備し、上記の終端部の識別情報を利用し、流入出される信号の転送処理を行う。
【００２０】
また、本発明のクラスタノードは、上位レイヤノードが、信号の伝送経路を選択するための識別情報を具備する仮想終端部を備えることができる。この場合には、上位レイヤノードが１つ、または、複数の終端部に前記仮想終端部を割り当てる手段と、上位レイヤノード群が連携して前記仮想終端部を共用する手段とを備えることができる。
【００２１】
従来例では、例えば、ＩＰアドレス、および、サブネットマスクを備える終端部Ａと終端部Ｂと終端部Ｃとが存在すると仮定した場合に、終端部Ａと終端部Ｂとが伝送路で接続されていて、次に、終端部Ａと終端部Ｃとが接続されるように伝送路を切り替えたとき、終端部Ａと終端部Ｃとの通信が途絶する場合がある。このような状況は、一般的に、終端部Ａと終端部Ｃとのネットワークアドレスが異なるためである。その結果、終端部Ａを具備する上位レイヤノードと終端部Ｃを具備する上位レイヤノードとの間において、終端部Ａと終端部Ｃとを経由する通信を確立できない。
【００２２】
本発明では、終端部が保有するのと同様の識別情報を保有する仮想終端部を利用することができる。例えば、初期において、終端部Ａに仮想終端部αを割当て、終端部Ｂに仮想終端部βを割当てると仮定する。そして、終端部Ａと終端部Ｂとが伝送路で接続される。このときのレイヤ３の通信は、終端部Ａと終端部Ｂとの間だけでなく、仮想終端部αと仮想終端部βとの間でも確立される。
【００２３】
次に、終端部Ａと終端部Ｃとが接続されるように伝送路が切り替えられたときに、仮想終端部βを終端部Ｃに割当てる。このとき、終端部Ａと終端部Ｃとの間の通信は前記と同様に確立しない。ただし、仮想終端部αと仮想終端部βとの間の通信を確立する。その結果、終端部Ａを具備する上位レイヤノードと終端部Ｃを具備する上位レイヤノードとの間において、終端部Ａと終端部Ｃとを経由して通信を確立できる。
【００２４】
このように、仮想終端部を導入することによって上記のような利点がある。さらに、本発明により、論理的な存在の仮想終端部を上位レイヤノード群の間で共用することもできる。
【００２５】
また、前記上位レイヤノードは、流入出されるデータ量を監視する手段と、監視した前記データ量に基づき、前記下位レイヤノードの切替設定の変更により、前記上位レイヤノード間の接続関係、または、クラスタノード外の通信ノードと上位レイヤノードとの間の接続関係を変更する手段とを備えることができる。
【００２６】
あるいは、前記上位レイヤノードは、他の上位レイヤノードとの通信、または、クラスタノード外の通信ノードとの通信の異常を検出する手段と、前記異常を検出する手段が異常を検出したときには、前記下位レイヤノードの切替設定を変更することにより、他の上位レイヤノードとの通信、または、クラスタノード外の通信ノードとの通信を確保する手段とを備えることができる。
【００２７】
あるいは、前記上位レイヤノードの故障を検出する手段と、前記故障を検出する手段が故障を検出したときには、前記下位レイヤノードの切替設定を変更することにより、前記故障した上位レイヤノードと接続していたクラスタノード外の通信ノードと、他の正常な上位レイヤノードとを接続する手段とを備えることができる。
【００２８】
これにより、通信ノード間の伝送路数を伝送路上のトラヒック量の監視結果に応じて増減可能となる他、伝送路の障害監視の結果に応じて予備の伝送路を制御可能となる。さらに、伝送路の伝搬遅延時間の監視結果に応じて伝搬遅延時間を調整可能となる。信号の通信品質、トラヒック量などの監視結果に応じて異なる伝送路を収容することも可能となる。
【００２９】
さらに、ネットワークのトポロジ情報を上位レイヤノードが保持する代わりに、クラスタ情報を保持する制御サーバを備えることもできる。
【００３０】
従来、上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用する状態において、上位レイヤノード群の間の伝送路の情報、および、接続情報をクラスタノード外の通信ノードと交換しないという技術要件を満たす通信技術がない。さらに、前記の要件を満たす通信技術を上位レイヤノードに組み込むことは、上位レイヤノードのメーカを除いて実現困難である。
【００３１】
本発明により、前記手段を満たす通信技術をパーソナル・コンピュータなどによって実現可能な制御サーバに組み込み、同制御サーバから従来の上位レイヤノード群を制御してクラスタノードを構成することも可能である。
【００３２】
また、本発明のクラスタノードで用いられる上位レイヤノードを本発明の別の観点として観た場合には、本発明は、上記で説明した上位レイヤノードの発明にも相当する。
【００３３】
同様に、本発明のクラスタノードで用いられる制御サーバを本発明の別の観点として観た場合には、本発明は、上記で説明した制御サーバの発明にも相当する。
【００３４】
また、本発明を、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本発明の上位レイヤノードまたは制御サーバに相応する機能を実現させるプログラムとしての観点から観ることもできる。
【００３５】
本発明のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本発明のプログラムをインストールすることができる。あるいは、本発明のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本発明のプログラムをインストールすることもできる。
【００３６】
これにより、汎用の情報処理装置を用いて、本発明の上位レイヤノードまたは制御サーバを実現することができる。
【００３７】
なお、本発明のプログラムは、汎用の情報処理装置によって直接実行可能なものだけでなく、ハードディスクなどにインストールすることによって実行可能となるものも含む。また、圧縮されたり、暗号化されたりしたものも含む。
【００３８】
また、本発明を、複数の上位レイヤノードと、１つ以上の下位レイヤノードとで構成され、前記上位レイヤノード間は、前記下位レイヤノードを介して接続され、前記上位レイヤノードと、クラスタノード外の通信ノードとの間は、前記下位レイヤノードを介して接続されるクラスタノードが実行するクラスタノード構成方法の観点から観ると、本発明は、前記クラスタノードと前記クラスタノード外の通信ノードとの接続関係を示すネットワークのトポロジ情報を、前記各上位レイヤノードが保持することを特徴とするクラスタノード構成方法である。
【発明の効果】
【００３９】
本発明によれば、複数の通信ノードを連携させて１台の巨大なクラスタノードを構成する場合に、クラスタノード内において、上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用可能にすることができる。
【発明を実施するための最良の形態】
【００４０】
本実施例のクラスタノードを図１および図２を参照して説明する。図１は本実施例のクラスタノードの概念図であり、図２は従来のクラスタノードの概念図である。
【００４１】
本実施例のクラスタノードは、図１に示すように、ルータ間の接続用のインタフェースと、クラスタノード外のノードとルータとの間の外部接続用のインタフェースとを共用可能であることを特徴とする。特に、予備インタフェースを共用することにより、予備インタフェース数を削減できる効果が得られる。このときに、ルータ間接続のインタフェースをルーティングで広告されないように変更することにより、広告を受け取ったノードに、故障が発生したと誤認されないようにする。
【００４２】
従来は、図２に示すように、予備インタフェースを共用できないがルータ間接続のインタフェースをルーティングで広告されることも無かった。
【００４３】
このように本実施例のクラスタノードは、ルータ間の接続構成、または、クラスタノード外のノードとの接続構成の変化に応じてインタフェースの広告、または、広告中止の処理を行う必要がある。
【００４４】
例えば、図３は本実施例のクラスタノードにおける発明のポイントを説明する図であるが、図３のハッチングを施したインタフェースＩがルータ間の接続のために使用されている場合には、インタフェースＩはクラスタノード外のノードに広告されない。しかし、インタフェースＩがクラスタノード外のノードとの接続に使用される場合には、インタフェースＩはクラスタノード外のノードに広告される。
【００４５】
インタフェースＩが、ルータ間接続、または、クラスタノード外のノードとの接続に共用されるため、クラスタノードは上記２つの処理を臨機応変に必要する必要がある。
【００４６】
このような課題を解決するための実施例を以下に説明する。
【００４７】
また、本実施例の上位レイヤノードは、
（１）上位レイヤノード（ルータ）と下位レイヤノード（光クロスコネクト装置）の接続関係を示すトポロジ情報
（２）上位レイヤノード（ルータ）のみの接続関係を示すトポロジ情報
（３）クラスタノードと、他のクラスタノードとの接続関係を示すネットワークのトポロジ情報
の３種類のトポロジ情報を保持する。
【００４８】
ここで「（１）上位レイヤノード（ルータ）と下位レイヤノード（光クロスコネクト装置）の接続関係を示すトポロジ情報」の例を図４〜図７を参照して説明する。図４はルータ♯１〜♯３と光クロスコネクト装置（ＯＸＣ）♯１〜♯３とが接続されている実態を示す図である。図５はルータ♯１が把握するトポロジ情報の概念図である。
【００４９】
ルータ♯１は（ａ）ＯＸＣ♯１との間の各リンクの情報を把握し、また、（ｂ）ＯＸＣ♯１と隣接していることを把握し、さらに、（ｃ）ＯＸＣ♯１の後に、ルータ♯２および♯３と光クロスコネクト装置♯２および♯３が存在していることを把握している。このトポロジ情報の概念を図５に示す。
【００５０】
ルータ♯１は、これらの情報（ａ）〜（ｃ）を収集するために、光クロスコネクト装置♯１からルータ♯１に対して情報（ａ）〜(ｃ)の送信を要求する。例えば、これらの情報収集はＧＭＰＬＳ−ＯＳＰＦ−ＴＥにより実現できる。なお、ＧＭＰＬＳ−ＯＳＰＦ−ＴＥの場合には、リンクを束ねた情報を把握する場合もある。
【００５１】
また、光クロスコネクト装置♯１は（ｄ）ルータ♯１および光クロスコネクト装置♯２との間の各リンクの情報を把握し、また、（ｅ）ルータ♯１および光クロスコネクト装置♯２に隣接していることを把握し、さらに、（ｆ）光クロスコネクト装置♯２の後に、ルータ♯２および♯３、光クロスコネクト装置♯３が存在していることを把握している。このトポロジ情報の概念を図６に示す。
【００５２】
同様に、ルータ♯２が把握するトポロジ情報は、（ａ）ＯＸＣ♯２との間の各リンクの情報を把握し、また、（ｂ）ＯＸＣ♯２と隣接していることを把握し、さらに、（ｃ）ＯＸＣ♯２の後に、ルータ♯１および♯３と光クロスコネクト装置♯１および♯３が存在していることを把握している。このトポロジ情報の概念を図７に示す。
【００５３】
また、「（２）上位レイヤノード（ルータ）のみの接続関係を示すトポロジ情報」は、「（１）上位レイヤノード（ルータ）と下位レイヤノード（光クロスコネクト装置）の接続関係を示すトポロジ情報」から抽出する。あるいは、上位レイヤノード間で通信を行うことにより収集する。
【００５４】
なお、実施例の説明では「課題を解決するための手段」において述べた各手段に相応する機能ブロックを個別に明示しないが、上位レイヤノード、仮想終端部、終端部、下位レイヤノード、制御サーバの内部にこれらの手段が内包されるものとする。
【００５５】
（第一実施例）
第一実施例のクラスタノードの原理構成を図８に示す。図９は、図８の下位レイヤノード群を１つに統合した例である。高い信頼性で、かつ、収容可能な伝送路数の多い下位レイヤノードを実装可能な場合には図８に比べて図９がよい。ただし、下位レイヤノードの収容可能な伝送路数を多くする技術の実現が難しいため、図９に比べ、図８のクラスタノード構成の方が実現し易い。
【００５６】
上位レイヤノードは、例えば、ＩＰルータ、ＧＭＰＬＳ／ＩＰルータ、レイヤ２スイッチ、レイヤ３スイッチなどである。ただし、クラスタノードを実現する方法は、これらの装置の間でほとんど同じである。本実施例では、ＩＰルータを参考に説明する。下位レイヤノードは、例えば、光スイッチ、光クロスコネクト装置、ＴＤＭクロスコネクト装置、ＴＤＭスイッチ、ファイバスイッチ、などである。ただし、クラスタノードを実現する方法は、これらの装置の間でほとんど同じである。本実施例では、光クロスコネクト装置を参考に説明する。
【００５７】
図８とともに本実施例のクラスタノードの構成を説明する。上位レイヤノード群の終端部、および、仮想終端部の間は、下位レイヤノード群を経由して接続されている。また、下位レイヤノード群を経由し、クラスタノード外の通信ノードと接続されている。これにより、終端部を介して上位レイヤノードは、他の上位レイヤノードおよびクラスタノード外の通信ノードとのデータの送受信を行うことができる。
【００５８】
上位レイヤノードは、下位レイヤノードを制御して所望の上位レイヤノード、または、クラスタノード外の通信ノードと伝送路で接続するため、下位レイヤノードと制御信号を交換する。制御信号、および、制御信号の交換方法は、例えば、ＩＥＴＦ  ＲＦＣ３２９２などで定義されるＧｅｎｅｒｉｃ  Ｓｗｉｔｃｈ  Ｍａｎａｇｅｍｅｎｔ  Ｐｒｏｔｏｃｏｌ、または、ＩＥＴＦ  ＲＦＣ８５４などで定義されるＴｅｌｎｅｔ、ＩＥＴＦ３４７１などで定義されるGeneralized Multi-Protocol Label Switchingなどである。
【００５９】
基本的には他の通信ノードを制御可能であれば、どのようなプロトコルを利用してもよい。制御信号には、少なくとも伝送路の変更後の状態の情報が含まれる。例えば、下位レイヤノードが光クロスコネクト装置の場合には、伝送路の変更後のポート番号、または、それに類する情報が記述される。
【００６０】
ＩＰルータ、レイヤ２スイッチなどで構成される上位レイヤノードは、一般にトラフィック、および、自身の通信ノードの状態、終端部の状態などを確認する手段を備えている。ＩＥＴＦ  ＲＦＣ１２１３  ＳＮＭＰ  ＭＩＢ−ＩＩにおいて、ネットワーク機器が標準的に管理すべきトラフィック情報、ノード情報、および、終端部情報などが定義されている。
【００６１】
各上位レイヤノードは、伝送路の状態、および、下位レイヤノード群の接続関係などのクラスタノードのトポロジ情報を収集するため、他の上位レイヤノード、および、下位レイヤノードとの間でクラスタノードのトポロジ情報を交換する。これにより、各上位レイヤノードは、どの下位レイヤノードを制御し、どのように伝送路を変更すると、他の上位レイヤノードとの接続構成がどのように変更されるのかについて把握できる。
【００６２】
ただし、上位レイヤノード、および、下位レイヤノードがクラスタノードのトポロジ情報を交換するための通信プロトコルの実装が必要となる。例えば、ＯＳＰＦ、ＢＧＰ、ＲＩＰなどのルーティングプロトコル、または、ＳＮＭＰなどのマネージメントプロトコルを改良することで実現される。
【００６３】
基本的に、クラスタノードのトポロジ情報を交換する手段は、上位レイヤノードがクラスタノード内の伝送路の状態、および、ノード間の接続関係を適時収集できれば、前記以外のプロトコルで実現してもよい。
【００６４】
上位レイヤノード群は、仮想的に１台のクラスタノードを構成するため、共通のクラスタノードの識別情報を決める必要がある。上位レイヤノードがＩＰルータ、ＧＭＰＬＳ／ＩＰルータなどの場合には、クラスタノードの識別情報はルータＩＤである。上位レイヤノードがレイヤ２スイッチの場合には、クラスタノードの識別情報はスイッチＩＤである。
【００６５】
先に述べたとおり、上位レイヤノード群は、クラスタノードのトポロジ情報を広告、および、収集する。さらに、クラスタノード外の通信ノードと連携してネットワークの伝送路の情報、および、通信ノードと通信ノードとの接続関係などのネットワークのトポロジ情報を広告、および、収集する。
【００６６】
上位レイヤノード群は、例えば、ＯＳＰＦ、ＢＧＰ、ＲＩＰなどのルーティングプロトコル、または、ＳＮＭＰなどのマネージメントプロトコルを改良したプロトコルを利用してネットワークのトポロジ情報を広告、および、収集する。ただし、ネットワークのトポロジ情報を広告、および、収集可能なプロトコルであれば、前記以外のプロトコルを用いてもよい。
【００６７】
図１０を参照してクラスタノードのトポロジ情報を動的に収集する方法、および、ネットワークのトポロジ情報を動的に収集する方法の一例を説明する。図１０の構成例は、３台の上位レイヤノードａ１〜ａ３と、３台の下位レイヤノードｄ１〜ｄ３と、その間を接続する伝送路１０２および１０３とで構成されるクラスタノードであり、そのクラスタノードは２台のクラスタノード外の通信ノード♯１および♯２と伝送路１０１および１０４で接続されている。
【００６８】
従来の上位レイヤノード（例はＩＰルータの場合）のルーティングテーブル、すなわちトポロジ情報の例について示す。第１に、上位レイヤノード群が個別のＩＰルータとして動作し、かつ、ＯＳＰＦをベースにしたプロトコルを用いてネットワークのトポロジ情報を収集する。その結果、上位レイヤノードａ１、上位レイヤノードａ２、および、上位レイヤノードａ３は、図１１、図１２、図１３に示されるネットワークのトポロジ情報を生成する。図１１、図１２、図１３における各上位レイヤノードａ１〜ａ３は、自分のルータＩＤを中心にし、自分のルータＩＤと自分が保有する終端部ｃ１〜ｃ１２、および、仮想終端部ｂ１〜ｂ１２とが直接接続されているように管理する。
【００６９】
さらに、上位レイヤノードａ１〜ａ３は、終端部ｃ１〜ｃ１２、および、仮想終端部ｂ１〜ｂ１２のうちのどれとどの通信ノードとが接続されているかを管理する。上位レイヤノード群が図１１、図１２、または、図１３のようなネットワークのトポロジ情報を保有する場合には、上位レイヤノード群は仮想的に１台のクラスタノードとして動作するように連携できない。
【００７０】
次に、上位レイヤノード群が仮想的に１台のＩＰルータとして動作するためのネットワークのトポロジ情報の収集の流れの一例を示す。本実施例では、ＯＳＰＦをベースに実施例を示すが、ＢＧＰ、ＲＩＰ、その他のルーティングプロトコルについても重要ポイントは同じである。上位レイヤノードがレイヤ２スイッチの場合には、ルータＩＤをスイッチＩＤに読み替える。
【００７１】
図１４はクラスタノードのトポロジ情報の収集の流れを示す。第１に、上位レイヤノードは、伝送路の情報、および、通信ノード間の接続情報についてクラスタノードを構成する他の上位レイヤノード、および、下位レイヤノードと交換する。例えば、上位レイヤノードａ１の各終端部ｃ１〜ｃ４と下位レイヤノードｄ１の各通信ポートとどのように接続されているのかというトポロジ情報を交換する。
【００７２】
上位レイヤノードａ１が送信する最初のトポロジ情報は、上位レイヤノードａ１の保有する終端部ｃ１〜ｃ４、または、仮想終端部ｂ１〜ｂ４である。同様に、下位レイヤノードｄ１が送信する最初のトポロジ情報は、下位レイヤノードｄ１の保有する終端部ｃ１〜ｃ４の情報である。交換されたトポロジ情報を受信した各ノードは、受信されたトポロジ情報が自身のどの終端部、または、仮想終端部において受信したのかを確認する。
【００７３】
これにより、互いの通信ノードは、トポロジ情報を交換することによって、自身の終端部、または、仮想終端部と相手の通信ノードの終端部、または、仮想終端部との接続を確認できる。
【００７４】
以上により、上位レイヤノードａ１と下位レイヤノードｄ１とは、互いのトポロジ情報を把握できる。同様に、上位レイヤノードａ２と下位レイヤノードｄ２とがトポロジ情報を交換し、さらに、上位レイヤノードａ３と下位レイヤノードｄ３とがトポロジ情報を交換する。
【００７５】
次に、下位レイヤノードｄ１と下位レイヤノードｄ２とが、自分の終端部の情報、および、既に把握しているその他のトポロジ情報をまとめたトポロジ情報を交換することにより、下位レイヤノードｄ１は、下位レイヤノードｄ２が把握していたトポロジ情報も収集できる。同様に、下位レイヤノードｄ２は下位レイヤノードｄ１が把握していたトポロジ情報も収集できる。
【００７６】
次に、下位レイヤノードｄ２と下位レイヤノードｄ３とが、自身の終端部の情報、および、既に把握しているその他のトポロジ情報をまとめたトポロジ情報を交換する。結果、下位レイヤノードｄ２は、下位レイヤノードｄ３が把握していたトポロジ情報も収集できる。同様に、下位レイヤノードｄ３は下位レイヤノードｄ２が把握していたトポロジ情報も収集できる。さらに、下位レイヤノードｄ１と下位レイヤノードｄ２とが互いに把握するトポロジ情報を交換することにより、下位レイヤノードｄ１は下位レイヤノードｄ２が把握する全てのトポロジ情報を収集できる。
【００７７】
以上により、全ての上位レイヤノード、および、下位レイヤノードがクラスタノード内部のトポロジ情報を共有できる。
【００７８】
上記における重要ポイントは、クラスタノードを構成する上位レイヤノードが、同じクラスタノードを構成する上位レイヤノード群、および、下位レイヤノード群とクラスタノードのトポロジ情報を交換する方法である。
【００７９】
これを実現するための第１の方法は、上位レイヤノードに他の上位レイヤノード、および、下位レイヤノードの情報を予め設定しておく方法である。これにより、上位レイヤノードは、クラスタノードを構成すべき他の上位レイヤノード、および、下位レイヤノードとクラスタノードのトポロジ情報を交換できる。逆に、クラスタノード外の通信ノードとクラスタノードのトポロジ情報を交換しないようにできる。
【００８０】
第２の方法は、上位レイヤノード群、および、クラスタノード外の通信ノードと交換するクラスタノードのトポロジ情報、および、ネットワークのトポロジ情報の中にクラスタノードの識別情報を含める方法である。例えば、識別情報“ｔｅｓｔ”のクラスタノードを構成する上位レイヤノードが同じクラスタノードを構成する他の上位レイヤノード、および、クラスタノード外の通信ノードとクラスタノードのトポロジ情報、および、ネットワークのトポロジ情報を交換する場合を仮定する。
【００８１】
上位レイヤノードは、受信された各トポロジ情報に含まれるクラスタノードの識別情報を参照し、“ｔｅｓｔ”と一致するトポロジ情報をクラスタノードのトポロジ情報として判断して処理する。識別情報が“ｔｅｓｔ”と異なるトポロジ情報をネットワークのトポロジ情報として処理する。
【００８２】
上記の第２の方法の場合には、上位レイヤノード群、および、下位レイヤノード群は、クラスタノードのトポロジ情報を交換する前にクラスタノードの識別情報を確認する必要がある。これは、ＯＳＰＦのＨｅｌｌｏメッセージの交換によるエリアＩＤの確認処理と同様に、上位レイヤノードが他の上位レイヤノード、および、クラスタノード外の通信ノードとどのようなトポロジ情報を交換すべきか判断するための役割である。
【００８３】
図１４の例において、上記の説明のように、上位レイヤノード群、および、下位レイヤノード群は、全てのクラスタノードのトポロジ情報を保有するクラスタノードのトポロジ情報を交換する。図１４は、全てのノードが対等にクラスタノードのトポロジ情報を交換する例である。ただし、ＯＳＰＦのように代表ノード（ＯＳＰＦの用語ではDesignated Router）、バックアップ代表ノード（ＯＳＰＦの用語ではBackup Designated Router）が、図１５のように他のノード群と集中的にクラスタノードのトポロジ情報を交換し、全てのクラスタノードのトポロジ情報を収集したとき、収集されたクラスタノードのトポロジ情報を各通信ノードに配信してもよい。代表ノードを設けることにより、トポロジ情報の交換負荷を減らすことが可能となる。ただし、代表ノードに障害が発生すると、障害復旧に時間がかかるというデメリットもある。
【００８４】
上記のようにクラスタノードのトポロジ情報を交換した結果、上位レイヤノード群は、それぞれ図１６、図１７、図１８に示されるクラスタノードのトポロジ情報を収集できる。
【００８５】
クラスタノードを構成する上位レイヤノードａ１、上位レイヤノードａ２、および、上位レイヤノードａ３は、図１６、図１７、図１８のクラスタノードのトポロジ情報をもとに、クラスタノードが保有するクラスタノードのトポロジ情報を生成する。作成されたクラスタノードのトポロジ情報の例は図１９である。
【００８６】
図１６、図１７、図１８から図１９のクラスタノードのトポロジ情報を生成するための重要ポイントは、上位レイヤノード群が共通のクラスタノードのルータＩＤを生成する点と、さらに、全ての終端部、および、仮想終端部がクラスタノードのルータＩＤと直接接続される点である。これにより、上位レイヤノードａ１、上位レイヤノードａ２、および、上位レイヤノードａ３で構成される仮想的なクラスタノードが仮想的に生成される。
【００８７】
次に、各上位レイヤノードは、クラスタノード外の通信ノードに広告するためのネットワークのトポロジ情報を図１９に基づいて作成する。クラスタノード外の通信ノードに広告するネットワークのトポロジ情報は、クラスタノードのルータＩＤと、クラスタノード外の通信ノードと接続される終端部と仮想終端部とを含む必要がある。各上位レイヤノードは、図１９に示されるクラスタノードのトポロジ情報の中で、クラスタノード内の他の上位レイヤノードと接続される終端部、および、仮想終端部の情報を消去、または、隠す。これにより、各上位レイヤノードはクラスタノード外の通信ノードに広告するためのネットワークのトポロジ情報を生成できる。上記のネットワークのトポロジ情報の例を図２０に示す。
【００８８】
ただし、未使用の終端部と仮想終端部とをクラスタノード外の通信ノードに広告してもよい。その場合には、図２１のようになる。
【００８９】
しかしながら、未使用の終端部と仮想終端部とをクラスタノード外の通信ノードに広告する場合、かつ、未使用の終端部、および、仮想終端部のうちのいくつかがクラスタノード内の上位レイヤノードの間の接続に使用される場合には、使用された終端部および仮想終端部の広告を急遽削減する必要がある。このとき、クラスタノード外の通信ノードは、クラスタノードに終端部、および、仮想終端部に障害が発生したように見える。このため、終端部、および、仮想終端部を広告しない方がよい。
【００９０】
次に、上位レイヤノード群が図２０のネットワークのトポロジ情報をクラスタノード外の通信ノードと交換し、さらに、交換されたネットワークのトポロジ情報をクラスタノード内の上位レイヤノード群の間で共有する。
【００９１】
図２２にクラスタノードを構成する上位レイヤノード群と、クラスタノード外の通信ノードとのネットワークのトポロジ情報の交換の一例を示す。結果、各上位レイヤノードは図２３のようなネットワークのトポロジ情報を保有する。図２３において、各上位レイヤノードは、クラスタノード外の通信ノードとの接続関係の情報を保有できる。
【００９２】
上記において、クラスタノードのトポロジ情報がネットワークのトポロジ情報よりも先に交換される手順を説明した。クラスタノードを構成する上位レイヤノードがネットワークのトポロジ情報を生成する流れを図２４に示す。図２４では、クラスタノードのトポロジ情報の交換を行い（Ｓ１）、クラスタノードのトポロジ情報の生成を行い（Ｓ２）、ネットワークのトポロジ情報の交換を行い（Ｓ３）、ネットワークのトポロジ情報の生成を行う（Ｓ４）。
【００９３】
ただし、図２５のような流れでネットワークのトポロジ情報を生成してもよい。図２４では、クラスタノードのトポロジ情報の交換およびネットワークのトポロジ情報の交換を行い（Ｓ１０）、クラスタノードのトポロジ情報の生成を行い（Ｓ１１）、ネットワークのトポロジ情報の交換を行い（Ｓ１２）、ネットワークのトポロジ情報の生成を行う（Ｓ１３）。ただし、図２４の流れに基づいたクラスタノードのルーティングソフトウェアは、上記と異なるルーティングソフトウェアと比べて開発し易い。
【００９４】
以上により、次のことが実現できるようになる。
【００９５】
第１に、クラスタノードを構成する上位レイヤノード群、および、下位レイヤノード群は、伝送路の状態、および、クラスタノードを構成する各通信ノードとの接続関係を示すクラスタノード内のトポロジ情報を確認できる。
【００９６】
第２に、クラスタノードを構成する上位レイヤノード群は、クラスタノード外の通信ノードとの接続関係、および、伝送路の状態を示すネットワークのトポロジ情報を確認できる。
【００９７】
第３に、上位レイヤノード群が、共通のクラスタノードのルータＩＤを生成し、そのルータＩＤを保有するクラスタノードに上位レイヤノード群の終端部、および、仮想終端部を直接具備するように管理できる。
【００９８】
第４に、上位レイヤノード群の間の伝送路の状態、および、通信ノード間の接続関係をクラスタノード外の通信ノードに広告しないようにできる。
【００９９】
上記により、複数の上位レイヤノード群、および、下位レイヤノード群を連携させて１台の巨大なクラスタノードを構成できる。
【０１００】
特に、上位レイヤノード、および、下位レイヤノードがGeneralized
Multi-Protocol Label Switchingをサポートする場合には、上位レイヤノード群と下位レイヤノード群とが連携して、仮想的に１台のクラスタノードを構成するようにする。これにより、Generalized
Multi-Protocol Label Switchingを利用した場合においても、仮想的に１台のクラスタノードを構成することが可能となる。
【０１０１】
また、下位レイヤノードの障害を上位レイヤノード、および、他の下位レイヤノードで検知してもよい。上位レイヤノード群、および、下位レイヤノード群が、障害が発生した下位レイヤノードを自律的に検知することにより、障害復旧時間を短縮できる。
【０１０２】
上位レイヤノードの数が増加する、または、上位レイヤノードの間が遠距離化する場合には、クラスタノードが巨大化する。そのため、クラスタノード内の信号転送の経路が重要となる。このため、上位レイヤノードは、最適な信号転送の経路を判断するためのアルゴリズムを具備し、その経路判断アルゴリズムを実装された経路判断部を備えてもよい。
【０１０３】
上位レイヤノード、および、下位レイヤノードを制御するための制御信号、伝送路を制御するための制御信号、ネットワークのトポロジ情報、および、クラスタノードのトポロジ情報などの転送について、主信号と同じ伝送路で転送されるインバンド通信でもよいし、主信号と異なる伝送路で転送されるアウトバンド通信でもよい。
【０１０４】
上位レイヤノードは、終端部、および、仮想終端部の予備を具備した方がよい。さらに、上位レイヤノード内の転送機能、特にスイッチファブリック、ルーティングテーブル、および、フォワーディングテーブルを冗長化した方がよい。また、クラスタノードは、予備の上位レイヤノードを具備した方がよい。これにより、障害発生時に、予備のネットワーク機器、および、設備を利用して障害を復旧できる。
【０１０５】
（第二実施例）
本実施例は、第一実施例をさらに拡張した実施例である。図１０のネットワークにおいて、上位レイヤノードａ１から上位レイヤノードａ３が、通信ノード♯１と通信ノード♯２との間の通信量（流入出されるデータ量）を監視する。図２６に上位レイヤノードにおけるカットスルー処理の流れを示す。図２６に示すように、上位レイヤノードは、トラヒックを監視し（Ｓ２０）、カットスルーが必要か否かを判断し（Ｓ２１）、カットスルーが必要である場合には実際にカットスルーが可能であるか否かを判断し（Ｓ２２）、可能であれば伝送路を制御し（Ｓ２３）、各種通信ノードを制御する（Ｓ２４）。
【０１０６】
上位レイヤノードは、カットスルー処理を行うための通信量の閾値、および、カットスルー処理を元に戻すための通信量の閾値が設定されている。例えば、通信量とカットスルー処理するときの閾値とを比較し、通信量が閾値を超えると、伝送路を変更して中継の上位レイヤノードをカットスルーするように設定する。
【０１０７】
図２７のクラスタノードの例において、上位レイヤノードａ１、上位レイヤノードａ２、および、上位レイヤノードａ３の全て、または、一部が上位レイヤノードａ２をカットスルーすべきと判断する。
【０１０８】
次に、各ノードがカットスルーできる状態にあるか、さらに、どのようにカットスルーすべきかを判断する。本実施例では、カットスルーできると判断し、上位レイヤノード群、および、下位レイヤノード群は連携して伝送路１０５を設定する。伝送路１０５を設定後、上位レイヤノード群は、伝送路１０５上に信号が流れるように終端部ｃ３および終端部ｃ１０のＩＰアドレス、サブネットを同じネットワークアドレスとなるように書き換え、終端部ｃ３および終端部ｃ１０をクラスタノード外の通信ノードに広告されないようにルーティング設定を変更する。この後にＡＲＰを実施してもよい。
【０１０９】
ただし、終端部ｃ３および終端部ｃ１０のＩＰアドレス、および、サブネットを書き換えると、ルーティングに障害が発生する例もある。そのため、仮想終端部ｂ３および仮想終端部ｂ１０を設け、ＩＰアドレス、サブネットを同じネットワークアドレスとなるように設定してもよい。上位レイヤノード群は、上記のようにノード制御を行う。
【０１１０】
以上により、中継ノードの上位レイヤノードａ２をカットスルーする図２７の伝送路１０５が設定できる。
【０１１１】
本実施例では、図２７の伝送路１０５を設定する例を説明した。ただし、図２８のように、伝送路１０１を削除し、伝送路１０６を設けてもよい。このとき、仮想終端部ｂ１１を伝送路１０６に付け替え、通信ノード♯１の終端部のネットワークアドレスと同じようにした。
【０１１２】
通信量が規定された値よりも低下した場合には、伝送路１０５または１０６を削除して元の状態に戻してもよい。
【０１１３】
上記により、中継ノードに流入されていた中継信号の処理負荷を削減可能となる。
【０１１４】
本実施例において、仮想終端部が存在しない場合には、終端部のＩＰアドレス、および、サブネットアドレスなどを直接変更する。ただし、動的なＩＰアドレスの付け替えは、ネットワークのルーティング状況に大きな変更を与える可能性がある。そのため、仮想終端部を利用する方がよい。
【０１１５】
（第三実施例）
本実施例は、第二実施例に基づいた実施例である。図１０のネットワークにおいて、上位レイヤノードａ１から上位レイヤノードａ３が、通信ノード♯１と通信ノード♯２との間の通信量を監視する。図２９に上位レイヤノードにおける帯域調整処理の流れを示す。図２９に示すように、上位レイヤノードは、トラヒックを監視し（Ｓ３０）、帯域調整が必要か否かを判断し（Ｓ３１）、帯域調整が必要である場合には実際に帯域調整が可能であるか否かを判断し（Ｓ３２）、可能であれば伝送路を制御し（Ｓ３３）、各種通信ノードを制御する（Ｓ３４）。
【０１１６】
上位レイヤノードは、帯域増設処理を行うための通信量の閾値、および、帯域削減処理を行うための通信量の閾値が設定されている。例えば、通信量と帯域調整処理するときの閾値とを比較し、通信量が帯域増設処理の閾値を超えると、伝送路を追加すると仮定する。
【０１１７】
上位レイヤノードａ１、上位レイヤノードａ２、および、上位レイヤノードａ３の全て、または、一部が伝送路を追加すべきと判断する。次に、各通信ノードが伝送路を追加できる状態にあるか、さらに、どのように伝送路を追加すべきかを判断する。本実施例では、図３０に示すように、帯域増設できると判断し、上位レイヤノード群、および、下位レイヤノード群は連携して伝送路１０７、伝送路１０８、伝送路１０９、および、伝送路１１０を追加する。これらの伝送路を設定後、上位レイヤノード群は、追加された伝送路群に信号が流れるように対向する終端部と終端部のＩＰアドレス、サブネットを同じネットワークアドレスとなるように書き換え、終端部ｃ３、終端部ｃ６、終端部ｃ７、および、終端部ｃ１０をクラスタノード外の通信ノードに広告されないようにルーティング設定を変更する。この後にＡＲＰを実施してもよい。
【０１１８】
ただし、終端部のＩＰアドレス、および、サブネットを書き換えると、ルーティングに障害が発生する例もある。そのため、仮想終端部ｂ２、仮想終端部ｂ３、仮想終端部ｂ６、仮想終端部ｂ７、仮想終端部ｂ１０、および、仮想終端部ｂ１１を設け、ＩＰアドレス、サブネットを同じネットワークアドレスとなるように設定してもよい。上位レイヤノード群は、上記の例のようにノード制御を行う。
【０１１９】
また、仮想終端部は、複数の終端部を仮想的に１つに集束する機能をもつ。例えば、図３１に示すとおり、追加された伝送路１０７と伝送路１０２とを一つの伝送路のように集束する。同様に伝送路１０８と伝送路１０３とを集束する。複数の伝送路を集束する技術として、例えば、ＩＥＥＥ８０２．３ａｄ  Ｌｉｎｋ  Ａｇｇｒｅｇａｔｉｏｎ、ＯＳＰＦ  Ｌｏａｄ  Ｂａｌａｎｃｉｎｇ、ＢＧＰ  Ｍｕｌｔｉ−Ｅｘｉｔ−Ｄｉｓｃｒｉｍｉｎａｔｏｒ、ＩＴＵ−Ｔ  ８０７  Ｖｉｒｔｕａｌ  Ｃｏｎｃａｔｅｎａｔｉｏｎなどがある。このような集束処理を行うことにより、信号が、追加された伝送路にも流れるようになる。さらに、仮想終端部の資源を節約できる。
【０１２０】
通信量が帯域削減処理の閾値よりも低下した場合には、追加された伝送路群を削除して元の状態に戻してもよい。
【０１２１】
以上により、伝送路の数を調整して通信ノード間の帯域を調整可能となる。
【０１２２】
（第四実施例）
本実施例は、第二実施例に基づいた実施例である。図１０のネットワークにおいて、上位レイヤノードａ１から上位レイヤノードａ３が、自身の通信ノードの状態、および、終端部の状態を監視する。さらに、上位レイヤノード群は連携して互いの通信ノードの状態を確認する。
【０１２３】
図３２に示されるように終端部ｃ１に障害が発生すると、障害を検知した上位レイヤノードａ１は伝送路１０１を図３３のように変更する。さらに、仮想終端部ｂ２を終端部ｃ２に再割当てする。これにより、障害を復旧できる。
【０１２４】
さらに、上位レイヤノードが障害を復旧できるだけの予備設備を具備している場合には、障害検知後から障害復旧完了までの間、ネットワークのトポロジ情報、および、クラスタノードのトポロジ情報を一定期間保留することにより、障害復旧時間を短縮化できる。
【０１２５】
本実施例において、クラスタノードのトポロジ情報から終端部ｃ１の情報は消される、または、停止されないといけない。
【０１２６】
仮想終端部が存在しない場合には、終端部ｃ１に割当てられていたＩＰアドレス、ＭＡＣアドレスなどを終端部ｃ２に付け直してもよい。ただし、終端部の間でＭＡＣアドレスを付け替えることは通信の安定性に重大な支障を及ぼす可能性もある。そのため、仮想終端部を利用する方がよい。
【０１２７】
また、図３４に示すように上位レイヤノードａ３に障害が発生すると、障害を検知した上位レイヤノードａ１、および、上位レイヤノードａ２は、図３５のように伝送路１０３を変更し、伝送路１０４を削除する。図３４の仮想終端部ｂ１２を図３５のように仮想終端部ｂ７に付け替える。
【０１２８】
これにより、上位レイヤノード障害を復旧できる。さらに、上位レイヤノードが障害を復旧できるだけの予備設備を具備している場合には、障害検知後から障害復旧完了までの間、ネットワークのトポロジ情報、および、クラスタノードのトポロジ情報を一定期間保留することにより、障害復旧時間を短縮化できる。
【０１２９】
また、本実施例における最大の効用は、クラスタノード内の伝送路の障害、または、終端部の障害などのための予備用の終端部と、クラスタノード外の通信ノードとの間の伝送路の障害などのための予備用の終端部とを共用できることである。
【０１３０】
（第五実施例）
本実施例は、第一実施例をさらに拡張した実施例である。図３６を参照して本実施例を説明する。
【０１３１】
上位レイヤノード群、および、下位レイヤノード群と連携し、それらを制御する制御サーバ群が設置されている。
【０１３２】
制御サーバの第一の役割は、第一実施例で述べられた上位レイヤノードと下位レイヤノードとの間の伝送路の制御信号、および、通信ノードの制御信号の交換を代行することである。
【０１３３】
第二の役割は、上位レイヤノード群が生成していたクラスタノードのトポロジ情報を代行して生成することである。
【０１３４】
第三の役割は、上位レイヤノード群とクラスタノード外の通信ノードとの間で交換されていたネットワークのトポロジ情報を代行して交換することである。
【０１３５】
上位レイヤノードのGeneralized Multi-Protocol Label
Switching Protocol、および、ＯＳＰＦなどのソフトウェアを改良するよりも、同様の機能をもつ簡易なソフトウェアを製作して制御サーバに実装し、制御サーバ経由でトポロジ情報を収集したり、下位レイヤノード、および、上位レイヤノードを制御して伝送路を変更したりする方が実現し易い。
【０１３６】
これにより、市中の上位レイヤノード群、および、下位レイヤノード群にあまり改良を加えることなく、制御サーバによってクラスタノードを構成することが可能となる。
【０１３７】
（第六実施例）
第六実施例は、汎用の情報処理装置にインストールすることにより、その汎用の情報処理装置に、本実施例の上位レイヤノードまたは制御サーバに相応する機能を実現させるプログラムである。
【０１３８】
本実施例のプログラムは記録媒体に記録されることにより、前記汎用の情報処理装置は、この記録媒体を用いて本実施例のプログラムをインストールすることができる。あるいは、本実施例のプログラムを保持するサーバからネットワークを介して直接前記汎用の情報処理装置に本実施例のプログラムをインストールすることもできる。
【０１３９】
これにより、汎用の情報処理装置を用いて、本実施例の上位レイヤノードまたは制御サーバを実現することができる。
【０１４０】
なお、本実施例のプログラムは、汎用の情報処理装置によって直接実行可能なものだけでなく、ハードディスクなどにインストールすることによって実行可能となるものも含む。また、圧縮されたり、暗号化されたりしたものも含む。
【産業上の利用可能性】
【０１４１】
本発明は、複数の通信ノードを連携させて１台の巨大なクラスタノードを構成する場合に、クラスタノード内において、上位レイヤノード間を接続するための終端部と、クラスタノード外の通信ノードと接続するための終端部とを共用可能にすることができるので、インタフェース数を削減したクラスタノードを実現することができると共に、ルータが故障した際の装置故障救済を実現することができる。
【図面の簡単な説明】
【０１４２】
【図１】本実施例のクラスタノードの概念図。
【図２】従来のクラスタノードの概念図。
【図３】本実施例のクラスタノードにおける発明のポイントを説明するための図。
【図４】ルータ♯１〜♯３と光クロスコネクト装置（ＯＸＣ）♯１〜♯３とが接続されている実態を示す図。
【図５】ルータ♯１が把握するトポロジ情報の概念図。
【図６】ＯＸＣ♯１が把握するトポロジ情報の概念図。
【図７】ルータ♯２が把握するトポロジ情報の概念図。
【図８】第一実施例のクラスタノードの構成例を示す図。
【図９】第一実施例のクラスタノードの構成例であり下位レイヤノードが一つの例を示す図。
【図１０】第一実施例を説明するためのネットワークの例を示す図。
【図１１】上位レイヤノード１のネットワークのトポロジ情報の例を示す図。
【図１２】上位レイヤノード２のネットワークのトポロジ情報の例を示す図。
【図１３】上位レイヤノード３のネットワークのトポロジ情報の例を示す図。
【図１４】ＯＳＰＦベースのクラスタノードのトポロジ情報の交換例を示す図。
【図１５】ＯＳＰＦベースのクラスタノードのトポロジ情報の交換例（代表ノードを設けた場合）を示す図。
【図１６】上位レイヤノード１のクラスタノードのトポロジ情報を示す図。
【図１７】上位レイヤノード２のクラスタノードのトポロジ情報を示す図。
【図１８】上位レイヤノード３のクラスタノードのトポロジ情報を示す図。
【図１９】各上位レイヤノードにおけるクラスタノード外の通信ノードと交換されるネットワークのトポロジ情報の生成を示す図。
【図２０】各上位レイヤノードのネットワークのトポロジ情報（パターン１）を示す図。
【図２１】各上位レイヤノードのネットワークのトポロジ情報（パターン２）を示す図。
【図２２】ＯＳＰＦベースのクラスタノード制御方法の一例を示す図。
【図２３】各上位レイヤノードのネットワークのトポロジ情報を示す図。
【図２４】上位レイヤノードにおけるネットワークのトポロジ情報の生成の流れを示すフローチャート。
【図２５】上位レイヤノードにおけるネットワークのトポロジ情報の生成の流れの改良を示すフローチャート。
【図２６】カットスルー処理の流れの一例を示すフローチャート。
【図２７】第二実施例のカットスルー動作の例１を説明するための図。
【図２８】第二実施例のカットスルー動作の例２を説明するための図。
【図２９】カットスルー処理の流れの一例を示すフローチャート。
【図３０】第三実施例の帯域調整動作を説明するための図。
【図３１】第四実施例の故障救済を説明するための終端部故障の例を示す図。
【図３２】第四実施例の終端部故障の例を示す図。
【図３３】第四実施例の終端部故障の救済例を示す図。
【図３４】第四実施例のノード故障の例を示す図。
【図３５】第四実施例のノード故障の救済例を示す図。
【図３６】第六実施例のクラスタノードに制御サーバを適用した例を示す図。
【符号の説明】
【０１４３】
ａ１〜ａ３  上位レイヤノード
ｂ１〜ｂ１２、ｂ３４、ｂ５６、ｂ７８、ｂ９１０  仮想終端部
ｃ１〜ｃ１２  終端部
ｄ１〜ｄ３  下位レイヤノード
１０１〜１１０  伝送路
Ｉ  インタフェース
【図１】
2008135949.tif 000003
【図２】
2008135949.tif 000004
【図３】
2008135949.tif 000005
【図４】
2008135949.tif 000006
【図５】
2008135949.tif 000007
【図６】
2008135949.tif 000008
【図７】
2008135949.tif 000009
【図８】
2008135949.tif 000010
【図９】
2008135949.tif 000011
【図１０】
2008135949.tif 000012
【図１１】
2008135949.tif 000013
【図１２】
2008135949.tif 000014
【図１３】
2008135949.tif 000015
【図１４】
2008135949.tif 000016
【図１５】
2008135949.tif 000017
【図１６】
2008135949.tif 000018
【図１７】
2008135949.tif 000019
【図１８】
2008135949.tif 000020
【図１９】
2008135949.tif 000021
【図２０】
2008135949.tif 000022
【図２１】
2008135949.tif 000023
【図２２】
2008135949.tif 000024
【図２３】
2008135949.tif 000025
【図２４】
2008135949.tif 000026
【図２５】
2008135949.tif 000027
【図２６】
2008135949.tif 000028
【図２７】
2008135949.tif 000029
【図２８】
2008135949.tif 000030
【図２９】
2008135949.tif 000031
【図３０】
2008135949.tif 000032
【図３１】
2008135949.tif 000033
【図３２】
2008135949.tif 000034
【図３３】
2008135949.tif 000035
【図３４】
2008135949.tif 000036
【図３５】
2008135949.tif 000037
【図３６】
2008135949.tif 000038