(57)【特許請求の範囲】
【請求項１】
ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段とを備え；
前記指示する手段は、前記分散制御箇所及び前記集中制御箇所の負荷状態に応じて前記処理を担ういずれかの箇所を指示する
広域負荷分散制御システム。
【請求項２】
前記集中制御箇所は、前記ネットワーク内の前記トラフィックエンジニアリング区間に存在する前記入口エッジノード及び前記出口エッジノードを含む複数のノードを集中的に制御する網制御装置である
請求項１記載の広域負荷分散制御システム。
【請求項３】
前記指示する手段が、前記網制御装置の外部の状態監視装置に設けられている
請求項２記載の広域負荷分散制御システム。
【請求項４】
前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである
請求項１記載の広域負荷分散制御システム。
【請求項５】
前記入口エッジノード対応の前記分散制御箇所が前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記分散制御箇所は、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記集中制御箇所を通して収集する
請求項１記載の広域負荷分散制御システム。
【請求項６】
ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定する経路決定手段と；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え；
前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との負荷状態に応じて、前記入口エッジノードと前記網制御装置との間で互いに切り替える
広域負荷分散制御システム。
【請求項７】
前記入口エッジノードは、前記負荷分散決定手段からの前記経路上のパスのそれぞれに分散すべきトラフィックの割合の指示に基づいて、到着するパケットを前記経路上のパスに振分ける振分手段を備える
請求項６記載の広域負荷分散制御システム。
【請求項８】
前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と；
前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と；
を有する状態監視装置を更に備える
請求項６記載の広域負荷分散制御システム。
【請求項９】
前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する
請求項６記載の広域負荷分散制御システム。
【請求項１０】
前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる
請求項６記載の広域負荷分散制御システム。
【請求項１１】
前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである
請求項６記載の広域負荷分散制御システム。
【請求項１２】
ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定するステップと；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを前記分散制御箇所及び前記集中制御箇所の負荷状態に応じて指示するステップと；
を備える広域負荷分散制御方法。
【請求項１３】
ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得するステップと；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定するステップと；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定するステップと；
前記各ステップの処理箇所を前記入口エッジノードと前記各ノードを集中的に制御する制御装置との負荷状態に応じて、前記入口エッジノードと前記制御装置との間で互いに切り替えるステップと；
を備える広域負荷分散制御方法。
【請求項１４】
前記入口エッジノード及び前記制御装置の負荷状態を収集及び判定するステップと；
前記負荷状態に応じて、前記処理箇所を前記入口エッジノードと前記制御装置との間で互いに切り替えさせるために指示するステップと；
を更に備える請求項１３記載の広域負荷分散制御方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＩＰ（Internet Protocol）ネットワークにおいてパケット転送を行う場合の負荷分散を可能にする負荷分散制御システムに関し、特に大規模なラベルスイッチネットワークにおいてパケットの高品質転送を可能にする広域負荷分散制御システムに関する。
【０００２】
【従来の技術】
ＩＰネットワークにおいて広域負荷分散を行う技術として、トラフィックエンジニアリング（以下、単にＴＥと記載することもある）がある。このトラフィックエンジニアリングは、既存のルーティングプロトコルが決定するルート（経路）にはとらわれない、複数のルートを通してパケットを転送することで網内の輻輳回避を行ったり、あるいは網資源の効率的な利用を目指す概念である。このＴＥを具体的に行う網アーキテクチャとして、ＭＰＬＳ（Multiprotocol Label Switching）がある。
【０００３】
ＭＰＬＳはＬＳＰ（Label Switched Path）と呼ばれる予め設定されたコネクション上で短い固定長ラベルを付けたパケットを転送可能にする。ＭＰＬＳにおいては、ＩＰのルーティングプロトコルで得たルート上に沿ってＬＳＰを張る（設定する）ことにより、ＩＰネットワーク上でのパスを用いたトラフィック制御が可能となる。
【０００４】
また、ＭＰＬＳにおいては、既存のＩＰルーティングとは独立したパスを設定することが可能であるため、このパスを利用してＴＥを行うことができる。その一つの例が複数のＬＳＰを用いた広域負荷分散制御である。
【０００５】
負荷分散制御とは、網内のトラフィックエンジニアリング区間、つまりＴＥを行う入口エッジルータ（ノード）と出口エッジルータとの間に複数のパスを設定し、この入口エッジルータへの入力トラヒックを複数のパスに分散させる手法である。この負荷分散制御手法を採用することにより、負荷が単一ルートへ集中することを回避でき、更に網全体の資源利用効率の向上と、長期的な輻輳の回避とを図ることができる。
【０００６】
負荷分散制御の他の手法として、最初から複数のパスを設定しておくのではなく、網内のトラフィックの負荷状態を随時監視しておき、あるルートの負荷が大きくなったときに、同じ宛先へ向かう別のルートを検索して新たなパスを設定する制御を採ることが可能である。
【０００７】
これまで、ＴＥによる広域負荷分散を行うためには、それに必要な機能のうち、（ａ）統計情報収集機能、（ｂ）経路計算（経路検索）機能、及び（ｃ）負荷分散計算機能（アルゴリズム）をＭＰＬＳに基づくラベルスイッチネットワークにおける各エッジルータに配置することが一般的に提唱されている。つまり、各エッジルータが自律分散的にＴＥに必要な機能を動作させている。
【０００８】
【発明が解決しようとする課題】
この自律分散型のトラフィックエンジニアリングでは、（ａ）統計情報収集機能において、全ルータ（エッジルータ及びコアルータ）が自ルータの統計情報（トラフィック情報）を各エッジルータに通知するために、特殊なメッセージを生成する必要がある。このメッセージフォーマットは標準化がなされていないことから、網内のルータによってメッセージのやり取りが不可能となるケースがあり、網構築の柔軟性が損なわれるなどの問題がある。
【０００９】
また、自律分散型ＴＥにおいて、上記（ａ）〜（ｃ）の全機能をエッジルータで実施した場合、そのルータのＣＰＵ負荷の増加による、処理性能の劣化などが考えられる。特に、ルータでは一般にパケット転送処理やルーティングプロトコル処理などＣＰＵの資源を多く使用することから、ＴＥ処理を行うことで、ルータ本来の機能の性能劣化を免れない。
【００１０】
さらに、上記（ａ）〜（ｃ）の機能及びルーティングプロトコルの処理などは、網内のルータ数が多くなるほど処理負荷が高くなる。したがって、各エッジルータによる自律分散型ＴＥでは、網の大規模化が困難となる。
【００１１】
本発明の第１の課題は、従来エッジノードで行っていたトラフィックエンジニアリングに必要な機能の処理負荷を軽減し、かつ大規模での広域負荷分散を効率的に実施することにある。
【００１２】
本発明の第２の課題は、先に述べた通知メッセージフォーマットの未統一による統計情報伝達不可能の問題を回避することで、従前のエッジルータ及びコアルータに特殊メッセージ処理機能を追加することなく、広域負荷分散を行うことができるようにすることである。
【００１３】
【課題を解決するための手段】
本発明においては、上記第１の課題を解決するために、これまでエッジノードで自律分散的に行ってきたトラフィックエンジニアリングの各機能に関して、集中的なサーバなどの制御装置において一元的に処理できる機構（手法）を導入する。
【００１４】
ただし、網規模が増加した場合、制御装置自身の負荷が増加することも考えられるので、エッジノードにもＴＥに必要な機能を配置し、エッジルータと制御装置との負荷状態に応じて、動作させるＴＥの機能をエッジノードと制御装置とで切り替え処理する。これにより、大規模網においても効率的な負荷分散を実現する。
【００１５】
また、上記第２の課題を解決するために、先に述べたＴＥ機能の内の統計情報収集機能に関して、通知用メッセージ処理機能を有するノードに関しては、通知メッセージを利用して統計情報を収集し、通知用メッセージ処理機能を有しないノードに関しては、制御装置が集中的に統計情報を収集するようにする。
【００１６】
好適な実施の形態によると、本発明の第１の広域負荷分散制御システムは、ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段とを備える。
この構成において、前記指示する手段は、前記分散制御箇所及び前記集中制御箇所の負荷状態に応じて前記処理を担ういずれかの箇所を指示する。
また、前記集中制御箇所は、前記ネットワーク内の前記トラフィックエンジニアリング区間に存在する前記入口エッジノード及び前記出口エッジノードを含む複数のノードを集中的に制御する網制御装置である。ここでは、前記指示する手段が、前記網制御装置の外部の状態監視装置に設けられる。
また、前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである。
さらに、前記入口エッジノード対応の前記分散制御箇所が前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記分散制御箇所は、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記集中制御箇所を通して収集する。
【００１７】
本発明の第２の広域負荷分散制御システムは、ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定する経路決定手段と；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え；
前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える。
【００１８】
この構成において、前記入口エッジノードは、前記負荷分散決定手段からの前記経路上のパスのそれぞれに分散すべきトラフィックの割合の指示に基づいて、到着するパケットを前記経路上のパスに振分ける振分手段を備える。
また、前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と；
前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と；
を有する状態監視装置を更に備える。
【００１９】
また、前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する。
【００２０】
さらに、前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる。また、前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである。
本発明の第１の広域負荷分散制御方法は、ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定するステップと；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示するステップとを備える。
本発明の第２の広域負荷分散制御方法は、ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得するステップと；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定するステップと；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定するステップと；
前記各ステップの処理箇所を前記入口エッジノードと前記各ノードを集中的に制御する制御装置との間で互いに切り替えるステップとを備える。ここでは、前記入口エッジノード及び前記制御装置の負荷状態を収集及び判定するステップと；
前記負荷状態に応じて、前記処理箇所を前記入口エッジノードと前記制御装置との間で互いに切り替えさせるために指示するステップとを更に備える。
【００２１】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２２】
〔第１の広域負荷分散制御システム〕
図１は本発明の第１の実施の形態における広域負荷分散制御システムの構成を示す。図２は図１における網制御サーバ、エッジルータ及びコアルータの機能構成を説明するための図である。
【００２３】
図１及び図２を参照すると、この広域負荷分散制御システム１は、網制御サーバ（網制御装置）１０と、ＩＰネットワークとしてのラベルスイッチネットワーク（ＭＰＬＳネットワーク）２０とを備えている。
【００２４】
ラベルスイッチネットワーク２０は、網境界に位置する複数のエッジルータ（入口エッジルータ及び出口エッジルータ）ＥＲと、網内部に位置する複数のコアルータＣＲとから構成されている。
【００２５】
ノードとしてのエッジルータＥＲ及びコアルータＣＲのそれぞれは、トラフィックエンジニアリング制御機能を一元的（集中的）に制御するための網制御サーバ１０と接続している。網制御サーバ１０はラベルスイッチネットワーク２０内に物理的または論理的に設けられる。
【００２６】
網制御サーバ１０及び各エッジルータＥＲには、ＴＥを実現するために必要な各機能として、同一機能部がそれぞれ設けられている。ここでは、網制御サーバ１０及び各エッジルータＥＲは、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定（ラベル設定）機能部をそれぞれ有する。
【００２７】
また、エッジルータＥＲ及びコアルータＣＲのそれぞれは、統計情報通知機能部の他に、ラベルパス設定機能部によって設定されたエッジルータＥＲ間の論理コネクション対応のラベルパスにラベルパケットを転送するラベルパケット転送機能部を有する。
【００２８】
一層詳述すると、網制御サーバ１０及び各エッジルータＥＲにおいて、統計情報収集機能部（トラフィック状態監視部）は、ラベルスイッチネットワーク２０内のエッジルータＥＲ及びコアルータＣＲのそれぞれから、各ルータに接続されたリンク（ルータ間の物理リンク）のトラフィック状態情報を統計情報として取得する。
【００２９】
また、網制御サーバ１０及び各エッジルータＥＲにおいて、経路計算機能部（経路決定部）は、統計情報収集機能部によって取得されたトラフィック状態情報を基に、ラベルスイッチネットワーク２０の入口のエッジルータＥＲと出口のエッジルータＥＲ間（トラフィックエンジニアリング区間）に、複数のラベルパスを張るための少なくとも１つの経路（ＩＰ上の経路）を決定する。
【００３０】
さらに、網制御サーバ１０及び各エッジルータＥＲにおける負荷分散計算機能部（負荷分散決定部）は、経路計算機能部によって決定された入口のエッジルータＥＲと出口のエッジルータＥＲ間の経路上のパス（ラベルパス）に対して、統計情報収集機能部により取得されたトラフィック状態情報を基に、各パスへ分散すべきパケット転送（トラフィック）の割合を決定する。
【００３１】
ラベルスイッチネットワーク２０内の入口のエッジルータＥＲは、負荷分散計算機能部からの各パスへのパケット転送の割合の指示に基づいて、ラベルスイッチネットワーク２０の外部から到着するパケットを複数の転送パスに対して振分けを行うためのパケット振分部（図示省略）を更に有する。
【００３２】
上述した広域負荷分散制御システム１における網制御サーバ１０及び入口のエッジルータＥＲは、それぞれの状態、特に負荷状態に応じて、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定機能部の動作箇所を互いに切り替える。つまり、網制御サーバ１０または入口のエッジルータＥＲが担うべき機能を互いに切り替えることにより、大規模のラベルスイッチネットワーク２０における広域負荷分散制御を可能にしている。
【００３３】
この広域負荷分散制御システム１においては、例えばある時点では、図１（Ａ）に示すように、網制御サーバ１０は統計情報収集機能部、経路計算機能部、及び負荷分散計算機能部の動作を担い、入口のエッジルータＥＲはラベルパス設定機能部の動作を担っている。
【００３４】
この場合、広域負荷分散の動作は、網制御サーバ１０が収集した統計情報を基に行う。すなわち、統計情報収集機能部により収集されたトラフィック状態情報より、負荷分散を行っているラベルパスが輻輳であると判断した場合には、経路計算機能部により新たな経路が検索される。また、経路間にトラフィックをどのような割合で分散するかなどを、負荷分散計算機能部が統計情報を基に計算する。
【００３５】
経路計算機能部により見つかった経路情報は網制御サーバ１０から入口のエッジルータＥＲに通知される。入口のエッジルータＥＲは通知された経路上にラベルパス設定機能部によりラベルパスを設定する。このラベルパスの設定のためには、例えばＲＳＶＰ（Resoruce Reservation Setup Protocol）−ＴＥなどの既知のシグナリングプロトコルが使用される。
【００３６】
ラベルスイッチネットワーク２０は１組以上の入口のエッジルータＥＲと出口のエッジルータＥＲ間のペアについて負荷分散制御を行っており、網制御サーバ１０が各入口のエッジルータＥＲに対する負荷分散計算を行っている。したがって、広域に亘る大規模網では負荷分散計算処理の負荷が高くなることがある。
【００３７】
そこで、もし網制御サーバ１０の計算処理負荷が予め定めたレベルに達した場合には、網制御サーバ１０が各入口のエッジルータＥＲに対して行っていた負荷分散計算処理を、各入口のエッジルータＥＲ自身が行うように切り替える（図１（Ｂ）参照）。各入口のエッジルータＥＲは自エッジルータから他のルータに張られているラベルパスに対して負荷分散計算を実施する。
【００３８】
これにより、網制御サーバ１０の処理負荷が軽減され、網制御サーバ１０はＴＥのためのその他の機能の経路計算機能及び統計情報収集機能に対してＣＰＵ資源を振り分けることが可能となる。なお、切り替え対象機能は上述した負荷分散計算機能だけに限定されない。
【００３９】
〔第２の広域負荷分散制御システム〕
図３は本発明の第２の実施の形態における広域負荷分散制御システムの構成を示す。図４は図３における網状態監視装置の詳細構成を示す。図５は網状態監視装置における状態判定処理を説明するためのフローチャートである。
【００４０】
図３、図４及び図５を参照すると、この広域負荷分散制御システム１は、網制御サーバ１０と、ラベルスイッチネットワーク２０と、網状態監視装置３０とを備えている。網制御サーバ１０と、ラベルスイッチネットワーク２０を構成するエッジルータＥＲ及びコアルータＣＲとの各機能部は、ここで説明する以外は上述した第１の実施の形態と同一構成を採る。
【００４１】
この第２の実施の形態の広域負荷分散制御システム１においては、網制御サーバ１０と入口のエッジルータＥＲ間でトラフィックエンジニアリングの機能の切り替えを実施する他の例として、ラベルスイッチネットワーク２０内に物理的または論理的配置の網状監視装置３０を導入している。
【００４２】
網状態監視装置３０は、ラベルスイッチネットワーク２０の入口のエッジルータＥＲ及び網制御サーバ１０の負荷状態を監視及び判定するために、状態監視部３１、状態判定部３２、及び状態保持テーブル３３を備えている。
【００４３】
また、網状態監視装置３０は、状態監視部３１、状態判定部３２、及び状態保持テーブル３３の協働により網制御サーバ１０及び入口のエッジルータＥＲの負荷状態を収集し、網制御サーバ１０及び入口のエッジルータＥＲの状態を判定して、機能切り替え通知（指示）を行う切り替え通知部３４を更に備えている。
【００４４】
この網状態監視装置３０の導入により、網制御サーバ１０及び入口のエッジルータＥＲの負荷状態に応じて、統計情報収集機能部、経路計算機能部、負荷分散計算機能部、及びラベルパス設定機能部の動作箇所を網制御サーバ１０及び入口のエッジルータＥＲ間で切り替えることを可能にする。
【００４５】
網状態監視装置３０が網制御サーバ１０及び入口のエッジルータＥＲの負荷状態に応じて機能切り替え指示を行う具体的手法として、（１）外部からＴｅｌｎｅｔでログインして機器をリモート制御するための汎用インタフェースであるコマンドラインインタフェース（ＣＬＩ）、または（２）ポリシー制御用のプロトコルＣＯＰＳ（Common Open Policy Service）を採用することができる。
【００４６】
一層詳述すると、網制御サーバ１０及び入口のエッジルータＥＲに接続された網状態監視装置３０は、状態監視部３１により網制御サーバ１０及び入口のエッジルータＥＲの負荷状態を監視・収集する（図５中の手順Ｓ５１）。
【００４７】
状態監視部３１は、例えば一定周期毎に、網制御サーバ１０及び入口のエッジルータＥＲからそれぞれの負荷状態としてのＣＰＵ使用率やメモリ使用量などの負荷状態情報（処理負荷状態情報）を収集する。
【００４８】
また、網状態監視装置３０の網状態判定部３２は、状態監視部３１により収集されて状態保持テーブル３３に格納されている負荷状態情報を基に、網制御サーバ１０あるいは入口のエッジルータＥＲの負荷状態などの機器状態を判定する（Ｓ５２，Ｓ５３）。
【００４９】
この際、負荷状態の判定条件としては、網制御サーバ１０の負荷（ＣＰＵ使用率やメモリ使用量）と全ての入口のエッジルータＥＲの平均負荷（ＣＰＵ使用率やメモリ使用量などの平均値）とを比較する方法（Ｓ５４）、あるいは網制御サーバ１０の負荷と全ての入口のエッジルータＥＲ中の最大負荷とを比較する方法などを採用することが可能である。ここでは、状態判定部３２は、負荷状態の判定条件として、前者の方法を採っている。
【００５０】
網状態監視装置３０の切り替え通知部３４は、状態判定部３２による負荷状態の判定結果、網制御サーバ１０の負荷が全ての入口のエッジルータＥＲの平均負荷を超える場合は、例えば負荷分散計算機能部の処理を網制御サーバ１０から入口のエッジルータＥＲに切り替えるように双方に指示する（Ｓ５５）。
【００５１】
一方、切り替え通知部３４は、状態判定部３２による負荷状態の判定結果、網制御サーバ１０の負荷が全ての入口のエッジルータＥＲの平均負荷以下の場合は、例えば負荷分散計算機能部の処理を入口のエッジルータＥＲから網制御サーバ１０に切り替えるように双方に指示する（Ｓ５６）。
【００５２】
上述した第２の実施の形態の広域負荷分散制御システム１においては、網制御サーバ１０と入口のエッジルータＥＲ間におけるＴＥの機能切り替えの判定及び指示は、網状態監視装置３０が自動的に行っているが、外部条件に応じて網管理者が手動で機能を切り替えることも可能である。この場合、例えば、網制御サーバ１０を再起動したいときには、ＴＥの全ての機能を入口のエッジルータＥＲ側に切り替え、網制御サーバ１０の起動後に再度、必要な機能を網制御サーバ１０側に切り替えるような方法を採ることが可能である。
【００５３】
上述した網状態監視装置３０による状態監視処理及び状態判定処理は、網（ラベルスイッチネットワーク２０）の負荷状態を判定して、予め設定されている条件を満たす場合に所定の処理を行う、いわゆるポリシーサーバが行う機能に相当する。
【００５４】
なお、上述した第１の実施の形態の広域負荷分散制御システム１において、網制御サーバ１０と入口のエッジルータＥＲ間でＴＥの機能切り替えを行う場合、網制御サーバ１０が、網制御サーバ自身及び入口のエッジルータＥＲの負荷状態（ＣＰＵ使用率、メモリ使用量など）を監視すればよい。この機能切替手法では、入口のエッジルータＥＲの負荷状態の監視は、網制御サーバ１０が備えている統計情報収集機能部を用いることで実現可能である。また、網状態判定は網制御サーバ１０により実施される。
【００５５】
〔第３の広域負荷分散制御システム〕
図６は本発明の第３の実施の形態における広域負荷分散制御システムを説明するための図である。ここでは、広域負荷分散制御システム１のラベルスイッチネットワーク２０において、統計情報通知機能部（トラフィック状態通知部）を有しないルータ（入口のエッジルータＥＲ及びコアルータＣＲ）が存在する場合のトラフィックエンジニアリングの実現手法について説明する。
【００５６】
ラベルスイッチネットワーク２０におけるエッジルータ（入口のエッジルータ及び出口のエッジルータ）ＥＲ及びコアルータＣＲに接続されたリンク（物理リンク）の負荷状態を監視するためには、網制御サーバ１０がエッジルータＥＲとコアルータＣＲとの全ルータの統計情報（トラフィック状態情報）を収集する方法（上記第１の実施の形態）と、全ルータのそれぞれが自ルータの統計情報を各エッジルータＥＲに通知する方法との２種類がある。
【００５７】
後者の方法を実施する具体例として、ＯＳＰＦ（Open Shortest Path First）プロトコルにおけるオプションメッセージ・Ｏｐａｑｕｅ  ＬＳＡを使用する方法が提唱されている。Ｏｐａｑｕｅ  ＬＳＡを使用する場合、図６に示すように、ラベルスイッチネットワーク２０内の全ルータは、自ルータに接続したリンクの統計情報を記録したＯｐａｑｕｅ  ＬＳＡを生成し、全出力リンクに対して送出する。
【００５８】
隣接のルータからのＯｐａｑｕｅ  ＬＳＡを受信したルータは、このＯｐａｑｕｅ  ＬＳＡを受信したリンク以外のリンクに対して転送する。各ルータがこのような転送処理を繰り返すことにより、全ルータに関するリンクの統計情報がお互いに交換され、最終的にはＴＥを制御するエッジルータＥＲが全ルータに関する統計情報を得る。
【００５９】
この統計情報の収集方法では、このオプションメッセージを使用するためには、ラベルスイッチネットワーク２０内の全ルータがこのメッセージを処理できる必要がある。ラベルスイッチネットワーク２０内にこのメッセージを処理できないルータが存在する場合、そのルータの統計情報はエッジルータＥＲに通知されない。
【００６０】
したがって、ラベルスイッチネットワーク２０内でＯｐａｑｕｅ  ＬＳＡを処理できないルータが存在している場合においても、ＴＥを実現するためには、Ｏｐａｑｕｅ  ＬＳＡを処理可能なルータは、そのルータに関して収集したトラフィック状態としての統計情報をＯｐａｑｕｅ  ＬＳＡを送出することで、エッジルータＥＲへ通知するとともに、Ｏｐａｑｕｅ  ＬＳＡの処理機能がないルータに関しては、網制御サーバ１０が統計情報を収集してエッジルータＥＲへ通知する。
【００６１】
この場合、エッジルータＥＲは、他のルータから受信したＯｐａｑｕｅ  ＬＳＡと、網制御サーバ１０からの統計情報とを統合するための統計情報統合処理部（図示省略）を単に備えればよい。これにより、エッジルータＥＲはラベルスイッチネットワーク２０内の全ルータのトラフィック状態を知ることができる。
【００６２】
〔第４の広域負荷分散制御システム〕
次に、本発明の第４の実施の形態における広域負荷分散制御システムについて説明する。ここでは、図１を参照して、広域負荷分散制御システム１のラベルスイッチネットワーク２０において、負荷分散計算機能部を有しないエッジルータＥＲが存在する場合のトラフィックエンジニアリングの実現手法について説明する。
【００６３】
上述した統計情報通知機能部を有しないエッジルータＥＲ及びコアルータＣＲが存在する場合と同様に、ラベルスイッチネットワーク２０内の幾つかのエッジルータＥＲにおいて負荷分散計算機能部を備えていないことが考えられる。
【００６４】
この場合、この負荷分散計算機能部を有しないエッジルータＥＲを通過するトラフィックについては、広域負荷分散処理が行われないため、本来の目的である輻輳回避や網帯域使用効率の向上などの効果は期待できなくなる。
【００６５】
したがって、負荷分散計算機能部を有するエッジルータＥＲに関しては、そのルータを通過するトラフィックについて負荷分散計算を行うとともに、負荷分散計算機能部を有しないエッジルータＥＲに関しては、網制御サーバ１０の負荷分散計算機能部がエッジルータＥＲ単位に負荷分散を計算し処理を実施することで、全てのエッジルータＥＲにおける負荷分散計算処理を行う。
【００６６】
なお、負荷分散計算処理の具体例としては、特開２００１−３２０４２０号公報記載の手法が利用可能である。
【００６７】
〔変形例〕
上述した各実施の形態における処理はコンピュータで実行可能なプログラムとして提供され、ＣＤ−ＲＯＭやフレキシブルディスクなどの記録媒体、さらには通信回線を経て提供可能である。
【００６８】
また、上述した各実施の形態における各処理はその任意の複数または全てを選択し組合せて実施することもできる。
【００６９】
〔その他〕
（付記１）  ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定する手段と；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示する手段と；
を備える広域負荷分散制御システム。（１）
（付記２）  前記指示する手段は、前記分散制御箇所及び前記集中制御箇所の負荷状態に応じて前記処理を担ういずれかの箇所を指示する
付記１記載の広域負荷分散制御システム。
【００７０】
（付記３）  前記集中制御箇所は、前記ネットワーク内の前記トラフィックエンジニアリング区間に存在する前記入口エッジノード及び前記出口エッジノードを含む複数のノードを集中的に制御する網制御装置である
付記１記載の広域負荷分散制御システム。
【００７１】
（付記４）  前記指示する手段が、前記網制御装置の外部の状態監視装置に設けられている
付記３記載の広域負荷分散制御システム。
【００７２】
（付記５）  前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである
付記１記載の広域負荷分散制御システム。
【００７３】
（付記６）  前記入口エッジノード対応の前記分散制御箇所が前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記分散制御箇所は、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記集中制御箇所を通して収集する
付記１記載の広域負荷分散制御システム。
【００７４】
（付記７）  ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得する統計情報収集手段と；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定する経路決定手段と；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定する負荷分散決定手段とを備え；
前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記各ノードを集中的に制御する網制御装置との間で互いに切り替える
広域負荷分散制御システム。（２）
（付記８）  前記入口エッジノードは、前記負荷分散決定手段からの前記経路上のパスのそれぞれに分散すべきトラフィックの割合の指示に基づいて、到着するパケットを前記経路上のパスに振分ける振分手段を備える
付記７記載の広域負荷分散制御システム。
【００７５】
（付記９）  前記入口エッジノード及び前記網制御装置の負荷状態を収集及び判定する手段と；
前記負荷状態に応じて、前記統計情報収集手段、前記経路決定手段及び前記負荷分散決定手段のそれぞれの動作箇所を前記入口エッジノードと前記網制御装置との間で互いに切り替えさせる指示手段と；
を有する状態監視装置を更に備える
付記７記載の広域負荷分散制御システム。（３）
（付記１０）  前記入口エッジノードが前記ネットワーク内の負荷状態を示す統計情報を収集する場合、
前記入口エッジノードは、特定プロトコルの通知メッセージを利用可能なノードからの前記統計情報を直接収集し、前記特定プロトコルの通知メッセージを利用不可能なノードからの前記統計情報を前記網制御装置を通して収集する
付記７記載の広域負荷分散制御システム。（４）
（付記１１）  前記入口エッジノードが前記負荷分散決定手段を有しない場合、前記網制御装置の前記負荷分散決定手段を動作させる
付記７記載の広域負荷分散制御システム。（５）
（付記１２）  前記ネットワークは、ＭＰＬＳに基づくラベルスイッチネットワークである
付記７記載の広域負荷分散制御システム。
【００７６】
（付記１３）  ネットワーク内のトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に設定した複数のパスに前記入口エッジノードへの入力トラヒックを分散させる割合を決定するステップと；
前記入口エッジノードへの入力トラヒックを前記複数のパスに分散させる割合の決定を前記入口エッジノード対応の分散制御箇所と他の集中制御箇所とのいずれで処理するかを指示するステップと；
を備える広域負荷分散制御方法。
【００７７】
（付記１４）  ネットワーク内の各ノードに接続されたリンクのトラフィック状態を統計情報として前記各ノードから取得するステップと；
取得された前記統計情報に基づいて、前記ネットワークのトラフィックエンジニアリング区間対応の入口エッジノードと出口エッジノードとの間に複数のパスを張るための少なくとも１つの経路を決定するステップと；
取得された前記統計情報を基に、決定された前記経路上のパスのそれぞれに分散すべきトラフィックの割合を決定するステップと；
前記各ステップの処理箇所を前記入口エッジノードと前記各ノードを集中的に制御する制御装置との間で互いに切り替えるステップと；
を備える広域負荷分散制御方法。
【００７８】
（付記１５）  前記入口エッジノード及び前記制御装置の負荷状態を収集及び判定するステップと；
前記負荷状態に応じて、前記処理箇所を前記入口エッジノードと前記制御装置との間で互いに切り替えさせるために指示するステップと；
を更に備える付記１４記載の広域負荷分散制御方法。
【００７９】
【発明の効果】
以上説明したように、本発明によれば、従来エッジノードで行っていたトラフィックエンジニアリングに必要な機能の処理負荷を軽減し、かつ大規模での広域負荷分散を効率的に実施することができる。
【００８０】
また、本発明によれば、通知メッセージフォーマットの未統一による統計情報伝達不可能の問題を回避することで、従前のエッジルータ及びコアルータに特殊メッセージ処理機能を追加することなく、広域負荷分散を行うことができる。
【図面の簡単な説明】
【図１】  本発明の第１及び第４の実施の形態の広域負荷分散制御システムを説明するための図。
【図２】  図１における網制御サーバ、エッジルータ及びコアルータの機能構成を説明するための図。
【図３】  本発明の第２の実施の形態の広域負荷分散制御システムを説明するための図。
【図４】  図４における網状態監視装置の構成例を示すブロック図。
【図５】  図４における網状態監視装置の状態判定処理を示すフローチャート。
【図６】  本発明の第３の実施の形態の広域負荷分散制御システムを説明するための図。
【符号の説明】
１      広域負荷分散制御システム
１０    網制御サーバ
２０    ラベルスイッチネットワーク
３０    網状態監視装置
３１    状態監視部
３２    状態判定部
３３    状態保持テーブル
３４    切り替え通知部
ＥＲ    エッジルータ
ＣＲ    コアルータ
【図１】
0003715596.tif 000002
【図２】
0003715596.tif 000003
【図３】
0003715596.tif 000004
【図４】
0003715596.tif 000005
【図５】
0003715596.tif 000006
【図６】
0003715596.tif 000007