(57)【特許請求の範囲】
【請求項１】
ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、
前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、
前記第１エッジノードが中継するフローの帯域を収集するフロー帯域収集手段と、
前記フロー帯域収集手段が収集した前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするフローグルーピング手段と、
前記フローグルーピング手段がグルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定する経路設定手段と、
前記経路設定手段が設定した経路に係るフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るフロールーティング手段と、
を備えることを特徴とするＩＰネットワークシステム。
【請求項２】
前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の分散が最小化されるようにグルーピングする、
ことを特徴とする請求項１に記載のＩＰネットワークシステム。
【請求項３】
前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の合計が均一化されるようにグルーピングする、
ことを特徴とする請求項２に記載のＩＰネットワークシステム。
【請求項４】
前記第１エッジノードは、前記フロールーティング手段を備える、
ことを特徴とする請求項１に記載のＩＰネットワークシステム。
【請求項５】
前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、
を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステム。
【請求項６】
前記第１エッジノードは、前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、
を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステム。
【請求項７】
ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、
前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、
を備えるＩＰネットワークシステムのロードバランス方法であって、
前記第１エッジノードが中継するフローの帯域を収集するステップと、
前記第１エッジノードが中継するフローのうち前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするステップと、
グルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定するステップと、
前記第２エッジノードのいずれかへの経路に流れるように設定したフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るステップと、
を含むことを特徴とするＩＰネットワークシステムのロードバランス方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰネットワークシステムおよびロードバランス方法に関する。
【背景技術】
【０００２】
近年では、物理的に直結していない２つのＬＡＮ（Local Area Network）を、公衆回線を介して仮想的に直結するＶＰＮ（Virtual Private Network）が普及している。ＶＰＮにより、専用回線を敷設することなしに、廉価に仮想的な組織内ネットワークを構築することができる。ＶＰＮによって構築された仮想的な通信経路は、仮想トンネルと呼ばれている。
また、ＭＰＬＳ（Multi-Protocol Label Switching）とは、フレームやパケットにラベルを付加して転送を行う技術である。ＭＰＬＳによりＶＰＮを実現することを、ＭＰＬＳ／ＶＰＮという。
【０００３】
図１は、アンダーレイネットワーク１の構成図である。
アンダーレイネットワーク１は、ＩＰネットワークシステムであり、相互に接続されたコアノード４−１〜４−４と、複数の対向エッジ群８−１〜８−３と、外部制御装置７とを含んで構成される。以下、各対向エッジ群８−１〜８−３を特に区別しないときには、単に対向エッジ群８と記載する。
コアノード４−１〜４−４は、ネットワーク状に相互に接続される。このコアノード４−１〜４−４は、仮想的なトンネルごとに、フローの本数が均一になるように振り分けている。これにより、特定の物理経路にフローが集中することを防いでいる。以下、コアノード４−１〜４−４を特に区別しないときには、単にコアノード４と記載する。なお、各ノードは、識別番号＃１〜＃４が付与されている。
【０００４】
対向エッジ群８−１は、エッジノード３−１，３−２と、これらと相互に接続されるカスタマエッジノード５−１〜５−４と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−１〜５−４のうちいずれかと接続される。
対向エッジ群８−２は、エッジノード３−３，３−４と、これらと相互に接続されるカスタマエッジノード５−５〜５−８と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−５〜５−８のうちいずれかと接続される。
【０００５】
対向エッジ群８−３は、エッジノード３−５と、これと接続されるカスタマエッジノード５−９と、複数の端末６とを含んで構成される。複数の端末６は、カスタマエッジノード５−９と接続される。各エッジノード３−１〜３−５は、識別番号＃１〜＃５が付与されている。カスタマエッジノード５−１〜５−９は、識別番号＃１〜＃９が付与されている。
以下、各エッジノード３−１〜３−５を特に区別しないときには、単にエッジノード３と記載する。
【０００６】
エッジノード３−１，３−２は、対向エッジ群８−２に属するエッジノード３−３〜３−４、および対向エッジ群８−３に属するエッジノード３−５に対向している。エッジノード３−１，３−２は、後記する図２に示すように、対向する各エッジノード３−３〜３−５との間に仮想トンネルを構築する。これにより、仮想的に対向エッジ群８−１〜８−３を相互に接続して、仮想的なネットワークを構築している。
経路Ｆ１〜Ｆ４は、エッジノード３−１から対向エッジ群８−２に属するエッジノード３−３への物理的な経路である。エッジノード３−１からエッジノード３−３への仮想トンネルを流れる各フローは、経路Ｆ１〜Ｆ４に分散される。
【０００７】
外部制御装置７は、エッジノード３−１〜３−４に制御プレーンを介して接続される。外部制御装置７は、エッジノード３−１〜３−４から各フローの情報を収集して、これらフローの経路を制御する。外部制御装置７は、後記する図５で詳細に説明する。
【０００８】
図２は、オーバーレイネットワーク２の構成図である。オーバーレイネットワーク２では、図１の各エッジノード３−１〜３−５間をＶＰＮの仮想トンネルＴ１〜Ｔ６で接続している。
オーバーレイネットワーク２において仮想トンネルＴ１は、エッジノード３−１とエッジノード３−３とを仮想的に接続するトンネルであり、ＭＰＬＳ−ＶＰＮにて実現されている。図１に示したアンダーレイネットワーク１の経路Ｆ１〜Ｆ４は、この仮想トンネルＴ１に対応する。
仮想トンネルＴ２は、エッジノード３−１とエッジノード３−４とを仮想的に接続するトンネルである。仮想トンネルＴ３は、エッジノード３−２とエッジノード３−４とを仮想的に接続するトンネルである。仮想トンネルＴ４は、エッジノード３−２とエッジノード３−３とを仮想的に接続するトンネルである。仮想トンネルＴ５は、エッジノード３−１とエッジノード３−５とを仮想的に接続するトンネルである。仮想トンネルＴ６は、エッジノード３−２とエッジノード３−５とを仮想的に接続するトンネルである。
【０００９】
本発明では、図２に示すようなオーバーレイネットワーク２の仮想トンネルＴ１〜Ｔ６を備え、アンダーレイネットワーク１ではこれら仮想トンネルＴ１〜Ｔ６の端点間で、複数経路を取りうるネットワークを対象とする。以降、同一送信元・同一宛先のトラヒックの集合をフローと呼ぶ。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】中村修、“OSPF Equal Cost MultiPath”、[online]、2005年11月28日、<URL: http://www.soi.wide.ad.jp/class/20050021/slides/08/15.html>
【非特許文献２】杉山隆太、武田知典、「集中制御型の大規模ＩＰ網における経路最適化の検討」、電子情報通信学会技術研究報告、一般社団法人電子情報通信学会、２０１４年４月１０日、第１１４巻、6(NS2014 1-23)、pp1-4
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ある宛先に対して、コストが等しい経路が複数あった場合に、それらの経路にトラヒックのロードバランスが均一化されるようにトラヒックを振り分けるＥＣＭＰ（Equal Cost MultiPath）という技術が知られている。これにより、一部の経路にトラヒックが集中することを抑止可能である。トラヒックを均一に振り分けるには、例えば送信元アドレスや宛先アドレスなどの値をハッシュ計算し、その計算結果によってフローを各経路に振り分けている。これにより、各経路に振り分けるフローの本数を均一化することができる。
しかし、ＥＣＭＰのロードバランス制御では、フローの帯域を参照せずに振り分けを行っている。よって、フローの占有帯域に差がある場合、特定の物理経路に占有帯域の大きいフローが集中し、各経路の利用帯域に差が生じる場合がある。
【００１２】
このような経路ごとのフローの偏りを回避するため、非特許文献２で記載されているように、ネットワーク内の全ノードでトラヒック情報を収集し、経路制御を行う方式が考えられる。しかし、ネットワーク内の全ノードを対象とするために極めて計算負荷が大きくなり、かつ変更が大規模かつ広範囲に亘るという問題がある。
【００１３】
本発明は、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することを目的とする。
【課題を解決するための手段】
【００１４】
前記課題を解決するため、請求項１に記載の発明では、ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、前記第１エッジノードが中継するフローの帯域を収集するフロー帯域収集手段と、前記フロー帯域収集手段が収集した前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするフローグルーピング手段と、前記フローグルーピング手段がグルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定する経路設定手段と、前記経路設定手段が設定した経路に係るフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るフロールーティング手段と、を備えることを特徴とするＩＰネットワークシステムとした。
【００１５】
このようにすることで、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することができる。
【００１６】
請求項２に記載の発明では、前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の分散が最小化されるようにグルーピングする、ことを特徴とする請求項１に記載のＩＰネットワークシステムとした。
【００１７】
このようにすることで、フロールーティング手段がこのグループに属するフローを本数ベースでロードバランスしても、アンダーレイネットワークにおける各経路の帯域を均一化できる。
【００１８】
請求項３に記載の発明では、前記フローグルーピング手段は、前記第１エッジノードから前記カスタマエッジノードへのフローを、当該フローの占有帯域幅の合計が均一化されるようにグルーピングする、ことを特徴とする請求項２に記載のＩＰネットワークシステムとした。
【００１９】
このようにすることで、各グループに属するフローの占有帯域を均一化でき、よってアンダーレイネットワークの各経路に振り分けるフローの占有帯域を均一化できる。
【００２０】
請求項４に記載の発明では、前記第１エッジノードは、前記フロールーティング手段を備える、ことを特徴とする請求項１に記載のＩＰネットワークシステムとした。
【００２１】
このようにすることで、上記のグルーピング手段とグループに属するフローを本数ベースでロードバランスさせる従来の方式とを組み合わせて、容易にフローの経路を設定可能である。
【００２２】
請求項５に記載の発明では、前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステムとした。
【００２３】
このようにすることで、各エッジノードの変更を最小化して、開発工数を削減可能である。
【００２４】
請求項６に記載の発明では、前記第１エッジノードは、前記フロー帯域収集手段と、前記フローグルーピング手段と、前記経路設定手段とを備えるロードバランス制御装置、を更に備えることを特徴とする請求項１ないし請求項４のいずれか１項に記載のＩＰネットワークシステムとした。
【００２５】
このようにすることで、外部の制御装置が不要となり、廉価にＩＰネットワークシステムを構築できる。
【００２６】
請求項７に記載の発明では、ネットワーク状に接続された複数のコアノードに接続される第１エッジノードと、前記複数のコアノードを介して前記第１エッジノードに対向すると共に、カスタマエッジノードに接続されて、仮想トンネルにて前記第１エッジノードからのフローを前記カスタマエッジノードに中継する複数の第２エッジノードと、を備えるＩＰネットワークシステムのロードバランス方法であって、前記第１エッジノードが中継するフローの帯域を収集するステップと、前記第１エッジノードが中継するフローのうち前記カスタマエッジノードへのフローを、当該フローの占有帯域幅に応じて前記第２エッジノードの数だけ、当該フローの宛先となる対向エッジ群毎にグルーピングするステップと、グルーピングしたフローのグルーブを、それぞれ前記第２エッジノードのいずれかへの経路を流れるように設定するステップと、前記第２エッジノードのいずれかへの経路に流れるように設定したフローを、当該経路に係るフローの本数に応じて前記複数のコアノードに割り振るステップと、を含むことを特徴とするＩＰネットワークシステムのロードバランス方法とした。
【００２７】
このようにすることで、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することができる。
【発明の効果】
【００２８】
本発明によれば、対向するエッジノードが仮想トンネルで接続されたネットワークにおいて、アンダーレイのトラヒックのロードバランスを均一化することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】アンダーレイネットワークの構成図である。
【図２】オーバーレイネットワークの構成図である。
【図３】比較例のフローのルーティング例を示す図である。
【図４】本実施形態におけるフローのルーティング例を示す図である。
【図５】外部制御装置とエッジノードの構成と動作を示す図である。
【図６】フローグルーピングテーブルの例を示す図である。
【図７】ルーティングテーブルの例を示す図である。
【図８】経路設定処理のフローチャートである。
【図９】経路振分処理のフローチャートである。
【発明を実施するための形態】
【００３０】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
本実施形態のＩＰネットワークは、前記した図1に示すアンダーレイネットワーク１、図２に示したオーバーレイネットワーク２で構成される。
図１に示すようにエッジノード３−１（第１エッジノード）は、ネットワーク状に接続されたコアノード４のうちコアノード４−１，４−２に接続される。対向エッジ群８−２に含まれるエッジノード３−３，３−４は、これら複数のコアノード４を介してエッジノード３−１（第１エッジノード）に対向する。
【００３１】
エッジノード３−３，３−４は、カスタマエッジノード５−５〜５−８に接続されている。図２に示すようにエッジノード３−３，３−４は、ＭＰＬＳ−ＶＰＮの仮想トンネルによりエッジノード３−１からのフローを中継する。中継したフローは、カスタマエッジノード５−５〜５−８に流れる。
【００３２】
図３は、比較例のフローのルーティング例を示す図である。このルーティング例は、図１に示したエッジノード３−１と、コアノード４−１，４−２を抜粋したものである。
エッジノード３−１には、２Ｇｂｙｔｅｓ／秒のフロー２０本と、１０Ｇｂｙｔｅｓ／秒のフロー４本とが流れる。
【００３３】
このとき、エッジノード３−１は、コアノード４−１に２Ｇｂｙｔｅｓ／秒のフロー９本と、１０Ｇｂｙｔｅｓ／秒のフロー３本を流し、コアノード４−２に２Ｇｂｙｔｅｓ／秒のフロー１１本と、１０Ｇｂｙｔｅｓ／秒のフロー１本を流す。これにより、エッジノード３−１からコアノード４−１への経路は、エッジノード３−１からコアノード４−１への経路よりも帯域が大きくなる。
【００３４】
図４は、本実施形態におけるフローのルーティング例を示す図である。図３と同様に、エッジノード３−１と、コアノード４−１，４−２を抜粋して記載している。
このとき、エッジノード３−１は、コアノード４−１に２Ｇｂｙｔｅｓ／秒のフロー１０本と、１０Ｇｂｙｔｅｓ／秒のフロー２本を流し、コアノード４−２に２Ｇｂｙｔｅｓ／秒のフロー１０本と、１０Ｇｂｙｔｅｓ／秒のフロー２本を流す。これにより、エッジノード３−１からコアノード４−１への経路の帯域と、エッジノード３−１からコアノード４−１への経路の帯域とは均一化される。
以下、このようなルーティングを実現する方法と装置を説明する。
【００３５】
図５は、外部制御装置７とエッジノード３の構成と動作を示す図である。なお、図８では、外部制御装置７とエッジノード３−１のみを図示している。
外部制御装置７は、フロー帯域収集部７１と、フローグルーピング部７２と、経路設定部７３と、フローグルーピングテーブル７４とを備えている。この外部制御装置７は、各エッジノード３に流れるフローをロードバランスさせるロードバランス制御装置である。
フロー帯域収集部７１は、エッジノード３−１に流れるフローの占有帯域幅を収集し、フローグルーピング部７２に通知する。なお、外部制御装置７は、エッジノード３−１に限られず、他のエッジノード３−２〜３−５に流れるフローの占有帯域幅も収集する。
【００３６】
フローグルーピング部７２は、フローグルーピングテーブル７４により、占有帯域幅が近いフローをグルーピングすると共に、これらフローの占有帯域幅の総和が均一化されるようにグルーピングする。フローグルーピング部７２は、これらグルーピングしたフローを経路設定部７３に通知する。フローグルーピングテーブル７４は、エッジノード３ごとにそれぞれ独立に設けられ、かつフローが流れる先である宛先エッジ群ごとに独立に各フローをグルーピングしている。フローグルーピングテーブル７４の詳細は、後記する図６で説明する。
経路設定部７３は、各グループのフローを、それぞれ異なる仮想トンネルに転送するようにエッジノード３−１に指示する。
このように、外部制御装置７にフロー帯域収集部７１と、フローグルーピング部７２と、経路設定部７３とを設けているので、エッジノード３の変更は少ない、よって本発明に係る開発工数を削減可能である。
【００３７】
エッジノード３−１は、フロールーティング部３１と、ルーティングテーブル３２とを備えている。
フロールーティング部３１は、経路設定部７３から指示された経路に各フローをルーティングする。ルーティングテーブル３２は、経路設定部７３から指示された経路情報を格納するものである。この経路情報とは、例えは、エッジノード３−１がコアノード４−１，４−２のどちらにフローを振り分けるかを決定する情報である。ルーティングテーブル３２の詳細は、後記する図７で説明する。
【００３８】
図６は、フローグルーピングテーブル７４の例を示す図である。
フローグルーピングテーブル７４は、対向エッジ群欄７４ａと、グループ欄７４ｂと、宛先エッジ欄７４ｃと、フロー欄７４ｄと、帯域欄７４ｅとを含んで構成される。図６に示すフローグルーピングテーブル７４は、エッジノード３−１から他の対向するエッジノード３に流れる各フローの属性を格納する。
対向エッジ群欄７４ａは、このフローが流れる先である対向エッジ群８の識別番号を格納する。
グループ欄７４ｂは、このフローが属するグルーブの識別番号を格納する。
宛先エッジ欄７４ｃは、このフローが流れる先である宛先のエッジノード３の識別番号を格納する。
フロー欄７４ｄは、このフロー自身の識別番号を格納する。
帯域欄７４ｅは、このフローの占有帯域幅の情報を格納する。
【００３９】
図７は、ルーティングテーブル３２の例を示す図である。
ルーティングテーブル３２は、対向エッジ群欄３２ａと、グループ欄３２ｂと、宛先エッジ欄３２ｃと、フロー欄３２ｄと、中継先欄３２ｅとを含んで構成される。このルーティングテーブル３２は、対向エッジ群欄３２ａおよび、グループ欄３２ｂ、宛先エッジ欄３２ｃ、フロー欄３２ｄについては、図６に示したフローグルーピングテーブル７４と同一内容が格納される。
中継先欄３２ｅは、このエッジノード３−１がコア＃１（コアノード４−１）とコア＃２（コアノード４−２）のどちらにフローを振り分けるかの情報を格納する。
【００４０】
図８は、フローグルーピング処理のフローチャートの例である。なお、フローをグルーピングするアルゴリズムは、図８に示した例に限定されない。
経路設定処理を開始するときには、フローグルーピングテーブル７４の対向エッジ群欄７４ａおよび宛先エッジ欄７４ｃ、フロー欄７４ｄ、帯域欄７４ｅの情報が確定している。フローグルーピング部７２は、これらの情報からフローをグルーピングし、グループ欄７４ｂにグルーブの識別番号を設定する。
【００４１】
フローグルーピング部７２は、ステップＳ１０〜Ｓ１８の処理を各対向エッジ群８に属するフローについて繰り返す。具体的にいうと、対向エッジ群８−１〜８−３のそれぞれに属するフローについて処理を実行する。
ステップＳ１１において、フローグルーピング部７２は、この対向エッジ群８に属するオーバーレイネットワーク２のフローをグルーブ＃０に属させる。ここでグルーブ＃０は、フローグルーピング処理のために設けられた仮のグループである。処理終了時にグループ＃０は空となる。
【００４２】
ステップＳ１２において、フローグルーピング部７２は、変数ｘに１を設定する。
ステップＳ１３において、フローグルーピング部７２は、グループ＃０の中で最も帯域幅の小さいフローをグループ＃ｘに属させ、グループ＃０から削除する。この処理により、各グループに属するフローの占有帯域幅の分散が最小化されるようにグルーピングすることができる。
ステップＳ１４において、フローグルーピング部７２は、このフローの宛先を第ｘ番の対向エッジノードとしてフローグルーピングテーブル７４に記録する。これにより、このフローは、第ｘ番の対向エッジノードへの仮想トンネルに流れるようになる。
【００４３】
ステップＳ１５において、フローグルーピング部７２は、グループ＃ｘのフロー帯域の和が平均未満であるか否かを判断する。ここで平均とは、フロー占有帯域の総和をグルーブ数で除算したものである。フローグルーピング部７２は、この判断条件が成立したならば（Ｙｅｓ）、ステップＳ１３の処理に戻り、この判断条件が成立しなかったならば（Ｎｏ）、ステップＳ１６の処理に進む。この処理により、各グループに流れるフローの帯域の総和を均一化することができる。
ステップＳ１６において、フローグルーピング部７２は、変数ｘを１だけ増加させる。
【００４４】
ステップＳ１７において、フローグルーピング部７２は、変数ｘが、処理対象の対向エッジ群８が含む対向エッジノード数以下であるか否かを判断し、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ１３の処理に戻る。具体的にいうと、対向エッジ群８−２が処理対象である場合、この対向エッジ群８−２が含むエッジノード３−３，３−４の２台と同一の２グループをグルーピングする。
ステップＳ１８において、フローグルーピング部７２は、すべての対向エッジ群について処理を繰り返したか否かを判断する。フローグルーピング部７２は、すべて処理を繰り返していないならば、ステップＳ１１の処理に戻り、すべての処理を繰り返したならば、このフローグルーピング処理を終了する。
【００４５】
このように、エッジノード３は、各仮想トンネルを流れるフローの占有帯域の均一化に加えて、占有帯域幅の近いフローをグルーピングしている。これにより、コアノード４では従来のフロー数ベースのロードバランス方式を用いながらも、フローの特定経路への集中を抑制することが可能である。
【００４６】
図９は、経路振分処理のフローチャートの例である。
経路設定部７３は、ステップＳ３０〜Ｓ３５の処理を、各対向エッジ群８に属するフローについて繰り返す。具体的にいうと、経路設定部７３は対向エッジ群８−１〜８−３のそれぞれに属するフローについて処理を実行する。これは、各仮想トンネルを経由するフローについての処理を実行することと同一である。
ステップＳ３１において、経路設定部７３は、変数ｘに１を設定する。
ステップＳ３２において、経路設定部７３は、変数ｘが指し示すグループ＃ｘを、フロー数に応じて隣接するコアノード４に中継するように設定する。すなわち、経路設定部７３は、グループ＃ｘのフローを、コアノード４ごとに按分して中継する。
ステップＳ３３において、経路設定部７３は、変数ｘを１増加させる。
ステップＳ３４において、経路設定部７３は、変数ｘが対向エッジノードの数以下であるか否かを判断し、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ３２の処理に戻る。この判断により、経路設定部７３は、この対向エッジ群８に係る全ての仮想トンネルにグループ化されたフローを処理することができる。
ステップＳ３５において、経路設定部７３は、すべての対向エッジ群８について処理を繰り返したか否かを判断する。経路設定部７３は、すべて処理を繰り返していないならば、ステップＳ３０の処理に戻る。
図９に示す経路振分処理は、各仮想トンネルを流れるフローの本数を均一化する従来の動作である。これをフロー数ベースのロードバランス方式という。予めフローグルーピング処理によってフローをグループ化しているので、以降の経路設定では、フロー数ベースのロードバランス方式で経路を設定しても、各仮想トンネルを流れるフローの占有帯域を均一化することができる。
各コアノード４も同様にして、各仮想トンネルを流れるフローの本数を均一化する。このように、コアノード４は、従来のフロー数ベースのロードバランス方式を用いながらも、フローの特定経路への集中を抑制することが可能である。
【００４７】
（変形例）
本実施の形態に係る発明は、前記したような処理を実行させるプログラムによって実現することができ、そのプログラムをコンピュータによる読み取り可能な記録媒体（ＣＤ−ＲＯＭ等）に記憶して提供することが可能である。また、そのプログラムを、インターネット等のネットワークを通して提供することも可能である。
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｃ）のようなものがある。
（ａ）  上記実施形態では、外部制御装置７がフローグルーピング部７２と経路設定部７３とを備えているが、これに限られず、各エッジノード３がフローグルーピング部７２と経路設定部７３とを備えてもよい。これにより外部制御装置７を省略可能であり、システムを廉価に構成することができる。
（ｂ）  上記実施形態では、外部制御装置７は、ネットワーク全体に１台だけ設けられている。しかし、これに限られず、各エッジノード３に１台ずつ設けられていてもよく、限定されない。
（ｃ）  上記実施形態では、仮想トンネルはＭＰＬＳ−ＶＰＮで実現されている。しかし、これに限られず、ＳＳＨ（Secure Shell）、ＴＬＳ（Transport Layer Security）、ＳＳＬ（Secure Socket Layer）、ＩＰｓｅｃ（Security Architecture for Internet Protocol）、ＰＰＴＰ（Point to Point Tunneling Protocol）、Ｌ２ＴＰ（Layer 2 Tunneling Protocol）、Ｌ２Ｆ（Layer 2 Forwarding）などの任意の方式で仮想トンネルを実現してもよい。
【符号の説明】
【００４８】
１  アンダーレイネットワーク  （ＩＰネットワーク）
２  オーバーレイネットワーク
３−１〜３−４  エッジノード
３１  フロールーティング部  （フロールーティング手段）
３２  ルーティングテーブル
４−１〜４−４  コアノード
５−１〜５−９  カスタマエッジノード
６  端末
７  外部制御装置  （ロードバランス制御装置）
７１  フロー帯域収集部  （フロー帯域収集手段）
７２  フローグルーピング部  （フローグルーピング手段）
７３  経路設定部  （経路設定手段）
７４  フローグルーピングテーブル
８−１〜８−３  対向エッジ群
Ｆ１〜Ｆ４  経路
Ｔ１〜Ｔ６  仮想トンネル
【図１】
0006333751.tif 000002
【図２】
0006333751.tif 000003
【図３】
0006333751.tif 000004
【図４】
0006333751.tif 000005
【図５】
0006333751.tif 000006
【図６】
0006333751.tif 000007
【図７】
0006333751.tif 000008
【図８】
0006333751.tif 000009
【図９】
0006333751.tif 000010