(57)【要約】【課題】複数のフローを複数の物理回線に分散して転送すると共に、フロー間で帯域差がある場合でも、各物理回線の帯域を平準化する。【解決手段】パケット転送装置１は、フローを転送する複数の物理回線２ｂ−１〜２ｂ−ｎの使用帯域をそれぞれ測定するトラヒック量測定部１１３と、トラヒック量測定部１１３が測定した各物理回線２ｂ−１〜２ｂ−ｎの使用帯域に基づいて、各フローを転送する物理回線２ｂ−１〜２ｂ−ｎを選択する物理回線選択部１１４と、各フローを物理回線選択部１１４が選択した物理回線に振り分けるパケット振分部１１１とを備える。【選択図】図１
2015050527.tif 000002
【特許請求の範囲】
【請求項１】
フローを転送する複数の通信路の使用帯域をそれぞれ測定するトラヒック量測定部と、
前記トラヒック量測定部が測定した各通信路の使用帯域に基づいて、各前記フローを転送する通信路を選択する通信路選択部と、
前記フローを、前記通信路選択部が選択した通信路に振り分けるパケット振分部と、
を備えることを特徴とするパケット転送装置。
【請求項２】
前記トラヒック量測定部は、
各前記フローの使用帯域を測定し、各前記フローを振り分けた通信路それぞれで使用帯域を合計することにより、各通信路の使用帯域をそれぞれ測定する、
ことを特徴とする請求項１に記載のパケット転送装置。
【請求項３】
前記通信路選択部は、
空き帯域が最も大きい通信路を選択する、
ことを特徴とする請求項１または請求項２に記載のパケット転送装置。
【請求項４】
前記通信路選択部は、
各通信路の空き帯域に応じた確率で、いずれかの通信路を選択する、
ことを特徴とする請求項１または請求項２に記載のパケット転送装置。
【請求項５】
前記通信路選択部は、
前記フローのパケットが所定期間内に通過したならば、当該フローを振り分ける通信路を保持し、
前記フローのパケットが所定期間にわたって通過しないならば、当該フローを振り分ける通信路を再選択する、
ことを特徴とする請求項１ないし請求項４のいずれか１項に記載のパケット転送装置。
【請求項６】
相互に通信可能に接続される複数のパケット転送装置およびトラヒック監視装置を含んで構成され、複数の前記パケット転送装置間を接続する物理回線に跨がるパスにフローを転送するパケット転送システムであって、
前記パケット転送装置は、
前記フローを転送する複数のパスが跨がる物理回線のトラヒック量をそれぞれカウントするトラヒック量カウンタと、
前記フローを転送するパスが跨がる物理回線を選択する物理回線選択部と、
各前記フローを物理回線に振り分けるパケット振分部とを備えており、
前記トラヒック監視装置は、
各前記パケット転送装置の前記トラヒック量カウンタがカウントしたトラヒック量を集約した各パスの使用帯域を、各前記パケット転送装置に送信するトラヒック量集約部を備えており、
各前記パケット転送装置の前記物理回線選択部は、
前記トラヒック量集約部が集約した各パスの使用帯域に基づいて、各前記フローを転送するパスを選択し、
各前記フローに選択したパスが跨がる物理回線を決定する、
ことを特徴とするパケット転送システム。
【請求項７】
前記物理回線選択部は、
複数の物理回線に跨がるパス上で、最も空き帯域が大きいパスに係る物理回線を選択する、
ことを特徴とする請求項６に記載のパケット転送システム。
【請求項８】
フローを転送する複数の通信路の使用帯域をそれぞれ測定するトラヒック量測定部と、
前記フローを転送する通信路を選択する通信路選択部と、
各前記フローを通信路に振り分けるパケット振分部と、
を備えたパケット転送装置は、
前記トラヒック量測定部により、複数の通信路の使用帯域をそれぞれ測定し、
前記通信路選択部により、各通信路の使用帯域に基づいて、各前記フローに通信路を選択し、
前記パケット振分部により、各前記フローを、前記通信路選択部が選択した通信路に振り分ける、
ことを特徴とするパケット転送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の物理回線を論理的に１本の通信回線として扱い、原則として同一のフローのパケットは同一の物理回線で転送し、複数のフローを複数の物理回線に分散して転送するパケット転送装置、パケット転送システム、およびパケット転送方法に関する。
【背景技術】
【０００２】
近年のインターネットにおける音声コンテンツや動画コンテンツなどの普及により、通信速度（転送帯域）の向上が強く求められている。動画コンテンツなどを視聴するためには、通信回線の転送帯域が、そのコンテンツのビットレートよりも充分に大きくなければならないためである。
非特許文献１には、現在の技術で通信速度を向上する方法として、ＥＣＭＰ（Equal Cost Multi Path）およびリンクアグリゲーションが記載されている。ＥＣＭＰおよびリンクアグリゲーションは、いずれも複数の物理回線を論理的に１本の通信回線として扱う方法である。
ＥＣＭＰは、ＯＳＰＦ（Open Shortest Path First）において、ネットワークトラフィックを高バンド幅の複数のリンクに分散することによって通信速度を向上させる方法である。
リンクアグリゲーションは、複数の回線を仮想的にひとつの回線と見なすことで、通信速度および耐故障性を向上させる方法である。リンクアグリゲーションでは、複数の回線をひとつの回線と見なし、並列にデータを送信することで通信速度を向上させることができる。
【０００３】
図１２は、比較例におけるパケット転送装置１Ｃを示す概略の構成図である。
比較例のパケット転送装置１Ｃは、複数のパケット受信部１２−１〜１２−４と、パケット送信部１１Ｃとを備えており、物理回線２ａ−１〜２ａ−４と、物理回線２ｂ−１〜２ｂ−ｎとが接続されている。このパケット転送装置１Ｃは、同一のフローのパケットは同一の物理回線で転送し、これら複数のフローを複数の物理回線２ｂ−１〜２ｂ−ｎに分散して転送すると共に、複数の物理回線２ｂ−１〜２ｂ−ｎを論理的に１本の通信回線として扱う。パケット転送装置１Ｃは、例えば、リンクアグリゲーションにより、複数の物理回線２ｂ−１〜２ｂ−ｎを束ねて１本の論理リンクとして扱う。
【０００４】
パケット受信部１２−１〜１２−４は、物理回線２ａ−１〜２ａ−４に流れるパケットを受信し、受信したパケットからフロー情報を抽出するものである。ここでフローとは、フロー情報が同一のトラヒック（パケット）のことをいう。フロー情報は、このパケットに含まれるヘッダ情報によって特定され、例えば、５−ｔｕｐｌｅ（送信元ＩＰアドレス、宛先ＩＰアドレス、プロトコルタイプ、送信元ポート番号、宛先ポート番号）のことをいう。パケット受信部１２−１〜１２−４には、それぞれ物理回線２ａ−１〜２ａ−４が接続されている。パケット受信部１２−１〜１２−４は、パケット送信部１１Ｃのパケット振分部１１１にパケットを出力する。パケット受信部１２−１〜１２−４は更に、パケット送信部１１Ｃのハッシュ選択部１１６にフロー情報を出力する。
【０００５】
パケット送信部１１Ｃは、ハッシュ選択部１１６と、パケット振分部１１１とを備えている。パケット送信部１１Ｃは、複数のフローをそれぞれ複数の物理回線２ｂ−１〜２ｂ−ｎに分散して送信（転送）するものである。
ハッシュ選択部１１６は、パケット受信部１２−１〜１２−４から入力されたフロー情報をハッシュ計算して物理回線番号を決定し、パケット振分部１１１に出力する。ハッシュ選択部１１６は、ハッシュ計算により、同一のフローのパケットは同一の物理回線で転送することができ、かつ、各物理回線２ｂ−１〜２ｂ−ｎに割り当てるフロー数を均等にすることができる。これは、各物理回線２ｂ−１〜２ｂ−ｎの使用帯域を平準化することを目的とするものである。
パケット振分部１１１は、複数のフローを、各フローのハッシュ値に基づき、各物理回線２ｂ−１〜２ｂ−ｎのいずれかに振り分けるものである。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】土谷浩史、インターネットマルチフィード株式会社・技術部、「ＥｔｈｅｒＮＷ、高速化と運用の技術」Ｖｅｒ．１．１６、［online］、２００６年１２月８日、［平成２５年８月１９日検索］、インターネット<URL:https://www.nic.ad.jp/ja/materials/iw/2006/proceedings/T26.pdf>
【発明の概要】
【発明が解決しようとする課題】
【０００７】
比較例のパケット転送装置１Ｃでは、フロー間で帯域差がある場合、各物理回線（通信路）の使用帯域が平準化されないおそれがある。すなわち、トラヒック量が多いフローが転送される物理回線の使用帯域が高くなり、トラヒック量が少ないフローが転送される物理回線の使用帯域が低くなるおそれがある。これは、パケット送信部が各フローの帯域差を考慮せずに、各物理回線に割り当てるフロー数を均等にしているためである。
各フローのトラヒック量が時間ごとに変動する場合も同様である。フローに対して固定的に物理回線を割り当てると、割り当て当初の物理回線間のトラヒック量が均等であったとしても、時間ごとに各フローのトラヒック量が変動すると共に、使用帯域は均等でなくなる。
【０００８】
比較例では、各物理回線の間で使用帯域の差が生じるため、使用帯域が高い物理回線が輻輳しても使用帯域が低い物理回線には空き帯域が存在するなど、各物理回線の使用帯域に無駄が生じるおそれがある。
比較例のパケット転送装置１Ｃは更に、物理回線上に転送されていたフローを他の物理回線に切り替えると、フローを構成するパケットの順序逆転が生じるおそれがある。
【０００９】
本発明は、前記した問題を解決し、複数のフローを複数の通信路に分散して転送すると共に、フロー間で帯域差がある場合でも、各通信路の帯域を平準化するパケット転送装置、パケット転送システム、およびパケット転送方法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するため、請求項１に記載の発明では、フローを転送する複数の通信路の使用帯域をそれぞれ測定するトラヒック量測定部と、前記トラヒック量測定部が測定した各通信路の使用帯域に基づいて、各前記フローを転送する通信路を選択する通信路選択部と、前記フローを、前記通信路選択部が選択した通信路に振り分けるパケット振分部と、を備えることを特徴とするパケット転送装置とした。
【００１１】
このようにすることで、パケット転送装置は、フロー間で帯域差がある場合でも、各通信路の使用帯域や空き帯域などを平準化することができる。
【００１２】
請求項２に記載の発明では、前記トラヒック量測定部は、各前記フローの使用帯域を測定し、各前記フローを振り分けた通信路それぞれで使用帯域を合計することにより、各通信路の使用帯域をそれぞれ測定する、ことを特徴とする請求項１に記載のパケット転送装置とした。
【００１３】
このようにすることで、パケット転送装置は、出力側の通信路のトラヒック量を計測することなく、各通信路の使用帯域をそれぞれ測定することができる。
【００１４】
請求項３に記載の発明では、前記通信路選択部は、空き帯域が最も大きい通信路を選択する、ことを特徴とする請求項１または請求項２に記載のパケット転送装置とした。
【００１５】
このようにすることで、通信路選択部は、複雑な処理を行うことなく、フローに通信路を割り当てることができるので、より多くのフローを扱うことができる。
【００１６】
請求項４に記載の発明では、前記通信路選択部は、各通信路の空き帯域に応じた確率で、いずれかの通信路を選択する、ことを特徴とする請求項１または請求項２に記載のパケット転送装置とした。
【００１７】
このようにすることで、通信路選択部は、各通信路の空き帯域を平準化することができる。
【００１８】
請求項５に記載の発明では、前記通信路選択部は、前記フローのパケットが所定期間内に通過したならば、当該フローを振り分ける通信路を保持し、前記フローのパケットが所定期間にわたって通過しないならば、当該フローを振り分ける通信路を再選択する、ことを特徴とする請求項１ないし請求項４のいずれか１項に記載のパケット転送装置とした。
【００１９】
このようにすることで、通信路選択部は、各フローのトラヒック量が時間ごとに変動する場合においても各通信路の使用帯域を平準化できるとともに、既存のフローに通信路を再選択したときに、そのフローを構成するパケットの順序が逆転することを防止できる。
【００２０】
請求項６に記載の発明では、相互に通信可能に接続される複数のパケット転送装置およびトラヒック監視装置を含んで構成され、複数の前記パケット転送装置間を接続する物理回線に跨がるパスにフローを転送するパケット転送システムであって、前記パケット転送装置は、前記フローを転送する複数のパスが跨がる物理回線のトラヒック量をそれぞれカウントするトラヒック量カウンタと、前記フローを転送するパスが跨がる物理回線を選択する物理回線選択部と、各前記フローを物理回線に振り分けるパケット振分部とを備えており、前記トラヒック監視装置は、各前記パケット転送装置の前記トラヒック量カウンタがカウントしたトラヒック量を集約した各パスの使用帯域を、各前記パケット転送装置に送信するトラヒック量集約部を備えており、各前記パケット転送装置の前記物理回線選択部は、前記トラヒック量集約部が集約した各パスの使用帯域に基づいて、各前記フローを転送するパスを選択し、各前記フローに選択したパスが跨がる物理回線を決定する、ことを特徴とするパケット転送システムとした。
【００２１】
このようにすることで、パケット転送システムは、パスの使用帯域を平準化するので、局所的な物理回線の使用帯域の平準化と比較して、ネットワーク全体の帯域の無駄を更に少なくすることができる。
【００２２】
請求項７に記載の発明では、前記物理回線選択部は、複数の物理回線に跨がるパス上で、最も空き帯域が大きいパスに係る物理回線を選択する、ことを特徴とする請求項６に記載のパケット転送システムとした。
【００２３】
このようにすることで、物理回線選択部は、フローのハッシュ値を計算して確率分布を算出することなく、フローにパスを跨がる物理回線を割り当てることができ、より多くのフローを扱うことができる。
【００２４】
請求項８に記載の発明では、フローを転送する複数の通信路の使用帯域をそれぞれ測定するトラヒック量測定部と、前記フローを転送する通信路を選択する通信路選択部と、各前記フローを通信路に振り分けるパケット振分部と、を備えたパケット転送装置は、前記トラヒック量測定部により、複数の通信路の使用帯域をそれぞれ測定し、前記通信路選択部により、各通信路の使用帯域に基づいて、各前記フローに通信路を選択し、前記パケット振分部により、各前記フローを、前記通信路選択部が選択した通信路に振り分ける、ことを特徴とするパケット転送方法とした。
【００２５】
このようにすることで、パケット転送装置は、フロー間で帯域差がある場合でも、各通信路の使用帯域や空き帯域を平準化することができる。
【発明の効果】
【００２６】
本発明によれば、複数のフローを複数の通信路に分散して転送すると共に、フロー間で帯域差がある場合でも、各通信路の帯域を平準化するパケット転送装置、パケット転送システム、およびパケット転送方法を提供することが可能となる。
【図面の簡単な説明】
【００２７】
【図１】第１の実施形態におけるパケット転送装置を示す概略の構成図である。
【図２】第１の実施形態におけるパケット送信部の一部構成を示す図である。
【図３】物理回線の割当動作を示す図である。
【図４】第１の実施形態における物理回線選択処理を示すフローチャートである。
【図５】割当回線登録テーブルを示す概略の構成図である。
【図６】第１の実施形態における確率分布計算部の計算例を示す図である。
【図７】第２の実施形態におけるパケット送信部の一部構成を示す図である。
【図８】第２の実施形態における物理回線選択処理を示すフローチャートである。
【図９】第３の実施形態におけるパケット転送システムを示す概略の構成図である。
【図１０】第３の実施形態におけるトラヒック監視装置とパケット転送装置を示す図である。
【図１１】第３の実施形態における物理回線選択処理を示すフローチャートである。
【図１２】比較例におけるパケット転送装置を示す概略の構成図である。
【発明を実施するための形態】
【００２８】
次に、本発明を実施するための形態（「実施形態」という）について、適宜図面を参照しながら詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態におけるパケット転送装置１を示す概略の構成図である。
図１に示すように、パケット転送装置１は、複数のパケット受信部１２−１〜１２−４と、パケット送信部１１とを備えており、物理回線２ａ−１〜２ａ−４と、物理回線２ｂ−１〜２ｂ−ｎとが接続されている。このパケット転送装置１は、原則として同一のフローのパケットは同一の物理回線で転送し、これら複数のフローを複数の物理回線２ｂ−１〜２ｂ−ｎに分散して転送すると共に、複数の物理回線２ｂ−１〜２ｂ−ｎを論理的に１本の通信回線として扱う。パケット転送装置１は、例えば、リンクアグリゲーションにより、複数の物理回線２ｂ−１〜２ｂ−ｎを束ねて１本の論理リンクとして扱う。
複数の物理回線２ｂ−１〜２ｂ−ｎは、フローを転送する複数の通信路である。
【００２９】
パケット受信部１２−１〜１２−４には、それぞれ物理回線２ａ−１〜２ａ−４が接続いる。パケット受信部１２−１〜１２−４は、物理回線２ａ−１〜２ａ−４に流れるパケットを受信し、受信したパケットからフロー情報を抽出するものである。ここでフローとは、同一のフロー情報を有するトラヒック（パケット）のことをいう。第１の実施形態において、フロー情報は、パケットの５−ｔｕｐｌｅである。パケット受信部１２−１〜１２−４は、パケット送信部１１のパケット振分部１１１にパケットを出力し、パケット送信部１１の物理回線選択部１１４にフロー情報を出力する。
【００３０】
パケット送信部１１は、パケット振分部１１１と、トラヒック量カウンタ１１２と、トラヒック量測定部１１３と、物理回線選択部１１４と、割当回線登録テーブル１１５と、を備えている。パケット送信部１１は、複数のフローを複数の物理回線２ｂ−１〜２ｂ−ｎに分散して送信（転送）するものである。
トラヒック量カウンタ１１２は、各物理回線２ｂ−１〜２ｂ−ｎのトラヒック量をカウントし、トラヒック量測定部１１３に出力する。
トラヒック量測定部１１３は、各物理回線のトラヒック量を統計処理した使用帯域を算出し、各物理回線の使用帯域をトラヒックデータとして、物理回線選択部１１４に出力する。
【００３１】
物理回線選択部１１４（通信路選択部）には、パケット受信部１２−１〜１２−４からフロー情報が入力され、トラヒック量測定部１１３が測定した各物理回線の使用帯域（トラヒックデータ）が入力される。物理回線選択部１１４は、フロー情報と各物理回線の使用帯域とに基づいて、各フローを、どの物理回線２ｂ−１〜２ｂ−ｎに転送するかを選択する。物理回線選択部１１４は、ハッシュ計算により、同一のフローのパケットは同一の物理回線で転送することができ、かつ、各物理回線２ｂ−１〜２ｂ−ｎに割り当てるトラヒック量を平準化できる。これにより、パケット転送装置１は、フロー間で帯域差がある場合でも、各物理回線２ｂ−１〜２ｂ−ｎの使用帯域や空き帯域などを平準化することができる。
割当回線登録テーブル１１５は、各フローに対して選択された物理回線を登録する記憶部である。
【００３２】
パケット振分部１１１は、複数のフローを、各フローのハッシュ値に基づき、物理回線選択部１１４が選択した各物理回線２ｂ−１〜２ｂ−ｎのいずれかに振り分けるものである。パケット振分部１１１は、割当回線登録テーブル１１５に登録されたフローに属するパケットが到着したならば、そのフローに対して登録された物理回線にパケットを転送する。
【００３３】
図２は、第１の実施形態におけるパケット送信部１１のうち、トラヒック量測定部１１３と物理回線選択部１１４の構成を示す図である。
トラヒック量測定部１１３は、統計処理部１１３１を有している。統計処理部１１３１は、トラヒック量カウンタ１１２から入力された各物理回線２ｂ−１〜２ｂ−ｎのトラヒック量（トラヒック測定データ）の統計処理を行い、各物理回線２ｂ−１〜２ｂ−ｎの使用帯域（トラヒックデータ）を計算する。統計処理部１１３１は、例えば、トラヒック量の統計処理として、所定期間に各物理回線２ｂ−１〜２ｂ−ｎを流れる各トラヒック量の平均値を計算する。しかし、これに限らず、統計処理部１１３１は、トラヒック量の統計処理として、例えば１日のうちに各物理回線２ｂ−１〜２ｂ−ｎを流れる各トラヒック量の最大値を計算してもよい。
【００３４】
物理回線選択部１１４は、ハッシュ値計算部１１４１と、確率分布計算部１１４２とを有している。確率分布計算部１１４２は、確率分布設定テーブル１１４２１を有している。物理回線選択部１１４は、各フローを、どの物理回線に割り当てるかを判断すると共に、各物理回線２ｂ−１〜２ｂ−ｎの使用帯域（トラヒックデータ）に基づき、フローに物理回線２ｂ−１〜２ｂ−ｎを選択するための確率分布を計算する。確率分布計算部１１４２は、各物理回線２ｂ−１〜２ｂ−ｎの使用帯域（トラヒックデータ）から空き帯域を算出する。確率分布計算部１１４２は、各物理回線２ｂ−１〜２ｂ−ｎの物理回線番号を格納したレコードを、各々の空き帯域に比例した数だけ確率分布設定テーブル１１４２１に設定する。これにより、物理回線２ｂ−１〜２ｂ−ｎそれぞれの空き帯域に比例した確率で、フローに割り当てる物理回線２ｂ−１〜２ｂ−ｎの物理回線番号が選択される。物理回線選択部１１４の処理は、後記する図４、図６で詳細に説明する。
物理回線選択部１１４が選択した物理回線番号は、割当回線登録テーブル１１５に登録される。この割当回線登録テーブル１１５は、パケット振分部１１１に参照されて、各フローが物理回線に振り分けられる。
【００３５】
ハッシュ値計算部１１４１は、フロー情報に基づいて、フローのハッシュ値を計算するものである。ハッシュ値計算部１１４１は、例えば、フローを構成するパケットの５−ｔｕｐｌｅに基づいて、当該フローのハッシュ値を計算する。物理回線選択部１１４は、このフローのハッシュ値で確率分布設定テーブル１１４２１を引き、このフローに対する物理回線番号を求める。
【００３６】
図３は、物理回線の割当動作を示す図である。図３の横軸は、時間経過を示している。図３の縦軸には、フロー＃１からフロー＃ｎが列挙されている。各フロー＃１〜＃ｎを示す横線上には、フローを構成する各パケットが矩形で示され、各パケットの上側にはフローに割り当てられた物理回線＃１〜＃３が示されている。ここで物理回線＃１〜＃３は、それぞれ図１に示す物理回線２ｂ−１〜２ｂ−３に対応するものである。
パケット転送装置１が起動して、最初の割当動作を開始するのが、時刻ｔ０である。
時刻ｔ０において、各フロー＃１〜＃ｎは、物理回線選択部１１４によって物理回線＃１〜＃３のいずれかに割り当てられる。フロー＃１は、物理回線＃１に割り当てられる。フロー＃２は、物理回線＃２に割り当てられる。フロー＃３とフロー＃ｎとは、物理回線＃３に割り当てられる。これにより、割当回線登録テーブル１１５には、各フローに割り当てられた物理回線の番号が登録される。
【００３７】
時刻ｔ０〜ｔ１において、各フロー＃１〜＃ｎを構成するパケットが到着する。各フロー＃１〜＃ｎに対する物理回線の割り当ては変化しない。
時刻ｔ１〜ｔ２において、フロー＃１，＃２，＃ｎを構成するパケットは到着しているが、フロー＃３を構成するパケットが到着していない。
時刻ｔ２において、フロー＃３は、物理回線選択部１１４によって物理回線＃２が割り当てられる。これにより、割当回線登録テーブル１１５には、フロー＃３と、フロー＃３に割り当てられた物理回線＃２の情報を含むエントリが再登録される。
以降同様に、所定期間にわたってフロー＃１〜＃ｎを構成するパケットが到着しなくなると、そのフローには、改めて物理回線が割り当てられ、割当回線登録テーブル１１５に再登録される。
【００３８】
図４は、第１の実施形態における物理回線選択処理を示すフローチャートである。
パケット転送装置１が起動すると、図４に示す物理回線選択処理が開始する。
ステップＳ１０において、物理回線選択部１１４は、各フローのパケットを監視する。
ステップＳ１１において、物理回線選択部１１４は、所定期間にわたってパケットが到着しない既存フローが存在するか否かを判断する。物理回線選択部１１４は、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ１３の処理を行い、当該判断条件が成立なかったならば（Ｎｏ）、ステップＳ１２の処理を行う。以下のステップＳ１３〜Ｓ１７の処理により、物理回線選択部１１４は、既存のフローを割当回線登録テーブル１１５に再登録可能である。
【００３９】
ステップＳ１２において、物理回線選択部１１４は、新規のフローを検知したか否かを判断する。物理回線選択部１１４は、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ１４の処理を行い、当該判断条件が成立なかったならば（Ｎｏ）、ステップＳ１０の処理に戻り、以下同様にフローを監視する。ここで、物理回線選択部１１４は、パケットの５−ｔｕｐｌｅが、割当回線登録テーブル１１５に登録されていないならば、新規のフローを検知したと判断する。物理回線選択部１１４は、例えば、パケットからフロー情報を抽出し、そのフロー情報が割当回線登録テーブル１１５に登録されていなければ、新規のフローを検出したと判断する。以下のステップＳ１４〜Ｓ１７の処理により、物理回線選択部１１４は、新規のフローを割当回線登録テーブル１１５に登録可能である。
【００４０】
ステップＳ１３において、物理回線選択部１１４は、割当回線登録テーブル１１５から、当該フローのエントリを削除する。
ステップＳ１４において、物理回線選択部１１４は、確率分布計算部１１４２によって、各物理回線の使用帯域から、それぞれ空き帯域を計算する。
ステップＳ１５において、物理回線選択部１１４は、確率分布計算部１１４２によって、各物理回線の確率分布を計算する。
ステップＳ１６において、物理回線選択部１１４は、ハッシュ値計算部１１４１によって、当該フローのハッシュ値を計算する。
【００４１】
ステップＳ１７において、物理回線選択部１１４は、確率分布とハッシュ値から、当該フローに、物理回線のいずれかを割り当てる。物理回線選択部１１４は、当該フローに対して、各物理回線（通信路）の空き帯域に応じた確率で、いずれかの物理回線（通信路）を選択して、パケット振分部１１１により、フローを選択した物理回線（通信路）に振り分ける。よって、物理回線選択部１１４は、各物理回線の空き帯域を平準化することができる。
【００４２】
ステップＳ１８において、物理回線選択部１１４は、割当回線登録テーブル１１５に、当該フローおよび当該フローに割り当てた物理回線の組合せのエントリを登録する。これにより、当該フローがパケット振分部１１１に到着すると、パケット振分部１１１は、当該フローに割り当てられた物理回線に、そのパケットを転送することができる。
物理回線選択部１１４は、ステップＳ１８の処理が終了すると、ステップＳ１０の処理に戻って繰り返す。
【００４３】
図４に示すステップＳ１１の処理により、物理回線選択部１１４は、フローのパケットが所定期間内に通過したならば、当該フローを振り分ける物理回線（通信路）を保持する。物理回線選択部１１４は、フローのパケットが所定時間にわたって通過しないならば、このフローを振り分ける物理回線（通信路）を再選択する。
物理回線選択部１１４がパケットを監視する所定期間は、複数の物理回線の転送遅延時間の差よりも長い時間である。これにより、物理回線選択部１１４は、各フローのトラヒック量が時間ごとに変動する場合においても各物理回線（通信路）の使用帯域を平準化できるとともに、既存のフローに物理回線を再割り当てしたときに、そのフローを構成するパケットの順序が逆転することを防止できる。
【００４４】
図５は、割当回線登録テーブル１１５を示す概略の構成図である。
図５に示すように、割当回線登録テーブル１１５は、フロー番号欄１１５ａと、フロー情報欄１１５ｂと、物理回線番号欄１１５ｃのフィールドを備え、各フロー＃１〜＃ｎごとにレコードが登録されている。
フロー番号欄１１５ａは、各フロー＃１〜＃ｎの番号を格納するフィールドである。
フロー情報欄１１５ｂは、各フローを構成するパケットの５−ｔｕｐｌｅを格納するフィールドである。
物理回線番号欄１１５ｃは、各フローに割り当てた物理回線の番号を格納するフィールドである。
このように、割当回線登録テーブル１１５は、各フローに割り当てた物理回線の番号を格納している。これにより、既存のフローに対する物理回線の割当処理を省略することができる。
【００４５】
図６（ａ）〜（ｃ）は、第１の実施形態における確率分布計算部１１４２の計算例を示す図である。
図６（ａ）は、この計算例におけるトラヒック量測定部１１３が統計処理した各物理回線の使用帯域（トラヒックデータ）と、確率分布計算部１１４２が算出した空き帯域とを示している。
物理回線番号は、各物理回線を示す番号である。
使用帯域は、例えば、所定期間に各物理回線に流れるトラヒック量の平均値である。物理回線番号と、各物理回線の使用帯域との組合せであるトラヒックデータは、トラヒック量測定部１１３から確率分布計算部１１４２に入力される。
転送帯域は、所定時間に各物理回線が転送可能な最大トラヒック量を示している。確率分布計算部１１４２は、各物理回線の転送帯域を不図示の記憶部に記憶している。
空き帯域は、各物理回線の帯域の余裕を示している。確率分布計算部１１４２は、各物理回線について、転送帯域から使用帯域を減算して、この空き帯域を算出する。
物理回線＃１の空き帯域は、１［Ｍｂｐｓ］である。物理回線＃２の空き帯域は、５［Ｍｂｐｓ］である。物理回線＃３の空き帯域は、６［Ｍｂｐｓ］である。
【００４６】
図６（ｂ）は、この計算例における確率分布計算部１１４２が算出した確率分布設定テーブル１１４２１を示している。
確率分布設定テーブル１１４２１において、物理回線＃１に係るレコードの数は、１である。物理回線＃２に係るレコードの数は、５である。物理回線＃３に係るレコードの数は、６である。確率分布設定テーブル１１４２１の各物理回線に係るレコードの数は、空き帯域に比例している。
物理回線選択部１１４は、ハッシュ値計算部１１４１によって各フローのハッシュ値を算出する。この計算例においてハッシュ値は、０から１１の整数値のうちのいずれかである。ハッシュ値の算出確率は、各数値で均等である。これにより、物理回線選択部１１４は、物理回線２ｂ−１〜２ｂ−ｎそれぞれの空き帯域に比例した確率で、フローに割り当てる物理回線２ｂ−１〜２ｂ−ｎの物理回線番号を求めることができる。
【００４７】
図６（ｃ）は、この計算例における各物理回線の選択確率の例を示している。
物理回線＃１の選択確率は、１２分の１である。物理回線＃２の選択確率は、１２分の５である。物理回線＃３の選択確率は、２分の１である。各物理回線の選択確率は、空き帯域に比例している。よって、物理回線選択部１１４は、空き帯域を多く有する物理回線に、新たなフローと所定期間パケットが無いフローとを振り分け、各物理回線のトラヒック量を平準化できる。これにより、フロー間で帯域差がある場合でも、各物理回線の空き帯域を平準化し、物理回線の転送帯域の無駄が生じなくなる。
【００４８】
（第２の実施形態）
第２の実施形態のパケット送信部１１Ａは、図２に示す第１の実施形態のパケット送信部１１とは異なり、空き帯域が最も大きい物理回線（通信路）を選択する。
図７は、第２の実施形態におけるパケット送信部１１Ａの一部構成を示す図である。
第２の実施形態のパケット送信部１１Ａは、第１の実施形態とは異なる物理回線選択部１１４Ａを備えている。第２の実施形態の物理回線選択部１１４Ａは、第１の実施形態とは異なり、最大空き帯域回線選択部１１４３を備えている。それ以外の構成は、第１の実施形態のパケット送信部１１と同様である。
最大空き帯域回線選択部１１４３は、各物理回線の使用帯域から、空き帯域を算出する。新たなフローや、所定期間にわたりパケットが無いフローには、空き帯域が最も大きい物理回線を選択する。
【００４９】
図８は、第２の実施形態における物理回線選択処理を示すフローチャートである。図４に示す第１の実施形態のフローチャートと同一の要素には同一の符号を付与している。
パケット転送装置１が起動すると、図８に示す物理回線選択処理が開始する。
処理が開始したのち、ステップＳ１０〜Ｓ１４の処理は、図４に示すステップＳ１０〜Ｓ１４の処理と同様である。
ステップＳ１４の処理が終了したならば、物理回線選択部１１４Ａは、ステップＳ１７Ａの処理を行う。
【００５０】
ステップＳ１７Ａにおいて、パケット送信部１１Ａは、最大空き帯域回線選択部１１４３により、当該フローに、空き帯域が最も大きい物理回線を割り当てる。すなわち、最大空き帯域回線選択部１１４３は、当該フローに対して、空き帯域が最も大きい物理回線（通信路）を選択する。
物理回線選択部１１４Ａは、ステップＳ１７Ａの処理が終了すると、ステップＳ１８の処理を行う。ステップＳ１８の処理は、図４に示すステップＳ１８の処理と同様である。
パケット送信部１１Ａは、フローのハッシュ値を計算して確率分布を算出するなど、時間の掛かる複雑な処理を行うことなく、フローに物理回線を割り当てている。これにより、パケット送信部１１Ａは、第１の実施形態のパケット送信部１１よりも物理回線の割り当ての計算量が少なくて済み、よって、更に多数のフローを扱うことができる。
【００５１】
（第３の実施形態）
第３の実施形態のパケット転送システム５は、第１と第２の実施形態のパケット転送装置１とは異なり、フローをパスに割り当てて、そのパスが跨がる物理回線を決定している。パケット転送システム５は、パスの使用帯域を平準化する。第１と第２の実施形態のパケット転送装置が一つの物理回線区間の使用帯域の平準化するのに対し、第３の実施形態のパケット転送システムは、複数のパケット転送装置を跨がる複数のパス間の使用帯域の平準化が可能とする。これにより、局所的な物理回線の使用帯域の平準化と比較して、ネットワーク全体の帯域の無駄を更に少なくすることができる。
【００５２】
図９は、第３の実施形態におけるパケット転送システム５を示す概略の構成図である。
図９に示すように、パケット転送システム５は、相互に通信可能に接続された複数のパケット転送装置１Ｂ−１〜１Ｂ−３と、これらと管理用通信回線６−１〜６−３で接続され、これらを統括して制御するトラヒック監視装置４とを含んで構成される。パケット転送システム５は、パケット転送装置１Ｂ−１〜１Ｂ−３間を接続する物理回線に跨がるパスにフローを転送するものである。
パケット転送装置１Ｂ−１〜１Ｂ−３は、接続されている各物理回線の使用帯域を測定して、それぞれ管理用通信回線６−１〜６−３を介して使用帯域のデータをトラヒック監視装置４に転送する。
トラヒック監視装置４は、パケット転送装置１Ｂ−１〜１Ｂ−３から、トラヒック量カウンタ１１２がカウントした各物理回線の使用帯域のデータを受信する。これにより、トラヒック監視装置４は、各物理回線の使用帯域のデータを各パス単位で集約した使用帯域を算出し、各パスの使用帯域のデータを管理用通信回線６−１〜６−３を介して各パケット転送装置１Ｂ−１〜１Ｂ−３に送信する。
【００５３】
パケット転送装置１Ｂ−１には、入力側に物理回線２ａ−１〜２ａ−４が接続され、出力側に物理回線２ｂ−１，２ｂ−２が接続される。パケット転送装置１Ｂ−２には、入力側に物理回線２ｂ−２が接続され、出力側に物理回線２ｃ−１が接続される。パケット転送装置１Ｂ−３には、入力側に物理回線２ｂ−１と物理回線２ｃ−１とが接続され、出力側に物理回線２ｄ−１〜２ｄ−ｎが接続される。
【００５４】
パケット転送装置１Ｂ−１とパケット転送装置１Ｂ−３との間に２つのパス３ｂ−１，３ｂ−２（通信路）が存在する。パス３ｂ−１は、物理回線２ｂ−１に跨がっている。パス３ｂ−２は、物理回線２ｂ−２と物理回線２ｃ−１とに跨がっている。パス３ｂ−１，３ｂ−２は、フローを転送する複数の通信路である。
【００５５】
図１０は、第３の実施形態におけるトラヒック監視装置４とパケット転送装置１Ｂ−１を示す図である。なお、パケット転送装置１Ｂ−２，１Ｂ−３（図９参照）も、パケット転送装置１Ｂ−１と同様に構成され、同様に管理用通信回線６−２，６−３でトラヒック監視装置４に接続されるが、図１０では図示を省略している。
トラヒック監視装置４は、トラヒック量集約部４１と、通信部４２とを含んで構成されている。図１０に示すトラヒック監視装置４は、パケット転送装置１Ｂ−１と管理用通信回線６−１で接続される。
通信部４２は、各パケット転送装置１Ｂ−１〜１Ｂ−３との間でデータを送受信するものである。通信部４２は、各物理回線のトラヒック量のデータを各パケット転送装置１Ｂ−１〜１Ｂ−３から受信し、各パスの使用帯域のデータを管理用通信回線６−１〜６−３を介してそれぞれパケット転送装置１Ｂ−１〜１Ｂ−３に送信する。
【００５６】
トラヒック量集約部４１は、各物理回線のトラヒック量のデータをパス単位で集約して統計処理を行う。トラヒック量集約部４１は、物理回線２ｂ−２のトラヒック量と物理回線２ｃ−１のトラヒック量とを統計処理して、算出したうちの大きい方をパス３ｂ−２の使用帯域（トラヒックデータ）とする。トラヒック量集約部４１は、物理回線２ｂ−１のトラヒック量を統計処理して、パス３ｂ−１の使用帯域（トラヒックデータ）を算出する。更に、トラヒック量集約部４１は、統計処理した各パスの使用帯域のデータ（トラヒックデータ）を、通信部４２によって、管理用通信回線６−１〜６−３を介してそれぞれパケット転送装置１Ｂ−１〜１Ｂ−３に送信する。
【００５７】
第３の実施形態のパケット転送装置１Ｂ−１は、第１の実施形態のパケット転送装置１とは異なるパケット送信部１１Ｂを備え、更に通信部１３を備えている。パケット送信部１１Ｂは、第１の実施形態と同様な構成ながらも異なる物理回線選択処理を行う物理回線選択部１１４Ｂを備え、かつ、トラヒック量測定部１１３を備えていない。
【００５８】
通信部１３は、トラヒック監視装置４との間でデータを送受信するものである。通信部１３は、トラヒック量カウンタ１１２がカウントした各物理回線のトラヒック量のデータをトラヒック監視装置４に送信し、各パスの使用帯域のデータをトラヒック監視装置４から受信する。
物理回線選択部１１４Ｂは、各パスのトラヒック量を平準化するように、パスのいずれかにフローを割り当てて、割り当てたパスが跨ぐ物理回線にフローを割り当てる。よって、フロー間の帯域差により、パス間で使用帯域に差が生じた場合でも、物理回線選択部１１４Ｂは、各パス間で使用帯域が均等になるようにフローを割り当てる。これにより、パケット転送システム５は、パスの転送帯域の無駄が生じなくなり、パスで使用帯域を管理して平準化することができる。
【００５９】
図１１は、第３の実施形態における物理回線選択処理を示すフローチャートである。図４に示す第１の実施形態のフローチャートと同一の要素には同一の符号を付与している。
処理が開始したのち、ステップＳ１０〜Ｓ１３の処理は、図４に示すステップＳ１０〜Ｓ１３の処理と同様である。
ステップＳ１４Ｂにおいて、物理回線選択部１１４Ｂは、確率分布計算部１１４２（図２参照）によって、トラヒック監視装置４から受信した各パスの使用帯域（トラヒックデータ）から、それぞれ空き帯域を計算する。
ステップＳ１５Ｂにおいて、物理回線選択部１１４Ｂは、確率分布計算部１１４２によって、各パスの確率分布を計算する。
ステップＳ１６において、物理回線選択部１１４Ｂは、図４のステップＳ１６の処理と同様に、ハッシュ値計算部１１４１（図２参照）によって、当該フローのハッシュ値を計算する。
【００６０】
ステップＳ１７Ｂにおいて、物理回線選択部１１４Ｂは、確率分布とハッシュ値から、当該フローに、パスのいずれかを割り当てる。
ステップＳ１７Ｃにおいて、物理回線選択部１１４Ｂは、割り当てたパスに対応する物理回線を決定する。以降、この物理回線を、「割り当てた物理回線」と記載している場合がある。これにより、パケット振分部１１１は、このフローを、物理回線選択部１１４Ｂが選択したパスが跨がる物理回線に振り分けることができる。
【００６１】
ステップＳ１８において、物理回線選択部１１４Ｂは、割当回線登録テーブル１１５に、当該フローおよび当該フローに割り当てた物理回線の組合せのエントリを登録する。これにより、当該フローがパケット振分部１１１に到着すると、パケット振分部１１１は、当該フローに割り当てられた物理回線に、そのパケットを転送することができる。
物理回線選択部１１４Ｂは、ステップＳ１８の処理が終了すると、ステップＳ１０の処理に戻って繰り返す。
物理回線選択部１１４Ｂがパケットを監視する所定期間は、複数のパスの転送遅延時間の差よりも長い時間に設定される。これにより、既存のフローにパスを割り当てたときに、そのフローを構成するパケットの順序が逆転することを防止できる。
【００６２】
（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｇ）のようなものがある。
【００６３】
（ａ）  上記実施形態では、５−ｔｕｐｌｅをフロー情報として定義し、５−ｔｕｐｌｅが同一のパケット群をフローとして定義している。しかし、これに限らず、５−ｔｕｐｌｅのうちの一部をフロー情報として定義し、このフロー情報が同一のパケット群をフローとして定義してもよい。例えば、送信元ＩＰアドレス、宛先ＩＰアドレス、および、プロトコルタイプが同一のパケット群を、フロー情報として定義してもよい。
【００６４】
（ｂ）  第１の実施形態の確率分布計算部１１４２は、各物理回線の転送帯域から使用帯域を減算して空き帯域を算出し、この空き帯域に応じた確率で、各フローに割り当てる物理回線を選択している。しかし、これに限らず、確率分布計算部は、各物理回線の使用帯域の最大値から各物理回線の使用帯域を減算して、最大使用帯域に対する余剰帯域を算出し、この余剰帯域に応じた確率で物理回線を割り当ててもよい。これにより、確率分布計算部は、各物理回線の使用帯域を、最大使用帯域に平準化することができる。
【００６５】
（ｃ）  第１の実施形態のトラヒック量測定部１１３は、トラヒック量カウンタ１１２から取得した各物理回線のトラヒック量に基づいて、各物理回線の使用帯域を測定している。しかし、これに限らず、トラヒック量測定部１１３は、パケット受信部１２−１〜１２−４が測定した各フローの使用帯域と、割当回線登録テーブル１１５とに基づき、各フローを振り分けた物理回線それぞれで使用帯域を合計してもよい。これにより、パケット転送装置は、トラヒック量カウンタ１１２を省略し、かつ、各物理回線の使用帯域を測定可能である。
【００６６】
（ｄ）  第３の実施形態の物理回線選択部１１４Ｂは、複数の物理回線を跨がるパス上で、最も空き帯域が大きいパスに係る物理回線を選択してもよい。これにより、フローのハッシュ値を計算して確率分布を算出することなしに、フローにパスを跨がる物理回線を割り当てることができ、より多くのフローを扱うことができる。
【００６７】
（ｅ）  第１の実施形態の確率分布計算部は、例えば、逆数などに代表されるような、入力値が増加するごとに出力値が減少する関数で各物理回線の使用帯域を演算し、その演算の出力値に応じた確率で物理回線を割り当ててもよい。
【００６８】
（ｆ）  第２の実施形態の物理回線選択部は、各物理回線の使用帯域のうち最小のものを判断し、その物理回線をフローに割り当ててもよい。
【００６９】
（ｇ）  第１の実施形態の物理回線選択部１１４は、各物理回線の空き帯域に応じた確率で、いずれかの物理回線を選択できればよい。例えば、物理回線選択部１１４は、フロー情報に依らない乱数を発生させて、確率分布設定テーブル１１４２１のレコード数による剰余を算出し、その剰余で確率分布設定テーブル１１４２１のいずれかのレコードを選択することにより、フローに割り当てる物理回線番号を選択してもよい。
【符号の説明】
【００７０】
１，１Ｂ−１〜１Ｂ−３，１Ｃ  パケット転送装置
１１，１１Ａ，１１Ｂ，１１Ｃ  パケット送信部
１１１  パケット振分部
１１２  トラヒック量カウンタ
１１３  トラヒック量測定部
１１３１  統計処理部
１１４，１１４Ａ  物理回線選択部  （通信路選択部）
１１４Ｂ  物理回線選択部
１１４１  ハッシュ値計算部
１１４２  確率分布計算部
１１４２１  確率分布設定テーブル
１１４３  最大空き帯域回線選択部
１１５  割当回線登録テーブル
１１６  ハッシュ選択部
１２−１〜１２−４  パケット受信部
１３  通信部
２ａ−１〜２ａ−４，２ｂ−１〜２ｂ−ｎ，２ｃ−１，２ｄ−１，２ｄ−２  物理回線  （通信路）
３ａ−１，３ａ−２，３ｂ−１，３ｂ−２  パス  （通信路）
４  トラヒック監視装置
４１  トラヒック量集約部
４２  通信部
５  パケット転送システム
６−１，６−２，６−３  管理用通信回線
【図１】
2015050527.tif 000003
【図２】
2015050527.tif 000004
【図３】
2015050527.tif 000005
【図４】
2015050527.tif 000006
【図５】
2015050527.tif 000007
【図６】
2015050527.tif 000008
【図７】
2015050527.tif 000009
【図８】
2015050527.tif 000010
【図９】
2015050527.tif 000011
【図１０】
2015050527.tif 000012
【図１１】
2015050527.tif 000013
【図１２】
2015050527.tif 000014