(57)【要約】【課題】  階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、複数のデータセンターの中の負荷均衡装置に対応する現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡装置、負荷均衡方法及び階層化データセンターシステムを提供する。【解決手段】  負荷均衡装置は現在データセンターと下層データセンターとのリソース使用状態に基づいて、現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。本発明によると、階層化データセンターシステムの構成の多様性と柔軟性を向上し、階層化データセンターシステムを構成する各データセンターのリソース使用状態に応じて、できるだけユーザに近くて且つリソースがアイドル状態であるデータセンターによってユーザの要求を処理し、階層化データセンターシステムにおける負荷をさらに均衡にし、ユーザ要求の応答速度を向上し、これにより階層化データセンターシステムのサービス効率を向上することができる。【選択図】図１
2013168139.tif 000002
【特許請求の範囲】
【請求項１】
階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、前記複数のデータセンターの中の負荷均衡装置に対応する現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡装置であって、
前記負荷均衡装置は、前記現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう
ことを特徴とする負荷均衡装置。
【請求項２】
前記負荷均衡装置は、さらに前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する上層データセンターとの間のリンク状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう
ことを特徴とする請求項１に記載の負荷均衡装置。
【請求項３】
前記負荷均衡装置は、さらに負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう
ことを特徴とする請求項１または２に記載の負荷均衡装置。
【請求項４】
前記負荷均衡装置は、ネットワーク層のヘッダ情報を利用して負荷トラフィックを構成するパケットのプロトコル種別を判定する
ことを特徴とする請求項３に記載の負荷均衡装置。
【請求項５】
前記現在データセンターのリソース使用状態が所定の第一の閾値以下である場合、前記負荷均衡装置は前記現在データセンターに伝送された負荷トラフィックを現在データセンターに割り当て、
前記現在データセンターのリソース使用状態が前記第一の閾値より大きく且つ前記第一の閾値より大きい所定の第二の閾値以下である場合、前記負荷均衡装置は前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する前記上層データセンターとの間のリンク状態、及び／または負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行ない、
前記現在データセンターのリソース使用状態が所定の第二の閾値より大きい場合、前記負荷均衡装置は前記下層データセンターのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックを前記下層データセンターあるいは前記上層データセンターに割り当てる
ことを特徴とする請求項１に記載の負荷均衡装置。
【請求項６】
少なくとも負荷トラフィックと状態メッセージを含むパケットを送受信する通信インターフェースと、
前記パケットの少なくとも送信元アドレスと宛先アドレスを含むヘッダ情報を変更する転送ユニットと、
前記現在データセンターのリソース使用状態および前記状態メッセージによって取得した前記下層データセンターのリソース使用状態が記憶さている記憶装置と、
前記記憶装置に記憶されているリソース使用状態および前記通信インターフェースにより受信したパケットのヘッダ情報に基づいて、前記転送ユニットの負荷トラフィックを構成するパケットに対する割り当てを制御する処理ユニットと、を備える
ことを特徴とする請求項１に記載の負荷均衡装置。
【請求項７】
階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、前記複数のデータセンターの中の現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡方法であって、
前記現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態を判定する判定ステップと、
前記判定ステップの判定結果に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう割り当てステップと、を含む
ことを特徴とする負荷均衡方法。
【請求項８】
前記判定ステップにおいて、さらに前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する前記上層データセンターとの間のリンク状態に対して判定を行なう
ことを特徴とする請求項７に記載の負荷均衡方法。
【請求項９】
前記判定ステップにおいて、さらに負荷トラフィックを構成するパケットのプロトコル種別に対して判定を行なう
ことを特徴とする請求項７または８に記載の負荷均衡方法。
【請求項１０】
前記判定ステップにおいて、ネットワーク層のヘッダ情報を利用して負荷トラフィックを構成するパケットのプロトコル種別を判定する
ことを特徴とする請求項９に記載の負荷均衡方法。
【請求項１１】
前記判定ステップにおいて、前記現在データセンターのリソース使用状態が所定の第一の閾値以下であると判定した場合、前記割り当てステップは前記現在データセンターに伝送された負荷トラフィックを現在データセンターに割り当て、
前記判定ステップにおいて、前記現在データセンターのリソース使用状態が前記第一の閾値より大きく且つ前記第一の閾値より大きい所定の第二の閾値以下であると判定した場合、前記割り当てステップは前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する前記上層データセンターとの間のリンク状態、及び／または負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行ない、
前記判定ステップにおいて、前記現在データセンターのリソース使用状態が所定の第二の閾値より大きいと判定した場合、前記割り当てステップは前記下層データセンターのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックを前記下層データセンターあるいは前記上層データセンターに割り当てる
ことを特徴とする請求項７に記載の負荷均衡方法。
【請求項１２】
階層化方法によって複数のデータセンターを接続して構成され、各データセンターとそれぞれ対応する複数の負荷均衡装置を含む階層化データセンターシステムであって、
各負荷均衡装置は、本負荷均衡装置に対応する現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう
ことを特徴とする階層化データセンターシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータセンター負荷均衡技術に関し、特に階層化データセンターシステムにおけるサブネットワーク間の負荷均衡に用いられる負荷均衡装置、負荷均衡方法及び当該負荷均衡装置と負荷均衡方法を用いた階層化データセンターシステムに関する。
【背景技術】
【０００２】
現在、ネットワーク応用、特に日増しに発展するモノのネットワーク応用において、階層化データセンターシステムは幅広く使用されている。このような階層化システムのサービス効率を向上するためにはサブネットワーク間の負荷均衡が必要である。
【０００３】
特許文献１では、アグリゲータを利用して、階層化の形式と支店（即ち、後述の中のサイトまたはデータセンター）設備配置を減少する方法で支店設備の集合と負荷均衡を提供し、アグリゲータ間のインタラクティブによって、異なる支店の設備情報を識別し、リソース要求がすべての支店と分岐設備を跨って全体の負荷均衡を図れるようにする技術が提案されている。
【０００４】
また、特許文献２では、ユーザのＩＰアドレスに基づいてサービス提供サイトを選択する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＵＳ２００８／００３４１１１Ａ１
【特許文献２】ＵＳ７，５２３，１７０Ｂ１
【０００６】
しかしながら、上記の従来技術には以下のような問題点がある。先ず、アグリゲータを介して各支店に接続して各支店の設備情報を収集する場合、ネットワーク階層化構成の多様性と柔軟性が制限されてしまう。また、サイトの選択方法として、サービス種別の区別を考慮せず、既存の接続とセッションの状態のみに基づいて新たに到着した接続要求を処理する。このような処理方法は、サービス種別が異なる可能性があっても、それらが得る負荷均衡処理は同じになってしまう。例えば、大量のネットワークトラフィックが発生するサービスがユーザから離れたサイトに割り当てられ、これによりネットワークリソースが占用されてネットワークの遅延が増加し、全体の階層化構成のサービス提供効率が低下してしまう。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記の技術問題を解決するために、階層化データセンターシステムの構成の多様性と柔軟性を向上し、階層化データセンターシステムのサービス効率を向上することができる負荷均衡装置、負荷均衡方法及び階層化データセンターシステムを提供することを目的とする。
【０００８】
また、本発明は、上記の技術問題を解決するために、サービス要求のサービス種別を区別し、階層化データセンターシステムのサービス効率を向上することができる負荷均衡装置、負荷均衡方法及び階層化データセンターシステムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述の目的を達するための本発明に係わる負荷均衡装置は、階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、前記複数のデータセンターの中の当該負荷均衡装置に対応する現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡装置であって、前記現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００１０】
上述の目的を達するための本発明に係わる負荷均衡方法は、階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、前記複数のデータセンターの中の現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡方法であって、前記現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態を判定する判定ステップと、前記判定ステップの判定結果に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう割り当てステップと、を含む。
【００１１】
上述の目的を達するための本発明に係わる階層化データセンターシステムは、階層化方法によって複数のデータセンターを接続して構成され、各データセンターとそれぞれ対応する複数の負荷均衡装置を含む階層化データセンターシステムであって、各負荷均衡装置は、本負荷均衡装置に対応する現在データセンターと、前記現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターとのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００１２】
本発明の負荷均衡装置、負荷均衡方法及び階層化データセンターシステムによれば、階層化データセンターシステムの構成の多様性と柔軟性を向上し、階層化データセンターシステムを構成する各データセンターのリソース使用状態に応じて、できるだけユーザに近くてリソースがアイドル状態にあるデータセンターによりユーザ要求を処理し、階層化データセンターシステムにおける負荷をもっと均衡にし、ユーザ要求の応答速度を向上し、これにより階層化データセンターシステムのサービス効率を向上することができる。
【００１３】
上述した負荷均衡装置においては、さらに前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する上層データセンターとの間のリンク状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なってもよい。
【００１４】
上述した負荷均衡方法においては、前記判定ステップにおいて、さらに、前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する上層データセンターとの間のリンク状態を判定してもよい。
【００１５】
これにより、アイドル状態にあるリンクによりデータを転送し、転送されたサービスのネットワークリンクに対する圧力を緩和し、階層化データセンターシステムのサービス効率をさらに向上することができる。
【００１６】
上述した負荷均衡装置においては、さらに、負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なってもよい。
【００１７】
前記負荷均衡方法においては、前記判定ステップにおいて、さらに、負荷トラフィックを構成するパケットのプロトコル種別を判定してもよい。
【００１８】
これにより、サービスの品質をより確実に保証し、転送されたサービスのネットワークリンクに対する圧力を減少し、ネットワーク輻輳によって転送サービスに及ぼすより大きな応答遅延を防止し、これにより階層化データセンターシステムのサービス効率をさらに向上することができる。
【００１９】
上述した負荷均衡装置においては、ネットワーク層のヘッダ情報を利用して負荷トラフィックを構成するパケットのプロトコル種別を判定してもよい。
【００２０】
前記負荷均衡装置においては、前記判定ステップにおいて、ネットワーク層のヘッダ情報を利用して負荷トラフィックを構成するパケットのプロトコル種別を判定してもよい。
【００２１】
これにより、ネットワーク層のヘッダ情報を利用して負荷均衡装置の処理速度を加速することができる。
【００２２】
上述した負荷均衡装置において、前記現在データセンターのリソース使用状態が所定の第一の閾値以下である場合、前記負荷均衡装置は前記現在データセンターに伝送された負荷トラフィックを現在データセンターに割り当ててもよく、前記現在データセンターのリソース使用状態が前記第一の閾値より大きく且つ前記第一の閾値より大きい所定の第二の閾値以下である場合、前記負荷均衡装置は前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する前記上層データセンターとの間のリンク状態、及び／または負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なってもよく、前記現在データセンターのリソース使用状態が所定の第二の閾値より大きい場合、前記負荷均衡装置は前記下層データセンターのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックを前記下層データセンターあるいは前記上層データセンターに割り当ててもよい。
【００２３】
上述した負荷均衡装置において、前記判定ステップにおいて前記現在データセンターのリソース使用状態が所定の第一の閾値以下であると判定した場合、前記割り当てステップは前記現在データセンターに伝送された負荷トラフィックを現在データセンターに割り当ててもよく、前記判定ステップにおいて前記現在データセンターのリソース使用状態が前記第一の閾値より大きく且つ前記第一の閾値より大きい所定の第二の閾値以下であると判定した場合、前記割り当てステップは前記現在データセンターと、前記下層データセンターおよび前記現在データセンターに接続され且つ現在データセンターの上層に位置する前記上層データセンターとの間のリンク状態、及び／または負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なってもよく、前記判定ステップにおいて前記現在データセンターのリソース使用状態が所定の第二の閾値より大きいと判定した場合、前記割り当てステップは前記下層データセンターのリソース使用状態に基づいて、前記現在データセンターに伝送された負荷トラフィックを前記下層データセンターあるいは前記上層データセンターに割り当ててもよい。
【００２４】
これにより、複数の閾値を使用してデータセンターの性能を量子化することで、データセンターの性能にもっと適合するように負荷トラフィックの割り当てを最適化することができ、これにより負荷トラフィックをさらに柔軟且つ適切に割り当て、階層化データセンターシステムのサービス効率をさらに向上することができる。
【００２５】
上述した負荷均衡装置において、少なくとも負荷トラフィックと状態メッセージを含むパケットを送受信する通信インターフェースと、前記パケットの少なくとも送信元アドレスと宛先アドレスを含むヘッダ情報を変更する転送ユニットと、前記現在データセンターのリソース使用状態と前記状態メッセージにより取得した前記下層データセンターのリソース使用状態とを記憶した記憶装置と、前記記憶装置に記憶されているリソース使用状態と前記通信インターファースによって受信したパケットのヘッダ情報とに基づいて、前記転送ユニットの負荷トラフィックを構成するパケットに対する割り当てを制御する処理ユニットと、を備えてもよい。
【００２６】
これにより、簡単な構成で本発明の負荷均衡装置を実現することができる。
【発明の効果】
【００２７】
本発明に係わる負荷均衡装置、負荷均衡方法及び階層化データセンターシステムによると、新たに到着したサービス要求を区別し、現在サイト状態とネットワーク状態に基づいて、異なるプロトコル種別のサービスに対して異なる割り当てメカニズムを採用し、ユーザに近いサイトにはもっと多くのネットワークリソースの占用を必要とするサービス要求に応答させ、ユーザから離れたサイトにはネットワークリソースの占用が少ないサービス要求に応答させ、階層化システムの異なるサイト間の通信のネットワークリソースに対する需要を減少した。また、本発明において新たに到着したサービスの情報の区別には主にネットワーク層のヘッダ情報を使用するため、負荷均衡装置の処理速度がルータの線速度に達する可能性がある。従って、例えば、災害による大量のセンサー報告メッセージ、あるいはセンサーノードのスリープ機能のエラーによる大量の報告メッセージ、あるいはユーザのホットスポットコンテンツに対する同時大量クリック、ひいてはネットワークからの悪意の攻撃などのような、区域性突発的大量負荷が発生した場合、本発明の技術案を採用することで、一部の負荷を速やかに他の区域のデータセンターに配信して処理し、これにより当該区域のシステムの超負荷の状況を改善することができる。最後に、システムの階層化構成は末端サイトをユーザ側に近付けて、正常状態時の大部分のサービスをローカル末端サイトに残して処理し、これにより、ローカルサービスの応答速度が向上し、上層データセンターの負荷均衡装置に対する性能要求が低減される。
【図面の簡単な説明】
【００２８】
【図１】第一の実施形態に係わる階層化データセンターシステムの構成図である。
【図２】第一の実施形態に係わる負荷均衡装置の一つの具体的な実施例のモジュール図である。
【図３】状態メッセージのメッセージフォーマットの一例である。
【図４】リソース使用状態の一例である。
【図５】負荷割り当てマッピング情報の一例である。
【図６】第一の実施形態に係わる負荷均衡方法のフローチャートである。
【図７】第一の実施形態に係わる負荷均衡方法の一つの具体的な実施例のフローチャートである。
【図８】リンク状態の一例である。
【図９】閾値情報の一例ある。
【図１０】第四の実施形態に係わる負荷均衡方法の一つの具体的な実施例のフローチャートである。
【図１１】データ割り当て処理の一例の時系列図である。
【図１２】データ割り当て処理の一例の時系列図である。
【図１３】データ割り当て処理の一例の時系列図である。
【図１４】データ割り当て処理の一例の時系列図である。
【図１５】データ割り当て処理の一例の時系列図である。
【図１６】データ割り当て処理の一例の時系列図である。
【発明を実施するための形態】
【００２９】
〔１．第一の実施形態〕
【００３０】
以下、図面に基づいて本発明の第一の実施形態について詳しく説明する。  
＜１−１．階層化データセンターシステムの全体構成＞
【００３１】
以下、図１に基づいて本実施形態に係わる階層化データセンターシステムの全体構成について具体的に説明する。図１は第一の実施形態に係わる階層化データセンターシステムの構成図である。
【００３２】
本実施形態において、階層化データセンターシステムは階層化方法によって接続された複数のデータセンター（即ちサイト）から構成されている。そのうち、ここでの接続はデータセンターとの間で通信さえ可能であればよく、有線接続方法や無線接続方法等の様々な通信接続方法を含む。例えば、図１において、階層化データセンターシステムは、データセンター１１  １０１、データセンター２１  １０２、データセンター２２  １０３、データセンター３１  １０４、データセンター３２  １０５、データセンター３３  １０６およびデータセンター３４  １０７の七つのデータセンターから構成されている。これらのデータセンターはツリー型トポロジーによって接続されており、そのうち、ツリー型トポロジーにおいて根部方向（図１においては上方）に位置するサイトは親サイト（上層データセンター）と称し、葉方向（図1においては下方）に位置するサイトは子サイト（下層データセンター）と称し、それぞれのデータセンターは自分の親サイトと子サイトとのみ通信する。例えば、データセンター１１  １０１は子サイトであるデータセンター２１  １０２とデータセンター２２  １０３を有し、データセンター２１  １０２は子サイトであるデータセンター３１  １０４とデータセンター３２  １０５を有し、およびデータセンター２２  １０３は子サイトであるデータセンター３３  １０６とデータセンター３４  １０７を有する。
【００３３】
本実施形態に係わる階層化データセンターシステムにおいて、データセンターは異なる物理位置に分布し、それぞれ自分に属するローカルユーザと接続する。例えば、図１において、データセンター３１  １０４は、センサーノード１０８から構成されたセンサーグループ１  １０９およびユーザ端末１１０から構成されたユーザグループ１  １１１と接続する。同時に、データセンター３１  １０４はさらにその他のローカルユーザと接続することができ、図の中のその他の六つのサイトも様々なユーザあるいはユーザグループと接続することができる（図示せず）。
＜１−２．データセンター＞
【００３４】
以下、引き続き図１を参照して本実施形態に係わるデータセンターについて詳しく説明する。
【００３５】
本実施形態において、データセンターはローカルユーザと接続し、当該ローカルユーザとの間で負荷トラフィックなどを伝送することができる。また、データセンターはさらにその他のデータセンターと接続し、その他のデータセンターとの間で負荷トラフィックと状態メッセージなどを伝送することができる。データセンターは負荷均衡装置（均衡装置）、データセンターイントラネットおよびサーバグループ（ローカルサーバグループ）を備える。そのうち、負荷均衡装置は本データセンターに伝送された負荷トラフィックに対して割り当て行なう。具体的には、例えば負荷トラフィックの割り当ては本データセンターによって処理し、あるいは負荷トラフィックを本データセンターに接続された上層データセンターもしくは下層データセンターに転送し、データセンターイントラネットは負荷均衡装置によって割り当てられた負荷トラフィックを本データセンターのサービスグループに伝送し、サーブグループはデータセンターイントラネットを経由して伝送された負荷トラフィックを処理する。
【００３６】
例えば、図１において、データセンター３１  １０４は、例えばセンサーが収集したデータを記憶する記憶サービスをセンサーグループ１  １０９に提供し、インターネットアクセス、ビデオオンデマンドおよびメールなどのようなサービスをユーザグループ１  １１１に提供する。これらのサービスが集まって負荷トラフィック１１２となり、センサーグループ１  １０９およびユーザグループ１  １１１からデータセンター３１  １０４に上り伝送されたり、または逆にデータセンター３１  １０４からセンサーグループ１  １０９およびユーザグループ１  １１１に下り伝送されたりする。データセンター３１  １０４は均衡装置３１  １１３を通じて負荷トラフィック１１２に対して割り当てを行ない、一部またはすべての負荷トラフィックをデータセンターイントラネット３１  １１４を介して本データセンター（サイト）に属するサーバグループ３１  １１５に配信し、その他のデータセンター（サイト）によって処理する必要のある負荷トラフィックを接続されている上層データセンター（親サイト、図１においてはデータセンター２１  １０２）もしくは下層データセンター（子サイト）に転送する。残りのデータセンターはデータセンター３１  １０４と似ている構成を有し、分りやすくするために、図においては一部のデータセンターの関連負荷均衡装置、即ち均衡装置１１  １１６、均衡装置２１  １１７、均衡装置２２  １１８および均衡装置３２  １１９のみを示した。また、同一の階層化データセンターシステムに属するそれぞれのデータセンターは状態メッセージ１２０を親サイトおよび子サイトと交換することで相手に自分のサイト状態を伝えることができる。状態メッセージ１２０については、後で詳しく説明する。
＜１−３．負荷均衡装置＞
【００３７】
以下、本実施形態に係わる負荷均衡装置について詳しく説明する。
＜１−３−１．負荷均衡装置の構成＞
【００３８】
本実施形態において、負荷均衡装置は階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、複数のデータセンターの中の当該負荷均衡装置に対応する現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００３９】
そのうち、負荷均衡装置は現在データセンターおよび現在データセンターに接続され且つ現在データセンターの下層に位置する下層データセンターのリソース使用状態に基づいて、現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００４０】
具体的に言うと、例えば、現在データセンターのリソース使用状態がアイドル状態である場合、負荷均衡装置は負荷トラフィックを現在データセンターに割り当て、現在データセンターのリソース使用状態がアイドル状態でない場合、且つ下層データセンターのリソース使用状態がアイドル状態である場合、負荷均衡装置は負荷トラフィックを下層データセンターに割り当て、現在データセンターのリソース使用状態がアイドル状態でない場合、且つ下層データセンターのリソース使用状態がアイドル状態でない場合、負荷均衡装置は負荷トラフィックを現在データセンターに接続され且つ現在データセンターの上層に位置する上層データセンターに割り当てる。
＜１−３−２．負荷均衡装置の一つの具体的な実施例＞
【００４１】
以下、図２〜５を参照して本実施形態に係わる負荷均衡装置の一つの具体的な実施例について説明する。
【００４２】
図２は第一の実施形態に係わる負荷均衡装置の一つの具体的な実施例のモジュール図である。図２に示すように、本具体的な実施例に係わる負荷均衡装置２１  １１７は通信インターフェース２０１、転送ユニット２０２、処理ユニット２０３および記憶装置２０４を含む。その他の負荷均衡装置ついても同じような構造を採用することができる。
＜１−３−２−１．通信インターフェース＞
【００４３】
通信インターフェース２０１は少なくとも負荷トラフィックと状態メッセージ１２０を含むパケットを送受信する。通信インターフェース２０１は、例えば、有線または無線方式のデータ通信インターフェースなどでよい。
【００４４】
図３は状態メッセージのメッセージフォーマットの一例であり、具体的に、図３は通信インターフェースによって送信された現在データセンターがリソース使用状態を上層データセンターに報告する状態メッセージ１２０のメッセージフォーマットの一例である。図３に示すように、状態メッセージ１２０には、現在データセンター（例えば現在データセンターを示すシリアルナンバー）を識別するサイトＩＤ、現在データセンターの対外に使用する唯一の公衆ネットワークＩＰアドレスを示すホストのバーチャルＩＰ、現在データセンターのリソース使用状態を示すリソース状態、および現在データセンターの提供可能なサービス種別を示すサービスリストが含まれている。
【００４５】
そのうち、状態メッセージ１２０の中のリソース状態はさらに現在データセンターのローカルサーバの平均ＣＰＵアイドル率を示すＣＰＵアイドルパーセンテージ、現在データセンターのローカルサーバの平均記憶装置アイドル率を示す記憶装置アイドルパーセンテージ、および現在データセンターのローカルサーバの平均要求処理速度を示す要求処理速度を含むことができる。
＜１−３−２−２．転送ユニット＞
【００４６】
転送ユニット２０２はパケットの少なくとも送信元アドレスと宛先アドレスを含むヘッダ情報を変更する。例えば、転送ユニット２０２は記憶装置２０４に記憶されている負荷割り当てマッピング情報（後で具体的に説明する）に基づいてパケットのヘッダ情報を変更して、パケットを転送する。転送ユニット２０２は、例えば、専用または汎用のプロセッサ或いは集積回路などのようなものである。
＜１−３−２−３．記憶装置＞
【００４７】
記憶装置２０４には現在データセンターのリソース使用状態、および状態メッセージ１２０によって取得した下層データセンターのリソース使用状態が記憶されている。記憶装置２０４はＲＡＭまたはＨＤＤなどのような読み書き可能な記憶装置である。
【００４８】
図４はリソース使用状態の一例であり、具体的に、図４は記憶装置２０４によって記憶されている現在データセンターと下層データセンターのリソース使用状態を示すサイト容量テーブルの一例である。図４に示すように、サイト容量テーブルにはインデックス、現在データセンターもしくは下層データセンター（例えば、現在データセンターもしくは下層データセンターを示すシリアルナンバー）を識別するサイトＩＤ、現在データセンターもしくは下層データセンターの対外に使用する公衆ネットワークＩＰアドレスを示すホストのバーチャルＩＰ、現在データセンターもしくは下層データセンターのローカルサーバの平均ＣＰＵアイドル率を示すＣＰＵアイドルパーセンテージ、現在データセンターもしくは下層データセンターのローカルサーバの平均記憶装置アイドル率を示す記憶装置アイドルパーセンテージ、現在データセンターもしくは下層データセンターのローカルサーバの平均要求処理速度を示す要求処理速度、現在データセンターもしくは下層データセンターのサイト総合負荷を示す総合負荷、および現在データセンターもしくは下層データセンターの提供可能なサービス種別を示すサービスリストが含まれている。
【００４９】
そのうち、データセンターの総合負荷は、例えば、当該データセンターのローカルサーバのＣＰＵ使用率と記憶装置使用率の下式１で示す算術平均値でよい。
【００５０】
総合負荷＝ＡＶＧ（ＣＰＵ使用率、記憶装置使用率）
＝１−ＡＶＧ（ＣＰＵアイドルパーセンテージ、記憶装置アイドルパーセンテージ）
（式において、ＡＶＧ（ｘ、ｙ）はｘとｙの算術平均値を取ることを示し、ＣＰＵ使用率＝１−ＣＰＵアイドルパーセンテージで、記憶装置使用率＝１−記憶装置アイドルパーセンテージである。）
【００５１】
図５は負荷割り当てマッピングテーブルの一例であり、具体的に、図５は記憶装置２０４に記憶されている現在データセンターが受理しているサービスの負荷割り当てマッピングテーブルである。当該負荷割り当てマッピングテーブルにはインデックス、ユーザグループに位置するユーザ端末もしくはセンターグループに位置するセンサーノードもしくはそれらのエージェントのＩＰアドレスを示すクライアント端末ＩＰ、現在データセンターのローカルサーバグループに位置するサーバのイントラネットＩＰアドレスもしくは転送宛先データセンターのホストのバーチャルＩＰアドレスを示すサーバ端末ＩＰ、転送宛先ＩＰアドレスを示す次ホップＩＰ、転送宛先に到着するパスの次ホップのデータリンク層アドレスを示す次ホップ物理アドレス、パケットが現在データセンターに到着する際の伝送層ポート番号を示す入口ポート、パケットが転送する際の伝送層ポート番号を示す出口ポート、およびパケットの伝送層プロトコル種別を示すプロトコル種別が含まれている。そのうち、伝送層ポート番号はＴＣＰポート番号もしくはＵＤＰポート番号であってよく、プロトコル種別はＴＣＰもしくはＵＤＰであってよい。
＜１−３−２−４．処理ユニット＞
【００５２】
処理ユニット２０３は記憶装置２０４によって記憶されているリソース使用状態および通信インターフェースによって受信したパケットのヘッダ情報に基づいて、転送ユニット２０２の負荷トラフィックを構成するパケットに対する割り当てを制御する。処理ユニット２０３は、例えば、ＣＰＵもしくはＭＰＵなどのような汎用プロセッサもしくは専用集積回路などである。
【００５３】
具体的に、例えば、処理ユニット２０３は記憶装置２０４によって記憶されている総合負荷（図４を参照）を読み込むことが可能であり、現在データセンターの総合負荷が所定の閾値Ａ以下である場合は、転送ユニット２０２が負荷トラフィックを構成するパケットを現在データセンターのローカルサーバへ転送するように制御し、現在データセンターの総合負荷が前記所定閾値Ａより大きく、且つ下層データセンターの総合負荷が所定の閾値Ｂ以下である場合は、転送ユニット２０２が負荷トラフィックを構成するパケットを下層データセンターへ転送するように制御し、現在データセンターの総合負荷が前記所定の閾値Ａより大きく、且つ下層データセンターの総合負荷が所定の閾値Ｂより大きい場合は、転送ユニット２０２が負荷トラフィックを構成するパケットを上層データセンターへ転送するように制御する。そのうち、閾値Ａと閾値Ｂは同じ値でもよく、異なる値でもよい。
＜１−４．負荷均衡方法＞
【００５４】
以下、図６を参照して本実施形態に係わる負荷均衡方法について具体的に説明する。
＜１−４−１．負荷均衡方法のプロセス＞
【００５５】
図６は第一の実施形態に係わる負荷均衡方法のフローチャートである。図６に示すように、本実施形態に係わる負荷均衡方法は階層化方法によって複数のデータセンターを接続して構成された階層化データセンターシステムに用いられ、前記複数のデータセンターの中の現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう負荷均衡方法であって、前記現在データセンターのリソース使用状態および前記現在データセンターに接続され且つ前記現在データセンターの下層に位置する下層データセンターのリソース使用状態に対して判定を行なう判定ステップＳ１と、前記判定ステップＳ１の判定結果に基づいて、現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう割り当てステップＳ２と、を含む。
＜１−４−２．負荷均衡方法の一つの具体的な実施＞
【００５６】
以下、図７を参照して本実施形態に係わる負荷均衡方法の一つの具体的な実施例について説明する。図７は第一の実施形態に係わる負荷均衡方法の一つの具体的な実施例のフローチャートである。図において、本具体的な実施例に係わる負荷均衡方法は、負荷均衡装置の上述の具体的な実施例によって実現することができ、負荷均衡装置の上述の具体的な実施例を参照する。
【００５７】
最初に、負荷均衡装置の通信インターフェース２０１は負荷トラフィックを構成するパケットを受信し、このパケットを処理ユニット２０３に送信する（ステップＳ９０１）。
【００５８】
次に、処理ユニット２０３は記憶装置２０４に記憶されている負荷割り当てマッピングテーブルをチェックする（ステップＳ９０２）。
【００５９】
続いて、処理ユニット２０３はクライアント端末ＩＰアドレスもしくはサーバ端末IＰアドレスとパケットの送信元アドレスが同じである記録が存在するかどうかを判定する（ステップＳ９０３）。
【００６０】
ステップＳ９０３の判定結果がＹＥＳである場合は、転送ユニット２０２と通信インターフェース２０１を介してマッチング記録に従ってヘッダ処理とパケット転送を行なう（ステップＳ９０４）。
【００６１】
逆に、ステップＳ９０３の判定結果がＮＯである場合は、さらにパケットの方向をチェックし、上りパケットであるかどうかを判定する（ステップＳ９０５）。
【００６２】
ステップＳ９０５の判定結果がＮＯである場合は、当該パケットがサーバからの下りパケットであり、ユーザ側からの要求ではないことを意味し、直接放棄することができる（ステップＳ９０６）。
【００６３】
逆に、ステップＳ９０５の判定結果がＹＥＳである場合、これは新しいユーザからの要求であることを意味し、現在データセンターのローカルサーバに配信するかまたはその他のデータセンターに転送する必要がある。従って、処理ユニット２０３は現在データセンターの現在リソース使用状態、例えばＣＰＵアイドルパーセンテージ、記憶装置アイドルパーセンテージ、要求処理速度などの情報をチェックし、上述の情報の中の一項または複数項を一つまたは複数の予め定義された閾値と比較して現在データセンターがアイドル状態であるかどうかを判定する。具体的な判定方法としては、例えば処理ユニット２０３は記憶装置２０４に記憶されているサイト容量テーブルをチェックし、上述のように現在データセンターのローカルサーバの総合負荷を所定の閾値と比較する方法を採用することができる（ステップＳ９０７）。
【００６４】
ステップＳ９０７の判定結果がＹＥＳである場合は、現在データセンターがアイドル状態であり、当該要求を処理してもよいことを意味し、処理ユニット２０３は転送ユニット２０２を介して当該パケットをローカルサーバに送信する。複数のローカルサーバが存在する場合は、例えばアイドル状態のリソースが最も多いサーバを選択することでローカルサーバを選択することができる（ステップＳ９０８）。
【００６５】
その後、処理ユニット２０３は当該要求に含まれているクライアント端末とサーバ端末のＩＰアドレス、次ホップのアドレスとポート情報などを書き込むことにより負荷割り当てマッピングテーブルを更新する（ステップＳ９０９）。
【００６６】
ステップＳ９０７の判定結果がＮＯである場合は、現在データセンターがビジー状態であることを意味し、処理ユニット２０３は現在データセンターの上層データセンターと下層データセンターの中から一つのデータセンターを選択して転送する必要がある。転送される宛先データセンターを決定するために、処理ユニット２０３は記憶装置２０４に記憶されているサイト容量テーブル、例えばＣＰＵアイドルパーセンテージ、記憶装置アイドルパーセンテージ、要求処理速度などの情報をチェックし、上述の情報の中の一項または複数項を一つまたは複数の予め定義された閾値と比較してアイドル状態の下層データセンターがあるかどうかを判定する必要がある。具体的な判定方法としては、例えば、上述のように下層データセンターのローカルサーバの総合負荷を所定の閾値と比較する方法を採用することができる（ステップＳ９１０）。
【００６７】
ステップＳ９１０の判定結果がＮＯである場合は、現在データセンターにアイドル状態にある下層データセンターがなく、現在データセンターがビジー状態であることを意味するため、処理ユニット２０３は要求を上層データセンターに転送することを選択する（ステップＳ９１１）。
【００６８】
ステップＳ９１０の判定結果がＹＥＳである場合、処理ユニット２０３は転送ユニット２０２を介して当該パケットを下層データセンターに送信する。複数の下層データセンターが存在する場合は、例えばアイドル状態のリソースが最も多い下層データセンターを選択することで一つの下層データセンターを選択することができる（ステップＳ９１２）。
【００６９】
同様に、ステップＳ９１１とＳ９１２の後に、処理ユニット２０３は負荷割り当てマッピングテーブルを更新する必要がある（ステップＳ９０９）。
【００７０】
そのうち、図７に示す負荷均衡方法の具体的な例において、ステップＳ９０１では負荷トラフィックを受信し、ステップＳ９０２、Ｓ９０３、Ｓ９０５では受信した負荷トラフィックが新しい要求であるかどうかを判定し、ステップＳ９０７、Ｓ９１０は図６に示す負荷均衡方法における判定ステップＳ１に相当し、ステップＳ９０８、Ｓ９１１、Ｓ９１２は図６に示す負荷均衡方法における割り当てステップＳ２に相当する。
＜１−５．第一の実施形態の効果＞
【００７１】
本実施形態に係わる負荷均衡装置、負荷均衡方法および階層化データセンターシステムによると、階層化データセンターシステムの構成の多様性と柔軟性を向上し、階層化データセンターシステムを構成するそれぞれのデータセンターのリソース使用状態に応じて、できるだけユーザに近くて且つリソースがアイドル状態にあるデータセンターによってユーザの要求を処理し、階層化データセンターシステムにおける負荷をさらに均衡にし、ユーザ要求の応答速度を向上し、これにより階層化データセンターシステムのサービス効率を向上することができる。
〔２．第二の実施形態〕
【００７２】
以下、図面に基づいて本発明の第二の実施形態について具体的に説明する。
＜２−１．第二の実施形態の特徴＞
【００７３】
本実施形態は第一の実施形態の基で、データセンターのリソース使用状態のみならず、またデータセンターの間のリンク状態に基づいて負荷トラフィックを割り当てる。以下、本実施形態と第一の実施形態との異なる点について具体的に説明し、本実施形態と第一の実施形態との同じ点については第一の実施形態の説明を参照する。
【００７４】
本実施形態に係わる階層化データセンターシステムとデータセンターの構成は第一の実施形態と同じであり、ここでは説明を省略する。
【００７５】
本実施形態に係わる負荷均衡装置は第一の実施形態に係わる負荷均衡装置に比べて、さらに前記現在データセンターと、前記下層データセンターおよび前記上層データセンターとの間のリンク状態に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００７６】
本実施形態に係わる負荷均衡方法は第一の実施形態に係わる負荷均衡方法に比べて、判定ステップにおいて、さらに現在データセンターと、下層データセンターおよび上層データセンターとの間のリンク状態を判定し、割り当てステップにおいて、さらに判定ステップにおける前記リンク状態に対する判定結果に基づいて、負荷トラフィックに対して割り当てを行なう。
＜２−２．第二の実施形態の一つの具体例＞
【００７７】
以下、本実施形態に係わる負荷均衡装置と負荷均衡方法の一つの具体的な実施例について説明する。
【００７８】
本実施形態に係わる負荷均衡装置の一つの具体的な実施例として、第一の実施形態の具体的な実施例の負荷均衡装置の基で、記憶装置２０４にはさらに現在データセンターと、接続されているその他のデータセンターとの間のリンク状態の情報が記憶されている。図８はリンク状態の一例であり、具体的に、図８は現在データセンター２１  １０２から上層データセンターおよび下層データセンターまでのリンク状態を記録するネットワークリンク状態テーブルである。当該ネットワークリンク状態テーブルは、現在データセンターと上層データセンターおよび下層データセンター（例えばネットワークリンクシリアルナンバー）との接続を識別するリンクＩＤ、前記リンクに接続された上層データセンターまたは下層データセンター（例えば、データセンターシリアルナンバー）を識別するリモートサイトＩＤ、および前記リンクのバンド幅使用率を示すリンク負荷を含む。
【００７９】
本実施形態に係わる負荷均衡方法の一つの具体的な実施例として、第一の実施形態の具体的な実施例の負荷均衡方法の基で、ステップＳ９０７において現在データセンターがアイドル状態でないと判定した場合、処理ユニット２０３はさらに本実施形態の具体的な実施例に係わる負荷均衡装置の中の記憶装置２０４に記憶されているネットワークリンク状態テーブルに基づいて、現在データセンターと、上層データセンターおよび下層データセンターとの間のリンク状態を所定の閾値と比較することによりリンク状態がアイドル状態であるかどうかを判定する。リンク状態がアイドル状態であると判定した場合、ステップＳ９１０に進み、下層データセンターのリソース使用状態を判定する。リンク状態がいずれもアイドル状態でないと判定した場合、ステップＳ９０８に進み、転送ユニット２０２を介して負荷トラフィックを現在データセンターのローカルサーバに送信する。
＜２−３．第二の実施形態の効果＞
【００８０】
本実施形態によると、階層化データセンターシステムにおいて、負荷均衡装置はリソース使用状態のみならず、またリンク状態に基づいて現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。したがって、本実施形態に係わる負荷均衡装置、負荷均衡方法および階層化データセンターシステムによると、第一の実施形態の効果を有すると同時に、アイドル状態にあるリンクを介してデータを転送することで、転送されるサービスのネットワークリンクに対する圧力を緩和し、階層化データセンターシステムのサービス効率をさらに向上することができる。
〔３．第三の実施形態〕
【００８１】
以下、本発明の第三の実施形態について具体的に説明する。
＜３−１．第三の実施形態の特徴＞
【００８２】
本実施形態は第一の実施形態の基で、データセンターのリソース使用状態のみならず、また負荷トラフィックを構成するパケットのプロトコル種別に基づいて負荷トラフィックを割り当てる。以下、本実施形態と第一の実施形態との異なる点について具体的に説明し、本実施形態と第一の実施形態との同じ点については第一の実施形態の説明を参照する。
【００８３】
本実施形態に係わる階層化データセンターシステムとデータセンターの構成は第一の実施形態と同じであり、ここでは説明を省略する。
【００８４】
本実施形態に係わる負荷均衡装置は第一の実施形態に係わる負荷均衡装置に比べて、さらに負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００８５】
本実施形態に係わる負荷均衡方法は第一の実施形態に係わる負荷均衡方法に比べて、判定ステップにおいて、さらに負荷トラフィックを構成するパケットのプロトコル種別を判定し、割り当てステップにおいて、さらに判定ステップにおける前記パケットのプロトコル種別に対する判定結果に基づいて、負荷トラフィックに対して割り当てを行なう。
＜３−２．第三の実施形態の一つの具体例＞
【００８６】
以下、本実施形態に係わる負荷均衡装置と負荷均衡方法の一つの具体的な実施例について説明する。
【００８７】
負荷トラフィックを構成するパケットのプロトコル種別として、例えばＴＣＰとＵＤＰが挙げられる。そのうち、ＴＣＰプロトコルは一般的に遅延に不敏感で、データ量が少ないサービス、例えば、ウェブページ閲覧、ファイル伝送、メールなどの伝送に使われ、ＵＤＰプロトコルは一般的に遅延に敏感で、データ量が大きいサービス、例えば、リアルタイムチャット、ビデオオンデマンド、インターネット電話などの伝送に使われる。したがって、ＵＤＰプロトコル種別のサービスを現在データセンターに残して処理するとサービスの品質をさらに確実に保証し、転送されたサービスのネットワークリンクに対する圧力を減少し、ネットワーク輻輳による転送サービスに及ぼすより大きな応答遅延を防止することができる。
【００８８】
上述の規則に基づいて、第一の実施形態の具体的な実施例の負荷均衡方法の基で、ステップＳ９０７において現在データセンターがアイドル状態でないと判定した場合、処理ユニット２０３はさらにステップＳ９０１によって受信したパケットのＩＰヘッダの中のプロトコルフィールドが示すプロトコル種別をチェックする。パケットのプロトコル種別がＴＣＰである場合は、ステップＳ９１０に進み、下層データセンターのリソース使用状態を判定する。パケットのプロトコル種別がＵＤＰである場合は、ステップＳ９０８に進み、転送ユニット２０２を介して負荷トラフィックを現在データセンターのローカルサーバに送信する。
【００８９】
上述のようにパケットのプロトコル種別を判定する際に、ネットワーク層のヘッダ情報を利用したため、負荷均衡装置の処理速度が加速し、ルータの線速度に達する可能性がある。具体的に、ネットワーク層のヘッダ情報のみを利用して判定を行なう場合、負荷均衡装置の処理速度は応用層情報を利用して判定を行なう場合よりも大幅に向上する。
＜３−３．第三の実施形態の効果＞
【００９０】
本実施形態によると、階層化データセンターシステムにおいて、負荷均衡装置はリソース使用状態のみならず、また負荷トラフィックを構成するパケットのプロトコル種別に基づいて現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。また、プロトコル種別を判定するときに、ネットワーク層のヘッダ情報を利用する。したがって、本実施形態に係わる負荷均衡装置、負荷均衡方法および階層化データセンターシステムによると、第一の実施形態の効果を有すると同時に、サービスの品質をさらに確実に保証し、転送されるサービスのネットワークリンクに対する圧力を減少し、ネットワーク輻輳による転送サービスに及ぼすより大きな応答遅延を防止し、負荷均衡装置の処理速度を加速し、これにより階層化データセンターシステムのサービス効率をさらに向上することができる。
〔４．第四の実施形態〕
【００９１】
以下、図面に基づいて本発明の第四の実施形態について具体的に説明する。
＜４−１．第四の実施形態の特徴＞
【００９２】
本実施形態は第一、第二および第三の実施形態に対して組み合わせと改良を行ない、データセンターのリソース使用状態、リンク状態および負荷トラフィックを構成するパケットのプロトコル種別に基づいて負荷トラフィックを割り当てる。以下、本実施形態と上述の実施形態の異なる点について具体的に説明し、本実施形態と上述の実施形態の同じ点については上述の実施形態の説明を参照する。
【００９３】
本実施形態に係わる階層化データセンターシステムとデータセンターの構成は第一の実施形態と同じであり、ここでは説明を省略する。
【００９４】
本実施形態に係わる負荷均衡装置は第一の実施形態に係わる負荷均衡装置に比べて、さらに現在データセンターと、下層データセンターおよび上層データセンターとの間のリンク状態および負荷トラフィックを構成するパケットのプロトコル種別に基づいて、前記現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。
【００９５】
本実施形態に係わる負荷均衡方法は第一の実施形態に係わる負荷均衡方法に比べて、判定ステップにおいて、さらに現在データセンターと、下層データセンターおよび上層データセンターとの間のリンク状態および負荷トラフィックを構成するパケットのプロトコル種別を判定し、割り当てステップにおいて、さらに判定ステップにおける前記リンク状態と前記パケットのプロトコル種別に対する判定結果に基づいて、負荷トラフィックに対して割り当てを行なう。
＜４−２．第四の実施形態の一つの具体例＞
【００９６】
以下、本実施形態に係わる負荷均衡装置と負荷均衡方法の一つの具体的な実施例について説明する。
【００９７】
本実施形態に係わる負荷均衡装置の一つの具体的な実施例として、第一の実施形態の具体的な実施例の負荷均衡装置の基で、記憶装置２０４にはさらに閾値情報が記憶されている。図９は閾値情報の一例であり、具体的に、図９は記憶装置２０４に記憶されている現在データセンターがサービスを受理する予め定義された負荷閾値テーブルである。当該予め定義された負荷閾値テーブルは、ＣＰＵ使用率の閾値１１と閾値１２、記憶装置使用率の閾値２１と閾値２２、および総合負荷の閾値１と閾値２を含む。そのうち、総合負荷の閾値１と閾値２は対応するＣＰＵ使用率と記憶装置使用率の下式に示す算術平均値である。
【００９８】
閾値ｍ＝ＡＶＧ（閾値１ｍ，閾値２ｍ）、ｍ＝{１,２}
【００９９】
閾値ｎｍ（ｎ，ｍ＝{１,２}）の値を合理的に選択することで、例えば、閾値１１と閾値１２をそれぞれサーバ平均応答時間が軽負荷時よりも２倍増加したときのＣＰＵ使用率と記憶装置使用率に設置し、閾値２１と閾値２２をそれぞれサーバ平均応答時間が軽負荷時よりも１００倍増加したときのＣＰＵ使用率と記憶装置使用率に設置し、これにより総合負荷の閾値１と閾値２を用いて量子化されたサーバ平均性能の悪化開始および深刻な悪化の状況を表すことができる。
【０１００】
図１０に基づいて本実施形態に係わる負荷均衡方法の一つの具体的な実施例について説明する。図１０は第四の実施形態に係わる負荷均衡方法の一つの具体的な実施例のフローチャートである。図において、本具体的な実施例に係わる負荷均衡方法は負荷均衡装置の上述した具体的な実施例によって実現することができ、負荷均衡装置の上述の具体的な実施例の関連説明を参照する。
【０１０１】
最初に、負荷均衡装置の通信インターフェース２０１は負荷トラフィックを構成するパケットを受信し、受信したパケットを処理ユニット２０３に送信する（ステップＳ１００１）。
【０１０２】
次に、処理ユニット２０３は記憶装置２０４に記憶されている負荷割り当てマッピングテーブルをチェックする（ステップＳ１００２）。
【０１０３】
続いて、処理ユニット２０３はクライアント端末ＩＰアドレスもしくはサーバ端末ＩＰアドレスとパケットの送信元アドレスが同じである記録が存在するかどうかを判定する（ステップＳ１００３）。
【０１０４】
ステップＳ１００３の判定結果がＹＥＳである場合は、転送ユニット２０２と通信インターフェース２０１を介してマッチング記録に従ってヘッダ処理とパケット転送を行なう（ステップＳ１００４）。
【０１０５】
逆に、ステップＳ１００３の判定結果がＮＯである場合は、さらにパケットの方向をチェックし、パケットの方向が上りパケットであるかどうかを判定する（ステップＳ１００５）。
【０１０６】
逆に、ステップＳ１００５の判定結果がＮＯである場合は、当該パケットがサーバからの下りパケットで、ユーザ側からの要求ではないことを意味し、直接放棄することができる（ステップＳ１００６）。
【０１０７】
逆に、ステップＳ１００５の判定結果がＹＥＳである場合は、当該パケットが新しいユーザからの要求であることを意味し、現在データセンターのローカルサーバもしくはその他のデータセンターに配信する必要がある。したがって、処理ユニット２０３は現在データセンターのリソース使用状態、例えば、ＣＰＵアイドルパーセンテージ、記憶装置アイドルパーセンテージ、要求処理速度などの情報をチェックし、上述の情報の中の一項または複数項を一組の予め定義された閾値と比較して現在データセンターがアイドル状態であるかどうかを判定する。具体的な判定方法として、例えば処理ユニット２０３は記憶装置２０４に記憶されているサイト容量テーブルと予め定義された負荷閾値テーブルをチェックし、上述のように現在データセンターのローカルサーバの総合負荷を総合負荷の閾値１、２と比較する方法を採用する。
【０１０８】
このとき、ステップＳ１００７の判定結果が、総合負荷が閾値１以下である場合は、現在データセンターのローカルサーバの平均性能が良好な状態にあり、当該要求を処理してもよいことを意味し、処理ユニット２０３は転送ユニット２０２を介して当該パケットをローカルサーバに送信する。複数のローカルサーバが存在する場合は、例えばアイドル状態のリソースが最も多いサーバを選択することにより一つのローカルサーバを選択することができる（ステップＳ１００８）。
【０１０９】
その後、処理ユニット２０３は当該要求に含まれているクライアント端末とサーバ端末のＩＰアドレス、次ホップのアドレスとポート情報、およびプロトコル種別などを書き込むことにより負荷割り当てマッピングテーブルを更新する（ステップＳ１００９）。
【０１１０】
ステップＳ１００７の判定結果が、総合負荷が総合負荷閾値２より大きい場合は、現在データセンターのローカルサーバの平均性能が悪い状態にあることを意味し、現在データセンターの上層データセンターおよび下層データセンターの中から一つのデータセンターを選択して転送を行なう必要がある。転送する宛先データセンターを決定するために、処理ユニット２０３は記憶装置２０４に記憶されているサイト容量テーブル、例えば、ＣＰＵアイドルパーセンテージ、記憶装置アイドルパーセンテージ、要求処理速度などの情報をチェックし、上述の情報の中の一項または複数項を一つまたは複数の予め定義された閾値と比較してアイドル状態の下層データセンターがあるかどうかを判定する必要がある。具体的な判定方法として、例えば上述のように下層データセンターのローカルサーバの総合負荷を所定の閾値と比較する方法を採用してよい（ステップＳ１０１０）。
【０１１１】
ステップＳ１０１０の判定結果がＮＯである場合は、現在データセンターにアイドル状態の下層データセンターがなく、現在データセンターがビジー状態であることを意味するため、処理ユニット２０３は要求を上層データセンターに転送する（ステップＳ１０１１）。
【０１１２】
ステップＳ１０１０の判定結果がＹＥＳである場合、処理ユニット２０３は転送ユニット２０３を介して当該パケットを下層データセンターに送信する。複数の下層データセンターが存在する場合、例えばアイドル状態のリソースが最も多い下層データセンターを選択することにより一つの下層データセンターを選択することができる（ステップＳ１０１２）。
【０１１３】
ステップＳ１００７の判定結果が、総合負荷が閾値１より大きく且つ閾値２以下である場合は、現在データセンターのローカルサーバの平均性能が良好と悪いとの間の一般状態にあることを意味し、現在データセンターの負荷を適切に軽減し、一部の新たに増えた負荷を現在データセンターの上層データセンターもしくは下層データセンターに転送する必要がある。このとき、処理ユニット２０３は記憶装置２０４に記憶されているネットワークリンク状態テーブルおよびパケットのＩＰヘッダの中のプロトコルフィールドによって表示されたプロトコル種別をチェックして当該パケットの代表する要求を転送するかどうかを判定する必要がある。具体的な判定方法は第二、第三の実施形態の説明を参照する（ステップＳ１０１３）。
【０１１４】
ステップＳ１０１３の判定結果が、アイドル状態のリンクがあり且つパケットプロトコル種別がＴＣＰである場合は、ステップＳ１０１０に移ってアイドル状態の下層データセンターがあるかどうかチェックする。逆に、ステップＳ１０１３の判定結果が、アイドル状態のリンクがなく且つパケットプロトコル種別がＵＤＰである場合は、ステップＳ１００８に移し、処理ユニット２０３は転送ユニット２０２を介してパケットをローカルサーバに転送する。
【０１１５】
同様に、ステップＳ１００８、Ｓ１０１１およびＳ１０１２の後に、処理ユニット２０３は負荷割り当てマッピングテーブル２を更新する必要がある（ステップＳ１００９）。
【０１１６】
そのうち、図１０に示す負荷均衡方法の具体的な例において、ステップＳ１００１では負荷トラフィックを受信し、ステップＳ１００２、Ｓ１００３、Ｓ１００５では受信した負荷トラフィックが新しい要求であるかどうかを判定し、ステップＳ１００７、Ｓ１０１３、Ｓ１０１０は図６に示す負荷均衡方法における判定ステップＳ１に相当し、ステップＳ１００８、Ｓ１０１１、Ｓ１０１２は図６に示す負荷均衡方法における割り当てステップＳ２に相当する。
＜４−３．第四の実施形態の効果＞
【０１１７】
本実施形態によると、階層化データセンターシステムにおいて、負荷均衡装置はリソース使用状態のみならず、またリンク状態と負荷トラフィックを構成するパケットのプロトコル種別とに基づいて、現在データセンターに伝送された負荷トラフィックに対して割り当てを行なう。したがって、本実施形態は前記第一、第二および第三の実施形態の効果を兼ね備える。なお、複数の閾値を使用してデータセンターの性能を量子化することで、データセンターの性能にもっと適合するように負荷トラフィックの割り当てを最適化することができ、これにより負荷トラフィックをさらに柔軟且つ適切に割り当て、階層化データセンターシステムのサービス効率をさらに向上することができる。
＜５．本発明の負荷割り当て処理＞
【０１１８】
以下、図１１〜図１６の時系列図に基づいて本発明に係わる階層化データセンターシステムにおいて負荷均衡装置の負荷トラフィックに対する異なる状況での割り当て処理について説明する。図１１と図１２は負荷均衡装置３１  １１３がＴＣＰとＵＤＰ種別の負荷トラフィック１１２を現在データセンター３１  １０４のローカルサーバ即ちサーバグループ３１  １１５に配信することで、現在データセンター３１  １０４により負荷トラフィック１１２を処理する状況を示す。図１３と図１４はＴＣＰとＵＤＰ種別の負荷トラフィック１１２を親サイト（上層データセンター）即ちデータセンター２１  １０２に転送して、親サイトにより負荷トラフィック１１２を処理する状況を示す。図１５と図１６はＴＣＰとＵＤＰ種別の負荷トラフィック１１２を親サイト即ちデータセンター２１  １０２に転送し、親サイトはさらにその他の子サイト（下層データセンター）即ちデータセンター３２  １０５に転送し、最後に前記その他の子サイトにより負荷トラフィック１１２を処理する状況を示す。
【０１１９】
上述の負荷割り当ては上述の第一〜第四の実施形態に係わる負荷割り当て装置および負荷割り当て方法によって実現し、特に第四の実施形態に係わる負荷割り当て装置と負荷割り当て方法によって実現することができる。
【０１２０】
図１１に示すように、最初にユーザグループ１  １１１（その中の一つもしくは複数のユーザ、もしくはそれらのエージェントでよい）より接続要求を発信し（３０１）、現在データセンター３１  １０４にＳＹＮメッセージ３０２を送信する。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１がＳＹＮメッセージ３０２を受信した後に、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信したＳＹＮメッセージ３０２のヘッダ情報に基づいてＳＹＮメッセージ３０２を分析し、これによりローカルサイト（現在データセンター）によって当該接続要求を処理し（３０３）、ローカルサーバグループ３１  １１５から宛先サーバを一つ選択することを決定し、例えばアイドル状態のリソースが最も多いサーバを一つ選択する。その後、処理ユニット２０３により当該要求に含まれているクライアント端末とサーバ端末のＩＰアドレス、次ホップのアドレスとポート情報などを書き込むことにより負荷割り当てマッピングテーブルを更新する。続いて、転送ユニット２０２は更新された負荷割り当てマッピングテーブルに基づいてＳＹＮメッセージ３０２を処理し、宛先ＩＰアドレスを次ホップＩＰアドレス、即ち処理ユニット２０３が選択した宛先サーバのＩＰアドレス（通常はデータセンターのプライベートＩＰアドレス）に設置し、宛先物理アドレスを次ホップ物理アドレス、即ち宛先サーバに繋がるパス上のすぐ隣のスイッチの物理アドレスに設置し、送信元ＩＰアドレスと送信元物理アドレスを均衡装置３１  １１３のＩＰアドレスと物理アドレスに設置する。処理後のＳＹＮメッセージ３０２は通信インターフェース２０１を介して宛先サーバに接続されているデータセンターイントラネット３１  １１４に転送され、さらにデータセンターイントラネット３１  １１４を経由して宛先サーバに転送される。宛先サーバから送信された応答メッセージは反対方向の処理を通じて宛先ＩＰアドレスを次ホップＩＰアドレス、即ちクライアント端末ＩＰアドレスに設置し、宛先物理アドレスを次ホップ物理アドレス、即ちユーザグループ１  １１１に繋がるパス上のすぐ隣のスイッチの物理アドレスに設置し、送信元ＩＰアドレスと送信元物理アドレスを均衡装置３１  １１３のＩＰアドレスと物理アドレスに設置する。処理後の応答メッセージＳＹＮ−ＡＣＫ  ３０４は通信インターフェース２０１を介してユーザグループ１  １１１に送信される。ユーザグループ１  １１１は応答メッセージを受信した後にクライアント端末に接続を確立し（３０５）、再び応答メッセージＡＣＫ３０６を送信する。応答メッセージＡＣＫ３０６が到着した場合、均衡装置３１  １１３は負荷割り当てマッピングテーブルの中の既存の記録に基づいて宛先サーバに転送し、これによりサーバ端末に接続を確立し（３０７）、ユーザにサービスの提供を開始し（３０８）、ユーザがサービスを取得できるようにする（３０９）。そのうちの上りと下りの負荷トラフィック３１０は均衡装置３１  １１３を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存の記録に基づいて転送される。
【０１２１】
図１２は図１１と似ており、異なる点は負荷トラフィックのプロトコル種別がＵＤＰである。図１２に示すように、最初にユーザグループ１  １１１（そのうちの一つもしくは複数のユーザ、あるいはそれらのエージェントでよい）によりパケットの送信を開始し（４０１）、上りトラフィック４０２をデータセンター３１  １０４に送信する。ここで、パケットを送信するのはセンターグループ１  １０９（そのうちの一つもしくは複数のセンサーノード、あるいはそれらのエージェントでよい）であってもよい。前記上りトラフィック４０２はユーザ端末から発信したビデオオンデマンド要求、或いはセンサーノードから報告したセンサーデータ、或いはその他のＵＤＰプロトコルを使用したデータサービストラフィックでよい。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１により上りトラフィック４０２を受信した後、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信した上りトラフィック４０２のヘッダ情報に基づいて上りトラフィック４０２を分析し、これにより、これは新しいデータフローであることを識別し、ローカルサイトによって当該接続要求を処理し（４０３）、ローカルサーバグループ３１  １１５から宛先サーバを一つ選択することを決定し、例えばアイドル状態のリソースが最も多いサーバを一つ選択する。その後、処理ユニット２０３により当該要求に含まれているクライアント端末とサーバ端末のＩＰアドレス、次ホップのアドレスとポート情報などを書き込むことにより負荷割り当てマッピングテーブルを更新する。その後の転送プロセスは図１１に示したものと似ており、転送ユニット２０２によって処理された上りトラフィック４０２は宛先サーバに送信される。宛先サーバはユーザにサービスの提供を開始し（４０４）、ユーザに送信された下りトラフィック４０７は反対方向の処理を通じてユーザがサービスを取得できるようにする（４０６）。そのうちの上りと下りの負荷トラフィック４０５と４０７は均衡装置３１  １１３を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存の記録に基づいて転送される。
【０１２２】
図１３は図１１と似ており、異なる点は要求を受けるのはデータセンター３１  １０４の親サイトデータセンター２１  １０２である。図１３に示すように、最初にユーザグループ１  １１１（そのうちの一つもしくは複数のユーザ、あるいはそれらのエージェントでよい）により接続要求を発信し（５０１）、ＳＹＮメッセージ５０２をデータセンター３１  １０４に送信する。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１によりＳＹＮメッセージ５０２を受信した後、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信したＳＹＮメッセージ５０２のヘッダ情報に基づいてＳＹＮメッセージ５０２を分析し、当該要求が処理容量を超えていることに気付き、親サイト即ちデータセンター２１  １０２によって当該接続要求を処理することを決定する（５０３）。その後、処理ユニット２０３により負荷割り当てマッピングテーブル（図１３の表を参照）を更新し、転送ユニット２０２により、更新された負荷割り当てマッピングテーブルに基づいてＳＹＮメッセージ５０２を処理し、通信インターフェース２０１により処理後のＳＹＮメッセージ５０２をデータセンター２１  １０２に転送する。データセンター２１  １０２において均衡装置２１  １１７がＳＹＮメッセージ５０２に対して行なわれる処理方法は図１１と似ており、ローカルサイトのサーバを選択して当該接続要求を処理する（５０４）。その後、データセンター２１  １０２は応答メッセージＳＹＮ−ＡＣＫ５０５をユーザに送信し、均衡装置３１  １１３を介してさらにユーザグループ１  １１１に送信され、そのうち、均衡装置３１  １１３を経由する際に、均衡装置３１  １１３は負荷割り当てマッピングテーブルの中の既存の記録に基づいてヘッダアドレス情報を修正する。ユーザグループ１  １１１は応答メッセージＳＹＮ−ＡＣＫ５０５を受信した後にクライアント端末に接続を確立し（５０６）、再び応答メッセージＡＣＫ  ５０７を送信する。応答メッセージＡＣＫ  ５０７が均衡装置３１  １１３を経由する際に、均衡装置３１  １１３は負荷割り当てマッピングテーブルの中の既存の記録に基づいてヘッダアドレス情報を修正する。最後にサーバ端末は接続を確立し（５０８）、ユーザにサービスの提供を開始し（５０９）、ユーザがサービスを取得できるようにする（５１０）。そのうちの上りと下りの負荷トラフィック５１４は均衡装置３１  １１３を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存の記録に基づいて転送される。
【０１２３】
図１４は図１２と似ており、異なる点は要求を受けるのはデータセンター３１  １０４の親サイトデータセンター２１  １０２である。図１４に示すように、最初はユーザグループ１  １１１（そのうちの一つもしくは複数のユーザ、あるいはそれらのエージェントでよい）によりパケットの送信を開始し（６０１）、上りトラフィック６０２をデータセンター３１  １０４に送信する。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１により上りトラフィック６０２を受信した後、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信したＳ上りトラフィック６０２のヘッダ情報に基づいて上りトラフィック６０２を分析し、当該要求が処理容量を超えていることに気付き、親サイト即ちデータセンター２１  １０２によって当該接続要求を処理することを決定する（６０３）。その後、処理ユニット２０３により負荷割り当てマッピングテーブルを更新し、転送ユニット２０２により、更新された負荷割り当てマッピングテーブルに基づいて上りトラフィック６０２を処理し、通信インターフェース２０１により処理後の上りトラフィック６０２をデータセンター２１  １０２に転送する。データセンター２１  １０２において、均衡装置２１  １１７が上りトラフィック６０２に対して行なわれる処理方法は図１２と似ており、これは新しいデータフローであることを識別し、ローカルサイトのサーバを選択して当該接続要求を処理し（６０４）、負荷割り当てマッピングテーブルを更新する。その後、データセンター２１  １０２はユーザにサービスの提供を開始し（６０５）、ユーザがサービスを取得できるようにする（５１０）。そのうちの上りと下りの負荷トラフィック６０８と６０７は均衡装置３１  １１３を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存の記録に基づいて転送される。
【０１２４】
図１５は図１１、図１３と似ており、異なる点は要求を受けるのはデータセンター３１  １０４の兄弟サイトデータセンター３２  １０５である。図１５に示すように、最初にユーザグループ１  １１１（そのうちの一つもしくは複数のユーザ、あるいはそれらのエージェントでよい）により接続要求を発信し（７０１）、ＳＹＮメッセージ７０２をデータセンター３１  １０４に送信する。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１によりＳＹＮメッセージ７０２を受信した後、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信したＳＹＮメッセージ７０２のヘッダ情報に基づいてＳＹＮメッセージ７０２を分析し、当該要求が処理容量を超えていることに気付き、親サイト即ちデータセンター２１  １０２によって当該接続要求を処理することを決定する（７０３）。その後、処理ユニット２０３により負荷割り当てマッピングテーブルを更新し、転送ユニット２０２により、更新された負荷割り当てマッピングテーブルに基づいてＳＹＮメッセージ７０２を処理し、通信インターフェース２０１により処理後のＳＹＮメッセージ７０２をデータセンター２１  １０２に転送する。同じく、データセンター２１  １０２の均衡装置２１  １１７によりＳＹＮメッセージ７０２を受信した後に、当該要求が処理容量を超えていることに気付き、その他の子サイト即ちデータセンター３２  １０５によって当該接続要求を処理することを決定する（７０４）。その後負荷割り当てマッピングテーブルを更新し、更新された負荷割り当てマッピングテーブルに基づいてＳＹＮメッセージ７０２を処理し、処理後のＳＹＮメッセージ７０２をデータセンター３２  １０５に転送する。データセンター３２  １０５において、均衡装置３２  １１９がＳＹＮメッセージ７０２に対して行なわれる処理方法は図１１と似ており、ローカルサイトのサーバを選択して当該接続要求を処理する（７０５）。その後、データセンター３２  １０５は応答メッセージＳＹＮ−ＡＣＫ  ７０６をユーザに送信し、均衡装置２１  １１７と均衡装置３１  １１３を介してさらにユーザグループ１  １１１に送信され、そのうち、均衡装置２１  １１７と均衡装置３１  １１３を経由する際に、各自の負荷割り当てマッピングテーブルの中の既存の記録に基づいてヘッダアドレス情報が修正される。ユーザグループ１  １１１は応答メッセージＳＹＮ−ＡＣＫ７０６を受信した後にクライアント端末に接続を確立し（７０７）、再び応答メッセージＡＣＫ  ７０８を送信する。応答メッセージＡＣＫ  ７０８が均衡装置３１  １１３と均衡装置２１  １１７を経由する際に、各自の負荷割り当てマッピングテーブルの中の既存記録に基づいてヘッダアドレス情報が修正される。最後にサーバ端末は接続を確立し（７０９）、ユーザにサービスの提供を開始し（７１０）、ユーザがサービスを取得できるようにする（７１１）。そのうちの上りと下りの負荷トラフィック７１２は均衡装置３１  １１３と均衡装置２１  １１７を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存記録に基づいて転送される。
【０１２５】
図１６は図１２、図１４と似ており、異なる点は要求を受けるのはデータセンター３１  １０４の兄弟サイトデータセンター３２  １０５である。図１６に示すように、最初にユーザグループ１  １１１（そのうちの一つもしくは複数のユーザ、あるいはそれらのエージェントでよい）によりパケットの送信を開始し（８０１）、上りトラフィック８０２をデータセンター３１  １０４に送信する。データセンター３１  １０４の均衡装置３１  １１３の通信インターフェース２０１により上りトラフィック８０２を受信した後、処理ユニット２０３は記憶装置２０４に記憶されている情報と受信した上りトラフィック８０２のヘッダ情報に基づいて上りトラフィック８０２を分析し、当該要求が処理容量を超えていることに気付き、親サイト即ちデータセンター２１  １０２によって当該接続要求を処理することを決定する（８０３）。その後、処理ユニット２０３により負荷割り当てマッピングテーブルを更新し、転送ユニット２０２により、更新された負荷割り当てマッピングテーブルに基づいて上りトラフィック８０２を処理し、通信インターフェース２０１により処理後の上りトラフィック８０２をデータセンター２１  １０２に転送する。同じく、データセンター２１  １０２の均衡装置２１  １１７により上りトラフィック８０２を受信した後に、当該要求が処理容量を超えていることに気付き、その他の子サイト即ちデータセンター３２  １０５によって当該接続要求を処理することを決定する（８０４）。その後負荷割り当てマッピングテーブルを更新し、更新された負荷割り当てマッピングテーブルに基づいて上りトラフィック８０２を処理し、処理後の上りトラフィック８０２をデータセンター３２  １０５に転送する。データセンター３２  １０５において、均衡装置２１  １１７が上りトラフィック８０２に対して行なわれる処理方法は図１２と似ており、これは新しいデータフローであることを識別し、ローカルサイトのサーバを選択して当該接続要求を処理し（８０５）、負荷割り当てマッピングテーブルを更新する。その後、データセンター３２  １０５はユーザにサービスの提供を開始し（８０６）、ユーザがサービスを取得できるようにする（８０７）。そのうちの上りと下りの負荷トラフィック８０８と８０９は均衡装置３１  １１３と均衡装置２１  １１７を経由する際に、同様に負荷割り当てマッピングテーブルの中の既存の記録に基づいて転送される。
【０１２６】
上述のように、本発明に係わる負荷均衡装置、負荷均衡方法および階層化データセンターシステムによると、上述の負荷割り当て処理を実現することができる。これにより、階層化データセンターシステムのサービス効率が向上する。
【０１２７】
上述の各実施形態において、現在データセンターの負荷均衡装置は、以下の方法によってその他のデータセンターのリソース使用状態およびリンク状態を取得することができる。例えば、各データセンターの負荷均衡装置はローカルデータセンターのリソースデータおよびローカルデータセンター出口ルータのポートバンド幅データをリアルタイムに収集し、収集された情報を記憶装置（例えば、記憶装置に記憶されているサイト容量テーブルとネットワークリンク状態テーブル）に記憶し、状態情報を自分の上層データセンターに随時もしくは周期的（例えば１０秒毎）に送信して上述の情報を報告し、同時に、下層データセンターからの情報を自分の記憶装置に更新しておく。
【０１２８】
上述の各実施形態において、階層化データセンターシステムに含まれているデータセンター（即ちサイト）の数は七つであるが、本発明は、これに限定されるものではなく、階層化方法によって階層化データセンターシステムを構成できればよく、その他の数でもよい。
【０１２９】
上述の各実施形態において、階層化データセンターシステムに含まれているデータセンターはツリート型ポロジーによって接続されているが、本発明は、これに限定されるものではなく、階層化方法によって接続すればよく、混合接続方法などのその他の接続方法によって接続されてもよい。
【０１３０】
上述の各実施形態において、負荷均衡装置は相応するデータセンター（第一のデータセンター）内部に設置されているが、本発明においては、負荷均衡装置が相応するデータセンター（第一のデータセンター）に伝送された負荷トラフィックに対して割り当てを行なうことができればよく、当該データセンターの外部に設置されてもよい。
【０１３１】
上述の各実施形態において、図に示すようなメッセージフォーマットとテーブルフォーマットを採用しているが、本発明は、これに限定されるものではなく、相応する情報を表示できればよく、その他のメッセージフォーマットとテーブルフォーマットを採用してもよい。
【０１３２】
上述の各実施形態において、データセンターのローカルサーバのＣＰＵ使用率と記憶装置使用率の算術平均値に基づいて当該データセンターのリソース使用状態を計算する方法を採用しているが、本発明は、これに限定されるものではなく、例えば、ローカルサーバのＣＰＵ使用率、記憶装置使用率および要求処理速度の中の一つもしくは複数に基づいて計算し、あるいはその他のパラメータを追加して計算してもよい。
【図１】
2013168139.tif 000003
【図２】
2013168139.tif 000004
【図３】
2013168139.tif 000005
【図４】
2013168139.tif 000006
【図５】
2013168139.tif 000007
【図６】
2013168139.tif 000008
【図７】
2013168139.tif 000009
【図８】
2013168139.tif 000010
【図９】
2013168139.tif 000011
【図１０】
2013168139.tif 000012
【図１１】
2013168139.tif 000013
【図１２】
2013168139.tif 000014
【図１３】
2013168139.tif 000015
【図１４】
2013168139.tif 000016
【図１５】
2013168139.tif 000017
【図１６】
2013168139.tif 000018