(57)【特許請求の範囲】
【請求項１】
複数のサーバと、
前記複数のサーバが設けられた夫々の場所の温度を示す温度情報を取得可能なマスタ管理装置と、
前記マスタ管理装置が得た温度情報に基づいて、前記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行う制御装置とを備えるサーバ運用システムであって、
エンクロージャ単位の複数のサブシステムにより構成され、
前記サブシステムは、
該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、
前記複数のサーバのうちの１つ以上を格納するエンクロージャとを有し、
前記複数のサブシステムの管理装置のうちの１つは前記マスタ管理装置であり、他の管理装置はスレーブ管理装置であり、
各前記スレーブ管理装置は、自身が属するサブシステムの温度情報を前記マスタ管理装置に提供し、
前記マスタ管理装置は、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを前記制御装置に供し、
前記制御装置は、前記複数のサブシステムが設けられた夫々の場所間での温度分布が均一になるように、前記複数のサーバ間で負荷分布の調整を行い、
前記複数のサブシステムの管理装置は、ネットワークにより接続されており、該ネットワークを介して通信することにより自律的にマスタ管理装置とスレーブ管理装置の決定がなされることを特徴とするサーバ運用システム。
【請求項２】
前記管理装置は、自身が属するサブシステムに含まれる少なくとも１つのサーバに備えられた吸気温度センサの測定値を該サブシステムの温度情報として取得することを特徴とする請求項１に記載のサーバ運用システム。
【請求項３】
前記マスタ管理装置は、さらに、各前記サブシステムが設けられた場所の位置を示す位置情報を取得可能であり、
前記制御装置は、前記負荷分布の調整のために負荷を移動する際に、前記マスタ管理装置が得た位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、前記密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定することを特徴とする請求項１または２に記載のサーバ運用システム。
【請求項４】
冷却装置が設けられたサーバ室に設置されており、
前記マスタ管理装置は、さらに、各前記サブシステムが設けられた夫々の場所の位置を示す位置情報を取得可能であり、
前記制御装置は、前記負荷分布の調整のために負荷を移動する際に、冷却装置の位置と、前記マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定することを特徴とする請求項１または２に記載のサーバ運用システム。
【請求項５】
スレーブ管理装置を含むサブシステムは、発信器をさらに有し、
マスタ管理装置を含むサブシステムは、測位デバイスをさらに有し、
前記スレーブ管理装置は、温度情報の提供に際して、自身のサブシステムに設けられた発信器を発信させ、
前記測位デバイスは、三点測位法により前記発信器から受信した信号に基づいて該発信器が設けられたサブシステムの位置情報を取得することを特徴とする請求項３または４に記載のサーバ運用システム。
【請求項６】
前記発信器と前記測位デバイスは、該発信器または該測位デバイスが属するサブシステムのエンクロージャに設けられていることを特徴とする請求項５に記載のサーバ運用システム。
【請求項７】
各管理装置は、ＧＰＳ受信機を備え、
スレーブ管理装置は、温度情報と共に、自身のサブシステムに設けられたＧＰＳ受信機が得たＧＰＳ情報を位置情報としてマスタ管理装置に提供することを特徴とする請求項３または４に記載のサーバ運用システム。
【請求項８】
複数のサーバを備えたサーバシステムにおける各前記サーバに対して、該サーバが設けられた場所の温度を示す温度情報を取得し、
前記温度情報に基づいて、前記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行うサーバ運用方法において、
前記サーバシステムは、エンクロージャ単位の複数のサブシステムにより構成され、
前記サブシステムは、該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、前記複数のサーバのうちの１つ以上を格納するエンクロージャとを有し、
前記複数のサブシステムの管理装置のうちの１つであるマスタ管理装置以外の他の管理装置であるスレーブ管理装置により、該スレーブ管理装置自身が属するサブシステムの温度情報を前記マスタ管理装置に提供し、
前記マスタ管理装置により、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを集約し、
前記マスタ管理装置により集約された温度情報に基づいて、前記複数のサブシステムが設けられた夫々の場所間での温度分布が均一になるように、前記複数のサーバ間で負荷分布の調整を行い、
前記複数のサブシステムの管理装置をネットワークにより接続し、
該複数の管理装置間で、前記ネットワークを介した通信により自律的にマスタ管理装置とスレーブ管理装置の決定がなされることを特徴とするサーバ運用方法。
【請求項９】
前記管理装置により、自身が属するサブシステムに含まれる少なくとも１つのサーバに備えられた吸気温度センサの測定値を該サブシステムの温度情報として取得することを特徴とする請求項８に記載のサーバ運用方法。
【請求項１０】
前記マスタ管理装置により、さらに、各前記サブシステムが設けられた場所の位置を示す位置情報を取得し、
前記負荷分布の調整のために負荷を移動する際に、前記マスタ管理装置が得た位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、前記密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定することを特徴とする請求項８または９に記載のサーバ運用方法。
【請求項１１】
前記サーバシステムは、冷却装置が設けられたサーバ室に設置されており、
前記マスタ管理装置により、さらに、各前記サブシステムが設けられた夫々の場所の位置を示す位置情報を取得し、
前記負荷分布の調整のために負荷を移動する際に、冷却装置の位置と、前記マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定することを特徴とする請求項８または９に記載のサーバ運用方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のサーバを備えたシステムの冷却に関する。
【背景技術】
【０００２】
昨今のＩＴインフラ統合に向けて、データセンターなどのサーバ室にブレードサーバを導入する動きが活発化している。ブレードサーバに代表される高密度サーバは、省スペースなどの利点があるものの、発熱密度が高いという問題がある。例えば、ブレードサーバを高密度に実装した場合、ラック１本あたりの発熱量は５〜３０ｋｗとなる場合もある。
【０００３】
これに対して、従来のサーバ室の冷却設備は、通常、ラック１本あたりの発熱量を０．５〜２ｋｗ程度に想定して設けられている。そのため、ブレードサーバが導入したサーバ室では、十分な冷却が出来ずにホットスポットが発生し、ホットスポットの位置にあるサーバやＩＴ機器がオーバーヒートを起こす可能性がある。一方、このようなことを解消するために、冷却設備の運転を強めると、ホットスポット以外の箇所にとって冷却過多となり、電力を無駄に消費してしまう。
【０００４】
ホットスポットによるオーバーヒートを防止し、サーバ室の過冷却による電力ロスを防ぐためには、サーバ室の温度を均一に保つ事が重要である。これについて、様々な手法が試みされてきた
【０００５】
例えば、サーバルームの温度シミュレーションを行い、冷却設備とラックの最適な配置を事前に算出する手法が知られている。
【０００６】
また、ラックに冷却装置を実装し、ラック単位やラック列単位で冷却する手法も知られている。
【０００７】
また、ホットアイルとコールドアイルを分離し、排気が他のサーバの吸気側に回り込まないようにサーバを配置する手法もある。
【０００８】
また、システムに備えられた複数のサーバの負荷を分散させる技術として、各サーバの負荷状況を監視し、負荷の高いサーバのジョブやＶＭ（Ｖｉｒｔｕａｌ  Ｍａｃｈｉｎｅ：仮想機械）を、負荷の低いサーバへ移動し、各サーバの負荷を均一にする手法が知られている。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかし、温度シミュレーションによる手法では、シミュレーション結果に応じてサーバを配置するが、シミュレーションデータの精度や、サーバ数の増減および動作状況などによっては、必ずしもシミュレーション通りの温度分布を得るとは限らない。
【００１０】
また、ラックに冷却装置を実装し、ラック単位やラック列単位で冷却する手法では、ラックへの冷却装置の実装によるラックのサイズ増大、コストアップなどの問題がある。
【００１１】
また、ホットアイルとコールドアイルを分離する手法では、サーバ室の冷却設備の位置の調整や、吸気／排気が同じ方向のサーバで統一する必要があるなど、運用上の制限が多い。
【００１２】
また、各サーバの負荷が均一であってもサーバ室内の温度分布が均一とは限らないため、サーバの負荷を均一化させる手法を適用してもサーバ室の温度を均一に保つ事が困難である。例えば、冷却設備の正面の空間は良く冷えるが、冷却装置から遠く離れた入り組んだ位置にある空間は、冷気が届かずあまり冷えない。これらの位置にあるサーバに同じ負荷を与えても、サーバ室の室温は均一にならず、ホットスポットが発生する可能性がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、サーバ室の温度分布を確実に均一に保つ技術を提供する。
【課題を解決するための手段】
【００１４】
本発明の１つの態様は、サーバ運用システムである。このサーバ運用システムは、複数のサーバと、マスタ管理装置と、制御装置を備える。
【００１５】
マスタ管理装置は、上記複数のサーバが設けられた夫々の場所の温度を示す温度情報を取得可能である。
【００１６】
制御装置は、マスタ管理装置が得た温度情報に基づいて、上記複数のサーバが設けられた夫々の場所間での温度分布が均一になるように、該複数のサーバ間で負荷分布の調整を行う。
【００１７】
本発明の別の態様も、サーバ運用システムである。このサーバ運用システムは、エンクロージャ単位の複数のサブシステムにより構成される。
【００１８】
サブシステムは、該サブシステムが設けられた場所の温度を示す温度情報を取得可能な管理装置と、１つ以上のサーバを格納するエンクロージャとを備える。
【００１９】
これらの複数のサブシステムの管理装置のうちの１つはマスタ管理装置であり、他の管理装置はスレーブ管理装置である。
【００２０】
各スレーブ管理装置は、自身が属するサブシステムの温度情報をマスタ管理装置に提供し、マスタ管理装置は、自身が属するサブシステムの温度情報と、各スレーブ管理装置から提供された夫々のサブシステムの温度情報とを制御装置に供する。
【００２１】
制御装置は、マスタ管理装置が得た温度情報に基づいて、各サブシステムが設けられた夫々の場所間での温度分布が均一になるように、これらのサブシステムに格納されたサーバ間で負荷分布の調整を行う。
【００２２】
なお、上記態様のサーバ運用システムを方法に置き換えて表現したもの、該サーバ運用システムの一部の構成要素例えばサブシステムや管理装置、またはこれらの構成要素の一部の機能をコンピュータに実行せしめるプログラムも、本発明の態様としては有効である。
【発明の効果】
【００２３】
本発明にかかる技術によれば、サーバ室の温度を均一に保つことを確実にできる。
【図面の簡単な説明】
【００２４】
【図１】本発明にかかる技術の原理を説明するためのサーバ運用システムを示す図である（その１）。
【図２】本発明にかかる技術の原理を説明するためのサーバ運用システムを示す図である（その２）。
【図３】本発明の実施の形態にかかるサーバ運用システムを示す図である。
【図４】図３に示すサーバ運用システムにおけるサブシステムを示す図である。
【図５】図３に示すサーバ運用システムにおける各管理装置の状態の遷移を示す図である。
【図６】図３に示すサーバ運用システムにおけるマスタ管理装置とスレーブ管理装置の自律的な決定シーケンスを示す図である（その１）。
【図７】図３に示すサーバ運用システムにおけるマスタ管理装置とスレーブ管理装置の自律的な決定シーケンスを示す図である（その２）。
【図８】図３に示すサーバ運用システムにおけるマスタ管理装置とスレーブ管理装置の自律的な決定シーケンスを示す図である（その３）。
【図９】図３に示すサーバ運用システムにおけるマスタ管理装置とスレーブ管理装置の自律的な決定シーケンスを示す図である（その４）。
【図１０】マスタ管理装置とスレーブ管理装置の通信パターンを説明するための図である。
【発明を実施するための形態】
【００２５】
説明の明確化のため、以下の記載及び図面は、適宜、省略及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２６】
本発明にかかる具体的な実施の形態の前に、まず、本発明にかかるサーバ運用技術の原理を説明する。
図１は、本発明にかかる技術の原理を説明するためのサーバ運用システム１００を示す。サーバ運用システム１００は、例えばサーバ室に設けられており、複数のサーバ１１０と、マスタ管理装置１２０と、制御装置１３０を備える。
【００２７】
マスタ管理装置１２０は、各サーバ１１０が設けられた夫々の場所の温度を示す温度情報を取得可能である。制御装置１３０は、マスタ管理装置１２０が得た各温度情報に基づいて、各サーバ１１０が設けられた夫々の場所間での温度分布が均一になるように、これらのサーバ間で負荷分布の調整を行う。なお、負荷分布の調整は、例えばジョブやＶＭの移動を含む。
【００２８】
図１において、構成要素間の線は、情報の受渡しが可能であることを示し、必ずしも実際の接続形態を示すものではない。マスタ管理装置１２０は、各サーバ１１０から該サーバの温度情報を取得可能であり、制御装置１３０は、マスタ管理装置１２０から温度情報を得ることができ、かつ各サーバ１１０間で負荷調整を行うことができれば、いかなる接続形態であってもよい。例えば、各サーバ１１０とマスタ管理装置１２０はネットワークにより接続され、該ネットワークを介して温度情報を受け渡し、制御装置１３０は、ネットワークを介して各サーバ１１０と接続する一方、マスタ管理装置１２０とは直接接続されるような接続形態が考えられる。また、マスタ管理装置１２０と各サーバ１１０とを接続するネットワークは、制御装置１３０と各サーバ１１０とを接続するネットワークとは異なるものであってもよい。さらに、マスタ管理装置１２０と制御装置１３０の片方または両方は、いずれかのサーバ１１０に設けられるようにしてもよい。両方がいずれかのサーバサーバ１１０に設けられる場合には、夫々が設けられるサーバは、同一であってもよく異なってもよい。
【００２９】
また、制御装置２３０は、マスタ管理装置１２０から情報を受け取ることができ、サーバ間で負荷分布の調整を行うことができるものであれば、その構築の形態は１つに限定されることが無い。例えば、１つの構成要素として制御装置をいずれかのサブシステムにサーバとは別に設けるようにしてもよいし、いずれかのサーバに設けるようにしてもよい。さらに、例えば、各サーバ内で制御モジュールを設け、制御モジュール間での情報交換の結果に応じて負荷分布の調整を行うようにしてもよい。この場合、制御装置は、これらの制御モジュールにより構成される。
【００３０】
このサーバ運用システム１００によれば、各サーバが設けられた場所の実際の温度に基づいて、これらの場所間での温度分布が均一になるようにサーバ間の負荷分布が調整されるので、サーバ運用システム１００が設けられたサーバ室の温度を確実に均一に保つことができる。
【００３１】
本発明に係る技術は、１つのエンクロージャに集合された集合型サーバ装置により構成されたサーバ運用システムにも適用することができる。図２を参照して説明する。
【００３２】
図２に示すサーバ運用システム２００は、集合型サーバ装置（以下サブシステムという）を複数備える。図２において、例としてサブシステム２１０、サブシステム２２０、サブシステム２３０の３つのみを示す。これらのサブシステムは、ネットワーク２９０を介して接続されている。
【００３３】
各サブシステムは、エンクロージャ単位に構成されている。図示のように、サブシステム２１０は、複数のサーバ２１４と、管理装置２１６と、制御装置２８０と、これらを格納するエンクロージャ２１２を有する。サブシステム２２０は、複数のサーバ２２４と、管理装置２２６と、これらを格納するエンクロージャ２２２を有する。サブシステム２３０は、複数のサーバ２３４と、管理装置２３６と、これらを格納するエンクロージャ２３２を有する。
【００３４】
マスタ管理装置２１６、スレーブ管理装置２２６、スレーブ管理装置２３６は、自身が属するサブシステムが設けられた場所（すなわち該サブシステムのエンクロージャが設けられた場所）の温度情報を取得可能である。すなわち、マスタ管理装置２１６はサブシステム２１０の温度情報を取得可能であり、スレーブ管理装置２２６はサブシステム２２０の温度情報を取得可能であり、スレーブ管理装置２３６はサブシステム２３０の温度情報を取得可能である。
【００３５】
これらの管理装置のうちの１つはマスタ管理装置であり、他はスレーブ管理装置である。例として、マスタ管理装置２１６はマスタ管理装置であり、スレーブ管理装置２２６とスレーブ管理装置２３６はスレーブ管理装置であるとする。
【００３６】
スレーブ管理装置２２６とスレーブ管理装置２３６は、自身が属するサブシステムの温度情報を取得してネットワーク２９０を介してマスタ管理装置２１６に提供する。
【００３７】
マスタ管理装置２１６は、サブシステム２１０の温度情報、およびスレーブ管理装置２２６とスレーブ管理装置２３６が提供したサブシステム２２０とサブシステム２３０の温度情報を制御装置２８０に供する。
【００３８】
制御装置２８０は、マスタ管理装置２１６からの各温度情報に基づいて、各々のサブシステムが設けられた場所間での温度分布が均一になるように、サーバ間での負荷分布を調整する。
【００３９】
図２に示すサーバ運用システム２００は、集合型サーバ装置が設けられた場所の温度が、該集合型サーバ装置に含まれる各サーバが設けられた場所の温度とほぼ一致であることを利用し、各サブシステムが設けられた場所の実際の温度に基づいて、これらの場所間での温度分布が均一になるようにサーバ間の負荷分布を調整するので、サーバ運用システム２００が設けられたサーバ室の温度を確実に均一に保つことができる。
【００４０】
また、サブシステム単位で温度情報を取得するので、サーバ毎に温度情報を取得することより、処理が簡単である。
【００４１】
なお、いずれの管理装置をマスタ管理装置とするかについて、固定であってもよいが、システム構築者などユーザにより設定できることが好ましい。こうすることによって、サブシステムの増減などの変動にも対応することができる。
【００４２】
さらに、各管理装置がネットワークを介した通信により自律的にマスタ管理装置とスレーブ管理装置の決定がなされることがより好ましい。こうすることにより、サブシステムの増減などの変動をより簡単に対応することができる。
【００４３】
また、管理装置が温度情報を取得する方法としては、例えば、サブシステム毎に温度センサを設け、温度センサの測定値を温度情報として取得することができる。この温度センサは、例えば当該サブシステムのエンクロージャに設ければよい。
【００４４】
昨今のサーバには吸気温度センサを設けられているものが多く、エンクロージャに格納されたサーバの吸気温度センサにより測定した温度と該エンクロージャ周辺の温度とがほぼ一致であることを利用して、管理装置は、自身が属するサブシステム内のサーバに元々備えられている吸気温度センサの測定値を該サブシステムの温度情報として取得するようにしてもよい。サーバに元々備えられた吸気温度センサを利用し、サブシステムの温度を測定する装置を別に設ける必要が無いため、この手法による温度情報の取得が好ましい。
【００４５】
なお、サーバに複数の吸気温度センサが備えられている場合には、いずれか１つの吸気温度センサの測定値を用いてもよく、これらの複数の吸気温度センサのうちの１つ以上の測定値の平均値を用いるようにしてもよい。エンクロージャに格納されたサーバのうち、吸気温度センサが備えられたサーバが複数ある場合においても、同様である。
【００４６】
さらに、マスタ管理装置が、各サブシステムの設置された場所の位置を示す位置情報を取得し、制御装置が、各サブシステムの温度情報と位置情報とに基づいて調整を行うことが好ましい。
【００４７】
例えば、制御装置は、サーバ間の負荷分布の調整のために負荷を移動する際に、サブシステム間での温度分布が均一になる前提下で、位置情報に基づいてサブシステムの密集度を求め、密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定するようにすることができる。こうすることによって、温度分布の均一化をより効率良く行うことができる。
【００４８】
また例えば、制御装置は、サーバ間の負荷分布の調整のために負荷を移動する際に、サブシステム間での温度分布が均一になる前提下で、サーバ室に設けられた冷却装置の位置と、マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定するようにしてもよい。この手法も、温度分布の均一化をより効率良く行うことができる。
【００４９】
なお、位置情報の具体的な取得手法については、実施の形態と共に説明する。
以下、上述した原理を踏まえ、本発明にかかる実施の形態を説明する。
図３は、本発明の実施の形態にかかるサーバ運用システム３００を示す。サーバ運用システム３００は、サーバ室３１０内に設けられており、サブシステム４００と、１つ以上のサブシステム５００と、冷却装置３２０および冷却装置３４０を備える。各サブシステムは、ネットワーク３９０を介して接続されている。なお、サブシステムおよび冷却装置の配置および数は、図示の例に限られることがない。
【００５０】
サブシステム４００は、制御装置４０２を備える。制御装置４０２は、ネットワーク３９０を介して各サブシステム（サブシステム４００およびサブシステム５００）内に含まれるサーバ間の負荷を調整可能である。制御装置４０２による調整の詳細は、後に説明する。制御装置４０２を備える点を除き、サブシステム４００は、各サブシステム５００と同じ構成を有し、ここでサブシステム５００の詳細構成について説明する。
【００５１】
図４は、サブシステム５００を示す。サブシステム５００は、エンクロージャ単位に構成されており、図４の上部は、エンクロージャの上からの透視図であり、図４の下部は、エンクロージャの背面図である。
【００５２】
サブシステム５００は、エンクロージャ５１０と、複数のサーバ５２０と、管理装置５３０と、発信機５４０と、３つのレシーバ（レシーバ５５２、レシーバ５５４、レシーバ５５６）を備える。なお、サブシステム４００は、図４に示す各構成要素を備え、さらに制御装置４０２を有する。
【００５３】
管理装置５３０と複数のサーバ５２０は、エンクロージャ５１０に格納されている。各サーバ５２０は、１つ以上の吸気温度センサ５２２を有する。吸気温度センサ５２２の測定値は、管理装置５３０に送信される。
【００５４】
管理装置５３０は、プロセッサ（以下ＭＰＵという）５３１、ＭＰＵ５３１による処理時のデータを記憶するＲＡＭ５３２と、ネットワーク３９０と接続するためのＬＡＮボード５３４とＮＩＣ５３３、発信機５４０を制御するための制御回路（以下ＣＮＴという）５３５と、レシーバ５５２〜５５６を制御するためのＣＮＴ５３６を有する。ＭＰＵ５３１は、ＮＩＣ５３３を制御して、ＬＡＮボード５３４を介してネットワーク３９０による通信を行う。また、ＭＰＵ５３１は、ＣＮＴ５３５を介して発信機５４０を制御し、ＣＮＴ５３６を介して３つのレシーバ５５４〜５５６を制御する。管理装置５３０の各構成要素は、協働して管理装置５３０の機能を担い、それらの協働動作は、通常のコンピュータに備えられた相対応のものの動作と同様である。したがって、以下の説明において、管理装置５３０の機能についてのみ説明し、これらの機能を実現するために各構成要素の具体的な動作を省略する。
【００５５】
発信機５４０と３つのレシーバ５５４〜５５６は、エンクロージャ５１０に装着されている。発信機５４０は、管理装置５３０の制御に従って電波を発信でき、レシーバ５５４〜５５６は、管理装置５３０の制御に従って他のサブシステムにおける発信機からの電波を受信できる。
【００５６】
サブシステム４００と各サブシステム５００における管理装置５３０は、該管理装置がマスタ管理装置であるかスレーブ管理装置かによって一部の動作が異なる。マスタ管理装置は、複数の管理装置５３０のうちの１つであり、マスタ管理装置以外の管理装置５３０は、スレーブ管理装置である。
【００５７】
本実施の形態のサーバ運用システム３００において、マスタ管理装置とスレーブ管理装置の決定は、各々の管理装置５３０間の調停により自律的に決定される。また、調停のためには、Ｐ０〜Ｐ３の４種類のパケットが使用される。Ｐ０は、マスタ名要求パケット（Ｍａｓｔｅｒ＿Ｎａｍｅ＿Ｉｎｑｕｉｒｙ）であり、Ｐ１は、マスタ宣言パケット（Ｍａｓｔｅｒ＿Ａｎｎｏｕｎｃｅｍｅｎｔ）である。また、Ｐ２は、エントリ・リクエストパケット（Ｅｎｔｒｙ＿Ｒｅｑｕｅｓｔ）であり、Ｐ３は、エントリ受付パケット（Ｅｎｔｒｙ＿Ａｃｃｅｐｔａｎｃｅ）である。以下の説明及び図示において、パケット名の後に「（Ｕｎｉｃａｓｔ）」を付けることにより該パケットがユニキャストのパケットであることを示し、「（Ｂｒｏａｄｃａｓｔ）」を付けることにより該パケットがブロードキャストのパケットであることを示す。また、「（Ｕｎｉｃａｓｔ）」と「（Ｂｒｏａｄｃａｓｔ）」のいずれも付けない場合には、該パケットが、ユニキャストとブロードキャストのいずれでもよいことを示す。
【００５８】
図５は、管理装置５３０の状態遷移図である。説明しやすいように、複数の管理装置により形成されたネットワークを、以下管理装置ネットワークという。
【００５９】
管理装置ネットワークに新規に参加する管理装置５３０の状態は、初期状態の状態０である。なお、新規に参加する管理装置とは、マスタ管理装置であるかスレーブ管理装置であるかの設定がまだなされておらず、例えば既存のサーバ運用システムに追加されたサブシステムに含まれる管理装置である。
【００６０】
状態０にある管理装置５３０は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送出し、マスタ管理装置からの返答を待つ状態（状態１）に遷移する。
【００６１】
管理装置ネットワークに既にマスタ管理装置がある場合には、該マスタ管理装置は、マスタ名要求パケットＰ０を受信してから所定の時間内にユニキャストのマスタ宣言パケットＰ１を返答する。マスタ名要求パケットＰ０を送出した新規の管理装置５３０は、所定の時間内に自身宛てのマスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信すると、マスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信して、登録要求中状態（状態２）に遷移する。図５において、この遷移は、状態１から状態２までの実線で表されている。
【００６２】
一方、マスタ名要求パケットＰ０を送信した新規の管理装置５３０は、所定の時間内に自身宛のマスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信できない場合には、ブロードキャストのマスタ宣言パケットＰ１を送出して、マスタ管理装置（状態４）になる。図５において、この遷移は、状態１から状態４までの点線で表されている。
【００６３】
登録要求中状態（状態２）にある管理装置５３０は、エントリ・リクエストパケットＰ２の送信から所定の時間以内にエントリ受付パケットＰ３を受信すると、スレーブ管理装置（状態３）になる。図５において、この遷移は、状態２から状態３までの実線で表されている。
【００６４】
一方、登録要求中状態（状態２）にある管理装置５３０は、エントリ・リクエストパケットＰ２の送信から所定の時間が経過しても自身宛のエントリ受付パケットＰ３を受信できなかった場合には、初期状態（状態０）に戻る。
【００６５】
また、スレーブ管理装置（状態３）が情報要求パケットＰ４を所定時間以上受信できなかった場合には、該管理装置５３０も初期状態（状態０）に戻る。これについて、マスタ管理装置とスレーブ管理装置の動作の説明時に説明する。
【００６６】
上述した管理装置５３０の状態遷移を踏まえ、本実施の形態における各管理装置５３０による調停についてのいくつかのケースを説明する。
【００６７】
図６は、既に形成された管理装置ネットワークに新規の管理装置５３０が参加するシーケンスの１例を示す。既に形成された管理装置ネットワークとは、マスタ管理装置が既に決定された管理装置ネットワークを意味する。
【００６８】
図６に示すように、新規の管理装置５３０は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送信する。
【００６９】
このマスタ名要求パケットＰ０を受信したマスタ管理装置は、所定の時間内に、上記新規の管理装置５３０にユニキャストのマスタ宣言パケットＰ１を返答する。
【００７０】
新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０の送信後の所定の時間内に自分宛のマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１を送信したマスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信する。
【００７１】
マスタ管理装置は、エントリ・リクエストパケットＰ２を受信すると、所定の時間内にエントリ受付パケットＰ３を返送する。
【００７２】
エントリ・リクエストパケットＰ２の送信後の所定の時間内にエントリ受付パケットＰ３を受信すると、上記新規の管理装置５３０はスレーブ管理装置になり、管理装置ネットワークへの参加が完了する。
【００７３】
図７は、既に形成された管理装置ネットワークに新規の管理装置５３０が参加するシーケンスの別の例を示す。
【００７４】
図６に示す例と同様に、管理装置ネットワークに参加するために、新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０を送信する。
【００７５】
このマスタ名要求パケットＰ０を受信したマスタ管理装置は、所定の時間内に、上記新規の管理装置５３０にユニキャストのマスタ宣言パケットＰ１を返答する。
【００７６】
新規の管理装置５３０は、ブロードキャストのマスタ名要求パケットＰ０の送信後の所定の時間内に自分宛のマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１を送信したマスタ管理装置にユニキャストのエントリ・リクエストパケットＰ２を送信する。
【００７７】
マスタ管理装置は、エントリ・リクエストパケットＰ２を受信すると、所定の時間内にエントリ受付パケットＰ３を返送する。しかし、このエントリ・リクエストパケットＰ２は、何らかの弾みで新規管理装置に到達する前に消滅してしまう。
【００７８】
そのため、新規管理装置は、エントリ・リクエストパケットＰ２の送信後に所定時間が経過してもエントリ受付パケットＰ３を受信できないため（タイムアウト）、初期状態に戻り、ブロードキャストのマスタ名要求パケットＰ０を再度送信する。
【００７９】
その後、図６に示すシーケンスと同様の流れを経て、新規管理装置は、スレーブ管理装置になり、管理装置ネットワークへの参加が完了する。
【００８０】
図８は、管理装置ネットワークがまだ形成されておらず、各管理装置５３０が管理装置ネットワークを形成するシーケンスの例を示す。
【００８１】
図８は、管理装置ネットワークがまだ形成されておらず、各管理装置５３０が管理装置ネットワークを形成するシーケンスの例を示す。また、分かりやすいように、３つの管理装置についてのみ図示および説明する。
【００８２】
この場合、全ての管理装置（新規１、新規２、新規３）は新規の管理装置である。これらの管理装置は、ブロードキャストのマスタ名要求パケットＰ０を送信する。
【００８３】
マスタ管理装置が無いため、各管理装置は、マスタ宣言パケットＰ１（Ｕｎｉｃａｓｔ）を受信できない。ここで、最も先にタイムアウトが発生した管理装置（図示の例では新規１）は、ブロードキャストのマスタ宣言パケットＰ１を送信し、マスタ管理装置になる。
【００８４】
ブロードキャストのマスタ宣言パケットＰ１を受信した他の管理装置（新規２と新規３）は、マスタ管理装置である新規１にエントリ・リクエストパケットＰ２を送信する。
【００８５】
新規１は、他の管理装置からのエントリ・リクエストパケットＰ２を受信すると、発信元の管理装置にエントリ受付パケットＰ３を夫々送信する。
【００８６】
新規２と新規３は、エントリ受付パケットＰ３を受信すると夫々スレーブ管理装置になる。
これにより、管理装置ネットワークが形成される。
【００８７】
図９は、マスタ管理装置の競合が生じた場合に行われるシーケンスの例を示す。この例では、既に形成されている管理装置ネットワークに新規の管理装置の参加時に競合が起きている。
【００８８】
新規の管理装置は、管理装置ネットワークに参加するために、ブロードキャストのマスタ名要求パケットＰ０を送信する。
【００８９】
マスタ名要求パケットＰ０を受信したマスタ装置は、ユニキャストのマスタ宣言パケットＰ１を新規管理装置に送信するが、このマスタ宣言パケットＰ１は、何らかの弾みで新規管理装置に到達する前に消滅してしまう。
【００９０】
そのため、新規管理装置は、マスタ名要求パケットＰ０の送信後に所定時間が経過してもマスタ宣言パケットＰ１を受信できないため、マスタ管理装置になり、ブロードキャストのマスタ宣言パケットＰ１を送信する。
【００９１】
すなわち、管理装置ネットワークにマスタ管理装置が２つもあり、競合が起きている。区別するために、マスタ管理装置になった新規管理装置を「新マスタ管理装置」といい、元々あったマスタ管理装置を「元マスタ管理装置」という。
【００９２】
元マスタ管理装置は、新マスタ管理装置からのマスタ宣言パケットＰ１を受信すると、マスタ宣言パケットＰ１に含まれた新マスタ管理装置のＭＡＣアドレスと自分のＭＡＣアドレスを比較する。本実施の形態において、競合が起きた場合に、ＭＡＣアドレスの大きい方がマスタ管理装置になるように定められている。
【００９３】
例として、元マスタ管理装置のＭＡＣアドレスが新マスタ管理装置のＭＡＣアドレスが大きいであるとする。そのため、元マスタ管理装置は、自身の状態を維持すべく、ブロードキャストのマスタ宣言パケットＰ１を送信する。
【００９４】
元マスタ管理装置からのブロードキャストのマスタ宣言パケットＰ１を受信した新マスタ管理装置も、該マスタ宣言パケットＰ１に含まれた元マスタ管理装置のＭＡＣアドレスと自身のＭＡＣアドレスを比較する。そして、比較の結果に応じて、元マスタ管理装置にエントリ・リクエストパケットＰ２を送信し、スレーブ管理装置になる。
これにてマスタ管理装置の競合が解消される。
【００９５】
このように、サーバ運用システム３００において、各々の管理装置５３０により、自律的にマスタ管理装置とスレーブ管理装置の決定や更新がなされる。
【００９６】
ここで、マスタ管理装置とスレーブ管理装置の機能を説明する。
サーバ運用システム３００における全ての管理装置５３０は、自身の属するサブシステムが設けられた場所の温度を示す温度情報を取得可能である。具体的には、自身の属するサブシステムに含まれる各サーバに備えられた吸気温度センサ５２２の測定値の平均値を温度情報として算出する。
【００９７】
スレーブ管理装置は、マスタ管理装置から定期的に送られてくる情報要求パケットＰ４を受信する度に、自身のサブシステムの温度情報を取得してネットワーク３９０を介してマスタ管理装置に送信すると共に、発信機５４０を発信させる。なお、発信機５４０から発信された電波には、発信時刻と、当該管理装置５３０内のＮＩＣ５３３のＭＡＣアドレスが含まれている。
【００９８】
また、スレーブ管理装置は、前回の情報要求パケットＰ４の受信から所定の時間が経過しても次の情報要求パケットＰ４を受信できなかった場合には、初期状態（状態０）に戻る。これは、図５の状態遷移図における状態３（スレーブ状態）から状態０までの実線で表されている。
【００９９】
マスタ管理装置は、ネットワーク３９０を介して定期的に情報要求パケットＰ４を各スレーブ管理装置に送信すると共に、情報要求パケットＰ４に応じて各スレーブ管理装置が送られてきた温度情報で管理リストを更新する。管理リストは、例えばＲＡＭ５３２に格納されている。
【０１００】
図１０は、マスタ管理装置が管理する管理リスト、マスタ管理装置とスレーブ管理装置間での通信パターンを示す。
【０１０１】
分かりやすいように、スレーブ管理装置については、３つのスレーブ管理装置（スレーブ管理装置＃１、スレーブ管理装置＃２、スレーブ管理装置＃３）を例にする。
【０１０２】
管理リストには、スレーブ管理装置毎に、ＭＡＣアドレス、ＩＰアドレス、温度情報、位置情報とは対応付けて登録されている。位置情報は、当該スレーブ管理装置が属するサブシステムが設けられた場所の位置を示すものであり、それの詳細については後述する。
【０１０３】
マスタ管理装置は、スレーブ管理装置が管理装置ネットワークに参加する際に発行したエントリ・リクエストパケットＰ２から該スレーブ管理装置のＭＡＣアドレスとＩＰアドレスを取得する。また、マスタ管理装置は、ネットワーク３９０を介して、管理リストに登録してある各ＩＰアドレス宛に、定期的に情報要求パケットＰ４を発行し温度情報を要求する。マスタ管理装置は、情報要求パケットＰ４に応じて各スレーブ管理装置が送ってきた最新の温度情報を、該スレーブ管理装置のＭＡＣアドレスとＩＰアドレスとを対応付けて管理リストに保持する。
【０１０４】
図１０において、スレーブ管理装置＃１とマスタ管理装置間の通信パターンは、最も多い通信パターンである。この通信パターンでは、マスタ管理装置が定期的に発行する情報要求パケットＰ４はスレーブ管理装置＃１に届いており、スレーブ管理装置＃１は、情報要求パケットＰ４を受信する度に、自身のサブシステムの温度情報（図中温度情報＃１）を取得してマスタ管理装置に返送する。マスタ管理装置は、スレーブ管理装置＃１から温度情報＃１を受信する度に、受信した温度情報＃１で、スレーブ管理装置＃１に対応して保持されていた温度情報＃１を更新する。
【０１０５】
スレーブ管理装置＃２とマスタ管理装置間の通信パターンは、情報要求パケットＰ４を受信してから所定の時間が経過しても、次の情報要求パケットＰ４がスレーブ管理装置に届かなかった場合のものである。図示のように、この場合、スレーブ管理装置＃２は、マスタ名要求パケットＰ０（ブロードキャスト）を発行する。これにより、マスタ管理装置の再選出が行われ、システム変更や故障などにより前のマスタ管理装置が機能しない状態になったとしても、新しいマスタ管理装置が自律的に選出される。なお、これにより選出された新しいマスタ管理装置は、新たに管理リストを作成する。
【０１０６】
スレーブ管理装置＃３とマスタ管理装置間の通信パターンは、マスタ管理装置が情報要求パケットＰ４の送信後、送信先のスレーブ管理装置から温度情報を受信できなかった場合のものである。図示のように、この場合、マスタ管理装置は、当該スレーブ管理装置（図中スレーブ管理装置＃３）についての登録内容を削除する。これにより、例えばシステム変更などによりスレーブ管理装置＃３の属するサブシステムが撤去された場合にも対応可能である。
【０１０７】
マスタ管理装置による位置情報の取得について説明する。本実施の形態において、マスタ管理装置は、三点測位法により、各スレーブ管理装置と自身の相対位置を当該スレーブ管理装置の位置情報として取得する。具体的には、マスタ管理装置は、自身のサブシステムのエンクロージャ５１０に設けられた３つのレシーバ５５２、５５４、５５６がスレーブ管理装置の属するサブシステム内の発信機５４０からの電波を受信する時間の差から該スレーブ管理装置と自身の相対位置を求める。すなわち、レシーバ５５２、レシーバ５５４、レシーバ５５６、およびＭＰＵ５３１は、測位デバイスを構成する。なお、三点測位法は、一般的に用いられる測距方法であるため、ここで詳細な説明を省略する。
【０１０８】
マスタ管理装置は、このようにして取得した各サブシステムの温度情報と位置情報を、サブシステム４００に設けられた制御装置４０２に送信する。制御装置４０２は、マスタ管理装置から温度情報と位置情報に基づいて、各サブシステムが設けられた場所間で温度分布が均一になるように、各々のサーバ間で負荷分布の調整を行う。
【０１０９】
具体的には、制御装置４０２は、まず、各サブシステムの温度情報に基づいて、各サブシステムが設けられた場所間での温度分布の偏りの有無を確認する。例えば、制御装置４０２は、各サブシステムの温度情報が示す温度の平均値を求め、該平均値との差が所定の閾値以上の温度のサブシステムがあれば、温度分布の偏りがあるとし、全てのサブシステムについて、その温度と上記平均値との差が所定の閾値より小さければ、温度分布の偏りが無いとする。
【０１１０】
温度分布の偏りが無い場合、制御装置４０２は、負荷分布の調整をしない。温度分布の偏りがあれば、制御装置４０２は、温度分布の偏りが無くなるように、サーバ間で負荷分布を調整する。この調整は、例えば温度の高いサブシステム内のサーバの負荷を、温度の低いサブシステム内に移動する手法が挙げられるが、温度分布の偏りを無くすことができれば、従来知られているいかなる負荷分布の調整手法を用いてもよい。
【０１１１】
制御装置４０２は、負荷分布の調整のために負荷を移動する際に、位置情報を参照して移動先のサーバの優先順位を決定する。図３に戻って説明する。
【０１１２】
図３に示すサーバ運用システム３００において、点線により囲まれた４つの領域（領域１〜領域４）のうち、領域１と領域３は、冷却装置３２０または冷却装置３４０に近い場所であり、領域２と領域４は、冷却装置３２０と冷却装置３４０のいずれからも離れた場所である。そのため、領域２と領域４は、領域１と領域３よりホットスポットになりやすい。また、領域２と領域４がホットスポットにならないように、従来のように単に冷却装置の冷却能力を強めれば、領域１と領域３は過冷却され、システム全体の冷却効率が悪い。
【０１１３】
それに対して、上述した本実施の形態のサーバ運用システム３００のように、各サブシステムが設けられた場所間での温度分布が均一になるようにサーバ間で負荷分布を調整することにより、冷却装置の冷却能力を効率よく利用できる。ここで、例えば、温度分布の偏りを解消するために、領域４内のサブシステムのサーバの負荷を温度の低いサブシステム内のサーバに移動する必要があり、温度の低いサブシステムが領域１と領域３内のサブシステムである場合を考える。この場合、領域１と領域３のいずれの領域内のサブシステムのサーバに負荷を移動するかを決める必要がある。
【０１１４】
本実施の形態において、制御装置４０２は、負荷分布の調整のために負荷を移動する際に、マスタ管理装置からの位置情報に基づいて、サブシステムの密集度が高い場所に設けられたサブシステムに含まれるサーバよりも、密集度の低い場所に設けられたサブシステムに含まれるサーバを優先的に移動先のサーバとして選定する。上記の例の場合、移動先として、領域１と領域３のいずれの領域内のサーバも移動先のサーバとすることができるが、本実施の形態では、制御装置４０２は、サブシステムの密集度が低いほうの領域１内のサーバを優先的に選定する。こうすることにより、より冷却効率を高めることができる。
【０１１５】
本実施の形態のサーバ運用システム３００は、本発明の技術的原理を説明する際に用いられたサーバ運用システム１００とサーバ運用システム２００を具現化したものであり、本発明の原理を説明する際に挙げた本発明の技術の効果を得ることができる。
【０１１６】
以上、実施の形態をもとに本発明を説明した。実施の形態は例示であり、本発明の主旨から逸脱しない限り、さまざまな変更、増減を加えてもよい。これらの変更、増減が加えられた変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１１７】
例えば、サーバ運用システム３００において、制御装置４０２は、サブシステムの密集度に基づいて負荷の移動先のサーバの優先度を決めるようにしているが、サーバ室に設けられた冷却装置の位置と、マスタ管理装置が得た位置情報とに基づいて、冷却装置までの距離が近いサブシステムに含まれるサーバほど該サーバを優先的に移動先のサーバとして選定するようにしてもよい。この手法も、温度分布の均一化をより効率良く行うことができる。例えば図３に示す配置例において、温度分布の均一化のみを考えると、領域４と領域３のいずれの領域内のサーバも負荷の移動先のサーバとすることができる場合、冷却装置３４０に近い位置の領域３に設けられたサブシステム内のサーバを優先的に選定する。
【０１１８】
なお、冷却装置の位置情報は、例えば予め制御装置４０２に対して設定すればよい。
【０１１９】
また、各サブシステムの位置情報を取得することができれば、マスタ管理装置による各サブシステムの位置情報の取得手法も上述した手法に限られることが無い。例えば、各サブシステム内例えばエンクロージャにＧＰＳレシーバを備え、各スレーブ管理装置が自身のサブシステム内のＧＰＳレシーバの測定値を位置情報としてネットワークを介してマスタ管理装置に送信するようにしてもよい。この手法による位置情報は、マルチパスや電波の回り込みなどに影響されず、より精確である。
【０１２０】
また例えば、サーバ運用システム３００による位置情報の取得と同じように三点測位法を用いるが、電波の代わりに超音波を利用してもよい。
【０１２１】
さらに、ネットワーク３９０を無線ＬＡＮで構成し、無線ＬＡＮの搬送波の強度を利用して各サブシステムの位置情報を得るようにしてもよい。この場合、予め３エンクロージャ以上に基準となる座標を与える必要があるが、ネットワークデバイスを測位デバイスとして用いることができるため、安価である。
【符号の説明】
【０１２２】
１００  サーバ運用システム  １１０  サーバ
１２０  マスタ管理装置  １３０  制御装置
２００  サーバ運用システム  ２１０  サブシステム
２１２  エンクロージャ  ２１４  サーバ
２１６  マスタ管理装置  ２２０  サブシステム
２２２  エンクロージャ  ２２４  サーバ
２２６  スレーブ管理装置  ２３０  サブシステム
２３２  エンクロージャ  ２３４  サーバ
２３６  スレーブ管理装置  ２８０  制御装置
２９０  ネットワーク  ３００  サーバ運用システム
３１０  サーバ室  ３２０  冷却装置
３４０  冷却装置  ３９０  ネットワーク
４００  サブシステム  ４０２  制御装置
５００  サブシステム  ５１０  エンクロージャ
５２０  サーバ  ５２２  吸気温度センサ
５３０  管理装置  ５３１  ＭＰＵ
５３２  ＲＡＭ  ５３３  ＮＩＣ
５３４  ＬＡＮボード  ５３５  ＣＮＴ
５３６  ＣＮＴ  ５４０  発信機
５５２  レシーバ  ５５４  レシーバ
５５６  レシーバ
【図１】
0005454058.tif 000002
【図２】
0005454058.tif 000003
【図３】
0005454058.tif 000004
【図４】
0005454058.tif 000005
【図５】
0005454058.tif 000006
【図６】
0005454058.tif 000007
【図７】
0005454058.tif 000008
【図８】
0005454058.tif 000009
【図９】
0005454058.tif 000010
【図１０】
0005454058.tif 000011