(57)【要約】【課題】適切に消費電力を抑えることが可能な計算機システム、管理サーバ、及び電力削減方法を提案する。【解決手段】計算機システムにおいて、複数の物理サーバと、物理サーバとネットワークを介して接続される管理サーバとから構成され、管理サーバは、１又は複数の物理サーバが電源オフを指示されてから再起動するまでに消費する消費電力量と当該電源オフによって削減できる削減電力量とが等しくなる、当該電源オフである間の時間を算出し、計算機システムに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出し、算出された電源オフである間の時間と負荷が所定の閾値以下であると予測される時間とを比較し、比較した結果に基づいて１又は複数の前記物理サーバの電源をオフするか否かを決定する。【選択図】図１１
2011108045.tif 000002
【特許請求の範囲】
【請求項１】
複数の物理サーバと、前記物理サーバとネットワークを介して接続される管理サーバとから構成される計算機システムにおいて、
前記管理サーバは、
１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出し、
当該計算機システムに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出し、
算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較し、
比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用にするか否かを決定する
ことを特徴とする計算機システム。
【請求項２】
前記省電力運用は、前記物理サーバの電源をオフにする運用である
ことを特徴とする請求項１に記載の計算機システム。
【請求項３】
前記複数の物理サーバは、それぞれ１又は複数の仮想サーバを稼動させ、
前記管理サーバは、
当該計算機システムに対する負荷が所定の閾値以下になった場合に、前記仮想サーバが稼働しない前記物理サーバの台数が最も多くなるように、複数の前記仮想サーバを１又は複数の前記物理サーバに集約し、
前記仮想サーバが稼働しない前記１又は複数の物理サーバを省電力運用にするか否かを決定する
ことを特徴とする請求項１に記載の計算機システム。
【請求項４】
前記管理サーバは、
前記１又は複数の物理サーバを省電力運用にした後に、当該計算機システムに対する負荷が所定の閾値以上になった場合に、前記１又は複数の物理サーバの省電力運用を終了させる
ことを特徴とする請求項１に記載の計算機システム。
【請求項５】
前記管理サーバは、
当該計算機システムに対する負荷変動の履歴情報を記憶し、
前記履歴情報を移動平均法に適用して、前記負荷が所定の閾値以下であると予測される時間を算出する
ことを特徴とする請求項１に記載の計算機システム。
【請求項６】
前記管理サーバは、前記１又は複数の物理サーバを省電力運用にした後に、当該計算機システムに対する負荷が所定の閾値以下である時間が、前記算出された前記電源オフである間の時間より短い場合に、前記履歴情報における前記移動平均法に適用する期間を長くする
ことを特徴とする請求項５に記載の計算機システム。
【請求項７】
複数の物理サーバにネットワークを介して接続される管理サーバにおいて、
１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出し、
前記複数の物理サーバに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出し、
算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較し、
比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用にするか否かを決定する
ことを特徴とする管理サーバ。
【請求項８】
複数の物理サーバと、前記物理サーバとネットワークを介して接続される管理サーバとから構成される計算機システムの省電力方法において、
前記管理サーバが、１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出する第１のステップと、
前記管理サーバが、当該計算機システムに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出する第２のステップと、
前記管理サーバが、算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較する第３のステップと、
前記管理サーバが、比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用するか否かを決定する第４のステップと、
を備えることを特徴とする省電力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システム、管理サーバ及び電力削減方法に関し、例えば、計算機資源の動的な運用に適用して好適なものである。
【背景技術】
【０００２】
従来、プライベートクラウドシステムにおいては、用途に応じてシステム構成を柔軟に、かつ容易に変更する事ができる。そして、本システムにおいては、システム内の使用状況に基づいて、システム構成を変更することによって、システムの消費電力を削減することができる。
特許文献１では、システム構成の変更前後における消費電力の変化量をもとにシステム構成を変更して、システムの消費電力を削減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−３１０７９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、構成変更中に消費する電力量が考慮されていないため、システムの負荷が頻繁に変わることによりシステム構成が頻繁に変更するような状況においては、再起動操作によって消費する無駄な電力が増大することにより、かえってシステム構成を変更しない場合よりもシステム全体の消費電力量が増加してしまう。
【０００５】
本発明は、以上の点を考慮してなされたもので、システムの負荷が頻繁に変わる場合でも適切に消費電力を抑えることが可能な計算機システム、管理サーバ及び電力削減方法を提案しようとするものである。
【課題を解決するための手段】
【０００６】
かかる課題を解決するため本発明においては、複数の物理サーバと、前記物理サーバとネットワークを介して接続される管理サーバとから構成される計算機システムにおいて、前記管理サーバは、１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出し、当該計算機システムに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出し、算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較し、比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用にするか否かを決定することを特徴とする。
【０００７】
また本発明においては、複数の物理サーバにネットワークを介して接続される管理サーバにおいて、１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出し、前記複数の物理サーバに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出し、算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較し、比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用にするか否かを決定することを特徴とする。
【０００８】
さらに本発明においては、複数の物理サーバと、前記物理サーバとネットワークを介して接続される管理サーバとから構成される計算機システムの省電力方法において、前記管理サーバが、１又は複数の前記物理サーバが省電力運用を指示されてから省電力運用が終了するまでに消費する消費電力量と当該省電力運用によって削減できる削減電力量とが等しくなる、当該省電力運用である間の時間を算出する第１のステップと、前記管理サーバが、当該計算機システムに対する負荷が所定の閾値以下になった場合に、当該負荷が所定の閾値以下であると予測される時間を算出する第２のステップと、前記管理サーバが、算出された前記省電力運用である間の時間と前記負荷が所定の閾値以下であると予測される時間とを比較する第３のステップと、前記管理サーバが、比較した結果に基づいて前記１又は複数の前記物理サーバを省電力運用するか否かを決定する第４のステップと、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、適切に消費電力を抑えることが可能な計算機システム、管理サーバ、及び電力削減方法を実現できる。
【図面の簡単な説明】
【００１０】
【図１】本実施の形態による計算機システムの構成を示すブロック図である。
【図２】管理サーバの構成を示すブロック図である。
【図３】物理サーバの構成を示すブロック図である。
【図４】構成情報テーブルを説明するための図である。
【図５】電力データ情報テーブルを説明するための図である。
【図６】最低維持時間算出式リストを説明するための図である。
【図７】集約を実行した場合におけるシステム全体の消費電力の時間変化の一例を示す図である。
【図８】稼動状況監視プログラムの処理フローチャートである。
【図９】パラメータ情報収集プログラムの処理フローチャートである。
【図１０】省電力運用プログラムの処理フローチャートである。
【図１１】構成変更可否決定プログラムの処理フローチャートである。
【図１２】サーバ配置プログラムの処理フローチャートである。
【図１３】管理サーバの画面イメージの一例を示す図である。
【符号の説明】
【００１１】
１……計算機システム、２……管理サーバ、３……クライアント端末、４……ネットワークスイッチ、５Ａ〜Ｅ……物理サーバ、６……ストレージスイッチ、７……ストレージ装置、５２Ａ〜Ｄ……仮想化手段、５３Ａ〜Ｇ……仮想サーバ、２１１１……稼働状況監視プログラム、２１１２……パラメータ情報収集プログラム、２１１３……省電力運用プログラム、２１１４……構成変更可否決定プログラム、２１１５……サーバ配置プログラム、２１２１……構成情報テーブル、２１２２……電力データ情報テーブル、２１２３……最低維持時間算出式リスト。
【発明を実施するための最良の形態】
【００１２】
以下、図面について本発明の一実施の形態を詳述する。
【００１３】
（１）本実施の形態による計算機システムの構成
図１において、１は全体としてデータセンタに設置された本実施の形態による計算機システムを示す。この計算機システム１は、管理サーバ２及びクライアント端末３がネットワークスイッチ４を介して複数の物理サーバ５と接続されると共に、管理サーバ２及び各物理サーバ５がそれぞれストレージスイッチ６を介してストレージ装置７と接続されることにより構成されている。
【００１４】
管理サーバ２は、パーソナルコンピュータ又はワークステーションなどから構成され、図２に示すように、メモリ２１、ＣＰＵ（Central Processing Unit）２２、ネットワークインタフェース２３及びディスクインタフェース２４を備える。
【００１５】
ＣＰＵ２２は、管理サーバ２全体の動作制御を司るプロセッサであり、メモリ２１に格納された後述の制御プログラム群２１１及び管理テーブル群２１２に基づいて必要な処理を実行する。メモリ２１は、後述する制御プログラム群２１１及び管理テーブル群２１２を記憶するために用いられるほか、ＣＰＵ２２のワークメモリとしても用いられる。
【００１６】
ネットワークインタフェース２３は、ネットワークスイッチ４（図１）に対応した通信インタフェースであり、管理サーバ２が各物理サーバ５と通信する際のプロトコル制御を行う。またディスクインタフェース２４は、ストレージスイッチ６に対応した通信インタフェースであり、管理サーバ２がストレージ装置７と通信する際のプロトコル制御を行う。
【００１７】
物理サーバ５は、管理サーバ２と同様にパーソナルコンピュータ又はワークステーションなどから構成され、図３に示すように、ＣＰＵ５５、メモリ５４、ネットワークインタフェース５６及びディスクインタフェース５７を備える。これらＣＰＵ５５、メモリ５４、ネットワークインタフェース５６及びディスクインタフェース５７は、それぞれ管理サーバ２のＣＰＵ２２、メモリ２１、ネットワークインタフェース２３及びディスクインタフェース２４と同様の機能を有するものであるため、その詳細については説明を省略する。
【００１８】
ストレージ装置７（図１）は、例えばＲＡＩＤ（Redundant Array of Inexpensive Disks）方式で運用される複数のディスク装置（図不掲載）を備えて構成される。図１に示すように、これら複数のディスク装置が提供する記憶領域上には複数のボリューム７１が定義される。ボリューム７１Ａは、後述の仮想サーバ５３を物理サーバ５上で動作させる仮想化手段７２を格納し、ボリューム７１Ｂ〜Ｉは、それぞれＯＳ（Operating System）７３Ａ〜Ｈ（ＯＳ−０〜ＯＳ−７）を格納する。なお、仮想化手段７２としては、ハイパーバイザがある。
【００１９】
ここで、図１を参照して、各物理サーバ５の稼働状態の例について説明する。例えば、物理サーバ５Ａは、ＯＳ５２（ＯＳ−０）の制御の下で通常のサーバとして動作している。この状態に至る過程を説明すると、物理サーバ５Ａは、ボリューム７１Ｂに格納されているＯＳ７３Ａ（ＯＳ−０）をＯＳ５１（ＯＳ−０）としてメモリ５４に読み込み、読み込んだＯＳ５１（ＯＳ−０）を起動する。
【００２０】
例えば、物理サーバ５Ｂは、仮想化手段５２Ａの制御の下で、ＯＳ−１を搭載した仮想サーバ５３Ａと、ＯＳ−２を搭載した仮想サーバ５３Ｂとを動作させている。この状態に至る過程を説明すると、物理サーバ５Ｂが、ボリューム７１Ａに格納された仮想化手段７２を仮想化手段５２Ａとしてメモリ５４に読み込み、仮想化手段５２Ａが、ボリューム７１Ｃに格納されたＯＳ７３Ｂ（ＯＳ−１）をメモリ５４に読み込み、ＯＳ−１を搭載した仮想サーバ５３Ａを起動する。また、仮想化手段５２Ａは、ボリューム７１Ｄに格納されたＯＳ７３Ｃ（ＯＳ−２）をメモリ５４に読み込み、ＯＳ−２を搭載した仮想サーバ５３Ｂを起動する。物理サーバ５Ｃ〜Ｅについても同様である。
【００２１】
本実施の形態では、省電力運用により物理サーバ５及び／又は仮想サーバ５３を再配置することを説明する。すなわち物理サーバ５及び／又は仮想サーバ５３を停止するだけでなく、仮想サーバ５３をマイグレーション（移行）する。マイグレーションの前提として、動作中の仮想サーバ５３が必要としているリソースがマイグレーション先の物理サーバ５に確保されていなければならない。
【００２２】
仮想サーバ５３は、マイグレーションの前後でストレージ装置７のボリューム７１に同様にアクセスできなければならない。ここでは、物理サーバ５又は仮想サーバ５３は、ボリューム７１を共用できることを前提としている。
【００２３】
（２）各種プログラム及び各種テーブルの構成
管理サーバ２は、図２に示すように、メモリ２１内に制御プログラム群２１１として、稼動状況監視プログラム２１１１、パラメータ情報収集プログラム２１１２、省電力運用プログラム２１１３、構成変更可否決定プログラム２１１４及びサーバ配置プログラム２１１５を有する。これらの各プログラムは、説明の分かり易さのために分けてあるが、一つに纏めて実現されても良いし、実装上の都合により任意に分けてもよい。
【００２４】
稼動状況監視プログラム２１１１は、ユーザの操作、又は構成変更可否決定プログラム２１１４の要求に応じて、負荷が再び所定の閾値以上になる時間を予測するモデルを生成又は更新したり、周期毎に各物理サーバ５の性能情報を収集して構成情報テーブル２１２１に登録したりする。
【００２５】
パラメータ情報収集プログラム２１１２は、物理サーバ５が新規登録されるたびに、新規登録された物理サーバ５が消費する電力と、物理サーバ５が起動・停止に要する時間とを測定し、また、仮想サーバ５３が新規登録されるたびに、仮想サーバ５３及び仮想化手段５２が消費する電力と、仮想化手段５２が起動・停止に要する時間とを測定し、測定した情報を電力データ情報テーブル２１２２に登録する。
【００２６】
省電力運用プログラム２１１３は、システムの負荷が所定の閾値以下になった場合に、システムの負荷に応じて、特定の仮想サーバ５３の特定の物理サーバ５への集約と、仮想サーバ５３が稼働していない物理サーバ５の電源オフとから構成される集約案を作成し、構成変更可否決定プログラム２１１４に集約案を送信する。集約案について、具体的に述べると、性能あたりの消費電力値が小さい物理サーバ５にできるだけ多くの仮想サーバ５３をマイグレーションさせて、仮想サーバ５３が一台も稼働しない物理サーバ５を出来るだけ多く設け、仮想サーバ５３が一台も稼働しない物理サーバ５の電源をオフするような案のことであり、特許文献１の技術が使用される。ここでいう性能とは、ＣＰＵ周波数であったり、メモリの容量であったりする。なお「電源オフ」の用語の意味には、ＯＳのシャットダウン操作の代わりに、メモリ内のデータをディスクに記載して電源を落とす処理であるハイパーネーションも含まれるものとする。
【００２７】
構成変更可否決定プログラム２１１４は、省電力運用プログラム２１１３から集約案を受信すると、最低維持時間と負荷上昇予測時間とを算出し、算出した最低維持時間と負荷上昇予測時間とを比較して、その比較結果に基づいて省電力運用を行うべきか否かを判定し、省電力運用を行うべきと判定した場合には、サーバ配置プログラム２１１５に集約案の実行を要求する。最低維持時間とは、集約案によって電源オフされる物理サーバが電源オフを指示されてから再起動するまでに消費する消費電力量と電源オフによって削減できる削減電力量とが等しくなる、電源が切れている間の時間である。負荷予測上昇時間とは、システム全体への負荷が所定の閾値以下になってから所定の閾値以上になるまでの予測される時間であり、そのために公知技術が使用される。例えば、移動平均法を用いて、直近の一週間分の同時刻の負荷履歴情報の平均値から１日の負荷変動を予測する。
【００２８】
また、構成変更可否決定プログラム２１１４は、実際のシステムの負荷が低下している時間が最低維持時間より短い場合には、稼動状況監視プログラム２１１１に、負荷が再上昇する時間を予測するモデルの更新を要求する。
【００２９】
サーバ配置プログラム２１１５は、構成変更可否決定プログラム２１１４からの集約案実施の要求に従って、仮想サーバ５３Ａ〜Ｇの物理サーバ５Ａ〜Ｅにおける配置変更、及び物理サーバ５Ａ〜Ｅの電源制御を実行する。
【００３０】
また、管理サーバ２は、メモリ２１内に管理テーブル群２１２として、構成情報テーブル２１２１、電力データ構成テーブル２１２２、及び最低維持時間算出式リスト２１２３を有する。
【００３１】
構成情報テーブル２１２１は、図４に示すように、物理サーバ識別子欄２１２１１、物理サーバ５のリソースとしてのプロセッサ性能とメモリ容量２１２１２、仮想化手段５２の仮想化識別子欄２１２１３、物理サーバ５に直接インストールされている仮想化手段又はＯＳの欄２１２１４、仮想サーバ５３の識別子欄２１２１５、仮想サーバ５３のリソースとしてのプロセッサ性能とメモリ容量の欄２１２１６、仮想サーバ５３上のゲストＯＳの識別子欄２１２１７、及び性能劣化許容時間の欄２１２１８を有する。性能劣化許容時間とは、物理サーバ５又は仮想サーバ５３がそのＯＳに対して許容できる、その性能が劣化している時間である。プロセッサ性能は、簡単のためにプロセッサのクロック周波数とその性能を持つプロセッサの個数で示してある。構成情報テーブル２１２１に示す名称や数値の例は、図１のシステム構成を表したものであり、これらの例を用いた動作を後述するので、ここでは詳細を省略する。
【００３２】
電力データ情報テーブル２１２２は、図５に示すように、測定対象の欄２１２２１と、測定対象に負荷がかかっていない状態の電力の欄２１２２２、測定対象のＣＰＵ、メモリに負荷が１００％かかった状態の電力の欄２１２２３、測定対象の起動時間の欄２１２２４、及び停止時間の欄２１２２５を有する。
【００３３】
最低維持時間算出式リスト２１２３は、図６に示すように、最低維持時間を算出するための算出式２１２３１と、算出式２１２３１において最低維持時間を算出するために必要な変数を表す依存パラメータ欄２１２３２を有する。
【００３４】
ただし、最低維持時間算出式リスト２１２３の各変数は以下の式で算出する。
【数１】
2011108045.tif 000003
【数２】
2011108045.tif 000004
【数３】
2011108045.tif 000005
【数４】
2011108045.tif 000006
【００３５】
（３）最低維持時間の算出方法
ここで、最低維持時間の算出方法について具体例を用いて説明する。図７は、仮想サーバ５３を３台の物理サーバ５にマイグレーションさせて、仮想サーバ５３が１台も稼働しない２台の物理サーバ５の電源をオフするような集約案を作成されるような、システム全体に対する負荷が低下した場合の電力の推移を表した図である。そして、集約を実行する省電力運用の場合のシステム全体の消費電力変化を破線で、集約を実行しない通常運用の場合のシステム全体の消費電力変化を実線で示している。Ｐbaseは、物理サーバ５と仮想化手段５２とのベース電力の和を表し、Ｐmeterは、物理サーバ５の消費電力を表しており、以下の関係式が成立する。
【数５】
2011108045.tif 000007
【数６】
2011108045.tif 000008
【００３６】
図７の例では、時刻Ｔ０で負荷が低下する。管理サーバ２は、時刻Ｔ１に管理サーバ２が負荷低下を検知し、物理サーバ５における仮想サーバ５３のマイグレーション及び物理サーバ５の電源オフ等の集約操作を開始する。時刻Ｔ１から、物理サーバ５の電源オフが終了する時刻Ｔ２までの時間において、省電力運用と通常運用とを比較すると、省電力運用の方が電源オフ操作に伴う電力を使用するために電力を多く消費する。物理サーバ１台あたりのこの無駄な電力をＰOffとすると、以下の式で算出することができる。
【数７】
2011108045.tif 000009
【００３７】
ここで、Ｐmaxは、ＣＰＵ５５、メモリ５４に対する負荷が１００％の状態の物理サーバ５の消費電力である。省電力運用と通常運用において、時刻Ｔ１から時刻Ｔ２までの時間における物理サーバ５の台数，仮想サーバの５３の台数，及び仮想サーバ５３に対する負荷とは同じであるため、空き物理サーバ５の電源オフ処理にかかる電力のみが増加量となる。したがって、図７の例では電源オフする物理サーバ台数は２台であるため、求める差分は物理サーバ２台分の総和となる。
【００３８】
【数８】
2011108045.tif 000010
この例では、電源オフ操作は仮想サーバ５３が他の物理サーバ５に移動した後の状態で、常に１００％の負荷がかかっている状態で電源オフ処理が実行されると仮定しているが、実際の電源オフ操作にかかる電力を計測し、計測した値を使用してもよい。さらに，電源オフの代わりに，ハードウェアやOSが提供する省電力モードへの移行によって，消費電力を削減する場合，移行操作にかかる電力を計測した結果を（８）式の値の代わりに使用すればよい。
【００３９】
次に、時刻Ｔ２に電源オフ操作が終了すると、稼動しているサーバ台数が５台から３台となるため、省電力運用と通常運用とを比較すると、通常運用の方が、省電力運用において電源オフした物理サーバ５のベース電力の分だけ電力を多く消費する。
【数９】
2011108045.tif 000011
仮想サーバ５３に対する負荷は同じであるため、削減した物理サーバ２台分のベース電力が削減量となる。
【００４０】
管理サーバ２は、時刻Ｔ３に、負荷増加が予測される時刻Ｔ４から、ブート処理時間を引いた時刻になったことを検知し、構成を元に戻すための処理を開始する。その際、省電力運用と通常運用とを比較すると、省電力運用の方が電源オン操作に伴う電力を無駄に多く消費する。これは、電源オフ操作と同様の算出式で算出することができる。
【数１０】
2011108045.tif 000012
【数１１】
2011108045.tif 000013
【００４１】
ここでは、負荷の増加が事前予測可能な場合について述べたが、予測が外れてしまった場合は、省電力運用と通常運用の仮想サーバ５３が処理できる負荷量に差が発生する。その場合は、処理量の差分の電力をさらに引くことによって算出することができる。
【００４２】
簡単のためにΣＰreboot（ｎ）を以下のように定義する。
【数１２】
2011108045.tif 000014
【００４３】
省電力運用が通常運用よりも消費電力を削減するためには、物理サーバ５に対する電源操作による無駄な電力量よりも、削減する電力量が大きくなればよい。
【数１３】
2011108045.tif 000015
【００４４】
図７の例において（１３）式の両辺を数式化すると以下のようになる。
【数１４】
2011108045.tif 000016
【００４５】
（１４）式の，電源オフの時間をＴOFF,電源オンの時間をＴON,最低維持時間をＴlowで表すと以下のようになる。
【数１５】
2011108045.tif 000017
【００４６】
（１５）式のリブート時間Ｔrebootを用いて表すと以下のようになる。
【数１６】
2011108045.tif 000018
【００４７】
（１６）式の両辺をΣＰrboot(n)で割ると以下のようになる。
【数１７】
2011108045.tif 000019
【００４８】
このように，式変換することにより，電源操作による無駄な電力量よりも，削減する電力量を大きくするための最低維持時間Ｔlowの算出式を得る。
【００４９】
管理サーバ２は、集約している時間Ｔlowが右式の値より大きい場合には、省電力運用を実行し、時間Ｔlowが右式の値より小さい場合は通常運用を実行するように制御するので、確実に電力削減効果を得ることができる。
【００５０】
この例においては、２台の物理サーバ５を電源オフしたが、ｎｃ台の物理サーバ５を電源オフするとして、下式のように最低維持時間Ｔlowを定義できる。
【数１８】
2011108045.tif 000020
この計算式が最低維持時間算出リスト２１２３の算出式２１２３１に格納されている。
【００５１】
（４）各プログラムの処理
稼動状況監視プログラム２１１１、パラメータ情報収集プログラム２１１２、省電力運用プログラム２１１３、構成変更可否決定プログラム２１１４及びサーバ配置プログラム２１１５の５つのプログラムは、並列処理で実行される。なお、以下においては各種処理の処理主体を管理サーバ２に実装された「プログラム」として説明するが、実際上は、そのプログラムに基づいて管理サーバ２のＣＰＵ２２（図２）がその処理を実行することは言うまでもない。
【００５２】
（４−１）稼働状況監視プログラムの処理
図８を参照して、管理サーバ２の稼動状況監視プログラム２１１１を詳細に説明する。管理サーバ２の電源が投入されると、稼働状況監視プログラム２１１１は、ユーザによる負荷予測モデルの設定操作、又は、構成変更可否決定プログラム２１１４からの更新イベントの通知があったか否かを判別する（ＳＰ１０１）。負荷予測モデルとは、将来の負荷の予測を行うためのサンプルの取り方や、予測値の算出式である。
【００５３】
ステップ１０１の判断において否定結果を得た場合には、ステップ１０３に進む。
【００５４】
ステップ１０１の判断において肯定結果を得た場合には、稼働状況監視プログラム２１１１は、検知した設定操作、または更新イベントにしたがって、負荷予測モデルを生成し（ＳＰ１０２）、ステップ１０３に進む。
【００５５】
ステップ１０３において、稼働状況監視プログラム２１１１は、所定の性能情報収集の周期が来たか否かを判別する（ＳＰ１０３）。
【００５６】
ステップ１０３の判断において否定結果を得た場合には、ステップ１０１に戻る。
【００５７】
ステップ１０１の判断において肯定結果を得た場合には、稼働状況監視プログラム２１１１は、各物理サーバ５の性能情報を収集し（ＳＰ１０４）、性能履歴情報として管理サーバ２のメモリ２１に格納・更新し（ＳＰ１０５）、ステップ１０１に戻る。
【００５８】
（４−２）パラメータ情報収集プログラムの処理
図９を参照して、管理サーバ２のパラメータ情報収集プログラム２１１２を説明する。管理サーバ２の電源が投入されると、パラメータ情報収集プログラム２１１２は、物理サーバ５が新規登録されたか否かを判別する（ＳＰ２０１）。
【００５９】
ステップ２０１の判断において否定結果を得ると、ステップ２０７に進む。
【００６０】
ステップ２０１の判断において肯定結果を得ると、パラメータ情報収集プログラム２１１２は、新規登録された物理サーバ５をＯＳ未搭載の状態で起動させて、安定した電力値を測定させ、測定させた電力値を物理サーバ５のベース電力として電力データ情報テーブル２１２２に登録する（ＳＰ２０２）。
【００６１】
次に、パラメータ情報収集プログラム２１１２は、新規登録された物理サーバ５に負荷かけプログラムを送信して、インストールさせる（ＳＰ２０３）。
【００６２】
パラメータ情報収集プログラム２１１２は、負荷かけプログラムを用いて、新規登録された物理サーバ５のＣＰＵ５５、メモリ５４に負荷が１００％かかっている状態を生成し、その時の電力値を測定する。その結果を物理サーバ５のＭＡＸ電力として電力データ情報テーブル２１２２に登録する（ＳＰ２０４）。
【００６３】
パラメータ情報収集プログラム２１１２は、新規登録された物理サーバ５を起動・停止させて、起動・停止に要する時間を測定し、測定した時間を物理サーバ５の起動・停止時間として電力データ情報テーブル２１２２に登録する（ＳＰ２０５）。
【００６４】
パラメータ情報収集プログラム２１１２は、新規登録された物理サーバ５に負荷かけプログラムをアンインストールさせ（ＳＰ２０６）、ステップ２０７に進む。
【００６５】
パラメータ情報収集プログラム２１１２は、仮想サーバ５３が新規登録されたか否かを判別する（ＳＰ２０７）。
【００６６】
ステップ２０７の判断において否定結果を得ると、ステップ２０１に戻る。
【００６７】
ステップ２０７の判断において肯定結果を得ると、パラメータ情報収集プログラム２１１２は、仮想サーバ５３が新規登録された物理サーバ５を仮想化手段５２だけをインストールした状態で起動させて、安定した電力値を仮想化手段５２のベース電力として電力データ情報テーブル２１２２に登録する（ＳＰ２０８）。
【００６８】
パラメータ情報収集プログラム２１１２は、仮想化手段５２を起動・停止させて、起動・停止に要した時間を仮想化手段５２の起動・停止時間として電力データ情報テーブル２１２２に登録する（ＳＰ２０９）。
【００６９】
パラメータ情報収集プログラム２１１２は、仮想化手段５２上に仮想サーバ５３を１つだけ生成した状態で起動させ、安定した電力とステップ２０２で測定した物理サーバ５のベース電力との差分を仮想サーバ５３のベース電力として電力データ情報テーブル２１２２に登録し（ＳＰ２１０）、ステップ２０１に戻る。
【００７０】
（４−３）省電力運用プログラムの処理
図１０を参照して、管理サーバ２の省電力運用プログラム２１１３を詳細に説明する。管理サーバ２の電源が投入されると、省電力運用プログラム２１１３は、サーバシステムの負荷が所定の閾値以下になったか否かを判別する（ＳＰ３０１）。
【００７１】
ステップ３０１の判断において否定結果を得ると、ステップ３０１に戻る。
【００７２】
ステップ３０１の判断において肯定結果を得ると、省電力運用プログラム２１１３は、現在のサーバシステムの負荷情報を元に、仮想サーバの集約案を作成し、電源オフ可能な物理サーバ台数とどの物理サーバをオフするか決定し（ＳＰ３０２）、その結果を構成変更可否決定プログラム２１１４に通知し（ＳＰ３０３）、ステップ３０１に戻る。
【００７３】
（４−４）構成変更可否決定プログラムの処理
図１１を参照して、管理サーバ２の構成変更可否決定プログラム２１１４を詳細に説明する。まず、構成変更可否決定プログラム２１１４は、省電力運用プログラム２１１３より集約案を受信すると（ＳＰ４０１）、受信した集約案に基づく電源オフする各物理サーバ５に対して、電力データ情報テーブル２１２２の電力値と、最低維持時間算出リスト２１２３におけるリブート電力算出式及びリブート時間算出式とを用いて、リブート電力及びリブート時間を算出する（ＳＰ４０２）。
【００７４】
次に、構成変更可否決定プログラム２１１４は、電源オフする各物理サーバ５に対して、電力データ情報テーブル２１２２の電力値と、ステップ４０２で算出したリブート電力及びリブート時間と、最低維持時間算出式リスト２１２３における最低維持時間算出式とを用い、最低維持時間を算出する（ＳＰ４０３）。
【００７５】
その後、構成変更可否決定プログラム２１１４は、構成を元に戻すまでの時間の予測値、および負荷変動の履歴情報と負荷予測モデルから次の負荷上昇の予測時刻を算出する（ＳＰ４０４）。
【００７６】
構成変更可否決定プログラム２１１４は、ステップ４０４において算出した負荷上昇予測時間と、電源オフする物理サーバ上で稼動している仮想サーバの構成情報テーブル２１２１における性能劣化許容時間との和が、ステップ４０３で算出した最低維持時間の値より大きいか否かを判別する（ＳＰ４０５）。
性能劣化許容時間を考慮することにより，業務への影響を管理者の許容範囲に抑えた上で，物理サーバの電源をオフしている状態を長く保つことができるため，より多くの消費電力を削減することができる。
【００７７】
ステップ４０５の判断において否定結果を得ると、処理を終了する。
【００７８】
ステップ４０５の判断において肯定結果を得ると、構成変更可否決定プログラム２１１４は、サーバ配置プログラム２１１５に構成変更を要求し、物理サーバ５の電源オフすることによりシステムの消費電力を削減する（ＳＰ４０６）。
【００７９】
次に、構成変更可否決定プログラム２１１４は、サーバ配置プログラム２１１５よりシステムの負荷上昇を検知し、構成を元に戻した旨の通知があったか否かを判別する（ＳＰ４０７）。
【００８０】
ステップ４０７の判断において否定結果を得た場合には、構成変更可否決定プログラム２１１４は、ステップ４０７に戻り、サーバ配置プログラム２１１５より通知があるまで待機する。
【００８１】
ステップ４０７の判断において肯定結果を得た場合には、構成変更可否決定プログラム２１１４は、サーバ配置プログラム２１１５に構成変更を要求してから最低維持時間が経過したか否かを判別する（ＳＰ４０８）。
【００８２】
ステップ４０８の判断において肯定結果を得た場合には、処理を終了する。
【００８３】
ステップ４０８の判断において否定結果を得た場合には、構成変更可否決定プログラム２１１４は、負荷予測モデルの更新イベントを生成する旨を稼動状況監視プログラム２１１１に要求し（ＳＰ４０９）、処理を終了する。例えば、ステップ４０８において最低維持時間を経過しなかった場合、すなわち負荷予測が外れたと判定された場合は、稼働状況監視プログラム２１１１は、移動平均法のサンプル数を１週間から１ヶ月に増やしたり、サンプルの値に重みをつけたりすることによって更新を実施する。
【００８４】
（４−５）サーバ配置プログラムの処理
図12[９]を参照して、管理サーバ２のサーバ配置プログラム２１１５を詳細に説明する。まず、サーバ配置プログラム２１１５は、構成変更可否決定プログラム２１１４から集約案を受信すると（ＳＰ５０１）、受信した集約案に従って仮想サーバ５３のマイグレーション及び物理サーバ５の電源オフを実施する（ＳＰ５０２）。
【００８５】
次に、サーバ配置プログラム２１１５は、システムの負荷が所定の閾値以上になったか否かを判別する（ＳＰ５０３）。
【００８６】
ステップ５０３の判断で否定結果を得た場合には、サーバ配置プログラム２１１５は、ステップ５０３に戻り、システムの負荷が上昇するまで待機する。
【００８７】
ステップ５０３の判断で肯定結果を得た場合には、サーバ配置プログラム２１１５は、集約案に従って変更していたシステムの構成を集約前の状態に戻し（ＳＰ５０４）、その旨を構成変更可否決定プログラム２１１４に通知し（ＳＰ５０５）、処理を終了する。
【００８８】
（５）本実施の形態の効果
計算機システム１は、物理サーバ５の電源をオフにしたことによって削減できる電力量が、物理サーバ５の電源オフにかかる電力量と物理サーバ５の起動にかかる電力量との和より大きい場合には、省電力運用を行い、小さい場合には、通常運用を行うことで、適切に電力を節約することができる。
【００８９】
また、計算機システム１は、システム全体に対する負荷が低下している時間が最低維持時間より短い場合には、負荷が再上昇する時間を予測するモデルを更新するため、正確に負荷が再上昇する時間を予測できる。
【００９０】
（６）他の実施の形態
なお、上述の実施の形態においては、仮想サーバ５３を物理サーバ５に集約して、仮想サーバ５３が稼働しない物理サーバ５の電源をオフすることの有効性を判定する場合について述べたが、本発明はこれに限らず、同じ業務を遂行している物理サーバ５の台数を減らす場合に、物理サーバ５の電源をオフすることの有効性を判定するようにしてもよい。
【００９１】
また上述の実施の形態においては、管理サーバ２は、メモリ２１に制御プログラム群２１１と管理テーブル群２１２とを格納する場合について述べたが、本発明はこれに限らず、ストレージ装置７を外部記憶装置として用いて、ボリューム７１に制御プログラム群２１１と管理テーブル群２１２とを格納してもよい。
【００９２】
さらに上述の実施の形態においては、仮想化手段５２をソフトウエアにより実現する場合について述べたが、本発明はこれに限らず、高性能化の観点からソフトウエアとファームウエアとで機能分担して実現するようにしてもよい。
【００９３】
さらに上述の実施の形態においては、各物理サーバ５は、ボリューム７１Ａから仮想化手段７２を読み込むようにした場合について述べたが、本発明はこれに限らず、物理サーバ５毎に仮想化手段をストレージ装置７に格納し、各物理サーバ５が、専用の仮想化手段を読み込むようにしてもよい。
【００９４】
さらに上述の実施の形態においては、管理サーバ２及びクライアント端末３と各物理サーバ５とをネットワークスイッチ４で接続するようにした場合について述べたが、本発明はこれに限らず、これら管理サーバ２及びクライアント端末３と各物理サーバ５とＬＡＮ（Local Area Network）等で接続するようにしてもよい。
【００９５】
さらに上述の実施の形態においては、物理サーバ５又は仮想サーバ５３のリソースとして、プロセッサ性能とメモリ容量を適用するようにした場合について述べたが、本発明はこれに限らず、それ以外にも、接続する入出力装置、記憶装置（ディスクボリューム）、又は、ネットワークと接続する通信インタフェースの個数や性能等を適用してもよい。
【００９６】
さらに上述の実施の形態においては、負荷上昇予測時間を算出するために、移動平均法を用いるようにした場合について述べたが、本発明はこれに限らず、指数平滑法等の他の予測方法を用いてもよい。
【００９７】
さらに上述の実施の形態においては、上記の条件を満たした場合に、計算機システム１の構成変更を行うようにした場合について述べたが、本発明はこれに限らず、上記の条件を満たした場合に、管理者の許可を得るようにし、さらに管理者の許可を得た場合に、計算機システム１の構成変更を行うようにしてもよい。
【００９８】
図１３に、この実施の形態における管理サーバ２の画面イメージの例を示す。管理サーバ２の管理画面は，構成情報ペイン１２０１、性能情報ペイン１２０２、構成変更案ペイン１２０３、及び構成変更実行確認ペイン１２０４を有する。構成情報ペイン１２０１は、図１のシステム構成に対応した情報を表示し，ユーザが構成を確認するためのペインである。性能情報ペイン１２０２は，現在時刻Ｔ１、稼動状況監視プログラム２１１１が蓄積した性能履歴情報、及び負荷予測モデルから算出した性能予測情報を表示し、ユーザが性能予測の結果を確認するためのペインである。構成変更ペイン１２０３は、省電力運用プログラム２１１３が算出した構成変更案、構成変更可否決定プログラム２１１４が算出した構成変更電力量、及び構成維持時間を表示し、ユーザが構成変更の効果を確認するためのペインである。ここで、構成維持時間とは、最低維持時間であり、構成変更電力量とは，ステップ４０２で算出するリブート電力と最低維持時間とを掛け合わせたものである。構成変更実行確認ペイン１２０４は、ステップ４０６におけるサーバ配置プログラム２１１５へ構成変更を要求する際、その前にユーザによる判断を求めるためのペインである。
【産業上の利用可能性】
【００９９】
本発明は、それぞれ１又は複数の仮想サーバを稼働させる複数の物理サーバを備える計算機システムに広く適用することができる。
【図１】
2011108045.tif 000021
【図２】
2011108045.tif 000022
【図３】
2011108045.tif 000023
【図４】
2011108045.tif 000024
【図５】
2011108045.tif 000025
【図６】
2011108045.tif 000026
【図７】
2011108045.tif 000027
【図８】
2011108045.tif 000028
【図９】
2011108045.tif 000029
【図１０】
2011108045.tif 000030
【図１１】
2011108045.tif 000031
【図１２】
2011108045.tif 000032
【図１３】
2011108045.tif 000033