(57)【要約】  複数のノード（３０）のうち、クラスタ（３）を構成しうる２以上の候補ノード（３０）についての負荷設定値（ＣＰＵ使用率）の組み合わせ（負荷設定値セット）に対して、各候補ノード（３０）を前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタ（３）の推定消費電力（全消費電力）と推定性能（処理性能，推定応答性能）とを対応付けた参照情報（Ｔ４）を作成する作成部（１２）と、前記参照情報（Ｔ４）を参照して、前記推定性能が当該クラスタ（３）に対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部（１３）と、前記負荷設定値選択部（１３）が選択した前記負荷設定値の組み合わせに従って各候補ノード（３０）を動作させる動作制御部（１４）とを備えることで、要求性能を満たし、且つ、電力消費を低減する。
2015008353.tif 000002
【特許請求の範囲】
【請求項１】
複数のノードを備えるクラスタを有するクラスタシステムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、クラスタシステム。
【請求項２】
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１記載のクラスタシステム。
【請求項３】
前記複数のノードのそれぞれについてノード性能を測定するノード性能測定部と、
前記ノード性能測定部によって測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択するノード選択部とを備え、
前記ノード選択部による候補ノードの選択により、前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項２記載のクラスタシステム。
【請求項４】
前記ノード選択部が、ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、請求項３記載のクラスタシステム。
【請求項５】
前記ノード性能測定部が、前記ノード性能の測定を定期的に行なうことを特徴とする、請求項３又は４記載のクラスタシステム。
【請求項６】
前記クラスタの処理性能を測定するクラスタ性能測定部を備え、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記負荷設定値選択部が、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜５のいずれか１項に記載のクラスタシステム。
【請求項７】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜６のいずれか１項に記載のクラスタシステム。
【請求項８】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜７のいずれか１項に記載のクラスタシステム。
【請求項９】
クラスタに備えられる複数のノードを制御する制御装置であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、制御装置。
【請求項１０】
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項９記載の制御装置。
【請求項１１】
前記複数のノードのそれぞれについてノード性能を測定するノード性能測定部と、
前記ノード性能測定部によって測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択するノード選択部とを備え、
前記ノード選択部による候補ノードの選択により、前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１０記載の制御装置。
【請求項１２】
前記ノード選択部が、ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、請求項１１記載の制御装置。
【請求項１３】
前記ノード性能測定部が、前記ノード性能の測定を定期的に行なうことを特徴とする、請求項１１又は１２記載の制御装置。
【請求項１４】
前記クラスタの処理性能を測定するクラスタ性能測定部を備え、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記負荷設定値選択部が、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項９〜１３のいずれか１項に記載の制御装置。
【請求項１５】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項９〜１４のいずれか１項に記載の制御装置。
【請求項１６】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項９〜１５のいずれか１項に記載の制御装置。
【請求項１７】
クラスタに備えられる複数のノードを制御する制御方法であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
ことを特徴とする、制御方法。
【請求項１８】
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１７記載の制御方法。
【請求項１９】
前記複数のノードのそれぞれについてノード性能を測定し、
測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択し、
前記候補ノードの選択により前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１８記載の制御方法。
【請求項２０】
ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、請求項１９記載の制御方法。
【請求項２１】
前記ノード性能の測定を定期的に行なうことを特徴とする、請求項１９又は２０記載の制御方法。
【請求項２２】
前記クラスタの処理性能を測定し、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１７〜２１のいずれか１項に記載の制御方法。
【請求項２３】
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１７〜２２のいずれか１項に記載の制御方法。
【請求項２４】
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１７〜２３のいずれか１項に記載の制御方法。
【請求項２５】
クラスタに備えられる複数のノードを制御する制御プログラムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラム。
【請求項２６】
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる
処理を前記コンピュータに実行させることを特徴とする、請求項２５記載の制御プログラム。
【請求項２７】
前記複数のノードのそれぞれについてノード性能を測定し、
測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択し、
前記候補ノードの選択により前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる
処理を前記コンピュータに実行させることを特徴とする、請求項２６記載の制御プログラム。
【請求項２８】
ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、請求項２７記載の制御プログラム。
【請求項２９】
前記ノード性能の測定を定期的に行なうことを特徴とする、請求項２７又は２８記載の制御プログラム。
【請求項３０】
前記クラスタの処理性能を測定し、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、請求項２５〜２９のいずれか１項に記載の制御プログラム。
【請求項３１】
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、請求項２５〜３０のいずれか１項に記載の制御プログラム。
【請求項３２】
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、請求項２５〜３１のいずれか１項に記載の制御プログラム。
【請求項３３】
クラスタに備えられる複数のノードを制御する制御プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記制御プログラムが、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クラスタシステム，制御装置，制御方法，制御プログラム及び同プログラムを記録したコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
例えば、複数のノード（サーバマシン）を備えるクラスタ（マルチノードクラスタ）システムとして構成された計算機システムにおいては、ＬＡＮ（Local Area Network）等のネットワークを介して接続した複数のノードに並行して処理させる。
近年、このようなクラスタシステムにおいて、ネットワーク機器等の性能向上や処理データの増大により、消費電力のコストが増大している。従って、計算機システムにおいては、省電力に対する要求がより高くなっている。【０００３】
従来の計算機システムにおいては、例えば、プロセッサへ与える電圧レベルを調整することにより、システムの熱・電力全体量を維持し性能最適化を図っている。
【特許文献１】特開２００９−１９３３８５号公報
【特許文献２】特開２００４−０７８９４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このような従来の計算機システムにおいては、システムの稼働環境が変化した場合に、システムに対する要求性能を満たしつつ電力消費を抑止することができないという課題がある。
例えば、同一ラック内もしくは隣接するラックに搭載されたノード間において、振動等によるノード間干渉により性能劣化が生じる場合がある。このように、ノードが本来有する性能が大きく損なわれた場合に、システム性能が低下し、又、消費電力が増大する。又、システム運用時に、特定ノードが故障により性能劣化した場合や、定期保守等でノードの活性交換を行なう際にも、システム性能が低下し、又、消費電力が増大する。【０００５】
一つの側面では、本発明は、要求性能を満たし、且つ、電力消費を低減することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の１つとして位置付けることができる。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、このクラスタシステムは、複数のノードを備えるクラスタを有するクラスタシステムであって、前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部とを備える。
【発明の効果】
【０００７】
一実施形態によれば、要求性能を満たし、且つ、消費電力を低減することができる。
【図面の簡単な説明】
【０００８】
【図１】実施形態の一例としてのクラスタシステムのハードウェア構成を模式的に示す図である。
【図２】実施形態の一例としてのクラスタシステムの管理サーバの機能構成を示す図である。
【図３】実施形態の一例としてのクラスタシステムにおけるノード消費電力／性能テーブルを例示する図である。
【図４】実施形態の一例としてのクラスタシステムにおける応答性能テーブルを例示する図である。
【図５】実施形態の一例としてのクラスタシステムにおける稼動ノード候補テーブルを例示する図である。
【図６】実施形態の一例としてのクラスタシステムにおける稼動ノード候補組合せテーブルを例示する図である。
【図７】ノード消費電力と性能との関係を示す図である。
【図８】実施形態の一例としてのクラスタシステムにおける基本的な処理を説明するフローチャートである。
【図９】実施形態の一例としてのクラスタシステムにおける詳細処理を説明するフローチャートである。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本クラスタシステム，制御装置，制御方法，制御プログラム及び同プログラムを記録したコンピュータ読取可能な記録媒体に係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。又、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。【００１０】
［Ａ］構成
図１は実施形態の一例としてのクラスタシステム１のハードウェア構成を模式的に示す図、図２はその管理サーバの機能構成を示す図である。
クラスタシステム１は、複数のノード３０に処理を並行して行なわせることにより、１のノード３０で処理を行なう場合に比べて短時間で処理を完了させることができる。【００１１】
図１に示すように、本クラスタシステム１は、クラスタ３，管理サーバ１０及び１以上のユーザＰＣ（Personal Computer）６０を備える。又、クラスタ３は、共有ドライブ４０及び複数（Ｎ個：Ｎは自然数）のノード３０−１〜３０−Ｎを備える。これらの管理サーバ１０，共有ドライブ４０，ユーザＰＣ６０及びノード３０−１〜３０−Ｎは、ネットワーク５０を介して相互に通信可能に接続されている。【００１２】
ユーザＰＣ６０は、ユーザが使用する情報処理装置であり、ユーザがこのユーザＰＣ６０を用いて、例えば、ジョブの指定や入力を行なう。ジョブは、例えば、演算処理やウェブアクセス等である。ユーザＰＣ６０から入力されたジョブは、クラスタ３に送信され処理される。
なお、図１に示す例においては、２つのユーザＰＣ６０が図示されているが、これに限定されるものではなく、１つもしくは３以上の任意のユーザＰＣ６０を備えてもよい。又、各ＰＣ６０は同様の構成を有する。【００１３】
ユーザＰＣ６０は、図１に示すように、ＣＰＵ（Central Processing Unit）６０１，メモリ６０２，ＨＤＤ（Hard Disk Drive）６０３及びＬＡＮ（Local Area Network）インタフェース６０４を備え、これらはユーザＰＣ６０が備えるバスを介して接続される。
メモリ６０２はＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）を含む記憶装置である。メモリ６０２のＲＯＭには、各種ソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ６０２上のソフトウェアプログラムは、ＣＰＵ６０１に適宜読み込まれて実行される。又、メモリ６０２のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。ＨＤＤ６０３は記憶装置であり、ＣＰＵ６０１が実行するＯＳ（Operating System）やプログラム，種々のデータ等を格納する。ＬＡＮインタフェース６０４は、ユーザＰＣ６０をネットワーク５０に通信可能に接続するインタフェースである。【００１４】
なお、ユーザＰＣ６０の構成はこれに限定されるものではなく、種々変形して実施することができる。例えば、ＨＤＤ６０３に代えてＳＳＤ（Solid State Drive）等の他の記憶装置を備えてもよい。
クラスタ３は、共有ドライブ４０及び複数（Ｎ個：Ｎは自然数）のノード３０−１〜３０−Ｎを備える。【００１５】
共有ドライブ４０は、各ノード３０−１〜３０−ＮやユーザＰＣ６０，管理サーバ１０によって共用される記憶装置である。共用ドライブ４０は、ＬＡＮインタフェース４０２と１以上（図１に示す例では３つ）のＨＤＤ４０１を備える。
ＨＤＤ４０１は記憶装置であり、ノード３０−１〜３０−ＮやユーザＰＣ６０，管理サーバ１０に記憶領域を提供する。例えば、複数のノード３０−１〜３０−Ｎが共用するプログラムやデータ、演算結果等がこの共有ドライブ４０に格納される。【００１６】
ノード３０−１〜３０−ＮやユーザＰＣ６０，管理サーバ１０は、このＨＤＤ４０１にデータの書き込みや読み出しを行なう。なお、これらの複数のＨＤＤ４０１を用いて、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）を構成してもよい。ＬＡＮインタフェース４０２は、共有ドライブ４０をネットワーク５０に通信可能に接続するインタフェースである。【００１７】
なお、共有ドライブ４０の構成はこれに限定されるものではなく、種々変形して実施することができる。例えば、２つ以下もしくは４つ以上のＨＤＤ４０１を備えて構成してもよく、又、ＨＤＤ４０１に代えてＳＳＤ等の他の記憶装置を備えてもよい。
ノード３０−１〜３０−Ｎは、演算処理を行なう情報処理装置である。ノード３０−１〜３０−Ｎは、後述する管理サーバ１０からの指示に従って演算を行なう。なお、ノード３０−１〜３０−Ｎは互いに同様の構成を有する。以下、ノードを示す符号としては、複数のノードのうち１つを特定する必要があるときには符号３０−１〜３０−Ｎを用いるが、任意のノードを指すときには符号３０を用いる。【００１８】
ノード３０は、図１に示すように、ＣＰＵ３０１，メモリ３０２，ＨＤＤ３０３及びＬＡＮインタフェース３０４を備え、これらはノード３０が備えるバスを介して接続される。
メモリ３０２はＲＯＭ及びＲＡＭを含む記憶装置である。メモリ３０２のＲＯＭには、各種ソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ３０２上のソフトウェアプログラムは、ＣＰＵ３０１に適宜読み込まれて実行される。又、メモリ３０２のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。ＨＤＤ３０３は記憶装置であり、ＣＰＵ３０１が実行するＯＳやプログラム，種々のデータ等を格納する。ＬＡＮインタフェース３０４は、ノード３０をネットワーク５０に通信可能に接続するインタフェースである。【００１９】
なお、ノード３０の構成はこれに限定されるものではなく、種々変形して実施することができる。例えば、ＨＤＤ３０３に代えてＳＳＤ等の他の記憶装置を備えてもよい。
また、ノード３０は、パワーキャッピング（Power Capping）機能を備えており、管理サーバ１０等から指定されたＣＰＵ使用率に合わせて動作することにより、消費電力を制御することができる。パワーキャッピング機能においては、例えば、ＣＰＵのP-Stateを変更することによりサーバの動作周波数や電圧を制御し、これにより、ＣＰＵ３０１の処理能力及び消費電力を制御する。【００２０】
さらに、ノード３０は、管理サーバ１０（ノード応答性能監視部１７）から発行されるノード応答性能監視ジョブを受信すると、このノード応答性能監視ジョブをＣＰＵ３０１により実行し、その実行結果を管理サーバ１０に応答する。
ノード応答性能監視ジョブは、ノード３０の演算処理性能を評価するためのプログラムであり、ＣＰＵ３０１に何らかの演算処理を行なわせる。このノード応答性能監視ジョブとしては、例えば、既知のベンチマーク用プログラムを用いることができる。【００２１】
また、クラスタ３において、各ノード３０は、後述する管理サーバ１０の指示に従い、クラスタ３への接続／切り離しを任意に行なう機能を備える。なお、このクラスタ３へのノード３０の接続／切り離しは、既知の種々の手法を用いて実現することができ、その説明は省略する。
管理サーバ１０は、例えばサーバ機能を備えた情報処理装置であり、本クラスタシステム１において各ノード３０の消費電力制御を行なう。【００２２】
管理サーバ１０は、図１に示すように、ＣＰＵ１０１，メモリ１０２，ＨＤＤ１０３，媒体読取装置１０５及びＬＡＮインタフェース１０４を備え、これらは管理サーバ１０が備えるバスを介して接続される。
メモリ１０２はＲＯＭ及びＲＡＭを含む記憶装置である。メモリ１０２のＲＯＭには、各種ソフトウェアプログラムやこのプログラム用のデータ類が書き込まれている。メモリ１０２上のソフトウェアプログラム（制御プログラム）は、ＣＰＵ１０１に適宜読み込まれて実行される。又、メモリ１０２のＲＡＭは、一次記憶メモリあるいはワーキングメモリとして利用される。又、このＲＡＭには、図２に示す各種データテーブルＴ１〜Ｔ４が格納される。【００２３】
図３は実施形態の一例としてのクラスタシステム１におけるノード消費電力／性能テーブルＴ１を例示する図である。
ノード消費電力／性能テーブルＴ１は、各ノード３０の起動状態における、ＣＰＵ使用率（負荷設定値）に対する処理性能及び消費電力との関係（特性）をテーブル状に示す。この図３に示すノード消費電力／性能テーブルＴ１は、複数種類のＣＰＵ使用率（単位：％）に対して消費電力（単位：Ｗ）及び性能値（単位：ＧＦｌｏｐｓ）を関係付けて構成されている。【００２４】
図３に示す例においては、ＣＰＵ使用率として、０％（無負荷），５０％及び１００％（高負荷）の３つの状態を示している。ノード消費電力／性能テーブルＴ１においては、これらの複数段階（図３に示す例では３段階）での各ノード３０の消費電力と性能値とが登録されている。
このノード消費電力／性能テーブルＴ１に登録される情報は、例えば、予め各ノード３０をそれぞれのＣＰＵ使用率で稼動させた状態で負荷実験等を行なって測定することにより取得する。なお、これに限定されるものではなく、ノード３０の製造メーカ等が提供する性能情報を使用してもよく、又、この製造メーカ等が提供する性能情報から算出してもよい。【００２５】
また、このノード消費電力／性能テーブルＴ１は、ＨＤＤ１０３等に格納されており、適宜メモリ１０２に読み出されて使用される。
図４は実施形態の一例としてのクラスタシステム１における応答性能テーブルＴ２を例示する図である。
応答性能テーブルＴ２は、本クラスタシステム１において要求される性能値（要求性能）をテーブル状に示すものであり、クラスタ応答性能（単位：ｍｓｅｃ）及びノード応答性能（単位：ｍｓｅｃ）がそれぞれ登録されている。図４に示す例においては、クラスタ応答性能として２０ｍｓｅｃが設定されている、これは、例えばユーザＰＣ６０から本クラスシステム１に対して処理要求を発行した場合に、ユーザＰＣ６０への応答が２０ｍｓｅｃ以内に行なわれることが求められていることを示す。同様に、図４に示す例においては、ノード応答性能として２ｍｓｅｃが設定されており、これは、各ノード３０に対して処理要求が発行された場合に、ノード３０が２ｍｓｅｃ以内に応答を行なうことが求められていることを示す。すなわち、応答性能テーブルＴ２は、本クラスタシステム１において求められる性能の閾値を示す。この応答性能テーブルＴ２に登録される情報は、予めユーザ等により登録される。【００２６】
また、この応答性能テーブルＴ２は、ＨＤＤ１０３等に格納されており、適宜メモリ１０２に読み出されて使用される。
図５は実施形態の一例としてのクラスタシステム１における稼動ノード候補テーブルＴ３を例示する図である。
稼動ノード候補テーブルＴ３は、各ノード３０のそれぞれが、クラスタ３において要求される性能（ノード性能）を満たしていて演算処理に使用できるものであるか、すなわち、クラスタ３を構成する稼動ノード候補（候補ノード）となり得るか否かの情報をテーブル状に示す（符号Ｔ３ｂ参照）。図５に示す例においては、稼動ノード候補となり得るノード３０のノード名に対して“ＯＮ”が、又、稼動ノード候補ではないノード３０に対して“ＯＦＦ”が、それぞれ設定されている。又、この稼動ノード候補テーブルＴ３全体に対して、初期設定済みであるか否かを示す初期設定済みフラグ（符号Ｔ３ａ参照）が設定されるようになっており、初期設定済みである場合には“ＯＮ”が、又、初期設定済みではない場合には“ＯＦＦ”が設定される。【００２７】
なお、この稼動ノード候補テーブルＴ３は、後述するノード応答性能監視部１７により設定される。又、稼動ノード候補組合せテーブルＴ４については図６を用いて後述する。
ＨＤＤ１０３は記憶装置であり、ＣＰＵ１０１が実行するＯＳやプログラム（制御プログラム），種々のデータ等を格納する。また、このＨＤＤ１０３には、ノード消費電力／性能テーブルＴ１及び応答性能テーブルＴ２が格納される。ＬＡＮインタフェース１０４は、管理サーバ１０をネットワーク５０に通信可能に接続するインタフェースである。【００２８】
なお、管理サーバ１０の構成はこれに限定されるものではなく、種々変形して実施することができる。例えば、ＨＤＤ１０３に代えてＳＳＤ等の他の記憶装置を備えてもよい。
媒体読取装置１０５は、図示しない記録媒体が装着可能に構成される。媒体読取装置１０５は、記憶媒体が装着された状態において、記録媒体に記録されている情報を読み取り可能に構成される。本例では、記録媒体は可搬性を有する。記録媒体は、コンピュータ読取可能な記録媒体であって、例えば、フレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ等），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ＋Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋ＲＷ，ＨＤ  ＤＶＤ等），ブルーレイディスク，磁気ディスク，光ディスク，光磁気ディスク、又は、半導体メモリである。【００２９】
ＣＰＵ１０１は、種々の制御や演算を行なう処理装置であり、メモリ１０２に格納されたＯＳやプログラムを実行することにより、種々の機能を実現する。すなわち、ＣＰＵ１０１は、図２に示すように、消費電力最適化システム１１として機能する。又、この消費電力最適化システム１１には、稼動ノード候補抽出部１２，稼動ノード決定部１３，ノード電力制御部１４，クラスタ消費電力監視部１５，クラスタ応答性能監視部１６及びノード応答性能監視部１７としての機能が備えられる。【００３０】
なお、上述した稼動ノード候補抽出部１２，稼動ノード決定部１３，ノード電力制御部１４，クラスタ消費電力監視部１５，クラスタ応答性能監視部１６及びノード応答性能監視部１７としての機能を実現するためのプログラム（消費電力最適化プログラム）は、例えば前述した記録媒体に記録された形態で提供される。そして、コンピュータは媒体読取装置１０５を介して、その記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク，光ディスク，光磁気ディスク等の記憶装置（記録媒体）に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。【００３１】
稼動ノード候補抽出部１２，稼動ノード決定部１３，ノード電力制御部１４，クラスタ消費電力監視部１５，クラスタ応答性能監視部１６及びノード応答性能監視部１７としての機能を実現する際には、内部記憶装置（本実施形態ではメモリ１０２）に格納されたプログラムがコンピュータのマイクロプロセッサ（本実施形態ではＣＰＵ１０１）によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。【００３２】
［１］ノード電力制御部１４
ノード電力制御部１４はノード３０の消費電力を制御する。具体的には、ノード電力制御部１４は、各ノード３０に対してＣＰＵ使用率を通知することで、ノード３０のパワーキャッピング機能を用いて、各ノード３０をＣＰＵ使用率に合わせて動作させる。これにより、各ノード３０の消費電力を制御する。【００３３】
［２］ノード応答性能監視部１７
ノード応答性能監視部（ノード性能測定部，ノード選択部）１７は、各ノード３０の性能を取得・監視する。具体的には、ノード応答性能監視部１７は、各ノード３０に対してネットワーク５０を介して、ノード応答性能監視ジョブを発行し、その応答時間を測定することで応答性能（ノード性能）を測定する。【００３４】
ノード応答性能監視ジョブは、前述の如く、ノード３０の演算処理性能を評価するためのプログラムであり、ＣＰＵ３０に何らかの演算処理を行なわせる。ノード応答性能監視部１７は、ノード３０に対してノード応答性能監視ジョブを発行した後、このノード応答性能監視ジョブに対する応答を受信するまでに要する時間（応答時間，ノード実測性能）を測定する。【００３５】
ノード応答性能監視部１７は、各ノード３０からの応答時間と応答性能テーブルＴ２に登録されたノード応答性能とを比較する。測定された応答時間がノード応答性能を満たしている、すなわち、応答時間がノード応答性能未満である場合は、稼働ノード候補テーブルＴ３の該当するノード３０の稼働状態を“ＯＮ”に設定する。一方、応答時間がノード応答性能を満たしていない、すなわち、応答時間がノード応答性能以上である場合は、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３の該当するノード３０の稼働状態を“ＯＦＦ”に設定し、該当ノード３０をクラスタシステム１から切り離す。【００３６】
これにより、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３において稼動ノード候補を設定する。すなわち、ノード応答性能監視部１７部は、ノード応答性能監視ジョブを発行することによって測定した各ノード３０の応答性能がノード応答性能（要求性能）を満たしているか否かに応じて候補ノードを選択する。
また、ノード応答性能監視部１７は、各ノード３０の監視を行なうことにより、全ノード３０の稼働状態をそれぞれ取得する。ノード応答性能監視部１７は、後述する稼働ノード候補抽出部１２からノード３０の稼働状態取得の指示を受け、ネットワーク５０を介して、ノード応答性能監視ジョブを各ノード３０に通知し、各ノードからの応答を待つ。【００３７】
各ノード３０からの応答があれば、ノード応答性能監視部１７は以下の処理を行なう。すなわち、ノード応答性能監視部１７は、ノード応答性能監視ジョブを発行してからの各ノード３０からの応答時間（ノード実測性能）を測定する。そして、ノード応答性能監視部１７は、測定したノード実測性能と、応答性能テーブルＴ２に登録されたノード応答性能とを比較する。【００３８】
応答時間がノード応答性能を満たしている場合には、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３において、該当するノード３０の稼働状態が“ＯＦＦ”であれば、稼働状態を“ＯＮ”に変更し、該当ノード３０をクラスタ３に接続させる。
一方、応答時間がノード応答性能を満たしていない場合には、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３において、該当するノード３０の稼働状態が“ＯＮ”であれば、稼働状態を“ＯＦＦ”に変更し、該当ノード３０をクラスタ３から切り離させる。【００３９】
［３］クラスタ消費電力監視部１５
クラスタ消費電力監視部１５は、本クラスタ３における消費電力を取得・監視する。クラスタ消費電力監視部１５は、例えば、クラスタ３を構成する各ノード３０から消費電力を取得して合計する。なお、クラスタ３における消費電力の取得・監視は既知の種々の手法を用いて実現することができ、その詳細な説明は省略する。【００４０】
［４］稼動ノード候補抽出部１２
稼動ノード候補抽出部１２は、図６に示す稼動ノード候補組合せテーブル（参照情報）Ｔ４を作成する。
図６は実施形態の一例としてのクラスタシステム１における稼動ノード候補組合せテーブルＴ４を例示する図である。【００４１】
稼動ノード候補組合せテーブルＴ４は、複数（Ｎ個）のノード３０の中から選択された２以上のノード３０（候補ノード）を、それぞれ種々のＣＰＵ使用率（負荷設定値）の組合せで稼動させた場合の予想消費電力及び予想性能を示す。なお、この稼動ノード候補組合せテーブルＴ４に登録される候補ノード３０は、上述したノード応答性能監視部１６により稼動ノード候補テーブルＴ３の稼動状態に“ＯＮ”が設定されたノード３０である。【００４２】
図６に示す例においては、稼動ノード候補組合せテーブルＴ４は、ノード名がノード１〜ノード３で特定される３つの候補ノード３０を、０〜１００％を１０％刻みにした、１０％，２０％，３０％，４０％，５０％，６０％，７０％，８０％，９０％，１００％のうちいずれかのＣＰＵ使用率で動作させる。
これらの候補ノード３０のＣＰＵ使用率の組合せを負荷設定値セットという。図６に示す例においては、各負荷設定値セットを特定するための稼動ノードテーブル番号が設定されている。【００４３】
なお、稼動ノード候補組合せテーブルＴ４において設定されるＣＰＵ使用率は、１０％，２０％，３０％，４０％，５０％，６０％，７０％，８０％，９０％，１００％の１０％刻みの値に限定されるものではない。すなわち、１０％未満もしくは１０％より大きい値で刻んだ値を用いてもよく、種々変形して実施することができる。
また、稼動ノード候補組合せテーブルＴ４には、各負荷設定値セット（稼動ノードテーブル番号）に対して、各候補ノード３０を負荷設定値セットのＣＰＵ使用率でそれぞれ動作させた場合での、当該クラスタシステム１の全消費電力（単位：Ｗ），全性能値（単位：ＧＦｌｏｐｓ）及びクラスタ応答性能（単位：ｍｓ）の各推定値が設定される。【００４４】
ここで、稼動ノード候補抽出部１２による稼動ノード候補組合せテーブルＴ４の作成手法を説明する。
（４−１）稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１から各ノード３０のＣＰＵ使用率毎の消費電力及び性能値を読み込む。又、稼働ノード候補抽出部１２は、応答性能テーブルＴ２を読み込む。【００４５】
（４−２）次に、稼働ノード候補抽出部１２は、各ノード３０の消費電力と性能値との関係を示す近似曲線の式を求める。具体的には、以下に示す式（１）の各係数（αn、βn、γn）を算出する。なお、この近似曲線は、データ数がＮ個の場合、（Ｎ−１）次関数として定義する。
Pn=αnWn2+βnWn+γn  ・・・（１）
Ｐｎ：ノードｎの性能値
Ｗｎ：ノードｎの消費電力
αｎ：ノードｎの２次係数
βｎ：ノードｎの１次係数
γｎ：ノードｎの係数
稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１に登録されている、各ノード３０毎の各ＣＰＵ使用率（０％，５０％，１００％）での消費電力および性能値の各値を上記式（１）に代入することで、以下の式（２）として示す３つの方程式を作成する。【００４６】
0 =αn×(30)2＋βn×(30)+γn
25=αn×(40)2＋βn×(40)+γn        ・・・（２）
40=αn×(55)2＋βn×(55)+γn
稼働ノード候補抽出部１２は、これらの連立方程式を解くことで係数αｎ，βｎ及びγｎを求め、消費電力と性能値との関係示す近似曲線を算出する。【００４７】
上記式（２）の各係数を求めることにより各係数が求められ、消費電力をＷ、性能値をＰとする時、ノード１について、以下に示す式（３）が求められる。
Ｐ＝−０．０６Ｗ２＋６．７Ｗ−１４７  ・・・（３）
図７はノード消費電力と性能との関係を示す図であり、上記式（３）に示す式をグラフとして示す図である。この図７に示すように、上記式（３）によりノード消費電力と性能との関係を近似曲線として表すことができる。【００４８】
稼働ノード候補抽出部１２は、他の各ノード３０についても同様にして、ノード消費電力／性能テーブルＴ１を参照して、各ＣＰＵ使用率での消費電力および性能値の各値を用いて、上記式（３）と同様の消費電力と性能値との関係を示す近似曲線式を求める。
（４−３）稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３を参照して、稼動状態に“ＯＮ”が設定されている全てのノード３０、すなわち、全稼動ノード候補を抽出して、これらの全稼動ノード候補をクラスタ３に接続させる
稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３の初期設定済みフラグに“ＯＦＦ”を設定する。【００４９】
（４−４）稼働ノード候補抽出部１２は、ノード電力制御部１４を介して、全稼動ノード候補に対してＣＰＵ使用率１００％（高負荷）の状態で稼働開始の指示を行なう。
稼働ノード候補抽出部１２は、ノード応答性能監視部１７に、各ノード３０に対してノード応答性能監視ジョブを発行させて、それぞれの応答時間を測定させる。そして、ノード応答性能監視部１７は、この測定した応答時間を応答性能テーブルＴ２のノード応答性能と比較し、稼動ノード候補テーブルＴ３において各ノード３０に“ＯＮ”もしくは“ＯＦＦ”の稼動状態を設定する。すなわち、測定された応答時間がノード応答性能を満たしている場合は、稼動ノード候補テーブルＴ３の該当するノードの稼働状態を“ＯＮ”に設定する。一方、測定された応答時間がノード応答性能を満たしていない場合は、稼働ノード候補テーブルＴ３の該当するノードの稼働状態を“ＯＦＦ”に設定し、該当ノード３０をクラスタ３から切り離す。このように、稼働ノード候補抽出部１２は、クラスタ３を構成する候補ノード３０を決定する。【００５０】
（４−５）稼働ノード候補抽出部１２は、ノード応答性能監視部１７により稼動ノードとして設定された各ノード３０を、種々のＣＰＵ使用率で稼動させる組み合わせ（負荷設定値セット）を、稼動ノード候補テーブルＴ３に設定する。
稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３において、各ＣＰＵ使用率で各ノード３０を稼動させた組合せでの全消費電力，全性能値及びクラスタ性能の各推定値を算出し、稼働ノード候補テーブルＴ３に設定する。【００５１】
この際、稼働ノード候補抽出部１２は、（２）において求めた各係数及び以下の式（４），（５）を用いて、各ノード３０の種々のＣＰＵ使用率での組合せでの、全性能値及び全消費電力の値を算出する。
なお、式（４）は、Ｎノードの全消費電力Wtotalを、又、式（５）は全性能値Ptotalを、それぞれ算出する式である。【００５２】
【数１】
2015008353.tif 000003
【００５３】
Ｐｔｏｔａｌ：全稼動ノード候補（総数：Ｎ）の性能値の合計
Ｗｔｏｔａｌ：全稼動ノード候補（総数：Ｎ）の消費電力の合計
Ｐｎ：ノードｎの性能値
Ｗｎ：ノードｎの消費電力
αｎ：ノードｎの２次係数
βｎ：ノードｎの１次係数
γｎ：ノードｎの係数
また、稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１を参照して、各ノード３０について、その消費電力の最高値（ＣＰＵ使用率１００％時）の値と、最低値（ＣＰＵ使用率０％時）との差を、例えば９等分（１０％刻み）する。これにより、各ノード３０について、ノード消費電力／性能テーブルＴ１におけるＣＰＵ使用率１００％，５０％，０％の各間を補完すべく、ＣＰＵ使用率９０％，８０％，７０％，６０％，４０％，３０％，２０％，１０％での各消費電力を推定（算出）する。【００５４】
そして、稼働ノード候補抽出部１２は、上述の如く推定した各ノード３０の１０段階の消費電力の値を適宜組み合わせて上記式（４）に適用することにより、種々のＣＰＵ使用率の組合せでの全稼働ノード候補の性能値の合計（推定値）を算出する。以下、全稼働ノード候補の性能値の合計を全性能値という場合がある。
また、稼働ノード候補抽出部１２は、上述の如く推定した各ノード３０の１０段階の消費電力の値を適宜組み合わせて上記式（５）に適用することにより、種々のＣＰＵ使用率の組合せでの全稼働ノード候補の消費電力の合計（推定値）を算出する。以下、全稼働ノード候補の消費電力の合計を全消費電力という場合がある。【００５５】
稼働ノード候補抽出部１２は、稼動ノード候補組合せテーブルＴ４に、算出した全性能値及び全消費電力を、各ノード３０のＣＰＵ使用率の組合せと対応させて登録する。
すなわち、稼働ノード候補抽出部１２は、式（４）のＷ１，Ｗ２，・・・，ＷｎのＮ個のノードの各消費電力の値を１０段階で変化させ、稼動ノード候補のＣＰＵ使用率の全組み合わせ（１０のＮ乗通り）について、その組み合わせとその際の性能値をリスト化する。【００５６】
なお、上述した例では各ノード３０の消費電力値をその最大値と最小値との間で１０段階（１０％刻み）に分割しているが、これに限定されるものではなく種々変形して実施することができる。すなわち、消費電力を１１段階以上に分割することで、より省電力制御の精度を高めることができる。又、消費電力を９段階以下に分割することで演算数を低減し、稼動ノード候補組合せテーブルＴ４の作成に要する時間を短縮することができる。【００５７】
また、稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３の稼働状態に変更が生じた場合には、稼動ノード候補組合せテーブルＴ４の作成を再度行なう。
さらに、稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３において、各ノード３０の種々のＣＰＵ使用率での組合せを、全消費電力が小さいものから順に並ぶ昇順となるようにソートする。すなわち、稼動ノード候補組合せテーブルＴ４においては、稼動ノードテーブル番号の値が大きいほど消費電力が高く、稼動ノードテーブル番号の値が小さいほど消費電力が小さくなる。【００５８】
（４−６）稼働ノード候補抽出部１２は、稼動ノード候補組合せテーブルＴ４における、クラスタ応答性能を設定する。
稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３の初期設定済みフラグが“ＯＦＦ”の場合は、この初期設定済みフラグを“ＯＮ”にした後に、以下の処理を行なう。【００５９】
稼働ノード候補抽出部１２は、後述するクラスタ応答性能監視部１６に、クラスタ３を構成する各ノード３０がそれぞれＣＰＵ使用率１００％で稼動している状態でのクラスタ実測応答性能を取得させる。
クラスタ応答性能監視部１６は、稼働ノード候補抽出部１２からクラスタ３の稼働状態取得の指示を受けると、ネットワーク５０を介して、クラスタ応答性能監視ジョブ（詳細は後述）をクラスタ３に発行する。【００６０】
クラスタ応答性能監視部１６は、クラスタ３を構成する各ノード３０がそれぞれＣＰＵ使用率１００％で稼動している状態で、クラスタ応答性能監視ジョブを発行して、クラスタ３からの応答を待ち、クラスタ実測応答性能（詳細は後述）を測定する。
稼働ノード候補抽出部１２は、クラスタ応答性能監視部１６からクラスタ実測応答性能を取得し、稼動ノード候補組合せテーブルＴ４におけるＣＰＵ使用率１００％（高負荷）のクラスタ応答性能に設定する。【００６１】
なお、稼動ノード候補テーブルＴ３の初期設定済みフラグが“ＯＦＦ”の場合は、上記ＣＰＵ使用率１００％でのクラスタ実測応答性能の取得は省略する。
稼働ノード候補抽出部１２は、稼動ノード候補組合せテーブルＴ４におけるＣＰＵ使用率１００％（高負荷）のクラスタ応答性能を用いて、稼働ノード候補組み合わせテーブルＴ４における、各ＣＰＵ使用率の組み合わせのクラスタ応答性能を算出する。【００６２】
すなわち、稼働ノード候補抽出部１２は、以下の式（６）を用いて、稼動ノード候補組合せテーブルＴ４を参照して、各ノード３０がＣＰＵ使用率１００％（高負荷）での組合せにおける全性能と、各組み合わせの全性能とに基づき、各組み合わせのクラスタ応答性能を算出する。
各組み合わせのクラスタ応答性能＝（ＣＰＵ使用率１００％の全性能÷各組み合わせの全性能）×ＣＰＵ使用率１００％のクラスタ応答性能  ・・・（６）
例えば、図６に例示する稼動ノード候補組合せテーブルＴ４において、稼働ノードテーブル番号ｎにおいて各ノード３０のＣＰＵ使用率が１００％である。上記式（６）により、例えば、稼動ノードテーブル番号ｎ−６のクラスタ応答性能を算出すると以下のように求められる。【００６３】
（１１０÷１０８．４）×１１．０＝１１．１６
≒１１．２
稼働ノード候補抽出部１２は、稼動ノード候補組合せテーブルＴ４の各負荷設定値セット（稼働ノードテーブル番号）について、それぞれ上記式（６）を用いてクラスタ応答性能を算出し、稼動ノード候補組合せテーブルＴ４に設定する。【００６４】
以上の処理により、稼動ノード候補組合せテーブルＴ４が作成される。
［５］稼動ノード決定部１３
稼動ノード決定部１３は、応答性能テーブルＴ２及び稼動ノード候補組合せテーブルＴ４を参照して、クラスタ３の稼働状態に応じて、各ノード３０のＣＰＵ使用率を決定する。具体的には、稼動ノード候補組合せテーブルＴ４に登録されたＣＰＵ使用率の組合せの中から、応答性能テーブルＴ２におけるクラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得する。【００６５】
そして、稼働ノード決定部１３は、稼動ノード候補組合せテーブルＴ４から、取得した稼動ノードテーブル番号に該当する各ノード３０のＣＰＵ使用率を取得し、ノード電力制御部１４を介して、各ノード３０に対して、取得したＣＰＵ使用率をそれぞれ設定する。
ノード電力制御部１４は、稼働ノード決定部１３によって設定されたＣＰＵ使用率を受け、これらのＣＰＵ使用率をネットワーク５０を介して各ノード３０に通知する。各ノード３０においては、通知されたＣＰＵ使用率に従い、パワーキャッピング機能により消費電力の制御を行なう。【００６６】
また、ノード応答性能監視部１７及びクラスタ応答性能監視部１６は、各ノード３０のノード性能及びクラスタ３のクラスタ性能を監視し、定期的に（所定の定期監視時間毎に）性能や消費電力の測定を行なう。
クラスタ応答性能監視部１６は、クラスタ３の稼働状態を監視し、クラスタ３の性能及び消費電力を定期的に測定する。クラスタ応答性能監視部１６は、クラスタ３の性能や消費電力に応じて、各ノード３０のＣＰＵ使用率を設定する。【００６７】
ここで、クラスタ３の稼働状態は、前述の如く、例えば以下に示すような稼働環境の変化により変動する。
（ａ）同一ラック内もしくは隣接するラックに搭載されたノード３０間において、振動等によるノード間干渉により生じる性能劣化により、ノード３０単位で本来単独で持つ性能を大きく損なわれた場合、クラスタ性能の低下若しくは消費電力の増大が発生する。【００６８】
（ｂ）システム運用時に、特定ノードが故障により性能劣化した場合に、ノード３０単位で本来単独で持つ性能が大きく損なわれ、クラスタ性能の低下若しくは消費電力の増大が発生する。
（ｃ）定期保守等でノードの活性交換を行なう際に、クラスタ性能の低下若しくは消費電力の増大が発生する。【００６９】
［６］クラスタ応答性能監視部１６
クラスタ応答性能監視部１６はクラスタ３の性能を取得・監視する。例えば、クラスタ応答性能監視部１６は、クラスタ３に対してネットワーク５０を介して、クラスタ応答性能監視ジョブを発行する。
クラスタ応答性能監視ジョブは、クラスタ３の処理性能を評価するためのジョブである。例えば、クラスタ３がウェブサーバとして機能する場合には、ＨＴＭＬ（HyperText Markup Language）ウェブ表示リクエストが、このクラスタ応答性能監視ジョブとして用いられる。【００７０】
クラスタ応答性能監視部１６は、クラスタ３に対してクラスタ応答性能監視ジョブを発行した後、このクラスタ応答性能監視ジョブに対する応答を受信するまでに要する時間（応答時間）を測定する。なお、この応答時間をクラスタ実測応答性能という場合がある。
クラスタ応答性能監視部１６は、クラスタ３からの応答時間と応答性能テーブルＴ２に登録されたクラスタ応答性能とを比較する。測定された応答時間がクラスタ応答性能を満たしている、すなわち、応答時間がクラスタ応答性能未満である場合は、クラスタ応答性能監視部１６はクラスタ応答性能が満たされていると判断する。この判断結果に応じて、クラスタ応答性能監視部１６は、以下の（６−１）〜（６−３）の処理を行なう。【００７１】
（６−１）測定したクラスタ実測応答性能が応答性能テーブルＴ２におけるクラスタ応答性能の許容範囲に含まれない場合には、再設定クラスタ応答性能の算出を行なう。
測定したクラスタ実測応答性能の値が、応答性能テーブルＴ２におけるクラスタ応答性能を中心とする所定範囲（例えば±１０％）に含まれない場合には、クラスタ応答性能監視部１６は、クラスタ実測応答性能と稼働ノードテーブル番号に該当するクラスタ応答性能と比較する。そして、以下の式（７）を用いて、応答性能の変化比から再設定クラスタ応答性能を算出する。【００７２】
再設定クラスタ応答性能＝（応答性能テーブルＴ２内のクラスタ応答性能÷クラスタ実測応答性能）×稼働ノードテーブル番号に該当するクラスタ応答性能  ・・・（７）
例えば、稼動ノード候補組合せテーブルＴ４の稼動ノードテーブル番号５のＣＰＵ使用率の組合せでシステム運用中の場合に、稼働ノードテーブル番号４に該当するクラスタ応答性能は１９．３ｍｓｅｃである。又、応答性能テーブルＴ２のクラスタ応答性能（期待する応答性能）は２０ｍｓｅｃであり、クラスタ実測応答性能が２３ｍｓｅｃであったとする。【００７３】
本例においては、期待する応答性能（２０ｍｓｅｃ）に対して実測応答性能（２３ｍｓｅｃ）が大きい。又、測定したクラスタ実測応答性能（２３ｍｓｅｃ）は応答性能テーブルＴ２におけるクラスタ応答性能（２０ｍｓｅｃ）の許容範囲（例えば±１０％）を満たさない。そこで、クラスタ応答性能監視部１６は、上記式（７）を用いて、再設定クラスタ応答性能の算出を行なう。【００７４】
再設定クラスタ応答性能＝（２０÷２３）×１９．３≒１６．８ｍｓｅｃ
クラスタ応答性能監視部１６は、稼動ノード候補組合せテーブルＴ４を参照して、クラスタ応答性能が、この算出された再設定クラスタ応答性能（１６．８ｍｓｅｃ）を満たす（値の小さい）ＣＰＵ使用率の組合せを抽出し、その稼働ノードテーブル番号を取得する。又、この際、クラスタ応答性能監視部１６は、全消費電力が低いＣＰＵ使用率の組合せを選択する。【００７５】
すなわち、クラスタ応答性能監視部１６は、稼動ノード候補組合せテーブルＴ４から、算出した再設定クラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得する。
（６−２）クラスタ実測応答性能の値がクラスタ応答性能を満たし、且つ、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ大きい稼動ノードテーブル番号の全消費電力よりも高い場合には、この一つ大きい稼動ノードテーブル番号を設定する。【００７６】
前述の如く、稼動ノード候補組合せテーブルＴ４に登録されている各ＣＰＵ使用率の組合せは、消費電力に基づいてソートされており、稼動ノードテーブル番号の値が大きいほど消費電力が高い。
クラスタ応答性能監視部１６は、クラスタ消費電力監視部１５によって取得されたその時点での消費電力（実測消費電力）と、稼動ノード候補組合せテーブルＴ４において、その時点で選択（実現）されているＣＰＵ使用率の組合せに相当する稼動ノードテーブル番号の一つ昇順の（ひとつ大きい）稼動ノードテーブル番号での全消費電力とを比較する。【００７７】
そして、実測消費電力が、一つ昇順の稼動ノードテーブル番号での全消費電力より高い場合には、この一つ昇順の稼動ノードテーブル番号を選択して、ノード電力制御部１４により、この新たに選択したＣＰＵ使用率の組合せで各ノード３０を動作させる。これにより、クラスタ３の消費電力を下げることができる。
（６−３）クラスタ実測応答性能の値がクラスタ応答性能を満たし、且つ、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ小さい稼動ノードテーブル番号の全消費電力よりも低い場合には、この一つ小さい稼動ノードテーブル番号を設定する。【００７８】
前述の如く、稼動ノード候補組合せテーブルＴ４に登録されている各ＣＰＵ使用率の組合せは、消費電力に基づいてソートされており、稼動ノードテーブル番号の値が小さいほど消費電力が低い。
クラスタ応答性能監視部１６は、クラスタ消費電力監視部１５によって取得された実測消費電力と、稼動ノード候補組合せテーブルＴ４において、その時点で選択（実現）されているＣＰＵ使用率の組合せに相当する稼動ノードテーブル番号の一つ降順の（ひとつ小さい）稼動ノードテーブル番号での全消費電力とを比較する。【００７９】
そして、実測消費電力が、一つ降順の稼動ノードテーブル番号での全消費電力より低い場合には、この一つ降順の稼動ノードテーブル番号を選択して、ノード電力制御部１４により、この新たに選択したＣＰＵ使用率の組合せで各ノード３０を動作させる。これにより、現状よりも消費電力が低くなるＣＰＵ使用率の組合せで各ノード３０が動作することになり、消費電力を低くすることができる。【００８０】
なお、上記（６−１）〜（６−３）のいずれにも該当しない場合には、次の定期監視時間となるまで待ち、ノード応答性能監視部１７及びクラスタ応答性能監視部１６による、次のノード性能及びクラスタ性能の測定を待つ。
［Ｂ］動作説明
上述の如く構成された実施形態の一例としてのクラスタシステム１における基本的な処理を図８に示すフローチャート（ステップＡ１〜Ａ９）に従って説明する。【００８１】
ステップＡ１において、稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１から各ノード３０のＣＰＵ使用率毎の消費電力及び性能値を読み込み、又、応答性能テーブルＴ２を読み込む。
ステップＡ２において、稼働ノード候補抽出部１２は、取得した情報を用いて、稼動ノード候補組合せテーブルＴ４を作成する。【００８２】
ステップＡ３において、稼動ノード決定部１３が、応答性能テーブルＴ２及び稼動ノード候補組合せテーブルＴ４を参照して、クラスタ３の稼働状態に応じて、各ノード３０のＣＰＵ使用率を決定する。すなわち、稼動ノード候補組合せテーブルＴ４に登録されたＣＰＵ使用率の組合せの中から、応答性能テーブルＴ２におけるクラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得する。これにより、クラスタ３を構成するノード３０と、各ノード３０を動作せるＣＰＵ使用率とが決定される。【００８３】
ステップＡ４において、クラスタ応答性能監視部１６がクラスタ３の応答性能を測定する。又、クラスタ消費電力監視部１５が、本クラスタ３における消費電力を取得・監視する。
ステップＡ５において、稼働ノード候補抽出部１２は、クラスタ３を構成するノード３０に構成変更等が生じたか否かを確認する。例えば、ノード応答性能監視部１７による監視の結果、いずれかのノード３０において何等かの理由により処理性能が低下し、応答時間が応答性能テーブルＴ２のノード応答性能を満たしていない場合には、そのノード３０がクラスタ３から切り離される構成変更が行なわれる。【００８４】
また、ノード応答性能監視部１７による監視の結果、クラスタ３から切り離されているノード３０において処理性能が向上し、応答時間が応答性能テーブルＴ２のノード応答性能を満たすものとなった場合には、そのノード３０がクラスタ３に組み込まれる構成変更が行なわれる。
稼動ノードに構成変更があった場合には（ステップＡ５のＹＥＳルート参照）、ステップＡ６において、クラスタ３を構成するノード３０を更新し、ステップＡ１に戻る。これにより、ステップＡ１においては、新たにクラスタ３を構成することとなったノード３０についての情報収集が行なわれ、ステップＡ２において、この新たなノード構成による稼動ノード候補組合せテーブルＴ４の作成が行なわれる。【００８５】
一方、稼動ノードに変更がない場合には（ステップＡ５のＮＯルート参照）、ステップＡ７において、クラスタ応答性能監視部１６が、クラスタ３がクラスタ応答性能を満たしているか否かを確認する。すなわち、クラスタ応答性能監視部１６は、クラスタ実応答性能を測定し、この測定結果が応答性能テーブルＴ２におけるクラスタ応答性能の許容範囲に含まれるか否かを判断する。【００８６】
クラスタ実応答性能がクラスタ応答性性能を満たしている場合は（ステップＡ７のＹＥＳルート参照）、クラスタ応答性能監視部１６は、測定したクラスタ実応答性能が稼動ノード候補組合せテーブルＴ４において最小の消費電力となっているか否かを判断する（ステップＡ８）。すなわち、稼動ノード候補組合せテーブルＴ４において、より消費電力の少ないＣＰＵ使用率の組合せが存在するか否かを判断する。【００８７】
そして、実応答性能が稼動ノード候補組合せテーブルＴ４において最小の消費電力となっている場合には（ステップＡ８のＹＥＳルート参照）、ステップＡ５に戻る。
また、クラスタ実応答性能がクラスタ応答性性能を満たしていない場合（ステップＡ７のＮＯルート参照）には、クラスタ応答性能監視部１６は、ステップＡ９において、再設定クラスタ応答性能の算出を行なう。そして、稼動ノード候補組合せテーブルＴ４から、この算出した再設定クラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得し、ステップＡ３に戻る。【００８８】
さらに、実応答性能が稼動ノード候補組合せテーブルＴ４において最小の消費電力となっていない場合にも（ステップＡ８のＮＯルート参照）、ステップＡ９に以降する。
次に、実施形態の一例としてのクラスタシステム１における詳細処理を図９に示すフローチャート（ステップＢ１〜Ｂ２３）に従って説明する。
ステップＢ１において、稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１から各ノード３０のＣＰＵ使用率毎の消費電力及び性能値を読み込む。又、稼働ノード候補抽出部１２は、応答性能テーブルＴ２を読み込む。そして、稼働ノード候補抽出部１２は、これらの情報を用いて、各ノード３０の消費電力と性能値との関係を示す近似曲線の式を求める。【００８９】
次に、ステップＢ２において、稼働ノード候補抽出部１２は、ノード電力制御部１４を介して、全稼動ノード候補に対してＣＰＵ使用率１００％（高負荷）の状態で稼働させる。ステップＢ３において、ノード応答性能監視部１７は、各ノード３０において、ＣＰＵ使用率１００％の状態での応答時間が、応答性能テーブルＴ２のノード応答性能を満たしているか否かを確認することで、稼動ノード候補テーブルＴ３において各ノード３０に“ＯＮ”もしくは“ＯＦＦ”の稼動状態を設定する。【００９０】
なお、測定された応答時間がノード応答性能を満たしていない場合は、稼働ノード候補テーブルＴ３の該当するノードの稼働状態を“ＯＦＦ”が設定され、該当ノード３０がクラスタ３から切り離される。
ステップＢ４において、稼働ノード候補抽出部１２が稼動ノード候補組合せテーブルＴ４を作成する。【００９１】
ステップＢ５において、稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３の初期設定済みフラグが“ＯＮ”であるか否か、すなわち、稼動ノード候補テーブルＴ３が初期化済みであるか否かを確認する。
稼動ノード候補テーブルＴ３が初期化済みでない場合には（ステップＢ５のＮＯルート参照）、ステップＢ６において、稼働ノード候補抽出部１２は、稼動ノード候補テーブルＴ３の初期設定済みフラグを“ＯＮ”にする。又、稼働ノード候補抽出部１２は、クラスタ応答性能監視部１６に、クラスタ３を構成する各ノード３０がそれぞれＣＰＵ使用率１００％で稼動している状態でのクラスタ実測応答性能を取得させる。【００９２】
ステップＢ７において、稼動ノード決定部１３が、応答性能テーブルＴ２及び稼動ノード候補組合せテーブルＴ４を参照して、クラスタ３の稼働状態に応じて、各ノード３０のＣＰＵ使用率を決定する。具体的には、稼動ノード候補組合せテーブルＴ４に登録されたＣＰＵ使用率の組合せの中から、応答性能テーブルＴ２におけるクラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得する。【００９３】
ステップＢ８において、ノード電力制御部１４が、稼働ノード決定部１３によって設定されたＣＰＵ使用率を各ノード３０に通知する。これにより、各ノード３０においては、通知されたＣＰＵ使用率に従い、パワーキャッピング機能により消費電力の制御を行なう。
ステップＢ９において、ノード応答性能監視部１７は、予め設定された定期監視時間が経過が経過したか否かを確認し、定期監視時間が経過するまで（ステップＢ９のＮＯルート参照）待つ。【００９４】
定期監視時間が経過すると（ステップＢ９のＹＥＳルート参照）、ステップＢ１０において、ノード応答性能監視部１７は、全ノード３０に対してノード応答性能監視ジョブを各ノード３０に通知し、ノード応答性能監視ジョブを発行してからの各ノード３０からの応答時間（ノード性能）を実測する。
ステップＢ１１において、ノード応答性能監視部１７は、測定したノード実測性能と、応答性能テーブルＴ２に登録されたノード応答性能とを比較し、各ノード３０がノード応答性能を満たしているか否かを確認する。【００９５】
ノード３０がノード応答性能を満たしていない場合には（ステップＢ１１のＮＯルート参照）、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３において、該当するノード３０の稼働状態を“ＯＦＦ”に設定する（ステップＢ１３）。一方、ノード３０がノード応答性能を満たしている場合には（ステップＢ１１のＹＥＳルート参照）、ノード応答性能監視部１７は、稼動ノード候補テーブルＴ３において、該当するノード３０の稼働状態を“ＯＮ”に設定する（ステップＢ１２）。【００９６】
ステップＢ１４において、全てのノード３０についてステップＢ１１〜Ｂ１３の処理を行なったか否かを確認し、全てのノード３０について行なわれていない場合は（ステップＢ１４のＮＯルート参照）、ステップＢ１１に戻る。
全てのノード３０についてステップＢ１１〜Ｂ１３の処理が行なわれた場合には（ステップＢ１４のＹＥＳルート参照）、稼動ノードの構成に変更が生じたか否かを確認する（ステップＢ１５）。稼動ノードの構成に変更が生じた場合には（ステップＢ１５のＹＥＳルート参照）、ステップＢ４に戻り、稼動ノード候補組合せテーブルＴ４を作成する。【００９７】
稼動ノードの構成に変更が生じていない場合には（ステップＢ１５のＮＯルート参照）、ステップＢ１６において、クラスタ応答性能監視部１６が、クラスタ３の性能（クラスタ実測応答性能）を実測する。又、ステップＢ１７において、クラスタ消費電力監視部１５が、クラスタ３における消費電力を実測する。
ステップＢ１８において、クラスタ応答性能監視部１６によって測定したクラスタ実測応答性能の値が、応答性能テーブルＴ２におけるクラスタ応答性能を満たすものであるか否かを判断する。例えば、クラスタ応答性能監視部１６は、測定したクラスタ実測応答性能の値が、応答性能テーブルＴ２におけるクラスタ応答性能を中心とする所定範囲（例えば±１０％）に含まれているか否かを判断する。【００９８】
クラスタ応答性能監視部１６によって測定したクラスタ実測応答性能の値が、応答性能テーブルＴ２におけるクラスタ応答性能を満たさない場合には（ステップＢ１８のＮＯルート参照）、ステップＢ１９において、クラスタ応答性能監視部１６は、再設定クラスタ応答性能を算出する。そして、クラスタ応答性能監視部１６は、稼動ノード候補組合せテーブルＴ４から、算出した再設定クラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得した後、ステップＢ８に戻る。【００９９】
また、クラスタ実測応答性能の値が、応答性能テーブルＴ２におけるクラスタ応答性能を満たす場合には（ステップＢ１８のＹＥＳルート参照）、ステップＢ２０において、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ大きい稼動ノードテーブル番号の全消費電力よりも高いか否かを判断する。
実測消費電力が、一つ昇順の稼動ノードテーブル番号での全消費電力より高い場合には（ステップＢ２０のＹＥＳルート参照）、ステップＢ２１において、この一つ昇順の稼動ノードテーブル番号（負荷設定値セット）を取得（テーブルシフト）した後、ステップＢ８に戻る。【０１００】
実測消費電力が、一つ昇順の稼動ノードテーブル番号での全消費電力以下の場合には（ステップＢ２０のＮＯルート参照）、ステップＢ２２において、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ小さい稼動ノードテーブル番号の全消費電力よりも低いか否かを判断する。
実測消費電力が、一つ降順の稼動ノードテーブル番号での全消費電力より低い場合には（ステップＢ２２のＹＥＳルート参照）、ステップＢ２３において、この一つ降順の稼動ノードテーブル番号（負荷設定値セット）を取得（テーブルシフト）した後、ステップＢ８に戻る。【０１０１】
また、実測消費電力が、一つ降順の稼動ノードテーブル番号での全消費電力以上の場合には（ステップＢ２２のＮＯルート参照）、ステップＢ９に移行する。
［Ｃ］効果
このように、実施形態の一例としてのクラスタシステム１によれば、稼働ノード候補抽出部１２が、複数のノード３０のＣＰＵ使用率の組み合わせに対して、各ノードを各ＣＰＵ使用率の組み合わせでそれぞれ稼動させた場合での全消費電力，全性能及びクラスタ応答性能を対応付けた稼動ノード候補組合せテーブルＴ４を作成する。稼動ノード決定部１３が、この稼動ノード候補組合せテーブルＴ４に登録されたＣＰＵ使用率の組合せの中から、応答性能テーブルＴ２におけるクラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを選択する。そして、ノード電力制御部１４が、各ノード３０をこれらの選択されたＣＰＵ使用率に合わせて動作させる。【０１０２】
これにより、クラスタ３を構成する複数のノード３０を、要求性能（クラスタ応答性能，ノード応答性能）を満たした上で、消費電力が最も低いＣＰＵ使用率の組合せでそれぞれ動作させることができる。すなわち、要求性能を満たし、且つ、消費電力を低減することができる。
例えば、ノード間干渉や故障によるノードレベルの性能劣化が発生した場合や運用中に特定ノード３０が故障した場合、定期保守などでノード交換が必要な場合等のように、クラスタ３において稼動環境の変化が生じた場合においても、要求性能を満たし、且つ、消費電力を低減することができる。【０１０３】
また、ノード応答性能監視部１６が、各ノード３０の応答性能を定期的に監視し、発行したノード応答性能監視部ジョブに対する応答時間に基づき、稼動ノード候補テーブルＴ３において、当該ノード３０の稼動状態に“ＯＮ”もしくは“ＯＦＦ”を設定する。これにより、クラスタ３がノード応答性能を満たすノード３０で構成されることとなり、クラスタ３の構成を動的に変更し、その性能を維持することができる。【０１０４】
クラスタ応答性能監視部１６が、クラスタ実測応答性能を監視し、測定したクラスタ実測応答性能が応答性能テーブルＴ２におけるクラスタ応答性能の許容範囲に含まれない場合に、再設定クラスタ応答性能を算出する。そして、稼動ノード候補組合せテーブルＴ４から、算出した再設定クラスタ応答性能を満たし、且つ、最も全消費電力が低い組合せを抽出し、その稼働ノードテーブル番号を取得する。これにより、クラスタ３を構成する各ノード３０を、クラスタ応答性能を満たすＣＰＵ使用率の組合せで動作させ、クラスタ３においてクラスタ応答性能を満たすように動作させることができる。【０１０５】
また、クラスタ応答性能監視部１６が、クラスタ実測応答性能の値がクラスタ応答性能を満たし、且つ、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ大きい稼動ノードテーブル番号の全消費電力よりも高い場合には、この一つ大きい稼動ノードテーブル番号を設定する。又、クラスタ実測応答性能の値がクラスタ応答性能を満たし、且つ、クラスタ実測消費電力が、稼動ノード候補組合せテーブルＴ４において隣接する一つ小さい稼動ノードテーブル番号の全消費電力よりも低い場合には、この一つ小さい稼動ノードテーブル番号を設定する。これらにより、クラスタ３の消費電力を低減することができる。【０１０６】
なお、上述した実施形態においては、稼動ノード候補組合せテーブルＴ４には、クラスタ応答性能が応答性能テーブルＴ２の要求仕様を満たさない負荷設定値セットも含まれている。従って、ステップＢ２１やＢ２３において、一つ降順もしくは一つ昇順の負荷設定値セットを選択（テーブルシフト）することにより、シフト後の負荷設定値セットではクラスタ応答性能を満たすことができないおそれがある。【０１０７】
しかし、ステップＢ９において定期監視時間を行ない、ステップＢ１６，Ｂ１８において、クラスタ応答性能が満たされていない場合には、ステップＢ１９において再設定クラスタ応答性能を算出してステップＢ８に移行することで、最終的にはクラスタ応答性能が満たされることになり影響はない。
なお、上述した実施形態に関わらず、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。【０１０８】
例えば、稼働ノード候補抽出部１２が稼動ノード候補組合せテーブルＴ４を作成した際に、この稼動ノード候補組合せテーブルＴ４から、クラスタ応答性能が応答性能テーブルＴ２のクラスタ応答性能を満たさない負荷設定値セットを削除してもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
【符号の説明】
【０１０９】
１    クラスタシステム
３    クラスタ
１０    管理サーバ
１２    稼働ノード候補抽出部（作成部）
１３    稼動ノード決定部（負荷設定値選択部）
１４    ノード電力制御部（動作制御部）
１５    クラスタ消費電力監視部（クラスタ消費電力測定部）
１６    クラスタ応答性能監視部（クラスタ性能測定部）
１７    ノード応答性能監視部
３０，３０−１〜３０−Ｎ    ノード
４０    共有ドライブ
１０１，３０１，６０１    ＣＰＵ
１０２，３０２，６０２    メモリ
１０３，３０３，４０１，６０３    ＨＤＤ
１０４，３０４，４０２，６０４    ＬＡＮインタフェース
６０    ユーザＰＣ
Ｔ１    ノード消費電力／性能テーブルＴ１
Ｔ２    応答性能テーブル
Ｔ３    稼動ノード候補テーブル
Ｔ４    稼動ノード候補組合せテーブル
【図１】
2015008353.tif 000004
【図２】
2015008353.tif 000005
【図３】
2015008353.tif 000006
【図４】
2015008353.tif 000007
【図５】
2015008353.tif 000008
【図６】
2015008353.tif 000009
【図７】
2015008353.tif 000010
【図８】
2015008353.tif 000011
【図９】
2015008353.tif 000012
【手続補正書】
【提出日】平成28年3月11日(2016.3.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のノードを備えるクラスタを有するクラスタシステムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、クラスタシステム。
【請求項２】
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１記載のクラスタシステム。
【請求項３】
前記複数のノードのそれぞれについてノード性能を測定するノード性能測定部と、
前記ノード性能測定部によって測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択するノード選択部とを備え、
前記ノード選択部による候補ノードの選択により、前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項２記載のクラスタシステム。
【請求項４】
前記ノード選択部が、ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、請求項３記載のクラスタシステム。
【請求項５】
前記ノード性能測定部が、前記ノード性能の測定を定期的に行なうことを特徴とする、請求項３又は４記載のクラスタシステム。
【請求項６】
前記クラスタの処理性能を測定するクラスタ性能測定部を備え、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記負荷設定値選択部が、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜５のいずれか１項に記載のクラスタシステム。
【請求項７】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜６のいずれか１項に記載のクラスタシステム。
【請求項８】
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、請求項１〜７のいずれか１項に記載のクラスタシステム。
【請求項９】
クラスタに備えられる複数のノードを制御する制御装置であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、制御装置。
【請求項１０】
クラスタに備えられる複数のノードを制御する制御方法であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
ことを特徴とする、制御方法。
【請求項１１】
クラスタに備えられる複数のノードを制御する制御プログラムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラム。
【請求項１２】
クラスタに備えられる複数のノードを制御する制御プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記制御プログラムが、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラムを記録したコンピュータ読取可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
ノード応答性能監視ジョブは、前述の如く、ノード３０の演算処理性能を評価するためのプログラムであり、ＣＰＵ１０１に何らかの演算処理を行なわせる。ノード応答性能監視部１７は、ノード３０に対してノード応答性能監視ジョブを発行した後、このノード応答性能監視ジョブに対する応答を受信するまでに要する時間（応答時間，ノード実測性能）を測定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
稼動ノード候補組合せテーブルＴ４は、複数（Ｎ個）のノード３０の中から選択された２以上のノード３０（候補ノード）を、それぞれ種々のＣＰＵ使用率（負荷設定値）の組合せで稼動させた場合の予想消費電力及び予想性能を示す。なお、この稼動ノード候補組合せテーブルＴ４に登録される候補ノード３０は、上述したクラスタ応答性能監視部１６により稼動ノード候補テーブルＴ３の稼動状態に“ＯＮ”が設定されたノード３０である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
さらに、実応答性能が稼動ノード候補組合せテーブルＴ４において最小の消費電力となっていない場合にも（ステップＡ８のＮＯルート参照）、ステップＡ９に移行する。
次に、実施形態の一例としてのクラスタシステム１における詳細処理を図９に示すフローチャート（ステップＢ１〜Ｂ２３）に従って説明する。
ステップＢ１において、稼働ノード候補抽出部１２は、ノード消費電力／性能テーブルＴ１から各ノード３０のＣＰＵ使用率毎の消費電力及び性能値を読み込む。又、稼働ノード候補抽出部１２は、応答性能テーブルＴ２を読み込む。そして、稼働ノード候補抽出部１２は、これらの情報を用いて、各ノード３０の消費電力と性能値との関係を示す近似曲線の式を求める。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０８
【補正方法】変更
【補正の内容】
【０１０８】
例えば、稼働ノード候補抽出部１２が稼動ノード候補組合せテーブルＴ４を作成した際に、この稼動ノード候補組合せテーブルＴ４から、クラスタ応答性能が応答性能テーブルＴ２のクラスタ応答性能を満たさない負荷設定値セットを削除してもよい。
また、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
［Ｄ］付記
（付記１）
複数のノードを備えるクラスタを有するクラスタシステムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、クラスタシステム。
（付記２）
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１記載のクラスタシステム。
（付記３）
前記複数のノードのそれぞれについてノード性能を測定するノード性能測定部と、
前記ノード性能測定部によって測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択するノード選択部とを備え、
前記ノード選択部による候補ノードの選択により、前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記２記載のクラスタシステム。
（付記４）
前記ノード選択部が、ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、付記３記載のクラスタシステム。
（付記５）
前記ノード性能測定部が、前記ノード性能の測定を定期的に行なうことを特徴とする、付記３又は４記載のクラスタシステム。
（付記６）
前記クラスタの処理性能を測定するクラスタ性能測定部を備え、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記負荷設定値選択部が、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１〜５のいずれか１項に記載のクラスタシステム。
（付記７）
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１〜６のいずれか１項に記載のクラスタシステム。
（付記８）
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１〜７のいずれか１項に記載のクラスタシステム。
（付記９）
クラスタに備えられる複数のノードを制御する制御装置であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成する作成部と、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択する負荷設定値選択部と、
前記負荷設定値選択部が選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる動作制御部と
を備えることを特徴とする、制御装置。
（付記１０）
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記９記載の制御装置。
（付記１１）
前記複数のノードのそれぞれについてノード性能を測定するノード性能測定部と、
前記ノード性能測定部によって測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択するノード選択部とを備え、
前記ノード選択部による候補ノードの選択により、前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記作成部が前記参照情報を再作成し、前記負荷設定値選択部が前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１０記載の制御装置。
（付記１２）
前記ノード選択部が、ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、付記１１記載の制御装置。
（付記１３）
前記ノード性能測定部が、前記ノード性能の測定を定期的に行なうことを特徴とする、付記１１又は１２記載の制御装置。
（付記１４）
前記クラスタの処理性能を測定するクラスタ性能測定部を備え、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記負荷設定値選択部が、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記９〜１３のいずれか１項に記載の制御装置。
（付記１５）
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記９〜１４のいずれか１項に記載の制御装置。
（付記１６）
前記負荷設定値選択部により選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定するクラスタ消費電力測定部を備え、
クラスタ消費電力測定部によって測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、前記負荷設定値選択部が、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、前記動作制御部が当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記９〜１５のいずれか１項に記載の制御装置。
（付記１７）
クラスタに備えられる複数のノードを制御する制御方法であって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
ことを特徴とする、制御方法。
（付記１８）
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１７記載の制御方法。
（付記１９）
前記複数のノードのそれぞれについてノード性能を測定し、
測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択し、
前記候補ノードの選択により前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１８記載の制御方法。
（付記２０）
ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、付記１９記載の制御方法。
（付記２１）
前記ノード性能の測定を定期的に行なうことを特徴とする、付記１９又は２０記載の制御方法。
（付記２２）
前記クラスタの処理性能を測定し、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１７〜２１のいずれか１項に記載の制御方法。
（付記２３）
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１７〜２２のいずれか１項に記載の制御方法。
（付記２４）
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させることを特徴とする、付記１７〜２３のいずれか１項に記載の制御方法。
（付記２５）
クラスタに備えられる複数のノードを制御する制御プログラムであって、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラム。
（付記２６）
前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる
処理を前記コンピュータに実行させることを特徴とする、付記２５記載の制御プログラム。
（付記２７）
前記複数のノードのそれぞれについてノード性能を測定し、
測定された前記ノード性能が要求性能を満たしているか否かに応じて前記候補ノードを選択し、
前記候補ノードの選択により前記クラスタにおいて前記候補ノードの変更が生じた場合に、前記参照情報を再作成し、前記再作成された前記参照情報に基づいて前記負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる
処理を前記コンピュータに実行させることを特徴とする、付記２６記載の制御プログラム。
（付記２８）
ノード性能が要求性能を満たしていないノードを前記候補ノードから除外することを特徴とする、付記２７記載の制御プログラム。
（付記２９）
前記ノード性能の測定を定期的に行なうことを特徴とする、付記２７又は２８記載の制御プログラム。
（付記３０）
前記クラスタの処理性能を測定し、
前記クラスタの処理性能が要求性能を満たしていない場合に、前記参照情報に基づいて前記負荷設定値の組合せを再選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、付記２５〜２９のいずれか１項に記載の制御プログラム。
（付記３１）
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が高い負荷設定値の組合せでの前記予想消費電力よりも高い場合に、当該１つ予想消費電力が高い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、付記２５〜３０のいずれか１項に記載の制御プログラム。
（付記３２）
選択された前記負荷設定値の組合せで各ノードを動作させた状態の当該クラスタの消費電力を測定し、
測定された前記クラスタの消費電力が、前記参照情報中における、前記負荷設定値の組合せよりも前記予想消費電力の並び順で１つ予想消費電力が低い負荷設定値の組合せでの前記予想消費電力よりも低い場合に、当該１つ予想消費電力が低い負荷設定値の組合せを選択して、当該選択された前記負荷設定値の組み合わせに従って各ノードを動作させる処理を前記コンピュータに実行させることを特徴とする、付記２５〜３１のいずれか１項に記載の制御プログラム。
（付記３３）
クラスタに備えられる複数のノードを制御する制御プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記制御プログラムが、
前記複数のノードのうち、クラスタを構成しうる２以上の候補ノードについての負荷設定値の組み合わせに対して、各候補ノードを前記負荷設定値の組み合わせでそれぞれ稼動させた場合での当該クラスタの推定消費電力と推定性能とを対応付けた参照情報を作成し、
前記参照情報を参照して、前記推定性能が当該クラスタに対する要求性能を満たし、且つ、前記推定消費電力が最も低い前記負荷設定値の組合せを選択し、
選択した前記負荷設定値の組み合わせに従って各候補ノードを動作させる
処理をコンピュータに実行させることを特徴とする、制御プログラムを記録したコンピュータ読取可能な記録媒体。
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2015008353.tif 000013
【国際調査報告】
2015008353.tif 000014
2015008353.tif 000015
2015008353.tif 000016
2015008353.tif 000017