(57)【要約】  複数の装置群を含む情報処理システムにおいて、システム処理性能を落とさずに装置群や、給電／冷却設備を合わせた省電力運用を実現する。そこで、装置群２０１〜２０ｑと設備４０１〜４０ｕ、５０１〜５０ｖに接続される運用管理装置６０を設ける。運用管理装置６０は、装置群２０１〜２０ｑ及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と稼動情報６１、装置群２０１〜２０ｑの作業負荷３０１〜３０ｒの履歴を保存するデータベース６４、履歴から作業負荷の指標値を計算する手段６２、装置群２０１〜２０ｑへ作業負荷３０１〜３０ｒを割り当てる手段６３を備える。そして、運用管理装置６０は、作業負荷３０１〜３０ｒの時系列変化を反映する要約統計量に基づく指標値を各装置の閾値範囲に収めつつ、装置性能の電力効率の高い装置から優先的に作業負荷３０１〜３０ｒを割り当てる。
2010050249.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報処理装置から成る情報処理システムの運用管理装置であって、
前記複数の情報処理装置は、複数の作業負荷を分散して実行し、
前記運用管理装置は、
前記複数の作業負荷毎の処理量の時系列な変化の履歴を前記複数の情報処理装置が備える第１変数をモニタすることで取得し、保存する第１手段と、
前記履歴の時系列な変化における代表値と散布度を含む要約統計量を算出し、これに基づいて前記複数の作業負荷毎の指標値を決定する第２手段と、
前記複数の情報処理装置毎に第１閾値範囲を定め、前記指標値を前記第１閾値範囲に収めつつ、前記複数の情報処理装置のうち装置性能に対して電力効率が高い情報処理装置を優先して前記複数の作業負荷のそれぞれを順に割り当てる第３手段とを備えることを特徴とする情報処理システムの運用管理装置。
【請求項２】
請求項１記載の情報処理システムの運用管理装置において、
前記指標値が、前記履歴の移動平均値と所定倍の標準偏差との和または差であることを特徴とする情報処理システムの運用管理装置。
【請求項３】
請求項１記載の情報処理システムの運用管理装置において、
前記指標値が、前記履歴に含まれる標本数に基づく母平均値と所定倍の母標準偏差との和または差であることを特徴とする情報処理システムの運用管理装置。
【請求項４】
請求項１記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置の一つに、前記複数の作業負荷のうちの２以上の作業負荷を割り当てる場合に、前記指標値を、前記２以上の作業負荷のそれぞれの移動平均値と標準偏差に基づく合成平均値と合成標準偏差との和または差とすることを特徴とする情報処理システムの運用管理装置。
【請求項５】
請求項１記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置の一つとなる第１情報処理装置の前記第１変数に基づいて定められた前記複数の作業負荷のいずれかの前記指標値が、前記複数の情報処理装置の一つとなる第２情報処理装置の前記第１閾値範囲に収まるかを判断する際に、前記指標値を、前記第１情報処理装置と前記第２情報処理装置の性能比に応じて変換することを特徴とする情報処理システムの運用管理装置。
【請求項６】
請求項１記載の情報処理システムの運用管理装置において、
前記運用管理装置は、さらに、前記複数の情報処理装置の起動や待機状態への切り替えを制御する第４手段を備え、
前記第４手段は、前記第３手段によって前記複数の作業負荷のいずれも割当てられなかった前記複数の情報処理装置の一部を待機状態または電源オフとすることを特徴とする情報処理システムの運用管理装置。
【請求項７】
請求項６記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置毎に前記第１閾値範囲と同じか又は広い範囲となる第２閾値範囲を定め、前記複数の情報処理装置のいずれかにおいて当該情報処理装置が実行している単数または複数の作業負荷に伴う前記指標値が前記第２閾値範囲を逸脱する場合を契機として、前記複数の作業負荷の割当てを変更することを特徴とする情報処理システムの運用管理装置。
【請求項８】
請求項７記載の情報処理システムの運用管理装置において、
前記第４手段は、前記指標値が前記第２閾値範囲を逸脱する場合に備えて、前記複数の作業負荷のいずれも割当てられなかった前記複数の情報処理装置の一部の中から、所定の台数を待機状態とし、その残りの台数を電源オフとすることを特徴とする情報処理システムの運用管理装置。
【請求項９】
請求項１記載の情報処理システムの運用管理装置において、
前記指標値が、前記履歴の要約統計量に基づいて予測される予測値の信頼区間の上限値または下限値であることを特徴とする情報処理システムの運用管理装置。
【請求項１０】
複数の情報処理装置と前記複数の情報処理装置に対して給電または冷却を行なう設備から成る情報処理システムの運用管理装置であって、
前記複数の情報処理装置は、複数の作業負荷を分散して実行し、
前記運用管理装置は、
前記複数の作業負荷毎の処理量の時系列な変化の履歴を前記複数の情報処理装置が備える第１変数をモニタすることで取得し、保存する第１手段と、
前記履歴の時系列な変化における代表値と散布度を含む要約統計量を算出し、これに基づいて前記複数の作業負荷毎の指標値を決定する第２手段と、
前記複数の情報処理装置毎に第１閾値範囲を定め、前記指標値を前記第１閾値範囲に収めつつ、前記複数の情報処理装置のうち、装置性能に対して、情報処理装置自身の消費電力及び前記設備の給電損失または冷却電力を含めた電力効率が高い情報処理装置を優先して前記複数の作業負荷のそれぞれを順に割り当てる第３手段とを備えることを特徴とする情報処理システムの運用管理装置。
【請求項１１】
請求項１０記載の情報処理システムの運用管理装置において、
前記指標値が、前記履歴の移動平均値と所定倍の標準偏差との和または差であることを特徴とする情報処理システムの運用管理装置。
【請求項１２】
請求項１０記載の情報処理システムの運用管理装置において、
前記指標値が、前記履歴に含まれる標本数に基づく母平均値と所定倍の母標準偏差との和または差であることを特徴とする情報処理システムの運用管理装置。
【請求項１３】
請求項１０記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置の一つに、前記複数の作業負荷のうちの２以上の作業負荷を割り当てる場合に、前記指標値を、前記２以上の作業負荷のそれぞれの移動平均値と標準偏差に基づく合成平均値と合成標準偏差との和または差とすることを特徴とする情報処理システムの運用管理装置。
【請求項１４】
請求項１０記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置の一つとなる第１情報処理装置の前記第１変数に基づいて定められた前記複数の作業負荷のいずれかの前記指標値が、前記複数の情報処理装置の一つとなる第２情報処理装置の前記第１閾値範囲に収まるかを判断する際に、前記指標値を、前記第１情報処理装置と前記第２情報処理装置の性能比に応じて変換することを特徴とする情報処理システムの運用管理装置。
【請求項１５】
請求項１０記載の情報処理システムの運用管理装置において、
前記運用管理装置は、さらに、前記複数の情報処理装置の起動や待機状態への切り替え、および前記設備の運転状態を制御する第４手段を備え、
前記第４手段は、前記第３手段によって前記複数の作業負荷のいずれも割当てられなかった前記複数の情報処理装置の一部を待機状態または電源オフとすることを特徴とする情報処理システムの運用管理装置。
【請求項１６】
請求項１５記載の情報処理システムの運用管理装置において、
前記第３手段は、前記複数の情報処理装置毎に前記第１閾値範囲と同じか又は広い範囲となる第２閾値範囲を定め、前記複数の情報処理装置のいずれかにおいて当該情報処理装置が実行している単数または複数の作業負荷に伴う前記指標値が前記第２閾値範囲を逸脱する場合を契機として、前記複数の作業負荷の割当てを変更することを特徴とする情報処理システムの運用管理装置。
【請求項１７】
請求項１６記載の情報処理システムの運用管理装置において、
前記第４手段は、前記指標値が前記第２閾値範囲を逸脱する場合に備えて、前記複数の作業負荷のいずれも割当てられなかった前記複数の情報処理装置の一部の中から、所定の台数を待機状態とし、その残りの台数を電源オフとすることを特徴とする情報処理システムの運用管理装置。
【請求項１８】
請求項１５記載の情報処理システムの運用管理装置において、
前記第４手段は、前記複数の情報処理装置の現在の消費電力と前記設備の現在の給電能力または冷却能力に対して、前記第３手段によって前記複数の作業負荷の割り当てが変更された後に前記給電能力および前記冷却能力を必要十分に満たすように前記設備を先行的に運転制御することを特徴とする情報処理システムの運用管理装置。
【請求項１９】
請求項１８記載の情報処理システムの運用管理装置において、
前記第４手段は、前記冷却を行う設備を先行的に運転制御する際に、前記指標値の前記冷却を行う設備の熱時定数に相当する区間の移動平均値を反映させることを特徴とする情報処理システムの運用管理装置。
【請求項２０】
請求項１６記載の情報処理システムの運用管理装置において、
前記第４手段は、前記指標値が前記第２閾値範囲を逸脱する場合に備えて、前記設備の能力に余裕を持たせるように運転を制御することを特徴とする情報処理システムの運用管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はサーバ、ストレージ、ネットワークなどの情報処理装置群、さらにその給電または冷却を行なう設備から成る情報処理システムの運用管理装置に係り、特に情報処理装置群、さらに設備も合わせた統合的な省電力運用管理を行なうのに好適な方法に関する。
【背景技術】
【０００２】
例えば、特表２００７−５３６６５７号公報（特許文献１）では、複数のサーバと管理サーバから成るシステムにおいて、仮想化によるコンソリデーションによりシステムの消費電力を削減している。管理サーバが監視エージェントを介してサーバの作業負荷を表わすリソース使用率または消費電力を検出し、或るサーバの検出値が閾値未満と判定される場合、そのサーバに有る仮想マシンを他のサーバへ動的にマイグレーションさせ、元のサーバの電源を切断している。閾値判定には検出した瞬時値または平均値を用いている。リソース使用率にはプロセッサやメモリなどの使用率を用いている。【０００３】
特表２００５−５３１０４７号公報（特許文献２）では、複数のサーバから成るサーバプールの消費電力を管理する方法において、直近の作業負荷の総需要を満たすサーバ数を判定し、サーバの通電または切断を行なって消費電力を管理している。現在の作業負荷に対して隆起値（下限）または過剰値（上限）を加算し、現在の動作サーバが担える作業負荷が下限値未満であれば動作サーバを追加し、上限値を超えれば減少させている。作業負荷の総需要に対してサーバ台数の増減により追従できるように、個々の作業負荷は電子商取引やＷｅｂアプリケーションのように時間的に十分短命であることを前提としている。【０００４】
特許文献２では、作業負荷の計量にプロセッサ使用率、メモリ使用率、ネットワーク帯域幅使用率、ディスク帯域幅使用率を用いている。隆起値と過剰値にはそれぞれ履歴時間枠内で観察された作業負荷の最小偏差と最大偏差を用いているが、作業負荷の履歴規模と隆起値と過剰値の設定に対して実際の作業負荷需要と消費電力を対照検索することにより、最適な設定を見つけることも行なっている。日単位や週単位などの反復的、周期的な作業負荷のスパイクに対してはサーバプールの動作スケジュールにフラグを設定して対処している。また、サーバシャーシにおける冷却ファンの位置や故障箇所に応じて動作させるサーバを制御している。【０００５】
米国特許出願公開第２００６／０２５９６２１号明細書（特許文献３）では、データセンタに在る複数のサーバに対して作業負荷を割り当てる方法において、リクエストされた作業負荷のプロファイルを履歴プロファイルと比較し、サーバと空調の電力が最低となる履歴に従ってリクエストされた作業負荷をサーバへ割り当て、適合する履歴が無ければランダムに割り当てている。履歴プロファイルには、サーバの位置やクラス、作業負荷のタイプや使用率、入排気温、サーバと空調の電力が含まれている。サーバと空調の電力は、サーバの入排気温と比熱と風量から求めるか、または電力計により測定している。履歴プロファイルとして短間隔（１〜１０分）または長間隔（１〜６ヶ月）で定期的に瞬時値を収集しているほか、１日の中で不定期に収集される場合、作業負荷の新規割当てやサーバ配置の変更などのイベントを契機とする場合、作業負荷の割当て、タイプ、使用率などを広範囲に変化させる実験を行なう場合がある。【０００６】
特開２００５−３１２１４２号公報（特許文献４）では、建物の消費電力を管理するシステムにおいて、建物やその中に在る機器を区分して消費電力を計測し、或る区分の電力が閾値を超える場合に警告を発して建物全体の電力を管理し、省電力化を支援している。建物はフロア単位、機器は情報機器や空調機器などの種類によって区分されている。区分毎の閾値は、消費電力の平均値に偏差値を考慮して設定されている。
【特許文献１】特表２００７−５３６６５７号公報
【特許文献２】特表２００５−５３１０４７号公報
【特許文献３】米国特許出願公開第２００６／０２５９６２１号明細書
【特許文献４】特開２００５−３１２１４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
近年の情報通信の急速な発展、さらに放送と通信の融合時代に向けて情報処理装置が爆発的に増加すると予想されている。一方で地球温暖化の防止に向けて二酸化炭素を削減するため、情報処理装置の消費電力を大幅に削減する必要に迫られている。特にバックエンドで情報処理基盤を担うデータセンタでは、情報処理装置群が消費する電力に加え、その給電や冷却を行なう設備が消費する電力も大きな割合を占めており、装置群と設備を合わせた総合的な電力の削減が重要な課題となっている。【０００８】
データセンタの省電力化に向けて、サーバ、ストレージ、ネットワークなどの情報処理装置、給電設備、冷却設備、システム運用管理において、それぞれの取り組みが始まっている。情報処理装置では、低電力デバイス／回路による消費電力当たり性能の向上や、作業負荷に応じた動作／待機ステート切替による省電力機能の採用が進められている。給電設備では変圧器、無停電電源、配電盤、分電器などから装置群の電源に至る給電系統の損失低減や変換効率向上、冷却設備では空調機自身の運転効率向上や給排気口の気流設計の最適化、さらに局所冷却や液冷の導入が始まっている。運用管理では、稼動情報監視、ジョブスケジューリング、さらに仮想化による装置群の運用効率改善やコンソリデーションが主要な対策に挙がっている。【０００９】
情報処理装置群をシステムとして省電力化するためには装置群の作業負荷や消費電力を管理する必要があるが、これらは定常的ではなくシステムの処理形態やアプリケーションによって様々な挙動を示す。例えば、バッチ処理やリアルタイム処理、オンライン処理やオフライン処理、対話型処理やトランザクション処理やリアルタイム制御処理、データベース処理や技術計算などによって、装置の作業負荷や消費電力が時系列に複雑に変化する。時間波形として捉えても、パルス状やバースト状やスパイク状や振動状、規則性や周期性やランダム性や１／ｆ揺らぎなど多様である。【００１０】
給電設備や冷却設備は一般に装置群の最大定格電力に基づいて設計されているが、運用時の設備の効率や電力は、設備に対する装置群の電力の分布や変動に大きく依存している。例えば、電源変換効率は電力負荷に依存するため、装置の動作電力と給電系統によって給電損失が異なってくる。また、空調機の効率は装置の電力すなわち発熱、空調機と装置間の位置関係や距離、温度、風量、風向などに依存するため、装置の電力と配置によって冷却電力が大きく影響を受ける。【００１１】
今後、データセンタの仮想化による運用管理が伸展し、省電力化のためにコンソリデーションやライブマイグレーションが活用されると予想されるため、装置群の作業負荷の時系列変化や設備に対する装置群の電力分布変動を十分考慮しつつ、装置群への作業負荷の割当てや設備の運転能力を適切に制御することにより、装置群の電力や設備も合わせた総電力を削減する対策が必要になってくる。従来、サーバやコンピュータなどの装置群や空調設備に関する運用管理方法として幾つかの公知例が知られているが、上述した時間変動に対しては定常的または局時的なアプローチ、装置群と設備の総合的な省電力化に対しては局所的または逐次的なアプローチに留まっている。【００１２】
例えば、特許文献１では、仮想マシンの動的マイグレーションを利用して動作サーバを減らすことによりシステムの消費電力を削減している。作業負荷が低いサーバを動作停止の対象として抽出しているが、性能や電力効率が異なるサーバが混在する場合には対象サーバへ仮想マシンを集約する方がシステム全体の電力が削減される場合が起こり得る。また、マイグレーションの可否判定に作業負荷の瞬時値や平均値を用いているが、平均値に対して揺らぎや振動が大きい場合には仮想マシンを集約されたサーバにおいて作業負荷が瞬間的に処理性能を超え、性能劣化を起こす可能性がある。なお、サーバに対する給電や冷却に関しては触れられていない。【００１３】
特許文献２では、作業負荷の総需要に動作サーバ台数を追従させることによりサーバプールの消費電力の無駄を省いている。個々の作業負荷が十分短命であり、各々の動作サーバにおける作業負荷が十分高くなることを前提としており、複数のサーバに差異がある場合、各サーバにおいて作業負荷が変動する場合、様々なアプリケーションの作業負荷が混在する場合などは配慮されていない。サーバ台数の判定には作業負荷の現在値と履歴時間枠内でのピーク値（最小偏差と最大偏差）を用いており、特定のアプリケーションにおいて作業負荷の変化が緩慢か周期的であれば妥当な時間枠やフラグを設定し易いが、サーバやアプリケーションが多様で作業負荷の変動が大きい場合には最小値と最大値の差すなわち判定条件の幅が広がり過ぎて最適なサーバ台数が定まらず効率的に集約できない。また、サーバシャーシ内部における冷却ファンの配置や故障箇所に応じて動作させるサーバを選択しているが、複数のシャーシをまたがる場合にはランダムな選択であり、シャーシを取り巻く空調環境に配慮されておらず、設備面での省電力化が十分とは言い難い。【００１４】
特許文献３では、サーバと空調の電力を最小にする履歴プロファイルに基づいてリクエストされた作業負荷をサーバへ割り当てることにより、サーバと空調設備を合わせた電力を低減している。リクエストに対して履歴範囲内に適合する履歴が無い場合には対応できないか、または履歴の蓄積に応じて逐次的にしか改善されない。また、履歴にはサーバの位置や空調と合わせた電力が含まれているが、サーバの位置が空調に与える影響などは考慮されておらず、履歴に現れるサーバへ作業負荷を割り当てることがサーバ群と空調設備の総電力を最小にするとは限らない。リクエストと履歴は瞬時値で対照されており、一旦適合する履歴に則して作業負荷を割り当てても、作業負荷が時間的に変動すると参照した履歴の状況から乖離して電力が増加する事態が起こり得る。【００１５】
特許文献４では、情報機器や空調機器の計測した消費電力が閾値を超えると警告を発して電力を管理している。閾値は電力の平均値と偏差値を考慮して設定しているが、偏差値とは母集団の分布に対する数値の相対位置を示す無次元数であり、電力という物理量の次元を有する閾値の設定方法に関して具体的に述べられていない。また、警告により省電力化を支援しているが、情報機器に対する作業負荷の割当て方法や熱負荷に対する空調機器の制御方法に関しては触れられていない。【００１６】
以上述べたように、従来技術は対象とする情報処理装置群や作業負荷が限定的である上、装置群への作業負荷割当てにおいて瞬時値、平均値、最小／最大偏差などを用いており、作業負荷の時系列変化に対して局時的に装置群の消費電力を削減するに過ぎないという問題がある。また、装置群と設備を合わせた総電力に関しても局所的または逐次的な改善に留まっている。本発明の主な課題の一つは、多様な装置群や作業負荷の混在、装置群の作業負荷の時系列変化、設備に対する装置群の電力分布変動に適応できるように、装置群への作業負荷の割当てや設備の運転能力を適切に制御することにより装置群の電力とさらに設備も合わせた総電力を削減し、データセンタに代表される情報処理システムの省電力運用を実現することにある。なお、本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１７】
本願において開示される発明のうち、代表的な実施例の概要を簡単に説明すれば、次のとおりである。【００１８】
本発明の代表的実施例の特徴は、情報処理装置群から成る情報処理システムの運用管理装置が、装置群の作業負荷の履歴を保存し、履歴の時系列変化における代表値と散布度を含む要約統計量に基づいて作業負荷の指標値を求め、指標値を装置の所定の閾値範囲（指標値用）に収めながら、装置群の消費電力の総和を低減するように、装置性能の電力効率の高い装置から優先的に作業負荷を割り当てることにある。【００１９】
作業負荷の履歴は、情報処理装置の種類に応じて作業負荷割当てを判断するために必要な計量情報を含む。サーバであればプロセッサ使用率、メモリ使用容量または使用率、ディスク転送速度または帯域幅使用率、ネットワーク転送速度または帯域幅使用率などであり、ストレージであればＩＯＰＳ（入出力スループット）、使用容量または使用率、ネットワークであれば転送スループット、遅延時間などが挙げられる。【００２０】
履歴は作業負荷の時系列変化を十分把握するように取得される。作業負荷が比較的に一定である場合は定期的、変化する場合はそれに適応して可変的に取得する。また、作業負荷の周期性やスケジュールに応じて計画的に取得する場合、装置や作業負荷の追加や削減、装置や設備の配置変更や障害などのイベントを契機として取得する場合がある。【００２１】
要約統計量は履歴から計算した代表値と散布度を含み、作業負荷の動向を示す。代表値として移動平均値、移動中央値、移動最頻値、散布度として標準偏差、四分位偏差、平均偏差などを用いる。作業負荷の変化が正規分布に近いと想定される場合には主に移動平均と標準偏差の組合せを用いるが、分布に偏りがある場合などには必要に応じて移動中央値と四分位偏差の組合せを用いることがある。【００２２】
要約統計量は、履歴の更新に伴って随時計算され履歴と共に保存されるか、運用ポリシーに従って作業負荷割当てを変更する契機に応じて計算される。前者では、履歴のデータ容量を圧縮するため作業負荷の生データの代わりに要約統計量を履歴として保存する場合がある。後者では、装置群全体や各装置の作業負荷の増減、作業負荷のスケジュール、装置の障害などが契機と成り得る。【００２３】
指標値は時系列的な動向を示す代表値と散布度に基づいて計算され、作業負荷の変化幅を考慮した統計的確からしさを有する予想値と言える。特許文献１や特許文献３のように瞬時値や平均値を用いて作業負荷が装置の処理性能を超えることを確率的に防いで装置群全体のシステム処理性能を維持し、特許文献２のように最小値と最大値を用いて作業負荷割当ての判断基準が広がることを避けて効率的に作業負荷を集約できる。【００２４】
装置の閾値範囲（指標値用）は作業負荷のタイプや処理形態などに対する運用ポリシーに応じて設定される。例えば閾値の上限をリアルタイム処理であれば低めに、バッチ処理であれば高めに設定することにより、前者では作業負荷の急増に対する処理性能の劣化を防ぎ、後者では装置の運用効率を向上できる。閾値の下限は必要に応じて設定される。また、各装置毎に、閾値範囲（指標値用）と同じか又はそれよりも広い範囲となる閾値範囲（検出用）を定め、逐次算出される指標値がこの閾値範囲（検出用）を逸脱した場合を、作業負荷割当てを変更する契機として利用できる。【００２５】
装置性能の電力効率は装置の性能を消費電力で除した値であり、作業負荷のタイプや処理形態に応じて定義される。性能、電力、電力効率に関する情報は、システム管理情報の一環として仕様情報、構成情報、稼動監視情報などに含まれる。作業負荷の指標値を閾値範囲（指標値用）に収めつつ、電力効率が高い装置から優先的に作業負荷を割り当てることにより、作業負荷の処理性能を維持しつつ効率的に集約し、装置群全体の総消費電力を低減できる。作業負荷が割り当てられない装置は運用ポリシーに応じて待機、休止、電源遮断などの節電を行なう。【００２６】
本発明の代表的実施例の別の特徴は、情報処理装置群と給電または冷却を行なう設備から成る情報処理システムの運用管理装置が、作業負荷の指標値を装置の閾値範囲（指標値用）に収めつつ、装置の消費電力に加えて設備の給電損失または冷却電力を考慮した装置性能の電力効率に基づいて作業負荷を割り当てることにある。【００２７】
装置の消費電力は作業負荷の多寡に応じて変化し、設備の給電損失は装置群への給電系統と装置群の電力分布に依存し、冷却電力は装置群に対する冷却設備の配置と装置群の熱負荷分布（電力分布）や温度分布に依存するため、装置群の物理配置と作業負荷割当てによって給電損失と冷却電力が影響を受ける。各装置に対する給電損失または冷却電力の部分感度と装置自体の消費電力を加算した電力に基づく電力効率によって作業負荷を割り当てることにより、装置群の消費電力と設備の給電損失または冷却電力との総和を低減できる。【００２８】
本発明の実施例の更なる特徴について数式を用いて説明する。装置ｉ（ｉ＝１，２，…）の消費電力ｐＤｉは、作業負荷ｊ（ｊ＝１，２，…）を表わす計量変数集合をＬｊとして数式１のようになり、装置群の総電力ＰＤは数式２のように表わせる。【００２９】
【数１】
2010050249.tif 000003
【００３０】
【数２】
2010050249.tif 000004
【００３１】
設備の電力ＰＦ（給電損失または冷却電力）は、装置ｉの電力をＰＤｉ、位置をｘｉとして数式３のようになり、装置群と設備を合わせた総電力Ｐは数式４のように表わせる。【００３２】
【数３】
2010050249.tif 000005
【００３３】
【数４】
2010050249.tif 000006
【００３４】
装置群の総電力ＰＤを低減する問題、または装置群及び設備の総電力Ｐを低減する問題は、ＰＤまたはＰがｐＤｉ（Ｌｊ）の関数であることから、ＰＤまたはＰを目的関数として装置ｉへ作業負荷ｊを割り当てる最適解を見つける組合せ最適化問題に帰着する。最適化問題を解くにあたって、膨大な組合せの解空間の全探索を行なうことは現実的ではない。そこで効率良く解を求めるため、装置性能の電力効率により装置群を順位付けする近似解法アルゴリズムを用い、順位が高い装置から優先的に作業負荷を割り当てる。装置ｉの電力効率εＤｉは、装置ｉの性能γｉと消費電力ｐＤｉにより数式５のように表わせる。設備の電力も考慮した電力効率εｉは、設備電力ＰＦにおける装置電力ｐＤｉに対する部分感度をＰＦｉとして数式６にように表わせる。【００３５】
【数５】
2010050249.tif 000007
【００３６】
【数６】
2010050249.tif 000008
【００３７】
優先順位に従って装置ｉへ作業負荷ｊを割り当てる場合、作業負荷ｊの時系列変化によって、装置ｉの最大性能を作業負荷ｊが上回ると処理時間が長引き、下回ると最適解から乖離するという問題が生じる。このため、時系列変化を踏まえて確からしい作業負荷ｊの指標値を見積もる必要がある。【００３８】
作業負荷ｊを表わす変数集合Ｌｊのうち装置の性能と電力に対して支配的な一つの変数ｌｊを例にとり、ｌｊの履歴の時刻ｔにおける代表値と散布度として移動平均値ｍｊ（ｔ）と標準偏差σｊ（ｔ）を用いると、作業負荷ｊの変数ｌｊに関する指標値ξｊは数式７のように表わせる。ｎは定数であり、作業負荷ｊのタイプや処理形態、作業負荷の集約による省電力化の効果と処理性能低下の危険度との相反条件などを考慮して設定する。【００３９】
【数７】
2010050249.tif 000009
【００４０】
装置ｉへ作業負荷ｊを割り当てる場合に指標値ξｊが満たすべき条件は、装置ｉの閾値範囲（指標値用）の下限をａｉ、上限をｂｉとして数式８のように表わせる。作業負荷ｊの変化が正規分布に近ければ、実際の作業負荷ｊが閾値範囲（指標値用）に収まる確率を予想でき、統計的な確からしさに基づいて処理性能低下を回避しつつ、装置群へ作業負荷を効率的に集約できる。【００４１】
【数８】
2010050249.tif 000010
【００４２】
移動平均値ｍｊ（ｔ）と標準偏差σｊ（ｔ）を算出する際の標本数をνとすると、標準誤差をδｊ（ｔ）、母移動平均値をｍ’ｊ（ｔ）、母標準偏差をσ’ｊ（ｔ）として数式７を数式９または数式１０のように書き換えられる。数式７、数式９、数式１０は類似しており、定数ｎを設定する場合に標本数νを繰り入れても良い。【００４３】
【数９】
2010050249.tif 000011
【００４４】
【数１０】
2010050249.tif 000012
【００４５】
標本数νと標本を取得する時間間隔は、作業負荷の変化率やばらつきに応じて設定する。時間的に長い範囲の移動平均値ではその範囲内の変化を見落とし易く、短い範囲では細かい変化に引き連られ易く、時間間隔が短過ぎると履歴のデータ量が膨大になるため、実用的に適切な標本を抽出する。また、装置群の冷却には熱容量が関係するため、装置群の作業負荷や電力の変化に対して温度はそのまま追従せず熱時定数を以って変化する。冷却設備に対しては熱時定数に相当する時間範囲の移動平均値を用いる。【００４６】
一つの装置へ複数の作業負荷ｋ（ｋ＝１，２，…）を割り当てて集約する場合には、指標値ξｓは合成移動平均値ｍｓ（ｔ）と合成標準偏差σｓ（ｔ）により数式１１のように表わされる。閾値条件は数式８と同様に考えれば良い。【００４７】
【数１１】
2010050249.tif 000013
【００４８】
或る装置ｉに在る作業負荷ｊを他の装置ｈへ移し替える場合、変数ｌｊが相対的なリソース使用率であるなど、場合によっては変換を行なう必要がある。例えば、装置ｉの最大性能をγｉＭＡＸ、装置ｈの最大性能をγｈＭＡＸとして数式１２のように変換する。【００４９】
【数１２】
2010050249.tif 000014
【００５０】
なお、数式５や数式６に示す電力効率εＤｉ、εｉは作業負荷ｊの変数集合Ｌｊの関数であり、作業負荷割当ての組合せに応じて電力効率εＤｉ、εｉを計算して装置群の順位付けを行なう必要がある。装置ｉの性能γｉ、消費電力ｐＤｉ、部分感度ＰＦｉが主要変数ｌｊに対して線形近似できれば、変数ｌｊに特定の値を代入して電力効率εＤｉ、εｉを数式１３のように定数として取り扱えるので、装置群の順位付けが簡便になり、さらに効率的に近似解を見つけられる。ｐＤｉＭＡＸは装置ｉの最大定格電力である。【００５１】
【数１３】
2010050249.tif 000015
【００５２】
装置ｉへ割り当てた実際の作業負荷ｊが数式８に示した閾値範囲（指標値用）を逸脱する確率ψは、変数ｌｊが取り得る最小値をαｊ、最大値をβｊ、作業負荷ｊの変化の分布を示す確率密度関数をφｊ（ｌｊ）として数式１４のように表わせる。同様に、実際の作業負荷ｊが閾値範囲（指標値用）の上限ｂｉを超える確率ψ’は、数式１５にように表わせる。【００５３】
【数１４】
2010050249.tif 000016
【００５４】
【数１５】
2010050249.tif 000017
【００５５】
作業負荷を割り当てた装置群全体に亘る確率ψの和は、作業負荷割当てを更新する周期を考える際に有用である。実際の作業負荷ｊが装置の閾値範囲（検出用）を逸脱した場合、またはその頻度が多くなる場合、それを契機として作業負荷割当てを更新しても良い。また、確率ψ’の和を勘案することにより、作業負荷を割り当てられていない装置のうちどの程度を待機させ他は休止させるか、給電設備や冷却設備をどの程度余裕を持たせて制御するかを判断する上で指針となる。【００５６】
作業負荷ｊの指標値ξｊとして数式７では履歴の移動平均値ｍｊ（ｔ）と標準偏差σｊ（ｔ）を用いたが、さらに進んで統計的手法による将来予測に基づいて作業負荷割当てを行なえる。時系列データの予測手法には、例えば回帰分析、周波数分析、相互相関、自己回帰移動平均モデルなどがあり、日や週などの周期性がある場合には自己相関分析などがある。時刻ｔ＋△ｔにおける指標値ξｊは予測値をμｊ、信頼区間をλｊとして数式１６のように表わせる。【００５７】
【数１６】
2010050249.tif 000018
【００５８】
将来予測における閾値範囲（指標値用）、装置性能の電力効率、逸脱確率などの考え方は、数式８、数式５、数式６、数式１４などと同様である。将来予測により、作業負荷が増加し始める前や作業負荷割当てを更新する前に装置を予め通電して待機させ、作業負荷が減少し始める前に早めに作業負荷を集約して省電力化を図れる。設備の面でも同様に、装置群の電力を必要十分に賄いつつ給電効率が高くなるように給電設備を制御し、熱容量や熱時定数を考慮して作業負荷の増減に対して冷却設備を先行的に制御し、設備の省電力運用を行なえる。
【発明の効果】
【００５９】
本願において開示される発明のうち、代表的な実施例によって得られる効果を簡単に説明すると、データセンタなどのような情報処理システムにおいて、情報処理装置群へ作業負荷を集約して割り当てることにより、装置群のシステム処理性能を落とさずに装置群や、更には給電／冷却設備を合わせた総消費電力を削減可能になる。
【図面の簡単な説明】
【００６０】
【図１】本発明の実施例１による情報処理システムの運用管理装置において、その情報処理システムの一例を示す全体構成図である。
【図２】本発明の実施例２による情報処理システムの運用管理装置において、図１の作業負荷割当て手段のより詳細な動作例を示す説明図である。
【図３】本発明の実施例３による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段の詳細な動作例を示す説明図である。
【図４】本発明の実施例４による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段および作業負荷割当て手段の詳細な動作例を示す説明図である。
【図５】本発明の実施例５による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段の詳細な動作例を示す説明図である。
【図６】本発明の実施例６による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段の詳細な動作例を示す説明図である。
【図７】本発明の実施例７による情報処理システムの運用管理装置において、その情報処理システム全体の配置構成例を示すレイアウト図である。
【符号の説明】
【００６１】
１０  情報処理システム
２０１〜２０ｑ  情報処理装置
３０１〜３０ｒ  作業負荷
４０１〜４０ｕ  給電設備
５０１〜５０ｖ  冷却設備
６０  運用管理装置
６１  装置群と設備の位置と稼動情報
６２  作業負荷指標値の計算手段
６３  装置群への作業負荷割当て手段
６４  作業負荷履歴データベース
６５  装置群と設備の稼働制御手段
２１０  情報処理システム
２２０１〜２２０１０  ラック列
２２１ｉ  装置ｉ
２４１  無停電電源装置
２４２１〜２４２４  配電盤
２４０  変圧器
２５０  冷却塔
２５１  冷凍機
２５２１〜２５２６  空調機
２５４１〜２５４６  矢印
【発明を実施するための最良の形態】
【００６２】
以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でも良い。【００６３】
さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。【００６４】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
【実施例１】
【００６５】
図１は、本発明の実施例１による情報処理システムの運用管理装置において、その情報処理システムの一例を示す全体構成図である。情報処理システム１０は、情報処理装置２０１〜２０ｑ、装置群２０１〜２０ｑへ給電する給電設備４０１〜４０ｕ、装置群２０１〜２０ｑを冷却する冷却設備５０１〜５０ｖ、装置群２０１〜２０ｑと設備４０１〜４０ｕ、５０１〜５０ｖを管理する運用管理装置６０から成る。【００６６】
装置群２０１〜２０ｑには作業負荷３０１〜３０ｒが割り当てられる。作業負荷３０１〜３０ｒは、図１に示す一例のように、装置に対して単独の作業負荷が割り当てられる場合（装置２０ｑ−１と負荷３０ｒ−２）、複数の作業負荷が割り当てられる場合（装置２０１と負荷３０１〜３０２、装置２０ｉと負荷３０ｊ−１〜３０ｊ＋１、装置２０ｑと負荷３０ｒ−１〜３０ｒ）、作業負荷が割り当てられない場合（装置２０２）がある。【００６７】
運用管理装置６０は、装置群２０１〜２０ｑと設備４０１〜４０ｕ、５０１〜５０ｖに接続され、装置群２０１〜２０ｑ及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と稼動情報６１を保持し、装置群２０１〜２０ｑの作業負荷の履歴を取得し保存するデータベース６４と、履歴から作業負荷の指標値を計算する手段６２と、装置群２０１〜２０ｑへ作業負荷３０１〜３０ｒを割り当てる手段６３を備える。さらに、運用管理装置６０は、例えば、装置群２０１〜２０ｑの起動や、給電設備４０１〜４０ｕからの供給電力量の制御や、冷却設備５０１〜５０ｖの起動ならびに風量等の制御といった各種稼働状態を制御する手段６５を備える。【００６８】
装置群２０１〜２０ｑの稼動情報６１には、作業負荷３０１〜３０ｒのタイプ、処理形態、リソース使用率を示すデータ、装置２０１〜２０ｑの処理性能、消費電力、動作状態を示すデータなどが含まれる。設備４０１〜４０ｕ、５０１〜５０ｖの稼動情報６１には、温度、湿度、流量などの環境監視データ、給電設備４０１〜４０ｕの給電状態や装置群２０１〜２０ｑへの供給電力、冷却設備５０１〜５０ｖの運転状態や装置群２０１〜２０ｑから受ける熱負荷などが含まれる。【００６９】
装置群２０１〜２０ｑの稼動情報６１により作業負荷に対する装置の消費電力特性または作業負荷と消費電力の関数が得られ、数式５に示すような装置性能の電力効率を計算できる。装置群２０１〜２０ｑ及び設備４０１〜４０ｕ、５０１〜５０ｖの位置と稼動情報により、給電設備４０１〜４０ｕの給電系統における電力負荷分布、冷却設備５０１〜５０ｖに対する装置群２０１〜２０ｑの熱負荷分布が得られ、給電損失と冷却電力を計算でき、数式６に示すような給電損失と冷却電力を繰り入れた電力効率を求められる。作業負荷割当て問題における近似解の精度と効率に応じて、数式５や数式６に示すような電力効率の代わりに数式１３に示すような簡便な電力効率を採用しても良い。【００７０】
履歴データベース６４には、例えば作業負荷ｊ（３０ｊ）を表わす計量変数ｌｊの時刻ｔにおける値ｌｊ（ｔ）が随時保存されており、指標値計算手段６２によりｌｊ（ｔ）の時系列変化における要約統計量として時刻ｔでの代表値ｍｊ（ｔ）と散布度σｊ（ｔ）を計算し、数式７に示すような作業負荷ｊの指標値ξｊ（ｔ）が求まる。作業負荷３０１〜３０ｒに関しても同様に代表値ｍ１〜ｒ（ｔ）と散布度σ１〜ｒ（ｔ）から指標値ξ１〜ｒ（ｔ）が得られる。【００７１】
装置群２０１〜２０ｑへ作業負荷３０１〜３０ｒを割り当てる手段６３は、作業負荷３０１〜３０ｒの指標値を装置２０１〜２０ｑの閾値範囲（指標値用）すなわち想定処理性能範囲に収めつつ、電力効率が高い装置から優先的に順次作業負荷を割り当てる。例えば装置２０ｉでは、数式１１に示すような作業負荷ｊ−１、ｊ、ｊ＋１の合成指標値が数式８に示すような閾値範囲（指標値用）内となるように割り当てられる。作業負荷の割り当て順位は、数式３のＰＤまたは数式４のＰを目的関数として装置ｉへ作業負荷ｊを割り当てる最適解を見つける組合せ最適化問題を演算によって解くことが望ましい。ただし、この場合、実用上の演算量が膨大になってしまう虞があるため、近似解として作業負荷の粒度や装置との制約条件に応じて定め、基本的には大きい作業負荷から電力効率の高い装置へ割り当てるとよい。【００７２】
具体的には、例えば、稼動情報６１から得られた各装置群２０１〜２０ｑの電力効率の順位と、指標値計算手段６２から得られた各作業負荷３０１〜３０ｒの大きさ（すなわちｍｊ（ｔ）＋σｊ（ｔ）、場合によってはｍｊ（ｔ）でもよい）の順位を用いる。ここで、仮に装置の電力効率が高い順位を装置２０１、２０２、２０３、…とし、作業負荷の大きい順位を作業負荷３０１、３０２、３０３、…と仮定した場合、作業負荷３０１は装置２０１に割り当てられ、作業負荷３０２は可能ならば装置２０１に、不可能ならば装置２０２に割り当てられ、作業負荷３０３は可能ならば装置２０１に、不可能ならば装置２０２に、これも不可能ならば装置２０３に割り当てられる。【００７３】
このように、実施例１に示す情報処理システム１０の運用管理装置によれば、履歴データベース６４の時系列変化における要約統計量に基づいて作業負荷３０１〜３０ｒの指標値を求め、これらの指標値を装置２０１〜２０ｑの閾値範囲（指標値用）に収めつつ、装置性能の電力効率が高い装置へ優先して作業負荷を割り当てることにより、情報処理システム１０の装置群２０１〜２０ｑの消費電力を削減でき、さらに給電損失と冷却電力を繰り入れた電力効率を用いることにより装置群２０１〜２０ｑ及び設備４０１〜４０ｕ、５０１〜５０ｖも含めた総消費電力を削減できる効果がある。【００７４】
装置群２０１〜２０ｑへの作業負荷割当ては、所望の契機や計画、新規作業負荷の投入、既存作業負荷の終了などに応じて更新することができ、情報処理システム１０の省電力運用を実現できる。また、実際の作業負荷が、閾値範囲（指標値用）と同じか又はそれよりも広い範囲となる閾値範囲（検出用）を逸脱して変動する場合には、これを契機として作業負荷割当てを変更することにより作業負荷の特異な時系列変化に対応できる。さらに、そのような場合に備えて数式１４や数式１５に示すような逸脱確率を考慮した上で、予め、装置群の一部を電源遮断せずに待機させる、設備の給電能力や冷却能力に余裕を持たせるなどの方策を講じることにより、装置や設備の電力を過剰に浪費せずに作業負荷の変動に対して臨機に対処できる。【００７５】
例えば、数式１５において作業負荷ｊが閾値上限ｂｉを超える確率ψ’と負荷変数ｌｊとの積は、確率的に上限ｂｉを超える作業負荷量を表わす。装置群全体に亘ってその積の総和を取り、その総和の作業負荷量に相当する処理能力を賄うように装置群の一部を待機させ、電力を賄うように給電設備または冷却設備に余裕を持たせておくことにより、もし実際の作業負荷が閾値範囲（指標値用）を逸脱しても装置群全体の処理能力や設備能力を即座に追従させることができ、障害を引き起こすことが無くなる。なお、このように、装置群の一部を待機させ、電力を賄うように給電設備または冷却設備に余裕を持たせておく制御は、装置群と設備の稼働制御手段６５によって行われる。例えば、作業負荷量と装置電力の関係式から逸脱確率に相当する装置群の電力を求め、その電力を供給可能であるように給電設備を構成する複数の電源などのうち一部を待機させ、その電力すなわち発熱量を冷却可能であるように冷却設備を構成する複数の空調機などの一部を待機させることにより、実際に逸脱した場合にも給電や冷却を不足無く行なうことができ、常時全ての電源や空調機を稼動させておくよりも無駄な電力を省くことができる。【００７６】
情報処理システム１０としてデータセンタやコンピュータルームが代表的であるが、産業設備、商業設備、通信設備、交通機関などの業務運用システムにおいても本実施例の運用管理装置を応用できる。また、既設システムの運用管理だけでなく、システムの新設、増設、移設、改修などの設計／診断ツールとしても有用である。複数の施設や場所にまたがるシステムであっても遠隔管理を行なえば本実施例を実施できる。【００７７】
情報処理装置２０１〜２０ｑにはサーバ装置、ストレージ装置、ネットワーク装置などがあり、サーバ装置には汎用サーバ、専用サーバ、メインフレーム、並列コンピュータ、スーパーコンピュータ、組込みコンピュータ、パーソナルコンピュータなど、ストレージ装置には磁気ディスク、固体ディスク、光ディスク、テープなど、ネットワーク装置にはルータ、スイッチ、ハブなど、さらに周辺装置としてプリンタ、複写機、モデム、ディスプレイなども含まれる。また、本実施例は、動作／待機／休止／停止ステートのデマンドベーススイッチング機能、いわゆる省電力モードを有する装置にも適用できる。例えばサーバではＤＢＳ、ストレージではＭＡＩＤ、ネットワークではポート電源制御などが該当する。ハードウェア形態はブレード型、ラックマウント型、タワー型、専用筺体型に限らず、多様に適用できる。【００７８】
作業負荷３０１〜３０ｒとは、サーバ装置ならアプリケーション、ストレージ装置ならアクセスデータ、ネットワーク装置なら転送データなどを指す。稼動情報６１のデータには、サーバ装置なら性能、リソース使用率、動作／休止ステートなど、ストレージ装置なら起動ディスク数、入出力スループットなど、ネットワーク装置なら転送パケット数、スイッチ頻度などがある。また、作業負荷のタイプや処理形態として、固定／浮動小数点演算、トランザクション処理、データベース処理、技術計算、データの形式や粒度、保証帯域などを区別して、作業負荷割当てにおいて考慮することも可能である。すなわち、例えば、装置２０１〜２０ｑが、特定の作業負荷を得意とするハードウェア構造の場合、作業負荷のタイプに応じて処理性能が変化し、これに伴い電力効率も変化することになるため、このタイプに応じて前述した電力効率が高い装置の順位を切り換えてもよい。【００７９】
給電設備４０１〜４０ｕには、変圧器、無停電電源装置、配電盤、分電器、装置が搭載されるラックの電源などがあり、電力センサ、電流／電圧センサ、漏電センサなども含まれ、場合によって給電源の発電所、送電設備、変電設備、給電先の装置の電源も対象になる。冷却設備５０１〜５０ｖには空調機、冷凍機、冷却塔、給排気口、ファン、ダクト、冷媒配管などがあり、室内外に配置される温度センサ、湿度センサ、流量／流向センサなども含まれ、場合によって液冷装置、ラック列やラック前面／背面の局所冷却装置、装置の冷却装置も対象になる。【００８０】
運用管理装置６０には、情報処理装置群２０１〜２０ｑと設備４０１〜４０ｕ、５０１〜５０ｖに共通マネージャサーバや履歴データベースを設けるか、または両者のマネージャサーバと履歴データベースを連携する形態があり、マネージャ機能を装置２０１〜２０ｑの一部に担わせても良い。本実施例による運用管理装置は、例えば、コンピュータシステムに対してミドルウェア、アプリケーション、組込み制御ソフトウェア、ファームウェアなどのソフトウェアを実装することで実現でき、場合によっては、最適化問題を解くエンジンをハードウェアとして加えてもよい。マネージャが装置の稼動情報や設備の環境情報を取得するため、各装置や各設備にエージェント、サービスプロセッサ、インターフェースなどを設けるが、装置群や設備が自律分散システムを構築しても良い。【００８１】
なお、本実施例における装置群と設備の総電力を削減する効果は、装置群の作業負荷の指標値を求める手段、装置群及び設備の電力効率を求める手段、装置群への作業負荷割当てを求める手段と、場合によっては装置群と設備の稼働制御手段を加えることで発揮されるのであって、実施例１や図１に示す装置自体や計算手順などにより限定されるものではない。
【実施例２】
【００８２】
図２は、本発明の実施例２による情報処理システムの運用管理装置において、図１の作業負荷割当て手段６３のより詳細な動作例を示す説明図である。図２の横軸は装置群２０１〜２０ｑを設備の電力も考慮した電力効率の順に並べてあり、縦軸は作業負荷３０１〜３０ｒを表わす変数の一つであるリソース使用率を示す。図２の例では、装置群２０１〜２０ｑに共通の閾値範囲（指標値用）（下限ａが２０％、上限ｂが８０％）を設定し、リソース使用率の指標値ξ（＝ｍ±ｎ・σ）がこの閾値範囲に収まるように電力効率が高い装置「１」から順に一つまたは複数の作業負荷を割り当てている。装置「ｑ−３」や「ｑ−２」では閾値範囲（指標値用）に収まる作業負荷の選択が無くなり、装置「ｑ−１」や「ｑ」では割り当てる作業負荷が無いため、図１の稼働制御手段６５が装置を待機または休止するか電源を遮断することにより消費電力を削減することができる。【００８３】
図２では作業負荷３０１〜３０ｒを表わす一つの変数だけで作業負荷を割り当てているが、複数の変数集合に対する指標値を閾値範囲（指標値用）に収めるように同様の割当て手順を実施する場合があり、例えば、割当ての簡便化のため装置電力に関する主要変数に対する指標値を閾値範囲（指標値用）に収めて、他の変数は指標値を求めず現状値を制約条件（閾値範囲（指標値用））に対して判定する方法などを採用することもできる。また、図２では閾値範囲（指標値用）として下限ａと上限ｂを設けているが、作業負荷のタイプや処理形態などの必要に応じて一方の閾値しか設定しない、例えば下限ａを０％とするか上限ｂしか設定しない方法などを採って良い。
【実施例３】
【００８４】
図３は、本発明の実施例３による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段６２の詳細な動作例を示す説明図である。図３は、ある作業負荷の時系列変化を示し、横軸に時刻ｔ、縦軸に作業負荷を表わす一変数であるリソース使用率を示している。○点は、図１の履歴データベース６４によって取得される作業負荷の履歴のプロットであり、作業負荷指標値を計算する手段６２は、このプロットから移動平均値ｍ（太い実線）および標準偏差σを算出し、この移動平均値ｍと標準偏差σに基づき指標値ξ（＝ｍ±２・σ）（細い実線）を算出する。左図は５個の履歴の移動平均値ｍと標準偏差σ（標本数５）、右図は５個の移動平均を２回繰り返して求めた２５個の履歴の移動平均値と標準偏差（標本数２５）を用いている。図３を見れば明らかなように、近未来の作業負荷は概ね指標値ｍ±２・σの範囲内で推移すると予測されるので、これに基づいて作業負荷割当てを行なうことにより統計的確からしさを以って情報処理システムの消費電力削減と処理性能維持を両立することができる。【００８５】
左図と右図を比較すると、標本数が少ない場合には移動平均値が作業負荷の局時的な変化の影響を受け易く、大局的な動向を見誤り易いことが分かる。逆に標本数が右図より大幅に多い場合には移動平均波形が鈍って作業負荷の実際の変化から乖離する危険があり、標本数や履歴の時間間隔は作業負荷の変化率やばらつきに応じて設定する必要がある。また、多数の標本に対して１回で一括して単純移動平均を行なうと実際の変化に対して歪みが生じるため、右図では単純移動平均の繰返しを用いているが、他の有用な方法として加重移動平均、指数加重移動平均などを用いて良い。【００８６】
図３における作業負荷は正規分布に近いため、指標値として確率的に９５％が含まれるｍ±２・σを用いているが、作業負荷割当てに必要な精度や信頼性に応じて±σ（６８％）や±３・σ（９９％）を用いる場合があり、分布形態に応じて移動平均値の代わりに移動中央値や移動最頻値を用いる場合がある。また、さらに統計的確からしさを向上するため標本に対して母集団を推定し、数式９に示す標準誤差や数式１０に示す母移動平均値と母標準誤差を指標値に繰り入れる場合がある。【００８７】
なお、作業負荷の割当てを変更する契機の一例として、図３において、例えば、ある装置でのリソース使用率履歴（単数または複数の作業負荷の履歴に該当）から算出した指標値（例えば上限値ｍ＋２・σ）が、ある時刻ｔにおいて、当該装置の閾値範囲（検出用）を逸脱した場合などが挙げられる。例えば、閾値範囲（指標値用）を２０％〜８０％、閾値範囲（検出用）を１５％〜８５％等とした場合、ある装置に対して指標値の上限（ｍ＋２・σ）が８０％を超えないように作業負荷が割り当てられるが、その後、当該作業負荷の処理量が平均的に増加し、ある時刻ｔにおいて、当該作業負荷の指標値の上限（ｍ＋２・σ）を算出した結果が８５％に達した場合などである。この際には、この時刻ｔにおいて各装置で実行している各作業負荷毎の指標値の大きさと、各装置毎の電力効率の順位に基づいて、実施例１で説明したように、再度、大きい作業負荷から順に電力効率の高い装置へ割り当てを行うか、または逸脱した作業負荷を現在作業負荷が割り当てられていない装置へ一旦退避させておき、逸脱する作業負荷数が或る所定値を超えた場合を契機として再度全体の作業負荷割当てをやり直す、などを行う。【００８８】
また、前述した説明では、例えば、指標値の上限（ｍ＋２・σ）が閾値範囲（指標値用）の上限（８０％）に極めて近くなるように作業負荷が割り当てられた場合を想定して、その直後に連続して作業負荷の割当ての契機が生じないように、言い換えれば、作業負荷の割当てを変更する契機の間隔をある程度保つために５％のマージンを持たせた閾値範囲（検出用）を設定している。ただし、その一方で、このマージンの範囲で装置の処理性能が低下する虞があるため、閾値範囲（指標値用）と閾値範囲（検出用）を等しく設定してもよい。例えば、作業負荷の指標値の移動平均値ｍがｓｉｎ波状に推移する場合で、そのｓｉｎ波の振幅の中心付近から増加するタイミングで前述したような作業負荷の割当ての契機が生じた場合などでは、前述したマージン有無に関わらずに時期が早いか遅いかの違いで、結局、作業負荷の割当てを変更する契機が生じることとなる。一方、ｓｉｎ波の振幅の最大ピーク付近のタイミングで前述したような作業負荷の割当ての契機が生じた場合などでは、前述したマージン有無に関わらずに作業負荷の割当てを変更する契機は生じないこととなる。
【実施例４】
【００８９】
図４は、本発明の実施例４による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段６２および作業負荷割当て手段６３の詳細な動作例を示す説明図である。本実施例では、作業負荷割当て手段６３が、作業負荷指標値の計算手段６２で算出された指標値に基づいて一つの装置に対して複数の作業負荷を割り当てる場合を示し、その一例として、図１の装置２０１に作業負荷３０１，３０２を割り当てる場合を説明する。図４の横軸は時刻ｔ、縦軸は作業負荷の一変数であるリソース使用率であり、左図の◆点と○点はそれぞれ作業負荷３０１と３０２の履歴のプロットである。右図の△点は作業負荷３０１と３０２を合計した履歴のプロットであり、太い実線は数式１１により求めた合成移動平均値ｍｓ、細い実線は合成移動平均値ｍｓと合成標準偏差σｓから求めた指標値ξｓ（＝ｍｓ±２・σｓ）である。右図から分かるように、合成移動平均値ｍｓと合成標準偏差σｓを用いることにより、装置２０１に複数の作業負荷３０１と３０２を割り当てる場合でも、合計作業負荷の時系列変化を把握して予測することができる。【００９０】
図４の例では装置２０１に割り当てる以前に作業負荷３０１や３０２を担っていた装置と装置２０１との性能が等しかったため、作業負荷割り当て手段６３が割り当て後の作業負荷を見積もる場合に、作業負荷３０１と３０２の単純合計値を装置２０１に当てはめているが、性能が異なる場合には単純合計ではなく数式１２に示すような換算を行なう必要がある。例えば処理性能比１の装置からＣＰＵ使用率４０％の作業負荷を性能比２の装置へ移し替える場合にはＣＰＵ使用率２０％として換算すれば良い。
【実施例５】
【００９１】
図５は、本発明の実施例５による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段６２の詳細な動作例を示す説明図である。本実施例では、作業負荷指標値の計算手段６２が、作業負荷の将来の推移をある程度予測して指標値を定める。図５は、ある作業負荷の時系列変化を示し、横軸は時刻ｔ、縦軸は作業負荷の一変数であるリソース使用率、○点は作業負荷の履歴のプロットである。また、ある履歴時刻ｔ１における太い実線は移動平均値ｍ、細い実線は移動平均値ｍと標準偏差σから求めた指標値ξ（＝ｍ±ｎ・σ）であり、履歴時刻ｔ１より先の時刻ｔにおける太い実線は自己回帰和分移動平均モデルから求めた予測値μ、細い点線は数式１６に示すように予測値μと信頼区間λから求めた指標値ξ（＝μ±ｎ・λ）である。【００９２】
図５に示すように将来の作業負荷を統計的確からしさを以って予測することにより、装置群のシステム処理性能をより的確に確保した上で、装置群や、更には給電／冷却設備を合わせた総消費電力を削減可能になる。すなわち、例えば、作業負荷の処理量が今後増えると予想される場合には、その分のマージンを持たせて装置に作業負荷の割り当てを行うことができるため、結果的に、各装置が自身の処理性能を超える（閾値範囲（検出用）を逸脱する）確率を低減でき、全体として、高いシステム処理性能を継続して維持できる。更には、作業負荷の増加が予想される場合には、稼働制御手段６５を用いて、予め装置や設備を待機させておき、減少が予想される場合には装置や設備の節電を行なうこともできる。図５では自己回帰和分移動平均モデルを用いているが、必要とする予測期間や信頼区間に応じて簡便な回帰モデルや指数平滑法を用いたり、予測精度を高めるため複数のモデルを組み合わせるベイズ的アプローチなどを用いて良い。【００９３】
なお、将来予測を冷却設備に対して利用する場合には、稼働制御手段６５を用いて、熱時定数を考慮した上で冷却設備の運転能力や運転台数を先行的に制御すると良い。装置群が置かれる設備環境には熱容量があり、作業負荷や消費電力が変動しても温度が熱時定数を以って遅れて変化するため、例えば作業負荷の増加予測に対して冷却設備を遅らせて立上げ、減少予測に対して早めに落とすことにより、追従的な制御に比べて省電力化を図ることができる。また、冷却設備には作業負荷や消費電力の時間的に細かい変化が影響しないため、熱時定数に相当する区間の移動平均値を用いることが有用である。【００９４】
例えば、冷却装置が複数の空調機から成る場合には空調機の運転台数や各空調機の冷却能力を先行的に制御する。作業負荷の予測に対して熱時定数に相当する区間で移動平均値を取り、その値と作業負荷量に対する装置電力の関係式から装置群の電力すなわち発熱量の変化を推定し、その変化に対して熱時定数を以って応答する関数に従って運転台数や冷却能力を制御すれば良い。作業負荷量自体の移動平均値よりも熱時定数の移動平均値から求めた発熱量の方がなだらかに変化し、これは実質的に空調機群に対する熱負荷を表わしている。例えば装置群の電力がステップ状に変化する場合、熱時定数τの応答関数として指数関数ｅ−ｔ／τを用いると良い。より簡便な制御方法として運転台数を応答関数に概ね比例させ、作業負荷の増加予測に対しては熱時定数τに相当する時間だけ遅らせて非稼動の空調機を立ち上げ、減少予測に対しては熱時定数τに相当する時間だけ早めに稼動中の空調機群の一部を停止させるなどを行なって、空調機群の電力を削減すると良い。
【実施例６】
【００９５】
図６は、本発明の実施例６による情報処理システムの運用管理装置において、図１の作業負荷指標値の計算手段６２の詳細な動作例を示す説明図である。本実施例では、作業負荷の履歴に周期性があるものとして、作業負荷指標値の計算手段６２が、この履歴を反映させて指標値を算出する。図６の左上図は、ある作業負荷の時刻ｔにおける履歴、中央図は、その１日前の時刻ｔにおける履歴、右下図は、その１週間前の時刻ｔにおける履歴を示す。図６に示すように作業負荷の時系列変化に１日周期がある場合、１日前から所定の日数を遡った履歴を参照して要約統計量を計算することにより、指標値の予測精度を向上できる。要約統計量を計算する際、参照する履歴に自己相関係数を考慮して重み付けしても良い。図６の一部にあるようなバースト的な定期作業負荷に対しては、要約統計量を求める代わりに予め作業負荷の継続時間をスケジュールに登録しておく方法を採っても良い。
【実施例７】
【００９６】
図７は、本発明の実施例７による情報処理システムの運用管理装置において、その情報処理システム全体の配置構成例を示すレイアウト図である。情報処理システム２１０は、情報処理装置群と、これらが搭載されるラック列２２０１〜２２０１０、変圧器２４０と無停電電源装置２４１と配電盤２４２１〜２４２４から成る給電設備、冷却塔２５０と冷凍機２５１と空調機２５２１〜２５２６から成る冷却設備から構成される。給電設備は、変圧器２４０から無停電電源装置２４１と配電盤２４２１〜２４２４を介してラック列２２０１〜２２０１０へ給電し、さらにラックの配電ユニットから情報処理装置へ給電する。冷却設備は床下空調を行ない、空調機２５２１〜２５２６が床下とグリルを介して装置群へ冷気を供給し、空調機２５２１〜２５２６が温気を吸い込んで冷凍機２５１と冷却塔２５０が互いに熱交換を行ない、冷却塔２５０が外気へ放熱する。【００９７】
例えば装置ｉ２２１ｉがラック列２２０７に位置する場合、給電設備は矢印２４３に示すように変圧器２４０から無停電電源装置２４１と配電盤２４２３を経て装置ｉ２２１ｉに給電する。装置ｉ２２１ｉが消費した電力は顕熱に変わって空気を温める。冷却設備では、冷気が空調機２５２１〜２５２６から床下、グリルを経て装置ｉ２２１ｉへ供給され、装置ｉ２２１ｉによる温気が矢印２５４１〜２５４６に示すように空調機２５２１〜２５２６へ戻り、空調機２５２１〜２５２６の吸い取った熱が冷凍機２５１と冷却塔２５０を経て外気へ放出される。このように装置ｉ２２１ｉに対する給電系と冷却系の配置を把握することにより、装置ｉ２２１ｉに対する給電損失と冷却電力の部分感度を計算することができる。【００９８】
特に限定はされないが、具体的には、例えば、装置ｉを対象とする給電設備の要素関数ｐＳｉ（近似的には装置ｉの電力と位置ｘｉの関数となる）を、矢印２４３に示す給電系統に沿って、装置ｉの電力を振りながら予めシミュレーションを行なうことにより求める。同様に、装置ｉを対象とする冷却設備の要素関数ｐＣｉ（近似的には装置ｉの電力と位置ｘｉの関数となる）を、矢印２５４１〜２５４６に示すように装置ｉが空調機２５２１〜２５２６に与える熱負荷の影響を考慮して、装置ｉの電力を振りながら予めシミュレーションを行なうことにより求める。そして、この要素関数の和（ｐＳｉ＋ｐＣｉ）を設備電力ＰＦの部分感度ＰＦｉとすることで、数式６または数式１３のように給電損失と冷却電力を繰り入れた各装置毎の電力効率を求めることができる。また、同様にして、他の装置に関しても、給電損失と冷却電力を繰り入れた各装置毎の電力効率を求めることができる。この電力効率に基づいて、前述した各実施例のように作業負荷の割り当てを行うことで、装置群のシステム処理性能を落とさずに、装置群と給電設備、冷却設備を合わせた総消費電力を削減可能になる。【００９９】
以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
【産業上の利用可能性】
【０１００】
本実施例は、サーバ、ストレージ、ネットワークなどの情報処理装置群と給電設備や冷却設備から成る情報処理システムにおける統合的な省電力運用管理に適用でき、特に情報処理基盤であるデータセンタに好適である。また、本実施例は、情報処理システムの自律運用管理に用いられるほか、システム診断ツール、運用管理者や設備管理者の補助ツールとして幅広い用途に適用できる。【０１０１】
本実施例は、一つの場所に配置された装置群と設備に対してだけではなく複数の場所に対する作業負荷割当てにも適用でき、例えば複数階のデータセンタや大域的に離れたデータセンタでも有用であり、グリッドコンピューティングやクラウドコンピューティングなどのように情報処理装置と設備が散在する場合にも活用できる。また、本実施例は、主に情報処理装置群と設備を対象とするが、電力またはエネルギーを消費する装置とそのための設備であれば本実施例を適用でき、例えば電気装置、機械装置、動力装置、熱装置などの運用や制御に対しても用途を発揮し、システム規模として電子部品群と電源または冷却器、情報処理モジュール群と電源ユニットや冷却ユニット、データセンタ群と発電所または立地を含めた冷却環境なども対象として省電力、省エネルギーに貢献し得る。
【図１】
2010050249.tif 000019
【図２】
2010050249.tif 000020
【図３】
2010050249.tif 000021
【図４】
2010050249.tif 000022
【図５】
2010050249.tif 000023
【図６】
2010050249.tif 000024
【図７】
2010050249.tif 000025
【手続補正書】
【提出日】平成22年9月28日(2010.9.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の情報処理装置を備える情報処理システムの運用管理装置であって、
前記複数の情報処理装置で実行される作業負荷毎の処理量の時系列な変化の履歴を前記複数の情報処理装置が備える第１変数をモニタすることで取得し、保存する第１手段と、
前記履歴から前記作業負荷毎の処理量の代表値と散布度とを含む要約統計量を算出する第２手段と、
各情報処理装置に割り当てられる作業負荷の処理量の前記要約統計量に基づく予想値が各情報処理装置毎に予め設定されている閾値範囲に収まるように、前記複数の情報処理装置のうち装置性能に対して電力効率が高い情報処理装置を優先して、前記作業負荷を順に割り当てる第３手段とを備えることを特徴とする情報処理システムの運用管理装置。
【請求項２】
請求項１に記載の情報処理システムの運用管理装置であって、
前記複数の情報処理装置はサーバ装置であり、
前記第１変数はプロセッサ使用率であることを特徴とする情報処理システムの運用管理装置。
【請求項３】
請求項１に記載の情報処理システムの運用管理装置であって、
前記複数の情報処理装置はサーバ装置であり、
前記作業負荷はアプリケーションであることを特徴とする情報処理システムの運用管理装置。
【請求項４】
請求項１に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の代表値は前記作業負荷毎の処理量の移動平均値であることを特徴とする情報処理システムの運用管理装置。
【請求項５】
請求項１に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の散布度は前記作業負荷毎の処理量の標準偏差であることを特徴とする情報処理システムの運用管理装置。
【手続補正書】
【提出日】平成23年2月7日(2011.2.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の情報処理装置を備える情報処理システムの運用管理装置であって、
前記複数の情報処理装置で実行される作業負荷毎の処理量の時系列な変化の履歴を前記複数の情報処理装置が備える第１変数をモニタすることで取得し、保存する第１手段と、
前記履歴から前記作業負荷毎の処理量の代表値と散布度とを含む要約統計量を算出する第２手段と、
各情報処理装置に割り当てられる作業負荷の処理量の前記要約統計量に基づく予想値が各情報処理装置毎に予め設定されている閾値範囲に収まるように、前記複数の情報処理装置のうち装置性能に対して電力効率が高い情報処理装置を優先して、前記作業負荷を順に割り当てる第３手段とを備えることを特徴とする情報処理システムの運用管理装置。
【請求項２】
請求項１に記載の情報処理システムの運用管理装置であって、
前記複数の情報処理装置はサーバ装置であり、
前記第１変数はプロセッサ使用率であることを特徴とする情報処理システムの運用管理装置。
【請求項３】
請求項１に記載の情報処理システムの運用管理装置であって、
前記複数の情報処理装置はサーバ装置であり、
前記作業負荷はアプリケーションであることを特徴とする情報処理システムの運用管理装置。
【請求項４】
請求項１に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の代表値は前記作業負荷毎の処理量の移動平均値であることを特徴とする情報処理システムの運用管理装置。
【請求項５】
請求項１に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の散布度は前記作業負荷毎の処理量の標準偏差であることを特徴とする情報処理システムの運用管理装置。
【請求項６】
請求項１に記載の情報処理システムの運用管理装置であって、
前記第３手段が優先する前記複数の情報処理装置のうち装置性能に対して電力効率が高い情報処理装置は、前記複数の情報処理装置のうちで単位消費電力当りの処理性能が高い情報処理装置であることを特徴とする情報処理システムの運用管理装置。
【請求項７】
請求項６に記載の情報処理システムの運用管理装置であって、
各情報処理装置についての前記単位消費電力は、前記情報処理システムの消費電力の内、各情報処理装置で消費される電力についての単位消費電力であることを特徴とする情報処理システムの運用管理装置。
【請求項８】
請求項６に記載の情報処理システムの運用管理装置であって、
前記情報処理システムは前記複数の情報処理装置に対して冷却を行う設備を備え、
各情報処理装置についての前記単位消費電力は、前記情報処理システムの消費電力の内、各情報処理装置で消費される装置電力と、該装置電力に相当する発熱の冷却に要する前記設備の電力とを含む各情報処理装置に関する消費電力についての単位消費電力であることを特徴とする情報処理システムの運用管理装置。
【請求項９】
請求項８に記載の情報処理システムの運用管理装置であって、
前記冷却設備は空調機を有することを特徴とする情報処理システムの運用管理装置。
【請求項１０】
請求項６に記載の情報処理システムの運用管理装置であって、
前記情報処理システムは前記複数の情報処理装置に対して給電を行う設備を備え、
各情報処理装置についての前記単位消費電力は、前記情報処理システムの消費電力の内、各情報処理装置で消費される装置電力と、該装置電力の供給に要する前記設備の電力とを含む各情報処理装置に関する消費電力についての単位消費電力であることを特徴とする情報処理システムの運用管理装置。
【請求項１１】
請求項６に記載の情報処理システムの運用管理装置であって、
前記情報処理システムは前記複数の情報処理装置に対して給電および冷却を行う設備を備え、
各情報処理装置についての前記単位消費電力は、前記情報処理システムの消費電力の内、各情報処理装置で消費される装置電力と、該装置電力の供給に要する前記設備の電力と、該装置電力に相当する発熱の冷却に要する前記設備の電力とを含む各情報処理装置に関する消費電力についての単位消費電力であることを特徴とする情報処理システムの運用管理装置。
【請求項１２】
請求項１に記載の情報処理システムの運用管理装置であって、
前記予想値は、各情報処理装置に割り当てられる作業負荷の処理量の代表値に各情報処理装置に割り当てられる作業負荷の処理量の散布度の定数倍を加算した値であることを特徴とする情報処理システムの運用管理装置。
【請求項１３】
請求項１２に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の代表値は前記作業負荷毎の処理量の移動平均値であり、
前記作業負荷毎の処理量の散布度は前記作業負荷毎の処理量の標準偏差であり、
前記定数倍の定数は、１乃至３であることを特徴とする情報処理システムの運用管理装置。
【請求項１４】
請求項１に記載の情報処理システムの運用管理装置であって、
前記作業負荷毎の処理量の代表値は前記作業負荷毎の処理量の移動平均値であり、
前記作業負荷毎の処理量の散布度は前記作業負荷毎の処理量の標準偏差であり、
前記複数の情報処理装置の一に複数の作業負荷が割り当てられる場合に、該一の情報処理装置についての前記予想値が、前記複数の作業負荷の処理量の合成移動平均値に前記複数の作業負荷の処理量の合成標準偏差の定数倍を加算した値であることを特徴とする情報処理システムの運用管理装置。
【国際調査報告】
2010050249.tif 000026
2010050249.tif 000027
2010050249.tif 000028
2010050249.tif 000029
2010050249.tif 000030
2010050249.tif 000031