(57)【要約】情報処理装置群と設備装置群から成る情報処理システムの高性能化と省電力化を両立させ、効率的且つ柔軟な運用管理を実現する。複数の情報処理装置と、複数の給電装置と、複数の冷却装置と、を備える情報処理システムの運用管理方法であって、前記複数の情報処理装置は、複数のグループに分類され、前記各グループは、前記各グループに含まれる前記情報処理装置に電力を供給する前記給電装置、及び、前記各グループに含まれる前記情報処理装置を冷却する前記冷却装置を含み、前記情報処理システムの運用管理方法は、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置の性能及び消費電力を示す稼動情報を、前記グループごとに取得する手順と、前記稼動情報に基づいて、前記消費電力に対する前記性能が大きくなるように、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置を制御する手順と、を含む。
2011030469.tif 000002
【特許請求の範囲】
【請求項１】
複数の情報処理装置と、前記複数の情報処理装置に電力を供給する複数の給電装置と、前記複数の情報処理装置を冷却する複数の冷却装置と、を備える情報処理システムの運用管理方法であって、
前記複数の情報処理装置は、複数のネットワーク装置を含み、
前記複数のネットワーク装置以外の前記複数の情報処理装置の各々は、前記各ネットワーク装置に接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を備え、
前記複数のネットワーク装置以外の前記複数の情報処理装置は、管理計算機を含み、
前記管理計算機の前記インターフェースは、前記複数のネットワーク装置を介して前記複数の給電装置及び前記複数の冷却装置と接続され、
前記情報処理システムには、各々が前記複数の情報処理装置の一部を含む複数のグループが定義され、
前記各グループは、前記各グループに含まれる前記情報処理装置に電力を供給する前記給電装置、及び、前記各グループに含まれる前記情報処理装置を冷却する前記冷却装置を含み、
前記管理計算機は、
前記各グループと、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置とを対応付ける構成情報を保持し、
前記情報処理システムの運用管理方法は、
前記管理計算機が、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置の性能及び消費電力を示す稼動情報を、前記グループごとに取得する第１手順と、
前記管理計算機が、前記稼動情報に基づいて、前記消費電力に対する前記性能が大きくなるように、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置を制御する第２手順と、を含むことを特徴とする情報処理システムの運用管理方法。
【請求項２】
請求項１に記載の情報処理システムの運用管理方法であって、
前記複数のグループは、各々が前記複数の情報処理装置の一部を含む複数の第１階層のグループと、前記第１階層の上位の第２階層のグループと、を含み、前記各第２階層のグループが前記第１階層の複数のグループを含むことを特徴とする情報処理システムの運用管理方法。
【請求項３】
請求項２に記載の情報処理システムの運用管理方法であって、
前記複数のネットワーク装置は第１ネットワーク装置及び第２ネットワーク装置を含み、前記複数の給電装置は第１給電装置及び第２給電装置を含み、
前記第１階層の各グループは、前記第１階層の各グループ内の複数の前記情報処理装置に接続される前記第１ネットワーク装置と、前記第１階層の各グループ内の複数の前記情報処理装置に電力を供給する前記第１給電装置と、を含み、
前記第２階層の各グループは、第２ネットワーク装置と、前記第２階層の各グループ内の複数の前記第１給電装置に電力を供給する前記第２給電装置と、を含み、
前記第２階層の各グループに含まれる前記第２ネットワーク装置は、前記第２階層の各グループ内の前記各第１階層のグループに含まれる前記第１ネットワーク装置に接続されることを特徴とする情報処理システムの運用管理方法。
【請求項４】
請求項３に記載の情報処理システムの運用管理方法であって、
前記第２手順は、
前記情報処理装置の消費電力に対する前記情報処理装置の性能が大きくなるように、前記グループごとに、前記情報処理装置への業務の割り当てを制御する第３手順と、
前記情報処理装置の消費電力に対する前記給電装置の電力損失が小さくなり、かつ、前記情報処理装置の消費電力に対する前記前記冷却装置の消費電力が小さくなるように、前記給電装置及び前記冷却装置を制御する第４手順と、を含むことを特徴とする情報処理システムの運用管理方法。
【請求項５】
請求項４に記載の情報処理システムの運用管理方法であって、
前記第３手順は、前記各グループに含まれる複数の前記グループのうち、前記情報処理装置の消費電力と前記給電装置の電力損失と前記冷却装置の消費電力との合計値に対する前記情報処理装置の性能が最も高い前記グループに業務を割り当てる手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項６】
請求項４に記載の情報処理システムの運用管理方法であって、
前記第３手順は、前記情報処理装置への業務の割り当てがあらかじめ定められた条件に違反しないように前記情報処理装置への業務の割り当てを制御する手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項７】
請求項３に記載の情報処理システムの運用管理方法であって、
前記第２手順は、前記稼動情報に基づいて、前記各グループに含まれる前記情報処理装置の消費電力が前記各グループに含まれる前記給電装置の給電能力及び前記各グループに含まれる前記冷却装置の冷却能力を超えないように、前記グループごとに前記情報処理装置を制御する第５手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項８】
請求項７に記載の情報処理システムの運用管理方法であって、
前記第５手順は、前記複数のグループのうち第１グループに含まれる前記情報処理装置の消費電力が前記第１グループに含まれる前記給電装置の給電能力及び前記第１グループに含まれる前記冷却装置の冷却能力の少なくとも一方を超えると判定された場合、前記第１グループに前記給電装置及び前記冷却装置の少なくとも一方を新たに追加する第６手順、前記第１グループに含まれる前記情報処理装置に割り当てられていた業務が前記第１グループ以外のグループに移動するように、前記業務の割り当てを変更する第７手順、前記第１グループに含まれる前記情報処理装置の性能を低下させることによって前記情報処理装置の消費電力を低下させる第８手順、及び、前記前記第１グループに含まれる前記情報処理装置に割り当てられていた業務を削減する第９手順、の少なくとも一つを実行することを特徴とする情報処理システムの運用管理方法。
【請求項９】
請求項８に記載の情報処理システムの運用管理方法であって、
前記第７手順は、前記第１グループを含む最も上位の階層の前記グループからその下位の階層の前記グループを順次探索し、前記第１グループに含まれる前記情報処理装置に割り当てられていた業務を前記探索されたグループに移動できるか否かを判定する手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項１０】
請求項８に記載の情報処理システムの運用管理方法であって、
前記第７手順は、前記第１グループと同位の前記グループを順次探索し、前記第１グループに含まれる前記情報処理装置に割り当てられていた業務を前記探索されたグループに移動できるか否かを判定する手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項１１】
請求項８に記載の情報処理システムの運用管理方法であって、
前記第７手順は、前記第１グループの上位の階層の前記グループを順次遡って探索し、前記第１グループを含む上位の階層の前記グループからその下位の階層の前記グループを順次探索し、前記第１グループに含まれる前記情報処理装置に割り当てられていた業務を前記探索されたグループに移動できるか否かを判定する手順を含むことを特徴とする情報処理システムの運用管理方法。
【請求項１２】
請求項１に記載の情報処理システムの運用管理方法であって、
前記稼動情報は、前記グループへの業務の割り当てを示す情報を含み、
前記第１手順は、前記割り当てられた業務ごとに、前記性能及び前記消費電力を取得する手順を含み、前記第２手順が、前記業務ごとの性能及び消費電力に基いて実行されることを特徴とする情報処理システムの運用管理方法。
【請求項１３】
請求項２に記載の情報処理システムの運用管理方法であって、前記第１階層のグループは、複数の前記情報処理装置を含むラック、複数の前記ラックを含むラック列、複数の前記ラック列を含むフロア内の区画、または複数の前記区画を含むフロアに相当し、
前記第１階層のグループが前記ラックに相当する場合、前記第１ネットワーク装置はＴｏｐ−ｏｆ−Ｒａｃｋネットワーク装置であり、前記第１給電装置は前記ラックに対応するブレーカ、配電ユニットまたは電源ユニットであり、前記第１階層グループ内の前記冷却装置は前記ラック内を冷却する局所冷却装置であり、前記第２階層のグループは前記ラック列または前記区画に相当し、
前記第１階層のグループが前記ラック列に相当する場合、前記第１ネットワーク装置はＥｎｄ／Ｍｉｄｄｌｅ−ｏｆ−Ｒｏｗネットワーク装置であり、前記第１給電装置は前記ラック列に対応する分電盤であり、前記第１階層グループ内の前記冷却装置は前記ラック列を冷却する局所冷却装置であり、前記第２階層のグループは前記区画に相当し、
前記第１階層のグループが前記区画に相当する場合、前記第１ネットワーク装置はＥｎｄ／Ｍｉｄｄｌｅ−ｏｆ−Ｒｏｗネットワーク装置であり、前記第１給電装置は前記区画に対応する配電盤であり、前記第１階層グループ内の前記冷却装置は前記区画を冷却する空調機であり、前記第２階層のグループは前記フロアに相当し、
前記第１階層のグループが前記フロアに相当する場合、前記第１ネットワーク装置は前記情報処理システム外のネットワークに接続されるコアネットワーク装置であり、前記第１給電装置は前記フロアに対応する変圧器または無停電電源であり、前記第１階層グループ内の前記冷却装置は前記空調機が使用する冷媒を冷却する冷凍機であり、前記第２階層のグループは複数の前記フロアを含む建物に相当することを特徴とする情報処理システムの運用管理方法。
【請求項１４】
複数の情報処理装置と、前記複数の情報処理装置に電力を供給する複数の給電装置と、前記複数の情報処理装置を冷却する複数の冷却装置と、を備える情報処理システムであって、
前記複数の情報処理装置は、複数のネットワーク装置を含み、
前記複数のネットワーク装置以外の前記複数の情報処理装置の各々は、前記各ネットワーク装置に接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を備え、
前記複数のネットワーク装置以外の前記複数の情報処理装置は、管理計算機を含み、
前記管理計算機の前記インターフェースは、前記複数のネットワーク装置を介して前記複数の給電装置及び前記複数の冷却装置と接続され、
前記情報処理システムには、各々が前記複数の情報処理装置の一部を含む複数のグループが定義され、
前記各グループは、前記各グループに含まれる前記情報処理装置に電力を供給する前記給電装置、及び、前記各グループに含まれる前記情報処理装置を冷却する前記冷却装置を含み、
前記管理計算機は、
前記各グループと、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置とを対応付ける構成情報を保持し、
前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置の性能及び消費電力を示す稼動情報を、前記グループごとに取得し、
前記稼動情報に基づいて、前記消費電力に対する前記性能が大きくなるように、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置を制御することを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はサーバ、ストレージ及びネットワークなどの情報処理装置群と、それらの給電及び冷却を行なう設備装置群とから成る情報処理システムの運用管理方法に関し、特に情報処理装置群と設備装置群の統合的な省電力且つ効率的な運用管理を実施するに好適な方法に関する。
【背景技術】
【０００２】
米国特許出願公開２００９／０００６８７３号明細書では、コンピュータシステムにおいて、プロセッサまたはゲートアレイなどの電力消費装置の電力または環境温度を多数のセンサによって測定し、これらのデータを制御装置、ノード及びリンクから成る制御ネットワークによってシステム制御コンピュータに収集し、システム制御コンピュータから電力消費装置のアクチュエータへ制御信号を送り、室内の環境的制限すなわち許容電力及び温度条件などを守りつつ性能を最大化するように電力消費装置の電力使用量を制御している。
米国特許出願公開２００７／０２６０４１７号明細書では、データセンタにおいて、サーバラックの温度をラックに取り付けたセンサによって測定し、これらのラック群の温度を空間温度分布コントローラに収集し、或るラックの温度が基準を超えた場合に、温度が基準内であるラックへ仮想マシンを移動し、ラックの温度が基準内に収まるように空調機、局所冷却装置、電源出力及びプロセッサスピードを調節している。
特開２００５−３１２１４２号公報では、データセンタなどにおけるラック機器管理システムとして、サーバ及びディスクアレイなどのラック機器とラック毎の管理制御コンポーネントとを通信リンクで接続し、これらのラック機器群の情報を、コンポーネントを介してマスタ管理制御センタに収集し、電力消費及び熱負荷の管理ポリシーに基いてラック機器の稼働設定及び性能レベルを調節し、空調機及び補助電源などを制御している。
特開２００５−１１５９４１号公報では、建物の消費電力量管理システムが、建物のフロア毎、フロア内の部署ユニット毎、情報機器、空調機器、照明機器などの種類毎の電力量を配電盤の電力計によって測定し、これらの情報を集中監視装置に収集してグラフで表示し、電力量が閾値を超えた場合には管理者へ警告を通知している。
【発明の開示】
【０００３】
クラウドコンピューティングの発展に伴い、それをバックエンドで支える情報処理インフラストラクチャとしてデータセンタ事業が急速に拡大している。クラウドサービスの高度化及び多様化に向けてデータセンタの情報処理性能の大幅な向上が求められている一方、地球温暖化防止に向けて消費電力を大幅に削減する必要に迫られており、相反する高性能化と省電力化の両立がデータセンタの重要な課題となっている。
データセンタを成す情報処理システムは、サーバ、ストレージ及びネットワークなどの情報処理装置群と、それらへ給電する変圧器、無停電電源装置、配電盤及び分電器などの給電設備装置群と、それらを冷却する冷凍機、空調機、局所冷却装置及び給排気口などの冷却設備装置群から構成されている。高性能化と省電力化の両立に向けた取り組みとして、例えば、情報処理装置群では業務負荷に応じた動作ステート切替または業務負荷の仮想化集約による消費電力当たり処理性能の向上、給電設備装置群では情報処理装置群の電力負荷に応じた電源切替による変換効率の向上、冷却設備装置群では情報処理装置群の発熱負荷に応じた運転条件設定による成績係数の向上などが図られている。
従来、これらの取り組みは情報処理装置群と設備装置群それぞれで自立的に行なわれているが、サービスの高度化に伴って多様な情報処理装置群とそれらを支える多様な設備装置群がデータセンタ内に混在し、両者の運用管理が益々複雑化する傾向にある。そこで、将来へ向けて、高度且つ多様なサービスに対する柔軟性と適応性を兼ね備えた情報処理リソースプールを構成し、高性能化と省電力化を両立させる運用管理を実現するため、情報処理装置群と設備装置群の両者を連携させる総合的な情報処理システムのアーキテクチャと運用管理方法が求められている。
一般に設備装置群は情報処理装置群の最大定格電力に基いて設計されているが、実際の運用時の給電損失及び冷却電力は情報処理装置群の消費電力分布とその時間変動に大きく依存している。例えば、電源の変換効率は電力負荷に依存するため、情報処理装置群の消費電力及び給電系統などによって電源損失が異なる。また、空調機の成績係数は発熱負荷に依存するため、情報処理装置群の発熱分布、空調機と情報処理装置群の位置関係、気流、温度、熱容量及び熱時定数などによって空調電力が影響を受ける。データセンタでは情報処理装置群の消費電力に加え、その給電及び冷却を行なう設備装置群の電力も大きな割合を占めているため、両者を合わせたデータセンタ全体の省電力化を進めるためには、情報処理装置群の電力分布及び時間変動を十分考慮し、両者を連携させる効率的な運用管理が必要である。
以上から、情報処理システムの柔軟性及び運用効率を向上するには、情報処理装置群と設備装置群のアーキテクチャを簡素且つスケーラブルな構成とし、更に両者の運用管理系統を適合させて連携した運用管理を行なうことが望ましい。その兆しとして、情報処理装置群と設備装置群を区画単位で構築するモジュラー型データセンタ、及び、サーバとネットワークを対象としてラック内のサーバをラック毎のスイッチにより集約するＴｏｐ−ｏｆ−Ｒａｃｋネットワークアーキテクチャが広まりつつある。従来、情報処理システムまたは建物の電力及び温度に関する運用管理方法として幾つかの公知例が知られている。しかし、それらの公知例は、上述した高性能化と省電力化、情報処理装置群と設備装置群の連携という総合的な観点においては局面的な対策に留まっており、例えばモジュラー間の連携、モジュラーとモジュラー外部との連携、及び、ネットワーク系統と設備系統との関係性には考慮が十分に及んでいない。
代表的な公知例として、米国特許出願公開２００９／０００６８７３号明細書では、コンピュータシステムを構成する電力消費装置群の電力使用量を、制御ネットワークを介してシステム制御コンピュータが制御している。しかし、情報処理ネットワークと制御ネットワークとの関係性、及び、室内環境を提供する給電設備装置群及び冷却設備装置群の制御に関してはいずれも記載されていない。また、個々の電力消費装置がアクチュエータによって制御されているが、電力消費装置群として消費電力当たりのシステム処理性能を向上する具体的な方法は考慮されていない。
米国特許出願公開２００７／０２６０４１７号明細書では、データセンタにおけるサーバラック群の温度をラック毎のセンサが監視し、空間温度分布コントローラが仮想マシン、プロセッサスピード、空調機、局所冷却装置及び電源などを制御している。コントローラと仮想マシン、プロセッサスピード、局所冷却装置、電源との間の運用管理系統は整合されているが、データセンタのフロア全体に亘って設備装置群の配置を考慮して仮想マシンの移動先を順位付けて選定する方法、フロアにおけるラック群の温度分布及び電力分布を考慮して総合的に省電力化するように空調機群及びラック群の局所冷却装置の運転条件を設定する方法は具体的に記載されていない。
特開２００５−３１２１４２号公報では、ラック群の電力及び熱負荷をラック毎の管理制御コンポーネントが監視し、マスタ管理制御センタが管理ポリシーに基いてラック機器の稼働設定及び性能レベル、空調機及び補助電源などを制御している。ラック群のコンポーネントとセンタとの間で、ラック機器の業務アプリケーションと電力消費または熱負荷との運用管理系統は一致しているが、ラック群全体に亘って空調機の配置を考慮して業務負荷配置または稼働設定を順位付けて行なう方法、ラック群の電力分布及び熱負荷分布を考慮して総合的に省電力化するように空調機及び補助電源を制御する方法については検討されていない。
特開２００５−１１５９４１号公報では、建物のフロア毎、部署ユニット毎、及び機器種類毎の電力量を、配電盤の電力計を用いて監視し、集中監視装置がグラフ表示及び警告通知を行なっている。配電盤のブレーカ単位で電力量を計測するため、ブレーカの先に在る機器単位の電力量は推測するしかなく、機器群の構成変更には対応できない問題がある。また、警告に対する情報機器及び空調機器の具体的な制御方法については記載されていない。
以上述べたように、従来技術では、多様な情報処理装置群に対する総合的な業務運用、多様な設備装置群に対する総合的な運転制御、及び、情報処理装置群と設備装置群の相互連携に関しては考慮されていない。また、データセンタまたはフロア全体が一括して管理されるが、多様な装置群が混在する環境において一括最適化を行なうことは効率的ではないという問題がある。そこで、本発明の目的の一つは、モジュラー型データセンタまたはＴｏｐ−ｏｆ−Ｒａｃｋネットワークのような柔軟且つスケーラブルなアーキテクチャが適用された情報処理装置群と設備装置群双方の運用管理系統の適合と連携を考慮することによって、データセンタ全体の運用効率を向上させて高性能化と省電力化を両立することにある。概して言えば、設備装置群の配置系統を考慮した情報処理装置群への業務負荷割当てと、情報処理装置群の電力分布変動を考慮した設備装置群の制御を、スケーラブルな構成単位毎に部分最適化することによって、高度且つ多様なサービスに対する柔軟性を備えつつ運用効率を向上する運用管理方法を提供する。
本発明の代表的な実施の形態は、複数の情報処理装置と、前記複数の情報処理装置に電力を供給する複数の給電装置と、前記複数の情報処理装置を冷却する複数の冷却装置と、を備える情報処理システムの運用管理方法であって、前記複数の情報処理装置は、複数のネットワーク装置を含み、前記複数のネットワーク装置以外の前記複数の情報処理装置の各々は、前記各ネットワーク装置に接続されるインターフェースと、前記インターフェースに接続されるプロセッサと、前記プロセッサに接続されるメモリと、を備え、前記複数のネットワーク装置以外の前記複数の情報処理装置は、管理計算機を含み、前記管理計算機の前記インターフェースは、前記複数のネットワーク装置を介して前記複数の給電装置及び前記複数の冷却装置と接続され、前記情報処理システムには、各々が前記複数の情報処理装置の一部を含む複数のグループが定義され、前記各グループは、前記各グループに含まれる前記情報処理装置に電力を供給する前記給電装置、及び、前記各グループに含まれる前記情報処理装置を冷却する前記冷却装置を含み、前記管理計算機は、前記各グループと、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置とを対応付ける構成情報を保持し、前記情報処理システムの運用管理方法は、前記管理計算機が、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置の性能及び消費電力を示す稼動情報を、前記グループごとに取得する第１手順と、前記管理計算機が、前記稼動情報に基づいて、前記消費電力に対する前記性能が大きくなるように、前記各グループに含まれる前記情報処理装置、前記給電装置及び前記冷却装置を制御する第２手順と、を含むことを特徴とする。
本発明によって得られる効果を簡潔に説明すれば、例えばデータセンタのような情報処理システムにおいて、情報処理装置群と設備装置群の運用管理を連携させ階層的に最適化することによって、スケーラブルな柔軟性を備えつつ高性能化と省電力化を両立し、運用効率を向上できる。
【図面の簡単な説明】
【０００４】
第１図は、本発明の第１の実施形態の情報処理システムの運用管理方法を説明するシステム構成図である。
第２図Ａ及び第２図Ｂは、本発明の第１の実施形態の第１の具体例を説明するシステム構成図である。
第３図は、本発明の第１の実施形態の第１の具体例の運用管理階層図である。
第４図は、本発明の第１の実施形態の第１の具体例の運用管理系統図である。
第５図は、本発明の第１の実施形態の第２の具体例を説明するレイアウト図である。
第６図は、本発明の第１の実施形態の第３の具体例を説明するシステム構成図である。
第７図Ａ及び第７図Ｂは、本発明の第１の実施形態の情報処理システムの運用管理方法を説明する詳細なシステム構成図である。
第８図は、本発明の第１の実施形態の情報処理システムが保持する構成情報テーブルの説明図である。
第９図Ａは、本発明の第１の実施形態の情報処理システムが保持する情報処理装置群の階層グループ稼働情報テーブルの説明図である。
第９図Ｂは、本発明の第１の実施形態の情報処理システムが保持するネットワーク装置群の階層グループ稼働情報テーブルの説明図である。
第９図Ｃは、本発明の第１の実施形態の情報処理システムが保持する給電設備装置群の階層グループ稼働情報テーブルの説明図である。
第９図Ｄは、本発明の第１の実施形態の情報処理システムが保持する冷却設備装置群の階層グループ稼働情報テーブルの説明図である。
第１０図は、本発明の第１の実施形態において通常のイベントに対して実行される主要な制御手順の一例を示すフローチャートである。
第１１図は、本発明の第１の実施形態において制約条件違反に対して実行される制御手順の一例を示すフローチャートである。
第１２図は、本発明の第１の実施形態において業務負荷割当て最適化のために実行される制御手順の一例を示すフローチャートである。
第１３図は、本発明の第１の実施形態の情報処理システムの運用管理方法を説明する階層グループ構成図である。
第１４図Ａから第１４図Ｄは、本発明の第１の実施形態の情報処理システムの運用管理方法を説明するグラフィカルユーザインターフェース画面である。
第１５図は、本発明の第２の実施の形態の情報処理システムの運用管理方法を説明するシステム構成図である。
第１６図は、本発明の第３の実施の形態の情報処理システムの運用管理方法を説明するシステム構成図である。
【発明を実施するための最良の形態】
【０００５】
（第１の実施形態）
第１図は、本発明の第１の実施形態の情報処理システムの運用管理方法を説明するシステム構成図である。
情報処理システム１０は、情報処理装置群３０〜３３、これらに対して給電及び冷却を行なう設備装置群４０〜４３及び運用管理装置５０から成る。運用管理装置５０は、情報処理装置群３０〜３３及び設備装置群４０〜４３に接続されるインターフェース５１、インターフェース５１に接続されるプロセッサ５２、及び、プロセッサ５２に接続されるメモリ５３を備えるサーバ（計算機）である。
運用管理装置５０は、さらに、階層グループ構成情報５６及び階層グループ稼動情報５９を保持する。これらは、運用管理装置５０内のストレージ装置、例えば磁気ディスク装置（図示省略）に格納されてもよい。階層グループ構成情報５６は、階層グループ２０〜２３の構成を示す情報、具体的には、情報処理装置群３０〜３３及び設備装置群４０〜４３の位置情報５７、及び、ネットワーク情報５８を含む。階層グループ構成情報５６及び階層グループ稼動情報５９の詳細については、第８図及び第９図Ａ〜第９図Ｄを参照して後述する。
運用管理装置５０は、メモリ５３に格納された稼働情報収集プログラム５４をプロセッサ５２が実行することによって、階層グループ２０〜２３毎の稼働情報５９を収集し、メモリ５３に格納された階層グループ制御プログラム５５をプロセッサ５２が実行することによって、構成情報５６及び稼働情報５９に基いて、階層グループ２０〜２３に属する情報処理装置群３０〜３３及び設備装置群４０〜４３を制御する。
ここで、階層及び階層グループについて説明する。本実施形態では、情報処理システムを構成する装置が属する複数の階層が定義される。情報処理システムを構成する装置は、大まかには、情報処理装置または設備装置のいずれかに分類される。例えば、サーバ、ストレージ装置及びネットワーク装置（ルータ及びスイッチ）等が情報処理装置に分類される。第１図の情報処理装置群３０〜３３の各々は、これらの情報処理装置を含む。設備装置は、さらに、給電系統の装置（以下、給電設備装置または給電装置とも記載する）または冷却系統の装置（以下、冷却設備装置または冷却装置とも記載する）のいずれかに分類される。例えば、変圧器、無停電電源、配電盤、分電盤、配電ユニット及びブレーカ等が給電系統の装置に分類され、冷凍機、冷却塔、空調機及び冷却ドア等が冷却系統の装置に分類される。
本実施形態において、情報処理システム１０の外部のネットワーク（図示省略）に近い情報処理装置ほど上位の階層に属する。例えば、外部のネットワークにコアルータが接続され、コアルータにスイッチが接続され、スイッチにサーバが接続される場合、コアルータが最上位の階層に、スイッチがその下の階層に、サーバがそのさらに下の階層に属する。
給電系統の装置に関しては、電力の供給源に近い装置ほど上位の階層に属する。例えば、無停電電源からの電力が分電盤及びブレーカを順次経由してサーバに供給される場合、無停電電源が最上位の階層に、分電盤がその下の階層に、ブレーカがそのさらに下の階層に属する。
冷却系等の装置に関しては、冷媒または冷気の供給源に近い装置ほど上位の階層に属する。あるいは、冷却する範囲が広い装置ほど上位の階層に属してもよい。例えば、冷凍機によって生成された冷媒を用いて、フロアに設置された空調機が、フロア内の一区画を冷却する場合、冷凍機が最上位の階層に、フロアに設置された空調機がその下の階層に属する。さらに、例えば、その区画に配置された複数のサーバラックのうち特定の一つ（または少数）を冷却する小型の空調機（例えばラック型空調機）が配置される場合、そのラック型空調機は、フロアに設置された空調機が属する階層の下の階層に属する。
さらに、本実施形態では、各階層において、複数の装置を含む階層グループが定義される。システム管理者は、任意の階層グループを定義することができる。本実施形態では、例えば、一つのスイッチに接続される複数のサーバ等を含む下位の階層グループが定義され、さらに、一つのコアルータに接続される複数のスイッチと、それらのスイッチに接続された複数の下位の階層グループを含む上位の階層グループが定義される。
さらに、本実施形態では、一つの階層グループに属する情報処理装置に電力を供給する給電系統の装置が、その階層グループに属する。例えば、上記の下位の階層グループ（例えば第３図のラック）に属する情報処理装置に電力を供給するブレーカは、上記の下位の階層グループに属する。さらに、上記の上位の階層グループ（例えば第３図のラック列）に属する情報処理装置に電力を供給する分電盤は、上記の上位の階層グループに属する。
さらに、本実施形態では、一つの階層グループに属する情報処理装置を冷却する冷却系統の装置が、その階層グループに属する。例えば、上記の下位の階層（例えば第３図のラック列）に属する情報処理装置を冷却するラック型空調機は、上記の下位の階層に属する。さらに、上記の上位の階層（例えば第３図の区画）に属する情報処理装置を冷却するフロアに設置された空調機は、上記の上位の階層に属する。
このように階層グループを定義することによって、各階層グループ内の装置を制御することによる影響の及ぶ範囲が明確になる。特に、例えば、ある階層グループに属する給電系統の装置が、その階層グループに属しない情報処理装置に電力を供給しないように情報処理システムを構成し、さらに、ある階層グループに属する冷却系等の装置が、その階層グループに属しない情報処理装置を冷却しないように（あるいは、その階層グループに属しない情報処理装置への影響が十分に小さくなるように）情報処理システムを構成することによって、各階層グループ内の装置を制御することによる影響の及ぶ範囲が各階層グループ内に限定される。このため、各階層グループを独立に制御することができる。例えば、ある階層グループに属する給電系統の装置を制御した場合、その制御の影響は、その階層グループ内の情報処理装置（その階層グループに含まれる、下位の階層グループ内の情報処理装置を含む）には及ぶが、その他の階層グループ内の情報処理装置には及ばない。これによって、後述する階層グループ毎の最適化が容易になる。
第１の実施の形態の運用管理方法では、運用管理装置５０は、稼働情報収集プログラム５４を用いて情報処理装置群３０〜３３及び設備装置群４０〜４３と通信し、階層グループ構成情報５６に基いて上位から下位の階層グループ２０〜２３毎に稼働情報５９を集約することによって、階層的に情報処理装置群３０〜３３及び設備装置群４０〜４３の最適化制御を行なう。例えば、運用管理装置５０は、階層グループ単位で、情報処理装置群の消費電力と設備装置群の給電損失及び冷却電力とを合わせた総電力を最小化する情報処理装置群の業務負荷割当て、情報処理装置群の消費電力に対する設備装置群の給電能力及び冷却能力の制御、給電能力及び冷却能力に対する情報処理装置群の業務負荷及び処理性能の制御などを最適化する。この階層制御によって全体一括最適化に比べて収束性良く最適化でき、情報処理装置または設備装置の増設または移設に対しても柔軟に適応できる。運用管理装置５０は、基本的には各階層グループを独立に制御するが、それによって十分な最適化ができない場合には他の階層グループを連携させて制御する。上記の最適化制御の手順については、第１０図〜第１２図を参照して後述する。
階層グループ２０〜２３の構成情報５６は、階層グループ２０〜２３に対する情報処理装置群３０〜３３と設備装置群４０〜４３の属性データを含み、位置情報５７及びネットワーク情報５８に基く情報処理装置群３０〜３３と設備装置群４０〜４３の相互関係性、及び、階層グループ２０〜２３間の階層関係を示す。例えば、第１図に示すように、情報処理装置群３０及び設備装置群４０は最上位の階層グループ２０に属する。一方、情報処理装置群３３及び設備装置群４３は、階層グループ２３に属し、さらに上位の階層グループ２０〜２２にも属する。第１図には簡略に示すが、例えば階層グループ２０は階層グループ２１と同位の複数のグループと情報処理装置群３０と設備装置群４０から成る。上位の階層グループが下位の階層グループを包含するため、下位から上位へ稼働情報を集約することによって上下の階層グループ間で連携した制御を行なうことができる。
位置情報５７は、情報処理装置群３０〜３３及び設備装置群４０〜４３の位置座標または位置を同定する識別データを含み、望ましくは位置階層に対応付けられた識別データを含む。ここで、位置階層とは、装置が配置される位置の階層である。例えば最上位の位置階層がデータセンタの建物、その下の位置階層が建物内のフロア、さらにその下の位置階層がフロア内の区画に対応付けられてもよい。各位置階層は、各階層グループが属する各階層と対応付けられる。ネットワーク情報５８は、情報処理装置群３０〜３３の情報処理ネットワーク系統、設備装置群４０〜４３の給電系統、冷却系統及び制御ネットワーク系統の構成データを含む。例えば、或る給電設備装置へつながる情報処理装置群は限定され、或る冷却設備装置が冷却できる空間領域は限定されるため、位置情報５７及びネットワーク情報５９によって互いに関係する情報処理装置群３０〜３３と設備装置群４０〜４３とを対応付けることができる。この対応関係と情報処理装置群３０〜３３と設備装置群４０〜４３の系統構成データとを照合することによって、情報処理装置群と設備装置群の両者を対応付けた階層グループを構成することができる。
稼働情報収集プログラム５４によって収集される稼働情報５９は、情報処理装置群３０〜３３に関しては業務負荷と動作環境を示すデータを含む。例えば、稼働情報５９は、動作性能、動作／休止ステート、リソース使用量、消費電力、電源状態、冷却ファン状態、動作温度、ジョブまたは仮想マシンの割当て及び障害通知などを含む。設備装置群４０〜４３に関しては、稼働情報５９は負荷と動作環境を示すデータを含む。例えば、給電設備装置に関する稼動情報５９は、電力負荷、変換効率または損失、力率、及び通電状態などを含み、冷却設備装置に関する稼動情報５９は、熱負荷、成績係数または自身の消費電力、温度、湿度、流量、流向、通電状態、及び故障通知などを含む。階層グループ２０〜２３毎に、情報処理装置群３０〜３３の消費電力と設備装置群４０〜４３の給電能力または冷却能力との均衡、及び、情報処理装置群３０〜３３と設備装置群４０〜４３を合わせた消費電力に対する情報処理装置群３０〜３３の処理性能を把握することによって、契機又は必要に応じて階層グループ２０〜２３を特定して制御プログラム５５へ通知することができる。
制御プログラム５５は、階層グループ２０〜２３毎に情報処理装置群３０〜３３の業務負荷割当て、稼働条件、及び設備装置群４０〜４３の稼働条件を制御する。実行契機としては、例えば、階層グループの構成変更、制約条件違反、ジョブスケジュール、障害予兆、メンテナンス、故障などがある。情報処理装置群３０〜３３に関しては、例えばジョブスケジューラまたはロードバランサによるジョブ割当て、仮想化環境では物理リソースへの仮想リソースの割当てまたはマイグレーション、リソース使用量または上限電力設定に応じた動作／休止ステート切替、電源オンオフなどが行なわれる。設備装置群４０〜４３に関しては、例えば給電設備装置では給電系統の切替、電源ユニット台数、補助電源などが制御され、冷却設備装置では空調機の給気／還気温度や風量、給気／排気口のダンパー、液冷の冷媒温度と流量、運転台数などが制御される。これによって、情報処理装置群３０〜３３の処理性能を発揮しつつ、情報処理装置群３０〜３３と設備装置群４０〜４３を合わせた情報処理システム１０の総電力を削減できる。
第１の実施形態の情報処理システム１０の運用管理方法によれば、情報処理装置群３０〜３３とそれらに対応する設備装置群４０〜４３とを含む階層グループ２０〜２３を構成し、両者を連携させて階層的に最適化制御を行なうことによって、全体一括最適化に比べてシステムの運用効率及び柔軟性を向上すると共に、情報処理システム１０の総電力当たりの処理性能を向上して高性能化と省電力化を両立できる効果がある。また、所望の契機、スケジュール、業務負荷の投入または終了、装置群の変更または障害などに応じて、対応する階層グループの更新制御を行なうことによって、効率的な運用管理を実現できる。
情報処理システム１０としてデータセンタやコンピュータルームが代表的であるが、産業設備、商業設備、通信設備、交通機関などの業務運用システムにも本実施形態を応用できる。また、既設システムの定常の運用管理だけでなく、システムの新設、増設、移設、改修または保守などの際の設計／診断ツールとしても有用である。複数の施設または場所にまたがるシステムであっても階層グループを構成して遠隔管理を行なえば本実施形態を適用できる。
情報処理装置群３０〜３３はサーバ装置、ストレージ装置及びネットワーク装置などを含む。サーバ装置は、例えば、汎用サーバ、専用サーバ、メインフレーム、並列コンピュータ、スーパーコンピュータ、組込みコンピュータまたはパーソナルコンピュータなどである。第１図では省略されているが、各サーバ装置は、運用管理装置５０と同様のハードウェアを備えてもよい。例えば、各サーバ装置は、インターフェース５１と同様にネットワークに接続されるインターフェース（図示省略）、プロセッサ５２と同様にインターフェースに接続されるプロセッサ（ＣＰＵ）（図示省略）、メモリ５３と同様にプロセッサに接続されるメモリ（図示省略）を備えてもよい。
ストレージ装置は、例えば、磁気ディスク装置、固体ディスク装置、光ディスク装置またはテープ装置などである。第１図では省略されているが、各ストレージ装置は、ネットワークに接続されるインターフェース（図示省略）、インターフェースに接続されるプロセッサ（いわゆるコントローラ）（図示省略）、プロセッサに接続されるメモリ（図示省略）及びプロセッサに接続される磁気ディスク装置（図示省略）等を備えてもよい。
ネットワーク装置は、例えば、ルータ、スイッチまたはハブなどである。さらに周辺装置としてプリンタ、複写機、モデム、ディスプレイなどが含まれてもよい。
また、本実施形態は動作／待機／休止／停止ステートのデマンドベーススイッチング（ＤＢＳ）機能、いわゆる省電力モードを有する装置にも適用できる。例えばサーバではＤＢＳ、ストレージではＭＡＩＤ（Ｍａｓｓｉｖｅ  Ａｒｒａｙ  ｏｆ  Ｉｎａｃｔｉｖｅ  Ｄｉｓｋｓ）、ネットワークではポート電源制御などが該当する。ハードウェア形態はブレード型、ラックマウント型、タワー型、専用筺体型に限らず、どのような形態のハードウェアにも本実施形態を多様に適用できる。
情報処理装置群３０〜３３の業務負荷とは、サーバ装置ならアプリケーション、ストレージ装置ならアクセスデータ、ネットワーク装置なら転送データなどを指す。業務負荷データには、サーバ装置なら性能、リソース使用率、動作／休止ステートなど、ストレージ装置なら起動ディスク数、アクセス頻度など、ネットワーク装置なら転送パケット数、スイッチ頻度などがある。また、業務負荷のタイプとして、固定／浮動小数点演算、トランザクション処理、データベース処理、技術計算、データの形式や粒度、保証帯域などがある。運用管理装置５０は、これらのタイプを区別して情報処理装置群３０〜３３を制御してもよい。
設備装置群４０〜４３の給電設備装置には、変圧器、無停電電源装置、配電盤、分電器、情報処理装置が搭載されるラックの電源などがあり、電力センサ、電流／電圧センサ、漏電センサなども含まれ、場合によって給電源の発電所、送電設備、変電設備、給電先の情報処理装置の内蔵電源も制御の対象になる。冷却設備装置には空調機、冷凍機、冷却塔、給排気口、ファン、ダクト、冷媒配管などがあり、室内外に配置される温度センサ、湿度センサ、流量／流向センサなども含まれ、場合によって液冷装置、ラック列やラック前面／背面の局所冷却装置、情報処理装置の内蔵冷却装置も制御の対象になる。
運用管理装置５０として、情報処理装置群３０〜３３と設備装置群４０〜４３の両方を管理する共通マネージャサーバが設けられてもよいし、両者のそれぞれを管理する複数のマネージャサーバが設けられ、それらが連携して装置群を管理してもよい。あるいは、マネージャ機能を情報処理装置群３０〜３３の一部に担わせてもよい。本発明による運用管理方法は、ミドルウェア、アプリケーション、組込み制御ソフトウェアまたはファームウェアなどのソフトウェアとして実装することもでき、例えば最適化制御を行なうエンジンをハードウェアとして実装することもできる。マネージャが情報処理装置群３０〜３３と設備装置群４０〜４３の稼動情報を取得するため、各装置にエージェント、サービスプロセッサ、インターフェースなどを設けてもよいが、装置群自身が自律分散システムを構築してもよい。なお、本発明における情報処理システムの運用効率向上及び省電力化の効果は、情報処理装置群と設備装置群から成る階層グループ毎に稼働情報に基いて制御することによって発揮されるのであって、第１図に示すシステム構成及び制御手順のみによって限定されない。
次に、第１の実施形態を実現する情報処理システムの具体例を説明する。
第２図Ａ及び第２図Ｂは、本発明の第１の実施形態の第１の具体例を説明するシステム構成図である。
第３図は、本発明の第１の実施形態の第１の具体例の運用管理階層図である。
第４図は、本発明の第１の実施形態の第１の具体例の運用管理系統図である。
第２図Ａ及び第２図Ｂに示す情報処理システムは、データセンタ１００とそれを制御する運用管理装置１６０から成る。階層グループは位置階層に対応付けて構成される。第２図Ｂの例では、上位から順に列挙すると、建物１００の第１階層、フロア１１０及び１１１の第２階層、区画１２１及び１２２の第３階層、ラック列１３１及び１３２の第４階層、ラック１４１及び１４２の第５階層、ラック内１５６の情報処理装置１５１及び１５２の第６階層が構成される。
情報処理装置群１５１及び１５２をつなぐネットワークは、位置階層に対応付けられる階層ルーティングを構成し、上位のコアルータ１２０から区画スイッチ１３０、ラック列スイッチ１４０、ラックスイッチ１５０を経て情報処理装置１５１及び１５２へ接続される。コアルータ１２０は、フロア１１０内部（第３階層）に配置されるが、フロア１１０と外部を接続し、区画１２１及び１２２を集約するため、一つ上位の第２階層に対応付けられる。同様に、区画１２１内部に配置されてラック列１３１及び１３２を集約する区画スイッチ１３０は第３階層に、ラック列１３１内部に配置されてラック１４１及び１４２を集約するラック列スイッチ１４０は第４階層に、ラック１４１内部に配置されて情報処理装置１５１及び１５２を集約するラックスイッチ１５０は第５階層に対応付けられる。情報処理装置１５１、１５２が例えばブレードサーバのように内蔵スイッチ１５７を備える場合（第３図参照）、内蔵スイッチ１５７は第６階層に対応付けられる。
情報処理装置群１５１及び１５２へ給電する給電設備装置群は、位置階層に対応付けられる階層給電系統を構成し、上位の変圧器及び無停電電源１２３から配電盤１３３、分電盤１４３、ブレーカ１５３及びラック１４１の配電ユニット１５４を経て情報処理装置１５１及び１５２へ給電する。変圧器及び無停電電源１２３はフロア１１０内部（第３階層）または他のフロアに配置されてよいが、区画１２１及び１２２への給電を担うため一つ上の第２階層に対応付けられる。同様に、配電盤１３３は区画１２１内部に配置されてラック列１３１及び１３２への給電を担うため第３階層に対応付けられる。分電盤１４３は配電盤１３３の子分岐として配電盤１３３内部またはラック列１３１及び１３２内部に配置されてラック１４１及び１４２への給電を担うため第４階層に対応付けられる。ブレーカ１５３は分電盤１４３内部に配置されて配電ユニット１５４へつながり、配電ユニット１５４はラック１４１内部に配置されて情報処理装置１５１及び１５２への給電を担うため、ブレーカ１５３及び配電ユニット１５４は第５階層に対応付けられる。情報処理装置１５１及び１５２が例えば内蔵電源１５８を備える場合（第３図参照）、内蔵電源１５８は第６階層に対応付けられる。
情報処理装置群１５１及び１５２を冷却する冷却設備装置群は、位置階層に対応付けられる階層冷却系統を構成し、上位の冷凍機及び冷却塔１２４から空調機１３４、ラック型空調機１４４、ラック１４１の冷却リアドア１５５を介して情報処理装置１５１及び１５２を冷却する。冷凍機及び冷却塔１２４はフロア１１０内部（第３階層）または他のフロアに配置されてよいが、区画１２１及び１２２の冷却を担うため一つ上の第二階層に対応付けられる。同様に、空調機１３４は区画１２１内部に配置されてラック列１３１及び１３２の冷却を担うため第３階層に対応付けられる。ラック型空調機１４４はラック列１３１内部に配置されてラック１４１及び１４２の冷却を担うため第４階層に対応付けられる。冷却リアドア１５５はラック１４１に取り付けられ情報処理装置１５１及び１５２の冷却を担うため第５階層に対応付けられる。情報処理装置１５１及び１５２が例えば内蔵冷却ファン１５９を備える場合（第３図参照）、内蔵冷却ファン１５９は第６階層に対応付けられる。
こうして、第４図に示すように、情報処理装置群１５１、１５２、ネットワーク１２０、１３０、１４０及び１５０から成る情報処理ネットワーク系統と、給電設備装置群１２３、１３３、１４３、１５３及び１５４から成る給電系統と、冷却設備装置群１２４、１３４、１４４及び１５５から成る冷却系統とを整合させ、運用管理装置１６０から第６階層グループの情報処理装置１５１及び１５２に至る制御系統を統合する。これによって、階層グループ毎に情報処理装置群と設備装置群を対応付けて制御し、上位と下位の階層グループ間を連携させて階層制御することによって、効率的な統合運用管理を実現する。
なお、本実施形態では、第３図に示すように、最上位の階層を第１階層、その下の階層を第２階層と記載しているが、このような階層の番号付けは一例に過ぎない。例えば、最下位の階層を第１階層、その上の階層を第２階層と記載してもよい。
ここで、第１図の階層グループ２０〜２３と第２図Ｂとの関係を説明する。第２図Ａ〜第４図に示す情報処理システムは、第１図に示す情報処理システム１０の具体例の一つである。例えば、第２図Ｂに示す情報処理装置１５１及び１５２が情報処理装置群３３に相当し、ブレーカ１５３、配電ユニット１５４及び冷却リアドア１５５が設備装置群４３に相当してもよい。その場合、ラック１４１が階層グループ２３に相当する。さらに、ラック１４１内のラックスイッチ１５０及びラック１４２内のラックスイッチ（図示省略）が情報処理装置群３２に相当し、分電盤１４３及びラック型空調機１４４が設備装置群４２に相当してもよい。その場合、ラック列１３１が階層グループ２２に相当する。さらに、ラック列１３１内のラック列スイッチ１４０及びラック列１３２内のラック列スイッチ（図示省略）が情報処理装置群３１に相当し、配電盤１３３及び空調機１３４が設備装置群４１に相当してもよい。その場合、区画１２１が階層グループ２１に相当する。
なお、第１図に示した階層の数と第２図Ｂに示した階層の数とは異なっている。これは、それぞれの図において、説明のために必要な構成のみを示し、その他の部分を省略したためである。実際には、情報処理システム内に任意の数の階層を設定することができる。例えば、第１図において、階層グループ２０より上位の階層に属する階層グループがさらに設定され、それが第２図Ｂのデータセンタ１００に相当してもよい。
運用管理装置１６０は、階層グループ構成情報１６４を保持し、階層グループ毎の稼働情報１６５を収集する。階層グループ構成情報１６４は、第３図及び第４図に示す階層グループの構成を定義する情報を含む。運用管理装置１６０は、階層グループ構成情報１６４及び階層グループ毎の稼働情報１６５に基いて階層グループ毎に情報処理装置群１５１、１５２、１２０、１３０、１４０、１５０及び１５７の業務負荷制御１６１または稼働制御１６２、並びに、設備装置群１２３、１３３、１４３、１５３、１５４、１５８、１２４、１３４、１４４、１５５及び１５９の稼働制御１６３を実行する。階層グループ内での情報処理装置群と設備装置群との対応関係、及び、上下の階層グループ間の対応関係が明確であるため、階層グループ毎に集約した稼働情報１６５から制御すべき情報処理装置群と設備装置群を特定して効率良く最適化できる。
例えば、第３階層の区画１２１において、運用管理装置１６０は、この階層グループに属する情報処理装置群１５１、１５２、１３０、１４０及び１５０の業務負荷及び稼働情報１６５を集約して監視し、さらに、その階層グループに属する設備装置群に含まれる配電盤１３３及び空調機１３４の稼働情報１６５を監視する。情報処理装置群の業務負荷制御１６１は、区画１２１に属するラック列１３１及び１３２のうち、情報処理装置群の消費電力と設備装置群の給電損失と冷却電力とを合わせた合計電力に対して情報処理性能が高いラック列に優先して業務負荷を割り当てる。このような業務負荷の割り当ては、業務負荷制御１６１がジョブスケジューラ（図示省略）またはロードバランサ（図示省略）によるジョブ割当てを制御することによって実現されてもよいし、仮想化環境では、運用管理装置１６０が仮想マシン管理ソフトウェア（図示省略）による物理リソースへの仮想リソースの割当てまたはマイグレーションを制御することによって実現されてもよい。さらに、稼働制御１６２は、情報処理装置群１５１、１５２、１３０、１４０及び１５０の業務負荷に応じて動作／待機／休止／停止ステート、動作周波数、動作電圧、電源オンオフなどを切り替えることによって消費電力を削減する。また、設備装置群の稼働制御１６３は、情報処理装置群１５１、１５２、１３０、１４０及び１５０の消費電力に合わせて配電盤１３３の力率などの制御、空調機１３４の給気／還気温度、風量などの制御を行なうことによって給電損失及び冷却電力を削減する。こうして、情報処理装置群１５１、１５２、１３０、１４０及び１５０の業務サービスを維持しつつ情報処理装置群及び設備装置群を合わせた電力を最小化することによって、区画１２１の階層グループ全体の性能対電力効率を向上する。
なお、第２図Ａに示す運用管理装置１６０は、第１図に示す運用管理装置５０に相当する。このため、運用管理装置１６０のハードウェア構成に関する図示及び説明は省略する。階層グループ構成情報１６４及び階層グループ稼動情報１６５は、それぞれ、第１図の階層グループ構成情報５６及び階層グループ稼動情報５９に相当する。情報処理装置群の業務負荷制御１６１、情報処理装置群の稼動制御１６２及び設備装置群の稼動制御１６３の機能は、第１図のプロセッサ５２が階層グループ制御プログラム５５を実行することによって実現される。したがって、これらの機能によって実行される処理は、実際には運用管理装置１６０のプロセッサによって実行される。
情報処理装置群１５１、１５２、１３０、１４０及び１５０の総電力と配電盤１３３の最大給電能力すなわち許容電力負荷とを比較して前者が後者を超えると予測される場合、区画１２１に供給される電源電圧の低下または遮断等のために区画１２１内の装置が停止する等の問題が発生するおそれがある。あるいは、情報処理装置群１５１、１５２、１３０、１４０及び１５０の総電力から下位グループのラック型空調機１４４及び冷却リアドア１５５の冷却能力を差し引いた差分電力と空調機１３４の最大冷却能力すなわち許容熱負荷とを比較して前者が後者を超えると予測される場合、区画１２１内の装置の過熱のために処理性能の低下または装置の障害等の問題が発生するおそれがある。しかし、何らかの異常事態によって上記のような予測がされた場合には、区画１２１内で最適化の制御を実行しても上記の問題の発生を防ぐことはできない。このため、運用管理装置１６０は、業務負荷割当てが変更可能である場合、区画１２１から同位グループの区画１２２へ業務負荷を移動する。業務負荷割当てが変更不可の場合、運用管理装置１６０は、区画１２１内の優先度の低い業務負荷を抑制する、情報処理装置群１５１、１５２、１３０、１４０及び１５０の動作ステートの上限電力を制限する、補助電源または冗長給電系統がある場合、それを用いて配電盤１３３の給電能力を援ける、または、ラック型空調機１４４または冷却リアドア１５５の余力がある場合、その余力を用いて空調機１３４を援けるなどの制御を運用手順に従って行なう。このような手順については、第１１図を参照して後述する。
区画１２１内の情報処理装置群または設備装置群の構成を変更する場合、区画１２１をフロア１１０内で移設する場合、及び区画１２１をフロア１１０内から撤去する場合などにおいて、運用管理装置１６０は、区画１２１以下の階層グループの構成情報１６４を更新または削除する。この場合、他の区画１２２の構成情報１６４を変更する必要は無く、上位グループのフロア１１０の稼働情報１６５には区画１２１の稼働情報が集約され、区画１２１の更新が自動的に反映される。区画１２１と同位グループの区画を新たに増設する場合には、その区画に関する情報を構成情報１６４に追加すればよく、その他の区画に関する情報を更新する必要はない。上記のように区画毎の最適化が行なわれる場合、区画の増設または削除のような構成変更があった後も、その他の区画は構成変更の影響を受けることなく、変更前と同様の最適化を行なうことができる。このように本実施形態は、要求される業務サービス及び要求性能に応じて柔軟に適応できるため、スケーラブルな柔軟性が実現される。
ここまで第３階層の区画１２１を例にとって説明したが、他の階層グループにおいても同様に階層関係に基いて制御を行なうことによって、データセンタ１００全体を効率的に最適化できる。例えば、データセンタ１００の全ての情報処理装置群と設備装置群を一括して最適化を図ろうとしても、相互の依存関係が不明確であるため最適解を求めることが困難であり、例え依存関係を定義できても解空間が広すぎるため収束性が悪く非効率である。本実施形態では、全体一括最適化ではなく階層グループ毎に最適化を行なうことによって、解空間を狭めて効率的に最適解を求めることができる。
第２図Ａから第４図を参照して説明したデータセンタ１００の運用管理方法によれば、情報処理装置群１５１、１５２、１２０、１３０、１４０及び１５０と設備装置群１２３、１３３、１４３、１５３、１５４、１２４、１３４、１４４及び１５５に対して第１階層から第６階層までの階層から成る階層グループを構成し、情報処理装置群と設備装置群を連携させた階層最適化を行なうことによって、データセンタ１００の運用効率、性能対電力効率、柔軟性を向上できる効果があり、高度且つ多様な業務サービスに対して高性能化と省電力化を両立しつつ統合的な運用管理を実現できる。
第２図Ｂの例では、データセンタ１００が建物１００、フロア１１０、１１１などから構成されているが、モジュラー型データセンタ、コンテナ型データセンタ、または建物の一部のコンピュータルームなどにも本実施形態を適用することができ、その場合にも上記の効果を発揮できる。例えば、モジュラーまたはコンテナを区画に対応させてもよく、複数の建物または地域にまたがるデータセンタに対しては建物より上位の階層を定義すればよい。
第１階層の建物１００から第６階層の情報処理装置群１５１及び１５２に至る階層グループ構成の代わりに、情報処理装置群と設備装置群の構成や配置などに応じて他の階層構成が採用されてもよい。例えばフロア階層の下位に区画階層を設けずにラック列階層を直に設けてもよいし、区画階層の下位にラック列階層を設けずにラック階層を直に設けてもよい。
ラック１４１に搭載される情報処理装置群１５１及び１５２は例えばサーバ装置及びストレージ装置などから成り、ラック１４１及び１４２がラック列１３１を構成しているが、情報処理装置がラックに搭載されずに単体で配置されてもよいし、ラック群がラック列を成さずに離散的に配置されてもよい。ネットワーク装置群は所謂Ｔｏｐ−ｏｆ−Ｒａｃｋアーキテクチャによってコアルータ１２０、区画スイッチ１３０、ラック列スイッチ１４０、ラックスイッチから成るが、所要ネットワーク性能またはラック群配置などに応じて他のアーキテクチャが採用されてもよい。例えば区画スイッチを置かずにラック列スイッチがコアルータへ直接接続されてもよいし、ラック列スイッチまたはラックスイッチを置かずに情報処理装置群が区画スイッチに直接接続されてもよい。
給電設備装置群は変圧器、無停電電源装置１２３、配電盤１３３、分電盤１４３、ブレーカ１５３、配電ユニット１５４から成るが、設計仕様または所要能力などに応じて他の給電構成が採用されてもよい。例えば無停電電源装置１２３から分電盤１４３へ直接接続されてもよいし、配電盤１３３からラック１４１の配電ユニットへ直接接続されてもよい。また、無停電電源装置がラック１４１の共有電源、情報処理装置群１５１、１５２の内蔵電源として分散的に配置されてもよい。
冷却設備装置群は冷凍機、冷却塔１２４、空調機１３４、ラック型空調機１４４、冷却リアドア１５５から成るが、設計仕様または所要能力などに応じて他の冷却構成が採用されてもよい。例えば空調能力が十分であればラック型空調機または冷却リアドアが用いられなくてもよいし、空調機を設けずにラック型空調機のみで空調を行なってもよく、データセンタの立地環境に応じて外気冷房またはフリークーリングが採用されてもよい。
第２図Ａから第４図に示した例では、運用管理装置１６０において階層グループ毎に情報処理装置群の業務負荷制御１６１、稼働制御１６２及び設備装置群の稼働制御１６３を行なうことによって制御処理が効率化される。運用管理装置１６０自体の処理性能及びソフトウェアの実装に応じて、例えば、階層グループ毎の制御を上位から下位へ順次進める集中処理、または階層グループ毎の分散制御と階層グループ間の協調制御から成る分散協調処理が実行されてもよいし、処理規模に応じて複数の運用管理装置を設けてそれらを連携させてもよい。本実施形態の本質は情報処理システムに設けた階層グループを階層的に制御することにあって、第２図Ａから第４図に示した装置構成及び制御方法のみに限定されるものではない。
第５図は、本発明の第１の実施形態の第２の具体例を説明するレイアウト図である。
第５図に示す情報処理システムは、一つのフロアを占めるデータセンタ２１０（以下、フロア２１０とも記載する）と運用管理装置２６０から成り、フロア２１０は区画２２１Ａ〜２２１Ｆに分割されている。階層グループの構成は位置階層に対応付けられ、フロア２１０に在って区画２２１Ａ〜２２１Ｆを集約するコアルータ２２０から成る第１階層から始まり、下位グループへ展開される。運用管理装置２６０はコアルータ２２０へつながり、これを介してフロア２１０内の情報処理装置群と設備装置群を制御する。
区画２２１Ａの第２階層グループ（すなわち、第２階層における階層グループ。以下同様）は区画スイッチ２３０Ａ（所謂Ｍｉｄｄｌｅ−ｏｆ−Ｒｏｗスイッチ）、配電盤２３３Ａ、空調機２３４Ａ及び２３５Ａ、及びグリル板２３６Ａから成る。区画２２１Ａの第３階層グループ（すなわち、第３階層における階層グループ。以下同様）はラック列２３１Ａ、２３２Ａ及び分電盤２４３Ａから成る。区画２２１Ａの第４階層グループ（すなわち、第４階層における階層グループ。以下同様）はラック２４１Ａから成り、第５階層グループ（すなわち、第５階層における階層グループ。以下同様）はラック２４１Ａ内の情報処理装置群から成る。運用管理装置２６０は、コアルータ２２０及び区画スイッチ２３０Ａを介して、ラック列２３１Ａ及び２３２Ａに搭載された情報処理装置群、ラック列２３１Ａ及び２３２Ａへ給電する配電盤２３３Ａ及び分電盤２４３Ａ、並びに、ラック列２３１Ａ及び２３２Ａを冷却する空調機２３４Ａ及び２３５Ａを制御する。空調機２３４Ａ及び２３５Ａは床下からグリル板２３６Ａを通って情報処理装置群へ冷気を供給する。
区画２２１Ｂの第２階層グループは配電盤２３３Ｂ、空調機２３４Ｂ、２３５Ｂ及びグリル板２３６Ｂから成る。区画２２１Ｂの第３階層グループはラック列スイッチ２４０Ｂ、２４５Ｂ（所謂Ｅｎｄ−ｏｆ−Ｒｏｗスイッチ）、ラック列２３１Ｂ、２３２Ｂ及び分電盤２４３Ｂから成る。区画２２１Ｂの第４階層グループはラック２４１Ｂから成り、第５階層グループはラック２４１Ｂ内の情報処理装置群から成る。区画２２１Ｂでは、区画スイッチの代わりにラック列スイッチ２４０Ｂ及び２４５Ｂがそれぞれラック列２３１Ｂ及び２３２Ｂに配置されたラック２４１Ｂの情報処理ネットワークを集約し、配電盤２３３Ｂ、分電盤２４３Ｂ、空調機２３４Ｂ及び２３５Ｂの制御系統を担う。
区画２２１Ｃの第２階層グループは区画スイッチ２３０Ｃ、配電盤２３３Ｃ、空調機２３４Ｃ、２３５Ｃ及びグリル板２３６Ｃから成る。区画２２１Ｃの第３階層グループはラック列スイッチ２４０Ｃ、２４５Ｃ、ラック列２３１Ｃ、２３２Ｃ及び分電盤２４３Ｃから成る。区画２２１Ｃの第４階層グループはラック２４１Ｃ及び冷却リアドア２５５Ｃから成り、第５階層グループはラック２４１Ｃ内の情報処理装置群から成る。区画２２１Ｃでは、ラック列スイッチ２４０Ｃ及び２４５Ｃがそれぞれラック列２３１Ｃ及び２３２Ｃに配置されたラック２４１Ｃ、冷却リアドア２５５Ｃ及び分電盤２４３Ｃを集約し、区画スイッチ２３０Ｃがラック列スイッチ２４０Ｃ、２４５Ｃ、配電盤２３３Ｃ、空調機２３４Ｃ及び２３５Ｃを集約してコアルータ２２０へ接続される。ラック２４１Ｃに搭載された情報処理装置群は、空調機２３４Ｃ、２３５Ｃ及び冷却リアドア２５５Ｃによって冷却される。
区画２２１Ｄの第２階層グループは区画スイッチ２３０Ｄ、配電盤２３３Ｄ、空調機２３４Ｄ、２３５Ｄ及びグリル板２３６Ｄから成る。区画２２１Ｄの第３階層グループはラック列２３１Ｄ、２３２Ｄ、分電盤２４３Ｄ及びラック型空調機２４４Ｄから成る。区画２２１Ｄの第４階層グループはラック２４１Ｄから成り、第５階層グループはラック２４１Ｄ内の情報処理装置群から成る。区画２２１Ｄでは、区画スイッチ２３０Ｄがラック列２３１Ｄ及び２３２Ｄに配置されたラック２４１Ｄ、ラック型空調機２４４Ｄ及び分電盤２４３Ｄ、さらに区画２２１Ｄに配置された配電盤２３３Ｄ、空調機２３４Ｄ及び２３５Ｄを集約する。ラック型空調機２４４Ｄは、隣接するラック２４１Ｄに搭載された情報処理装置群の冷却を担う。
区画２２１Ｅの第２階層グループは区画スイッチ２３０Ｅ、配電盤２３３Ｅ、空調機２３４Ｅ、２３５Ｅ及びグリル板２３６Ｅから成る。区画２２１Ｅの第３階層グループはラック列２３１Ｅ、２３２Ｅ及び分電盤２４３Ｅから成る。区画２２１Ｅの第４階層グループはラック２４１Ｅから成り、第５階層グループはラック２４１Ｅ内の情報処理装置群から成る。ラック列２３１Ｅには第１階層グループのコアルータ２２０が配置される。コアルータ２２０は、区画２２１Ａの区画スイッチ２３０Ａ、区画２２１Ｂのラック列スイッチ２４０Ｂ、２４５Ｂ、区画２２１Ｃの区画スイッチ２３０Ｃ、区画２２１Ｄの区画スイッチ２３０Ｄ、区画２２１Ｅの区画スイッチ２３０Ｅ、及び区画２２１Ｆの区画スイッチ２３０Ｆを集約する。
区画２２１Ｆの第２階層グループは区画スイッチ２３０Ｆ、配電盤２３３Ｆ、空調機２３４Ｆ、２３５Ｆ及びグリル板２３６Ｆから成る。区画２２１Ｆの第３階層グループはラック列２３１Ｆ、２３２Ｆ、分電盤２４３Ｆ及びラック型空調機２４４Ｆから成る。区画２２１Ｆの第４階層グループはラック２４１Ｆ及び冷却リアドア２５５Ｆから成り、第５階層グループはラック２４１Ｆ内の情報処理装置群から成る。ラック型空調機２４４Ｆ及び冷却リアドア２５５Ｆは、空調機２３４Ｆ及び２３５Ｆの冷却能力を補って、ラック２４１Ｆに搭載された情報処理装置群を冷却する。
例えば、冷却リアドア２５５Ｆが第２図Ｂの冷却リアドア１５５に、ラック２４１Ｆが第２図Ｂのラック１４１に、分電盤２４３Ｆが第２図Ｂの分電盤１４３に、ラック型空調機２４４Ｆが第２図Ｂのラック型空調機１４４に、ラック列２３１Ｆが第２図Ｂのラック列１３１に、区画スイッチ２３０Ｆが第２図Ｂの区画スイッチ１３０に、コアルータ２２０が第２図Ｂのコアルータ１２０に、それぞれ相当してもよい。ただし、第５図は、第２図Ｂとは異なり、一つのフロアが一つのデータセンタに相当する例を示している。なお、運用管理装置２６０は、第１図に示す運用管理装置５０及び第２図Ａに示す運用管理装置１６０に相当するため、その構成についての説明は省略する。
第５図に示すシステムでは、第１階層のフロア２１０に必要なネットワーク性能に合わせてコアルータ２２０が配置され、第２階層の区画２２１Ａ、２２１Ｂ、２２１Ｃ、２２１Ｄ、２２１Ｅ及び２２１Ｆ毎に、情報処理装置群に必要なネットワーク性能に合わせて第２階層の区画スイッチ２３０Ａ、２３０Ｃ、２３０Ｄ、２３０Ｅ、２３０Ｆまたは第３階層のラック列スイッチ２４０Ｂ、２４５Ｂ、２４０Ｃ、２４５Ｃが配置される。運用管理装置２６０は、階層グループ毎に情報処理装置群及びネットワーク装置群の稼働情報を集約して収集し、業務負荷または稼動条件を制御する。例えば、運用管理装置２６０は、第２階層では区画スイッチの処理量と区画内の総業務負荷量を監視し、設備装置群の稼働情報を参照して区画内の業務負荷割当てを最適化する。情報処理装置群またはネットワーク装置群の性能向上、または障害対策などの必要に応じてネットワーク構成を変更する場合、運用管理装置２６０は、変更箇所に対応する階層グループの構成情報を更新する。
また、第５図に示す情報処理システムは、区画２２１Ａ、２２１Ｂ、２２１Ｃ、２２１Ｄ、２２１Ｅ及び２２１Ｆ毎の情報処理装置群の消費電力を賄うように給電を行なう第２階層の配電盤２３３Ａ、２３３Ｂ、２３３Ｃ、２３３Ｄ、２３３Ｅ、２３３Ｆ、第３階層の分電盤２４３Ａ、２４３Ｂ、２４３Ｃ、２４３Ｄ、２４３Ｅ、２４３Ｆ、冷却を行なう第２階層の空調機２３４Ａ、２３５Ａ、２３４Ｂ、２３５Ｂ、２３４Ｃ、２３５Ｃ、２３４Ｄ、２３５Ｄ、２３４Ｅ、２３５Ｅ、２３４Ｆ、２３５Ｆ、グリル板２３６Ａ、２３６Ｂ、２３６Ｃ、２３６Ｄ、２３６Ｅ、２３６Ｆ、第３階層のラック型空調機２４４Ｄ、２４４Ｆ、第４階層の冷却リアドア２５５Ｃ及び２５５Ｆを備える。運用管理装置２６０は、階層グループ毎に設備装置群の稼働情報を収集し、情報処理装置群の消費電力に合わせて設備装置群の稼動条件を制御する。例えば、運用管理装置２６０は、第２階層では配電盤の給電能力と空調機の冷却能力を監視し、情報処理装置群の消費電力に合わせて制御する。給電能力または冷却能力の向上、または改修などの必要に応じて設備装置群の構成を変更する場合は、運用管理装置２６０の階層グループ構成情報が更新される。
情報処理システムの運用管理者等は、給電能力を増強する場合、配電盤や分電盤への給電ケーブルとブレーカを増設する、または、電流容量の高い給電ケーブルやブレーカに交換するなどを行ない、冷却能力を増強する場合は、冷却能力の高い空調機に交換する、または、ラック型空調機や冷却リアドアを増設するなどを行なう。床下空調のためのグリル板の開口位置、ラック型空調機または冷却リアドアの配置は、情報処理装置群及びネットワーク装置群の電力分布すなわち発熱分布に合わせて調整されるが、冷却効率を高めるためホットアイルまたはコールドアイルを設け、アイルキャッピングが行われてもよい。
空調機は、第２階層グループの区画毎に情報処理装置群の消費電力（ラック型空調機または冷却リアドアが有る場合にはそれらの冷却能力を情報処理装置群の消費電力から差し引いた電力）に合わせて制御する。実際には、例えば区画２２１Ａの空調機２３５Ａの有効冷却領域は隣接する区画２２１Ｂに及び、逆に区画２２１Ｂの空調機２３４Ｂは区画２２１Ａに影響する。しかし、第５図に示すように、地理的に近い情報処理装置群と空調機とが一つの区画に含まれるように各区画を定義すれば、各区画の情報処理装置群がその区画内の空調機から受ける影響に比べて、隣接する区画の空調機からの影響を小さくすることができる。この場合、隣接する区画の空調機からの影響を無視しても、概ね正しい最適解を得ることができる。このように区画毎に分割して制御することによって、フロア２１０全体の空調機群を一括して制御することに比べて、空調機の稼働条件の近似最適解を効率的に求められる。区画毎に完全に独立に制御したい場合には、区画の境界に仕切りまたはカーテンを設けることによって、隣接する区画の空調機の影響を遮断すればよい。
第５図を参照して説明したデータセンタ２１０の運用管理方法によれば、フロア２１０を区画２２１Ａ、２２１Ｂ、２２１Ｃ、２２１Ｄ、２２１Ｅ及び２２１Ｆに分割し、区画毎に情報処理装置群、ネットワーク装置群、給電設備装置群及び冷却設備装置群を階層的に構成することによって、所望の情報処理性能やネットワーク性能に合わせて必要な給電能力及び冷却能力を提供できる。このような適応性及び柔軟性は、単なる情報処理リソースプールとしてだけでなく、設備装置群も含めた統合リソースプールとして好適であり、運用効率の向上に貢献する。この効果は、階層グループ単位の構成と運用管理によってもたらされるのであり、第５図に示すレイアウトのみに限定される訳ではない。例えば、業務サービスに応じて一つのラック列のみまたはさらに多数のラック列を含む区画を定義してもよいし、区画に配電盤を設けず、分電盤からラック列へ直接給電してもよいし、配電盤からラック列へ直接給電してもよいし、区画に一つの空調機またはさらに多数の空調機を配置してもよいし、空調機を設けず、ラック型空調機または冷却リアドアだけで冷却してもよいし、床下空調を行なわず、グリル板を無くしてアイルチャンバーを設けてもよい。
第６図は、本発明の第１の実施形態の第３の具体例を説明するシステム構成図である。
より詳細には、第６図は、第１の具体例または第２の具体例として説明したような情報処理装置群の情報処理ネットワーク系統、設備装置群の給電／冷却系統、及びそれらの制御ネットワーク系統の一例を具体的に示す。
情報処理システム３００の情報処理ネットワーク系統は、ラック３４１に搭載された情報処理装置群３５１を集約するラックスイッチ３５０（所謂Ｔｏｐ−ｏｆ−Ｒａｃｋスイッチ）と、これらを集約する区画スイッチ３３０またはラック列スイッチ３４０（所謂Ｅｎｄ／Ｍｉｄｄｌｅ−ｏｆ−Ｒｏｗスイッチ）と、これらを集約するコアルータ３２０と、から成る。運用管理装置３６０は、情報処理ネットワーク系統を通じて、コアルータ３２０、区画スイッチ３３０またはラック列スイッチ３４０、ラックスイッチ３５０、及び情報処理装置群３５１を制御する。
給電系統は、無停電電源３２３から、配電盤３３３に配置された主幹ブレーカ３４５、主幹ブレーカ３４５から分岐する分電盤３４３のブレーカ３５３、ブレーカ３５３へつながるラック３４１の配電ユニット３５４を経て、情報処理装置群３５１及びラックスイッチ３５０へ至る。無停電電源３２３は運用管理装置３６０によって制御される。配電盤３３３と分電盤３４３の制御ユニット３４６は区画スイッチ３３０またはラック列スイッチ３４０へ、ラック３４１の配電ユニット３５４はラックスイッチ３５０へ接続され、情報処理ネットワーク系統を介して運用管理装置３６０によって制御される。
冷却系統は、冷凍機３２４、空調機３３４、ラック型空調機３４４及び冷却リアドア３５５から成り、ラック３４１に配置された情報処理装置群３５１及びラックスイッチ３５０を冷却する。冷凍機３２４は運用管理装置３６０によって制御される。空調機３３４の制御ユニット３３５及びラック型空調機３４４は区画スイッチ３３０またはラック列スイッチ３４０へ、ラック３４１の冷却リアドア３５５はラックスイッチ３５０へ接続され、給電系統と同じく情報処理ネットワーク系統を介して運用管理装置３６０によって制御される。
なお、例えば、運用管理装置３６０が第１図の運用管理装置５０に対応し、ラック３４１、情報処理装置群３５１、ラックスイッチ３５０、区画スイッチ３３０またはラック列スイッチ３４０及びコアルータ３２０が、第１図の情報処理装置群３０〜３３に対応し、無停電電源３２３、配電盤３３３、主幹ブレーカ３４５、分電盤３４３、ブレーカ３５３、制御ユニット３４６、配電ユニット３５４、冷凍機３２４、空調機３３４、制御ユニット３３５、ラック型空調機３４４及び冷却リアドア３５５が第１図の設備装置群４０〜４３に対応する。
一つの階層グループに属するコアルータ３２０、無停電電源３２３及び冷凍機３２４は同じように運用管理装置３６０へ接続されて制御される。その下位の階層グループに属する配電盤３３３または分電盤３４３、及び、空調機３３４またはラック型空調機３４４は、いずれも区画スイッチ３３０またはラック列スイッチ３４０へ接続されて制御される。さらに下位の階層グループに属する配電ユニット３５４及び冷却リアドア３５５は同じようにラックスイッチ３５０へ接続されて制御される。すなわち、情報処理装置群と設備装置群の制御系統を一致させることによって、階層グループ毎に同じ制御系統を用いた制御が実現される。
第６図に示す情報処理システム３００の運用管理方法によれば、情報処理装置群と設備装置群の制御系統を統一することによって階層グループの構成と制御を効率化し、設備装置群の制御ネットワークとして情報処理ネットワークを利用することによって煩雑な制御ケーブル敷設作業を省くことができる。これによって情報処理システム３００を簡素化できるという効果がある。設備装置群の制御情報量は情報処理装置群の通信情報量に比べて十分少ないため、設備装置群の制御が情報処理性能に与える影響は無視できる。第６図には示していないが、例えば区画またはラック列に対応する電力センサ及び室温センサなどを区画スイッチ３３０またはラック列スイッチ３４０へ接続し、ラック３４１内の稼働分布を監視する電力センサ及び温度センサをラックスイッチ３５０へ接続することによって、情報処理ネットワークを利用するセンサネットワークを構築してもよい。
第６図において、運用管理装置３６０、コアルータ３２０、区画スイッチ３３０またはラック列スイッチ３４０、ラックスイッチ３５０、及び情報処理装置群３５１を通信接続する情報処理ネットワークは例えばイーサネットから成る。この情報処理ネットワークと制御ネットワークとを共通化するため、設備装置群の無停電電源３２３、冷凍機３２４、配電盤３３３の制御ユニット３４６、空調機３３４の制御ユニット３３５、ラック型空調機３４４、ラック３４１の配電ユニット３５４及び冷却リアドア３５５もイーサネットのインターフェース（図示省略）を備える。設備装置群の制御インターフェースがＲＳ２３２Ｃなどのシリアル通信機能または専用通信機能などしか備えていない場合は、イーサネット変換器または変換機能を有する中継サーバなどを利用するとよい。
第７図Ａ及び第７図Ｂは、本発明の第１の実施形態の情報処理システムの運用管理方法を説明する詳細なシステム構成図である。
第７図Ａは、第１の具体例または第２の具体例として説明したような運用管理装置の一例を具体的に示す。第７図Ａ及び第７図Ｂに示す情報処理システム４００は、情報処理装置群４２０〜４２３、これらへの給電及び冷却を行なう設備装置群４３０〜４３３、及び運用管理装置４４０から成り、情報処理装置群４２０〜４２３及び設備装置群４３０〜４３３は階層グループ４１０〜４１３を構成する。運用管理装置４４０は統合運用管理基盤４４１及び階層グループ制御機能４４４から成り、統合運用管理基盤４４１が階層グループ制御機能４４４を経由して、階層グループ４１０〜４１３のイベント管理４４２を行なうと共に、運用ポリシー４４３に基いて階層グループ４１０〜４１３を制御する。
階層グループ制御機能４４４は、情報処理装置群制御機能４５０、設備装置群制御機能４７０、及び両者が共有する階層グループ構成機能４４５を含む。さらに詳細に、情報処理装置群制御機能４５０は、業務要件検証４５１、業務負荷見積り４５２、業務負荷割当て最適化４５３、業務負荷制御実行４５４、稼働条件最適化４５５及び稼働条件制御実行４５６などの機能を含み、業務計画４６１、サービスレベル契約４６２、構成監視４６４から得られる構成情報４６３、稼働監視４６６から得られる稼働情報４６５、装置仕様、資産管理及びレイアウトなどに関する入力情報４６７などのデータベースを備える。設備装置群制御機能４７０は、環境解析４７１、稼働シミュレータ４７２、稼働条件最適化４７３、稼働条件制御実行４７４などの機能を含み、業務計画４８１、構成監視４８３から得られる構成情報４８２、稼働監視４８５から得られる稼働情報４８４、環境監視４８７から得られる環境情報４８６、装置仕様、資産管理及びレイアウトなどに関する入力情報４８８などのデータベースを備える。
階層グループ構成機能４４５は、構成情報４６３、４８２、入力情報４６７及び４８８から得られる位置情報及びネットワーク情報に基いて、階層グループ４１０〜４１３の構成を示す情報を、階層グループ構成情報４４６として生成する。さらに、階層グループ構成機能４４５は、この階層グループ構成情報４４６に基いて稼働情報４６５、４８４及び環境情報４８７を階層グループ４１０〜４１３毎に集約することによって階層グループ稼働情報４４７を生成する。この階層グループ稼働情報４４７は、第１図に示す階層グループ稼動情報５９に相当する。
階層グループ構成情報４４６は、例えば構成情報テーブル５０１から成る。この階層グループ構成情報４４６は、第１図に示す階層グループ構成情報５６に相当する。
階層グループ４１０〜４１３は、第１図に示した階層グループ２０〜２３と同様であるため、詳細な説明を省略する。すなわち、階層グループ４１０〜４１３はそれぞれ第１図の階層グループ２０〜２３に相当し、情報処理装置群４２０〜４２３はそれぞれ第１図の情報処理装置群３０〜３３に相当し、設備装置群４３０〜４３３はそれぞれ第１図の設備装置群４０〜４３に相当する。
第８図は、本発明の第１の実施形態の情報処理システムが保持する構成情報テーブル５０１の説明図である。
構成情報テーブル５０１は、装置ＩＤ５０１１、装置呼称５０１２、階層グループＩＤ５０１３、直系上位１＿５０１４、直系上位２＿５０１５、他系１＿５０１６及び他系２＿５０１７を含む。
装置ＩＤ５０１１は、階層グループに属する装置（または装置が配置される領域）の識別情報である。装置呼称５０１２は、各装置及び領域の呼称である。装置呼称５０１２に基づいて、各装置及び領域の種類（例えば、その装置がサーバであるのか、またはストレージ装置であるのか、等）を特定することができる。
階層グループＩＤ５０１３は、各装置（または領域）が属する階層グループの識別情報である。既に説明したように、階層毎に階層グループが定義されるため、一つの装置が複数の階層グループに属する（例えば、ある装置が、ある階層の階層グループに属し、さらにその上位の階層の階層グループにも属する）場合がある。階層グループＩＤは、各装置（または領域）が複数の階層グループに属する場合、それらの全ての階層グループの識別情報を含む。
直系上位１＿５０１４及び直系上位２＿５０１５は、同じ系統の装置群の階層関係を示す。具体的には、各装置に対応する直系上位１＿５０１４には、各装置の上位の装置の階層グループＩＤ５０１３の値が格納される。一つの装置の上位の装置が二つ存在する場合、それらの二つの装置の階層グループＩＤ５０１３の値がそれぞれ直系上位１＿５０１４及び直系上位２＿５０１５に格納される。なお、一つの装置の上位の装置が三つ以上存在する場合、階層グループ構成情報テーブル５０１は、さらに多くの直系上位に関する情報（例えば直系上位３（図示省略）等）を含んでもよい。
他系１＿５０１６及び他系２＿５０１７は、情報処理装置群と設備装置群との相互関係を示す。具体的には、各装置に対応する他系１＿５０１６及び他系２＿５０１７には、各装置に対応する他の系の装置（例えば、情報処理装置に対応する給電系統または冷却系統の装置）の階層グループＩＤ５０１３の値が格納される。例えば、情報処理装置に対応する他系１＿５０１６及び他系２＿５０１７には、それぞれ、その情報処理装置に対応する給電系統の装置及び冷却系統の装置（言い換えると、その情報処理装置に給電する装置及びその情報処理装置を冷却する装置）の階層グループＩＤ５０１３の値が格納される。
ここで、第８図に例示する階層グループＩＤ５０１３の値について説明する。階層グループＩＤ５０１３の初めの二文字は位置階層または装置種別を示す。例えば、ＺＺは位置階層、ＳＶはサーバ、ＳＴはストレージ、ＮＷはネットワーク、ＦＤは給電、ＰＤは配電ユニット、ＣＬは冷却などを表わす。次の十二桁の数字は上位から順番に二桁ずつ、装置が属する階層グループを駆りする番号を示し、最後の二桁の数字は、十二桁の数字で示される階層グループにおいて装置を識別する番号を表わす。したがって、階層グループＩＤ５０１３の値に基いて、各装置または各領域を一意に識別することができる。以下の説明において、例えばサーバＳＶ＿１０３０２０１０５３２＿００とは、階層グループＩＤ５０１３の値「ＳＶ＿１０３０２０１０５３２＿００」に対応する装置（サーバ）を意味する。さらに、階層グループＩＤ５０１３の値に基いて、各装置が属する階層グループを全て特定することができる。さらに、以下の説明では、階層グループＩＤ５０１３の値を、各装置または各領域に対応する階層グループを識別するためにも使用する。例えば、区画ＺＺ＿０１０３０２００００００＿００に対応する階層グループとは、階層グループＩＤ５０１３に含まれる階層グループ識別番号「０１０３０２００００００」に対応する区画内の情報処理装置、それらの情報処理装置に電力を供給する給電系統の装置（例えばその区画の配電盤）、及び、それらの情報処理装置を冷却する冷却系等の装置（例えばその区画の空調機）から成る階層グループである。
例えば、階層グループＩＤ５０１３がＺＺ＿０１０３０２０１０５００＿００であるラックは、０１番目の建物、０３番目のフロア、０２番目の区画、０１番目のラック列の０５番目に配置されている。このラックの３２Ｕの位置に搭載されたサーバＳＶ＿１０３０２０１０５３２＿００は、同じラックに搭載された０１番目のラックスイッチＮＷ＿１０３０２０１０５００＿０１及び０２番目のラックスイッチＮＷ＿１０３０２０１０５００＿０２に接続され、ラックの二番目の配電ユニットＰＤ＿０１０３０２０１０５００＿０２から給電され、ラックの冷却ドアＣＬ＿０１０３０２０１０５００＿０１によって冷却される。
ラックスイッチＮＷ＿１０３０２０１０５００＿０２に至るネットワーク系統は、ラック列に配置された一番目のラック列スイッチＮＷ＿１０３０２０１００００＿０１、区画に配置された一番目の区画スイッチＮＷ＿１０３０２００００００＿０１、及びコアルータＮＷ＿１０３００００００００＿０１から成る。これは、サーバＳＶ＿１０３０２０１０５３２＿００が、ラックスイッチＮＷ＿１０３０２０１０５００＿０２、ラック列スイッチＮＷ＿１０３０２０１００００＿０１、区画スイッチＮＷ＿１０３０２００００００＿０１及びコアルータＮＷ＿１０３００００００００＿０１を介して、情報処理システム１０の外部の装置（図示省略）と通信することを意味する。
配電ユニットＰＤ＿０１０３０２０１０５００＿０２に至る給電系統は、ブレーカＦＤ＿０１０３０２０１０５００＿０２、分電盤ＦＤ＿０１０３０２０１００００＿０１、配電盤ＦＤ＿０１０３０２００００００＿０１、無停電電源ＦＤ＿０１０３００００００００＿０１から成る。これは、サーバＳＶ＿１０３０２０１０５３２＿００が消費する電力が、無停電電源ＦＤ＿０１０３００００００００＿０１から、配電盤ＦＤ＿０１０３０２００００００＿０１、分電盤ＦＤ＿０１０３０２０１００００＿０１、ブレーカＦＤ＿０１０３０２０１０５００＿０２及び配電ユニットＰＤ＿０１０３０２０１０５００＿０２を介してサーバＳＶ＿１０３０２０１０５３２＿００に供給されることを意味する。
冷却ドアＣＬ＿０１０３０２０１０５００＿０１に至る冷却系統は、ラック列に配置された二番目のラック型空調機ＣＬ＿０１０３０２０１００００＿０２と三番目のＣＬ＿０１０３０２０１００００＿０３、区画に配置された一番目の空調機ＣＬ＿０１０３０２００００００＿０１及び二番目の空調機ＣＬ＿０１０３０２００００００＿０２から成り、空調機ＣＬ＿０１０３０２００００００＿０１へは冷凍機ＣＬ＿０１０３００００００００＿０１から冷媒が供給される。これは、冷凍機ＣＬ＿０１０３００００００００＿０１から供給された冷媒を用いて空調機ＣＬ＿０１０３０２００００００＿０１が空気を冷却し、空調機ＣＬ＿０１０３０２００００００＿０１とラック型空調機ＣＬ＿０１０３０２０１００００＿０２及びＣＬ＿０１０３０２０１００００＿０３と冷却ドアＣＬ＿０１０３０２０１０５００＿０１が協働してサーバＳＶ＿１０３０２０１０５３２＿００を冷却することを意味する。
このように、階層グループ構成情報テーブル５０１を参照することによって、情報処理システム内の全ての装置がどの階層グループに属するかを特定することができ、さらに、階層グループの包含関係（言い換えると各装置が属する階層の上下関係）も特定することができる。
なお、第８図に示す階層グループ構成情報テーブル５０１は、第１図に示す階層グループ構成情報５６に相当する。第８図に示す情報のうち、階層グループＩＤに関する情報が位置情報５７に相当し、直系上位１、２、他系１、２に関する情報がネットワーク情報に相当する。
階層グループ稼働情報４４７は、例えば情報処理装置群の階層グループ稼働情報テーブル５０２、ネットワーク装置群の階層グループ稼働情報テーブル５０３、給電設備装置群の階層グループ稼働情報テーブル５０４、及び冷却設備装置群の階層グループ稼働情報テーブル５０５から成る。
第９図Ａは、本発明の第１の実施形態の情報処理システムが保持する情報処理装置群の階層グループ稼働情報テーブル５０２の説明図である。
情報処理装置群の階層グループ稼働情報テーブル５０２（以下、情報処理装置群のテーブル５０２とも記載する）は、装置ＩＤ５０２１、装置呼称５０２２、階層グループＩＤ５０２３、最大ＣＰＵリソース使用量５０２４、ＣＰＵリソース使用量５０２５、消費電力５０２６及び性能対電力効率５０２７を含む。装置ＩＤ５０２１、装置呼称５０２２及び階層グループＩＤ５０２３は、それぞれ装置ＩＤ５０１１、装置呼称５０１２及び階層グループＩＤ５０１３と同様であるため、それらについての説明は省略する。
最大ＣＰＵリソース使用量５０２４は、各階層グループ内の全サーバの全ＣＰＵリソースの使用量の最大値であり、例えば、全サーバの性能が同じであればそれらの全ＣＰＵの動作クロック数の合計値である。ＣＰＵリソース使用量５０２５は、実際に使用されているＣＰＵリソースの量である。消費電力５０２６は、各階層グループ内の全情報処理装置の実際の消費電力である。
性能対電力効率５０２７は、実際の性能と消費電力との比であり、（ＣＰＵリソース使用量５０２５の値）／（消費電力５０２６の値）によって算出される。この値は、大きいほど、少ない消費電力で高い性能が実現されるため、望ましい。
第９図Ａの例では、建物階層ＺＺ＿０１００００００００００＿００からサーバＳＶ＿１０３０２０１０５３２＿００までの領域または装置、さらにこのサーバに割り当てられた業務負荷（仮想マシン）ＶＭ＿ＸＸＸＸＸＸＸＸなどに関する最大ＣＰＵリソース使用量５０２４、ＣＰＵリソース使用量５０２５、消費電力５０２６及び性能対電力効率５０２７などの稼働情報が階層グループ毎に集約され、情報処理装置群のテーブル５０２に格納される。この例では、階層グループに含まれる情報処理装置のうち、ネットワーク装置に関するリソース使用量等の値は、情報処理装置群のテーブル５０２に格納されずに、ネットワーク装置群のテーブル５０３に格納される（第９図Ｂ参照）。第９図Ａには、区画ＺＺ＿０１０３０２００００００＿００に関する値のみが表示され、その他の値は省略されているが、実際には区画ＺＺ＿０１０３０２００００００＿００以外の領域、装置及び仮想マシンに関する値も格納される。後述する第９図Ｂ〜第９図Ｄも同様である。すなわち、区画ＺＺ＿０１０３０２００００００＿００と同じ階層に属する装置に関する値のみが表示されているが、実際には全ての装置に関する値が格納される。
第９図Ａの例では、区画ＺＺ＿０１０３０２００００００＿００に対応する最大ＣＰＵリソース使用量５０２４、ＣＰＵリソース使用量５０２５、消費電力５０２６及び性能対電力効率５０２７として、それぞれ、ξ、η、α及びａが格納されている。これは、区画ＺＺ＿０１０３０２００００００＿００内の全サーバの全ＣＰＵリソースの動作クロック数の合計値がξであり、それらのうち実際に使用されているＣＰＵリソースの量がηであり、区画ＺＺ＿０１０３０２００００００＿００内の全情報処理装置の実際の消費電力がαであることを示す。この場合、ａ＝η／αである。
第９図Ｂは、本発明の第１の実施形態の情報処理システムが保持するネットワーク装置群の階層グループ稼働情報テーブル５０３の説明図である。
ネットワーク装置群の階層グループ稼働情報テーブル５０３（以下、ネットワーク装置群のテーブル５０３とも記載する）には、コアルータＮＷ＿１０３００００００００＿０１からラックスイッチＮＷ＿１０３０２０１０５００＿０２などの階層グループ毎に最大ＮＷリソース使用量、ＮＷリソース使用量、消費電力、性能対電力効率などの稼働情報を集約したデータが格納される。
具体的には、ネットワーク装置群のテーブル５０３は、装置ＩＤ５０３１、装置呼称５０３２、階層グループＩＤ５０３３、最大ＮＷリソース使用量５０３４、ＮＷリソース使用量５０３５、消費電力５０３６及び性能対電力効率５０３７を含む。装置ＩＤ５０３１、装置呼称５０３２及び階層グループＩＤ５０３３は、それぞれ装置ＩＤ５０１１、装置呼称５０１２及び階層グループＩＤ５０１３と同様であるため、それらについての説明は省略する。
最大ＮＷリソース使用量５０３４は、各階層グループ内のネットワーク装置のネットワークリソースの使用量の最大値であり、例えば、そのネットワーク装置の帯域の値である。一つの階層グループ内に複数のネットワーク装置がある場合、それらのネットワーク装置の帯域の合計値が使用されてもよい。ＮＷリソース使用量５０３５は、実際に使用されているネットワークリソースの量である。第９図Ｂにおいて、ネットワーク装置の消費電力５０３６は、対応する階層グループの情報処理装置の消費電力５０２６に含まれている。情報処理性能の一因としてネットワーク性能を考慮し、ここでは性能対電力効率を、ネットワーク装置の消費電力５０３６ではなく、情報処理装置の消費電力５０２６に基づいて計算している。
性能対電力効率５０３７は、ネットワーク装置の実際の性能と情報処理装置の消費電力との比であり、（ＮＷリソース使用量５０３５の値）／（消費電力５０２６の値）によって算出される。この値は、大きいほど、少ない消費電力で高いネットワーク性能が実現されるため、望ましい。
第９図Ｂの例では、区画ＺＺ＿０１０３０２００００００＿００内の区画スイッチＮＷ＿０１０３０２００００００＿０１に対応する最大ＮＷリソース使用量５０３４、ＮＷリソース使用量５０３５及び性能対電力効率５０３７として、それぞれ、ζ、ν及びｂが格納されている。この場合、ｂ＝ν／αである。
第９図Ｃは、本発明の第１の実施形態の情報処理システムが保持する給電設備装置群の階層グループ稼働情報テーブル５０４の説明図である。
給電設備装置群の階層グループ稼働情報テーブル５０４（以下、給電設備装置群のテーブル５０４とも記載する）には、最大給電能力、給電能力、給電損失及び電力感度などの階層グループ毎の稼働情報データが格納される。
具体的には、給電設備装置群のテーブル５０４は、装置ＩＤ５０４１、装置呼称５０４２、階層グループＩＤ５０４３、最大給電能力５０４４、給電能力５０４５、給電損失５０４６及び電力感度５０４７を含む。装置ＩＤ５０４１、装置呼称５０４２及び階層グループＩＤ５０４３は、それぞれ装置ＩＤ５０１１、装置呼称５０１２及び階層グループＩＤ５０１３と同様であるため、それらについての説明は省略する。
最大給電能力５０４４は、各給電設備装置の給電能力の最大値である。給電能力５０４５は、実際に使用されている給電能力（すなわち、実際に供給されている電力）である。給電損失５０４６は、各給電設備装置の実際の給電損失である。
電力感度５０４７は、給電損失と情報処理装置の消費電力との比であり、（給電損失５０４６の値）／（消費電力５０２６の値）によって算出され、（１／電力変換効率−１）という式でも表わせる。この値は、小さいほど、情報処理装置の消費電力に対する給電損失が小さいため、望ましい。
第９図Ｃの例では、区画ＺＺ＿０１０３０２００００００＿００内の配電盤ＦＤ＿０１０３０２００００００＿０１に対応する最大給電能力５０４４、給電損失５０４６及び電力感度５０４７として、それぞれ、β、φ及びｃが格納されている。この場合、ｃ＝φ／αである。
第９図Ｄは、本発明の第１の実施形態の情報処理システムが保持する冷却設備装置群の階層グループ稼働情報テーブル５０５の説明図である。
冷却設備装置群のテーブル５０５は、最大冷却能力、冷却能力、冷却電力及び電力感度などの階層グループ毎の稼働情報データが格納される。
具体的には、冷却設備装置群のテーブル５０５は、装置ＩＤ５０５１、装置呼称５０５２、階層グループＩＤ５０５３、最大冷却能力５０５４、冷却能力５０５５、冷却電力５０５６及び電力感度５０５７を含む。装置ＩＤ５０５１、装置呼称５０５２及び階層グループＩＤ５０５３は、それぞれ装置ＩＤ５０１１、装置呼称５０１２及び階層グループＩＤ５０１３と同様であるため、それらについての説明は省略する。
最大冷却能力５０５４は、各冷却設備装置の冷却能力の最大値である。冷却能力５０５５は、実際に使用されている冷却能力（すなわち、実際に冷却設備装置が担っている熱負荷）である。冷却電力５０５６は、各冷却設備装置の実際の消費電力である。
電力感度５０５７は、冷却電力と情報処理装置の消費電力との比であり、（冷却電力５０５６の値）／（消費電力５０２６の値）によって算出され、（１／成績係数）という式でも表わせる。この値は、小さいほど、情報処理装置の消費電力に対する冷却電力が小さいため、望ましい。
第９図Ｄの例では、区画ＺＺ＿０１０３０２００００００＿００内の空調機ＣＬ＿０１０３０２００００００＿０１に対応する最大冷却能力５０５４、冷却電力５０５６及び電力感度５０５７として、それぞれ、γ、ψ及びｄが格納されている。この場合、ｄ＝ψ／αである。
運用管理装置４４０は、第８図に例示したような階層グループ構成情報４４６及び第９図Ａ〜第９図Ｄに例示したような階層グループ稼働情報４４７に基き、運用ポリシー４４３に従って階層グループ４１０〜４１３を制御する。運用ポリシー４４３は、情報処理システム４００の運用状況に応じて、例えば第１０図、第１１図または第１２図のフローチャートに示すような階層グループ制御手順を定める。
第１０図は、本発明の第１の実施形態において通常のイベントに対して実行される主要な制御手順の一例を示すフローチャートである。
第１０図に示すフローチャートでは、手順５１１において、運用管理装置４４０は、イベント監視４４２によって、業務計画４６１、４８１、構成情報４４６、４６３、４８２、稼働情報４４７、４６５、４８４、環境情報４８６、入力情報４６７または４８８などからイベントを検知する。ここで検知されるイベントは、例えば、監視している数値が所定の閾値を超えた（または下回った）こと等である。より具体的には、検知されるイベントは、例えば業務負荷が閾値を超えたこと、または、監視されている温度が閾値を超えたこと、等である。あるいは、新たなジョブが投入されたこと、またはジョブが終了したこと等がイベントとして検知されてもよい。
手順５１１において検知されたイベントが制御を行うべき契機であると判断された場合、手順５１２において、運用管理装置４４０は、階層グループの構成情報４４６及び稼働情報４４７に基いて、検知されたイベントが発生した階層グループを特定する。
次に、手順５１３において、運用管理装置４４０は、業務要件検証４５１及び業務負荷見積り４５２を実行する。すなわち、運用管理装置４４０は、業務計画４６１またはサービスレベル契約４６２を参照して、手順５１２で特定した階層グループにおける情報処理装置群の業務要件及び業務システム構成を抽出し、さらに、構成情報４６３または稼働履歴からの予測情報４６５を参照して、業務要件を満たすために必要な情報処理リソースすなわち業務負荷を見積もる。
次に、手順５１４において、運用管理装置４４０は、業務負荷割当て最適化４５３及び稼働条件最適化４５５を実行する。すなわち、運用管理装置４４０は、特定された階層グループにおいて設備装置群の稼働情報４４７を考慮しつつ、手順５１３で抽出した業務要件を満たす情報処理装置群に対して手順５１３で見積もった業務負荷の割り当ての最適解を求め、さらに、情報処理装置群の稼動条件の最適解を求める。例えば、運用管理装置４４０は、特定された階層グループに属する下位の複数の階層グループの性能対電力効率５０２７、５０３７、電力感度５０４７及び５０５７を取得し、電力感度５０４７または５０５７が比較的高く、かつ、性能対電力効率５０２７または５０３７が比較的低い階層グループの業務を、電力感度５０４７または５０５７が比較的低く、かつ、性能対電力効率５０２７または５０３７が比較的高い階層グループに移動するように、業務負荷の割り当ての最適解を求めてもよい。例えば、後述する第１２図に示す手順によって、業務負荷の移動先が決定されてもよい。
次に、手順５１５において、運用管理装置４４０は、稼働条件最適化４７３を実行する。すなわち、運用管理装置４４０は、手順５１４で求めた最適な業務負荷割当てに基く情報処理装置群の最適稼働条件を考慮して、環境解析４７１及び稼働シミュレータ４７２を利用して設備装置群の稼働条件の最適解を求める。これによって、手順５１４で求められた業務負荷割り当て及び稼動条件が適用された場合の給電系統及び冷却系統の稼動条件の最適解が求められる。
次に、手順５１６において、運用管理装置４４０は、手順５１５で求めた設備装置群の最適稼働条件を考慮しつつ、手順５１４と同様に業務負荷割当て最適化４５３及び稼働条件最適化４５５を実行する。より詳細に説明すると、手順５１５において求められた最適解が設備装置群に適用された場合、それによって電力感度５０４７及び５０５７が変更される。このため、運用管理装置４４０は、手順５１６において、変更された電力感度５０４７及び５０５７を用いて手順５１４と同じ処理を実行する。
なお、手順５１４から手順５１６における最適解を求めるための具体的な手順は、従来から知られた方法によって実現できるため、説明を省略する。
次に、手順５１７において、運用管理装置４４０は、手順５１４で求めた最適解と手順１５６で求めた最適解とを比較して、収束条件が満たされるか否か、及び、制約条件が満たされるか否かを判定する。収束条件が満たされるか否かは、例えば、手順５１４で求めた最適解と手順１５６で求めた最適解との差が所定の閾値より小さい場合に収束条件に達したと判定されてもよい。制約条件は、あらかじめ定められたものであり、例えば、ＣＰＵリソース使用量の上限、給電能力や冷却能力の上限等である。判定の結果がｎｏ（すなわち、収束条件または制約条件の少なくとも一方が満たされない場合）であれば、処理は手順５１５へ戻り、収束するまで手順５１５及び手順５１６が繰り返される。一方、判定の結果がｙｅｓ（すなわち、収束条件及び制約条件がいずれも満たされる場合）であれば、処理は手順５１８へ進む。なお、手順５１４と手順５１５を包括的またはトップダウンで最適化する場合等では収束判定を省き、手順５１７から手順５１５へ戻る繰り返しを行なわないことも可能である。
手順５１８において、運用管理装置４４０は、収束した最適解が手順５１３で求めた業務要件を満たすことを再確認する。
次に、手順５１９において、運用管理装置４４０は、情報処理装置群に対して、収束した最適解に基いて業務負荷制御実行４５４及び稼働条件制御実行４５６を行なう。これによって、求められた最適解に基く業務負荷の移動及び稼動条件の変更が実際に情報処理装置群において実行される。
次に、手順５２０において、運用管理装置４４０は、設備装置群に対して収束した最適解に基いて稼働条件制御実行４７４を行なう。これによって、求められた最適解に基く稼動条件の変更が実際に設備装置群において実行される。
次に、手順５２１において、運用管理装置４４０は、手順５１９及び手順５２０に伴って変更が生じた階層グループの構成情報４４６及び稼働情報４４７を更新し、手順５２２において処理を終了する。
こうして、第１０図に示すフローチャートによって、イベントに対して階層グループの情報処理装置群と設備装置群とを連携させた最適化制御を行なうことができる。
第１１図は、本発明の第１の実施形態において制約条件違反に対して実行される制御手順の一例を示すフローチャートである。
第１１図に示すフローチャートでは、運用管理装置４４０は、手順５３１を定期的に、または、業務計画４６１、４８１またはイベントなどに応じて開始する。
次に、手順５３２において、運用管理装置４４０は、階層グループ稼働情報４４７から情報処理装置群の消費電力及び設備装置群の最大給電能力または最大冷却能力を読み出す。例えば、第９図Ａ〜第９図Ｄの階層グループ稼働情報テーブル５０２〜５０５に示す区画ＺＺ＿０１０３０２００００００＿００の階層グループを例にとると、運用管理装置４４０は、この区画に配置された情報処理装置群の総消費電力α、この区画に対応する配電盤ＦＤ＿０１０３０２００００００＿０１の最大給電能力β、及び、この区画に含まれる空調機ＣＬ＿０１０３０２００００００＿０１の最大冷却能力γなどを読み出す。区画に配電盤が複数配置された場合、ＦＤ＿０１０３０２００００００を検索キーとして検索して、検索結果として取得された最大給電能力５０４４の総和Σβを算出すればよい。区画に複数の空調機、ラック型空調機、冷却リアドアなどが配置された場合、ＣＬ＿０１０３０２を検索キーとして検索して、検索結果として取得された最大冷却能力５０５４の総和Σγを算出すればよい。
次に、手順５３３において、運用管理装置４４０は、消費電力が最大給電能力以下または最大冷却能力以下であるか否かを判定する。第９図Ａ〜第９図Ｄの例で言えば、運用管理装置４４０は、α≦β（またはΣβ）、α≦γ（またはΣγ）が成立するか否かを判定する。
手順５３３の判定の結果がｙｅｓ（すなわち、消費電力が最大給電能力以下であり、かつ、最大冷却能力以下）であれば、処理は手順５３４へ進む。手順５３４において、運用管理装置４４０は、設備装置群の稼動条件最適化４７３及び稼働条件制御実行４７４を行なうことによって、情報処理装置群の消費電力に合わせて給電能力及び冷却能力を最適化して給電損失及び冷却電力を最小化し、手順５３５で処理を終了する。
手順５３３の判定の結果がｎｏ（すなわち、消費電力が最大給電能力を超えるか、または、最大冷却能力を超える）であれば、第１１図の処理の対象の階層グループ内で、ブレーカの作動による電源遮断または情報処理装置の過熱のような障害がこれから発生すると予測される。このため、運用管理装置４４０は、このような障害の発生を回避するための手順を実行する。第１１図の例では、障害の発生を回避する複数の手順のうち、情報処理装置による業務の処理に影響を与えないものが優先的に実行される。
具体的には、運用管理装置４４０は、手順５３６において、給電能力または冷却能力の補助が可能か否かを判定する。例えば、処理の対象の階層グループ内に、使用可能だが現在使用されていない予備の給電設備がある場合、給電能力の補助が可能であると判定される。使用可能だが現在使用されていない予備の冷却設備がある場合、冷却能力の補助が可能であると判定される。
手順５３６の判定の結果がｙｅｓ（すなわち、給電能力または冷却能力の補助が可能）であれば、運用管理装置４４０は、手順５３７において設備装置群の補助装置を制御（例えば予備の給電設備または冷却設備の使用を開始）して手順５３２へ戻る。この場合、情報処理装置群の処理能力を維持しながら（すなわち業務に影響を与えずに）障害の発生を回避できる。
手順５３６の判定の結果がｎｏ（すなわち、給電能力または冷却能力の補助ができない）であれば、運用管理装置４４０は、手順５３８において、処理の対象の階層グループと同位の階層グループへ業務負荷を移動できるか否かを判定する。このとき、業務負荷の移動先は、例えば第１２図に示す手順によって決定されてもよい。
手順５３８の判定の結果がｙｅｓ（すなわち、業務負荷を移動できる）であれば、運用管理装置４４０は、手順５３９において情報処理装置群の業務負荷割当てを変更して手順５３２へ戻る。この場合にも、情報処理装置群の処理能力を維持しながら（すなわち業務に影響を与えずに）障害の発生を回避できる。
手順５３８の判定の結果がｎｏ（すなわち、業務負荷を移動できない）であれば、運用管理装置４４０は、手順５４０において、情報処理装置群の消費電力を制限できるか否かを判定する。例えば、情報処理装置群に含まれるサーバが、ＣＰＵのクロック周波数を低下させることによって消費電力を削減する機能を有する場合、情報処理装置群の消費電力を制限できると判定される。あるいは、ストレージ装置が、ディスクの回転数を低下させる（またはアクセスされないディスクの回転を停止させる）ことによって消費電力を削減する機能を有する場合、情報処理装置群の消費電力を制限できると判定される。
手順５４０の判定の結果がｙｅｓ（すなわち、情報処理装置群の消費電力を制限できる）であれば、運用管理装置４４０は、手順５４１において消費電力を制御して手順５３２へ戻る。この場合、情報処理装置群の処理能力が低下するため、業務が影響を受けるが、障害の発生は回避される。
手順５４０の判定の結果がｎｏ（すなわち、情報処理装置群の消費電力を制限できない）であれば、運用管理装置４４０は、手順５４２で情報処理装置群の業務負荷を抑制して手順５３２へ戻る。例えば、運用管理装置４４０は、優先度が低い業務を一旦停止し、後回しにしてもよい。この場合、業務が影響を受けるが、障害の発生は回避される。
こうして、第１１図に示すフローチャートによって、情報処理装置群の消費電力に対して設備装置群の給電能力と冷却能力を適合させ、制約条件違反による障害などを回避しつつ、設備装置群の給電損失及び冷却電力を削減できる。
第１２図は、本発明の第１の実施形態において業務負荷割当て最適化のために実行される制御手順の一例を示すフローチャートである。
第１２図に示すフローチャートでは、運用管理装置４４０は、手順５５１を定期的に、または、業務計画４６１、４８１またはイベントなどに応じて開始する。
次に、手順５５２において、運用管理装置４４０は、階層グループの階層を指定する。例えば、ある区画において、業務システムが構成されている場合、第１１図において説明したような障害の発生が予測される場合などでは、その区画に対応する階層が指定されてもよい。指定された階層が、以下に説明する第１２図の処理の対象の階層の初期値となる。
次に、手順５５３において、運用管理装置４４０は、業務要件検証４５１及び業務負荷見積り４５２を実行することによって、処理の対象の階層と同位の階層グループ間で業務負荷を移動できるか否かを判定する。例えば、あらかじめ定められた業務要件に基いて、業務負荷を移動できるか否かが判定されてもよい。業務要件とは、例えば、ある業務は必ず特定の情報処理装置を占有する、ある業務には所定の情報処理性能を保証する等の要件であり、業務の種類またはユーザとの契約等によって定められてもよい。
手順５５３の判定の結果がｙｅｓであれば、運用管理装置４４０は、手順５５４において、同位の各階層グループの情報処理装置群の性能対電力効率５０２７、５０３７、設備装置群の給電電力感度５０４７及び冷却電力感度５０５７を読み出す。例えば、第９図の区画ＺＺ＿０１０３０２００００００＿００の階層グループを例にとると、この区画に配置された情報処理装置群の性能対電力効率ａ、ネットワーク装置群の性能対電力効率ｂ、給電設備装置群の電力感度ｃ、及び冷却設備措置群の電力感度ｄなどを読み出す。例えば情報処理装置群の処理性能においてＣＰＵが支配的ならば（例えば、主にＣＰＵに負荷がかかる業務が割り当てられている場合）、性能対電力効率ａはＣＰＵリソース使用量ηと消費電力αの比η／αで表わせる。一方、ネットワークが支配的ならば（例えば、主にネットワーク装置に負荷がかかる業務が割り当てられている場合）、性能対電力効率ｂはＮＷリソース使用量νと消費電力αの比ν／αで表わせる。給電電力感度ｃは区画に対応する配電盤ＦＤ＿０１０３０２００００００＿０１の給電損失φと消費電力αの比φ／αであり、その区画に配電盤が複数配置されている場合も同様に考えることができる。冷却電力感度ｄは空調機ＣＬ＿０１０３０２００００００＿０１の冷却電力ψと消費電力αの比ψ／αであり、その区画に複数の空調機、ラック型空調機及び冷却リアドアなどが配置されている場合も同様に考えることができる。
次に、手順５５５において、運用管理装置４４０は、業務負荷割当て最適化４５３を実行することによって、性能対電力効率／（１＋給電電力感度＋冷却電力感度）の指標が高い階層グループへ優先して業務負荷を割り当てる。これによって、この指標が最も高い階層グループが選択され、その階層グループに業務負荷が割り当てられる。この指標が高いことは、情報処理装置の消費電力と給電装置の電力損失と冷却装置の消費電力との合計値に対する情報処理装置の性能が高いことを意味する。すなわち、この指標が高い階層グループほど、より少ない電力で、より重い業務負荷を処理することができるため、業務負荷の割当先として優先的に選択される。
第９図Ａ〜第９図Ｄの例では、運用管理装置４４０は、ＣＰＵへの負荷が支配的な業務であればａ／（１＋ｃ＋ｄ）、ネットワークへの負荷が支配的な業務であればｂ／（１＋ｃ＋ｄ）の指標が高い順に階層グループを順位付けする。例えば区画ＺＺ＿０１０３０２００００００＿００が最も順位の高い（すなわち最も優先度の高い）階層グループとして選ばれた場合、運用管理装置４４０は、最大ＣＰＵリソース使用量ξまたは最大ＮＷリソース使用量ζの範囲内で、区画ＺＺ＿０１０３０２００００００＿００内の情報処理装置に業務負荷を割り当てる。
次に、手順５５６において、運用管理装置４４０は、処理の対象の階層（すなわち、手順５５２で指定した階層、または、後述する手順５５８において下げられた階層）が最下位の階層であるか否かを判定する。
手順５５６の判定の結果がｙｅｓであれば、手順５５７において処理が終了する。
手順５５３の判定の結果がｎｏである場合、及び、手順５５６の判定の結果がｎｏである場合、運用管理装置４４０は、手順５５８において、処理の対象の階層グループの階層を、処理の対象の階層の一つ下位に下げる。その後、処理は手順５５３へ戻って業務負荷割当て最適化４５３が繰り返され、最終的に業務負荷を割り当てる情報処理装置が特定される。なお、手順５５３において処理の対象が最下位階層であると判定されたにもかかわらず業務負荷を移動できない場合は例外的にフローを終了する。
こうして、第１２図に示すフローチャートによって、情報処理装置群の消費電力に、設備装置群の給電損失及び冷却電力を合わせた総電力を最小化する業務負荷割当ての最適解を求めることができる。
第７図から第１２図に示す情報処理システム４００の運用管理方法によれば、運用管理４４０の階層グループ構成機能４４５によって階層グループ４１０〜４１３が構成され、階層グループの構成情報４４６及び稼働情報４４７に基いて、階層グループ４１０〜４１３毎に情報処理装置群４２０〜４２３及び設備装置群４３０〜４３３が制御機能４５０及び４７０によって最適化制御される。これによって、情報処理装置群と設備装置群とを含む情報処理システム４００全体の総消費電力当たりの情報処理性能を向上させることができる。
第８図に示す構成情報テーブル５０１の例及び第９図Ａ〜第９図Ｄに示す稼働情報テーブル５０２〜５０５の例は、階層系統を明確にして階層グループ毎の制御を容易にするが、テーブル構成及びデータ内容などはデータベース設計または制御対象などに応じて改変してもよい。また、第１０図、第１１図及び第１２図に示す制御手順の例は基本運用における効率的な運用ポリシーを提供するが、業務内容または運用状況などに応じて適宜に変更または新たな運用ポリシーを追加し、それを運用ポリシー４４３へ登録してもよい。
なお、運用管理装置４４０は、例えば第１図に示すようなプロセッサ５２、メモリ５３、ディスク（図示省略）、インターフェース５１などを備えるサーバとして実施することができ、統合運用管理基盤４４１及び階層グループ制御機能４４４などはメモリに格納されたプログラム（例えば階層グループ稼動情報収集プログラム５４及び階層グループ制御プログラム５５）として実施することができる。したがって、上記の説明において運用管理装置４４０内の各機能が実行する処理は、実際にはメモリ５３に格納されたプログラムを実行するプロセッサ５２によって実行される。情報処理装置群４２０〜４２３及び設備装置群４３０〜４３３のインターフェースとしてイーサネットを採用し、これらの監視及び稼働制御にはＳＮＭＰを利用するのが望ましい。情報処理装置群４２０〜４２３が仮想化リソースプールを構成する場合には、業務負荷制御実行４５４、構成監視４６４及び稼働監視４６６などに仮想化ソフトウェアを活用することができる。
第１３図は、本発明の第１の実施形態の情報処理システムの運用管理方法を説明する階層グループ構成図である。
第１３図において、階層グループは上位から順に第１階層のＨ１（６００）、第２階層のＨ２ａ（６１０）、第３階層のＨ３ａ（６２０）、Ｈ３ｂ（６２１）、第４階層のＨ４ａ〜Ｈ４ｄ（６３０〜６３３）、第５階層のＨ５ａ〜Ｈ５ｈ（６４０〜６４７）、及び第６階層のＨ６ａ〜Ｈ６ｘ（６５０〜６５７）などから成る。
階層グループ間の包含関係は第１３図に示す通りである。すなわち、Ｈ５ａ（６４０）がＨ６ａ〜Ｈ６ｃ（６５０）を含み、Ｈ５ｂ（６４１）がＨ６ｄ〜Ｈ６ｆ（６５１）を含み、Ｈ５ｃ（６４２）がＨ６ｇ〜Ｈ６ｉ（６５２）を含み、Ｈ５ｄ（６４３）がＨ６ｊ〜Ｈ６ｌ（６５３）を含み、Ｈ５ｅ（６４４）がＨ６ｍ〜Ｈ６ｏ（６５４）を含み、Ｈ５ｆ（６４５）がＨ６ｐ〜Ｈ６ｒ（６５５）を含み、Ｈ５ｇ（６４６）がＨ６ｓ〜Ｈ６ｕ（６５６）を含み、Ｈ５ｈ（６４７）がＨ６ｖ〜Ｈ６ｘ（６５７）を含む。Ｈ４ａ（６３０）がＨ５ａ（６４０）及びＨ５ｂ（６４１）を含み、Ｈ４ｂ（６３１）がＨ５ｃ（６４２）及びＨ５ｄ（６４３）を含み、Ｈ４ｃ（６３２）がＨ５ｅ（６４４）及びＨ５ｆ（６４５）を含み、Ｈ４ｄ（６３３）がＨ５ｇ（６４６）及びＨ５ｈ（６４７）を含む。Ｈ３ａ（６２０）がＨ４ａ（６３０）及びＨ４ｂ（６３１）を含み、Ｈ３ｂ（６２１）がＨ４ｃ（６３２）及びＨ４ｄ（６３３）を含み、Ｈ２ａ（６１０）がＨ３ａ（６２０）及びＨ３ｂ（６２１）を含み、Ｈ１（６００）がＨ２ａ（６１０）を含む。
階層グループＨ１（６００）及びその下位の階層グループは、例えば、第７図の階層グループ４１０及びその下位の階層グループに相当する。階層グループＨ１（６００）には運用管理装置（例えば第７図の運用管理装置４４０）が接続されるが、第１３図では省略されている。
第１０図〜第１２図に示すような運用ポリシーが適用される場合、これらの階層グループに対して、階層グループ自身の運用手順に加え、上位、同位または下位の階層グループへ通知または指示を送信する手順と、上位、同位または下位の階層グループから受信する通知または指示に対する手順を定めておくことによって、階層的な制御を行なえる。
例えばＨ４ａ（６３０）の業務負荷の移動先を探索してＨ４ｃ（６３２）へ割り当てる場合を想定すると、運用ポリシーによって幾つかの階層的な探索経路が有り得る。例えば探索経路６６０では、運用管理装置４４０は、最上位のＨ１（６００）から探索を開始し、順に下位の階層グループを探索し、Ｈ２ａ（６１０）及びＨ３ｂ（６２１）が移動可能先を包含することを割り出し、最終的に移動可能先であるＨ４ｃ（６３２）へ業務負荷を割り当てる。なお、移動可能先とは、Ｈ４ａ（６３０）の業務負荷の移動先になり得る階層グループ、さらに言い換えると、その業務負荷を追加できる階層グループである。階層グループが業務負荷の移動先になり得るか否かは、第１０図〜第１２図において説明した手順によって判定されてもよい。例えば、ある階層グループに業務負荷を追加しても制約条件に違反せず（第１０図の手順５１７参照）、かつ、消費電力が最大能力を超えない場合（第１１図の手順５３３参照）、その階層グループが業務負荷の移動先になり得ると判定されてもよい。あるいは、第１２図の手順５５５に示す指標が所定の閾値より高い階層グループが業務負荷の移動先になり得ると判定されてもよい。
経路６６１では、運用管理装置４４０は、Ｈ４ａ（６３０）から探索を開始し、その上位のＨ３ａ（６３０）、さらにその上位のＨ２ａ（６１０）まで順次遡って探索する。その結果、Ｈ２ａ（６１０）内に移動可能先があると判定した場合、運用管理装置４４０は、Ｈ２ａ（６１０）の下位のＨ３ｂ（６２１）及びさらにその下位のＨ４ｃ（６３２）を順次探索し、移動可能先であるＨ４ｃ（６３２）に業務負荷を割り当てる。
経路６６２では、運用管理装置４４０は、Ｈ４ａ（６３０）から探索を開始し、次にＨ４ｂ（６３１）を探索し、以後同様にＨ４ａ（６３０）と同位の階層グループを順次探索し、Ｈ４ｃ（６３２）が移動可能先であると判定する。
探索経路６６０、６６１または６６２などのいずれが効率的であるかは、情報処理装置群及び設備装置群の構成、業務システムの構成、及び業務要件などに依存するため、探索範囲が広範と予想される場合には経路６６０を選択し、近傍と予想される場合には経路６６１または経路６６２を選択するなど、運用ポリシーによって制御すればよい。また、日常的な業務とは別に突発的な業務または保守作業のための退避先となる階層グループを運用ポリシーによって予め設定しておけば、探索する手間を省くことができる。
第１３図において、例えば業務システム６７０がＨ５ａ（６４０）〜Ｈ５ｃ（６４２）へ、業務システム６７１がＨ５ｄ（６４３）の一部のＨ６１などへ、業務システム６７２がＨ５ｅ（６４４）へ、業務システム６７３がＨ５ｆ（６４５）の一部のＨ６ｑ、Ｈ６ｒなどへ、業務システム６７４がＨ５ｇ（６４６）とＨ５ｈ（６４７）を跨ってＨ６ｓ、Ｈ６ｔ、Ｈ６ｖ、Ｈ６ｗへ割り当てられている場合を想定する。なお、一つの業務システムは、一つの業務または相互に関連する複数の業務を実行するために割り当てられた情報処理装置の物理リソースまたは仮想リソースに相当する。その場合、業務システムへの情報処理装置または仮想マシン等の割り当ては第７図Ａに示す構成情報４６３に格納されており、業務システムと階層グループとは構成情報４６３と階層グループ構成情報４４６により対応付けられる。
例えば情報処理リソースプールでは、業務システムの要件に応じて情報処理装置群または仮想リソースが動的に配分されるが、ミッションクリティカルやベストエフォートなどの業務サービスに応じて、情報処理装置群の処理性能、リソース使用量、動作ステート、冗長性などに対する要件と、それに伴って設備装置群に対する能力裕度、冗長性などの要件も変わる。このため、階層グループと業務システム双方の観点から情報処理装置群と設備装置群を制御する必要がある。第１３図に示すように業務グループが割り当てられる場合、運用管理装置４４０は、業務システム毎に情報処理装置群の稼働情報を収集し、階層グループと業務システムとの構成の対応関係と両者の稼働情報に基いて情報処理装置群及び設備装置群を制御する。業務システムはそれを包含する階層グループから制御することによって、業務システム全体を見渡すように稼働情報を抽出し、業務要件を満足するように運用し易くなる。例えば、業務システム６７０は階層グループＨ３ａ（６２０）から、業務システム６７１はＨ５ｄ（６４３）から、業務システム６７２はＨ５ｅ（６４４）から、業務システム６７３はＨ５ｆ（６４５）から、業務システム６７４はＨ４ｄ（６３３）から制御すればよい。
第１３図を参照して説明した情報処理システムの運用管理方法によれば、運用ポリシーとして階層グループ相互の運用手順を定めることによって効率的に階層制御を行なうことができ、業務システムを階層グループに対して位置付けることによって業務サービスと運用効率を両立して管理することができる。なお、運用ポリシー及び業務システム構成は、階層グループ構成及び業務要件などに応じて適合させるべきであり、ここに示した探索経路６６０〜６６２の例及び業務システム６７０〜６７４の例に限定されるものではない。
第１４図Ａ〜第１４図Ｄは、本発明の第１の実施形態の情報処理システムの運用管理方法を説明するグラフィカルユーザインターフェース画面である。
情報処理システム統合運用管理の表示画面７００は、大別して、メニューバー７０１、情報処理システム構成の表示領域７０２、階層グループ稼働情報の表示領域７０４及び階層グループ稼働遷移グラフの表示領域７０７から成る。
情報処理システム構成の表示領域７０２には、階層グループの構成が階層的にツリー表示される。この表示画面７００は、運用管理装置４４０の表示装置（図示省略）によって表示される。システムの運用管理者が「＋」ボックスを操作するとツリーが展開して下位の階層グループが表示され、「−」ボックスを操作するとツリーが上位の階層グループに圧縮される。「＋」ボックス及び「−」ボックスの操作は、例えば、運用管理装置４４０の入力装置（図示省略）を操作すること（例えばマウスをクリックすること）である。後述するチェックボックスのチェック等、本実施形態における表示画面７００上の他の操作についても同様である。
ツリーに情報処理装置群、給電設備装置群及び冷却設備装置群をそれぞれ表示するか否かは、領域７０３にある階層グループ表示のチェックボックスを操作することによって選択できる（第１４図Ｂでは全てチェックされている）。ツリーにあるチェックボックスをチェックすると、選択した階層グループの稼働情報が表示領域７０４及び７０７に表示される（第１４図Ｂではラック１とラック２がチェックされている）。
階層グループ稼働情報の表示領域７０４内の領域７０５には、表示領域７０２で選択した階層グループに関する稼働情報がテーブル形式で表示される。テーブルの表示項目とその表示項目の時間範囲は、領域７０６表示された項目選択及び時間選択のプルダウンメニューから選べる。第１４図Ｃでは、表示項目としてＣＰＵ使用量、ＣＰＵ使用率、メモリ使用率、ＩＴ消費電力、設備電力及び性能対電力効率が選択され、時間範囲として履歴−００：００、予測＋００：００が選択されて現在値が表示されている。履歴として指定された時刻と予測として指定された時刻とが一致しない場合にはその時間範囲の平均値、双方が一致する場合にはその時刻の瞬時値が表示される。
階層グループ稼働遷移グラフの表示領域７０７内の領域７０８には、表示領域７０２で選択した階層グループに関する稼働情報の遷移グラフが表示される。グラフの縦軸と時間範囲は、領域７０９に表示された項目選択及び時間選択のプルダウンメニューから選べる。第１４図Ｄでは、左側の縦軸にＣＰＵ使用率、右側の縦軸に総電力〔ＩＴ＋給電＋冷却〕が選択され、時間範囲として履歴−２４時間から予測＋２４時間が選択されている。グラフの−側が履歴値、０が現在値、＋側が予測値を示す。
領域７０５に表示されているＣＰＵ使用量は、ラック１またはラック２に搭載された複数台のサーバのＣＰＵリソース使用量の合計値である。第１４図ＤではＣＰＵリソース使用量が、動作クロック周波数にＣＰＵ使用率を掛けた値によって表示され、サーバ間の性能が異なる場合には規格化される。性能対電力効率は、ＣＰＵ使用量をＩＴ消費電力と設備電力の合計値すなわち総電力で割った値である。領域７０５の性能対電力効率、及び、領域７０８のＣＰＵ使用率及び総電力に関してラック１とラック２とを比較すると、ラック１の方がラック２より性能対電力効率が高く、総電力が小さい。この場合、ラック１のＣＰＵ使用率にはまだ余裕があるため、ラック２の業務負荷をラック１へ移動した方が省電力化に有利であると判定される。
このように、階層グループ稼働情報７０４及び階層グループ稼働遷移グラフ７０７から、運用管理を見直すべき階層グループと、それに属する情報処理装置群及び設備装置群を発見することができる。見直しを実施したい場合、運用管理者は、領域７０９内の自動実行ボタンを操作してもよい。あるいは、運用管理者は、手動実行ボタンを操作して、業務（負荷）割当て最適化、ＩＴ稼働制御最適化、給電制御最適化または冷却制御最適化を行なって、領域７０８に表示されるグラフの予測結果を確認し、必要に応じて業務負荷制御実行、ＩＴ稼働制御実行、給電制御実行または冷却制御実行を行なう。
第１４図Ａ〜第１４図Ｄを参照して説明した情報処理システムの運用管理方法によれば、情報処理システム統合運用管理のグラフィカルユーザインターフェース画面７００を用いることによって、階層グループ毎の運用状況を視覚的に把握し、運用管理上の問題点を早期に発見して対処できる。このため、運用管理者を援けて運用効率を向上できる効果がある。この運用管理方法においては、階層グループ毎の構成情報と稼働情報を対応付けて表示することが重要であり、この効果は第１４図Ａ〜第１４図Ｄに示した画面構成そのものに限定されない。
また、第１３図で説明したように業務システムを階層グループに対応付け、領域７０２のツリーに業務システムを加え、領域７０５のテーブルと領域７０８のグラフに業務システムの稼働情報を表示できるようにすれば、第１４図Ａ〜第１４図Ｄに示す方法は、階層グループと業務システム双方を連携させた運用管理を実現でき、業務サービスと運用効率の向上に貢献できる。さらに、業務システムに対しては、性能対電力効率の代わりに、業務システムに関わる情報処理装置群及び設備装置群の消費電力量（電力×時間）に対する業務処理のターンアラウンドタイムまたは業務負荷量（負荷×時間）など、性能対エネルギー効率を生産性指標として表示すれば有用である。
（第２の実施形態）
第１５図は、本発明の第２の実施の形態の情報処理システムの運用管理方法を説明するシステム構成図である。
実施の形態８の情報処理システム８００（敷地）は、区画８１０単位で配置されたコンテナ型データセンタ８２０の集合体から成る。区画８１０は、それぞれ、四台のコンテナ型データセンタ８２０、これらへ給電する無停電電源などの給電設備８３０、及び、これらへ冷媒を供給する冷凍機などの冷却設備８４０から成る。第１５図では省略されているが、運用管理センタ８０１に第１の実施形態の運用管理装置４４０と同様の運用管理装置が配置される。運用管理装置がコンテナ型データセンタ８２０を管理し、変電設備８０２が給電設備８３０へ電力を供給する。コンテナ型データセンタ８２０では情報処理装置群のラック８２１とラック型空調機８２２が二列のラック列を成し、コールドアイル８２３及び前室８２４を備える。
階層グループは上位から敷地８００に対応する第１階層、区画８１０に対応する第２階層、コンテナ型データセンタ８２０に対応する第３階層、ラック８２１に対応する第４階層、ラック８２１に搭載される情報処理装置に対応する第５階層から成り、変電設備８０２は第１階層、給電設備８３０及び冷却設備８４０は第２階層、ラック型空調機８２２は第３階層に対応付けられる。コンテナ型データセンタ８２０の内部は比較的狭い閉鎖空間であり、区画８１０に対応する空調機は存在しないため、第２の実施形態ではラック列に対応する階層グループを設けていない。
第２の実施形態の情報処理システムの運用管理方法によれば、コンテナ型データセンタ８２０から成る情報処理システム８００であっても階層グループを定義することによって、これまでに説明した第１の実施形態のような建物内部のデータセンタと同様に階層的な運用管理を行なうことができ、敷地８００の拡張またはコンテナ型データセンタ８２０の増設などに対しても柔軟に適応できることは自明である。
（第３の実施形態）
第１６図は、本発明の第３の実施の形態の情報処理システムの運用管理方法を説明するシステム構成図である。
第３の実施形態の情報処理システム９００は、広域ネットワーク９０１と狭域ネットワーク９１３〜９１５とを経由してつながる情報処理装置群から成る。階層グループは上位から順に第１階層に対応するＨ１（９００）、第２階層に対応するＨ２ａ〜Ｈ２ｃ（９１０〜９１２）、第３階層に対応するＨ３ａ〜Ｈ３ｆ（９２０〜９２６）から成る。
階層グループＨ３ａ（９２０）は、スイッチ９３０とそれにつながる情報処理装置群９３１〜９３３から成る。階層グループＨ３ｂ（９２１）は、スイッチ９４０とそれにつながる情報処理装置群９４１〜９４４から成る。階層グループＨ３ｃ（９２２）は、スイッチ９５０とそれにつながる情報処理装置群９５１及び９５２から成る。階層グループＨ３ｄ（９２４）は、スイッチ９６０、９６２及び９６４とそれにつながるラック型情報処理装置９６１、９６３、及び情報処理装置群９６５〜９６９から成る。階層グループＨ３ｅ（９２５）は、スイッチ９７０及び９７２とそれにつながる情報処理装置群９７１及び９７３〜９７５から成る。階層グループＨ３ｆ（９２６）は、スイッチ機能を備える情報処理装置群９８０〜９８４から成る。
第３の実施形態の情報処理システムの運用管理方法によれば、広域ネットワーク９０１と狭域ネットワーク９１３〜９１５を経由して接続され、空間的に分散した情報処理システム９００に対して、これまでに説明した実施の形態と同様の階層グループを構成することによって、階層グループ毎の稼働情報に基いて階層的に制御を行なうことができる。このような方法は、例えば広域に分散したデータセンタまたは大規模分散システムなどの運用管理にも同様に適用することができ、本発明の効果は情報処理システムのアークテクチャに依らず発揮され得る。
【図１】
2011030469.tif 000003
【図２Ａ】
2011030469.tif 000004
【図２Ｂ】
2011030469.tif 000005
【図３】
2011030469.tif 000006
【図４】
2011030469.tif 000007
【図５】
2011030469.tif 000008
【図６】
2011030469.tif 000009
【図７Ａ】
2011030469.tif 000010
【図７Ｂ】
2011030469.tif 000011
【図８】
2011030469.tif 000012
【図９Ａ】
2011030469.tif 000013
【図９Ｂ】
2011030469.tif 000014
【図９Ｃ】
2011030469.tif 000015
【図９Ｄ】
2011030469.tif 000016
【図１０】
2011030469.tif 000017
【図１１】
2011030469.tif 000018
【図１２】
2011030469.tif 000019
【図１３】
2011030469.tif 000020
【図１４Ａ】
2011030469.tif 000021
【図１４Ｂ】
2011030469.tif 000022
【図１４Ｃ】
2011030469.tif 000023
【図１４Ｄ】
2011030469.tif 000024
【図１５】
2011030469.tif 000025
【図１６】
2011030469.tif 000026
【国際調査報告】
2011030469.tif 000027
2011030469.tif 000028
2011030469.tif 000029