(57)【特許請求の範囲】
【請求項１】
複数のストレージ装置及び複数のホスト計算機における処理を管理計算機によって管理するシステム管理方法であって、
前記管理計算機は、所定の管理情報を格納するメモリと、前記所定の管理情報を前記メモリから読み出して、前記所定の管理情報を用いて前記ホスト計算機及び前記ストレージ装置における処理を管理するプロセッサと、を有し、
前記複数のホスト計算機の少なくとも１つでは、少なくとも１つの仮想マシンが稼働しており、
第１のストレージ装置の記憶領域と第２のストレージ装置の記憶領域との間でコピーペアが組まれており、前記第１のストレージ装置の記憶領域に格納されたデータの複製が前記第２のストレージ装置の記憶領域に格納されており、
前記システム管理方法は、
前記プロセッサが、前記第１のストレージ装置と前記第２のストレージ装置の記憶領域間のコピーペア状態が変更されたことを契機に、第１のホスト計算機の前記仮想マシンのアクセス先を、当該第１のホスト計算機と第１種通信網を介して接続される前記第１のストレージ装置の記憶領域から、前記第１種通信網よりも狭帯域の第２種通信網を介して前記第１のホスト計算機と接続される前記第２のストレージ装置の記憶領域に切り替えるステップと、
前記プロセッサが、前記第２種通信網のトラフィックが前記第２種通信網の輻輳閾値以下となるように、前記第１のホスト計算機で稼働する複数の仮想マシンの中から、前記第２のストレージ装置と前記第１種通信網を介して直接接続される第２のホスト計算機に移行すべき仮想マシンを決定するステップと、
前記プロセッサが、前記第２のストレージ装置のアクセス元である前記第１のホスト計算機の仮想マシンであって、前記第２のホスト計算機に移行すべきと決定された仮想マシンを、前記第１のホスト計算機から、前記第２のホスト計算機に移行するステップと、
を有することを特徴とするシステム管理方法。
【請求項２】
請求項１において、
前記記憶領域の切り替えの契機となる前記コピーペア状態の変更は、前記コピーペアが解除されることであることを特徴とするシステム管理方法。
【請求項３】
請求項１において、
前記記憶領域の切り替えの契機となる前記コピーペア状態の変更は、前記コピーペアの正副を前記第１のストレージ装置と前記第２のストレージ装置の記憶領域間で入れ替えることであることを特徴とするシステム管理方法。
【請求項４】
請求項１において、
前記仮想マシンの移行範囲を規定するクラスタが構成されており、
前記プロセッサは、前記仮想マシンを前記第２のホスト計算機に移行する場合、前記第１のホスト計算機上の前記仮想マシンを前記クラスタから除外し、前記移行された前記第２のホスト計算機上の仮想マシンを前記クラスタに追加することを特徴とするシステム管理方法。
【請求項５】
請求項１において、
前記プロセッサは、前記仮想マシンに用いるリソース量を追加してもリソース量に余裕を有するホスト計算機を前記仮想マシンの移行先の前記第２のホスト計算機として選択することを特徴とするシステム管理方法。
【請求項６】
請求項２において、
前記プロセッサは、前記第１のホスト計算機の負荷が所定の閾値を超えていることに応答して、前記第１のホスト計算機で稼働する仮想マシンを前記第２のホスト計算機に移行すると共に、前記アクセス先を主ボリュームから副ボリュームに変更することを特徴とするシステム管理方法。
【請求項７】
請求項１において、
前記第１種通信網は狭域通信網であり、前記第２種通信網は広域通信網であることを特徴とするシステム管理方法。
【請求項８】
複数のストレージ装置と、複数のホスト計算機と、管理計算機と、を有する計算機システムであって、
前記管理計算機は、所定の管理情報を格納するメモリと、前記所定の管理情報を前記メモリから読み出して、前記所定の管理情報を用いて前記ホスト計算機及び前記ストレージ装置における処理を管理するプロセッサと、を有し、
前記複数のホスト計算機の少なくとも１つでは、少なくとも１つの仮想マシンが稼働しており、
第１のストレージ装置の記憶領域と第２のストレージ装置の記憶領域との間でコピーペアが組まれており、前記第１のストレージ装置の記憶領域に格納されたデータの複製が前記第２のストレージ装置の記憶領域に格納されており、
前記プロセッサは、
前記第１のストレージ装置と前記第２のストレージ装置の記憶領域間のコピーペア状態が変更されたことを契機に、第１のホスト計算機のアクセス先を、当該第１のホスト計算機と第１種通信網を介して接続される前記第１の前記仮想マシンのストレージ装置の記憶領域から、前記第１種通信網よりも狭帯域の第２種通信網を介して前記第１のホスト計算機と接続される前記第２のストレージ装置の記憶領域に切り替える処理と、
前記第２種通信網のトラフィックが前記第２種通信網の輻輳閾値以下となるように、前記第１のホスト計算機で稼働する複数の仮想マシンの中から、前記第２のストレージ装置と前記第１種通信網を介して直接接続される第２のホスト計算機に移行すべき仮想マシンを決定する処理と、
前記第２のストレージ装置のアクセス元である前記第１のホスト計算機の仮想マシンであって、前記第２のホスト計算機に移行すべきと決定された仮想マシンを、前記第１のホスト計算機から、前記第２のホスト計算機に移行する処理と、
を実行することを特徴とする計算機システム。
【請求項９】
請求項８において、
前記記憶領域の切り替えの契機となる前記コピーペア状態の変更は、前記コピーペアが解除されることであることを特徴とする計算機システム。
【請求項１０】
請求項８において、
前記記憶領域の切り替えの契機となる前記コピーペア状態の変更は、前記コピーペアの正副を前記第１のストレージ装置と前記第２のストレージ装置の記憶領域間で入れ替えることであることを特徴とする計算機システム。
【請求項１１】
請求項８において、
前記仮想マシンの移行範囲を規定するクラスタが構成されており、
前記プロセッサは、前記仮想マシンを前記第２のホスト計算機に移行する場合、前記第１のホスト計算機上の前記仮想マシンを前記クラスタから除外し、前記移行された前記第２のホスト計算機上の仮想マシンを前記クラスタに追加することを特徴とする計算機システム。
【請求項１２】
請求項８において、
前記プロセッサは、前記仮想マシンに用いるリソース量を追加してもリソース量に余裕を有するホスト計算機を前記仮想マシンの移行先の前記第２のホスト計算機として選択することを特徴とする計算機システム。
【請求項１３】
請求項９において、
前記プロセッサは、前記第１のホスト計算機の負荷が所定の閾値を超えていることに応答して、前記第１のホスト計算機で稼働する仮想マシンを前記第２のホスト計算機に移行すると共に、前記アクセス先を主ボリュームから副ボリュームに変更することを特徴とする計算機システム。
【請求項１４】
請求項８において、
前記第１種通信網は狭域通信網であり、前記第２種通信網は広域通信網であることを特徴とする計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、システム管理方法、及び計算機システムに関し、例えば、計算機システムにおけるストレージ装置のボリュームとそれにアクセスするサーバの管理に関するものである。
【背景技術】
【０００２】
近年、計算機で取り扱われる情報量は飛躍的に増大し、これに応じて情報処理を行うホストやストレージをホスティングするデータセンタの大規模化が進んでいる。データセンタに設置されるサーバ、ストレージシステム、ネットワークは、それぞれ個々の装置毎に管理コストを削減する技術進化がなされてきた。
【０００３】
サーバは、それ単体の高性能化と併せて、高集積なブレード型の装置に仮想化機構を搭載し、複数サーバ間で負荷分散可能なアーキテクチャが採用され始めている。ストレージシステムは、多数の小型ストレージに大容量データを格納するのではなく、高性能、高信頼、高可用な大型ストレージシステムに大容量データを集約して格納する設計が行われている。
【０００４】
大規模ストレージシステムを実現する技術の一つに、ストレージエリアネットワークがある。１台以上のストレージシステムと複数のホスト計算機をストレージエリアネットワークにより接続し、複数のホスト計算機が、１台以上のストレージシステムからなる大容量記憶システムを共有する計算機システムが広く普及している。
【０００５】
このような計算機システムでは、記憶資源や計算機資源を後から追加・削除・交換することが容易であり、拡張性に優れるという利点がある。ＳＡＮに接続するストレージシステムには、ＲＡＩＤ（Redundant Array of Independent Disks）構成された記憶装置を有するストレージシステムが一般的によく利用される。
【０００６】
さらに、ストレージシステムの障害や、データセンタ全体の障害に対応して、複数のストレージ装置の間でデータをコピーし、複数のサイトで複製されたデータを保持しておくことができるリモートコピー技術が広く普及している。
【０００７】
特許文献１は、複数の物理サーバ、ストレージ装置がある計算機システムにおいて、負荷の偏りが発生した際に、システム全体としての性能を考慮したうえで、ボリュームの移行と仮想サーバの移行を連携し、性能劣化時に仮想サーバからストレージのディスクＩ／Ｏパス毎にマイグレーション先を決定し、まとめてマイグレーションする方法を開示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許公報８１２７０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
災害時のデータセンタの障害に備えて、データセンタが広域にわたって構築され、ストレージのデータがデータセンタ間で複製されていく中で、データ保護だけではなくてホスト計算機で実行されている業務についても継続したいというニーズや、データセンタ間の負荷の偏りも業務を継続しつつ是正したいというニーズが高まっている。一方、データセンタ間をつなぐ広域網はデータセンタ内のネットワーク（狭域網）に比べて帯域が狭く、ストレージボリュームへアクセスするサイトとアクセス元のホスト計算機のサイトが異なると広域網がボトルネックになって性能が低下するという課題がある。特に、通常時には広域網を圧迫しないようにデータセンタの設計を行っていたとしても、ストレージ装置に障害が発生して、ストレージだけが他のサイトにフェイルオーバーした時に、仮想サーバからのアクセスは広域網を経由することになり、性能低下につながるという課題がある。
【００１０】
この点、特許文献１では、仮想サーバが動作しているホスト計算機と仮想ディスクが格納されているストレージ装置がある環境において、ホスト計算機やストレージ装置の性能が劣化した時に、仮想サーバとボリュームを性能負荷が低い部位に移行することで、性能を改善するという方法が開示されている。
【００１１】
しかしながら、特許文献１では、性能劣化を検出してから仮想サーバとボリュームを移行するため、一定時間の性能劣化が避けられず、また、移行先を決めてからデータのコピーを行うため、性能改善までの時間も長くかかるという課題がある。また、性能障害の対策は取れるが、単純な装置障害の場合には、移行元（切替先）のボリュームのデータが読み込めない可能性があり、可用性向上のための対策にはならないという課題がある。
【００１２】
なお、上述のようにフェイルオーバーする場合、サーバからボリュームへのアクセス経路を変更して直ぐには性能低下する場合は少なく、使用していくうちに広域網がボトルネックになっていくことになる。従って、この場合、ボリュームを移行し（切り替え）た後に、性能低下を検出してからサーバを別のデータセンタのホスト計算機に移行することになる。しかし、この場合も性能改善までの時間が掛かってしまうという課題がある。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、広域ネットワークを介して接続される複数のストレージ装置に亘ってボリュームが複製されて格納されている環境において、障害が発生した際にも、業務の継続が可能で、性能低下時間を短縮できるようにするための技術を提供するものである。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明では、計算機システムは、複数のストレージ装置、複数のホスト計算機、及び管理計算機を含んでいる。当該管理計算機は、メモリに所定の管理情報を格納しており、当該所定の管理情報を用いてホスト計算機及びストレージ装置における処理を管理する。計算機システムにおいて、第１のストレージ装置の記憶領域と第２のストレージ装置の記憶領域との間ではコピーペアが組まれており、第１のストレージ装置の記憶領域に格納されたデータの複製が第２のストレージ装置の記憶領域に格納されている。このとき、管理計算機は、第１のストレージ装置と第２のストレージ装置の記憶領域間のコピーペア状態が変更されたことを契機に、第１のホスト計算機のアクセス先を、当該第１のホスト計算機と第１種通信網を介して接続される第１のストレージ装置の記憶領域から、第２種通信網を介して接続される第２のストレージ装置の記憶領域に切り替える。そして、管理計算機は、第２のストレージ装置のアクセス元を、第１のホスト計算機から、第２のストレージ装置と第１種通信網を介して接続される第２のホスト計算機に変更する。
【発明の効果】
【００１５】
本発明の一態様によれば、複数のストレージ装置にボリュームが複製されている環境において、障害が発生した際にも業務の継続が可能で、帯域の狭い広域網のボトルネックを回避するように仮想マシン、及びボリュームを配置することで、性能低下時間を短縮することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態による計算機システム全体の概略構成例を示す図である。
【図２】第１の実施形態の管理計算機のハードウェア構成の一例を示す図である。
【図３】第１の実施形態の管理計算機の不揮発記憶デバイスの格納情報（ソフトウェア構成）の一例を示す図である。
【図４】第１の実施形態のストレージ装置のハードウェア構成の一例を示す図である。
【図５】第１の実施形態のストレージ装置の不揮発記憶デバイスの格納情報（ソフトウェア構成）の一例を示す図である。
【図６】第１の実施形態のホスト計算機のハードウェア構成の一例を示す図である。
【図７】第１の実施形態のホスト計算機の不揮発記憶デバイスが格納する情報（ソフトウェア構成）の一例を示す図である。
【図８】第１の実施形態のＳＡＮ接続装置のハードウェア構成の一例を示す図である。
【図９】第１の実施形態のＳＡＮ接続装置の不揮発記憶デバイスが格納する情報（ソフトウェア構成）の一例を示す図である。
【図１０】第１の実施形態のＬＡＮ接続装置のハードウェア構成の一例を示す図である。
【図１１】第１の実施形態のＬＡＮ接続装置の不揮発記憶デバイスが格納する情報（ソフトウェア構成）の一例を示す図である。
【図１２】第１の実施形態の管理計算機におけるホスト計算機管理テーブルの構成例を示す図である。
【図１３】第１の実施形態の管理計算機における仮想マシン管理テーブルの構成例を示す図である。
【図１４】第１の実施形態の管理計算機におけるストレージ装置機管理テーブルの構成例を示す図である。
【図１５】第１の実施形態の管理計算機におけるボリューム管理テーブルの構成例を示す図である。
【図１６】第１の実施形態の管理計算機におけるＬＡＮ接続管理テーブルの構成例を示す図である。
【図１７】第１の実施形態の管理計算機におけるＳＡＮ接続管理テーブルの構成例を示す図である。
【図１８】第１の実施形態の管理計算機における広域網管理テーブルの構成例を示す図である。
【図１９】第１の実施形態のストレージ装置におけるストレージ装置ボリューム管理テーブルの構成例を示す図である。
【図２０】第１の実施形態のストレージ装置におけるストレージ装置コピーペア管理テーブルの構成例を示す図である。
【図２１】第１の実施形態のＳＡＮ接続装置におけるＳＡＮポート接続管理テーブルの構成例を示す図である。
【図２２】第１の実施形態のＳＡＮ接続装置におけるＳＡＮポート性能管理テーブルの構成例を示す図である。
【図２３】第１の実施形態のＬＡＮ接続装置におけるＬＡＮポート接続管理テーブルの構成を示す図である。
【図２４】第１の実施形態のＬＡＮ接続装置におけるＬＡＮポート性能管理テーブルの構成を示す図である。
【図２５Ａ】第１の実施形態の計算機システムにおける論理的な構成例（１）を示す図である。
【図２５Ｂ】第１の実施形態の計算機システムにおける論理的な構成例（２）を示す図である。
【図２６】第１の実施形態のストレージ装置の障害時の処理（全体処理の概要）を説明するためのフローチャートである。
【図２７】第１の実施形態による、仮想マシンの配置を決定する処理の詳細を説明するためのフローチャートである。
【図２８】第１の実施形態による、仮想マシンを移行する処理の詳細を説明するためのフローチャートである。
【図２９】第２の実施形態による、管理計算機におけるストレージ管理テーブルの構成例を示す図である。
【図３０】第２の実施形態による、管理計算機におけるボリューム管理テーブルの構成を示す図である。
【図３１】第２の実施形態の計算機システムにおける論理的な構成例を示す図である。
【図３２】第２の実施形態による、ストレージ装置の負荷を分散する処理（全体処理の概要）を説明するためのフローチャートである。
【図３３】第２の実施形態のボリューム配置を決定する処理の詳細を説明するためのフローチャートである。
【図３４】第３の実施形態による、ホスト計算機におけるホスト計算機管理テーブルの構成例を示す図である。
【図３５】第３の実施形態の計算機システムにおける論理的な構成例を示す図である。
【図３６】第３の実施形態による、ホスト計算機の負荷を分散する処理（全体処理の概要）を説明するためのフローチャートである。
【図３７】第３の実施形態による、仮想マシン配置及びクラスタ構成を計画する処理の詳細を説明するためのフローチャートである。
【図３８】第４の実施形態による、管理計算機における仮想マシン管理テーブルの構成を示す図である
【図３９】第４の実施形態の計算機システムにおける論理的な構成例を示す図である。
【図４０】第４の実施形態による、ストレージ装置の障害時の処理（全体処理の概要）を説明するためのフローチャートである。
【図４１Ａ】ストレージ装置のボリュームのコピーペアの正ボリュームへのアクセスを基本とする場合の状態遷移を示す図である。
【図４１Ｂ】ストレージ装置のボリュームのコピーペアのいずれへのアクセスも許す場合の状態遷移を示す図である。
【発明を実施するための形態】
【００１７】
以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ番号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
【００１８】
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。また、実施形態の中で説明されている諸要素及びその組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１９】
以後の説明では「ａａａテーブル」、「ａａａリスト」等の表現にて本発明の情報を説明するが、これら情報はテーブル、リスト、ＤＢ、キュー等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「ａａａテーブル」、「ａａａリスト」等について「ａａａ情報」と呼ぶことがある。
また、各情報の内容を説明する際に、「識別情報」、「識別子」、「名」、「名前」、「ＩＤ」という表現を用いるが、これらについては互いに置換が可能である。
【００２０】
以後の説明では「プログラム」を主語として説明を行う場合があるが、プログラムは、プロセッサによって実行されることで定められた処理をメモリ及び通信ポート（通信Ｉ／Ｆ）を用いながら行うため、プロセッサを主語とした説明としてもよい。また、プログラムを主語として開示された処理は管理計算機等の計算機が行う処理としてもよい。また、プログラムの一部または全ては専用ハードウェアによって実現されてもよい。
【００２１】
以後、計算機システムを管理し、本発明の表示用情報を表示する一つ以上の計算機の集合を管理システムと呼ぶことがある。管理計算機が表示用情報を表示する場合は管理計算機が管理システムである、また、管理計算機と表示用計算機の組み合わせも管理システムである。また、管理処理の高速化や高信頼化のために複数の計算機で管理計算機と同等の処理を実現してもよく、この場合は当該複数の計算機（表示を表示用計算機が行う場合は表示用計算機も含め）が管理システムである。
【００２２】
（１）第１の実施形態
＜システム全体構成＞
図１は、本発明の第１の実施形態による計算機システム全体の概略構成例を示す図である。
図１に示すように、計算機システムは、管理計算機１と、複数のストレージ装置２Ａ及び２Ｂと、複数のホスト計算機３Ａ乃至３Ｄと、ＳＡＮ接続装置４と、ＬＡＮ接続装置５と、を有している。
【００２３】
計算機システムにおける接続装置は、入力ポートで受信したデータを解析してそのデータを送信する出力ポートを選択し、その出力ポートから受信データを送信するスイッチである。ＳＡＮ接続装置４は、例えば、ファイバチャネルスイッチであり、ＬＡＮ接続装置５は、例えばイーサネット（登録商標）スイッチである。
管理計算機１、ストレージ装置２Ａ及び２Ｂ、ホスト計算機３Ａ乃至３Ｄ、ＳＡＮ接続装置４、及びＬＡＮ接続装置５はそれぞれ、１以上のＬＡＮ通信ポートを有している。各装置（管理計算機１、ストレージ装置２、ホスト計算機３を含む）のポートが他の装置のポート（対向ポート）に接続される。対向ポートは、一般に、ケーブルで接続される。
【００２４】
ストレージ装置２、ホスト計算機３は１以上のＳＡＮ通信ポートを有しており、各装置（ストレージ装置２、ホスト計算機３を含む）のポートが他の装置のポート（対向ポート）に接続される。対向ポートには一般にケーブルで接続される。
【００２５】
ＳＡＮ接続装置４とＬＡＮ接続装置５は物理的に同一の接続装置で提供され、論理的に独立なネットワークでもよい。また、ＳＡＮ接続装置４によるネットワークはｉＳＣＳＩ（Internet Small Computer System Interface）で構成されるＩＰネットワークでもよく、ＬＡＮ接続装置５で提供されるＩＰネットワークと同一の装置で提供され、論理的に独立なネットワークでもよい。ここでは、これらのネットワークをまとめて、狭域網或いは狭域通信網という。
【００２６】
ここで、ホスト計算機３Ａ及び３Ｂは、ＳＡＮ接続装置４Ａを介してストレージ装置２Ａに接続し、ＬＡＮ接続装置５Ａで相互に通信可能な構成となっている。また、ホスト計算機３Ｃ及び３Ｄは、ＳＡＮ接続装置４Ｂを介してストレージ装置２Ｂに接続し、ＬＡＮ接続装置５Ｂで相互に通信可能な構成となっている。この時、ホスト計算機３Ａ、３Ｂ、ストレージ装置２Ａ、及びそれに接続されるＳＡＮ接続装置４ＡとＬＡＮ接続装置５Ａが設置されている場所と、ホスト計算機３Ｃ、３Ｄ、ストレージ装置２Ｂ、及びそれに接続されるＳＡＮ接続装置４ＢとＬＡＮ接続装置５Ｂが設置されている場所が遠隔であると、それぞれの場所をつなぐＳＡＮ接続回線４０Ａ（インターネットのような広域ネットワーク）、ＬＡＮ接続回線５０Ａ（インターネットのような広域ネットワーク）は、それぞれの場所の中で接続されているＳＡＮ接続回線４０、ＬＡＮ接続回線５０と比較してそれぞれ帯域が狭くてもよい。遠隔地と接続するために、エクステンダ装置が介在してもよい。
【００２７】
なお、広域ネットワーク（広域網）４０Ａ及び５０Ａで分離される、ＬＡＮ接続装置、ホスト計算機、ＳＡＮ接続装置及びストレージ装置のシステム単位は、遠隔的な別の場所に設置されていても良い（そのときサイト１及びサイト２と呼んでも良い）。或いは、それぞれのシステム単位が同一又は別の場所（同一又は別サイト）に設置され、別グループ（例えば、システムグループ１及びシステムグループ２）として管理するようにしても良い。管理計算機１は、通常、各装置から構成情報を取得し、計算機システム全体のトポロジーを把握して、計算機システム全体を構成するシステムグループ（サイト）を把握することができるようになっている。また、ここでは、同一システムグループ内はＳＡＮやＬＡＮなどの狭域網で接続され、システムグループ間は広域網で接続されているが、これに限られず、異なるシステムグループ間の通信網は同一システムグループ内の通信網よりも帯域が狭いネットワークであると定義することができる。
【００２８】
＜管理計算機の構成＞
図２は、管理計算機１のハードウェア構成例を示す図である。
管理計算機１は、プロセッサ１１と、プログラムメモリ１２と、キャッシュメモリ１３と、不揮発記憶デバイス１４と、入力デバイス１５と、画像出力デバイス１６と、ＬＡＮ通信Ｉ／Ｆ１７と、内部バス１８と、を有する。不揮発記憶装置１４は、ネットワークを介して接続された外部記憶装置でもよい。
【００２９】
管理計算機１は、不揮発記憶装置１４に格納されたＯＳやアプリケーションプログラムなどのソフトウェアをプログラムメモリ１２にロードし、プロセッサ１１がプログラムメモリ１２からそれを読みだして実行することで、所定の機能を達成する。プロセッサ１１は、複数のチップ及び複数のパッケージを含むことができる。
【００３０】
管理計算機１は、頻繁に用いるデータをキャッシュメモリ１３に一時的に格納し、処理を高速化する。管理計算機１は、キーボードやマウスなどの入力デバイス１５やディスプレイなどの画像出力デバイス１６を有し、入力デバイス１５が管理者（ユーザ）からの入力を受け付け、画像出力デバイス１６がプロセッサ１１から指示された情報を出力する。管理計算機１は、さらに、ＬＡＮ接続装置５と接続するＬＡＮ通信Ｉ／Ｆ１７を有する。
【００３１】
なお、図１の構成例においては、管理計算機１によって管理システムが構成されているが、管理システムは複数の計算機で構成してもよい。複数の計算機の１つは表示用計算機であってもよく、管理処理の高速化や高信頼化のために、複数の計算機が管理計算機と同等の処理を実行してもよい、管理システムは、ストレージシステム又は接続装置の一部の機能を含むことができる。
【００３２】
図３は、管理計算機１の不揮発記憶デバイス１４が格納している情報（ソフトウェア構成）を示す図である。
【００３３】
クラスタ構成管理プログラム１４０１は、計算機システム内のストレージ装置２、ホスト計算機３（ハイパーバイザ）とＬＡＮ接続装置５を経由して通信し、クラスタ構成の参照、ハイパーバイザに対して構成情報の設定等を行う。本発明の実施形態において、クラスタとは、仮想マシンを適宜のタイミングで移行できる範囲（ホスト計算機のグループ）を意味するものとする。
配置計画プログラム１４０２は、管理計算機内に保持するホスト計算機管理テーブル１４０７、仮想マシン管理テーブル１４０８、ストレージ装置管理テーブル１４０９、ボリューム管理テーブル１４１０、ＬＡＮ接続管理テーブル１４１２、ＳＡＮ接続管理テーブル１４１１、広域網管理テーブル１４１３などを参照し、仮想マシンやボリュームの配置を計画するプログラムである。
ホスト管理プログラム１４０３は、計算機システム内のホスト計算機３とＬＡＮ接続装置５を経由して通信し、ホストやそこで稼働する仮想マシンの状態を参照、構成情報の設定を行うプログラムである。また、ホスト管理プログラムは、各装置から性能情報を取得するプログラムでもある。
【００３４】
ストレージ管理プログラム１４０４は、計算機システム内のストレージ装置２とＬＡＮ接続装置５を経由して通信し、ストレージ装置やそこに格納されているボリュームの状態を参照、構成情報の設定を行うプログラムである。
【００３５】
ネットワーク管理プログラム１４０５は、計算機システム内のＳＡＮ接続装置４、ＬＡＮ接続装置５と、ＬＡＮ接続装置５を経由して通信し、ＳＡＮ接続状態、ＬＡＮ接続状態、広域網の状態を参照、構成情報の設定を行うプログラムである。
【００３６】
オペレーティングシステム１４０６は、各種プログラムの実行基盤であり、各種テーブルの管理基盤である。
【００３７】
なお、不揮発記憶デバイス１４は、この他、ホスト計算機管理テーブル１４０７、仮想マシン管理テーブル１４０８、ストレージ装置管理テーブル１４０９、ボリューム管理テーブル１４１０、ＬＡＮ接続装置管理テーブル１４１２、ＳＡＮ接続装置管理テーブル１４１１、広域網管理テーブル１４１３を格納する。各種テーブルの詳細な内容については図面を参照して後述する。
【００３８】
＜ストレージ装置の構成＞
図４は、ストレージ装置２のハードウェア構成例を示す図である。
ストレージ装置２は、プロセッサ２１と、プログラムメモリ２２と、キャッシュメモリ２３と、不揮発記憶デバイス２４と、画像出力デバイス２６と、ＬＡＮ通信Ｉ／Ｆ２７と、ＳＡＮ通信Ｉ／Ｆ２８と、内部バス２９と、を有する。
【００３９】
ストレージ装置２は、不揮発記憶デバイス２４に格納されたＯＳや制御プログラムなどのソフトウェアをプログラムメモリ２２にロードし、プロセッサ２１がプログラムメモリ２２からそれを読みだして実行することで、所定の機能を達成する。プロセッサ２１は、複数のチップ及び複数のパッケージを含むことができる。
【００４０】
不揮発性記憶デバイス２４は、複数の記憶ドライブを含む。記憶ドライブは、不揮発性の磁気ディスクを有するハードディスクドライブ（ＨＤＤ）、不揮発半導体メモリ（例えばフラッシュメモリ）を搭載したＳＳＤ（Solid State Drive）を含む。記憶ドライブは、ホスト計算機３から送られたデータを格納する。複数の記憶ドライブがＲＡＩＤ演算によるデータの冗長化を行うことで、１つの記憶ドライブに障害が発生した場合のデータ消失を防ぐことができる。
【００４１】
ストレージ装置２は、頻繁に用いるデータをキャッシュメモリ２３に一時的に格納し、処理を高速化する。ストレージ装置２は、キーボードやマウスなどの入力デバイス２５やディスプレイなどの画像出力デバイス２６を有し、入力デバイス２５が管理者（ユーザ）からの入力を受け付け、画像出力デバイス２６がプロセッサ２１から指示された情報を出力する。ストレージ装置２は、さらに、ＳＡＮ接続装置４と接続するＳＡＮ通信Ｉ／Ｆ２８とＬＡＮ接続装置５と接続するＬＡＮ通信Ｉ／Ｆ２７を有する。
【００４２】
図１では、簡単のため２つのストレージ装置２のみ示しているが、計算機システムは３つ以上のストレージ装置２を有していてもよい。
【００４３】
ＳＡＮ通信Ｉ／Ｆ２８には、計算機システムで一意のポートＩＤが割り当てられており、ＮＰＩＶ（N_Port ID Virtualization）又はその他の仮想化機構により、複数の仮想ポートＩＤを割り当てることが可能である。
【００４４】
ストレージ装置２のＳＡＮ通信Ｉ／Ｆ２８は、ホスト計算機３からの読み書き要求を受け付けるターゲットモードと他のストレージ装置２への読み書き要求を行うイニシエータモード両方をサポートする。ストレージ装置２は、それぞれのモードのために物理的に異なるＳＡＮ通信Ｉ／Ｆ２８を具備してもよいが、物理的に一つのＩ／Ｆが論理的に双方の機能を満たしてもよい。
【００４５】
図５は、ストレージ装置２の不揮発記憶デバイス２４が格納している情報（ソフトウェア構成）を示す図である。
【００４６】
不揮発記憶デバイス２４は、ストレージ装置２の管理情報が格納されているストレージ管理情報格納部２４１と、ホスト計算機３からの読み書き要求に対応するデータが格納されている、少なくとも１つのボリューム２４２と、を格納している。
データＩ／Ｏプログラム２４１１は、計算機システム内の各ホスト計算機３から発行された読み書き要求をＳＡＮ通信Ｉ／Ｆ２８から受信し、適切なボリューム２４２の読み書きを行い、ＳＡＮ通信Ｉ／Ｆ２８を経由して応答を返すプログラムである。
【００４７】
ボリューム管理プログラム２４１２は、ストレージ装置２内のボリューム２４２を管理し、ボリューム状態の参照や構成情報の設定を行うプログラムである。ボリューム管理プログラム２４１２は、例えば、ボリュームの作成や、各ボリュームの容量がどの程度使用されているかを管理する。
【００４８】
運用管理プログラム２４１３は、ストレージ装置２の運用管理を行うプログラムであり、入力デバイス２５による管理者の命令に対応した処理を実行し、画像出力デバイスに出力する。また、運用管理プログラム２４１３は、ＬＡＮ通信Ｉ／Ｆ２７経由で管理計算機１などから要求された命令に対応した処理を実行し、ＬＡＮ通信Ｉ／Ｆ２７経由で応答を返す。
オペレーティングシステム２４１４は、各種プログラムの実行基盤であり、各種テーブルの管理基盤である。
【００４９】
性能監視プログラム２４１５は、ストレージ装置２内の性能情報（例えば、ＩＯ量等）を監視し、収集するプログラムである。
【００５０】
コピーペア管理プログラム２４１６は、ストレージ装置２のコピーペア管理テーブル２４１８の情報にしたがって、あるボリューム（Ｐ_Ｖｏｌ）２４２に対して、データＩ／Ｏプログラム２４１１が書き込んだデータを、対になるボリューム（Ｓ_Ｖｏｌ）２４２に対して複製して書き込む処理を行うプログラムである。このボリュームの対はストレージ装置内で構成したり、ＳＡＮ接続装置４を経由して別のストレージ装置２に格納されるボリューム２４２と対を構成しても良い。このデータの複製は適宜の（任意の）タイミングで行われる。例えば、あるボリュームに対する書き込みと同期して対となるボリュームに書き込んだうえで、あるボリュームに対する書き込みの終了応答を返してもよい。また、例えば、あるボリュームに対する書き込みに対して応答を返したうえで、対となるボリュームに書き込みを行う非同期の方式でもよい。さらに、例えば、対となるボリュームが異なるストレージ装置に格納されている状況において、双方のストレージ装置から、対となる双方のボリュームに書き込みが行われるシステムにおいて、書き込みが行われる領域をそれぞれ限定したり、書き込みコマンドのタイムスタンプを活用したりして、データの整合性を取る方式でもよい。さらに、コピーペア管理プログラム２４１６は、対となるボリュームの状態を監視し、障害を検出した際にはコピーペアの状態を変更したり、障害が解決した後には、再度、書き込みに対応したデータ保護を実現できるようにデータコピーを実施しコピーペアの状態をペア状態に変更したりする処理を行う。また、コピーペア管理プログラム２４１６は、ボリューム単位でコピーペアのデータ書き込みのレプリケーションの整合性を保つために、コピー先ボリュームへの書き込みを検出した場合に、コピー元ボリュームへの書き込みを禁止するなどの制御も行う。なお、ストレージ装置２に障害が発生した際にコピーペアのどちらが正常に稼働しているかを管理するために、コピーペアが組まれているボリュームが格納されているストレージ装置２以外に、さらにほかのストレージ装置にＱｕｏｒｕｍディスクを配置して、整合性を維持する方式を採用しても良い。
【００５１】
不揮発記憶デバイス２４は、この他、ストレージ装置ボリューム管理テーブル２４１７、ストレージ装置コピーペア管理テーブル２４１８を格納する。各テーブルの詳細については、図面を参照して後述する。
【００５２】
ボリューム２４２は、例えば、仮想マシン７が活用する仮想ディスク６１、ホスト計算機３が活用するオペレーティングシステム６２、アプリケーション６３、データ６４などが格納されている。仮想ディスク６１にもオペレーティングシステム６２、アプリケーション６３、やデータ６４などを格納している。
【００５３】
＜ホスト計算機の構成＞
図６は、ホスト計算機３のハードウェア構成例を示す図である。
ホスト計算機３は、プロセッサ３１と、プログラムメモリ３２と、キャッシュメモリ３３と、不揮発記憶デバイス３４と、入力デバイス３５と、画像出力デバイス３６と、ＬＡＮ通信Ｉ／Ｆ３７と、ＳＡＮ通信ＩＦ３８と、内部バス３９と、を有する。不揮発記憶装置３４は、ネットワークを介して接続された外部記憶装置でもよい。
ホスト計算機３は、不揮発記憶装置３４に格納されたＯＳやアプリケーションプログラムなどのソフトウェアをプログラムメモリ３２にロードし、プロセッサ３１がプログラムメモリ３２からそれを読みだして実行することで、所定の機能を達成する。また、プロセッサ３１として、複数のチップ及び複数のパッケージを含む構成を採っても良い。
【００５４】
ホスト計算機３は、頻繁に用いるデータをキャッシュメモリ３３に一時的に格納し、処理を高速化する。また、ホスト計算機３は、キーボードやマウスなどの入力デバイス３５やディスプレイなどの画像出力デバイス３６を有し、入力デバイス３５が管理者（ユーザ）からの入力を受け付け、画像出力デバイス３６がプロセッサ３１から指示された情報を出力する。さらに、ホスト計算機３は、ＳＡＮ接続装置４と接続するＳＡＮ通信Ｉ／Ｆ３８とＬＡＮ接続装置と接続するＬＡＮ通信Ｉ／Ｆ３７を有する。
【００５５】
図７は、ホスト計算機３の不揮発記憶デバイス３４が格納している情報（ソフトウェア構成）を示す図である。
ハイパーバイザ３４１は、仮想マシンの実行基盤である。性能監視プログラム３４２はホスト計算機３の処理負荷や仮想マシンの処理負荷を監視し、ＬＡＮ通信Ｉ／Ｆ３７経由で管理計算機１などから取得要求が来た際に応答することができるプログラムである。
【００５６】
マルチパスＩ／Ｏプログラム３４３は、複数のＳＡＮ通信Ｉ／Ｆを介して検出されたストレージ装置２のボリューム２４２を、ボリュームの識別子を参照して同一のボリュームであると認識し、複数のＳＡＮ通信Ｉ／Ｆに分散してボリュームの読み書き要求を送信し、応答を受け取るプログラムである。このとき、複数のストレージ装置２に格納されているボリュームが、適宜の（任意の）タイミングで同期されているシステムにおいて、異なるボリューム識別子が応答される場合において、マルチパスＩ／Ｏプログラムに対して同一のボリュームとして認識するように設定し動作させてもよい。
【００５７】
＜ＳＡＮ接続装置の構成＞
図８は、ＳＡＮ接続装置４のハードウェア構成例を示す図である。
ＳＡＮ接続装置４は、プロセッサ４１と、プログラムメモリ４２と、キャッシュメモリ４３と、不揮発記憶デバイス４４と、ＬＡＮ通信Ｉ／Ｆ４５と、ＳＡＮ通信Ｉ／Ｆ４６と、リンクランプ４７と、内部バス４８と、を有する。
【００５８】
ＳＡＮ接続装置４は、不揮発記憶装置４４に格納されたＯＳやプログラムなどのソフトウェアをプログラムメモリ４２にロードし、プロセッサ４１がプログラムメモリ４２からそれを読みだして実行することで、所定の機能を達成する。
【００５９】
また、ＳＡＮ接続装置４は、頻繁に用いるデータをキャッシュメモリ４３に格納し、処理を高速化する。ＳＡＮ接続装置４は、ＬＥＤその他の発光素子を有するリンクランプ４７を有し、ＳＡＮ通信Ｉ／Ｆ４６の論理的な接続状況を可視化することができる。
【００６０】
図９は、ＳＡＮ接続装置４の不揮発記憶デバイス４４に格納されている情報（ソフトウェア構成）の例を示す図である。
【００６１】
ＳＡＮ接続装置４の不揮発記憶デバイス４４は、ＳＡＮ通信Ｉ／Ｆ４６で受け付けた、ホスト計算機３などから発行された読み書き要求を適切なＳＡＮ通信Ｉ／Ｆ４６に転送するデータＩ／Ｏプログラム４４１と、ＳＡＮ接続装置の管理を行う管理プログラム４４２と、各種プログラムの実行基盤であり、各種テーブルの管理基盤であるオペレーティングシステム４４３と、ＳＡＮ接続装置の性能情報を監視し、収集する性能監視プログラム４４４と、ＳＡＮ接続管理テーブル４４５と、ＳＡＮ性能管理テーブル４４６と、を格納している。
【００６２】
＜ＬＡＮ接続装置の構成＞
図１０は、ＬＡＮ接続装置５のハードウェア構成例を示す図である。
ＬＡＮ接続装置５は、プロセッサ５１と、プログラムメモリ５２と、キャッシュメモリ５３と、不揮発記憶デバイス５４と、管理ＬＡＮ通信Ｉ／Ｆ５５と、ＬＡＮ通信Ｉ／Ｆ５６と、リンクランプ５７と、内部バス５８と、を有する。
ＬＡＮ接続装置５は、不揮発記憶装置５４に格納されたＯＳやプログラムなどのソフトウェアをプログラムメモリ５２にロードし、プロセッサ５１がプログラムメモリ５２からそれを読みだして実行することで、所定の機能を達成する。
【００６３】
また、ＬＡＮ接続装置５は、頻繁に用いるデータをキャッシュメモリ５３に格納し、処理を高速化する。ＬＡＮ接続装置５は、ＬＥＤその他の発光素子を有するリンクランプ５７を有し、ＬＡＮ通信Ｉ／Ｆ５６の論理的な接続状況を可視化することができる。
【００６４】
図１１は、ＬＡＮ接続装置５の不揮発記憶デバイス５４に格納されている情報（ソフトウェア構成）の例を示す図である。
【００６５】
ＬＡＮ接続装置５の不揮発記憶デバイス５４は、ＬＡＮ通信Ｉ／Ｆ５６で受け付けた、ホスト計算機３などから発行された通信要求を適切なＬＡＮ通信Ｉ／Ｆ５６に転送するデータＩ／Ｏプログラム５４１と、ＬＡＮ接続装置の管理を行う管理プログラム５４２と、各種プログラムの実行基盤であり、各種テーブルの管理基盤であるオペレーティングシステム５４３と、ＬＡＮ接続装置の性能情報を監視し、収集する性能監視プログラム５４４と、ＬＡＮ接続管理テーブル５４５と、ＬＡＮ性能管理テーブル５４６と、を格納している。
【００６６】
＜ホスト計算機管理テーブル＞
図１２は、第１実施形態の管理計算機１におけるホスト計算機管理テーブル１４０７の構成の一例を示す図である。
ホスト計算機管理テーブル１４０７は、ホスト計算機毎にエントリ１４０７０をもち、各エントリ１４０７０毎に、ホスト計算機の識別子であるホスト計算機名１４０７１と、ホスト計算機がある場所（システムグループ）を表す場所１４０７２と、ホスト計算機が所属しているクラスタを表す所属しているクラスタ１４０７３と、ホスト計算機のＣＰＵリソースの量、例えば、ＣＰＵの動作周波数とＣＰＵコアの積を表すＣＰＵリソース量１４０７４と、ホスト計算機の全メモリ量を表すメモリリソース量１４０７５と、ＣＰＵリソース量の中から仮想マシンに割り当て済みのＣＰＵリソースを表すＣＰＵ使用量１４０７６と、メモリリソース量の中から仮想マシンに割り当て済みのメモリリソースを表すメモリ使用量１４０７７と、を構成項目として有している。ここでは、割当済のリソース量＝使用量としている。また、クラスタとは、前述のように、仮想マシンを適宜のタイミングで移行できる範囲を意味するので、同一クラスタ内では、仮想マシンの構成を自由に移行することができるようになっている。
【００６７】
＜仮想マシン管理テーブル＞
図１３は、第１実施形態の管理計算機における仮想マシン管理テーブル１４０８の構成の一例を示す図である。
仮想マシン管理テーブル１４０８は、仮想マシン毎にエントリ１４０８０を持ち、各エントリ１４０８０毎に、仮想マシンの識別子である仮想マシン名１４０８１と、仮想マシンが動作しているホスト計算機を表すホスト計算機名１４０８２と、仮想マシンが動作している場所を表す場所１４０８３と、仮想マシンの移行が必要になった時に移行先の情報を格納する移行先１４０８４と、仮想マシンの利用している仮想ディスクの識別子である仮想ディスク名１４０８５と、仮想ディスクが格納されているボリュームの識別子であるボリューム名１４０８６と、仮想マシンに割り当てられているＣＰＵリソース量を表すＣＰＵ使用量１４０８７Ａと、仮想マシンに割り当てられているメモリリソース量を表すメモリ使用量１４０８７Ｂと、仮想マシンが発行するネットワークトラフィック量を表すＬＡＮトラフィック量１４０８８Ａと、仮想マシンが発行するディスクＩ／Ｏの量を表すＤｉｓｋＩ／Ｏ量１４０８８Ｂと、を構成項目として有している。
【００６８】
ここで、仮想マシンは、仮想ディスク１４０８５を複数有し、それぞれの仮想ディスク１４０８５が異なるボリューム１４０８６に格納される構成でもよい。
【００６９】
ＣＰＵ使用量１４０８７Ａ、及びメモリ使用量１４０８７Ｂには、仮想マシン作成時に割り当てられたリソースの量が格納されるが、これらは、仮想マシンに割り当てられる構成が変更される度に変更される。
【００７０】
ＬＡＮトラフィック量１４０８８ＡとＤｉｓｋＩ／Ｏ量１４０８８Ｂは、管理計算機１のホスト管理プログラム１４０３が、例えば一定時間ごとにホスト計算機３の性能監視プログラム３４２に問い合わせすることにより取得され、取得された値の平均値が格納されるようにしても良い。
【００７１】
＜ストレージ装置管理テーブル＞
図１４は、第１実施形態の管理計算機１におけるストレージ装置管理テーブル１４０９の構成の一例を示す図である。
ストレージ装置管理テーブル１４０９は、ストレージ装置毎にエントリ１４０９０を有し、各エントリ１４０９０毎に、ストレージ装置の識別子であるストレージ装置名１４０９１と、ストレージ装置の設置されている場所（システムグループ）を表す場所１４０９２と、ストレージ装置全体のディスク容量を表す最大容量１４０９３と、ストレージ装置全体に対する最大のアクセス性能を表す最大帯域１４０９４と、ストレージ装置２に格納されているボリュームに割り当てている容量を表す使用容量１４０９５と、ホスト計算機３からのディスクアクセスにより使用されている帯域をあらわす使用帯域１４０９６と、を構成項目として含む。
【００７２】
＜ボリューム管理テーブル＞
図１５は、第１の実施形態の管理計算機におけるボリューム管理テーブル１４１０の構成の一例を示す図である。
ボリューム管理テーブル１４１０は、計算機システム全体にあるストレージ装置２全体のボリューム毎にエントリ１４１００を有し、各エントリ１４１００毎に、ボリュームの識別子であるボリューム名１４１０１と、ボリュームが格納されている装置を表すストレージ装置１４１０２と、コピーペアの状態を表す状態１４１０３と、コピーペアの相手を表すペアボリューム１４１０４と、ボリュームの最大容量を表す最大容量１４１０５と、ボリュームに格納されているデータ量を表す使用容量１４１０６と、そのボリュームに対して発行されるＩ／Ｏの量（瞬時値や所定期間内の平均値）を表すＩ／Ｏ量１４１０７と、を構成項目として有している。
【００７３】
＜ＳＡＮ接続管理テーブル＞
図１６は、第１の実施形態の管理計算機１におけるＳＡＮ接続管理テーブル１４１１の構成の一例を示す図である。
ＳＡＮ接続管理テーブル１４１１は、ＳＡＮ接続装置毎にエントリ１４１１０を有し、エントリ毎にＳＡＮ接続装置の識別子であるＳＡＮ接続装置名１４１１１と、ＳＡＮ接続装置の設置場所である場所１４１１２と、ＳＡＮ接続装置の全体の負荷を表すための指標の例として最大帯域１４１１３と、最大帯域の使用率の例として使用帯域１４１１４と、を構成項目として有している。
【００７４】
＜ＬＡＮ接続管理テーブル＞
図１７は、第１の実施形態の管理計算機１におけるＬＡＮ接続管理テーブル１４１２の構成の一例を示す図である。
ＬＡＮ接続管理テーブル１４１２は、ＬＡＮ接続装置毎にエントリ１４１２０を有し、エントリ毎に、ＬＡＮ接続装置の識別子であるＬＡＮ接続装置名１４１２１と、ＬＡＮ接続装置の設置場所（システムグループ）である１４１２２と、ＬＡＮ接続装置の全体の負荷を表すための指標の例としての最大帯域１４１２３と、最大帯域の使用率の例としての使用帯域１４１２４と、を構成項目として有している。
【００７５】
＜広域網管理テーブル＞
図１８は、第１の実施形態の管理計算機１における広域網管理テーブル１４１３の構成の一例を示す図である。
広域網管理テーブル１４１３は、広域網毎にエントリ１４１３０を有し、エントリ毎に、広域網の識別子である広域網ＩＤ１４３１１と、広域網の接続の始点である場所（システムグループでも良い）１_１４３１２と、終点である場所２_１４３１３と、広域網の転送の最大帯域である最大帯域１４３１４と、広域網の使用帯域である使用帯域１４３１５と、広域網の輻輳を検出するための閾値である輻輳閾値１４１３６と、を構成項目として有している。
【００７６】
使用帯域については、広域網を構成するＳＡＮ接続装置、ＬＡＮ接続装置から適宜（任意）のタイミングで情報を取得して更新し格納しておいてもよい。また、その他の値については、広域網を構築する際に管理者が入力してもよい。
【００７７】
＜ストレージ装置ボリューム管理テーブル＞
図１９は、第１の実施形態のストレージ装置２におけるストレージ装置ボリューム管理テーブル２４１７の構成の一例を示す図である。
ストレージ装置ボリューム管理テーブル２４１７は、ストレージ装置内のボリューム毎にエントリ２４１７０を有し、エントリ毎にボリュームの識別子であるボリューム名２４１７１と、ホストに対して応答する識別子を変更する必要がある場合に利用する仮想ボリュームＩＤ２４１７２と、ボリュームの最大容量を示す最大容量２４１７３と、ボリュームに格納されているデータにより使われている量を表す使用容量２４１７４と、ボリュームに対する性能負荷の指標の一例としてＩ／Ｏ量２４１７５と、を構成項目として有している。
【００７８】
＜ストレージ装置コピーペア管理テーブル＞
図２０は、第１の実施形態のストレージ装置におけるストレージ装置コピーペア管理テーブル２４１８の構成の一例を示す図である。
ストレージ装置コピーペア管理テーブル２４１８は、コピーペアが組まれているボリューム毎にエントリ２４１８０を有し、エントリ毎に、ボリューム名２４１８１と、ペア状態を表す状態２４１８２と、ペアボリューム２４１８３と、を構成項目として有している。
【００７９】
ここで、状態２４１８２は、適宜（任意）のタイミングによって情報をコピーする２つのボリュームのコピー状態を表す情報である。図４１Ａに示す通り、適切にコピーが行われていればペア状態、障害などでコピーが行われなくなっていれば、ペアなし状態となる。また、本発明においてはＩ／Ｏを受け付ける対象となっているボリュームはPrimary Volumeとして状態が（Ｐ）状態となる。一方、ホスト計算機からのＩ／Ｏは受け付けずPrimary Volumeからのコピーデータを書き込まれているボリュームはSecondary Volumeとして（Ｓ）状態となる。ペア（Ｐ）状態のボリュームに障害が発生すると、ペア（Ｐ）状態のボリュームはペアなし（Ｓ）状態になり、そのボリュームとコピーペアを組まれているボリュームの状態はペア（Ｓ）からペアなし（Ｐ）に変更され、ホストからのＩ／Ｏを受け付けることとなる。
但し、図４１Ｂのように２つのコピーペアが形成されたボリュームがいずれもホストからＩ／Ｏを受け付ける構成を採る場合には、障害が起こっておらずコピーペアが形成されている場合にはいずれのボリュームもペア状態（Ｐ）となり、障害などによってコピーペアが形成されなくなった場合にはペアなし状態となる。このとき、障害が発生せずアクセスを継続して受け付けているボリュームの状態はペアなし（Ｐ）となり、障害が発生したボリュームは単にペアなし状態となる。
図４１Ａはストレージ装置のボリュームのコピーペアの正ボリュームへのアクセスを基本とする場合の状態遷移を示す図である。状態４１０１はＶｏｌ１（４１０１１）とＶｏｌ２（４１０１２）がコピーペアが組まれている状態で、ホスト計算機からのＩ／Ｏはペア（Ｐ）状態のＶｏｌ１にアクセスされる状態で、書き込まれたデータの差分がペア（Ｓ）状態のＶｏｌ２（４１０１２）に書き込まれており、適宜のタイミングで同期がとられている状態である。この時、Ｖｏ１に障害などが発生しアクセスできない状態（４１０２）になると、コピーペア状態が解除されＶｏｌ１もＶｏｌ２もペアなしとなり、Ｖｏｌ１へアクセスができないためＶｏｌ２が（Ｐ）となり、ホスト計算機からのアクセスを受け付けＩ／Ｏ処理に応答することとなる。この後、Ｖｏｌ１が障害から復旧するなどアクセスできる状態になった時には、Ｖｏｌ２（Ｐ）のデータをＶｏｌ１（Ｓ）に書き込むように再度ペアを構成し、冗長構成をとる状態（４１０３）にできるようになる。状態４１０１からボリュームの正副（Ｐ）（Ｓ）を入れ替え、状態４１０３のようにするために、状態４１０２のようなペアを一時的に解除する方式でもよいし、ホスト計算機からのアクセスパスを制御することにより、ホスト計算機からのＩ／Ｏパス切替と連携して一時的に（Ｐ）ボリュームへのＩ／Ｏを抑止して正副を切り替えるやり方でもよい。
【００８０】
図４１Ｂはストレージ装置のボリュームのコピーペアのいずれへのアクセスも許す場合の状態遷移を示す図である。この時、状態４１０５においてはホスト計算機からはＶｏｌ１、Ｖｏｌ２いずれのボリュームにもアクセスが行われるが、ストレージの同期機能により、データの整合性が保証されつつ、相互にコピーを行い冗長構成としている。その他の処理は図４１Ａと同様である。
【００８１】
＜ＳＡＮポート接続管理テーブル＞
図２１は、第１の実施形態のＳＡＮ接続装置４（４Ａ、４Ｂ、・・・）におけるＳＡＮポート接続管理テーブル４４５の構成の一例を示す図である。
ＳＡＮポート接続管理テーブル４４５は、物理的なポート毎にエントリ４４５０を有し、エントリ４４５０毎に、物理的なポートの識別子であるポートＩＤ４４５１と、物理的な接続状態を保持する接続状態４４５２と、対向装置の識別子である対向装置ＩＤ４４５３と、対向装置の設置場所（或いは、対向装置が属するシステムグループ）を表す対向装置場所４４５４と、構成項目として有している。
【００８２】
＜ＳＡＮポート性能管理テーブル＞
図２２は、第１の実施形態のＳＡＮ接続装置４（４Ａ、４Ｂ、・・・）におけるＳＡＮ性能管理テーブル４４６の構成の一例を示す図である。
ＳＡＮ性能管理テーブル４４６は、物理的なポート毎にエントリ４４６０を有し、エントリ４４６０毎に、物理的なポートの識別子であるポートＩＤ４４６１と、その物理ポートが対向装置との接続確認の中で確立した接続速度４４６２と、対向装置との通信に試用されている使用帯域４４６３と、を構成項目として有している。
【００８３】
＜ＬＡＮポート接続管理テーブル＞
図２３は、第１の実施形態のＬＡＮ接続装置５（５Ａ、５Ｂ、・・・）におけるＬＡＮ接続管理テーブル５４５の構成の一例を示す図である。
ＬＡＮ接続管理テーブル５４５は、物理的なポート毎にエントリ５４５０を有し、エントリ５４５０毎に、物理的なポートの識別子であるポートＩＤ５４５１と、物理的な接続状態を保持する接続状態５４５２と、対向装置の識別子である対向装置ＩＤ５４５３と、対向装置の設置場所（或いは、対向装置が属するシステムグループ）を表す対向装置場所５４５４と、を構成項目として有している。
【００８４】
＜ＬＡＮポート性能管理テーブル＞
図２４は、第１の実施形態のＬＡＮ接続装置５（５Ａ、５Ｂ、・・・）におけるＬＡＮ性能管理テーブル５４６の構成の一例を示す図である。
ＬＡＮ性能管理テーブル５４６は、物理的なポート毎にエントリ５４６０を有し、エントリ５４６０毎に、物理的なポートの識別子であるポートＩＤ５４６１と、その物理ポートが対向装置との接続確認の中で確立した接続速度５４６２と、対向装置との通信に試用されている使用帯域５４６３と、を構成項目として有している。
【００８５】
＜計算機システムの論理的構成＞
図２５は、第１の実施形態の計算機システムにおける論理的な構成例を示す図である。図２５Ａは、正サイト（サイト１／システムグループ１）に生成されている仮想ディスク（Ｐ_Ｖｏｌ）に対して全ての仮想サーバがアクセスし、変更（書き込みや削除）がＰ_Ｖｏｌにあった場合に、副サイト（サイト２／システムグループ２）の対応する仮想ディスク（Ｓ_Ｖｏｌ）にその変更が反映（同期を取る）されるスキームを示す図である。図２５Ｂは、正サイトに生成された仮想サーバは正サイトに生成された仮想ディスク（Ｐ_Ｖｏｌ）にアクセスし、副サイトに生成された仮想サーバは副サイトに複製された仮想ディスク（Ｓ_Ｖｏｌ）にアクセスし、それぞれのボリュームに変更があった場合には相互に変更が反映（同期を取る）されるスキームを示す図である。
【００８６】
（i）図２５Ａ
管理計算機１は、ＬＡＮ接続装置５を介してストレージ装置２、ホスト計算機３、及びＳＡＮ接続装置４に接続し、各装置の状態を取得可能である。ネットワーク６は、ストレージ装置２Ａ、ホスト計算機３Ａ、３Ｂ、及び、ストレージ装置２Ｂ、ホスト計算機３Ｃ、３Ｄが相互に接続されているネットワークであり、ＬＡＮ通信、ＳＡＮ通信どちらも含まれていることを想定している。図１で示した通り、物理的に分かれていても、論理的に分かれていてもよい。
【００８７】
また、例えば、ストレージ装置２Ａ、ホスト計算機３Ａ、及びホスト計算機３Ｂは同一拠点（サイト）に設置されている。一方、ストレージ装置２Ｂ、ホスト計算機３Ｃ、及びホスト計算機３Ｄは異なる同一拠点に設置されていることを想定する。そのため、ネットワーク６Ａと６Ｂをつなぐ６０Ａの帯域については、データセンタの間を接続する広域網と想定し、データセンタ内の接続であるホスト計算機３Ａ及び３Ｂがストレージ装置２Ａと接続されるネットワークの帯域よりも狭い環境となり、ネットワークが不均一な構成になる。
【００８８】
このような環境において、ボリューム２４１Ａに仮想ディスク（ＶＤ）６１が格納されており、ボリューム２４１Ａはボリューム２４１Ｂとコピーペアが組まれている。また、格納されている情報は、ストレージ装置２Ａ及び２Ｂのコピーペア管理プログラム２４１６によりコピーされる。ホスト計算機３Ａ、３Ｂ、３Ｃ、３Ｄからはボリューム２４１Ａ、２４１Ｂともにアクセス可能だが、ホスト計算機３のマルチパスＩ／Ｏプログラムにより、ボリューム２４１Ａ、２４１Ｂは同一のボリュームとして認識され、正常時にはボリューム２４１Ａにアクセスするように制御されている。このようなアクセス制御については、ＡＬＵＡ（Asymmetric Logical Unit Access）によりストレージ装置が主体となって行われてもよいし、マルチパスＩ／Ｏプログラムの設定により実現されてもよい。
【００８９】
ボリューム２４１に格納されている仮想ディスク６１を利用して動作する仮想マシン（ＶＭ）７は、ボリューム２４１に接続可能なホスト計算機３から構成される。ホスト計算機３Ｃ、３Ｄも帯域は狭いが広域網６０Ａを経由してストレージ装置２４１Ａにアクセス可能であり、仮想マシン７を動作することが可能である。それぞれのサイトの負荷分散や可用性向上のため、ホスト計算機３Ａ、３Ｂ、３Ｃ、３Ｄはクラスタを構成可能である。ただし、ボリュームへのアクセスが２４１Ａからアクセスする場合においては、サイト２にあるホスト計算機３Ｃ、３Ｄに仮想マシン７を多く配置すると広域網６０Ａを圧迫することになるため、クラスタを構成する際にもサイト１にあるホスト計算機を多く（例えば３Ａ、３Ｂ）、サイト２にあるホスト計算機を少なく（例えば３Ｃのみ）して構成することになる。これにより、仮想マシンの移行によりクラスタ内のホスト計算機３の負荷を自動的に均衡するような仕掛けを実現したとしても、サイト１にて稼働する仮想マシンが結果的に多くなるため、広域網の帯域を削減することが可能となる。
【００９０】
このような環境において、ストレージ装置２Ａに障害が発生すると、ホスト計算機３からボリューム２４１Ａに対する読み書きができなくなるため、ホスト計算機３のマルチパスＩ／Ｏプログラムにより２４１Ｂに切り替わることとなる。
【００９１】
ストレージ装置２Ａに障害発生後にコピーペアの正副が切り替えられてアクセス先のボリューム切り替えられた場合、ボリューム２４１Ｂへのアクセスがホスト計算機３Ａ、３Ｂから行われることになると、実際にアクセス性能低下が起こる前であっても、広域網６０Ａを経由したボリューム２４１Ｂへのアクセスが増加し、広域網６０Ａの帯域を圧迫することになる。これは、サイト１のホスト計算機が多くクラスタに組み込まれているためである。従って、結果として、ホスト計算機３Ａ、３Ｂで稼働している仮想マシン７の性能が低下することになる。このような性能低下を避けるため、本実施形態では、コピーペアの状態を監視し、ストレージ間で正副が切り替わったことを検出した場合に、広域網６０Ａの帯域を考慮し、仮想マシン７の配置を再度計画し、それに応じてホスト計算機３のクラスタ配置を変更し、仮想マシン７を移行することを行う。このような処理を実現することで、ストレージ装置２が障害の時の高可用性を維持しつつ、仮想マシン７の性能低下を抑止することが可能となる。
【００９２】
（ii）図２５Ｂ
図２５Ｂは両方のボリュームがアクセスを受け付けられるシステムの一例を開示する。ホスト計算機３Ａにて稼働している仮想マシンから発行されるＩ／Ｏは、ネットワーク６Ａを経由してストレージ装置２Ａのボリューム２４１Ａにアクセスされ、ホスト計算機３Ｃにて稼働している仮想マシンから発行されるＩ／Ｏはネットワーク装置６Ｂを経由してストレージ装置２Ｂのボリューム２４１Ｂにアクセスされる。それぞれのＩ／Ｏはストレージ装置間の同期制御により、データのコピーが適宜のタイミングにて行われ、ボリュームに格納されているデータの整合性が保たれている。
このような環境の場合でも、ストレージ装置２Ａに障害が発生すると、コピーペアがなしの状態となりホスト計算機３Ａ及び３Ｂからボリューム２４１Ａに対する読み書きができなくなるため、ホスト計算機３のマルチパスＩ／Ｏプログラムによりアクセス先が２４１Ｂに切り替わることとなる。
【００９３】
ストレージ装置２Ａに障害発生後にアクセス先のボリューム切り替えた場合、ボリューム２４１Ｂへのアクセスがホスト計算機３Ａ、３Ｂから行われることになると、実際にアクセス性能低下が起こる前であっても、広域網６０Ａを経由したボリューム２４１Ｂへのアクセスが増加し、広域網６０Ａの帯域を圧迫することになる。これは、今までサイト１のボリューム２４１Ａにアクセスしていたサイト１のホスト計算機が広域網６０Ａを介してサイト２のボリューム２４１Ｂにアクセスするためである。従って、結果として、ホスト計算機３Ａ、３Ｂで稼働している仮想マシン７の性能が低下することになる。このような性能低下を避けるため、本実施形態では、上述と同様に、コピーペアの状態を監視し、アクセス先のボリュームが切り替わったことを検出した場合に、広域網６０Ａの帯域を考慮し、仮想マシン７の配置を再度計画し、それに応じてホスト計算機３のクラスタ配置を変更し、仮想マシン７を移行することを行う。このような処理を実現することで、ストレージ装置２が障害の時の高可用性を維持しつつ、仮想マシン７の性能低下を抑止することが可能となる。
【００９４】
＜ストレージ障害対応処理＞
図２６は、図２５Ａおよび図２５Ｂの環境における管理計算機１のストレージ障害対応処理の例を説明するためのフローチャートである。
管理計算機１のストレージ管理プログラム１４０４は、ストレージ装置２に障害が発生し、仮想マシン（仮想サーバ）がアクセスしていたボリュームに対するアクセスが不可であることが検出されると、ボリューム管理テーブル１４１０（図１５参照）のエントリを選択し、順次Ｓ１００１〜Ｓ１００６の処理を繰り返す（Ｓ１０００）。本処理は、管理計算機がストレージ装置を適宜のタイミングで監視して、状態の変更を検出する方式を想定して説明するが、障害などによる状態の変更をストレージ装置から管理計算機に通知することをトリガーとして処理が開始されてもよい。
ストレージ管理プログラム１４０４は、ストレージ装置２に選択したボリュームの状態を確認する（Ｓ１００１）。より具体的には、管理計算機１は、ボリューム管理テーブル１４１０の「状態１４１０３」を参照してボリュームの状態を確認し、コピーペア状態がペアありかどうかを確認する。ここで、ペアありの状態は、正常にコピーペアが構成されている状態を表している。なお、ストレージ装置のボリュームに障害が起きてアクセス不可となっている場合には、状態１４１０３が「ペアあり」から「ペアなし」に遷移しているため、「ペアなし」としてペア状態が解除されていることが確認されることになる。
ストレージ管理プログラム１４０４は、Ｓ１００１で確認したコピーペア状態が「ペア（Ｐ）」か「ペア（Ｓ）」か否か判定する（Ｓ１００２）。コピーペア状態が「ペア（Ｐ）」か「ペア（Ｓ）」であればコピーペアがありで正常な場合と判断され、管理計算機１は、次のボリュームを対象として選択する。一方、コピーペアの状態がペアでない場合は、処理は、Ｓ１００３に移行する。
【００９５】
Ｓ１００３において、管理計算機１の配置計画プログラム１４０２は、「ペアなし」の状態が障害の状態であってアクセス先が変更されているため、仮想マシンの再配置が必要な状況と判定し、仮想マシンの配置を決定する（Ｓ１００３）。具体的には、管理計算機１の配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の場所１４０８３が「サイト１」のエントリを１つずつ選択し、広域網のトラフィックが現状のトラフィック量から移行対象のＤＩｓｋＩ／Ｏ量を減算したときに閾値を下回るまで移行先を「サイト２」として、移行処理の対象とする。
【００９６】
次に、Ｓ１００４において、管理計算機１のクラスタ構成管理プログラム１４０１は、仮想マシン管理テーブル１４０８の移行先１４０８４が「サイト２」となっている仮想マシンのエントリのＣＰＵ使用量、メモリ使用量をそれぞれ合計する。また、クラスタ構成管理プログラム１４０１は、ホスト計算機管理テーブル１４０７の場所１４０７２が「サイト２」となっているホスト計算機を選択し、ＣＰＵリソース量、メモリリソース量をそれぞれ加算していき、仮想マシンエントリの各合計値を超えるまで、所属しているクラスタにＣｌｓ１を入力する。そして、ホスト管理プログラム１４０３は、新規にクラスタに所属することになったホスト計算機をクラスタに追加する（Ｓ１００４）。例えば、図１２のようなクラスタ構成となっている場合に、Ｈｏｓｔ５及び６をＣｌｓ１に追加する（ただし、Ｓ１００６でＨｏｓｔ１及び２をＣｌｓ１から除外する）。このような構成において、クラスタを構成するホスト計算機のなかでは適宜のタイミングで仮想マシンを任意のホスト計算機上に移行ができることを利用して、クラスタを構成するホスト計算機の負荷を自動的に平準化することが行われることがある。そのため、ボリュームが存在しないシステムグループ（サイト）のホスト計算機がクラスタに多く存在することで、クラスタ内のホスト計算機の負荷平準などを目的として仮想マシンが自動的に移行してしまうことがある。これを防ぐため、Ｈｏｓｔ１及び２をＣｌｓ１から除外することで、このような自動負荷平準との同時運用が可能となる。
続いて、ホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８の場所１４０８３が移行先１４０８４と異なっているエントリを選択する。そして、ホスト管理プログラム１４０３は、移行先１４０８４のサイトに対応するホスト計算機３をホスト計算機管理テーブル１４０７から検索し、ＣＰＵリソース量、メモリリソース量からそれぞれＣＰＵ利用率、メモリ使用量を減算する。さらに、ホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８のＣＰＵ使用量、メモリ使用量を上回っているホスト計算機をホスト計算機管理テーブル１４０７から検索し、移行先ホスト計算機として決定して、そのホスト計算機へ仮想マシンを移行する（Ｓ１００５）。なお、Ｓ１００５の処理のさらなる詳細は図２８を参照して説明する。
【００９７】
ホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８の場所１４０８３がサイト１の仮想マシン７を検索し、ＣＰＵ使用量、メモリ使用量をそれぞれ合算する。また、ホスト管理プログラム１４０３は、ホスト計算機管理テーブル１４０７から場所１４０７２がサイト１のホスト計算機３を検索し、ＣＰＵリソース量、メモリリソース量を１エントリずつ加算していき、仮想マシンのＣＰＵ使用量、メモリ使用量の合算を超えるまで加算する。そして、ホスト管理プログラム１４０３は、それ以降のエントリについては、所属しているクラスタのエントリを「--」(空欄)に設定し、該当するホスト計算機３にクラスタ構成から削除するように命令を送信し、クラスタから削除する（Ｓ１００６）。例えば、上述したように、Ｈｏｓｔ１及び２がクラスタＣｌｓ１から削除される。
処理はＳ１０００に移行し、一連の処理が各ボリュームに対してさらに実行される（Ｓ１００７）。
【００９８】
＜仮想マシン配置決定処理（Ｓ１００３）の詳細＞
図２７は、図２６における仮想マシンの配置を決定する処理Ｓ１００３の処理の詳細を説明するためのフローチャートである。
【００９９】
管理計算機１の配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８のエントリを一つずつ選択し、繰り返し処理を開始する（Ｓ１１００）。
【０１００】
配置計画プログラム１４０２は、広域網管理テーブル１４１３の使用帯域１４３１５から移行予定の仮想マシンのＤｉｓｋ／ＩＯ量を減算したときに、その減算後の値が輻輳閾値１４３１６以下であるか否か判断する（Ｓ１１０１）。減算値が輻輳閾値以下であれば、処理は終了する。減算値が輻輳閾値よりも大きければ、処理はＳ１１０２に移行する。
【０１０１】
配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８のボリューム名１４０８６がＳ１０００で選択されているボリュームと同じか確認する（Ｓ１１０２）。つまり、障害が発生しているボリュームに関連する（アクセスする）仮想マシンか否かチェックされ、関連する仮想マシンのみが抽出される。ボリュームが違う場合には、配置計画プログラム１４０２は、次の仮想マシンのエントリを選択し処理を継続する。ボリュームが同じであれば、配置計画プログラム１４０２は、処理をＳ１１０３に移行させる。
【０１０２】
Ｓ１１０３において、配置計画プログラム１４０２は、ボリューム管理テーブル１４１０のボリュームの状態１４１０３がＰ（Primary：読み書き可能状態）か確認する。つまり、障害発生後の仮想マシンのアクセス先のボリュームが元々Ｐ_Ｖｏｌであって、障害がＳ_Ｖｏｌに発生したのかがチェックされる。状態１４１０３がＰではない場合に、配置計画プログラム１４０２は、次の仮想マシンのエントリを選択し、処理を継続する。状態１４１０３がＰである場合には、処理はＳ１１０４に移行する。
【０１０３】
Ｓ１１０４において、配置計画プログラム１４０２は、ボリューム管理テーブル１４１０とストレージ装置管理テーブル１４０９を参照し、仮想マシン管理テーブル１４０８の仮想マシンの場所１４０８３が、アクセス先が切り替えられたボリューム（Ｓ_Ｖｏｌ）の場所と同じか確認する。同じであれば、当該仮想マシンを移行する必要がないので、配置計画プログラム１４０２は、次の仮想マシンのエントリを選択し、処理を継続する（Ｓ１１０４）。違う場合には、処理はＳ１１０５に移行する。
【０１０４】
Ｓ１１０５において、配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の移行先１４０８４にボリューム管理テーブル１４１０のボリュームの場所と同じ値を格納する。
そして、Ｓ１１０１〜Ｓ１１０５の処理は、仮想マシン管理テーブル１４０８の全てのエントリが終了するまで繰り返えされる（Ｓ１１０６）。
【０１０５】
＜仮想マシン移行処理Ｓ１００５の詳細＞
図２８は、図２６における仮想マシンの移行を行う処理Ｓ１００５の処理の詳細を説明するためのフローチャートである。
【０１０６】
管理計算機１のホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８のエントリを１つずつ選択し、繰り返し処理を開始する（Ｓ１２００）。
【０１０７】
配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の仮想マシンの場所１４０８３が移行先１４０８４と同じか確認する（Ｓ１２０１）。同じであれば、配置計画プログラム１４０２は、次の仮想マシンのエントリを選択し処理を継続する。同じであれば、仮想マシンを移行する必要がないからである。違う場合には、処理はＳ１２０２に移行する。
【０１０８】
Ｓ１２０２において、配置計画プログラム１４０２は、ホスト計算機管理テーブル１４０７の場所１４０７２が仮想マシン管理テーブル１４０８の移行先１４０８４と同じホスト計算機を選択する。
次に、配置計画プログラム１４０２は、Ｓ１２０１で選択されたホスト計算機のＣＰＵリソース量１４０７４及びメモリリソース量１４０７５とＣＰＵ使用量１４０７６及びメモリ使用量１４０７７の差が移行対象の仮想マシンのＣＰＵ使用量、メモリ使用量よりも大きいか確認する（Ｓ１２０３）。大きくない場合には、別のホスト計算機を選択するため、処理はＳ１２０２に移行する（Ｓ１２０３）。大きい場合には、処理はＳ１２０４に移行する。
【０１０９】
Ｓ１２０４において、配置計画プログラム１４０２は、ホスト計算機のハイパーバイザに仮想マシンの移行を指示する。
【０１１０】
続いて、配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の移行先１４０８４の値を削除する（Ｓ１２０５）。
【０１１１】
さらに、配置計画プログラム１４０２は、移行した仮想マシンのＣＰＵ使用量及びメモリ使用量を、ホスト計算機管理テーブル１４０７の移行元ホスト計算機のＣＰＵ使用量メモリ使用量から減算し、かつ移行先ホスト計算機のＣＰＵ使用量及びメモリ使用量に追加する（Ｓ１２０６）。
そして、Ｓ１２０１〜Ｓ１２０６の処理は、仮想マシン管理テーブル１４０８のエントリが終了するまで繰り返えされる（Ｓ１２０７）。
【０１１２】
＜第１の実施形態による効果＞
第１の実施形態では、サイト１（システムグループ１）のホスト計算機（第１のホスト計算機）の仮想マシン（仮想サーバ）がストレージ装置（サイト１：第１のストレージ装置）にアクセスしているときに、第１のストレージ装置の障害によりアクセス先がサイト２（システムグループ２）のストレージ装置（第２のストレージ装置）に切り替わった場合を想定する。ここで、サイト１と２は、サイト１やサイト２内においてホスト計算機とストレージ装置を接続する通信網（第１種通信網：ＬＡＮやＳＡＮ等の狭域通信網）よりも狭帯域の通信網（第２種通信網：インターネット等の広域通信網）で接続されているものとする。このとき、その切り替わりに応答して、管理計算機は、サイト１の第１のホスト計算機で稼働していた仮想マシンを、サイト２のホスト計算機（第２のホスト計算機）に移行する。このように、アクセス先が狭帯域の通信網を介して行われるようになったことを契機として仮想サーバを移行するようにしているので、ストレージ装置の障害に対処できると共に、将来的に起こりうる、より狭帯域の通信網（例えば、広域通信網）でのボトルネックの発生を回避することができるようになる。また、性能低下の時間を短縮できるようになる。
【０１１３】
より具体的には、第１のストレージ装置は主ボリューム（Ｐ_Ｖｏｌ）を格納し、第２のストレージ装置はＰ_Ｖｏｌの副ボリューム（Ｓ_Ｖｏｌ）を格納している。このとき、Ｐ_Ｖｏｌの状態が書き込み不可能状態（第１のストレージ装置の障害によってアクセス不可）になったことに応答して、管理計算機は、アクセス先を第１のストレージ装置のＰ_Ｖｏｌから第２のストレージ装置のＳ_Ｖｏｌに変更する。そして、管理計算機は、第１のホスト計算機で稼働する仮想マシンを第２のホスト計算機に移行する。このように、コピーペアの特性を活用してストレージ装置の障害に対処するが、そのときに併せてアクセス元の仮想サーバをも移行するので、狭帯域通信網を介するアクセスを回避し、業務の継続をより確実に保証することができるようになる。なお、第１のストレージ装置の障害が取り除かれると、アクセス先を第２のストレージ装置から第１のストレージ装置に戻し、移行した仮想マシンを第２のホスト計算機から第１のホスト計算機に再移行するようにしても良い。これにより、コピーペアの利点を引き続き享受することができる。尚、本実施例では、障害を契機としてコピペアなしとなる実施例を開示したが、コピーペア状態の変更契機は障害に限らない。
仮想マシンを第２の計算機に移行するとき、第２のホスト計算機が第１のホスト計算機と同一のクラスタに属していない場合には、第１のホスト計算機をクラスタから取り除き、代わりに第２のホスト計算機を同クラスタに追加する。このようにすることにより、仮想マシンの移行範囲を必要以上に広げることなく、他の仮想マシンの移行範囲とのバランスを取ることができる。
また、仮想マシンの移行先である第２のホスト計算機を決定する際には、仮想マシンに用いるリソース量を追加してもリソース量に余裕を有するホスト計算機を選択する。このようにすることにより、移行先のホスト計算機での負荷が過大になることを回避することが可能となる。
【０１１４】
（２）第２の実施形態
以下、本発明の第２の実施形態については、第１の実施形態と同様の構成にて実現される部位も多いため、異なる部分を中心に説明する。
＜ストレージ装置管理テーブル＞
図２９は、第２の実施形態によるストレージ装置管理テーブル１４０９の構成の一例を示す図である。当該ストレージ装置管理テーブル１４０９は、第１の実施形態によるストレージ装置管理テーブル（図１４）の構成に加えて、エントリ１４０９０毎に、各ストレージ装置の負荷が高負荷状態になることを検出するための指標となる帯域閾値１４０９７を構成項目として有している。
＜ボリューム管理テーブル＞
図３０は、第２の実施形態のボリューム管理テーブル１４１０の構成の一例を示す図である。当該ボリューム管理テーブルは、第１の実施形態の構成に加えて、エントリ１４１００毎に、各ボリュームのアクセス経路の切替先を示す切替先１４１０８を構成項目として有している。
【０１１５】
＜計算機システムの論理的構成＞
図３１は、第２の実施形態による計算機システムの論理的な構成例を示す図である。
第２の実施形態の計算機システムにおいては、ストレージ装置の負荷分散を目的とした処理を説明するため、第１の実施形態とは異なる点を中心に説明する。ストレージ装置２に格納されているボリューム２４１Ａ、２４１Ｂには複数の異なる仮想マシンが利用している仮想ディスクが格納されている。
図３１に示されるように、それぞれのサイトに設けられた仮想マシン７は、同一サイトのストレージ装置２（２Ａ、２Ｂ、・・・）の仮想ディスク６１をアクセス先としている。従って、一方のサイト（システムグループ）の仮想マシンから他方のサイト（システムグループ）のストレージ装置内の仮想ディスク６１に対してアクセスが行われていない状態となっている。
このような環境において、第２の実施形態では、例えば、ストレージ装置２Ａの負荷が高くなったことを契機として、負荷の高いボリューム２４１Ａへのアクセスは、ストレージ装置２Ｂへ切り替えられるようになっている。
【０１１６】
＜ストレージ装置の負荷分散処理＞
図３２は、図３１の環境において、管理計算機１が実行するストレージ装置の負荷分散処理の例を説明するためのフローチャートである。
【０１１７】
管理計算機１は、ストレージ装置２（２Ａ、２Ｂ、・・・）の性能を監視する（Ｓ２０００）。具体的には、管理計算機１は、ストレージ装置２に適宜のタイミングにて性能情報を問い合わせ、ストレージ装置２から得られた情報をストレージ装置管理テーブル１４０９の使用容量１４０９５や使用帯域１４０９６に格納する。
【０１１８】
管理計算機１は、ストレージ装置管理テーブル１４０９を参照し、ストレージ装置の使用帯域１４０９６が帯域閾値１４０９７を超えていないか確認する（Ｓ２００１）。超えていなければ他のストレージ装置を選択し、適宜のタイミングで処理が繰り返される。一方、ストレージ装置の負荷が閾値を超えている場合には、処理は、Ｓ２００２に移行する。
【０１１９】
Ｓ２００２において、管理計算機１の配置計画プログラム１４０２は、ボリューム配置決定処理を実行する。Ｓ２００２の処理の詳細は、図３３を参照して後述する。
【０１２０】
次に、配置計画プログラム１４０２は、ボリュームの配置が決まったら、ボリューム管理テーブル１４１０（図３０）のエントリを１つずつ選択し、順次Ｓ２００４〜Ｓ２００９の処理を繰り返す（Ｓ２００３）。
【０１２１】
まず、配置計画プログラム１４０２は、当該処理対象のボリュームについて、ボリューム管理テーブル１４１０の切替先１４１０８に値があるか確認する（Ｓ２００４）。切替先の値がなければ、配置計画プログラム１４０２は、現在処理対象となっているボリュームについて処理を終了させ、次のエントリを選択する。一方、切替先に値があると、処理はＳ２００５に移行する。
【０１２２】
配置計画プログラム１４０２は、当該処理対象のボリュームが属するストレージ装置２に対して書き込み先ボリュームのＩ／Ｏ受付を停止するように指示する（Ｓ２００５）。
【０１２３】
そして、配置計画プログラム１４０２は、書き込み先を変更するため、処理対象ボリュームについて、コピーペアの正副を入れ替える（Ｓ２００６）。
【０１２４】
次に、配置計画プログラム１４０２は、第１の実施形態において採用する方法と同様の方法（図２７参照）を用いて仮想マシンの配置を決定する（Ｓ２００７）。
続いて、配置計画プログラム１４０２は、仮想マシンの配置に応じて、ホスト計算機のクラスタ構成を変更し（Ｓ２００８）、第１の実施形態において採用する方法と同様の方法（図２８参照）を用いて仮想マシンを移行する（Ｓ２００９）。
【０１２５】
＜ボリューム配置計画処理Ｓ２００２の詳細＞
図３３は、図３２におけるボリューム配置計画処理Ｓ２００２の処理の詳細を説明するためのフローチャートである。
【０１２６】
配置計画プログラム１４０２は、ボリューム管理テーブル１４１０のエントリを１つずつ選択してＳ２１０１〜２１０５の処理を順次繰り返す（Ｓ２１００）。
【０１２７】
まず、配置計画プログラム１４０２は、ストレージ装置管理テーブル１４０９を参照し、ボリューム管理テーブル１４１０のストレージ装置１４１０２が閾値１４０９７を超えている装置か確認する（Ｓ２１０１）。閾値を越えている装置でなければ、配置計画プログラム１４０２は、当該処理対象のボリュームについての処理を終了し、次のボリュームを処理対象として選択する。一方、閾値を越えている装置である場合、処理はＳ２１０２に移行する。
【０１２８】
Ｓ２１０２において、配置計画プログラム１４０２は、ストレージ装置管理テーブル１４０９から切替先の候補となるストレージ装置を選択する。この移行先のストレージ装置は、移行元のストレージ装置のボリュームとペアが構成されているストレージ装置の中から選択される。
次に、配置計画プログラム１４０２は、Ｓ２１０２で選択したストレージ装置の最大帯域１４０９４と使用帯域１４０９６との差分値が切替対象ボリュームのＩ／Ｏ量１４１０７よりも大きいか（ストレージ装置に余力があるか）確認する（Ｓ２１０３）。差分値が切替対象ボリュームのＩ／Ｏ量よりも大きくなければ、配置計画プログラム１４０２は、処理をＳ２１０２に移行させ、別のストレージ装置を選択して、処理を繰り返す。一方、差分値が切替対象ボリュームのＩ／Ｏ量よりも大きければ、処理はＳ２１０４に移行する。
【０１２９】
Ｓ２１０４において、配置計画プログラム１４０２は、ボリューム管理テーブル１４１０の切替先に切替先ストレージ装置を設定する（Ｓ２１０４）。
そして、配置計画プログラム１４０２は、切替先ストレージ装置の使用帯域から切替対象のボリュームのＩ／Ｏ量を減算し、切替先ストレージ装置の使用帯域に切替対象のボリュームのＩ／Ｏ量を追加する（Ｓ２１０５）。
【０１３０】
＜第２の実施形態による効果＞
第２の実施形態では、サイト１（システムグループ１）のホスト計算機（第１のホスト計算機）の仮想マシン（仮想サーバ）がストレージ装置（サイト１：第１のストレージ装置）にアクセス（例えば、Ｐ_Ｖｏｌにアクセス）しているときに、第１のストレージ装置の負荷が大きくなり（所定の閾値を越えて）、アクセス先がサイト２（システムグループ２）のストレージ装置（第２のストレージ装置）に切り替わった（例えば、Ｓ_Ｖｏｌに切り替え）ケースを想定する。ここで、第１の実施形態と同様、サイト１と２は、サイト１やサイト２内においてホスト計算機とストレージ装置を接続する通信網（第１種通信網：狭域通信網）よりも狭帯域の通信網（第２種通信網：広域通信網）で接続されているものとする。このとき、その切り替わりに応答して、管理計算機は、サイト１の第１のホスト計算機で稼働していた仮想マシン（仮想サーバ）を、サイト２のホスト計算機（第２のホスト計算機）に移行する。このように、第１の実施形態と同様に、コピーペアの状態が変更されストレージ装置のアクセス先が切り替わったことを契機に、アクセス先が狭帯域の通信網を介して行われるようになったことを検出して仮想サーバを移行するようにしているので、ストレージ装置の負荷軽減と共に、将来的に起こりうる、より狭帯域の通信網（例えば、広域通信網）でのボトルネックの発生を回避することができるようになる。また、性能低下の時間を短縮できるようになる。
尚、本実施形態においては負荷増大を契機としてコピーペアの正副を入れ替える例を開示したが、コピーペアの正副が切り替わる契機は他のものであっても良い。
【０１３１】
（３）第３の実施形態
第３の実施形態は、ホスト計算機の負荷分散を実現するための処理に関するものである。以下、本発明の第３の実施形態については、第１の実施形態、及び第２の実施形態と同様の構成にて実現される部位も多いため、異なる部分を中心に説明する。
＜ホスト計算機管理テーブル＞
図３４は、第３の実施形態によるホスト計算機管理テーブル１４０７の構成の一例を示す図である。当該ホスト計算機管理テーブル１４０７は、第１の実施形態の構成（図１２参照）に加えて、エントリ１４０７０毎に、ホスト計算機の負荷高負荷であることを検出するための指標となるＣＰＵ使用量閾値１４０７８及びメモリ使用量閾値１４０７９を、構成項目として有している。
【０１３２】
＜計算機システムの論理的構成＞
図３５は、第３の実施形態による計算機システムの論理的な構成例を示す図である。第３の実施形態による計算機システムにおいては、ホスト計算機３の負荷分散を目的とした処理を実行するため、第１の実施形態と異なる点を中心に説明する。
各ストレージ装置２（２Ａ、２Ｂ、・・・）には複数のボリュームが格納されており、各ボリュームには各仮想マシンが利用している仮想ディスクが１つ格納されている。ただし、第１及び第２の実施形態にあるように複数の仮想ディスクが格納されていてもよい。
このような環境において、ホスト計算機３Ａの負荷が高くなったことを検出したことを契機として、負荷の高い仮想マシン７Ａを、例えばホスト計算機３Ｃへ移行する。また、ホスト計算機３Ａの負荷を下げるために仮想マシンを別サイトのホスト計算機に移行すると、上述したように広域網６０Ａにおいてボトルネックが発生して性能低下に繋がる可能性がある。そこで、広域網６０Ａの使用帯域を削減するため、仮想マシンの移行に伴ってボリュームの配置もストレージ装置２Ａからストレージ装置２Ｂに切り替えるための処理が実行される。また、ホスト計算機３Ａが同一サイト内のホスト計算機３Ｂに移行する場合には、アクセス先はストレージ装置２Ａで変らず、広域網６０Ａを介したボリュームへのアクセスが発生しないため、ボリュームの配置をストレージ装置２Ｂに切り替える必要はない。
【０１３３】
＜ホスト計算機負荷分散処理＞
図３６は、第３の実施形態によるホスト計算機負荷分散処理の例を説明するためのフローチャートである。
管理計算機１のホスト管理プログラム１４０３は、ホスト計算機３の性能監視プログラム３４２と協働して、各ホスト計算機３（３Ａ、３Ｂ、・・・）の性能を監視する（Ｓ３０００）。
【０１３４】
ホスト管理プログラム１４０３は、ホスト計算機３の負荷が閾値（ＣＰＵ使用量閾値１４０７８及びメモリ使用量閾値１４０７９）を超えているか確認する（Ｓ３００１）。負荷が閾値を超えていなければ、ホスト管理プログラム１４０３は、次のホスト計算機を選択する。一方、負荷が閾値を超えていれば、処理はＳ３００２に移行する。
【０１３５】
Ｓ３００２において、管理計算機１の配置計画プログラム１４０２は、クラスタの構成と仮想マシンの配置を決定する（Ｓ３００２）。Ｓ３００２の処理の詳細については、図３７を参照して後述する。
【０１３６】
配置計画プログラム１４０２は、仮想マシンの配置に基づいてボリュームの配置を決定する（Ｓ３００３）。つまり、Ｓ３００２の処理によって仮想マシンが別サイト（別システムグループ）のホスト計算機に移行される配置に決定された場合、当該仮想マシンが使用するボリュームが仮想マシンの配置と同一（同一サイト）になるように再配置される。
【０１３７】
配置計画プログラム１４０２は、ボリューム管理テーブル１４１０のエントリを１つずつ選択し、順次Ｓ３００５〜Ｓ３００９の繰り返し処理を開始する（Ｓ３００４）。
【０１３８】
まず、配置計画プログラム１４０２は、ボリューム管理テーブル１４１０及びストレージ装置管理テーブル１４０９を参照し、処理対象のボリュームが属するストレージ装置の書き込み先サイト（現在データが書き込まれているボリュームが属するサイト）を確認する（Ｓ３００５）。
【０１３９】
次に、配置計画プログラム１４０２は、当該確認した書込み先サイトが配置計画と同じか否か確認する（Ｓ３００６）。確認して同じであれば、配置計画プログラム１４０２は、次のエントリの処理に移る。確認した書込み先サイトが配置計画と同じでなければ、処理はＳ３００７に移行する。
そして、配置計画プログラム１４０２は、書き込み先のボリュームＩ／Ｏの受付を停止し（Ｓ３００７）、ボリュームのコピーペアの正副を入れ替え（Ｓ３００８）、仮想マシンを決定した移行先のホスト計算機に移行する（Ｓ３００９）。
【０１４０】
＜仮想マシン配置及びクラスタ構成計画処理Ｓ３００２の詳細＞
図３７は、図３６における仮想マシン配置及びクラスタ構成計画処理Ｓ３００２の処理の詳細を説明するためのフローチャートである。
【０１４１】
配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８のエントリを１つずつ選択し、順次Ｓ３１０１〜Ｓ３１０５の繰り返し処理を開始する（Ｓ３１００）。
【０１４２】
まず、配置計画プログラム１４０２は、ホスト計算機管理テーブル１４０７（図３４）を参照し、仮想マシン管理テーブル１４０８のホスト計算機名１４０８２が閾値（ＣＰＵ使用量閾値１４０７８及びメモリ使用量閾値１４０７９）を超えている装置か否か確認する（Ｓ３１０１）。閾値を超える装置でなければ、配置計画プログラム１４０２は、次のエントリの処理を移す。閾値を超える装置であれば、処理はＳ３１０２に移行する。
【０１４３】
Ｓ３１０２において、配置計画プログラム１４０２は、ホスト計算機管理テーブル１４０７から仮想マシンの移行先の候補となるホスト計算機（任意の１つ）を選択する（Ｓ３１０２）。ただし、この時選択される移行先の候補となるホスト計算機は、仮想マシンのデータが格納されているボリュームかそのボリュームのコピーペアの少なくとも一方に接続されており、アクセス可能なホストとする。また、同一サイト内での仮想マシンの負荷分散は日常的に行われるため、候補として選択するホスト計算機は、現在仮想マシンが設置されているホスト計算機が存在するサイトとは別サイトのホスト計算機を選択するようにすることが好ましい。
【０１４４】
次に、配置計画プログラム１４０２は、ホスト計算機のＣＰＵリソース量及びメモリリソース量とＣＰＵ使用量及びメモリ使用量のそれぞれの差分値が移行対象の仮想マシンのＣＰＵ使用量及びメモリ使用量よりも大きいか確認する（Ｓ３１０３)。差分値が移行対象の仮想マシンのＣＰＵ使用量及びメモリ使用量よりも大きくなければ、配置計画プログラム１４０２は、別のホスト計算機を選択するため、処理をＳ３１０２に移行させる。一方、差分値が移行対象の仮想マシンのＣＰＵ使用量及びメモリ使用量よりも大きければ、処理はＳ３１０４に移行する。
Ｓ３１０４において、配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の移行先１４０８４の値として対象のホスト計算機を設定する（Ｓ３１０４）。
続いて、配置計画プログラム１４０２は、移行する仮想マシンのＣＰＵ使用量及びメモリ使用量を、ホスト計算機管理テーブル１４０７の移行元ホストのＣＰＵ使用量１４０７６及びメモリ使用量１４０７７からそれぞれ減算し、移行先ホストのＣＰＵ使用量１４０７６及びメモリ使用量にそれぞれ追加する（Ｓ３１０５）。
【０１４５】
＜第３の実施形態による効果＞
第３の実施形態では、サイト１（システムグループ１）のホスト計算機（第１のホスト計算機）の仮想マシン（仮想サーバ）がストレージ装置（サイト１：第１のストレージ装置）にアクセス（例えば、Ｐ_Ｖｏｌにアクセス）しているときに、第１のホスト計算機の負荷が大きくなり（所定の閾値を越えて）、仮想マシンをサイト２（システムグループ２）のホスト計算機（第２のホスト計算機）に移行するケースを想定する。ここで、第１の実施形態と同様、サイト１と２は、サイト１やサイト２内においてホスト計算機とストレージ装置を接続する通信網（第１種通信網：狭域通信網）よりも狭帯域の通信網（第２種通信網：広域通信網）で接続されているものとする。このとき、その切り替わりに応答して、管理計算機は、アクセス先をサイト１の第１のストレージ装置からサイト２のストレージ装置（第２のストレージ装置）に切り替える（例えば、Ｓ_Ｖｏｌにアクセス先を切り替える）。つまり、仮想マシンの移行に伴って、アクセス先も同一サイト（同一システムグループ）内になるように切り替える。このように、アクセス元の仮想マシンが当初設定されていたホスト計算機とは狭帯域の通信網を介した別のホスト計算機に当該仮想マシンを移行させたことを契機として、アクセス先のストレージ装置も、仮想マシン移行先のホスト計算機とより広帯域の通信網を介して接続されたストレージ装置に切り替えるようにしているので、第１の実施形態と同様に、ホスト計算機の負荷軽減と共に、将来的に起こりうる、より狭帯域の通信網（例えば、広域通信網）でのボトルネックの発生を回避することができるようになる。また、性能低下の時間を短縮できるようになる。
なお、アクセス先を切り替える場合、第２のストレージ装置のＳ_ＶｏｌをＰ_Ｖｏｌに、第１のストレージ装置のＰ_ＶｏｌをＳ_Ｖｏｌに再設定し、コピーペアを適宜入れ替えるようにしてもよい。これにより、アクセス元のホスト計算機の変更に伴い、第１のストレージ装置の負荷とは関係なく、アクセス先を緊急避難的にではなく恒久的に切り替えることもできるようになるので、計算機システムを柔軟に運用することができるようになる。ただし、コピーペアの正副を入れ替えず、切り替え先のボリュームをそのままＳ_Ｖｏｌとして使用しても良い。
【０１４６】
（４）第４の実施形態
本発明の第４の実施形態は、ストレージ装置２におけるアクセス先のボリューム切り替え（例えば、障害発生によるボリューム切り替えや負荷分散のためのボリューム切り替え）に伴って物理サーバを移行する処理に関するものである。なお、第４の実施形態については、第１乃至第３の実施形態と同様の構成にて実現される部位も多いため、異なる部分を中心に説明する。
＜仮想マシン管理テーブル＞
図３８は、第４の実施形態による仮想マシン管理テーブル１４０８の構成の一例を示す図である。当該仮想マシン管理テーブル１４０８は、第１の実施形態の構成に加えて、エントリ１４０８０毎に、各仮想マシンの物理マシンフラグ１４０８９Ａと、電源状態１４０８９Ｂと、を構成項目として有し、仮想マシンだけでなく物理マシン（物理サーバ：１つのホスト計算機が１つの物理サーバを構成する）も管理するテーブルとなっている。ここで、物理マシンフラグ１４０８９Ａは、該当するホスト計算機には仮想マシンが生成されず、物理マシン単体で動作するホスト計算機であるか否かを示すフラグである。当該フラグが「ｙｅｓ」の場合には、物理マシン単体として動作するホスト計算機であることを意味している。
【０１４７】
＜計算機システムの論理的構成＞
図３９は、第４の実施形態による計算機システムの論理的構成を示す図である。
第４の実施形態の計算機システムにおいては、ホスト計算機３Ａで動作するＯＳがストレージ装置２Ａにおけるボリューム２４１Ａに格納されており、ホスト計算機３ＡがＳＡＮ接続装置（ネットワーク６に含まれている）を介して起動している。ストレージ装置２Ａのボリューム２４１Ａ、ボリューム２４１Ｂは、ネットワーク６Ａ、６０Ａを経由してボリューム２４１Ｄ、ボリューム２４１Ｅに適宜のタイミングでデータが複製され格納される。この時、ストレージ装置２Ａに障害が発生した際には、アクセス先がストレージ装置２Ｂにフェイルオーバーし、ボリュームのアクセス先が２４１Ａから２４１Ｄに変更されたときに、アクセス元となる物理ホスト計算機３Ａが物理ホスト計算機３Ｃに変更される。以下では、この処理について説明する。
【０１４８】
＜ストレージ障害対応処理＞
図４０は、ストレージ装置に障害が発生し、アクセス先のボリュームが切り替わった際に実行されるストレージ障害対応処理の例を説明するためのフローチャートである。なお、ここでは、障害時対応として説明するが、ストレージの負荷分散のためにアクセス先のボリュームを切り替えた場合も同様の処理で説明できる。
管理計算機１のストレージ管理プログラム１４０４は、ボリューム管理テーブル１４１０のエントリを１つずつ選択し、Ｓ４０００からＳ４００５の繰返し処理を開始する（Ｓ４０００）。
【０１４９】
ストレージ管理プログラム１４０４は、ストレージ装置２（ボリューム管理プログラム２４１２）に対して選択したボリュームの状態を問い合わせ、選択したボリュームの状態を確認する（Ｓ４００１）。
次に、ストレージ管理プログラム１４０４は、選択したボリュームの状態１４１０３（コピーペア状態）が「ペア（Ｐ）」か「ペア（Ｓ）」かどうかを確認する（Ｓ４００２）。ここで、「ペア（Ｐ）」か「ペア（Ｓ）」の状態は、正常にコピーペアが構成されている状態を表している。状態１４１０３が「ペア（Ｐ）」か「ペア（Ｓ）」で正常な場合、ストレージ管理プログラム１４０４は、次のボリュームを処理対象として選択する。一方、状態１４１０３が「ペア（Ｐ）」か「ペア（Ｓ）」でない場合は、ストレージ管理プログラム１４０４は、ペアなしの状態か障害の状態であり、再配置が必要な状況と判定し、処理をＳ４００３に移行させる。
【０１５０】
コピーペアに異常が発生した場合には、仮想／物理マシンの再配置が必要となるため、管理計算機の配置計画プログラム１４０２は、仮想マシン管理テーブル１４０８の場所１４０８３が「サイト１」のエントリを１つずつ選択し、移行先１４０８４を「サイト２」に設定し、移行対象の仮想マシンとする（Ｓ４００３）。
【０１５１】
管理計算機１のホスト管理プログラム１４０３は、物理ホスト計算機の移行処理を実行する（Ｓ４００４）。具体的には、ホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８の各エントリを参照し、移行先１４０８４に情報が格納されている仮想マシン（例えば、Ｓ４００３で移行先１４０８４の欄に「サイト２」が設定されたもの）を選択する。ここで、ホスト管理プログラム１４０３は、物理マシンフラグ１４０８９Ａを確認し、値が「ｙｅｓ」のものについては、ホスト計算機の電源状態１４０８９Ｂがオフであることを確認する。オンであれば、ホスト管理プログラム１４０３は、移行対象のホスト計算機に電源オフ命令を送信し、電源オフになるまで待機する。この時、ＯＳ上で動作しているアプリケーションの状況に応じて電源オフのタイミングをスケジューリングしてもよい。電源がオフの状態になったことが確認できたら、ホスト管理プログラム１４０３は、ボリューム２４１Ａ及び２４１Ｄへアクセスするホスト計算機を、ホスト計算機管理テーブル１４０７から検索する。また、ホスト管理プログラム１４０３は、仮想マシン管理テーブル１４０８の移行先１４０８４の情報を参照し、同じ場所にあるホスト計算機を、ホスト計算機管理テーブル１４０７の場所１４０７２を参照して検索する。そして、ホスト管理プログラム１４０３は、同じ場所１４０７２のホスト計算機であって所属しているクラスタ１４０７３が「--」（クラスタ未所属）のものを検索し、移行先ホスト計算機として決定する。ここで、ホスト管理プログラム１４０３は、ボリューム２４１Ａへのアクセスを移行元ホスト計算機３Ａからはできないようにし、一方、移行先のホスト計算機３Ｃからはアクセス可能なように設定する。この設定は、ストレージ装置２（２Ａ、２Ｂ、・・・）のポート設定、ＬＵＮセキュリティ設定や、ＳＡＮ接続装置４のゾーニング設定など、適宜の方法にて行うことができる。
Ｓ４００４が終了すると、Ｓ４００１〜Ｓ４００４までの一連の処理が各ボリュームに対して繰返し実行される（Ｓ４００５）。
【０１５２】
＜第４の実施形態による効果＞
第４の実施形態では、サイト１（システムグループ１）のホスト計算機（第１のホスト計算機）が物理サーバとしてストレージ装置（サイト１：第１のストレージ装置）にアクセス（例えば、Ｐ_Ｖｏｌにアクセス）しているときに、第１のストレージ装置の障害によりアクセス先がサイト２（システムグループ２）のストレージ装置（第２のストレージ装置）に切り替わった（例えば、Ｓ_Ｖｏｌに切り替え）ケースを想定する。ここで、第１の実施形態と同様、サイト１と２は、サイト１やサイト２内においてホスト計算機とストレージ装置を接続する通信網（第１種通信網：狭域通信網）よりも狭帯域の通信網（第２種通信網：広域通信網）で接続されているものとする。このとき、その切り替わりに応答して、管理計算機は、サイト１の第１のホスト計算機の物理サーバがサイト２のホスト計算機（第２のホスト計算機）で稼動できるように物理サーバを移行する。このように、アクセス先が狭帯域の通信網を介して行われるようになったことを契機として物理サーバを移行するようにしているので、ストレージ装置の障害に対処できると共に、将来的に起こりうる、より狭帯域の通信網（例えば、広域通信網）でのボトルネックの発生を回避することができるようになる。また、性能低下の時間を短縮できるようになる。なお、ストレージ装置の切り替えは、障害発生だけではなく、第２の実施形態のようにストレージ装置の負荷が大きくなった場合に行っても良い。また、物理サーバの負荷が大きくなった場合に、第３の実施形態のように、別のホスト計算機に物理サーバを移行して、この移行を契機としてサクセス先のストレージ装置を切り替えるようにしても良い。
【０１５３】
（５）その他
本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ−ＲＷ、ＣＤ−Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ（又はＣＰＵやＭＰＵ）が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
【０１５４】
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できることを理解する必要がある。更に、汎用目的の多様なタイプのデバイスがここで記述した教授に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益であることが判るかもしれない。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、Ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【０１５５】
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
【０１５６】
加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び／又はコンポーネントは、データを管理する機能を有するコンピュータ化ストレージシステムに於いて、単独又は如何なる組み合わせでも使用することが出来る。明細書と具体例は典型的なものに過ぎず、本発明の範囲と精神は後続する請求範囲で示される。
【符号の説明】
【０１５７】
１：管理計算機
２：ストレージ装置
３：ホスト計算機
４：ＳＡＮ接続装置
５：ＬＡＮ接続装置
【図１】
0005996787.tif 000002
【図２】
0005996787.tif 000003
【図３】
0005996787.tif 000004
【図４】
0005996787.tif 000005
【図５】
0005996787.tif 000006
【図６】
0005996787.tif 000007
【図７】
0005996787.tif 000008
【図８】
0005996787.tif 000009
【図９】
0005996787.tif 000010
【図１０】
0005996787.tif 000011
【図１１】
0005996787.tif 000012
【図１２】
0005996787.tif 000013
【図１３】
0005996787.tif 000014
【図１４】
0005996787.tif 000015
【図１５】
0005996787.tif 000016
【図１６】
0005996787.tif 000017
【図１７】
0005996787.tif 000018
【図１８】
0005996787.tif 000019
【図１９】
0005996787.tif 000020
【図２０】
0005996787.tif 000021
【図２１】
0005996787.tif 000022
【図２２】
0005996787.tif 000023
【図２３】
0005996787.tif 000024
【図２４】
0005996787.tif 000025
【図２５Ａ】
0005996787.tif 000026
【図２５Ｂ】
0005996787.tif 000027
【図２６】
0005996787.tif 000028
【図２７】
0005996787.tif 000029
【図２８】
0005996787.tif 000030
【図２９】
0005996787.tif 000031
【図３０】
0005996787.tif 000032
【図３１】
0005996787.tif 000033
【図３２】
0005996787.tif 000034
【図３３】
0005996787.tif 000035
【図３４】
0005996787.tif 000036
【図３５】
0005996787.tif 000037
【図３６】
0005996787.tif 000038
【図３７】
0005996787.tif 000039
【図３８】
0005996787.tif 000040
【図３９】
0005996787.tif 000041
【図４０】
0005996787.tif 000042
【図４１Ａ】
0005996787.tif 000043
【図４１Ｂ】
0005996787.tif 000044