(57)【要約】【課題】クラスタによって構成されたストレージシステムにおいて、フェイルオーバ時に、ホストが代替系のストレージサブシステムのボリュームへアクセスする際のアクセス性能を低下させることが無いストレージシステム及びストレージシステムのボリューム管理方法を提供する。【解決手段】主系のストレージシステムと待機系のストレージシステムのボリュームを形成する記憶領域をそれぞれ階層化し、両者の階層同士を対応付ける。コピー元ボリュームが位置する階層と対応関係がある階層に、コピー先ボリュームを位置させる。【選択図】図２
2007328468.tif 000002
【特許請求の範囲】
【請求項１】
上位装置に対して記憶領域を提供する第１のストレージサブシステム及び第２のストレージサブシステムと、
前記第１のストレージサブシステムの記憶領域に設定される第１のボリュームと、
前記第１のボリュームの複製先のボリュームであって、第２のストレージサブシステムの記憶領域に設定される第２のボリュームと、
前記第１のストレージサブシステムの記憶領域を複数の階層に分けた第１の階層構造と、
前記第２のストレージサブシステムの記憶領域を複数の階層に分けた第２の階層構造と、
前記第１の階層構造に属する階層と前記第２の階層構造に属する階層とを対応付ける制御情報を持つ制御部と、
を備え、
前記制御部は、前記第１のボリュームを前記第１の階層構造に属する前記階層のうちの第１の階層に設定し、前記第２の階層構造に属する階層であって、前記第１の階層に対応する第２の階層に前記第２のボリュームを設定するようにした、ストレージシステム。
【請求項２】
前記第１ストレージサブシステムと第２のストレージサブシステムとがリモートコピーシステムを構成し、前記第１のボリュームが複製元ボリュームであり、前記第２のボリュームが複製先ボリュームである、請求項１記載のストレージシステム。
【請求項３】
前記第１の階層構造が、前記第１のストレージサブシステムの記憶領域を構成する記憶デバイスの性能を指標にして定義され、
前記第２の階層構造が、前記第２のストレージサブシステムの記憶領域を構成する記憶デバイスの性能を指標にして定義され、
てなる請求項１記載のストレージシステム。
【請求項４】
前記第１の階層構造及び第２の階層構造が前記記憶デバイスの性能の優劣に応じてそれぞれ複数の階層を持つように設定され、かつ、この優劣に沿って前記第１の階層構造の階層に前記第２の階層構造の階層が割り当てられている、請求項３記載のストレージシステム。
【請求項５】
前記制御部は、前記第１の階層構造の階層に割り当てられた階層よりも優位な前記第２の階層構造の階層を前記第２の階層とし、当該第２の階層に前記第２のボリュームを設定する、請求項４記載のストレージシステム。
【請求項６】
前記制御部は、前記第１の階層構造の階層に割り当てられた階層を前記第２の階層とし、当該第２の階層に前記第２のボリュームを設定する、請求項４記載のストレージシステム。
【請求項７】
前記制御部は、上位装置からのアクセスが第１のボリュームから第２のボリュームに切り替わった際、前記第２のボリュームが前記第１のボリュームが属する前記第１の階層に対応する前記第２の階層に属するか否かを判定し、否定判定した際、前記第２のボリュームを前記第１の階層に対応する前記第２の階層に移動する、請求項１記載のストレージシステム。
【請求項８】
前記制御部は、記第２のボリュームと前記第２の階層に属する他のボリュームとに対する前記上位装置の含めた利用率を求め、この利用率が上限値を超える場合、前記第２のボリュームを前記第２のボリュームに移動しないようにする、請求項７記載のストレージサブシステム。
【請求項９】
前記制御部は、記第２のボリュームと前記第２の階層に属する他のボリュームとに対する前記上位装置の含めた利用率を求め、この利用率が上限値を超える場合、前記他のボリュームを前記第２の階層以外の前記第２の階層構造に属する他の階層に移動させる、請求項７記載のストレージシステム。
【請求項１０】
前記上位装置からのアクセスが第１のボリュームから第２のボリュームに切り替わる前は、前記第２ボリュームが前記第２の階層構造に属する階層のうち前記第１の階層に対応しない階層にあり、前記上位装置からのアクセスが第１のボリュームから第２のボリュームに切り替わると、前記制御部は前記第２のボリュームを前記第２の階層に移動させる、請求項１記載のストレージシステム。
【請求項１１】
前記上位装置に対して記憶領域を提供する第３のストレージサブシステムと、
前記第３のストレージサブシステムの記憶領域に設定される第３のボリュームと、
前記第３のボリュームの複製先のボリュームであって、第２のストレージサブシステムの記憶領域に設定される第４のボリュームと、
前記第３のストレージサブシステムの記憶領域を複数の階層に分けた第３の階層構造と、を備え、
前記制御部は、前記第３の階層構造に属する階層と前記第２の階層構造に属する階層とを対応付ける制御情報を有し、前記第３のボリュームを前記第３の階層構造に属する前記階層のうちの第３の階層に設定し、前記第２の階層構造に属する階層であって、前記第３の階層に対応する第４の階層に前記第４のボリュームを設定する、請求項１記載のストレージシステム。
【請求項１２】
前記第２の階層と前記第４の階層とが同じ特定階層にあり、前記制御部は、前記上位装置のアクセスが前記第１のボリュームから前記第２のボリュームに切り替わるフェイルオーバ以前には、前記第１の階層に対応しない階層に前記第２のボリュームを配置し、前記フェイルオーバの際、前記第２のボリュームを前記特定階層に移動させる、請求項１１記載のストレージシステム。
【請求項１３】
前記制御部が、前記第１のストレージサブシステムと第２のストレージサブシステムにそれぞれ接続する管理システムによって構成されている、請求項１記載のストレージシステム。
【請求項１４】
前記制御部が、前記第１のストレージサブシステム内のコントローラ及び前記第２のストレージサブシステム内のコントローラによって構成されている、請求項１記載のストレージシステム。
【請求項１５】
前記第２のストレージサブシステムは、前記第２の階層構造に第３のボリュームを構成し、この第３のボリュームは、第３のストレージサブシステムのコピー元ボリュームのコピー先ボリュームである、請求項１記載のストレージシステム。
【請求項１６】
前記上位装置のアクセスを前記コピー先ボリュームに切り換えるフェイルオーバの前では、前記第２のボリュームと前記第３のボリュームが異なる階層に形成されており、前記フェイルオーバの際、前記制御部は、前記第２のボリュームと前記第３のボリュームとを同一階層に形成する、請求項１５記載のストレージシステム。
【請求項１７】
上位装置に対して記憶領域を提供する第１のストレージサブシステム及び第２のストレージサブシステムと、
前記第１のストレージサブシステムの記憶領域に設定される第１のボリュームと、
前記第１のボリュームの複製先のボリュームであって、第２のストレージサブシステムの記憶領域に設定される第２のボリュームと、
前記第１のストレージサブシステムの記憶領域を複数の階層に分けた第１の階層構造と、
前記第２のストレージサブシステムの記憶領域を複数の階層に分けた第２の階層構造と、
前記第１の階層構造に属する階層と前記第２の階層構造に属する階層とを対応付ける制御情報を持つ制御部と、
を備え、
前記制御部は、前記第１のボリュームを前記第１の階層構造に属する前記階層のうちの第１の階層に設定し、前記第２の階層構造に属する階層であって、前記第１の階層に対応する第２の階層に前記第２のボリュームを設定し、
前記第１のボリュームがコピー元ボリュームであり、前記第２のボリュームが前記第１のボリュームのリモートコピー先ボリュームであり、
前記第１の階層構造が、前記第１のストレージサブシステムの記憶領域を構成する記憶デバイスの性能を指標にして定義され、
前記第２の階層構造が、前記第２のストレージサブシステムの記憶領域を構成する記憶デバイスの性能を指標にして定義され、
前記第１の階層構造及び第２の階層構造が前記記憶デバイスの性能の優劣に応じてそれぞれ複数の階層を持つように設定され、かつ、この優劣に沿って前記第１の階層構造の階層に前記第２の階層構造の階層が割り当てられており、
さらに、前記制御部は、上位装置からのアクセスが第１のボリュームから第２のボリュームに切り替わった際、前記第２のボリュームが前記第１のボリュームが属する前記第１の階層に対応する前記第２の階層に属するか否かを判定し、否定判定した際、前記第２のボリュームを前記第１の階層に対応する前記第２の階層に移動する、ストレージシステム。
【請求項１８】
前記階層構造が前記記憶領域を前記上位装置に対して提供する記憶デバイスのインターフェース規格の相違によって定義されている、請求項１記載のストレージシステム。
【請求項１９】
第１のストレージサブシステムの第１のボリュームを複製元ボリュームとし、
第２のストレージサブシステムの第２のボリュームを複製先ボリュームとし、
前記第１のストレージサブシステムの記憶領域を複数の階層からなる第１の階層構造を備えるように設定し、
前記第２のストレージサブシステムの記憶領域を複数の階層からなる第２の階層構造を備えるように構成し、
前記第１の階層構造と第２の階層構造との間に対応関係を設定し、
前記第１の階層構造の階層に前記第１のボリュームを設定し、
前記第１のボリュームが属する階層と対応関係にある、前記第２の階層構造のうちの対応階層に前記第２のボリュームを設定し、
上位装置のアクセスが前記第１のボリュームから前記第２のボリュームに切り替わる際に、前記第２のボリュームが前記対応階層以外の階層に存在する場合には、当該第２のボリュームを前記対応階層に移動させる、
ストレージシステムのボリューム管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はストレージシステムに係わり、特に、主系のストレージサブシステムと、この主系のストレージサブシステムに対する待機系のストレージサブシステムとを備え、主系のストレージサブシステムに障害が発生した場合に、待機系のストレージサブシステムが主系のストレージサブシステムの業務を継続可能なストレージシステムに関するものである。更に詳しくは、本発明はストレージサブシステムのボリューム管理に関するものである。
【背景技術】
【０００２】
ディザスタリカバリなど、ストレージシステムの業務の継続性に配慮したシステムでは、一つのストレージシステムのデータを他のストレージシステムにコピーすることが必要である。このためにストレージシステムの筐体間ボリュームレプリケーション機能を利用したリモートコピーが知られている。
【０００３】
銀行などように、業務の遂行のために膨大なデータ処理を必要とする産業では、多数のＨＤＤを備えたストレージサブシステムを用いてデータ処理やデータの保管を行なっている。ストレージサブシステム内のデータ処理手段やデータ格納手段などにはクラスタ構造が採用されているために、ストレージサブシステムに発生する各種の障害に対して、高いデータの安定性が確立されている。
【０００４】
リモートコピーを用いたストレージシステムでは、主系のストレージサブシステムに障害が発生した場合、ホストは待機系のストレージサブシステムのコピー先ボリュームにアクセスすることによって、ホストが主系のストレージサブシステムのコピー元ボリュームにアクセスすることによって実行していた業務を、待機系のストレージサブシステムにおいて継続することができる。このように、主系のストレージシステムに障害が発生した場合に、代替系のストレージサブシステムが主系のストレージサブシステムを引き継ぐことをフェイルオーバという。
【０００５】
この種のストレージシステムとして、例えば、特開２００４−２４６８５２号公報に記載のものが存在する。このものは、フェイルオーバ型クラスタシステムで、システム全体の性能が、フェイルオーバ後においてフェイルオーバ前に比べて低くならないようにするために、前記公報の図４に示すように、記憶装置２２００のパリティグループ３４００内のボリューム（コピー元ボリューム）２２１０に書込んだデータを、リモートコピー機能を使用して記憶装置２３００のパリティグループ３３００内のボリューム２３１０（コピー先ボリューム）に書込む場合、このボリュームの組に関し、コピー先ボリュームのフェイルオーバ後の性能が、コピー元ボリュームのフェイルオーバ前の性能以上という条件（１）と、コピー中の、コピー先ボリュームの性能が、コピー元ボリュームの性能以上という条件（２）の２条件のうち、指定したどちらか一方もしくは両方の条件を満たすか否かを、コピー中に判断し、条件が満たされなければ、コピー先ボリュームが定義されている記憶装置内の構成を変更して、指定条件が満たされるようにするものである。
【特許文献１】特開２００４−２４６８５２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
出願人は、本発明が解決しようとする課題を、図１を利用して説明する。図１は主系のノード１０と待機系のノード２０とからなるリモートコピーシステムを示している。各ノードは、ストレージサブシステムと、このストレージサブシステムにアクセスする、上位装置としてのホストとから構成されている。
【０００７】
図１に示されたストレージシステムは、主系のホスト或いは主系のストレージサブシステムに障害が発生した場合に、主系のホスト及びストレージサブシステムがユーザに提供していた業務を、待機系のノードが継続する。１５００は主系のストレージサブシステムであり、１６００は待機系のストレージサブシステムである。各ストレージサブシステムは、複数の記憶デバイスがＲＡＩＤで定義されたアレイグループを構成し、この中に一つ以上のボリュームが存在する。１７００は主系のストレージサブシステムのアレイグループの一つである。１８００は待機系のストレージサブシステムのアレイグループの一つである。ボリュームとはアレイグループ上に構成された、ホストがアクセス可能な記憶領域である。ボリュームはストレージサブシステムにファイバケーブルによって接続されたホストにより使用されている。
【０００８】
ホスト１０００はファイバチャネルスイッチ１３００を介して、ストレージサブシステム１５００内のボリューム１７１０にアクセスしている。ボリューム１７１０（コピー元ボリューム）はファイバチャネルスイッチ１３１０を介してサブシステム１６００内のボリューム１８１０（コピー先ボリューム）にリモートコピーされている。ホスト１１００はファイバチャネルスイッチ１３２０を介してサブシステム１６００内のボリューム１８１０にアクセスしている。
【０００９】
図１において、ボリューム１７１０はアレイグループ１７００内に存在する。ホスト１０００からのボリューム１７１０へのアクセス性能は、アレイグループ１７００の利用率に依存する。同様にボリューム１８１０はアレイグループ１８００内に存在する。ホスト１１００からのボリューム１８１０へのアクセス性能は、アレイグループ１８００の利用率に依存する。主系のノードで障害が発生すると、待機系へノードが切り替わる。
【００１０】
アレイグループ１８００内にはボリューム１８１０のほかにボリューム１８２０が存在し、ホスト１２００がこのボリュームにファイバチャネルスイッチ１３２０を介してアクセスしている。これにより、アレイグループ１８００の利用率はアレイグループ１７００の利用率より高い状況にある。仮にアレイグループ１７００の利用率を２５％、アレイグループ１８００の利用率を６０％とすると、主系から待機系へノードが切り替わると、ノードの性能が低下する。これはアレイグループ１８００の利用率がアレイグループ１７００の利用率より高いため、ホストがボリュームへアクセスする際の性能が低下するためである。このように、複数のストレージサブシステムがクラスタによって構成された、ストレージシステムでは、フェイルオーバ時にホストからのアクセス性能が低下するという課題が存在する。
【００１１】
そこで、本発明は、クラスタによって構成されたストレージシステムにおいて、フェイルオーバ時に、ホストが代替系のストレージサブシステムのボリュームへアクセスする際のアクセス性能を低下させることが無いストレージシステム及びストレージシステムのボリューム管理方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、主系のストレージサブシステムのコピー元ボリュームのボリューム性能と同等のボリューム性能を待機系のコピー先ボリュームに保障することを特徴とするストレージシステムである。
【００１３】
本発明の一つの形態は、第１のストレージシステムの記憶資源を階層構造になるようにし、さらに第２のストレージサブシステムの記憶資源を階層構造になるようにし、第１のストレージシステムの階層と第２のストレージサブシステムの階層とを対応させ、この対応関係に第１のストレージサブシステムのボリュームと第２のストレージサブシステムのボリュームとを配置することとし、特に、例えばフェイルオーバの際、第２のストレージサブシステムのボリュームがこの対応関係にない階層に存在する場合、このボリュームを対応関係にある階層に移動させることを特徴とするものである。
【００１４】
階層を上位装置に対するアクセス性能の観点から定義すれば、その階層にあるべきボリュームは、この階層に対して定義されたアクセス性能を持つように設定される。したがって、第１のストレージサブシステムのボリュームが属する階層にあわせて、前記第２のストレージサブシステムのボリュームが属する階層を定義することにより、上位装置からのアクセスが第１のストレージサブシステムのボリュームから第２のストレージサブシステムのボリュームに切り替わっても、ボリュームへの上位装置からのアクセス性能を落とすことなく、第２のストレージサブシステムは上位装置にボリュームを提供できる。第２のストレージサブシステムのボリュームを一つ階層から他の階層に移動する場合、対応関係が設定されており、階層の性能も定義されていることから、ボリュームを階層間で移動させる上でのボリューム性能を維持することができる。既述の特許文献１には、複数のストレージサブシステム間で、ボリュームを備える記憶領域を階層化し、かつ、階層同士の間で対応関係を設けることについては、記載も示唆もされていない。
【発明を実施するための最良の形態】
【００１５】
次に本発明の実施形態について説明する。図２は主系のストレージサブシステムと待機系のストレージサブシステムとを備えるストレージシステムのブロック図である。図１のストレージシステムと異なる点は、主系のストレージサブシステムと待機系のストレージサブシステムのボリュームを階層によって管理し、主系のストレージサブシステムの階層と待機系のストレージサブシステムの階層とを対応付けた点である。
【００１６】
主系のストレージサブシステム１５００の一部又は全部の記憶資源が階層化されている。図２の例では、ストレージサブシステム１５００は、階層１５１０，１５２０，１５３０を備えている。待機系のストレージサブシステムも同様に階層１６１０，１６２０，１６３０を備えている。階層１５１０と階層１６１０とは互いに対応付けられており、階層１５２０と階層１６２０とは互いに対応付けられており、階層１５３０と階層１６３０とは互いに対応付けられている。本発明において階層とは、アレイグループを分類するための概念である。階層内には１つないし複数のアレイグループが存在する。アレイグループの性能、特性はアレイグループを構成する記憶デバイス(ハードディスクドライブ等)の性能、特性、ホストからの利用率などにより定義できる。階層においてはアレイグループの性能、特性を指定することにより、特定のアレイグループを指定する。詳しくは後述の図４において説明する。
【００１７】
符号２０００は、管理システム２００２がネットワークを介して主系と待機系のストレージサブシステムとアクセスするためのスイッチである。ボリューム１７１０がリモートコピーにおけるコピー元ボリュームであり、ボリューム１８１０がリモートコピーにおけるコピー先ボリュームである。
【００１８】
図３（１）はアレイグループを構成する複数の記憶デバイス（３０−１・・・３０−Ｎ）上に、複数のボリューム１７１０，１７１０Ａが構成されている様子を示している。図３（２）に示すように、階層１５１０には複数のアレイグループ(例えば、ＡＲ１，ＡＲ２)が存在し、各アレイグループ(例えばＡＲ１)に一つ又は複数のボリューム１７１０，１７１０Ａが形成されている。
【００１９】
階層を規定するための条件の一覧が図４に示されている。ＲＡＩＤレベルとはアレイグループのディスク数、構成数を指定するものである。回転速度とはアレイグループを構成するディスクの回転速度である。位置とはストレージサブシステムのボリュームが、ストレージサブシステムの内部のボリュームか、このストレージサブシステムに接続された他のストレージサブシステムのボリューム（外部ボリューム）か、あるいはその両方から指定するものである。種別とはアレイグループを構成するディスクのインターフェースに関するものであり、例えば、ファイバチャネルかＳＡＴＡかを指定するものである。利用率とは、ボリュームの属するアレイグループの利用率の上限値である。順位とは、０：高、１：中、２：低など階層の順位を指定する概念である。
【００２０】
階層は、図４に示した複数の要素の一つ又は複数を組み合わせた指標によって決定される。先に述べたとおり、階層とはボリュームを信頼性、性能、コストの観点からボリュームをグループ化する概念である。階層はストレージサブシステムごとに、複数作成できるものとする。図２のストレージシステムでは、主系及び待機系のストレージサブシステムにおいて、それぞれストレージサブシステムの記憶領域が３つの階層によって構成されている。特定の階層上にボリュームを設定すると、このボリュームは階層を定義する条件を満足するボリューム性能を備える。階層の定義、コピー元ボリューム及びコピー先ボリュームを含むボリュームをどの階層に設定するかはストレージシステムの管理者によって決定される。管理者は管理システム２００２に接続する管理クライアントを介して階層の設定、ボリュームの設定を管理システム及びストレージサブシステムとに対して行なう。管理システム２００２の後述の各種管理プログラムが、階層及びボリュームの管理を実行する。
【００２１】
複数の階層間では、ボリューム性能の優劣に関する順位がある。図２において、ストレージサブシステム１５００の階層１５１０のボリューム性能は階層１５２０のボリューム性能に比べて優位であり、階層１５２０のボリューム性能は階層１５３０のボリューム性能に比べて優位である。ストレージサブシステム１６００の階層１６１０のボリューム性能は階層１６２０のボリューム性能に比べて優位であり、階層１６２０のボリューム性能は階層１６３０のボリューム性能に比べて優位である。ボリューム性能の優位な階層ほど階層の順位が高くなる。図２のストレージシステムでは、ストレージサブシステム１５００とストレージサブシステム１６００との間で、同じ順位の階層同士を対応させている。ボリューム性能が良いとは、一つに、ホストのアクセスに対してボリュームを構成する記憶デバイスの応答性が良いということである。
【００２２】
ストレージサブシステム１５００の階層を決定するための条件とストレージサブシステム１６００の階層を決定させる条件とは同一であっても良いし、異なっていても良い。図５は、主系のストレージサブシステムの階層構造と待機系ストレージサブシステムの階層構造の定義例を示すものである。
【００２３】
階層は、ＲＡＩＤレベルと、回転速度と、ボリューム位置と、記憶デバイスの種別とによって定義されている。階層を構成するアレイグループは、階層を定義した条件に合致する記憶デバイスによって構成される。記憶デバイスの代表的な例はハードディスドライブであるが、ハードディスクに代えてフラッシュメモリなどの半導体メモリによって構成されても良い。図５によれば、階層１−１は階層１−２に比べてボリューム性能が良いことを示している。階層２−１は階層２−２に比べてボリューム性能が良いことを示している。
【００２４】
図２では、コピー元ボリューム１７１０が主系ストレージサブシステム１５００の最上位の階層１５１０に属し、ボリューム１７１０のコピー先ボリューム１８１０が待機系ストレージサブシステム１６００の最上位の階層１６１０に属している。コピー先ボリュームをコピー元ボリュームが属する階層に割り当てられた階層に設定することにより、フェイルオーバ時ホストのアクセスがコピー元ボリュームからコピー先ボリュームに向けられても、ストレージシステムは、コピー先ボリュームのアクセス性能の低下を避けることができる。
【００２５】
ボリュームをある階層に設定するということは、この階層を定義した条件に合致するアレイグループによってボリュームを構成するということである。コピー先ボリュームをコピー元ボリュームが属する階層に割り当てられた階層より上位の階層に置くようにしても良い。コピー先ボリュームを、コピー元ボリュームが属する階層に対して、いかなる階層に設定するかという関係が、コピー元ボリュームの階層とコピー先ボリュームの階層との対応関係に相当する。
【００２６】
コピー元ボリュームを主系のストレージサブシステムのいかなる階層に置くかは、ホストからストレージサブシステムに対するアクセス性能を考慮して、適宜管理者によって決定される。このとき主系のコピー元ボリュームの階層と、待機系のコピー先ボリュームの階層が必ずしも、両方の階層のもともとの対応関係と一致しないことがある。たとえば、図６に示すように、ボリューム１７１０がコピー元ボリューム、ボリューム１８１０がコピー先ボリュームである。コピー元ボリュームの階層１５１０に割り当てられた階層は１６１０であるが、コピー先ボリューム１８１０は階層１６１０ではなく階層１６２０内にある。
【００２７】
階層１６１０内の、ボリューム１８１０と異なる他のボリュームがホストの業務に使用されており、階層１６１０の性能を劣化させたくない場合、主系のコピー元ボリュームが階層１５１０内にあったとしても、コピー先ボリュームを階層１６１０ではなく、１６２０に配置することは運用上考えられる。
【００２８】
但し、フェイルオーバの際、ホストのコピー先ボリューム１８１０に対するアクセス性能はボリューム１７１０に対するアクセス性能より低下するおそれがある。そこで、フェイルオーバの際に、待機系ストレージサブシステムの階層１６２０にあるボリュームを階層１６１０のボリュームにマイグレーションすることにより、ボリューム１８１０のボリューム性能を上げてホストのアクセス性能を維持するようにすれば良い。
【００２９】
ボリューム１８１０を階層１６１０に移動した結果、階層１６１０内のアレイグループの利用率が増加する。ホストとのボリュームに対するアクセス性能は、階層によって定義された性能の他、ホストのアクセス先となるボリュームが属するアレイグループに対する、ホストの利用率にも依存している。ホストが階層１６１０に移動されたボリューム１８１０にアクセスした際、階層１６１０を構成するアレイグループの他のボリュームへのアクセスがホストからあると、同一のアレイグループ内で複数のボリュームに対するアクセスが競合して、コピー先ボリューム１８１０に対する、ホストからのアクセス性能が低下する。
【００３０】
利用率（％）は以下の式（Ｉ）から算出される。
総転送量(MB/秒) ÷平均転送速度(MB/秒) + 総要求数(要求/秒) ×平均要求処理間隔(秒/要求) ・・・・・（Ｉ）
（Ｉ）式により１秒あたりの転送および、後処理に要する処理時間が算出される。総要求数とはアレイグループに対する、ホストの１秒あたりの書き込み、読み出しの要求数である。平均要求処理間隔は、記憶デバイスがホストからの要求を完了した後、次の要求を受け付けるまでに必要となる時間である。総転送量とは、１秒あたりの、ホストからストレージサブシステムへの転送データ量である。平均転送速度とは、アレイグループを構成する記憶デバイスの平均的なデータ転送速度である。平均要求処理間隔と平均転送速度はアレイグループを構成するディスクの性能から定まる。
【００３１】
コピー先ボリュームが属する階層から、この階層以上の順位の階層にコピー先ボリュームを移動することによりアレイグループを構成する記憶デバイスに対する、ホストの利用率が、予め階層に設定してある上限値を超える場合がある。この場合、コピー先ボリュームの移動を行わないか、コピー先ボリュームを移動しようとしている階層に属する他のボリュームをこの階層から他の階層に移動させればよい。
【００３２】
図７は主系のストレージサブシステム(１５００)の階層と待機系のストレージサブシステム(１６００)の階層との対応関係の一例を示す制御テーブルである。この制御テーブルは、ストレージサブシステム１６００の階層１−１ストレージサブシステム１５００の階層に割り当てられ、ストレージサブシステム１６００の階層１−２がストレージサブシステム１５００の階層２−２に割り当てられていることを示している。
【００３３】
図８は、各階層の利用率の一例を示す表である。管理システムは、階層に属するボリュームへのホストのアクセス状況を常時監視して、前記式（Ｉ）に基づいて利用率を演算する。ここで、ストレージサブシステム１６００の階層２−２からコピー先ボリュームが階層２−１にマイグレーションされた場合には、階層２−２の利用率が減少する一方で、階層２−１の利用率が増加する。管理システムは利用率の変化を演算し、階層２−１の利用率が図５に示す利用率の上限を超えるか否かを判定する。
【００３４】
図９は管理システムのハードウエアブロックを示すものである。管理システムは、主系のストレージサブシステムと待機系のストレージサブシステムとの通信を行う通信装置９０と、プログラム及びデータを格納するメモリ９２と、管理システム全体の制御を行うＣＰＵ９４とを備えて構成されている。
【００３５】
メモリ９２は、性能情報取得プログラム９２Ａと、構成変更プログラム９２Ｂと、構成確認プログラム９２Ｃと、構成検査プログラム９２Ｄと、性能情報９２Ｅと、構成情報と９２Ｆとを備えている。ＣＰＵ９４は性能情報プログラムを実行することにより、主系ストレージサブシステムと待機系ストレージサブシステムの性能情報を取得する。
【００３６】
図１０は性能情報を格納するテーブルである。ＣＰＵ９４は性能情報取得プログラム９２Ａを実行してストレージサブシステムから性能情報を取り込む。メモリ９２は性能情報をテーブルの形式で決められた記憶領域に格納する。性能情報テーブルは、ストレージサブシステムのアレイグループ毎に、既述の総要求数と、平均要求処理間隔と、総転送量と、平均転送速度のデータを備えている。ＣＰＵ９４はホストのストレージサブシステムに対するアクセス状態を把握して、総要求数と総転送量を求める。平均要求処理間隔と平均転送速度は記憶デバイスが持っている性能に係わるものである。ＣＰＵはこの性能情報を通信装置９０を介してストレージサブシステムから取り込む。
【００３７】
ＣＰＵ９４は構成確認プログラム９２Ｂを実行して、主系のストレージサブシステムと待機系のストレージサブシステムとからなるクラスタシステムがフェイルオーバしていないか否かを確認する。主系のストレージサブシステムがダウンすると、構成確認プログラムは、この状態を検知して構成変更プログラムを読み出す。ＣＰＵは構成変更プログラムに基づいて、コピー元ボリュームの階層とコピー先ボリュームの階層の対応を確認する。
【００３８】
コピー先ボリュームが、階層対応テーブルで対応付けられた階層内にない場合、対応テーブルで示される階層に移動する。主系のホストはクラスタ管理プログラムを実行し、主系のストレージサブシステムの障害を検知して、待機系のホストに業務を委譲する。待機系のホストは待機系のストレージサブシステムのコピー先ボリュームにアクセスする。主系のシステムの障害には、主系のホストの障害、又は主系のストレージサブシステムの障害、又はこの両方がある。主系のホストに障害があると、主系のホストは待機系のホストに切り替わり、かつ主系のストレージサブシステムは待機系のストレージサブシステムに切り替わる。
【００３９】
主系のストレージサブシステムに障害が発生した場合も同様である。管理システムは主系のストレージサブシステムの稼動状況を常時監視しており、主系のストレージサブシステムが待機系のストレージサブシステムにフェイルオーバされたときには、主系のストレージサブシステムの稼動状態から、フェイルオーバがあったことを知ることができる。
【００４０】
構成情報９２Ｆはリモートコピー管理テーブル、ボリューム管理テーブル、階層管理テーブル、階層対応テーブルから成る。図１１はリモートコピー管理テーブルの例を示すものであり、例えば、サブシステムAkagiyamaのアレイグループ１−１−１に属するコピー元ボリューム（０：００）がサブシステムHarunasanのアレイグループ１−２−１のコピー先ボリューム３：３７にリモートコピーされていることを示している。すなわち、リモートコピー管理テーブルは、リモートコピー元ボリュームとリモートコピー先ボリュームとの組を管理する。リモートコピー管理テーブルによって、主系のストレージサブシステムのコピー元ボリュームと待機系ストレージサブシステムのコピー先ボリュームとの間にパスが形成される。
【００４１】
図１２に示すボリューム管理テーブルは、ボリュームとボリュームの属するストレージサブシステム、及びアレイグループを関連付けるものである。例えば、ボリューム０：００はサブシステムAkagiyamaに属し、そのアレイグループ１−１−１に属していることを示している。図１３に示すアレイグループ管理テーブルはアレイグループと階層とストレージサブシステムとを関連付けるものである。例えば、アレイグループ１−１−１はサブシステムAkagiyamaの階層１−１を構成することを示している。階層管理テーブルは階層と、階層の属性値とを管理するものである。
【００４２】
既述の図５はこの階層管理テーブルに対応する。階層対応テーブルは主系のストレージサブシステムと待機系のストレージサブシステムとの間での階層の対応を管理するものである。既述の図７はこの階層対応テーブルに対応する。図１４は階層対応テーブルの他の例を示すものである。図１４で示される階層の対応構造は、Akagiyama及びHodakaがそれぞれ主系ストレージサブシステムを構成し、Harunasanが両方のストレージサブシステムに対する待機系のストレージサブシステムを形成していることを示している。ストレージサブシステム間の階層の対応関係は図１４に示すとおりである。図１１乃至図１４に示す管理テーブルにしたがって、ストレージサブシステム内でのボリュームの階層化が管理される。
【００４３】
図１５は図１４の管理テーブルに示す階層の対応関係に合ったストレージシステムのブロック図を示すものである。このストレージシステムでは、ホスト１０００とストレージサブシステム１５００とからなる第１の主系システムに、ホスト１１００とストレージサブシステム１６００からなる第１の待機系システムが対応し、さらに、ホスト１０００Ａとストレージサブシステム１５００Ａとからなる第２の主系システムに、ホスト１１００Ａとストレージサブシステム１６００からなる第２の待機系システムが対応している。このように、図１５のストレージシステムは二つのクラスタシステムによって構成されている。
【００４４】
コピー元ボリュームA-1はコピー先ボリュームA-2にリモートコピーされ、コピー元ボリュームB-1はコピー先ボリュームB-2にリモートコピーされている。待機系のボリュームA-2およびB-2はいずれも同一の待機系のストレージサブシステムに存在する。
【００４５】
主系のストレージサブシステム１５００の階層１５１０は待機系ストレージサブシステム１６００の階層１６１０に対応し、主系のストレージシステム１５００Ａの階層１５１０Ａは待機系のストレージサブシステム１６００の階層１６１０に対応している。主系のストレージサブシステム１５００の階層１５２０は待機系ストレージサブシステム１６００の階層１６２０に対応し、主系のストレージシステム１５００Ａの階層１５２０Ａは待機系のストレージサブシステム１６００の階層１６２０に対応している。
【００４６】
コピー元ボリュームＡ−１は主系ストレージサブシステム１５００の階層  １５１０に存在し、コピー元ボリュームＢ−１は主系ストレージサブシステム１５００Ａの階層１５１０Ａに存在する。フェイルオーバの前、コピー先ボリュームＡ−２は待機系ストレージサブシステム１６００の階層１６２０に存在し、コピー先ボリュームＢ−２は待機系ストレージシステムとの階層１６１０に存在する。Ｃ−１は待機系ストレージサブシステムの階層１６１０にもともと定義されているボリュームである。待機系ストレージサブシステムは、ホスト１１００又は１１００Ａに主系ストレージサブシステムのボリュームのリモートコピー先ではなく、独自にＣ−１で示されるボリュームを構成する記憶領域を提供している。
【００４７】
図１６に示すように、第１の主系システムを構成するストレージサブシステム１５００に障害が発生した場合、管理システムは、コピー先ボリュームＡ−２をボリューム性能が上位になる階層１６１０へ移動する。ここでボリュームを移動することは、移動先の階層のボリュームに移動元のボリュームのデータを移行（マイグレーション）することによって達成される。ボリュームの移動により、移動先の階層の利用率が、階層に設定された上限値を超える場合、階層内の他のボリュームを別の階層へ移動する。図１７ではボリュームＣ−１を階層１６１０よりも下位の階層１６２０に移動させている。
【００４８】
この時、ボリュームＣ−１の代わりにボリュームＢ−２を下位の階層に移動しても良いし、両方のボリュームを下位の階層に移動しても良い。なお、図１７に示すように主系のサブシステムと待機系のサブシステムがｎ:１（図１７ではｎ＝２）の関係にある場合、待機系のストレージサブシステム内に複数のコピー先ボリュームが存在することになる。全てのコピー先ボリュームを、コピー元ボリュームの階層と対応付けられた階層に置くと、待機系のストレージシステムの階層の性能が劣化するため、一部のコピー元ボリュームを対応付けられていない階層へ配置することが考えられる。図１６では、コピー先ボリュームＡ−２を階層１５１０に対応付けられていない階層１６２０にフェイルオーバ前に配置されている。
【００４９】
図１７は管理システムのＣＰＵが性能情報取得プログラムを実行する際の処理フローチャートを示すものである。管理システムが、このフローチャートをスタートすると、ステップ１７００において、性能を取得していないサブシステムがあるか否かをチェックして、全てのストレージシステムとについて性能を取得した場合には、図１７の処理を終了する。ここでストレージサブシステムとは主系及び待機系のストレージサブシステムである。
【００５０】
管理システムは、自身の管理支配下にあるストレージサブシステムの一つを選択する(ステップ１７０２)。管理システムは、例えば、図１１記載のリモートコピー管理テーブルを参照することによって、ストレージシステム内にあるストレージサブシステムを知ることができる。ステップ１７０４において、管理システムはストレージサブシステム内の全てのアレイグループ毎に当該アレイグループを構成する記憶デバイスに関する性能情報を取得し、図１０に示す性能情報格納テーブルを更新する（１７０６）。
【００５１】
次いで、ステップ１７００にリターンする。総要求数と総転送量は、ホストのアレイグループへのアクセス状態によって変化する。管理システムは、このアクセス状態に基づいて、総要求数と総転送量とを求める。性能情報格納テーブルのこれ以外の情報はストレージサブシステムや記憶デバイスが持っている固有値である。管理システムは図１７の処理を常時実行して、最新の性能情報を取得するようにしている。
【００５２】
図１８は既述の構成確認プログラムの動作を示すものである。管理システムは、主系のストレージシステムに障害が発生しているか否かを常時監視している。管理システムは主系のストレージサブシステムに生存確認のためのアクセスを一定間隔で行い、主系のストレージサブシステムから生存確認応答が無い場合には主系のストレージサブシステムを障害と判定し(ステップ１８００)、構成変更プログラム(１８０２)を開始する。
【００５３】
この時、主系のホストの主系のストレージサブシステムへのアクセスは、待機系のホストが待機系ストレージサブシステムへアクセスすることに切り替わる。主系のストレージサブシステムの障害が復旧すると、図１８の処理が再開される。
【００５４】
図１９は、構成変更プログラムの動作を示すものである。このプログラムは主系のストレージシステムのフェイルオーバを契機にして構成確認プログラムから読み出される。先ず、管理システムは、リモートコピー管理テーブルを参照して、管理装置がチェックする対象となる、リモートコピーのコピー元ボリュームとコピー先ボリュームのぺアがあるか否かをチェックされる(１９００)。これが肯定判定されると、リモートコピー管理テーブルからリモートコピーのペアとなるボリュームの組が一つ選択される(１９０２)。管理システムは、階層管理テーブルより、コピー元ボリュームを含む階層Ｘの情報を取得する(１９０４)。次いで、階層管理テーブルより、コピー先ボリュームを含む階層Ｙの情報を取得する(１９０６)。次いで、階層対応テーブルより階層Ｘに対応した階層Ｚの情報を取得する(１９０８)。
【００５５】
ステップ１９１０では、階層Ｙと階層Ｚが一致するか否かがチェックされ、これが肯定判定される場合には、コピー先ボリュームが今存在している階層を変更する必要が無いと判定してステップ１９００に戻る。ステップ１９１０  において、否定判定が成された場合は、ステップ１９０２において、階層Ｙと階層Ｚの順位が判定され（１９１２）、階層Ｙの順位が階層Ｚよりも高い場合には、コピー先ボリュームの階層を変更する必要がないとしてステップ１９００に戻る。
【００５６】
一方、階層Ｙが階層Ｚより低い順位にある場合には、コピー先ボリュームを階層Ｚに移動可能かが判定される（１９１４）。これが肯定される場合にはこの移動が開始され、ステップ１９００に戻る。この判定が否定された場合には、階層Ｙより上位で階層Ｚより低い階層Ｗがあるか否かをチェックする（１９１６）。これが肯定された場合には、階層Ｗにコピー先ボリュームを移動できるか否かについてチェックする（１９１８）。これが肯定判定された場合には、コピー先ボリュームを階層Ｙから階層Ｗへ移動させる（１９２０）。ステップ１９１６及び１９１８が否定判定された場合には、コピー先ボリュームを階層Ｙから他の階層へ移動させることができない旨を管理者（管理用クライアント装置）に通知する(１９２２)。
【００５７】
なお、階層Ｗが複数存在する場合には、より高い順位の階層からコピー先ボリュームの移動が可能か否かをチェックする。複数ある全ての階層にコピー先ボリュームを階層Ｙから移動できないときに、コピー先ボリュームの移動ができないと判定される。ステップ１９００では、全てのリモートコピーのペアを成すボリュームの組について、チェックが行なわれた否かの判定が実行され、これが肯定判定されたときに処理を終了する。
【００５８】
コピー先ボリュームが属する階層を移動させるということは、この階層に属するアレイグループ上のボリュームにコピー先ボリュームをマイグレーションするということである。コピー先ボリュームとこのボリュームが属するアレイグループ・階層との対応関係は、ボリューム管理テーブルとアレイグループ管理テーブルとを組み合わせることによって明らかとなる。図１６に示すプログラムに基づいてコピー先ボリュームが属する階層を移動させる場合には、新たな対応関係の情報でこれら管理テーブルを更新する。
【００５９】
図２０は、コピー先ボリュームを他の階層に移動させることが可能か否かを判定するためのルーチンを示したものである。管理システムは、待機系ストレージシステムのコピー先ボリュームを移動すべき階層内のアレイグループの一覧をアレイグループ管理テーブルから取得する（２０００）。ステップ２００２において、管理システムはチェックしていないアレイグループが存在するか否かを判定し、これが肯定判定された場合は、ステップ２００４に移行してアレイグループの一つを選択する。管理システムは、図１０の性能取得テーブルに基づいて、前記式（Ｉ）に基づいて選択したアレイグループの利用率（ｙ）を計算する（２００６）。
【００６０】
次いで、この利用率（ｙ）とこのアレイグループが属する階層について設定された上限値（ｘ）とを比較し(２００８)、ｙ＜ｘの場合は、管理装置はコピー先ボリュームを選択されたアレイグループを形成する記憶デバイスにマイグレーション可能と判定し、これを実行することによりコピー先ボリュームを現在の階層から他の階層に移動させる（２０１０）。管理層は性能情報テーブルを参照することによりこの上限値（ｘ）を取得することができる。
【００６１】
ｙ≧ｘの場合は、選択したアレイグループ上に形成された他のボリュームを他の階層のアレイグループに移動できるか否か判定し、これが可能であれば他のボリュームを現在の階層のアレイグループから他の階層の選択されたアレイグループに移動させる(２０１２)。これが不可能であれば、管理システムは、管理者にボリュームの移動が不可能である旨通知する。次いで、処理はステップ２００２に移動し、全てのアレイグループをチェックしたかが判定され、これが肯定判定された場合には、処理を終了する。
【００６２】
他のボリュームを他の階層のアレイグループに移動できるかは移動先のアレイグループの利用率に基づいて、既述の方法と同一の方法によって実行できる。他のボリュームを他の階層に移動できない場合はコピー先ボリュームを目的とする階層に移動できないことになり、管理装置はその旨を管理者に通知する。この通知を受けた管理者は記憶デバイスの増設等の対処を行うことができる。
【００６３】
コピー先ボリュームが他の階層にマイグレーションしている最中、ホストからの書き込みデータは待機系ストレージサブシステムのキャッシュメモリに一時保存され、マイグレーションの終了後キャッシュ内のデータが移動先ボリュームに書き込まれる。また、ホストのコピー先ボリュームへのデータ読み出しは、読み出しデータはマイグレーション完了前当初の階層にあるコピー先ボリュームから読み出され、マイグレーション完了後では移動した階層にあるボリュームからデータが読み出される。
【００６４】
既述の実施形態は、管理システムによってストレージサブシステムのボリュームを管理する法式について説明したが図２１に示すように、ストレージシステムサブシステム内のコントローラによってボリューム及び階層を管理することができる。図２１は、そのためのストレージシステムを示したものである。
【００６５】
この例では、ストレージサブシステム内にＣＰＵ９４、メモリ９２、通信装置９０が存在する。ストレージサブシステムは相互に接続されたファイバケーブルを通じ、構成情報および性能情報を共有する。管理システム内に存在する構成変更プログラムなどもストレージサブシステムのメモリ内に格納する。ストレージサブシステムの構成情報や性能情報の確認は外部のコンソール２１０によって行う。コンソールは各サブシステムとファイバケーブルで接続されており、ファイバケーブルを通じてサブシステムから情報を取得する。
【００６６】
既述の実施形態は変更可能であり、例えば、階層を構成する条件、階層の数は適宜変更可能である。また、リカバリシステムとしてリモートコピーの他、ストレージサブシステムの筐体間でのデータバックアップ、同一筐体間でのスナップショットなどに本発明を適用することもできる。また、図１６の例では、ボリュームＣ−１を階層１６１０より下位の階層１６２０に移動させたが、ボリュームＣ−１を同一階層内の他のアレイグループに移動させるようにしても良い。
【図面の簡単な説明】
【００６７】
【図１】本発明に関連するストレージシステムのハードウエアブロック図である。
【図２】本発明の実施形態の一例を示す、ストレージシステムのハードウエアブロック図である。
【図３】（１）は、アレイグループを構成する記憶デバイスと、この記憶デバイスに構成されるボリュームとの関係を示すブロック図であり、（２）は、階層とアレイグループとの関係を示すブロック図である。
【図４】階層を定義するための条件・指標を示す表である。
【図５】主系のストレージサブシステムの階層構造と待機系ストレージサブシステムの階層構造の定義例である。
【図６】コピー元ボリュームが在る階層とコピー先ボリュームが在る階層とが対応しない場合における、コピー先ボリュームを対応する仮想ボリューム位相に移動させる動作を示す、機能ブロック図である。
【図７】主系のストレージサブシステムの階層と待機系のストレージサブシステムの階層との対応関係を規定した制御テーブルである。
【図８】階層を構成するアレイグループの利用率の一例を示す表である。
【図９】管理システムの機能ブロック図である。
【図１０】ストレージサブシステムの性能情報を格納するテーブルである。
【図１１】リモートコピー管理テーブルの一例である。
【図１２】ボリューム管理テーブルの一例である。
【図１３】アレイグループ管理テーブルの一例である。
【図１４】階層対応テーブルの一例である。
【図１５】ストレージシステムの他の実施形態を示すハードウエアブロック図である。
【図１６】図１５のストレージシステムにおいて、フェイルオーバ時でのボリュームの移動を説明するためのブロック図である。
【図１７】性能情報取得プログラムの動作を説明するフローチャートの一例である。
【図１８】構成確認プログラムの動作を説明するフローチャートの一例である。
【図１９】構成変更プログラムの動作を説明するフローチャートの一例である。
【図２０】コピー先ボリュームの階層移動を説明するフローチャートの一例である。
【図２１】管理システムをストレージシステム内のコントローラに設けた実施形態に関するブロック図である。
【符号の説明】
【００６８】
１０  主系システム、２０  待機系システム、１０００  主系システムのホスト、１５００  主系システムのストレージサブシステム、１６００  待機系のホスト、１６００  待機系のストレージサブシステム、１５１０，１５２０，１５３０  主系のストレージサブシステムの階層、１６１０，１６２０，１６３０  待機系のストレージサブシステムの階層、１７１０  コピー元ボリューム、１８１０  コピー先ボリューム。
【図１】
2007328468.tif 000003
【図２】
2007328468.tif 000004
【図３】
2007328468.tif 000005
【図４】
2007328468.tif 000006
【図５】
2007328468.tif 000007
【図６】
2007328468.tif 000008
【図７】
2007328468.tif 000009
【図８】
2007328468.tif 000010
【図９】
2007328468.tif 000011
【図１０】
2007328468.tif 000012
【図１１】
2007328468.tif 000013
【図１２】
2007328468.tif 000014
【図１３】
2007328468.tif 000015
【図１４】
2007328468.tif 000016
【図１５】
2007328468.tif 000017
【図１６】
2007328468.tif 000018
【図１７】
2007328468.tif 000019
【図１８】
2007328468.tif 000020
【図１９】
2007328468.tif 000021
【図２０】
2007328468.tif 000022
【図２１】
2007328468.tif 000023