(57)【要約】  【課題】  非同期リモートコピーでは、プライマリ記憶装置システムでのデータ更新とリモートコピーに時間差があるため、プライマリ記憶装置システムが被災時にはセカンダリ記憶装置システムに未反映のデータが失われるが、失われるデータ量を制御できない。  【解決手段】  プライマリ記憶装置システムが、セカンダリ記憶装置システム間におけるリモートコピーのデータ反映状況を取得し、各記憶装置システム間でのデータ更新遅延量を管理する。遅延量が設定された開始条件を満たすと遅延量を削減させる処理を開始する。遅延量が別に設定された停止条件を満たすと遅延量を削減させる処理を停止する。遅延量削減処理をするかどうかの設定、条件の設定を外部から行う。【選択図】  図８
2005258850.tif 000002
【特許請求の範囲】
【請求項１】
ホストと接続される第一の記憶装置システムを備えるプライマリサイトと、第二の記憶装置システムを備えるセカンダリサイトとを有する計算機システムにおいて、
前記第一の記憶装置システムと前記第二の記憶装置システムは通信線により接続され、
前記第一の記憶装置システムは、前記ホストからライト要求を受け付け、前記ライト要求において転送されたライトデータを前記第二の記憶装置システムに前記通信線を介して転送し、
前記第二の記憶装置システムは、前記第一の記憶装置システムから転送されたライトデータを、前記第二の記憶装置システムが有する第二の記憶領域に書き込み、
前記第一の記憶装置システムは、前記第二の記憶装置システムが第二の記憶領域に前記ライトデータを書き込んだことを示す情報を前記第二の記憶装置システムから取得し、
前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの遅延量を持つことを特徴とする計算機システム。
【請求項２】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの時間差であることを特徴とする請求項１に記載の計算機システム。
【請求項３】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの回数の差であることを特徴とする請求項１に記載の計算機システム。
【請求項４】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みのデータ量の差であることを特徴とする請求項１に記載の計算機システム。
【請求項５】
前記遅延量が予め定められた閾値を越えると遅延量削減処理が動作することを特徴とする請求項１乃至請求項４のいずれかに記載の計算機システム。
【請求項６】
前記遅延量削減動作がリモートコピーの書き込み完了報告を遅らせる動作であることを特徴とする請求項５に記載の計算機システム。
【請求項７】
前記遅延量削減動作が非同期リモートコピーの優先度を上げる動作であることを特徴とする請求項５に記載の計算機システム。
【請求項８】
前記遅延量削減動作が非同期リモートコピーのパスを増加させる動作であることを特徴とする請求項５に記載の計算機システム。
【請求項９】
前記遅延量をホストが管理することを特徴とする請求項１乃至９のいずれかに記載の計算機システム。
【請求項１０】
第一の記憶装置システムを備えるプライマリサイトと、第二の記憶装置システムを備えるセカンダリサイトとを有する計算機システムにおいて、
前記第一の記憶装置システムと前記第二の記憶装置システムは通信線により接続され、
前記第一の記憶装置システムは、IO制御部と、ライトデータを格納するプライマリボリュームと、プライマリボリュームに書き込まれたライトデータのコピーを第二の記憶装置システムに転送する非同期コピー部と、コピーに関する情報を保持・交換するプライマリコピー管理部とを有し、
前記第二の記憶装置システムは、IO制御部と、前記第一の記憶装置システムから転送されたライトデータを受け付ける非同期コピー部と、該ライトデータを格納するセカンダリボリュームと、コピーに関する情報を保持・交換するセカンダリコピー管理部とを有し、
前記プライマリコピー管理部は、前記セカンダリコピー管理部から受けたリモートコピー状況から、非同期コピーの遅延量を更新し、遅延量削減処理をプライマリIO制御部およびセカンダリIO制御部に指示することを特徴とする計算機システム。
【請求項１１】
ホストと第一の記憶装置システムを備えるプライマリサイトと、ホストと第二の記憶装置システムを備えるセカンダリサイトとを有する計算機システムにおいて、
各ホストは互いに接続する通信線を有し、前記第一の記憶装置システムと前記第二の記憶装置システムは互いに接続する通信線を有し、
前記各ホストはIO制御部とコピー管理部を有し、
前記第一の記憶装置システムは、ライト要求を受けつけるIO制御部と、前記ライト要求において受け付けたライトデータを格納するプライマリボリュームと、プライマリボリュームに書き込まれたライトデータのコピーを第二のセカンダリ記憶装置システムに転送する非同期コピー部とを有し、
前記第二の記憶装置システムは、IO制御部と、前記第一の記憶装置システムから転送されたライトデータを受け付ける非同期コピー部と、該ライトデータを格納するセカンダリボリュームとを有し、
前記プライマリホストのコピー管理部は、前記セカンダリホストのコピー管理部から、受けたリモートコピー状況から、非同期コピーの遅延量を更新し、遅延量削減処理をプライマリIO制御部およびセカンダリIO制御部に指示することを特徴とする計算機システム。
【請求項１２】
ホストと接続される第一の記憶装置システムを備えるプライマリサイトと、第二の記憶装置システムを備えるセカンダリサイトとを有し、前記第一の記憶装置システムと前記第二の記憶装置システムは通信線により接続された計算機システムのリモートコピー方法において、
前記第一の記憶装置システムがホストからライト要求を受け付ける工程と、前記ライト要求において転送されたライトデータを前記第二の記憶装置システムに前記通信線を介して転送する工程と、前記第二の記憶装置システムが、前記第一の記憶装置システムから転送されたライトデータを、前記第二の記憶装置システムが有する第二の記憶領域に書き込む工程と、前記第一の記憶装置システムが、前記第二の記憶装置システムが第二の記憶領域に前記ライトデータを書き込んだことを示す情報を前記第二の記憶装置システムから取得する工程と、前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの遅延量を保持する工程とを有することを特徴とする計算機システムの非同期リモートコピー方法。
【請求項１３】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの時間差であることを特徴とする請求項１２に記載の計算機システムの非同期リモートコピー方法。
【請求項１４】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの回数の差であることを特徴とする請求項１２に記載の計算機システムの非同期リモートコピー方法。
【請求項１５】
前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みのデータ量の差であることを特徴とする請求項１２に記載の計算機システムの非同期リモートコピー方法。
【請求項１６】
前記遅延量が予め定められた閾値を越えると遅延量削減処理が動作することを特徴とする請求項１２乃至請求項１５のいずれかに記載の計算機システムの非同期リモートコピー方法。
【請求項１７】
前記遅延量削減動作がリモートコピーの書き込み完了報告を遅らせる動作であることを特徴とする請求項１６に記載の計算機システムの非同期リモートコピー方法。
【請求項１８】
前記遅延量削減動作が非同期リモートコピーの優先度を上げる動作であることを特徴とする請求項１６に記載の計算機システムの非同期リモートコピー方法。
【請求項１９】
前記遅延量削減動作が非同期リモートコピーのパスを増加させる動作であることを特徴とする請求項１６に記載の計算機システムの非同期リモートコピー方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶装置システムに格納されたデータを別の記憶装置システムに複製する計算機システム技術に関する。
【背景技術】
【０００２】
災害等による記憶装置システム内のデータ損失を避ける技術として、遠隔地の記憶装置システムにデータを複製する技術（リモートコピー）がある。ここで、記憶装置システムは、ディスク等の記憶装置と記憶装置に接続され記憶装置へのデータの入出力を制御する記憶制御装置を含むものとする。また、リモートコピーとは、プライマリサイトの記憶装置システム（以下、プライマリ記憶装置システムとも呼ぶ。）が、正記憶装置システム内のデータを遠隔地（以下、セカンダリサイトとも呼ぶ）にある別の記憶装置システム（以下、セカンダリ記憶装置システムとも呼ぶ。）に転送し、副記憶装置システムが副記憶装置システム内の記憶装置に正記憶装置システムから受信したデータを格納する技術である。リモートコピーに関しては、異なる記憶制御装置間でホストコンピュータ（以下、ホストと呼ぶ）を介さずデータを複製する技術が開示されている（特許文献１参照）。
【０００３】
【特許文献１】米国特許０６４０８３７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、ホストからのライト要求と非同期にプライマリ記憶装置システムからセカンダリ記憶装置システムにライトデータを転送することから、プライマリ記憶装置システムが被災時には、セカンダリ記憶装置システムに未転送のデータは失われる。このプライマリ記憶装置とセカンダリ記憶装置間での書き込まれたデータ量(更新データ量)の差あるいは書き込むタイミングの差（ずれ）を非同期リモートコピーの遅延量と呼ぶこととする。この遅延量が大きくなると、プライマリ記憶装置システム被災時に失われるデータも増大する。遅延量を少なくしようとするとシステム構成が大きくなることや、ホストに対する性能が劣化することがおこる。非同期リモートコピーにおいては、利用者の要求レベルに応じて、非同期リモートコピーの遅延量を制御することが必要である。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明では、ホストと接続される第一の記憶装置システムを備えるプライマリサイトと、第二の記憶装置システムを備えるセカンダリサイトとを有する計算機システムにおいて、前記第一の記憶装置システムと前記第二の記憶装置システムは通信線により接続され、前記第一の記憶装置システムは、前記ホストからライト要求を受け付け、前記ライト要求において転送されたライトデータを前記第二の記憶装置システムに前記通信線を介して転送し、前記第二の記憶装置システムは、前記第一の記憶装置システムから転送されたライトデータを、前記第二の記憶装置システムが有する第二の記憶領域に書き込み、前記第一の記憶装置システムは、前記第二の記憶装置システムが第二の記憶領域に前記ライトデータを書き込んだことを示す情報を前記第二の記憶装置システムから取得し、前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの遅延量を持つようにした。
【０００６】
さらに、前記遅延量が前記第一の記憶装置システムと前記第二の記憶装置システムとの間のデータ書き込みの時間差、データ書き込みの回数の差、データ書き込みのデータ量の差であるようにした。
【０００７】
さらにまた、前記遅延量が予め定められた閾値を越えると遅延量削減処理が動作するようにし、該遅延量削減動作がリモートコピーの書き込み完了報告を遅らせる動作、非同期リモートコピーの優先度を上げる動作、あるいは非同期リモートコピーのパスを増加させる動作であるようしにした。
【０００８】
さらに、前記遅延量をホストが管理してもよいようにした。
【発明の効果】
【０００９】
本発明によれば、プライマリ記憶装置システムとセカンダリ記憶装置システム間での非同期リモートコピーの遅延量を必要に応じて削減することにより、プライマリ記憶装置システム被災時に失われるデータ量を設定値内におさえることが可能となる効果を奏する。
【発明を実施するための最良の形態】
【００１０】
（実施形態１）
以下、本発明に係る実施形態を、図１乃至図１３を用いて説明する。
まず、図１乃至図１２を用いて本発明の第一の実施形態について説明する。
【００１１】
（Ｉ）計算機システムの構成
まず、図１を用いて本発明の第一の実施形態に係る計算機システムの構成について説明する。
図１は、本発明の第一の実施形態に係る計算機システムのハードウェア構成を示す図である。
図２は、本発明の第一の実施形態に係る計算機システムの機能構成を示す図である。
本実施形態の計算機システムは、各サイトが連携して処理を行い、各サイトには、ホストと記憶装置システムを備えている。
【００１２】
ここで、第一のサイトを「プライマリサイト」といい、第二のサイトを「セカンダリサイト」といい、プリマリサイトからセカンダリサイトにリモートコピーする例を説明する。また、プライマリサイトに属するホストを「プライマリホスト」、プライマリサイトに属する記憶装置を「プライマリ記憶装置システム」ということにする。セカンダリサイトについても同様である。
【００１３】
さて、図１に示されるように、プライマリサイト１００Ａは、プライマリホスト１１０Ａ、プライマリ記憶装置システム１２０Ａを有していて、セカンダリサイト１００Ｂは、セカンダリホスト１１０Ｂ、セカンダリ記憶装置システム１２０Ｂを有していて、それらに管理端末１３０が接続されている。
【００１４】
プライマリサイト１００Ａ、セカンダリサイト１００Ｂが、それぞれ複数のプライマリホスト１１０A、複数のセカンダリホスト１１０Ｂを有していても良い。
【００１５】
各ホスト１１０（プライマリホスト１１０Ａ及びセカンダリホスト１１０Ｂ）は、プロセッサ１１１、主記憶装置１１２、および、入出力処理装置１１３を有する計算機である。具体的には、ワークステーション、マイクロコンピュータ、メインフレームコンピュータ等である。
【００１６】
各記憶装置システム１２０は、記憶制御装置１４０、一つ以上の記憶装置１２１、および、保守端末１２２を有する。記憶装置１２１は、磁気ディスク記憶装置や光ディスク記憶装置などの補助記憶装置である。また、保守端末１２２は備えていないこともある。
記憶制御装置１４０は、ホスト入出力処理装置１４１、キャッシュメモリ１４２、ディスク入出力処理装置１４３、プロセッサ１４４、および、制御メモリ１４５を有する。
【００１７】
ホストは記憶装置システムとＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）といったホストー記憶装置システム間ネットワーク１５０によって互いに接続される。各ホストのプロセッサ１１１と主記憶装置１１２は、入出力処理装置１１３とホストー記憶装置システム間ネットワーク１５０を介して記憶装置システム１２０のホスト入出力処理装置１４１に接続される。
【００１８】
記憶装置システム同士は記憶装置システムネットワーク１６０を介して接続される。記憶装置システム間ネットワーク１６０は一般に公衆回線などのグローバルネットワークである場合が多く、通信サービス提供業者から有料で借用する場合が多い。システムの安全性のために（両サイトが同時に障害にあわないように）距離をおくためにグローバルネットワークを使用することが多いが、記憶装置システム同士が同じ部屋の中、同じビルの中、近隣ビルの中にある場合などはローカルネットワークを使用してもよい。ただし、このようなネットワークの形態が本発明を限定するものではない。
【００１９】
管理端末１３０も、プロセッサや主記憶装置を有する計算機である。管理端末１３０、プライマリホスト１１０Ａ、セカンダリホスト１１０Ｂ、プライマリ記憶装置システム１２０Ａ、および、セカンダリ記憶装置システム１２０Ｂは、ＬＡＮやＷＡＮ等のネットワーク１７０を介して相互に接続される。
【００２０】
このような計算機システムの機能的な構成を示すと図２のようになる。
各記憶制御装置１４０では、記憶装置システム１２０間のデータ転送を制御するプログラムであるコピー管理プログラム２２１、非同期コピープログラム２２２、コピー管理プログラムからの指示に基づいて、ホストからの入出力要求を制御するＩＯ制御プログラム２２３がプロセッサ１４４上で実行される。これらのプログラムは制御メモリ１４５に格納される。
【００２１】
コピー管理プログラム２２１は各記憶装置システムが実行する非同期リモートコピー処理の管理を行う。詳細は後述する。また、非同期リモートコピー処理中は各記憶制御装置１４０のコピー管理プログラム２２１間で随時通信が行われ、必要な管理情報を交換する。
また、ＩＯ制御プログラム２２３は、他にもホストからの各ホストからの指示に基づいて、記憶装置１２１への入出力処理を実行する。
【００２２】
また、記憶制御装置１４０は、コピー管理プログラム２２１、非同期コピープログラム２２２、ＩＯ制御プログラム２２３に関する処理の他にも、各ホストからの指示に基づいて、記憶装置１２１への入出力処理を実行する。
【００２３】
記憶装置１２１には、一つ以上の論理記憶領域（ボリューム）が作成または関連付けられる。なお、各ホスト１１０では、ユーザが使用するアプリケーションプログラム２１１や、記憶装置システム制御インタフェースとなるプログラム(以下「記憶装置システムマネージャ」)２１２も、ホスト１１０が有するプロセッサ１１１で実行される。また、コピー管理プログラムと記憶装置システムマネージャ２１２は相互に情報をやり取りする。
管理端末１３０では、管理プログラム２３１が実行される。管理端末１３０は管理プログラム２３１を実行することにより、本実施形態の計算機システムの各構成要素、具体的には各ホスト１１０や各記憶装置システム１２０の管理を行う。プログラム２３１は管理端末１３０の主記憶装置に格納される。
【００２４】
なお、ここまで説明した各プログラムは、コンパクトディスクや光磁気ディスクといった可搬媒体を用いて、あるいはネットワーク１７０を介して、各装置が有する記憶媒体にインストールされる。
【００２５】
（II）計算機システムに用いられるデータ構造
次に、図３ないし図６を用いて本実施形態の計算機システムに用いられるデータ構造について説明する。
図３は、ボリューム管理情報を示す図である。
図４は、コンシステンシグループ管理情報を示す図である。
図５は、非同期リモートコピーデータ情報を示す図である。
図６は、非同期リモートコピー遅延量制御設定情報を示す図である。
【００２６】
まず、図３を用いてボリューム管理情報を説明する。
ボリューム管理情報３００は、リモートコピーペアを管理する情報で、リモートコピーペアボリュームごとに持つ情報であり、各記憶装置システム１２０の制御メモリ１４５に格納される。
【００２７】
ボリューム管理情報３００は、ボリュームの記憶装置システム内で識別するためのボリュームＩＤ３１０、及びリモートコピーのペアであるデータボリュームの情報であるペアボリューム情報３２０が含まれる。
【００２８】
ペアボリューム情報３２０には、記憶装置システムＩＤ３２１、ペアであるボリュームを識別するボリュームＩＤ３２２、複製状態を示すペア状態３２３、差分ビットマップ有効フラグ３２４、及び差分ビットマップ３２５が含まれる。
【００２９】
記憶装置システムＩＤ３２１はペアであるボリュームが存在する記憶装置システムの識別子であり、ボリュームＩＤ３２２はその記憶装置システムの中でのボリューム識別子である。記憶装置システムＩＤ３２１とボリュームＩＤ３２２を組み合わせることにより、ペアボリュームが一意に決まる。
【００３０】
ペア状態３２３には、データボリュームが複製状態にある（ボリューム内でデータ一貫性がある状態）「ＰＡＩＲ」、差分コピー中である「ＣＯＰＹ」、ボリュームやパスの閉塞等によりコピー処理が停止されサスペンド状態にある「ＳＵＳＰＥＮＤ」、のうちいずれかの状態をさす。差分ビットマップ有効フラグ３２４は差分ビットマップの値が有効であるかどうかを示す。差分ビットマップ３２５はＰＶＯＬとＳＶＯＬのデータに差異がある領域を示す情報である。ボリューム領域を複数の領域に分割し、ＳＵＳＰＥＮＤ中にデータボリュームに更新があった場合は、更新のあった領域を示すビットをＯＮにする。ＳＵＳＰＥＮＤ後に、ＰＶＯＬとＳＶＯＬの各々の差分ビットマップ３２５のＯＲを取ったビットマップに基づいてビットがＯＮの領域のみをコピーする（差分コピー）ことで、ペアを複製状態に戻すことができる。差分コピーによりコピー転送量を減らすことができる。差分コピーではコピーが完了した領域はビットをＯＦＦにし、全ビットがＯＦＦになると差分コピーが完了したこととなる。また、ペア生成時には差分ビットマップの全てＯＮにして差分コピーを行う（形成コピー）ことで、ＰＶＯＬの全領域をＳＶＯＬにコピーすることができる。
【００３１】
次に、図４を用いてコンシステンシグループ管理情報を説明する。
コンシステンシグループ管理情報は、コンシステンシグループを管理するための情報であり、各記憶装置システム１２０の制御メモリ１４５に格納される。
【００３２】
コンシステンシグループ管理情報には、コンシステンシグループＩＤ４１０、最新シーケンス番号４２０、正式化済みシーケンス番号４３０、ペア状態４４０、ボリューム情報４５０、及び遅延情報４６０が含まれる。
【００３３】
ここで、コンシステンシグループとは、複数のリモートコピーペアを関連付けたものをいう。コンシステンシグループ内のプライマリボリュームに対するホストからのライト要求は、コンシステンシグループ内でのライト要求順序を保って、各プライマリボリュームのリモートコピーペアであるセカンダリボリュームにコピーされる。ライト順序を保つために各リモートコピーライトデータには、連続する番号（シーケンス番号５１０）が付与される。
【００３４】
セカンダリ記憶装置システムでは、シーケンス番号が揃ったところまでのリモートコピーライトデータを反映させることができ、若いシーケンス番号が抜けているリモートコピーライトデータは反映させない。このセカンダリ記憶装置システムでリモートコピーライトデータ反映可能と判断する処理を正式化という。
【００３５】
コンシステンシグループＩＤ４１０はコンシステンシグループを一意に決定する識別子である。
【００３６】
最新シーケンス番号４２０は、コンシステンシグループの非同期リモートコピーライトデータに付与されるシーケンス番号のうち、もっとも新しく付与された番号である。
正式化済みシーケンス番号４３０は、セカンダリ記憶装置システムで正式化が済んだリモートコピーライトデータでのシーケンス番号である。
【００３７】
ペア状態４４０には、コンシステンシグループ内の全ペアが複製状態にある「ＰＡＩＲ」、コンシステンシグループ内の一つ以上のペアが差分コピー中である「ＣＯＰＹ」、コンシステンシグループ内の全ペアがサスペンド状態にある（コンシステンシグループ内でのデータ一貫性がある状態）「ＳＵＳＰＥＮＤ」、コンシステンシグループ内の一部のペアがサスペンド状態にある（コンシステンシグループ内でのデータ一貫性がない状態）「ＳＵＳＰＥＮＤ−Ｅ」のうちいずれかの状態をさす。
【００３８】
ボリューム情報４５０には、コンシステンシグループに含まれる各ペアのボリューム管理情報３００が含まれる。
【００３９】
遅延情報４６０は、プライマリ記憶装置システムとセカンダリ記憶装置システム間でのリモートコピーによるライト更新の差を表す情報である。
【００４０】
プライマリ記憶装置システムはホストからのライト要求とは非同期にセカンダリ記憶装置システムへライトデータをリモートコピーする。そのため、プライマリ記憶装置システムのペアボリュームに書き込まれたライトデータのうち、リモートコピーが終わっておらずセカンダリ記憶装置システムにおいて反映されていないデータが存在しうる。このセカンダリ記憶装置システムにおける反映の遅れを、非同期リモートコピーの遅延と呼ぶこととする。
【００４１】
遅延量情報４６０には、遅延時間差４６１、遅延更新(書き込み)回数４６２、遅延更新(書き込み)データ量４６３が含まれる。
【００４２】
遅延時間差４６１は、セカンダリ記憶装置システムにおいて反映されたリモートコピーライトデータがプライマリ記憶装置で更新された時刻と現在時刻の差を示す。
【００４３】
遅延更新(書き込み)回数４６２は、セカンダリ記憶装置システムで反映されたリモートコピーライトデータがプライマリ記憶装置システムにおいて更新された時点以降に、プライマリ記憶装置システムが受けたホストからのライト要求の回数を示す。
遅延更新(書き込み)データ量４６３は、セカンダリ記憶装置システムで反映されたリモートコピーライトデータがプライマリ記憶装置システムにおいて更新された時点以降に、プライマリ記憶装置システムが受けたホストからのライト要求のライトデータ量の和を示す。
【００４４】
次に、図５を用いて非同期リモートコピーデータ情報を説明する。
非同期リモートコピーデータ情報はプライマリ記憶装置システムからセカンダリ記憶装置システムに転送されるデータである。
【００４５】
非同期リモートコピーデータ情報は、シーケンス番号５１０、データ５２０、アドレス５３０、タイムスタンプ５４０を含む。
【００４６】
シーケンス番号５１０は、前述のようにコンシステンシグループ内でライト順を保つために付与される通し番号である。
【００４７】
データ５２０は、プライマリボリュームに書き込まれるデータのコピーで、セカンダリボリュームもプライマリボリュームと同じようにライト更新される。
アドレス５３０は、セカンダリ記憶装置システムにおけるライトデータの書き込む場所を示す。
【００４８】
タイムスタンプ５４０は、プライマリ記憶装置システムがライト要求を受けた時刻を示す。
【００４９】
次に、図６を用いて非同期リモートコピーの遅延量制御設定情報を説明する。
遅延量制御設定情報は、プライマリサイト被災時のデータロス量を多くしないために、非同期リモートコピー遅延量が多くなると遅延量を減らすように動作するための設定情報である。遅延量制御設定情報はコンシステンシグループごとに持たれ、各記憶装置システム１２０の制御メモリ１４５に格納される。
【００５０】
遅延量制御設定情報には、遅延量制御有効フラグ６１０、時間差設定情報６３０、更新(書き込み)回数設定情報６４０、更新(書き込み)データ量設定情報６５０が含まれる。
【００５１】
遅延量制御有効フラグは、当該コンシステンシグループに対して、非同期リモートコピーの遅延量が大きくなった場合に遅延量を削減する処理を動作をさせるかどうかを示す。
時間差設定情報６３０には、有効フラグ６３１、制御開始閾値６３２、制御停止閾値６３３、制御時動作６３４が含まれる。有効フラグ６３１は、遅延時間差が大きくなった場合に遅延量を減らすように制御（以下遅延量削減処理と呼ぶ）を行うかどうかを示す。制御開始条件６３２は、遅延量削減処理を開始する条件である。具体的には制御を開始する遅延時間差の閾値などになる。制御停止条件６３３は、実行中の遅延量削減処理を停止する条件である。具体的には処理を停止する場合の遅延時間差の閾値であり、前述の開始条件よりは小さい値になる。制御時動作６３４は、遅延量削減処理をどのように行うかを示す。具体的な遅延量削減処理としては、例えば、当該コンシステンシグループのプライマリボリュームへのホストからのライト要求に対して応答を遅らせることがある。ライト要求の入力が制限されるが、非同期リモートコピーは継続されるため、次第に遅延量が減ることになる。また別の遅延量削減処理としては、当該コンシステンシグループのリモートコピー処理の優先度を上げることがある。リモートコピーの優先度向上によって、転送が頻繁に行われることになり、次第に遅延量が減る。さらに別の遅延量削減処理としては、リモートコピーの転送回線数を増やすことがある。パス数の増加により、リモートコピーの転送能力が上がり、次第に遅延量が減る。削減時動作６３４には、これらの遅延量削減処理のうち、１つ以上の動作が含まれる。
【００５２】
更新回数設定情報６４０、更新データ量設定情報６５０も同様にそれぞれ、有効フラグ６４１、６５１、制御開始条件６４２、６５２、制御停止条件６４３、６５３、制御時動作６４４、６５４が含まれる。
【００５３】
（III）計算機システムの処理
次に、図７ないし図１２を用いて本発明の第一の実施形態に係る計算機システムの処理について説明する。
【００５４】
（III−１）リモートコピーペア生成の処理
まず、図７を用いて本発明の第一の実施形態に係るリモートコピーペア作成処理について説明する。
【００５５】
図７は、第一の実施形態に係る計算機システムのリモートコピーペア作成処理を示すフローチャートである。
【００５６】
まず、ユーザは、ホスト１１０、管理端末１３０、あるいは保守端末１２２が持つＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を用いて記憶装置システムにペア生成コマンドを入力する（Ｓ７０１）。ペア生成コマンドは、リモートコピーのコピー元となるプライマリ記憶装置システム１２０Ａが有するプライマリボリューム（以下「ＰＶＯＬ」）８２５と、ＰＶＯＬに格納されるリモートコピーのコピー先となるセカンダリ記憶装置システム１２０Ｂが有するセカンダリボリューム（以下「ＳＶＯＬ」）８２６とを関連付けるコマンドである。この処理を複数のボリュームに対して行ってもよい。
次にユーザは、Ｓ７０１で関連付けられたリモートコピーの複数のペアを、コンシステンシグループとして関連付けるコマンドを入力する（Ｓ７０２）。コンシステンシグループは複数生成されてもよい。
【００５７】
次にユーザは、ペア生成コマンド入力Ｓ７０２で生成したコンシステンシグループに対して、遅延量制御設定情報を入力する（Ｓ７０３）。図６で説明した情報そのものを直接入力しもよいが、例えばユーザが遅延量の上限値を入力することで、その上限値内に遅延量がおさまるように、記憶装置システムが制御開始閾値６３２、６４２、６５２、制御停止閾値６３３、６４３、６５３に変換しても良い。
【００５８】
また、遅延量制御設定情報はコンシステンシグループ生成の後であれば、リモートコピーが開始されてから入力されてもよく、また、一度入力された値を入力しなおすことで変更されてもよい。
【００５９】
コンシステンシグループが生成された後、リモートコピーが実行される（Ｓ７０４）。リモートコピー実行中には状況に応じて遅延量削減処理が行われる。遅延量削減処理の判定処理の詳細は後述する。
【００６０】
一方、リモートコピーが開始される前にＰＶＯＬ８２５に格納されていたデータは、リモートコピーが開始されてもセカンダリ記憶装置システムには転送されない。別途ＰＶＯＬ８２５からＳＶＯＬ８２６へこれらのデータ（以下「イニシャルデータ」）をコピーする必要がある。本実施形態においては、イニシャルデータをＰＶＯＬ８２５からＳＶＯＬ８２６に転送する形成コピー処理が実行される（Ｓ７０５）。イニシャルデータはＰＶＯＬ８２５のボリューム先頭領域から末尾まで転送される。
【００６１】
（III−２）遅延量制御処理概要
次に、図８を用いて非同期リモートコピーの遅延量制御処理について説明する。
図８は、本発明の第一の実施形態に係る非同期リモートコピーの遅延量制御処理の動作を示す図である。
【００６２】
記憶装置システム１２０Ａ及び１２０Ｂでそれぞれコピー管理プログラム２２１を実行してリモートコピー処理を制御する。プライマリ記憶装置システム１２０Ａは、プライマリホスト１１０ＡからＰＶＯＬ８２５への書き込み処理（Ｓ８０１）に応じて、非同期リモートコピーの遅延量を更新する（Ｓ８０２）する。遅延量更新処理（Ｓ８０２）の詳細は後述する。プライマリ記憶装置システム１２０Ａはプライマリホスト１１０Ａにライト完了応答を返す。
【００６３】
プライマリ記憶装置システム１２０Ａは、非同期コピープログラム２２２を実行することによって、ＰＶＯＬ８２５に書き込まれるデータのコピーを、セカンダリ記憶装置システム１２０Ｂへ転送する（Ｓ８０３）。このとき、プライマリ記憶装置システム１２０Ａがセカンダリ記憶装置システム１２０Ｂへライト要求を出すことによってデータ転送を実現してもよいし、セカンダリ記憶装置システム１２０Ｂがプライマリ記憶装置システム１２０Ａへリード要求することによってデータ転送を実現してもよい。
【００６４】
セカンダリ記憶装置システム１２０Ｂは、非同期コピープログラム２２２を実行して、転送されたリモートコピーライトデータのうちシーケンス番号が揃ったところまでをＳＶＯＬ８２６に書き込む（Ｓ８０４）。ここで、転送されたリモートコピーライトデータを直接ＳＶＯＬ８２６に書き込むのではなく、いったん別のボリュームに書き込み、その後にＳＶＯＬ８２６へデータを反映させる方式で実現してもよい。
【００６５】
一方、プライマリ記憶装置システム１２０Ａのコピー管理プログラム２２１とセカンダリ記憶装置システム１２０Ｂのコピー管理プログラム２２１は、リモートコピーのコピー状況に関する情報を交換する（Ｓ８０５）。具体的に交換される情報は、セカンダリ記憶装置システム１２０Ｂで正式化が行われたリモートコピーライトデータの最新シーケンス番号などである。
【００６６】
プライマリ記憶装置システム１２０Ａのコピー管理プログラム２２１は、セカンダリ記憶装置システム１２０Ｂから受けたリモートコピーのコピー状況に関する情報から、非同期リモートコピーの遅延量を更新する。非同期リモートコピーの遅延量が設定条件を満たすと、遅延量削減処理を開始する。遅延量の更新処理、遅延量削減処理の判定処理の詳細は後述する。
【００６７】
遅延量削減処理として、プライマリ記憶装置システム１２０Ａのコピー管理プログラムがＩＯ制御プログラム２２３に指示を出しプライマリホスト１１０Ａからのライト要求応答を遅らせたり（Ｓ８０６）、非同期コピープログラムに指示を出しリモートコピーの優先度を上げたり（Ｓ８０７）、プライマリ記憶装置システム１２０Ａのコピー管理プログラム２２１がセカンダリ記憶装置システム１２０Ｂのコピー管理プログラム２２１経由で指示を出し、セカンダリホスト１１０Ｂからの入出力要求に対する応答を遅らせる（Ｓ８０８）ことでセカンダリ記憶装置システムの負荷を軽減させたり、非同期コピープログラムによるリモートコピーライトデータの正式化処理の優先度を上げたり（Ｓ８０９）、リモートコピーの転送回線数を増加させたりする。
【００６８】
（III−３）非同期リモートコピー遅延量更新処理
次に、図９と図１０を用いて非同期リモートコピー遅延量更新処理を説明する。
【００６９】
まず、図９は、ライト要求時における非同期リモートコピーの遅延量の更新処理を示すフローチャートである。
【００７０】
プライマリホスト１１０Ａからプライマリ記憶装置システム１２０ＡがリモートコピーペアになっているＰＶＯＬ８２５にライト要求を受けると（Ｓ９０１）、プライマリ記憶装置システム１２０Ａはリモートコピーデータを作成する（Ｓ９０２）。リモートコピーデータのシーケンス番号には、ＰＶＯＬ８２５が含まれるコンシステンシグループの最新シーケンス番号４２０に１追加し、その値を付与する。また、ライト要求を受けた時刻をタイムスタンプとして付与する。
【００７１】
ＰＶＯＬ８２５が含まれるコンシステンシグループの遅延更新回数４６２に１追加し（Ｓ９０３）、遅延更新データ量３６３にライト要求のデータサイズを足す（Ｓ９０４）。
プライマリ記憶装置システム１２０Ａが持つ正式化済みシーケンス番号４３０のリモートコピーデータに付与されたタイムスタンプと、現在時刻との差を、遅延時間差４６１とする（Ｓ９０５）。
【００７２】
次に、図１０は、各記憶装置システム１２０の各コピー管理プログラム２２１がリモートコピーのコピー状況を交換する際の、非同期リモートコピーの遅延量の更新処理を示すフローチャートである。
【００７３】
プライマリ記憶装置システム１２０Ａにコピー管理プログラム２２１は、セカンダリ記憶装置システム１２０Ｂのコピー管理プログラム２２１から、セカンダリ記憶装置システム１２０Ｂにおいて正式化処理が済んだリモートコピーデータのシーケンス番号のうち、最新の番号を取得する（Ｓ１００１）。
【００７４】
プライマリ記憶装置システム１２０Ａに保存されていた過去の正式化済みシーケンス番号４３０をＮ、セカンダリ記憶装置システム１２０Ｂから取得した正式化済みシーケンス番号をＭとする（Ｓ１００２）。
【００７５】
シーケンス番号Ｍ＋１からシーケンス番号Ｎまでのシーケンス番号を付与されたリモートコピーデータのデータ量の和を、プライマリ記憶装置システム１２０Ａが持つ遅延更新データ量４６３から減算する（Ｓ１００３、Ｓ１００４、Ｓ１００５、Ｓ１００６）。
プライマリ記憶装置システム１２０Ａが持つ正式化済みシーケンス番号４３０をＭに変更する（Ｓ１００７）。
【００７６】
プライマリ記憶装置システム１２０Ａが持つ最新シーケンス番号４２０と、変更された正式化済みシーケンス番号４３０との差を遅延更新回数４６２とする（Ｓ１００８）。
プライマリ記憶装置システム１２０Ａが持つ変更された正式化済みシーケンス番号４３０のリモートコピーデータに付与されたタイムスタンプと、現在時刻との差を、遅延時間差４６１とする（Ｓ１００９）。
【００７７】
（III−４）非同期リモートコピー遅延量制御判定処理
次に、図１１と図１２を用いて非同期リモートコピー遅延量制御判定処理を説明する。
まず、図１１を用いて非同期リモートコピーの遅延量削減処理の開始判定処理を説明する。
図１１は、遅延量削減処理の開始判定処理を示すフローチャートである。
【００７８】
プライマリ記憶装置システム１２０Ａはプライマリホスト１１０Ａからのライト要求や、セカンダリ記憶装置システム１２０Ｂとのリモートコピーのコピー状況情報交換とは独立に、非同期リモートコピーの遅延量制御判定処理を行う。ただし、ライト要求やリモートコピーのコピー状況情報交換と同期して遅延量制御判定処理を行ってもよい。
【００７９】
プライマリ記憶装置システム１２０Ａのコピー管理プログラム２２１は、遅延量制御有効フラグ６１０をチェックすることで、遅延量制御対象であるかどうか判断する（Ｓ１１０１）。遅延量制御対象でない場合は、リモートコピーをそのまま継続する（Ｓ１１０６）。
遅延量制御対象であった場合、次に、遅延量制御中フラグ４７０をチェックすることで現在遅延量削減処理を行っているかどうかを判断する（Ｓ１１０２）。遅延量削減処理を行っている場合は遅延量削減処理中処理へ移行する（Ｓ１１０８）。
【００８０】
遅延量削減処理を行っていない場合は、まず遅延時間差による遅延量制御が有効であるか有効フラグ６３１で判断する。有効でありかつ、現在の遅延時間差４６１が制御開始条件６３２を満たしているか判断し（Ｓ１１０３）、満たす場合は、遅延量制御時動作６３４に基づいて遅延量削減処理を開始する（Ｓ１１０７）。
【００８１】
遅延時間差により遅延量削減処理が開始されなくても、遅延更新回数や遅延更新データ量についての遅延量削減処理開始判定についても同様に判定を行い（Ｓ１１０４、Ｓ１１０５）、条件を満たす場合は遅延量制御時動作６４４、６５４に基づいて遅延量削減処理を開始する（Ｓ１１０７）。
【００８２】
遅延時間差、遅延更新回数、遅延更新データ量のいずれの遅延量削減処理開始条件にも当てはまらない場合は、そのままリモートコピーを継続する（Ｓ１１０６）。
【００８３】
次に、図１２を用いて非同期リモートコピーの遅延量削減処理の停止判定処理を説明する。
【００８４】
図１２は、遅延量削減処理の停止判定処理を示すフローチャートである。
遅延量削減処理中である場合、プライマリ記憶装置システム１２０Ａのコピー管理プログラム２２１は、まず遅延時間差による遅延量制御判定が有効であるか有効フラグ６３１で判断する。判定が無効であるか、または有効でありかつ現在の遅延時間差４６１が制御停止条件６３２を満たしているか判断する（Ｓ１２０１）。条件を満たさない場合は、遅延量制御時動作６３４に基づいて遅延量削減処理を継続する（Ｓ１２０５）。
【００８５】
遅延時間差による条件を満たす場合は、次に遅延更新回数についても同様に判定を行う（Ｓ１２０２）。遅延更新データ量についても同様である（Ｓ１２０３）。
遅延時間差、遅延更新回数、遅延更新データ量の全ての遅延量削減処理停止条件に当てはまった場合は、遅延量削減処理中フラグ４７０をオフにしてリモートコピー遅延量削減処理を停止する（Ｓ１２０４）。
【００８６】
（実施形態２）
次に、本発明に係る第二の実施形態を、図１３を用いて説明する。
図１３は、本発明の第二の実施形態に係る非同期リモートコピーの遅延量制御処理の動作を示す図である。
【００８７】
第二の実施形態の計算機システムは、図１３に示されるように、コピー管理プログラム１３２１が、記憶装置システム１２０に含まれるのではなく、ホスト１１０内に含まれる点と、ＩＯ制御プログラム１３２３がホスト１１０内にも含まれる点で第一の実施形態と異なる。そして、各ホストは互いに接続する通信線を有し、コピー管理プログラム１３２１がプライマリホスト１１０Ａとセカンダリホスト１１０Ｂとより通信を行い、プライマリホスト同士、セカンダリホスト同士のコピー管理プログラム１３２１とＩＯ制御プログラムが互いに通信を行う。
【００８８】
まず、プライマリサイト１００Ａにおいて、ＰＶＯＬのデータの更新（Ｓ８０１）に対して、リモートコピーデータがプライマリ記憶装置システムで作成される。リモートコピーデータの情報（シーケンス番号５１０、データ５２０、アドレス５３０、タイムスタンプ５４０）をプライマリホスト１１０Ａに転送する（Ｓ１３０２）。
【００８９】
プライマリホスト１１０Ａは取得したリモートコピーデータ情報に基づいて、遅延情報を更新する。遅延情報更新の具体的な処理は第一の実施形態と同様である。
【００９０】
プライマリ記憶装置システム１２０Ａからセカンダリ記憶装置システム１２０Ｂへの非同期リモートコピー処理（Ｓ８０３）、セカンダリ記憶装置システム１２０Ｂにおいて転送されたリモートコピーライトデータを書き込む処理（Ｓ８０４）は、第一の実施形態と同様である。
【００９１】
プライマリ記憶装置システム１２０Ｂの非同期転送プログラム２２２は、正式化処理の状況（正式化済みシーケンス番号）をセカンダリホスト１１０Ｂへ転送する（Ｓ１３１０）。
【００９２】
一方、プライマリホスト１１０Ａのコピー管理プログラム１３２１とセカンダリホスト１１０Ｂのコピー管理プログラム２２１は、リモートコピーのコピー状況に関する情報を交換する（Ｓ１３０５）。具体的に交換される情報は、セカンダリ記憶装置システム１２０Ｂで正式化が行われたリモートコピーライトデータの最新シーケンス番号などである。
プライマリホスト１１０Ａのコピー管理プログラム２２１は、セカンダリホスト１１０Ｂから受けたリモートコピーのコピー状況に関する情報から、非同期リモートコピーの遅延量を更新する。非同期リモートコピーの遅延量が設定条件を満たすと、遅延量削減処理を開始する。遅延量の更新処理、遅延量削減処理の判定処理は、第一の実施形態と同様である。
【００９３】
遅延量削減処理として、プライマリホスト１１０Ａのコピー管理プログラムがプライマリＩＯ制御プログラム２２３に指示を出しプライマリホスト１１０Ａからのライト要求応答を遅らせたり（Ｓ１３０６）、非同期コピープログラムに指示を出しリモートコピーの優先度を上げたり（Ｓ１３０７）、プライマリホスト１１０Ａのコピー管理プログラム１３２１がセカンダリホスト１１０Ｂのコピー管理プログラム２２１経由でセカンダリ記憶装置システムに指示を出し、セカンダリホスト１１０Ｂからの入出力要求に対する応答を遅らせる（Ｓ１３０８）ことでセカンダリ記憶装置システムの負荷を軽減させたり、非同期コピープログラムによるリモートコピーライトデータの正式化処理の優先度を上げたり（Ｓ１３０９）、リモートコピーの転送回線数を増加させたりするのは第一の実施形態と同様である。また他の遅延削減処理として、プライマリホスト１１０Ａのコピー管理プログラムが各プライマリホスト１１０ＡのＩＯ制御プログラム１３２３に指示を出し、プライマリ記憶装置システムへのライト要求を減らしたり（Ｓ１３１１）、セカンダリホスト１１０Ｂのコピー管理プログラムを経由して書くセカンダリホスト１１０ＢのＩＯ制御プログラム１３２３に指示を出し、セカンダリ記憶装置システムへの入出力要求を減らし、セカンダリ記憶装置システムの付加を軽減する（Ｓ１３１２）ことがある。
【００９４】
（上述の実施形態による本発明の計算機システムおよび計算機システムの非同期リモートコピー方法の特徴）
上述した本発明の計算機システムおよび計算機システムの非同期リモートコピー方法では、非同期リモートコピーを記憶装置システムが行い、非同期リモートコピーの遅延量の管理を記憶装置システムまたはホストが行い、非同期リモートコピーの遅延量が大きくなった場合に遅延量削減処理を記憶装置システムおよびホストで行う構成および方法とした。非同期リモートコピーの遅延量が設定値を越えると遅延量を削減させる動作を開始することにより、プライマリサイト被災時に失われるデータ量をある設定値以内におさえることが可能となる。
【図面の簡単な説明】
【００９５】
【図１】本発明の第一の実施形態に係る計算機システムのハードウェア構成を示す図である。
【図２】本発明の第一の実施形態に係る計算機システムの論理構成を示す図である。
【図３】ボリューム管理情報を示す図である。
【図４】コンシステンシグループ管理情報を示す図である。
【図５】非同期リモートコピーライトデータ情報を示す図である。
【図６】非同期リモートコピー遅延量制御設定情報を示す図である。
【図７】非同期リモートコピーのペア作成処理を示す図である。
【図８】本発明の第一の実施形態に係る非同期リモートコピー遅延量制御処理の動作を示す図である。
【図９】ライト要求時における非同期リモートコピーの遅延量の更新処理を示す図である。
【図１０】非同期リモートコピーの遅延量の更新処理を示す図である。
【図１１】遅延量削減処理の開始判定処理を示す図である。
【図１２】遅延量削減処理中の遅延量削減処理停止判定処理を示す図である。
【図１３】本発明の第二の実施形態に係る非同期リモートコピー遅延量制御処理の動作を示す図である。
【符号の説明】
【００９６】
１００A…プライマリサイト、１００Ｂ…セカンダリサイト、１１０…ホスト、１１０Ａ…プライマリホスト、１１０Ｂ…セカンダリホスト、１１１…プロセッサ、１１２…主記憶装置、１１３…入出力処理装置、１２０…記憶装置システム、１２０Ａ…プライマリ記憶装置システム、１２０Ｂ…セカンダリ記憶装置システム、１２１…記憶装置、１２２…保守端末、１３０…管理端末、１４０…記憶制御装置、１４１…ホスト入出力処理装置、１４２…キャッシュメモリ、１４３…ディスク入出力装置、１４４…プロセッサ、１４５…制御メモリ、１５０…ホストー記憶装置システム間ネットワーク、１６０…記憶装置システムネットワーク、１７０…ネットワーク、２２１…コピー管理プログラム、２２２…非同期コピープログラム、２２３…IO制御プログラム、３００…ボリューム管理情報、３１０…ボリュームID、３２０…ペアボリューム情報、３２１…記憶装置システムID、３２２…ボリュームID、３２３…ペア状態、３２４…差分ビットマップ有効フラグ、３２５…差分ビットマップ、４１０…コンシステンシグループID、４２０…最新シーケンス番号、４３０…正式化済みシーケンス番号、４４０…ペア状態、４５０…ボリューム情報、４６０…遅延情報、４６１…遅延時間差、４６２…遅延更新（書き込み）回数、４６３…遅延更新（書き込み）データ量、５１０…連続する番号(シーケンス番号)、５２０…データ、５３０…アドレス、５４０…タイムスタンプ、６１０…遅延量制御有効フラグ、６３０…時間差設定情報、６３１…有効フラグ、６３２…制御開始閾値、６３３…制御停止閾値、６３４…制御時動作、６４０…書き込み回数設定情報、６４２…制御開始閾値、６４３…制御停止閾値、６４４…制御時動作、６５０…書き込みデータ量設定情報、６５１…有効フラグ、６５２…制御開始条件、６５３…制御停止条件、６５４…制御時動作、Ｓ８０１…書き込み処理、Ｓ８０２…遅延量更新処理、Ｓ８０３…転送処理、Ｓ８０４…書き込み処理、Ｓ８０５…情報交換処理、Ｓ８０６…ライト要求応答遅延処理、Ｓ８０７…リモートコピー優先度アップ、Ｓ８０８…応答遅延処理、Ｓ８０９…リモートコピーライトデータの正式化処理の優先度アップ、８２５…プライマリボリューム、８２６…セカンダリボリューム。
【図１】
2005258850.tif 000003
【図２】
2005258850.tif 000004
【図３】
2005258850.tif 000005
【図４】
2005258850.tif 000006
【図５】
2005258850.tif 000007
【図６】
2005258850.tif 000008
【図７】
2005258850.tif 000009
【図８】
2005258850.tif 000010
【図９】
2005258850.tif 000011
【図１０】
2005258850.tif 000012
【図１１】
2005258850.tif 000013
【図１２】
2005258850.tif 000014
【図１３】
2005258850.tif 000015