(57)【要約】【課題】  従来技術では、一つのストレージからの書き込みに対してのみ整合性を保証している。また、従来技術では、非同期リモートコピーとローカルレプリケーションを交互に停止するため、停止時間が長くなり、整合性の取れたボリュームが古いものとなってしまう。【解決手段】  副サイトのストレージには、非同期リモートコピーで正サイトから転送されるデータを核のするボリュームに対し、二つのローカルレプリカを用意し、それぞれのローカルレプリカのペアは、書き込みデータに付与されたタイムスタンプの時間に準じた、時刻指定の停止コマンドで、交互に停止し、時間順序の保証されたレプリカデータを常時準備し、正サイトに障害が発生した場合、レプリカを用いて、データを復旧させる。【選択図】図１
2006079568.tif 000002
【特許請求の範囲】
【請求項１】
第１の計算機と接続される、第１のストレージシステムと第２のストレージシステムとを有する第１のサイトと、
第２の計算機及び前記第１のストレージシステムと接続される第３のストレージシステムと前記第２の計算機及び前記第２のストレージシステムと接続される第４のストレージシステムとを有する第２のサイトを有する情報処理システムであって、
前記第３のストレージシステムは、前記第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第３のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有し、
前記第４のストレージシステムは、前記第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第４のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有し、
前記第１のストレージシステムと前記第２のストレージシステムは、それぞれ、前記第１の計算機から書き込み時刻が吹かされたデータを受信し、
前記第１のストレージシステムは、前記第３のストレージシステムに前記第１の計算機から受信したデータと書き込み時刻のコピーを転送し、
前記第２のストレージシステムは、前記第４のストレージシステムに前記第１の計算機から受信したデータと書き込み時刻のコピーを転送し、
前記第３のストレージシステムは、前記第１のストレージシステムから受信したデータを、前記第３のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込み、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第３のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込み、
前記第４のストレージシステムは、前記第２のストレージシステムから受信したデータを、前記第４のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込み、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第４のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込み、
前記第３のストレージシステムは、前記第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの前記第３のストレージシステム内の第２の記憶領域へのコピーが完了したら、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第３のストレージシステム内の第２の記憶領域に書き込むことを停止し、
その後に、前記第３のストレージシステムは、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、前記第３のストレージシステム内の第３の記憶領域への書き込み処理を開始し、
前記第４のストレージシステムは、前記第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの前記第４のストレージシステム内の第２の記憶領域へのコピーが完了したら、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第４のストレージシステム内の第２の記憶領域に書き込むことを停止し、
その後に、前記第４のストレージシステムは、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、前記第４のストレージシステム内の第３の記憶領域への書き込み処理を開始することを特徴とする情報処理システム。
【請求項２】
請求項１記載の情報処理システムであって、
前記第３のストレージシステムは、前記第１の計算機から指定された第２の所定の時刻より前の書き込み時刻が付加されたデータの前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーが完了したら、前記第3のストレージシステム内の第3の記憶領域に書き込むことを停止し、
その後、前記第3のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーし、
前記第４のストレージシステムは、前記第１の計算機から指定された第２の所定の時刻より前の書き込み時刻が付加されたデータの前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーが完了したら、前記第４のストレージシステム内の第3の記憶領域に書き込むことを停止し、
その後、前記第４のストレージシステムは、前記第４のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーすることを特徴とする情報処理システム。
【請求項３】
請求項2記載の情報処理システムであって、
前記第1のサイトに障害が発生した場合、
前記第3のストレージシステムは、前記第3のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した債に、前記第3のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択し、選択した記憶領域に格納されているデータを第1の記憶領域にコピーし、
前記第４のストレージシステムは、前記第４のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した債に、前記第４のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択し、選択した記憶領域に格納されているデータを第1の記憶領域にコピーすることを特徴とする情報処理システム。
【請求項４】
請求項3記載の情報処理システムであって、
前記第1のサイトが復旧した場合、前記第３のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送し、
前記第４のストレージシステムは、前記第４のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送することを特徴とする情報処理システム。
【請求項５】
第１の計算機と接続される、第１のストレージシステムと第２のストレージシステムとを有する第１のサイトと、
第２の計算機及び前記第１のストレージシステムと接続される、前記第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第３のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有する第３のストレージシステムと、
前記第２の計算機及び前記第２のストレージシステムと接続される、前記第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第４のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有する第４のストレージシステムとを有する
第２のサイトを有する情報処理システムのコピー方法であって、
前記第１のストレージシステムと前記第２のストレージシステムそれぞれが前記第１の計算機から書き込み時刻が吹かされたデータを受信するステップと、
前記第１のストレージシステムから前記第３のストレージシステムへ前記第１の計算機から受信したデータと書き込み時刻のコピーを転送するステップと、
前記第２のストレージシステムから前記第４のストレージシステムへ前記第１の計算機から受信したデータと書き込み時刻のコピーを転送するステップと、
前記第１のストレージシステムから受信したデータを、前記第３のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込み、更に、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第３のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込むステップと、
前記第２のストレージシステムから受信したデータを、前記第４のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込み、更に、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第４のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込むステップと、
前記第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの前記第３のストレージシステム内の第２の記憶領域へのコピーが完了したら、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第３のストレージシステム内の第２の記憶領域に書き込むことを停止するステップと、
その後に、前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、前記第３のストレージシステム内の第３の記憶領域への書き込み処理を開始するステップと、
前記第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの前記第４のストレージシステム内の第２の記憶領域へのコピーが完了したら、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、前記第４のストレージシステム内の第２の記憶領域に書き込むことを停止するステップと、
その後に、前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、前記第４のストレージシステム内の第３の記憶領域への書き込み処理を開始するステップとを含むことを特徴とする情報処理システムのコピー方法。
【請求項６】
請求項５記載の情報処理システムのコピー方法であって、
前記第１の計算機から指定された第２の所定の時刻より前の書き込み時刻が付加されたデータの前記第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーが完了したら、前記第3のストレージシステム内の第3の記憶領域に書き込むことを停止するステップと、
その後、前記第3のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーするステップと、
前記第１の計算機から指定された第２の所定の時刻より前の書き込み時刻が付加されたデータの前記第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーが完了したら、前記第４のストレージシステム内の第3の記憶領域に書き込むことを停止するステップと、
その後、前記第４のストレージシステム内の第1の記憶領域に格納されたデータを前記第3のストレージシステム何の第2の記憶領域にコピーするステップとを含むことを特徴とする情報処理システムのコピー方法。
【請求項７】
請求項６記載の情報処理システムのコピー方法であって、
前記第1のサイトに障害が発生した場合、前記第3のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した際に、前記第3のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択するステップと、
選択した記憶領域に格納されているデータを前記第３のストレージシステム内の第1の記憶領域にコピーするステップと、
前記第４のストレージシステム内の第2の記憶領域または第3の記憶領域のうち、障害が発生した際に、前記第４のストレージシステム内の第1の記憶領域に格納されるデータのコピーの書き込みが停止されていた記憶領域を選択するステップと、
選択した記憶領域に格納されているデータを前記第４のストレージシステムの第1の記憶領域にコピーするステップとを含むことを特徴とする情報処理システムのコピー方法。
【請求項８】
請求項７記載の情報処理システムのコピー方法であって、
前記第1のサイトが復旧した場合、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送するステップと、
前記第４のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第２のストレージシステムに転送するステップとを含むこと特徴とする情報処理システムのコピー方法。
【請求項９】
第１の計算機と接続される、第１のストレージシステムと第２のストレージシステムとを有する第１のサイトと、
第２の計算機及び前記第１のストレージシステムと接続される第３のストレージシステムと前記第２の計算機及び前記第２のストレージシステムと接続される第４のストレージシステムとを有する第２のサイトを有する情報処理システムであって、
前記第３のストレージシステムは、前記第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第３のストレージシステムの第１の記憶領域に格納されるデータの退避先である第２の記憶領域とを有し、
前記第４のストレージシステムは、前記第２のストレージシステムから転送されるデータを格納する第１の記憶領域と、前記第４のストレージシステムの第１の記憶領域に格納されるデータの退避先である第２の記憶領域とを有し、
前記第１のストレージシステムと前記第２のストレージシステムは、それぞれ、前記第１の計算機から書き込み時刻が付加されたデータを受信し、
前記第１のストレージシステムは、前記第３のストレージシステムに前記第１の計算機から受信したデータと書き込み時刻のコピーを転送し、
前記第２のストレージシステムは、前記第４のストレージシステムに前記第１の計算機から受信したデータと書き込み時刻のコピーを転送し、
前記第３のストレージシステムは、前記第１の計算機が指定した第１の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第１の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第３のストレージシステムの第１の記憶領域に格納されているデータが前記第１の所定の時刻より前のデータであれば、該データを前記第３のストレージシステムの第２の記憶領域にコピーした後、前記第３のストレージシステム内の第１の記憶領域に、前記第１の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
前記第１の計算機が指定した第２の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第３のストレージシステム内の第２の記憶領域に格納されたデータを消去し、
前記第４のストレージシステムは、前記第１の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第１の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第４のストレージシステムの第１の記憶領域に格納されているデータが前記第１の所定の時刻より前のデータであれば、該データを前記第４のストレージシステムの第２の記憶領域にコピーした後、前記第４のストレージシステム内の第１の記憶領域に、前記第１の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
前記第２の所定の時刻以降の書き込み時刻が付与されたデータを受信すると、前記第１の所定の時刻より前の書き込み時刻が付与された、前記第４のストレージシステム内の第２の記憶領域に格納されたデータを消去することを特徴とする情報処理システム。
【請求項１０】
請求項９記載の情報処理システムであって、
前記第３のストレージシステムは、前記第２の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第３のストレージシステムの第１の記憶領域に格納されているデータが前記第２の所定の時刻より前のデータであれば、該データを前記第３のストレージシステムの第２の記憶領域にコピーした後、前記第３のストレージシステム内の第１の記憶領域に、前記第２の所定の時刻以降の書き込み時刻が付与されたデータを格納し、
前記第４のストレージシステムは、前記第２の所定の時刻以降の書き込み時刻が付与されたデータが書き込まれる前記第４のストレージシステムの第１の記憶領域に格納されているデータが前記第２の所定の時刻より前のデータであれば、該データを前記第４のストレージシステムの第２の記憶領域にコピーした後、前記第４のストレージシステム内の第１の記憶領域に、前記第２の所定の時刻以降の書き込み時刻が付与されたデータを格納することを特徴とする情報処理システム。
【請求項１１】
請求項９記載の情報処理システムであって、
前記第1のサイトに障害が発生した場合、
前記第3のストレージシステムは、前記第２の所定の時刻より前の書き込み時刻を有するデータを前記第３のストレージシステム内の第２の記憶領域から第１の記憶領域にコピーし、
前記第４のストレージシステムは、前記第２の所定の時刻より前の書き込み時刻を有するデータを前記第４のストレージシステム内の第２の記憶領域から第１の記憶領域にコピーすることを特徴とする情報処理システム。
【請求項１２】
請求項１１記載の情報処理システムであって、
前記第1のサイトが復旧した場合、前記第３のストレージシステムは、前記第3のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送し、
前記第４のストレージシステムは、前記第４のストレージシステム内の第1の記憶領域に格納されているデータのコピーを前記第1のストレージシステムに転送することを特徴とする情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数台のストレージシステムがネットワークで接続されている情報処理システムに関し、データ転送および災害復旧のための技術に関する。
【背景技術】
【０００２】
ストレージシステムを含む情報処理システムにおいて、電力障害や、火災、地震などで、情報処理システムに障害が発生した場合、業務の一時停止や、データの消失などが起こる場合がある。このような事態を回避するため、火災、地震などの影響が及ばないような遠隔地に同様の情報処理システムを配置し、ある情報処理システム（以下、正サイトと称する）に書き込まれるデータを遠隔地の情報処理システム（以下、副サイトと称する）へ転送し複製を用意する。これらを実現するために、ネットワークを用いて、データを転送し複製を行う技術(以下、リモートコピーと称する)が存在する。
【０００３】
リモートコピーとは、正サイトから副サイトに対し、正サイトに格納されるデータの転送を行うものである。これにより、遠隔地でのデータのバックアップや、業務引継ぎ、災害復旧を行うことができる。
【０００４】
リモートコピーには、同期リモートコピーおよび非同期リモートコピーの２種類の方法がある。同期リモートコピーでは、正サイトのストレージシステムが、副サイトに対するデータ転送が完了した後に、計算機（以下、ホストと称する）からの書き込み要求に対する応答をホストに返す。そのため、同期リモートコピーでは、障害によるデータ消失は少なく、データの整合性も保証される。しかし、サイト間の回線遅延が増加すると、正サイトにおいて、ホストとストレージシステム間のＩ／Ｏ遅延が発生する。
【０００５】
一方、非同期リモートコピーでは、正サイトのストレージシステムが、ホストからの書き込み要求に対する応答をホストに返した後、副サイトに対してデータ転送を行う。これにより、サイト間の距離が長くても、ホストとストレージシステム間のＩ／Ｏ性能低下を招きにくいが、データ消失が発生する可能性が同期リモートコピーに比べ、高くなり、かつデータの順序保証が行われない。
【０００６】
特許文献１には、非同期リモートコピーにおけるデータの整合性の保証について記載されている。すなわち、特許文献１には、ホストからの書き込みデータに対し、付加情報を付け、付加情報を元に遠隔地のシステムにてデータの並べ替えを行い整合性の保証を行う方法が記載されている。
【０００７】
また、非特許文献１には、複数台のストレージシステムに跨った非同期リモートコピーにおいて、書き込みデータの整合性を保証する方法として、ＮａｎｏＣｏｐｙという技術が記載されている。ＮａｎｏＣｏｐｙは、複数台のストレージシステムの非同期リモートコピーを、ある時点で停止し、ある時点でのボリュームのレプリカを作成する。この動作を定期的に繰り返すことで、レプリカがある未来の時点で整合性のあるボリュームとして、常に存在する。
【０００８】
一方、特許文献２には、同一ストレージ内に、ある時点でのボリュームのレプリケーションを高速に取得する方法が、公開されている。以下、特許文献２に開示の方法によるボリュームレプリケーションをスナップショットと呼ぶ。
【０００９】
特許文献２に開示の方法では、あらかじめ、データ退避用のボリューム（以下、ボリュームプールと呼ぶ）を確保する。その後、レプリケート指示以降にレプリケーション元ボリュームに行われる書き込みを以下のステップで処理する。
【００１０】
（A)当該書き込みが、レプリケート指示以降、当該データ領域に対する最初の更新かどうかを確認する。初めてであればステップBを実行し、初めてでなければステップCを実行する。
【００１１】
（B)書き込み対象データ領域の更新前の内容をボリュームプールにコピーし、レプリケーション元の領域とコピー先のボリュームプールの領域の対応情報を記憶し、ステップCを実行する。
【００１２】
（C）レプリケーション元ボリュームを更新する。
【００１３】
また、レプリケート指示以降にレプリケーション先から読み込みを行う場合は、以下のステップで処理する。
【００１４】
（D)対応情報を用いて読み込み要求のあった領域がボリュームプールにコピーされたか確認し、コピーされていた場合はステップEを実行し、コピーされていない場合はステップFを実行する。
【００１５】
（E)対応情報を用いてボリュームプールから更新前のデータを返す。
【００１６】
（F)レプリケーション元ボリュームからデータを返す。
【００１７】
スナップショットによるレプリケーションは、ミラーリングによるボリュームレプリケーションより少ないボリューム容量でレプリケーションを作成できる。
【００１８】
【特許文献１】特開２００２−１４９４９９号公報
【特許文献２】特開平７−７２９８１号公報
【非特許文献１】唐sｈｅ  Ｈｉｔａｃｈｉ  ＮａｎｏＣｏｐｙ  Ａｄｖａｎｔａｇｅ煤A[online]、１９９９年６月、Hitachi Data Systems Corporation、インターネット＜ＵＲＬ：http://www.hds.com/pdf/wp134_nanocopy.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【００１９】
特許文献１の方式では、一つのストレージからの書き込みに対してのみ整合性を保証している。また、非特許文献１の方式では、非同期リモートコピーとローカルレプリケーションを交互に停止するため、停止時間が長くなり、整合性の取れたボリュームが古いものとなってしまう。
【００２０】
そこで、複数台のストレージ装置間で整合性を保証した非同期リモートコピーを、非同期リモートコピーの停止なしに実現する情報処理システムを開示する。
【課題を解決するための手段】
【００２１】
第１の計算機と接続される、第１のストレージシステムと第２のストレージシステムとを有する第１のサイトと、第２の計算機及び第１のストレージシステムと接続される第３のストレージシステムと第２の計算機及び第２のストレージシステムと接続される第４のストレージシステムとを有する第２のサイトを有する情報処理システムであって、第３のストレージシステムは、第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、第３のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有する。第４のストレージシステムは、第１のストレージシステムから転送されるデータを格納する第１の記憶領域と、第４のストレージシステムの第１の記憶領域に格納されるデータのコピーを格納する第２の記憶領域と第３の記憶領域を有する。第１のストレージシステムと第２のストレージシステムは、それぞれ、第１の計算機から書き込み時刻が付加されたデータを受信する。第１のストレージシステムは、第３のストレージシステムに前記第１の計算機から受信したデータと書き込み時刻のコピーを転送する。第２のストレージシステムは、第４のストレージシステムに第１の計算機から受信したデータと書き込み時刻のコピーを転送する。第３のストレージシステムは、第１のストレージシステムから受信したデータを、第３のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込む。第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、第３のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込む。第４のストレージシステムは、第２のストレージシステムから受信したデータを、第４のストレージシステム内の第１の記憶領域に、データに付加された時刻順に書き込む。第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、第４のストレージシステム内の第２の記憶領域にデータが付加された時刻順に書き込む。第３のストレージシステムは、第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの第３のストレージシステム内の第２の記憶領域へのコピーが完了したら、第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、第３のストレージシステム内の第２の記憶領域に書き込むことを停止する。その後に、第３のストレージシステムは、第３のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、第３のストレージシステム内の第３の記憶領域への書き込み処理を開始する。第４のストレージシステムは、第１の計算機から指定された第１の所定の時刻より前の書き込み時刻が付加されたデータの前記第４のストレージシステム内の第２の記憶領域へのコピーが完了したら、第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーを、第４のストレージシステム内の第２の記憶領域に書き込むことを停止する。その後に、第４のストレージシステムは、第４のストレージシステム内の第１の記憶領域に書き込まれたデータのコピーの、第４のストレージシステム内の第３の記憶領域への書き込み処理を開始する。
【発明の効果】
【００２２】
第１のサイトと第２のサイトを有する情報処理システムにおいて、第一のサイトから第二のサイトに対する非同期リモートコピーを停止することなく、ある時点で第１のサイトのボリュームに格納されるデータと第２のサイトのボリュームに格納されるデータの整合性を保証することが出来る。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施形態について、図面を参照して説明する。尚、本発明は、本実施形態に限られるものではない。
【実施例１】
【００２４】
図１は、本実施形態を適用する情報処理システムの一例を示す図である。
【００２５】
情報処理システムは、互いに距離のある正サイト１０１と副サイト１０２とにより構成される。
【００２６】
正サイト１０１は、ホスト１１１と、複数台のストレージシステム１３１と、ホスト１１１と複数台のストレージシステム１３１とを接続するネットワーク１２１とにより構成される。
【００２７】
副サイト１０２は、ホスト１１２と、複数台のストレージシステム１３２と、ホスト１１２と複数台のストレージシステム１３２を接続するネットワーク１２１とにより構成される。
【００２８】
ストレージシステム１３１は、それぞれ、プロセッサ１５３と、メモリ１５４と、ホストからのI/O要求を受信するホストI/O用インターフェイス１５２と、ストレージシステム１３１からストレージシステム１３２へ非同期リモートコピーを行うためのネットワークに接続する非同期RC用インターフェイス１５１と、データを格納するボリューム１４１とにより構成される。ボリューム１４１には、ホスト１１１から書き込まれるデータが格納される。
【００２９】
ストレージシステム１３２は、ストレージシステム１３１のボリューム１４１のかわりに、データを格納するボリューム１４２、１４３、１４４とを有し、その他の構成は、ストレージシステム１３１と同様である。ボリューム１４２は、ストレージシステム１３１から、非同期リモートコピーで転送されるデータが格納される。ボリューム１４３およびボリューム１４４には、ボリューム１４２に格納されるデータの、ある時点でのコピーデータ（以下、レプリカと称する）が格納される。以下、このレプリカを作成する機能をローカルレプリケーション機能と称する。
【００３０】
ローカルレプリケーション機能は、同一ストレージシステム内にボリュームのレプリカを作成する機能のことである。また、ローカルレプリケーション機能により作成されるレプリカを格納するボリュームをレプリケーションボリュームと呼ぶ。
【００３１】
尚、各ボリュームは、複数の物理ディスクから構成されていてもよい。
【００３２】
ネットワーク１２２は、ストレージシステム１３１とストレージシステム１３２との間でデータ転送を行うためのネットワークである。ネットワーク１２２は、ストレージシステム１３１とストレージシステム１３２の非同期RC用インターフェイス１５１に接続される。
【００３３】
ホスト１１１およびホスト１１２は、ホスト１１１に接続されているストレージシステム１３１のボリューム１４１またはホスト１１２と接続されているストレージシステム１３２のボリューム１４２を用いて、トランザクション処理等の業務を実施するアプリケーションプログラムが動作する計算機である。通常時は、ホスト１１１が業務を行い、ホスト１１２は、正サイト１０１で障害が発生した場合に、業務を引き継ぐための待機系ホストである。
【００３４】
また、ホスト１１１およびホスト１１２は、ボリュームにデータを書き込むとき、ホスト内の時計を用いて、書き込むデータに書き込み時刻を付加する。ホストが書き込むデータに付加された時刻情報をタイムスタンプと呼ぶ。
【００３５】
図１６は、ホスト１１１の機能構成またはソフトウェア構成の一例を示す図である。
【００３６】
アプリケーション２２０１は、ユーザがホスト１１１で実行するアプリケーションソフトウェアで、ストレージシステム１３１のボリュームに対し、読み書きを行う。
【００３７】
コマンド発行プログラム２２０２は、ローカルレプリケーション機能のペア操作コマンドと、非同期リモートコピーのペア操作コマンドを発行する処理を実行するためのプログラムである。ここで、ペアとは、リモートコピーのコピー元ボリュームとコピー先ボリュームの組のことである。
【００３８】
定期Ｉ／Ｏプログラム２２０３は、ストレージシステム１３１に対し、ホスト１１１から一定時間以上のＩ／Ｏが発生しない時、ストレージシステム１３１に対して、書き込みデータを発行する処理を実行するためのプログラムである。
【００３９】
図１７は、ホスト１１２の機能構成またはソフトウェア構成の一例を示す図である。
【００４０】
ホスト１１２のアプリケーション２２０１と、コマンド発行プログラム２２０２とはホスト１１１のものと同等である。ホスト１１２のアプリケーション２２０１は、通常時は、停止しており、障害が発生し、副サイトで業務運用するとき、ユーザはアプリケーション２２０１を使って再開する。
【００４１】
図２は、正サイト１０１に含まれるストレージシステム１３１の機能構成の一例を示す図である。
【００４２】
ストレージシステム１３１内のメモリ１５４には、Ｉ／Ｏ受付プログラム２０１と、ＲＣペア操作プログラム２０２と、書き込みプログラム２０３と、ＲＣデータ転送プログラム２０４と、ペア情報２１１と、ＲＣデータ情報２１１が格納される。各々のプログラムは、ストレージシステム１３１内のプロセッサ１５３により実行される。ここで、ＲＣとは、リモートコピーの略である。尚、ペア情報２１１と、ＲＣデータ情報２１１は、ストレージシステム内のボリュームに格納されてもよい。
【００４３】
I/O受付プログラム２０１は、ホスト１１１から書き込まれるデータを受信する処理を実行するためのプログラムである。
【００４４】
ＲＣペア操作プログラム２０２は、ホスト１１１からペア操作コマンドを受け、非同期リモートコピーのペアを作成する操作（以下、ペア操作と称する）を行う処理を実行するためのプログラムである。
【００４５】
書き込みプログラム２０３は、I/O受付プログラム２０１が受け取った書き込みデータをボリューム１４１に書き込む処理を実行するプログラムである。
【００４６】
ＲＣデータ情報２１２は、ホスト１１１から書き込まれるデータに、非同期リモートコピーで転送するための情報を付加したものを格納する。ここで、非同期リモートコピーで転送するための情報とは、データの書き込み先の論理ボリュームのあて先（以下、LUIDと称する）と、順序保証のための付加情報となる通し番号もしくはそれと同等の付加情報（以下、ＳＥＱ＃と称する）と、書き込み時刻である。詳細については、図５にて説明する。
【００４７】
ＲＣデータ転送プログラム２０４は、ホスト１１１からのストレージシステム１３１に書き込まれるデータに対し、非同期リモートコピーで転送するための情報を付加し、ホスト１１１からストレージシステム１３１に書き込まれたデータをストレージシステム１３２に転送する処理を実行するプログラムである。
【００４８】
ペア情報２１１は、非同期リモートコピー対象のペアに関する情報であり、非同期リモートコピー元の論理ボリューム１４１と、非同期リモートコピー先の論理ボリュームと１４２の対応および、ボリューム１４１とボリューム１４２のペアの状態を示す情報である。詳細ついては図４にて説明する。尚、ボリューム１４１とボリューム１４２は、それぞれボリューム内に複数の論理ボリュームを有していても良い。図４に示すペア情報２１１は、ボリューム内に複数の論理ボリュームを有する場合の一例である。
【００４９】
非同期リモートコピーでは、コピーの状態を示すため、ペア状態を定義し、ペア情報にて管理する。非同期リモートコピーのペア状態は、リモートコピーの管理者に対して、コピー状態を示す情報である。管理者は、コマンドを用いて、ペア状態の遷移を指示することで、非同期リモートコピーのコピー処理を制御する。以下、非同期リモートコピーのペア状態の説明をする。
【００５０】
本実施形態では、ペア状態として、Ｓｉｍｐｌｅｘ（Ｘ）、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ（ＩＣ）、Ｄｕｐｌｅｘ（Ｄ）、Ｓｕｓｐｅｎｄ（Ｓ）、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ（ＤＰ）、Ｓｕｓｐｅｎｄｉｎｇ（ＳG）を定義する。
【００５１】
Ｓｉｍｐｌｅｘ状態は、コピー元（以下、ソースと称する）と、コピー先（以下、ターゲットと称する）のボリューム間でのコピーが開始されていない状態である。
【００５２】
Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態は、ソースとターゲットのボリューム間で、コピーを開始し、Ｓｉｍｐｌｅｘ状態から、後述するＤｕｐｌｅｘ状態へ遷移するまでの状態である。Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態中は、送信元ボリューム（以下、ソースボリュームと称する）から送信先ボリューム（以下、ターゲットボリュームと称する）への初期化コピー、すなわち、ソースボリュームにすでに格納されているデータのコピーが行われる。初期化コピーが完了し、Ｄｕｐｌｅｘ状態へ遷移するために必要な内部処理が終わった時点で、ペア状態はＤｕｐｌｅｘ状態となる。
【００５３】
Ｄｕｐｌｅｘ状態は、初期化コピーが終了し、更新コピーが行われる状態である。すなわち、ホストからソースボリュームにデータの書き込まれた場合、ソースボリュームに書き込まれたデータがターゲットボリュームに更新コピーされる状態である。ペア状態が、Ｄｕｐｌｅｘ状態となることで、巨視的には、ソース・ターゲット間のボリュームのデータは同一であるとみなされる。しかし、更新コピーは非同期で行われるため、正サイトおよび副サイトに格納されるデータの同一性は厳密には保証されない。
【００５４】
Ｓｕｓｐｅｎｄ状態は、更新コピーが停止した状態である。Ｓｕｓｐｅｎｄ状態では、ソース・ターゲット間のボリュームのデータの同一性は保証されなくなる。例えば、オペレータ、ホスト、またはストレージシステムを管理する計算機から等の指示を契機に、ペア状態は、Ｓｕｓｐｅｎｄ状態へ遷移する。
【００５５】
オペレータ、ホスト、またはストレージシステムを管理する計算機から等の指示以外の原因で、ソースボリュームからターゲットボリュームへのデータのコピーが不可能になった場合は、ストレージシステムが自動的にペア状態をＳｕｓｐｅｎｄ状態に遷移する（以下、障害Ｓｕｐｅｎｄ状態と称する）。障害Ｓｕｓｐｅｎｄ状態となる原因としては、ソースボリュームまたはターゲットボリュームの障害、ソースまたはターゲットのストレージシステムの障害，ソースボリュームとターゲットボリューム間の通信路障害（本実施形態の場合は、ストレージシステム１０１とストレージシステム１０２を接続するネットワーク１２２での障害）が考えられる。ただし、他の障害も障害Ｓｕｓｐｅｎｄの原因となる。
【００５６】
Ｓｕｓｐｅｎｄｉｎｇ状態は、Ｄｕｐｌｅｘ状態からＳｕｓｐｅｎｄ状態へ遷移するまでの状態である。Ｓｕｓｐｅｎｄ状態には、障害Ｓｕｓｐｅｎｄ状態も含まれる。本実施形態では、Ｓｕｓｐｅｎｄｉｎｇ状態では、ソースおよびターゲットのストレージシステムは、両ストレージシステムのデータをターゲットストレージシステムに反映させる処理を行う。
【００５７】
Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態は、Ｓｕｓｐｅｎｄ状態からＤｕｐｌｅｘ状態に遷移するまでの状態である。Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態では、ソースボリュームとターゲットボリュームのデータを一致させるため、ソースボリュームに格納されているデータをターゲットボリュームにコピーする。ソースボリュームとターゲットボリュームとのデータの同一性を確保できた後、ペア状態はＤｕｐｌｅｘ状態となる。なお、Ｄｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態におけるデータのコピーは、前述したＳｕｓｐｅｎｄ状態中にソースボリュームまたはターゲットボリュームに書き込まれたデータの更新領域を記録した情報を利用して更新が必要な部分だけをコピーする差分コピーを用いてもよい。なお、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ状態とＤｕｐｌｅｘ−Ｐｅｎｄｉｎｇ状態とは、まとめて一つの状態として管理装置の画面に表示したり、状態を遷移させてもよい。
【００５８】
図３は、副サイト１０２に含まれるストレージシステム１３２の機能構成の一例を示す図である。
【００５９】
ストレージシステム１３２内のメモリ１５４には、ＲＣデータ転送プログラム３０１と、ＲＣペア操作プログラム２０２と、ＲＣ格上げプログラム３０２と、ＬＲ制御プログラム３０３と、ＬＲペア操作プログラム３０４と、ペア情報２１１と、ＲＣデータ情報２１２と、ＬＲ管理情報３１１と、ＬＲペア情報３１２とが格納される。各々のプログラムは、ストレージシステム１３１内のプロセッサ１５３により実行される。ここで、ＬＲとは、ローカルリモートコピーの略である。
【００６０】
ＲＣデータ転送プログラム３０１は、ストレージシステム１３１から転送されるデータを受信する処理を実行するプログラムである。
【００６１】
ＲＣペア操作プログラム２０２は、ホスト１１２からペア操作コマンドを受け、非同期リモートコピーのペアを作成する操作を行う処理を実行するためのプログラムである。
【００６２】
ＲＣ格上げプログラム３０２は、ＲＣデータ転送プログラム３０１が受信したデータを、ＳＥＱ＃もしくは書き込み時刻に基づいて、ボリューム１４１にデータが書き込まれた順に、ボリューム１４２に書き込む処理を実行するプログラムである。以下、ＲＣ格上げプログラム３０２が実行する処理を格上げと称する。尚、ＳＥＱ＃に基づいて、順序保証して、ボリュームに書き込む方法については、従来と同様の方法で行うため、説明を省略する。
【００６３】
ストレージシステム１３２では、ローカルレプリケーション機能を用いて、ボリューム１４２のレプリカである、ボリューム１４３およびボリューム１４４を作成する。ローカルレプリケーション機能は、ＬＲ制御プログラム３０３とＬＲペア操作プログラム３０４とによって実行される。
【００６４】
ＬＲ制御プログラム３０３は、ボリューム１４２に書き込まれたデータをＬＲペア情報３１２に基づいて、ボリューム１４３またはボリューム１４４に書き込む処理を実行するプログラムである。
【００６５】
ＬＲペア操作プログラム３０４は、ホスト１１１またはホスト１１２が指定したある時点以降の書き込み時刻を有する、あるボリュームに格納されるデータを他のボリュームにコピーすることを停止する（以下、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄと称し、詳細は、図１１にて説明する）Ｓｕｓｐｅｎｄコマンドと、あるボリュームに格納されているデータを他のボリュームに格納されているデータと一致させるＲｅｓｙｎｃコマンドとをホスト１１１またはホスト１１２から受信し、ボリューム１４２とボリューム１４３およびボリューム１３２とボリューム１４４の組み合わせを示したペア（以下、ＬＲペアと称する）の状態の操作を行う処理を実行するプログラムである。以下、ボリューム１４２とボリューム１４３のペアをＬＲ１、ボリューム１４２とボリューム１４４のペアをＬＲ２と呼ぶ。Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄでは、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定されたペアは、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時刻以降の書き込み時刻を有するデータの書き込みが行われる直前にペア状態がＳｕｓｐｅｎｄ状態に遷移する。
【００６６】
ＬＲ管理情報３１１は、ＬＲペアの状態を示すものである。ＬＲ管理情報３１１の詳細については、図６にて説明する。
【００６７】
ＬＲペア情報３１２は、ローカルレプリケーション機能のペアに関する情報であり、データのコピー元ボリュームとコピー先ボリュームとの対応およびペアの状態を示す情報である。ＬＲペア情報３１２の詳細については、図７にて説明する。
【００６８】
ローカルレプリケーション機能では、コピーの状態を示すために、ペア状態を定義し、ペア情報にて管理する。ローカルレプリケーション機能のペア状態はローカルレプリケーションの管理者に対して、コピー状態を示す情報である。管理者はコマンドでペア状態の遷移を指示することで、ローカルレプリケーション機能のコピー処理を制御する。ペア状態としては、Ｓｉｍｐｌｅｘ（Ｘ）、Ｉｎｉｔｉａｌ−Ｃｏｐｙｉｎｇ（ＩＣ）、Ｄｕｐｌｅｘ（Ｐ）、Ｓｕｓｐｅｎｄ（Ｓ）、Ｓｕｓｐｅｎｄｉｎｇ（ＳＧ）、Ｒｅｓｙｎｃｉｎｇ（Ｒ）を定義する。以下、ＬＲペアのペア状態の説明をする。ここで、Ｒｅｓｙｎｃｉｎｇ状態以外は、上述のＲＣペアのペア状態の定義と同等であるため、説明を省略する。
【００６９】
Ｒｅｓｙｎｃｉｎｇ状態は、Ｓｕｓｐｅｎｄ状態からＤｕｐｌｅｘ状態に遷移するまでの状態である。Ｒｅｓｙｎｃｉｎｇ状態では、ソースボリュームとターゲットボリュームのデータを一致させるため、ソースボリュームからターゲットボリュームへのデータのコピーが実行される。ソースボリュームとターゲットボリュームとの間でデータの同一性が確保されるとペア状態はＤｕｐｌｅｘ状態となる。尚、本実施形態では、ペア状態がDuplex状態の場合にSuspend状態に移行する。そのため、ペア状態をDuplex状態からSuspend状態へ迅速に移行するため、Ｒｅｓｙｎｃコマンド発行直後にペア状態がDuplex状態となるよう制御してもよい。以下、Ｒｅｓｙｎｃコマンド発行直後にペア状態がDuplexとなるよう指示するコマンドをＱｕｉｃｋ−Ｒｅｓｙｎｃコマンドと呼ぶ。Ｑｕｉｃｋ−Ｒｅｓｙｎｃコマンド発行時、ペア状態がDuplexとなった後にもバックグラウンドコピーを実行させて、ターゲットボリュームに全てデータコピーを行う方式がある。また、別方式として、Duplex状態ではコピーを行わずに、次回のQuick-Suspend（Quick-Suspendについては、後述する）を受け付けた後に、まとめてコピーする方法もある。
【００７０】
尚、Ｒｅｓｙｎｃｉｎｇ状態におけるデータのコピーは、前述したＳｕｓｐｅｎｄ状態中のデータの更新領域を記録した情報を利用して更新が必要な部分だけをコピーする差分コピーを用いてもよい。
【００７１】
ロカールレプリーケーション機能のＳｕｓｐｅｎｄ状態のとき、ターゲットボリュームはＳｕｓｐｅｎｄコマンドが実行された時点でのソースボリュームに格納されるデータとの整合性が保証されている。
【００７２】
尚、本実施形態のローカルレプリケーション機能では、Ｓｕｓｐｅｎｄコマンドを発行した直後にペア状態がＳｕｓｐｅｎｄになってもよい。以下、Ｓｕｓｐｅｎｄコマンドを発行した直後にペア状態がＳｕｓｐｅｎｄとなるよう指示するコマンドをＱｕｉｃｋ−Ｓｕｓｐｅｎｄコマンドと呼ぶ。Ｑｕｉｃｋ−Ｓｕｓｐｅｎｄコマンド発行時、ペア状態がSuspendとなった後にバックグラウンドコピーを実行させて、ターゲットボリュームに全てデータコピーを行う方式や、スナップショットのように必要に応じてコピーを行う方式がある。
【００７３】
図１５は、本実施形態の非同期リモートコピーとローカルレプリケーション機能における、ペアの一例を示す図である。
【００７４】
ペア１６０１間では、ボリューム１４１に格納されるデータをボリューム１４２へ非同期リモートコピーする。通常時、ペア１６０１は、Ｄｕｐｌｅｘ状態となる。
【００７５】
ペア１６０２間では、ボリューム１４２に格納されるデータを、データに付加された書き込み時刻に基づいて、ボリューム１４３へローカルレプリケーション機能によりコピーする。
【００７６】
ペア１６０３間では、ボリューム１４２に格納されるデータを、データに付加された書き込み時刻に基づいて、ボリューム１４４へローカルレプリケーション機能によりコピーする。
【００７７】
本実施形態では、ストレージシステム１３２は、常にペア１６０２とペア１６０３のいずれかのペア状態がＳｕｓｐｅｎｄ状態となるよう、制御する。Duplex状態となっているペアをＳｕｓｐｅｎｄ状態とし、Ｓｕｓｐｅｎｄが完了した後、もう一方のペアをＲｅｓｙｎｃ状態する。これを繰り返すことで、ボリューム１４３もしくは、ボリューム１４４に、ある時点でのボリューム１４２と整合性のあるデータが格納される。
【００７８】
図４は、ペア情報２１１の一例を示す図である。
ペア情報２１１は、ソースボリュームの論理ボリューム番号（以下、ソースLU IDと称する）４０１と、ソースボリュームに対応するターゲットボリュームの論理ボリューム番号(以下、ターゲットLU IDと称する)４０２と、ターゲットボリュームとソースボリュームのペア状態を示すペア状態４０３と、ソースLU IDとターゲットLU ID間で更にデータの差がある記憶領域を示す差分ビットマップ４０４とを有する。
図５は、ＲＣデータ情報２１２の一例を示す図である。
【００７９】
ＲＣデータ情報２１２は、ホスト１１１からの書き込ストレージシステム１３１に書き込まれるデータ、すなわち、ストレージシステム１３１からストレージシステム１３２に対し、非同期リモートコピーで転送されたデータを管理する。ＲＣデータ情報２１２は、非同期リモートコピーで転送するデータのターゲットＬＵＩＤ５０１と、ＲＣデータ転送プログラム２０４が付加したＳＥＱ＃５０２と、ホスト１１が付加したタイムスタンプ５０３と、非同期リモートコピーで転送するデータ５０４と、Ｆｌａｇ５０５とを有する。Ｆｌａｇ５０５は、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドが実行されるタイミングを示すものである。ＲＣ格上げプログラム３０２は、Flag５０５がオン、すなわち、Ｆｌａｇ５０５に１が格納されている書き込みデータを受け取ると、格上げする前にＬＲのペア状態をＳｕｓｐｅｎｄ状態とする。詳細については、図１３で説明する。
【００８０】
図６は、ＬＲ管理情報３１１の一例を示す図である。
【００８１】
ＬＲ管理情報３１１は、ＬＲペアのペア情報とＡｔ−Ｔｉｍｅ−ＳｕｓｐｅｎｄでＳｕｓｐｅｎｄされた時間を管理する。ＬＲ管理情報３１１は、ＬＲペアを識別するＬＲペアＮｏ６０１と、各ペアについて最新のＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄの指定時刻を記録するＳｕｓｐｅｎｄ時間６０２と各ＬＲペアのペア状態６０３を管理する。
【００８２】
図７は、ＬＲペア情報３１２の一例を示す図である。
【００８３】
ＬＲペア情報３１２は、ソースボリュームとターゲットボリューム間の対応関係を管理する。ＬＲペア情報３１２は、ＬＲペアのソースLUID７０１とＬＲペアのターゲットLUID７０２と、ペア状態７０３と、ソースLU IDとターゲットLU IDの間でデータの差分があるかどうかを示す差分ビットマップ７０４とを管理する。
【００８４】
以下、本実施形態の動作について、説明する。尚、ホスト１１１又はホスト１１２からの指示は、図１に示す複数のストレージシステム１３１又は複数のストレージシステム１３２に対して発行され、ホスト１１１またはホスト１１２からの指示に基づいて、複数のストレージシステム１３１又は複数のストレージシステム１３２各々が指示される処理を実行する。
【００８５】
図８は、通常運用時のＬＲ１、ＬＲ２のＬＲペアの動作の一例を示した流れ図である。初期段階では、ＬＲ１ペアがＤｕｐｌｅｘ状態、ＬＲ２ペアがＳｕｓｐｅｎｄ状態とする。
【００８６】
まず、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１のＲＣデータ転送プログラム２０４経由で、複数のストレージシステム１３２各々のＲＣ格上げプログラム３０２に対し、同じ時刻を指定してＬＲ１のＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドを発行する（ステップ８０１）。
【００８７】
次に、複数のストレージシステム１３２各々のＬＲ操作プログラム３０４は、Ｄｕｐｌｅｘ状態になっているＬＲ１のペア状態をＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドに応じてＳｕｓｐｅｎｄ状態にする。詳細は、図１１で説明する。複数のストレージシステム１３２各々のＬＲ１のペア状態を同じ時刻を基準にＳｕｓｐｅｎｄ状態にすることで、あるストレージシステム１３２のボリューム１４３にＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時点での他のストレージシステム１３２のボリューム１４３に、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時刻より前の時刻が付与されたデータについて、整合性の取れたデータが格納される（ステップ８０２）。
【００８８】
次に、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１経由で、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４に対し、ＬＲ２のＲｅｓｙｎｃコマンドを発行する（ステップ８０３）。
【００８９】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、Ｓｕｓｐｅｎｄ状態になっているＬＲ２のペア状態をＲｅｓｙｎｃコマンドに応じてＤｕｐｌｅｘ状態にする（ステップ８０４）。
【００９０】
次に、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１のＲＣデータ転送プログラム２０４経由で、複数のストレージシステム１３２各々のＲＣ格上げプログラム３０２に対し、同じ時刻を指定してＬＲ２のＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドを発行する（ステップ８０５）。
【００９１】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、Ｄｕｐｌｅｘ状態になっているＬＲ２のペア状態をＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドに応じてＳｕｓｐｅｎｄ状態にする。複数のストレージシステム１３２各々のＬＲ２のペア状態を同じ時刻を基準にＳｕｓｐｅｎｄ状態にすることで、あるストレージシステム１３２のボリューム１４４にＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時点での他のストレージシステム１３２のボリューム１４４にＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時刻より前の時刻が付与されたデータについて、整合性の取れたデータが格納される。（ステップ８０６）。
【００９２】
次に、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１経由で、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４に対し、ＬＲ１のＲｅｓｙｎｃコマンドを発行する（ステップ８０７）。
【００９３】
次に、ＬＲペア操作プログラム３０４は、Ｓｕｓｐｅｎｄ状態になっているＬＲ２のペア状態をＲｅｓｙｎｃコマンドに応じてＤｕｐｌｅｘ状態にし、ステップ８０１に戻る（ステップ８０８）。
【００９４】
図９は、正サイトに障害が発生した後、ホスト１１２で業務再開するまで処理の一例を示した流れ図である。
【００９５】
副サイトのホスト１１２は、正サイトに障害が発生したことを検知する。尚、正サイトの障害の検知は、システムの管理者がホスト１１２の代わりに行ってもよい。（ステップ９０１）。
【００９６】
次に、ホスト１１２のコマンド発行プログラム２２０２が、複数のストレージシステム１３２各々のＲＣペア操作プログラム２０２に対し、非同期リモートコピーのペアを解除するコマンドを発行する（ステップ９０２）。
【００９７】
次に、複数のストレージシステム１３２各々のＲＣペア操作プログラム２０２は、非同期リモートコピーのペアを解除し、ペア状態をＳｉｍｐｌｅｘ状態にする（ステップ９０３）。
【００９８】
次に、複数のストレージシステム１３２各々のＬＲ制御プログラム３０３は、ある時点のボリューム１４２と整合性の取れている最新のＬＲボリュームをボリューム１４３またはボリューム１４４から選択する（詳細については、図１２で説明する）（ステップ９０４）。
【００９９】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ１、ＬＲ２のＬＲペアをＳｕｓｐｅｎｄ状態にする（ステップ９０５）。
【０１００】
次に、複数のストレージシステム１３２各々のＬＲ制御プログラム３０３は、ステップ９０４で選択したＬＲボリュームのデータを、ボリューム１４２にコピーする。複数のストレージシステム１３２各々のＬＲ制御プログラム３０３は、ステップ９０４で選択したＬＲボリュームのデータを、ボリューム１４２にコピーするとき、ＬＲペアをＲｅｓｙｎｃ状態にするよう、ＬＲペア操作プログラム３０４に指示して、差分コピーを用いてもよい。（ステップ９０６）。
【０１０１】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０３は、ステップ９０６でＲｅｓｙｎｃ状態にしたＬＲペアをＳｕｓｐｅｎｄ状態にする（ステップ９０７）。
【０１０２】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０３は、ステップ９０５でＲｅｓｙｎｃ状態にしたＬＲペアでないＬＲペアをＲｅｓｙｎｃ状態にする（ステップ９０８）。
【０１０３】
次に、ホスト１１２で業務を再開する（ステップ９０９）。
【０１０４】
図１０は、副サイト１０２で業務再開した後、正サイト１０１が復旧し、ホスト１１１で業務再開するまでの処理の一例を示した流れ図である。
【０１０５】
まず、管理者が、正サイト１０１の復旧を確認する（ステップ１００１）。
【０１０６】
次に、情報処理システムに接続される、管理端末からの管理者の指示により、ホスト１１２のコマンド発行プログラム２２０２が、複数のストレージシステム１３２各々に、非同期リモートコピーの初期化コピーコマンドを発行する(ステップ１００２)。
【０１０７】
次に、複数のストレージシステム１３２各々は、ストレージシステム１３１に非同期リモートコピーの初期化コピーを行う（ステップ１００３）。
【０１０８】
次に、管理者は、管理端末から、ステップ１００３の処理の完了を確認したら、ホスト１１２の業務を停止するよう指示する（ステップ１００４）。
【０１０９】
次に、管理端末からの管理者の指示により、複数のストレージシステム１３２各々のＲＣペア操作プログラム２０２は、ストレージシステム１３２からストレージシステム１３１への非同期リモートコピーをストレージシステム１３１からストレージシステム１３２への非同期リモートコピーに変更する（ステップ１００５）。
【０１１０】
次に、管理端末から、管理者が、ストレージシステム１３１からストレージシステム１３２への非同期リモートコピーに変更されたことを確認すると、管理端末からの管理者の指示により、ホスト１１２のコマンド発行プログラム２２０２は、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４に、ＬＲ２をＳｕｓｐｅｎｄ状態するコマンドを発行する（ステップ１００６）。
【０１１１】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ２をＳｕｓｐｅｎｄ状態する（ステップ１００７）。
【０１１２】
次に、管理者は、管理ホスト１１１で業務を再開する（ステップ１００８）。
【０１１３】
次に、図８に示した、通常動作を再開する（ステップ１００９）。
【０１１４】
図１１は、ローカルレプリケーション機能のＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄの動作の一例を示した流れ図である。
【０１１５】
まず、ホスト１１１のコマンド発行プログラム２２０２は、複数のストレージシステム１３１各々のＲＣデータ転送プログラム２０３にＬＲペアのＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドを発行する（ステップ１１０１）。
【０１１６】
次に、複数のストレージシステム１３１各々のＲＣデータ転送プログラム２０４は、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定された時刻より後の最初の書き込みに対し、ＲＣデータ情報２１２のＦｌａｇ５０５をオンにする。尚、RCデータ転送プログラム２０４の代わりに、RC格上げプログラム３０４がデータを受け取ったときにＦｌａｇ５０５をオンにしてもよい。（ステップ１１０３）。
【０１１７】
次に、複数のストレージシステム１３１各々のRCデータ転送プログラム２０４は、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドの指定時刻とＦｌａｇ５０５がオンになった書き込みデータをストレージシステム１３２に転送する（ステップ１１０４）。
【０１１８】
次に、ストレージシステム１３２のデータ転送プログラム３０３は、Ｆｌａｇ５０５がオンになった書き込みデータとＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄの指定時刻をストレージシステム１３１から受け取る（ステップ１１０５）。
【０１１９】
次に、RC格上げプログラム３０４は、ボリューム１４２にＦｌａｇ５０５がオンになった書き込みデータを格上げする直前に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４にＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄコマンドで指定されたＬＲペアをＳｕｓｐｅｎｄ状態とするよう指示するとともに、ＬＲペア情報３１２のＳｕｓｐｅｎｄ時刻６０２を書き換える。ＬＲペアをＳｕｓｐｅｎｄ状態にする流れは、図１３で説明する（ステップ１１０６）。
【０１２０】
図１２は、図９のステップ９０４で複数のストレージシステム１３２各々が実行するＬＲボリュームの選択動作についての流れ図である。
【０１２１】
まず、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ管理情報３１１から、ＬＲ１、ＬＲ２のペア状態６０３をチェックする（ステップ１２０１）。
【０１２２】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ１、ＬＲ２のペア状態がＳｕｓｐｅｎｄ状態かどうかを判断し、ＬＲ１、ＬＲ２のいずれかのペア状態がＳｕｓｐｅｎｄ状態であればステップ１２０４へ進み、ＬＲ１、ＬＲ２の両方ともペア状態がＳｕｓｐｅｎｄ状態であればステップ１２０５に進む。このとき、ペア状態がＳｕｓｐｅｎｄｉｎｇ状態またはＲｅｓｙｎｃｉｎｇ状態であった場合には、それぞれＳｕｓｐｅｎｄ状態またはＲｅｓｙｎｃ状態に遷移するまで待つ。また、ＬＲ１、ＬＲ２の両方ともペア状態がＲｅｓｙｎｃ状態またはＤｕｐｌｅｘ状態である場合は、存在しない（ステップ１２０３）。
【０１２３】
ステップ１２０４では、複数のストレージシステム１３２各々のＬＲ制御プログラム３０３は、ＬＲ１、ＬＲ２のペアのうちペア状態がＳｕｓｐｅｎｄ状態になっているペアを選択する。
【０１２４】
一方、ステップ１２０５では、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ管理情報３１１から、ＬＲ１、ＬＲ２のＳｕｓｐｅｎｄ時刻６０２をチェックする（ステップ１２０５）。
【０１２５】
そして、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲ１、ＬＲ２のＳｕｓｐｅｎｄ時間６０２が最新のＬＲペアを選択する（ステップ１２０６）。
【０１２６】
図１３は、図１１のステップ１１０６で複数のストレージシステム１３２各々が実行する動作の一例を示した流れ図である。
【０１２７】
まず、複数のストレージシステム１３２各々のＲＣ格上げプログラム３０２は、Ｆｌａｇ５０５がオンになった書き込みデータの直前のＳＥＱ＃を持った書き込みデータまで格上げする（ステップ１３０１）。
【０１２８】
次に、複数のストレージシステム１３２各々のＲＣ格上げプログラム３０２は、ＬＲペア操作プログラム３０４にＦｌａｇ５０５がオンになった書き込みデータの直前まで格上げが完了したことを通知する（ステップ１３０２）。
【０１２９】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、Ｆｌａｇ５０５がオンになった書き込みデータの直前まで格上げが完了したことの通知を受信すると、Ｆｌａｇ５０５がオンになった書き込みデータの直前までのデータをボリューム１４３またはボリューム１４４に書き込んだ後、Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄで指定されたＬＲペアをSuspend状態とする。このとき、Ｑｕｉｃｋ-Ｓｐｌｉｔを用いてもよい（ステップ１３０３）。
【０１３０】
次に、複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、各々のＲＣ格上げプログラム３０２に、Ｓｕｓｐｅｎｄ完了を通知する。このとき、ペア状態がＳｕｓｐｅｎｄｉｎｇ状態であってもよい。（ステップ１３０４）。
【０１３１】
複数のストレージシステム１３２各々のＬＲペア操作プログラム３０４は、ＬＲペア情報３１２のペア状態７０３と、ＬＲ管理情報３１１のペア状態６０３について、ペア操作を行ったペアについてＳｕｓｐｅｎｄ状態に書き換え、ＬＲ管理情報３１１のＳｕｓｐｅｎｄ時刻６０２について、ペア操作を行ったペアについてＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄで指定された時刻を書き込む（ステップ１３０５）。
【０１３２】
Ａｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄでは、すべてのストレージシステム１３１に対し、指定時刻より後の書き込みが発生しないと、Ｓｕｓｐｅｎｄ状態とならない。これを防ぐために、ホスト１１１の定期Ｉ／Ｏプログラム２２０３は、ストレージシステム１３１の一つに書き込みが一定時間以上発生していない場合、そのストレージシステムに対し、書き込みを発行する。また、アプリケーション２２０１が書き込みを発行することなどの別方法で、一定時間以上書き込みが起こらない事を防いでもよい。
【０１３３】
本実施形態では、第１のサイトと第２のサイトを有する情報処理システムにおいて、第一のサイトから第二のサイトに対する非同期リモートコピーを停止することなく、ある時点で第１のサイトのボリュームに格納されるデータと第２のサイトのボリュームに格納されるデータの整合性を保証することが出来る。すなわち、複数のストレージシステムを有する第１のサイトと複数のストレージシステムを有する第２のサイトにおいて、第１のサイトに障害が発生した場合、ある時刻以前の第２のサイトの複数のストレージシステム各々に格納されていたデータとある時刻以前の第１のサイトの複数のストレージシステム各々に格納されていたデータとの整合性が保証される。
【実施例２】
【０１３４】
第２の実施例では、副サイトのストレージシステムは、スナップショット機能を用いて、非同期リモートコピーのターゲットボリュームのある時点でのレプリカを作成する。スナップショット機能は、コピー元ボリュームに対するレプリカボリューム（以下、スナップショットボリュームと称する）をホストに対して、仮想的に提供する。以下、ストレージシステムがホストに対して、スナップショットボリュームを仮想的に提供することをスナップショットボリュームを作成するという。
【０１３５】
以下、第２の実施例のシステム構成および、通常動作、障害発生後の復旧方法を説明する。
【０１３６】
実施例２における情報処理システムの実施例１との違いは、ストレージシステム１３２がストレージシステム１４１１となる点である。ストレージシステム１４１１は、ストレージシステム１３２のボリューム１４３とボリューム１４４のかわりに、仮想的なボリューム１４０１と、データを格納するボリューム１４０２とを有し、その他の構成は、ストレージシステム１３２と同様である。
【０１３７】
図１８は、副サイト１０２に含まれるストレージシステム１４１１の機能構成の一例を示す図である。
【０１３８】
ストレージシステム１４１１内のメモリ１５４には、ＲＣデータ転送プログラム３０１と、ＲＣペア操作プログラム２０２と、ＲＣ格上げプログラム３０２と、スナップショット制御プログラム１８０１と、ペア情報２１１と、ＲＣデータ情報２１２と、スナップショット情報１８１１とが格納される。各々のプログラムは、ストレージシステム１４１１内のプロセッサ１５３により実行される。尚、ペア情報２１１と、ＲＣデータ情報２１２と、スナップショット情報１８１１とは、ストレージシステム１４１１内のボリューム１４２または、ボリューム１４０２に格納されてもよい。
【０１３９】
ここで、スナップショット制御プログラム１８０１と、スナップショット情報１８１１以外のプログラムの動作または情報については、実施例１と同等である。
【０１４０】
スナップショット制御プログラム１８０１は、ボリューム１４２に書き込まれたデータをスナップショット情報１８１１に基づいて、スナップショットボリュームの作成、削除等、スナップショットボリュームを制御する処理を実行するプログラムである。
【０１４１】
ストレージシステム１４１１は、ストレージシステム１３１に格納されたデータのコピーを格納するボリューム１４２と、ある時点でのスナップショットデータを仮想的に格納したスナップショットボリューム１４０１と、ボリューム１４２に新たなデータが書き込まれた場合、ある時点より前にボリューム１４２へ書き込まれたデータの退避先となるボリューム１４０２とを有する。
【０１４２】
スナップショット情報１８１１の詳細については、図２０で説明する。
【０１４３】
図１４は、本実施形態の非同期リモートコピーとスナップショット機能によって作成されるペアの一例を示す図である。
【０１４４】
ペア１６０１間では、ボリューム１４１に格納されるデータをボリューム１４２へ非同期リモートコピーする。通常時、ペア１６０１は、Ｄｕｐｌｅｘ状態となる。
【０１４５】
本実施形態では、副サイトの複数のストレージシステム１４１１各々は、ボリューム１４０２を用いて、常にスナップショットボリューム１４０１を有する状態となるよう制御する。新しいスナップショットボリュームの作成が完了したのち、古いスナップショットボリュームを削除することを繰り返すことで、複数のストレージシステム１４１１間で、ある時点で整合性のあるデータが格納される。詳細については、後述する。
【０１４６】
図２０は、スナップショット情報１８１１の一例を示す図である。
【０１４７】
スナップショット情報１８１１は、スナップショットＮｏ２００１と、スナップショットＦｌａｇ２００２とを有する。
【０１４８】
スナップショットＮｏ２００１は、作成したスナップショットボリュームを一意に識別するための番号である。スナップショットＦｌａｇ２００２は、最新のスナップショットボリュームを判断するためのものであり、正サイトの障害からの復旧時には、スナップショットＦｌａｇ２００２がオンになっているものを選択する。
【０１４９】
図１９は、通常運用時のスナップショット作成の動作の一例を示した流れ図である。
【０１５０】
まず、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１のＲＣデータ転送プログラム２０４経由で、複数のストレージシステム１４１１各々のＲＣ格上げプログラム３０２に対し、同じ時刻を指定してＡｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドを発行する（ステップ１９０１）。Ａｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドは、スナップショット機能を実行するためのコマンドである。
【０１５１】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、Ａｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドの指定時刻に従って、スナップショットボリュームを作成する。詳細は、図２３で説明する（ステップ１９０２）。
【０１５２】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、スナップショットボリュームを作成すると、スナップショット作成完了をホスト１１１に通知する（ステップ１９０３）。
【０１５３】
複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１すべてから、スナップショット作成完了の通知を受信すると、ホスト１１１のコマンド発行プログラム２２０２は、ストレージシステム１３１のＲＣデータ転送プログラム２０４経由で、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１に対し、古いスナップショットボリュームの削除コマンドを発行する。このとき、ホスト１１１は、ストレージシステム１４１１に、ステップ１９０２で作成したスナップショットボリュームのスナップショットＦｌａｇ２００２をオンにし、他方のスナップショットボリュームのＦｌａｇ２００２をオフにするよう指示する（ステップ１９０４）。
【０１５４】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、古いスナップショットボリュームを削除し、ステップ１９０１に戻る（ステップ１９０５）。ここで、古いスナップショットボリュームの削除とは、スナップショット制御プログラム１８０１が、削除コマンドで指定されたスナップショットボリュームに対応する退避ボリューム１４０２に格納されているデータを消去することと、古いスナップショットボリュームのスナップショットＮｏ２００１を消去することである。スナップショット制御プログラム１８０１は、古いスナップショットボリュームの削除を実行した後、古いスナップショットボリュームの削除をホストに通知する。古いスナップショットボリュームの削除完了の通知を受信した、ホスト１１１は、古いスナップショットボリュームへのホスト内の設定を変更する。尚、スナップショット制御プログラム１８０１が古いスナップショットボリュームの削除を実行した後、ホストが古いスナップショットにアクセスした場合、スナップショット制御プログラムがホストにエラーを返し、その後、ホスト１１１は、古いスナップショットボリュームへのホスト内の設定を変更してもよい。
【０１５５】
図２３は、スナップショット機能のＡｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔの動作の一例を示す流れ図である。
【０１５６】
まず、ホスト１１１のコマンド発行プログラム２２０２は、複数のストレージシステム１３１各々のＲＣデータ転送プログラム２０３にＡｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドを発行する（ステップ２３０１）。
【０１５７】
次に、複数のストレージシステム１３１各々のＲＣデータ転送プログラム２０４は、Ａｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドで指定された時刻より後の最初の書き込みに対し、ＲＣデータ情報２１２のＦｌａｇ５０５をオンにする。尚、RCデータ転送プログラム２０４の代わりに、ＲＣ格上げプログラム３０４がデータを受け取ったときにＦｌａｇ５０５をオンにしてもよい。（ステップ２３０２）。
【０１５８】
次に、複数のストレージシステム１３１各々のRCデータ転送プログラム２０４は、Ａｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔコマンドの指定時刻とＦｌａｇ５０５がオンになった書き込みデータをストレージシステム１４１１に転送する（ステップ２３０３）。
【０１５９】
次に、ストレージシステム１４１１のデータ転送プログラム３０３は、Ｆｌａｇ５０５がオンになった書き込みデータとＡｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔの指定時刻をストレージシステム１３１から受け取る（ステップ２３０４）。
【０１６０】
次に、ストレージシステム１４１１各々のＲＣ格上げプログラム３０２は、Ｆｌａｇ５０５がオンになった書き込みの直前のデータまでボリューム１４２に格上げを行う。（ステップ２３０５）
次に、複数のストレージシステム１４１１各々のＲＣ格上げプログラム３０２は、各々のスナップショット制御プログラム１８０１に、Ｆｌａｇ５０５がオンになった書き込みの直前のデータまで格上げが完了したことを通知する（ステップ２３０６）。
【０１６１】
次に、スナップショット制御プログラム１８０１は、スナップショットボリューム１４０１を作成する(ステップ２３０７)。
【０１６２】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、各々のＲＣ格上げプログラム３０２にスナップショット作成を通知する（ステップ２３０８）。
【０１６３】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、スナップショット情報１８１１に先ほど作成したスナップショットのＮｏを書き込む（ステップ２３０９）。尚、ステップ２３０９は、ステップ２３０８の前に行ってもよい。
【０１６４】
スナップショットボリューム作成後は、ストレージシステム１３１からストレージシステム１４１１にデータが転送される場合、ストレージシステム１３１からストレージシステム１４１１にデータが転送されるデータが格納される記憶領域に格納されているデータは、ボリューム１４０２に格納される。その後に、ストレージシステム１３１からストレージシステム１４１１に転送されるデータがボリューム１４２に格納される。ただし、この処理は、当該書き込みが、当該記憶領域に対して、最新のスナップショットボリュームが作成されてから初の、即ち、１回目の書き込みであるか否かをストレージシステム１４１１内でビットマップにより管理し、１回目の書き込みの場合のみ実行する。ビットマップは、スナップショットＮｏ２００１と、１回目の書き込みが実行される前にボリューム１４１の記憶領域に格納されていたデータが退避されている退避ボリューム１４０２内のアドレスと、このデータがスナップショットボリュームのどのアドレスに対応するデータかとを記録する。尚、１回目の書き込みであるか否かは、ビットマップで管理する以外の方法で管理してもよい。
【０１６５】
図２１は、正サイトに障害が発生した後、ホスト１１２で業務を再開するまで処理の一例を示した流れ図である。
【０１６６】
副サイトのホスト１１２は、正サイトに障害が発生したことを検知する。尚、正サイトの障害の検知は、システムの管理者がホスト１１２の代わりに行ってもよい。（ステップ２１０１）。
【０１６７】
次に、ホスト１１２のコマンド発行プログラム１６０２が、複数のストレージシステム１４１１各々のＲＣペア操作プログラム２０２に対し、非同期リモートコピーのペアを解除するコマンドを発行する（ステップ２１０２）。
【０１６８】
次に、複数のストレージシステム１４１１各々のＲＣペア操作プログラム２０２は、非同期リモートコピーのペアを解除し、ペア状態をＳｉｍｐｌｅｘ状態にする（ステップ２１０３）。
【０１６９】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、スナップショットＦｌａｇ２００２がオンになったスナップショットボリュームを選択する（ステップ２１０４）。
【０１７０】
次に、複数のストレージシステム１４１１各々のスナップショット制御プログラム１８０１は、ステップ２１０４で選択したスナップショットボリュームのデータをボリューム１４２にコピーする。すなわち、ビットマップを参照して、スナップショットＦｌａｇ２００２がオンになったスナップショットボリュームに対応する、ボリューム１４０２に格納されているデータを特定し、ボリューム１４２にコピーする。尚、本実施形態では、ボリューム１４０２をスナップショットＮＯが付加された全てのスナップショットボリュームで共有するとしたが、ボリューム１４０２を各々のスナップショットボリュームに対して、用意してもよい。この場合、選択したスナップショットボリュームに対応するボリューム１４０２に格納されたデータをボリューム１４２にコピーする（ステップ２１０５）。
【０１７１】
次に、ホスト１１２で業務を再開する（ステップ２１０６）。
【０１７２】
図２２は、副サイト１０２で業務再開した後、正サイト１０１が復旧し、ホスト１１１で業務再開するまでの処理の一例を示した流れ図である。
【０１７３】
まず、管理者が、正サイト１０１の復旧を確認する（ステップ２２０１）。
【０１７４】
次に、情報処理システムに接続される、管理端末からの管理者の指示により、ホスト１１２のコマンド発行プログラム２２０２が、複数のストレージシステム１３２各々に、非同期リモートコピーの初期化コピーコマンドを発行する(ステップ２２０２)。
【０１７５】
次に、複数のストレージシステム１４１１各々は、ストレージシステム１３１に非同期リモートコピーの初期化コピーを行う（ステップ２２０３）。
【０１７６】
次に、管理者は、管理端末から、ステップ１００３の処理の完了を確認したら、ホスト１１２の業務を停止するよう指示する（ステップ２２０４）。
【０１７７】
次に、管理端末からの管理者の指示により、複数のストレージシステム１３２各々のＲＣペア操作プログラム２０２は、ストレージシステム１４１１からストレージシステム１３１への非同期リモートコピーをストレージシステム１３１からストレージシステム１４１１への非同期リモートコピーに変更する（ステップ２２０５）。
【０１７８】
次に、ホスト１１２のコマンド発行プログラム１６０２は、複数のストレージシステム１４１１各々に、スナップショット作成を指示するコマンドを発行する（ステップ２２０６）。
【０１７９】
次に、複数のストレージシステム１４１１は、スナップショットを作成する。（ステップ２２０７）
次に、管理者は、ホスト１１１で業務を再開する（ステップ２２０８）。
【０１８０】
次に、図１９に示した、通常動作を再開する（ステップ２２０９）。
【０１８１】
本実施形態では、ボリューム１４０２には、ボリューム１４２とスナップショットボリューム１４０１のデータの差分のみが退避されるため、ローカルレプリケーション機能を用いる場合より、ボリューム量とデータ転送量の削減が可能となる。
【図面の簡単な説明】
【０１８２】
【図１】第１の実施例での情報処理システムの一例を示す図である。
【図２】正サイトに含まれるストレージシステムの機能構成の一例を示す図である。
【図３】副サイトに含まれるストレージシステムの機能構成の一例を示す図である。
【図４】ペア情報の一例を示す図である。
【図５】ＲＣデータ情報の一例を示す図である。
【図６】ＬＲ管理情報の一例を示す図である。
【図７】ＲＣペア情報の一例を示す図である。
【図８】通常運用時のＬＲ１、ＬＲ２のＬＲペアを操作する処理フローの一例を示す図である。
【図９】正サイトに障害が発生した後、副サイトで業務を復旧する処理フローの一例を示す図である。
【図１０】副サイトで業務再開した後、正サイトが復旧し、正サイトで業務を再開する処理の一例を示す流れ図である。
【図１１】ローカルレプリケーション機能のＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄを実行する処理の一例を示す流れ図である。
【図１２】障害発生時の、ＬＲボリュームの選択動作の一例を示す図である。
【図１３】ＬＲペアをＡｔ−Ｔｉｍｅ−Ｓｕｓｐｅｎｄする動作の一例を示す図である。
【図１４】第２の実施例で用いるスナップショットの動作の一例を示す図である。
【図１５】非同期リモートコピーとローカルレプリケーション機能における、ペアの一例を示す図である。
【図１６】正サイトのホストのソフトウェア構成の一例を示す図である。
【図１７】副サイトのホストのソフトウェア構成の一例を示す図である。
【図１８】副サイトに含まれるストレージシステムの機能構成の一例を示す図である。
【図１９】通常運用時のスナップショット作成の動作の一例を示した流れ図である。
【図２０】スナップショット情報の一例を示す図である。
【図２１】正サイトに障害が発生した後、副サイトで業務を復旧する処理の一例を示す図である。
【図２２】副サイトで業務再開した後、正サイトが復旧し、正サイトで業務を再開する処理の一例を示す流れ図である。
【図２３】スナップショット機能のＡｔ−Ｔｉｍｅ−Ｓｎａｐｓｈｏｔの動作の一例を示す流れ図である。
【符号の説明】
【０１８３】
１０１  サイト
１１１  ホスト
１３１  ストレージシステム
１４１  ボリューム
【図１】
2006079568.tif 000003
【図２】
2006079568.tif 000004
【図３】
2006079568.tif 000005
【図４】
2006079568.tif 000006
【図５】
2006079568.tif 000007
【図６】
2006079568.tif 000008
【図７】
2006079568.tif 000009
【図８】
2006079568.tif 000010
【図９】
2006079568.tif 000011
【図１０】
2006079568.tif 000012
【図１１】
2006079568.tif 000013
【図１２】
2006079568.tif 000014
【図１３】
2006079568.tif 000015
【図１４】
2006079568.tif 000016
【図１５】
2006079568.tif 000017
【図１６】
2006079568.tif 000018
【図１７】
2006079568.tif 000019
【図１８】
2006079568.tif 000020
【図１９】
2006079568.tif 000021
【図２０】
2006079568.tif 000022
【図２１】
2006079568.tif 000023
【図２２】
2006079568.tif 000024
【図２３】
2006079568.tif 000025