(57)【要約】【課題】  ３つ以上の記憶装置を異なる場所に設置しつつ、これらを直列的に接続した計算機システムにおいて実用的なリモートコピーを行う。【解決手段】  計算機システム１０００の通常運用状態においては、第１記憶装置２００Ｐに記憶されたデータは、仲介記憶装置２００Ｉに同期コピーによって転送され、さらに、仲介記憶装置２００Ｉに記憶されたデータは、非同期コピーによって第２記憶装置２００Ｒに転送される。一方、逆運用状態においては、第２記憶装置２００Ｒに記憶されたデータは、非同期コピーによって仲介記憶装置２００Ｉに転送され、更に、仲介記憶装置２００Ｉに記憶されたデータは、同期コピーによって第１記憶装置２００Ｐに転送される。このとき、仲介記憶装置２００が同期コピーを行っている間は、第２記憶装置は、非同期コピーを停止する。【選択図】  図１
2006113783.tif 000002
【特許請求の範囲】
【請求項１】
複数の記憶装置にデータをコピーして記憶する計算機システムであって、
所定の業務処理を実行する第１の計算機に接続され、該第１の計算機が前記業務処理を実行する際に用いるデータを記憶する第１の記憶装置と、
前記第１の計算機に代替して前記業務処理を実行する第２の計算機に接続され、該第２の計算機が前記業務処理を実行する際に用いるデータを記憶する第２の記憶装置と、
前記第１の記憶装置と前記第２の記憶装置とに接続され、転送されたデータを記憶する仲介記憶装置とを備え、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置に記憶されたデータを、同期コピーによって前記仲介記憶装置に転送して記憶させ、該仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、非同期コピーを用いて最終的に前記第１の記憶装置に転送して記憶させる
計算機システム。
【請求項２】
請求項１に記載の計算機システムであって、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、非同期コピーによって前記仲介記憶装置に転送して記憶させ、該仲介記憶装置は、該転送されたデータを更に、同期コピーによって前記第１の記憶装置に転送して記憶させることにより、最終的に前記第２の記憶装置に記憶されていたデータを前記第１の記憶装置に転送して記憶させる
計算機システム。
【請求項３】
請求項２に記載の計算機システムであって、
前記第２の記憶装置は、前記仲介記憶装置によって前記第１の記憶装置に対する前記同期コピーが実行されている間は、該第２の記憶装置から前記仲介記憶装置に対する前記非同期コピーを停止し、
前記仲介記憶装置は、前記第２の記憶装置によって該仲介記憶装置に対する前記非同期コピーが実行されている間は、該仲介記憶装置から前記第１の記憶装置に対する前記同期コピーを停止する
計算機システム。
【請求項４】
請求項１〜３のいずれかに記載の計算機システムであって、
前記仲介記憶装置の設置された地域から前記第２の記憶装置の設置された地域までの距離は、前記第１の記憶装置の設置された地域から前記仲介記憶装置の設置された地域までの距離に比較して、長距離である
計算機システム。
【請求項５】
請求項１に記載の計算機システムであって、
前記仲介記憶装置は、前記第１の記憶装置に接続された第１の仲介記憶装置と、該第１の仲介記憶装置および前記第２の記憶装置に接続された第２の仲介記憶装置とから構成されており、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置が記憶するデータを、同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第１の記憶装置に転送して記憶させる
計算機システム。
【請求項６】
請求項５に記載の計算機システムであって、
前記第１の仲介記憶装置は、前記第１の記憶装置または前記第２の仲介記憶装置から転送されたデータの宛先を判別して、該宛先が該第１の仲介記憶装置以外である場合には、該データを前記第２の仲介記憶装置または前記第１の記憶装置にスルーして出力するスイッチング装置を備える
計算機システム。
【請求項７】
請求項５または６に記載の計算機システムであって、
前記第２の仲介記憶装置は、前記第１の仲介記憶装置または前記第２の記憶装置から転送されたデータの宛先を判別して、該宛先が該第２の仲介記憶装置以外である場合には、該データを前記第２の記憶装置または前記第１の仲介記憶装置にスルーして出力するスイッチング装置を備える
計算機システム。
【請求項８】
請求項５〜７のいずれかに記載の計算機システムであって、
前記第１の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置に記憶されたデータを、非同期コピーによって前記第２の仲介記憶装置に転送して記憶させる
計算機システム。
【請求項９】
請求項１に記載の計算機システムであって、
前記仲介記憶装置は、前記第１の記憶装置に接続された第１の仲介記憶装置と、該第１の仲介記憶装置および前記第２の記憶装置に接続された第２の仲介記憶装置とから構成されており、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置に記憶されたデータを、同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを、非同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第１の記憶装置に転送して記憶させる
計算機システム。
【請求項１０】
請求項１〜９のいずれかに記載の計算機システムであって、
前記第２の計算機は、前記第１の計算機および前記第１の記憶装置の少なくとも一方が非稼働状態となった場合に、前記仲介記憶装置に記憶されており未だ前記第２の記憶装置に転送されていないデータを全て転送させて該第２の記憶装置に記憶させるフェイルオーバー部を備える
計算機システム。
【請求項１１】
請求項１０に記載の計算機システムであって、
前記第２の計算機は、前記業務処理を開始するのに先立ち、前記フェイルオーバー部による前記データの転送が正常に完了したか否かに基づき、データの喪失が発生したか否かを管理者に認識可能に提示するデータ喪失情報提示部を備える
計算機システム。
【請求項１２】
複数の記憶装置を有する計算機システムにおけるデータのコピー制御方法であって、
前記計算機システムは、
所定の業務処理を実行する第１の計算機に接続され、該第１の計算機が前記業務処理を実行する際に用いるデータを記憶する第１の記憶装置と、
前記第１の計算機に代替して前記業務処理を実行する第２の計算機に接続され、該第２の計算機が前記業務処理を実行する際に用いるデータを記憶する第２の記憶装置と、
前記第１の記憶装置と前記第２の記憶装置とに接続され、転送されたデータを記憶する仲介記憶装置とを備えており、
前記コピー制御方法は、
前記第１の計算機が前記業務処理を実行する場合に、
前記第１の記憶装置が、該第１の記憶装置に記憶されたデータを、同期コピーによって前記仲介記憶装置に転送して記憶させるステップと、
前記仲介記憶装置が、前記転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送して記憶させるステップと、
前記第２の計算機が前記業務処理を実行する場合に、
前記第２の記憶装置が、該第２の記憶装置が記憶するデータを、非同期コピーを用いて最終的に前記第１の記憶装置に転送して記憶させるステップと
を備えるコピー制御方法。
【請求項１３】
複数の記憶装置を有する計算機システムにおいてデータのコピー制御を行うためのコンピュータプログラムであって、
前記計算機システムは、
所定の業務処理を実行する第１の計算機に接続され、該第１の計算機が前記業務処理を実行する際に用いるデータを記憶する第１の記憶装置と、
前記第１の計算機に代替して前記業務処理を実行する第２の計算機に接続され、該第２の計算機が前記業務処理を実行する際に用いるデータを記憶する第２の記憶装置と、
前記第１の記憶装置と前記第２の記憶装置とに接続され、転送されたデータを記憶する仲介記憶装置とを備えており、
前記コンピュータプログラムは、
前記第１の計算機が前記業務処理を実行する場合に、
前記第１の記憶装置に対して、該第１の記憶装置に記憶されたデータを、同期コピーによって前記仲介記憶装置に転送させて記憶させる機能と、
前記仲介記憶装置に対して、前記転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送させて記憶させる機能と、
前記第２の計算機が前記業務処理を実行する場合に、
前記第２の記憶装置に対して、該第２の記憶装置が記憶するデータを、非同期コピーを用いて最終的に前記第１の記憶装置に転送させて記憶させる機能と
をコンピュータに実現させるためのコンピュータプログラム。
【請求項１４】
請求項１３に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の記憶装置を有する計算機システムにおいて、各記憶装置間でデータをリモートコピーする技術に関する。
【背景技術】
【０００２】
金融機関における入出金処理などの重要な業務処理を実行する計算機システムでは、障害発生時にも業務を継続して実行するため、耐障害性や可用性の向上が強く求められている。耐障害性や可用性を向上させるためには、現在では、リモートコピーと呼ばれる技術が多く利用されている。リモートコピーとは、例えば、別の都市などの異なる場所に設置された複数の記憶装置間でデータのコピーを行う技術である。このリモートコピーによれば、自然災害などによってコピー元の記憶装置に障害が発生しても、コピー先の記憶装置を用いることで、継続して業務処理を遂行することが可能になる。
【０００３】
リモートコピーの形態としては、大きく分けて同期コピーと非同期コピーとが存在する。同期コピーとは、ホストコンピュータからデータの更新指示があった場合に、コピー元の記憶装置のデータの更新が終了し、かつ、コピー先の記憶装置のデータの更新が終了して、はじめてホストコンピュータに更新処理の完了が報告されるコピー形態をいう。すなわち、同期コピーでは、通信経路中をデータが伝送している時間やコピー先の記憶装置にデータが書き込まれているわずかな時間を除けば、データの更新処理完了の時点で両者のデータが必ず同一の状態になっていることになる。この同期コピーは、コピー先の記憶装置の応答時間をなるべく短縮する必要があるため、１００Ｋｍ程度までの近接した地域内に設けられた２つの記憶装置間で行われることが好ましい。
【０００４】
これに対して非同期コピーとは、ホストコンピュータから記憶装置にデータの更新指示があった場合に、コピー先の記憶装置のデータの更新が終了したか否かにかかわらずコピー元の記憶装置におけるデータの更新が終了した時点で、ホストコンピュータに更新処理の完了が報告されるコピー形態を言う。即ち、コピー元の記憶装置では、ホストコンピュータから受信したデータをコピー先の記憶装置に送信する前に、ホストコンピュータに更新処理の完了を報告することができる。この結果、コピー先の記憶装置には、コピー元の記憶装置による任意のタイミングで順次、更新されたデータが転送されることになる。つまり、非同期コピーでは、任意の時点におけるコピー元とコピー先の記憶装置に記憶されたデータの同一性は保証されないが、ホストコンピュータは、データの更新処理から早く開放されるという利点がある。そのため、非同期コピーは、２つの記憶装置間の距離に特に制限されることなく利用することができる。
【０００５】
このようなリモートコピー技術に関して、例えば、特許文献１には、第１の記憶サブシステムから近隣の地に設けられた第２の記憶サブシステムには同期コピーを行い、第１の記憶サブシステムから遠隔の地に設けられた第３の記憶サブシステムに対しては、非同期コピーを行う旨の技術が開示されている。また、特許文献２には、２つのデータセンター間において、非同期コピーによってデータをコピーする技術が開示されている。
【０００６】
【特許文献１】特開２００３−１２２５０９号公報
【特許文献２】特開２０００−３０５８５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来、３つ以上の記憶装置を異なる場所に設置しつつ、これらを直列的に接続した計算機システムにおいてリモートコピーを行う技術については十分検討されているとはいえなかった。そこで、本発明は、このような構成の計算機システムにおいて、通常運用時や障害発生時などに実用的なリモートコピーを行うことを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を踏まえ、本発明の計算機システムは、複数の記憶装置にデータをコピーして記憶する計算機システムであって、
所定の業務処理を実行する第１の計算機に接続され、該第１の計算機が前記業務処理を実行する際に用いるデータを記憶する第１の記憶装置と、
前記第１の計算機に代替して前記業務処理を実行する第２の計算機に接続され、該第２の計算機が前記業務処理を実行する際に用いるデータを記憶する第２の記憶装置と、
前記第１の記憶装置と前記第２の記憶装置とに接続され、転送されたデータを記憶する仲介記憶装置とを備え、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置に記憶されたデータを、同期コピーによって前記仲介記憶装置に転送して記憶させ、該仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、非同期コピーを用いて最終的に前記第１の記憶装置に転送して記憶させることを要旨とする。
【０００９】
本発明の計算機システムでは、第１の計算機を用いて業務処理を行う場合には、第１の記憶装置から仲介記憶装置へデータを同期コピーし、更に、この仲介記憶装置から第２の記憶装置に対して非同期コピーによってデータを転送する。そのため、第１の記憶装置から仲介記憶装置までの設置距離に比べて、仲介記憶装置から第２の記憶装置までの設置距離を長距離とすることができる。このような構成であれば、例えば、比較的大規模な自然災害等によって第１の記憶装置と仲介記憶装置との両者に障害が発生した場合であっても、第２の記憶装置に既に転送されているデータを用いることによって業務処理を迅速に再開することができる。
【００１０】
また、本発明の計算機システムでは、第２の計算機と第２の記憶装置とを用いて業務処理を再開した後に、第１の記憶装置が復旧したような場合においては、第２の記憶装置から第１の記憶装置に対して非同期コピーによってデータが転送される。従って、第２の計算機や第２の記憶装置に障害が発生した場合であっても、こうして第１の記憶装置に転送されたデータを用いることによって第１の計算機により業務処理を迅速に再開することができる。
【００１１】
上記構成の計算機システムにおいて、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、非同期コピーによって前記仲介記憶装置に転送して記憶させ、該仲介記憶装置は、該転送されたデータを更に、同期コピーによって前記第１の記憶装置に転送して記憶させることにより、最終的に前記第２の記憶装置に記憶されていたデータを前記第１の記憶装置に転送して記憶させるものとしてもよい。
【００１２】
このような構成であれば、第２の記憶装置と第１の記憶装置とを直接接続する通信回線を別途設けることなく、仲介記憶装置を介して第２の記憶装置から第１の記憶装置にデータを転送することができる。そのため、システム構築のためのコストを削減することができる。
【００１３】
上記構成の計算機システムにおいて、
前記第２の記憶装置は、前記仲介記憶装置によって前記第１の記憶装置に対する前記同期コピーが実行されている間は、該第２の記憶装置から前記仲介記憶装置に対する前記非同期コピーを停止し、
前記仲介記憶装置は、前記第２の記憶装置によって該仲介記憶装置に対する前記非同期コピーが実行されている間は、該仲介記憶装置から前記第１の記憶装置に対する前記同期コピーを停止するものとしてもよい。
【００１４】
このような構成であれば、仲介記憶装置から第１の記憶装置に対する同期コピーが完了する前に、第２の記憶装置から仲介記憶装置にデータが転送されることがないため、仲介記憶装置と第１の記憶装置との間でデータの不整合が起こることを抑制することができる。
【００１５】
本発明の計算機システムにおいて、
前記仲介記憶装置は、前記第１の記憶装置に接続された第１の仲介記憶装置と、該第１の仲介記憶装置および前記第２の記憶装置に接続された第２の仲介記憶装置とから構成されており、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置が記憶するデータを、同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを更に、非同期コピーによって前記第１の記憶装置に転送して記憶させるものとしてもよい。
【００１６】
このような構成であれば、第１の計算機を用いて業務処理を行う場合と同様に、第２の計算機を用いて業務処理を実行する場合にも、同期コピーによってデータを第２の仲介記憶装置にバックアップすることができる。そのため、第２の記憶装置に障害が発生した場合であっても、最新のデータが第２の仲介記憶装置に記憶されているため、この最新のデータを用いて迅速に業務処理を再開することが可能になる。
【００１７】
上記構成の計算機システムにおいて、
前記第１の仲介記憶装置は、前記第１の記憶装置または前記第２の仲介記憶装置から転送されたデータの宛先を判別して、該宛先が該第１の仲介記憶装置以外である場合には、該データを前記第２の仲介記憶装置または前記第１の記憶装置にスルーして出力するスイッチング装置を備えるものとしてもよい。
【００１８】
また、前記第２の仲介記憶装置は、前記第１の仲介記憶装置または前記第２の記憶装置から転送されたデータの宛先を判別して、該宛先が該第２の仲介記憶装置以外である場合には、該データを前記第２の記憶装置または前記第１の仲介記憶装置にスルーして出力するスイッチング装置を備えるものとしてもよい。
【００１９】
このような構成であれば、第１の仲介記憶装置や第２の仲介記憶装置は、自身でデータの宛先を判別する必要がないため、処理負担の軽減を図ることができる。
【００２０】
上記計算機システムにおいて、
前記第１の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置に記憶されたデータを、非同期コピーによって前記第２の仲介記憶装置に転送して記憶させるものとしてもよい。
【００２１】
このような構成であれば、第１の計算機によって業務処理を実行する場合であっても、第２の仲介記憶装置を利用してデータを保存することができるため、システムの信頼性を向上させることができる。また、この第２の仲介記憶装置に記憶されたデータを用いることで、第１の記憶装置の障害が復旧した場合に、迅速にデータを第１の記憶装置に転送させることができる。
【００２２】
本発明の計算機システムにおいて、
前記仲介記憶装置は、前記第１の記憶装置に接続された第１の仲介記憶装置と、該第１の仲介記憶装置および前記第２の記憶装置に接続された第２の仲介記憶装置とから構成されており、
前記第１の計算機が前記業務処理を実行する場合には、前記第１の記憶装置は、該第１の記憶装置に記憶されたデータを、同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを、非同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第２の記憶装置に転送して記憶させ、
前記第２の計算機が前記業務処理を実行する場合には、前記第２の記憶装置は、該第２の記憶装置が記憶するデータを、同期コピーによって前記第２の仲介記憶装置に転送して記憶させ、該第２の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第１の仲介記憶装置に転送して記憶させ、該第１の仲介記憶装置は、該転送されたデータを非同期コピーによって前記第１の記憶装置に転送して記憶させるものとしてもよい。
【００２３】
このような構成であれば、第１の計算機が業務処理を実行する場合であっても、第２の計算機が業務処理を実行する場合であっても、データの転送方向を反転させるだけで、同一のコピー形態によってシステムの運用を図ることができる。そのため、コピー制御を行うための処理を簡略化することができる。
【００２４】
上述した種々の態様の計算機システムにおいて、
前記第２の計算機は、前記第１の計算機および前記第１の記憶装置の少なくとも一方が非稼働状態となった場合に、前記仲介記憶装置に記憶されており未だ前記第２の記憶装置に転送されていないデータを全て転送させて該第２の記憶装置に記憶させるフェイルオーバー部を備えるものとしてもよい。
【００２５】
このような構成によれば、第１の計算機や第１の記憶装置に障害が発生した時点での最新のデータを第２の記憶装置に転送することができるため、第２の計算機を用いて迅速に業務処理を再開させることができる。
【００２６】
上記構成の計算機システムにおいて、
前記第２の計算機は、前記業務処理を開始するのに先立ち、前記フェイルオーバー部による前記データの転送が正常に完了したか否かに基づき、データの喪失が発生したか否かを管理者に認識可能に提示するデータ喪失情報提示部を備えるものとしてもよい。
【００２７】
このような構成であれば、管理者は、第２の計算機を用いて業務処理を再開するか否かを、データの喪失が発生したか否かに応じて判断することができる。データ喪失情報提示部は、例えば、データの喪失が発生したか否かを表示装置に表示させてもよいし、音声によって通知するものとしてもよい。また、印刷装置に対して出力するものとしてもよい。
【００２８】
本発明は、上述した種々の計算機システムとしての構成以外にも、例えば、複数の記憶装置を有する計算機システムにおけるデータのコピー制御方法や、複数の記憶装置を有する計算機システムにおいてデータのコピー制御を行うためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の種々の態様で実現することが可能である。
【発明を実施するための最良の形態】
【００２９】
以上で説明した本発明の作用・効果を一層明らかにするため、本発明の実施の形態を実施例に基づき次の順序で説明する。
Ａ．第１実施例：
（Ａ１）計算機システムの構成：
（Ａ２）初期ペア形成処理：
（Ａ３）フェイルオーバー処理：
（Ａ４）逆運用ペア形成処理：
（Ａ５）逆運用コピー制御処理：
（Ａ６）フェイルバック処理：
Ｂ．第２実施例：
Ｃ．第３実施例：
Ｄ．第４実施例：
【００３０】
Ａ．第１実施例：
（Ａ１）計算機システムの構成：
図１は、第１実施例としての計算機システム１０００の概略構成を示す説明図である。計算機システム１０００は、所定の業務アプリケーションを実行する第１ホストコンピュータ１００Ｐと、この第１ホストコンピュータ１００Ｐに障害が発生した場合などに第１ホストコンピュータ１００Ｐに代替して業務アプリケーションを実行する第２ホストコンピュータ１００Ｒと、第１ホストコンピュータ１００Ｐが業務アプリケーションを実行するにあたって用いるデータを記憶する第１記憶装置２００Ｐと、第２ホストコンピュータ１００Ｒが業務アプリケーションを実行するにあたって用いるデータを記憶する第２記憶装置２００Ｒと、第１記憶装置２００Ｐと第２記憶装置２００Ｒとの両者に接続された仲介記憶装置２００Ｉとから構成されている。このように、本実施例では、第１記憶装置２００Ｐと、仲介記憶装置２００Ｉと、第２記憶装置２００Ｒとの３つの記憶装置が直列的に接続された構成となっている。
【００３１】
第１ホストコンピュータ１００Ｐと第１記憶装置２００Ｐとは、業務処理の本拠となるプロダクションサイトに設置されており、仲介記憶装置２００Ｉは、プロダクションサイトから概ね１００ｋｍ程度離れた近隣地の仲介サイトに設置されている。本実施例では、第１記憶装置２００Ｐと仲介記憶装置２００Ｉとの間では、近隣地に対するデータの転送に適した同期コピーによってリモートコピーを行う。一方、第２ホストコンピュータ１００Ｒと第２記憶装置２００Ｒとは、仲介サイトから概ね１０００ｋｍ程度離れた遠隔地のリモートサイトに設置されている。本実施例では、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間では、遠隔地に対するデータの転送に適した非同期コピーによってリモートコピーを行う。
【００３２】
以下の説明では、図中の第１記憶装置２００Ｐから仲介記憶装置２００Ｉに対する方向および仲介記憶装置２００Ｉから第２記憶装置２００Ｒに対する方向を「順方向」という。これに対して、第２記憶装置２００Ｒから仲介記憶装置２００Ｉ、および仲介記憶装置２００Ｉから第１記憶装置２００Ｐに対する方向を「逆方向」という。また、各記憶装置間でリモートコピーを行う際のコピー元とコピー先の組み合わせをコピーペアあるいは単にペアと呼ぶ。また、ペア間で同期コピーを行うペアを同期コピーペアと呼び、非同期コピーを行うペアを非同期コピーペアと呼ぶ。
【００３３】
図２は、計算機システム１０００の詳細な構成を示す説明図である。第１ホストコンピュータ１００Ｐと第１記憶装置２００Ｐとは、所定の信号線Ｓ３によって接続され、第２ホストコンピュータ１００Ｒと第２記憶装置２００Ｒとは、所定の信号線Ｓ４によって接続されている。また、第１記憶装置２００Ｐと仲介記憶装置２００Ｉと第２記憶装置２００Ｒとは、ＩＰネットワークやファイバチャネルなどの通信回線Ｓ１，Ｓ２によってそれぞれ接続されている。
【００３４】
第１ホストコンピュータ１００Ｐと第２ホストコンピュータ１００Ｒとは、ＣＰＵ１１０やメモリ１２０、ＣＲＴなどの表示装置１３０、キーボードなどの入力装置１４０等を備えた汎用的なコンピュータである。第１ホストコンピュータ１００Ｐと第２ホストコンピュータ１００Ｒとは、ハートビート通信を行うための通信回線（例えば、インターネット）によって相互に接続されている。両ホストコンピュータは、正常な処理を継続している間、このハートビート通信として所定の信号を定期的に相互に送受信している。そして、第１および第２ホストコンピュータは、相手側からの信号が途切れた場合に、その相手側のホストコンピュータやそのホストコンピュータに直接接続された記憶装置に障害が発生した可能性があると判断する。係る場合には、システム管理者が直接プロダクションサイトの様子を確認して、災害によりシステムに障害が生じていないかをチェックする。また、第１ホストコンピュータ１００Ｐが業務処理サービスを提供しているクライアントコンピュータ（図示せず）と同じネットワーク内に監視用ホストコンピュータ（図示せず）を設置しておき、この監視用ホストコンピュータと第１ホストコンピュータ１００Ｐとの間でハートビート通信を行って、このハートビート通信が一定時間途絶えた場合に、プロダクションサイトに障害が生じているものと判断してもよい。
【００３５】
第１ホストコンピュータ１００ＰのＣＰＵ１１０Ｐは、メモリ１２０Ｐ内に格納された業務アプリケーションとコピー制御プログラムとを実行する。業務アプリケーションは、第１記憶装置２００Ｐに記憶されたデータを用いて入出金処理などの種々の業務処理を行うためのプログラムである。一方、コピー制御プログラムは、各記憶装置間で行われるリモートコピーの形態を管理するためのプログラムであり、後述する（１）初期ペア形成処理や、（２）フェイルオーバー処理、（３）逆運用ペア形成処理、（４）逆運用コピー制御処理、（５）フェイルバック処理などを行うためのプログラムである。なお、第２ホストコンピュータ１００Ｒのメモリ１２０Ｒにも、これらのプログラムと同一のプログラムが格納されており、第２ホストコンピュータ１００Ｒは第１ホストコンピュータ１００Ｐと同様の処理を実行することができる。
【００３６】
第１記憶装置２００Ｐと仲介記憶装置２００Ｉと第２記憶装置２００Ｒとは、同様のハードウェア構成であるため、ここでは代表して第１記憶装置２００Ｐの構成について説明する。第１記憶装置２００Ｐは、ホストコンピュータや他の記憶装置との間でデータの送受信を行うための複数のインタフェース（Ｉ／Ｆ）や、これらの装置から転送されたデータを記憶するための複数の磁気ディスク装置２３０Ｐを備えている。また、この複数の磁気ディスク装置２３０Ｐに対するデータの読み書きを制御するためのＣＰＵ２１０Ｐやメモリ２２０Ｐを備えている。なお、複数の磁気ディスク装置２３０Ｐ上に、複数の論理ボリューム（以下、論理ボリュームを「ＬＶＯＬ」と記載する場合がある）が構成されていてもよい。
【００３７】
磁気ディスク装置２３０Ｐ内の記憶領域には、データを記憶するためのデータボリューム２３１Ｐと、データボリューム２３１Ｐの更新の履歴を表すログ情報を記憶するためのジャーナルボリューム２３２Ｐとが確保されている。これらのボリュームは論理ボリュームであり、１台の磁気ディスク装置内に確保されているものとしてもよいし、複数台の磁気ディスク装置にわたって確保されているものとしてもよい。ログ情報には、ホストコンピュータから受信する更新データ（ライトデータ）とともに、その更新日時を表すタイムスタンプや更新の順序を表すシーケンス番号などが含まれている。非同期コピーでは、このログ情報がコピー元の記憶装置からコピー先の記憶装置に転送されることで、コピー先の記憶装置のデータが更新される。なお、非同期コピーでは、転送先と転送元との間の通信経路が長くかつ複数存在する場合があり、通信経路ごとに通信遅延量が異なる場合があるため、更新データがその更新順にコピー先の記憶装置に届くとは限らない。しかし、ログ情報には更新の順序を表すシーケンス番号が含まれているため、コピー先の記憶装置は、このシーケンス番号順にデータを更新することで、コピー元のデータと整合性を保ちつつ、自身のデータを更新することができる。なお、本実施例では、第１記憶装置のジャーナルボリューム２３２Ｐは必須ではなく、省略するものとしてもよい。
【００３８】
第１記憶装置２００Ｐのメモリ２２０Ｐには、第１記憶装置２００Ｐがどのような形態でリモートコピーを行うかを示す定義情報が第１ホストコンピュータ１００Ｐや第２ホストコンピュータ１００Ｒによって設定されて記憶される。この定義情報には、例えば、コピーペアを形成するコピー元ＬＶＯＬの識別番号や、コピー先の記憶装置の識別名およびコピー先ＬＶＯＬの識別番号、ペア間のコピー方向、ペア間のリモートコピーを同期コピーによって行うか非同期コピーによって行うかを表すコピー種別などが定義される。ＣＰＵ２１０Ｐは、かかる定義情報に基づき、磁気ディスク装置２３０Ｐに記憶されたデータのリモートコピーを行う。また、この定義情報には、ホストコンピュータによって設定される情報以外にも、ＣＰＵ２１０Ｐによって、コピーペアの状態（ペア状態）を表すステータス情報が記録される。
【００３９】
図３は、同期コピーペアが採り得るペア状態とその遷移契機を示す説明図である。以下、図示する各ペア状態について詳細に説明する。
【００４０】
（Ｓｉｍｐｌｅｘ状態）
「Ｓｉｍｐｌｅｘ状態」は、コピーペアは形成されているが、コピー元ＬＶＯＬとコピー先ＬＶＯＬ間でコピーが開始されていない状態である。
【００４１】
（正常ペア状態）
「正常ペア状態」は、同期リモートコピーが開始され、後述する初期化コピーも完了してコピーペアを構成するコピー元ＬＶＯＬとコピー先ＬＶＯＬとのデータ内容が同一となった状態である。同期リモートコピーの場合、コピー元ＬＶＯＬに対して行われた書き込みの内容がコピー先ＬＶＯＬに対してコピーされた後に、書き込みを行ったホストコンピュータに対して正常完了のメッセージが返信される。従って、書き込み途中の領域を除けば、コピー元ＬＶＯＬのデータとコピー先ＬＶＯＬのデータとは一致することになる。
【００４２】
（初期ペア形成中）
「初期ペア形成中」は、Ｓｉｍｐｌｅｘ状態から正常ペア状態へ遷移するまでの中間状態であり、この期間中に、必要ならばコピー元ＬＶＯＬからコピー先ＬＶＯＬへの初期化コピーが行われる。初期化コピーとは、コピー元ＬＶＯＬに既に格納されていたデータをコピー先ＬＶＯＬへコピーすることである。初期化コピーが完了し、正常ペア状態へ遷移するために必要な処理が完了したら、ペア状態は正常ペア状態となる。
【００４３】
（サスペンド状態）
「サスペンド状態」は、コピー元ＬＶＯＬに対する書き込みの内容をコピー先ＬＶＯＬに反映させない状態である。つまり、この状態では、コピーペアを構成しているコピー元ＬＶＯＬとコピー先ＬＶＯＬのデータは相違していることになる。他のペア状態を採るコピーペアは、オペレータやホストコンピュータからの指示を契機に、このサスペンド状態に遷移する。コピー元の記憶装置は、サスペンド状態となった以降にホストコンピュータからライトデータを受信すると、コピー先ＬＶＯＬに、このライトデータを送信することなく自身のキャッシュメモリにライトデータを格納した時点で、ホストコンピュータに対して完了報告を送信する。また、コピー元の記憶装置は、このサスペンド状態においてホストコンピュータからライトデータを受信すると、コピー元ＬＶＯＬにおけるその書き込み位置を差分ビットマップ等として記憶しておく。
【００４４】
（異常サスペンド状態）
「異常サスペンド状態」は、コピー元ＬＶＯＬとコピー先ＬＶＯＬ間の通信回線の障害や、磁気ディスク装置、ＣＰＵ、メモリ等に障害が発生した場合等に自動的にサスペンド状態に遷移した状態である。
【００４５】
（再同期中）
「再同期中」は、サスペンド状態または異常サスペンド状態から正常ペア状態に遷移するまでの中間状態である。この状態では、コピー元ＬＶＯＬとコピー先ＬＶＯＬのデータの内容を一致させるために、コピー元ＬＶＯＬからコピー先ＬＶＯＬへのデータのコピーが実行される。かかるコピーが完了し、コピー元ＬＶＯＬとコピー先ＬＶＯＬのデータが同一になった後には、ペア状態は、正常ペア状態となる。なお、この再同期中におけるコピーは、サスペンド状態においてコピー元の記憶装置が記憶したデータの書き込み位置（例えば、上述した差分ビットマップ）を利用して、更新が必要な部分（すなわち、コピー元ＬＶＯＬとコピー先ＬＶＯＬとのデータの不一致部分）だけをコピーする差分コピーによって実行される。
【００４６】
図４は、非同期コピーペアが採り得るペア状態とその遷移契機を示す説明図である。非同期コピーペアにおいても、上述した、「Ｓｉｍｐｌｅｘ状態」、「初期ペア形成中」、「サスペンド状態」、「異常サスペンド状態」「再同期中」については同様である。そのため、以下、相違点のみについて説明する。
【００４７】
（正常ペア状態）
「正常ペア状態」も基本的には同期コピーペアの場合と同じであるが、コピー先ＬＶＯＬへの書き込みデータのコピーが非同期に行われるため、コピー先ＬＶＯＬは、コピー元ＬＶＯＬより少し遅れながらデータ内容が更新されることになる。
【００４８】
（サスペンディング状態）
「サスペンディング状態」とは、正常ペア状態からサスペンド状態（異常サスペンド状態を含む）へ遷移するまでの中間状態である。すなわち、非同期リモートコピーの場合は、サスペンディング状態を経由してサスペンド状態へ遷移することになる。なお、コピー元の記憶装置は、同期リモートコピーの場合と同様、サスペンディング状態となった以降に受信した書き込みデータについて、このデータが書き込まれる位置を記録するが、非同期リモートコピーの場合には、更に、サスペンディング状態となる前にコピー元の記憶装置が受信したデータであって、サスペンディング状態となる前にコピー先の記憶装置にコピーできなかった書き込みデータに関するログも記録しておく。
【００４９】
（Ａ２）初期ペア形成処理：
次に、以上のように構成された計算機システム１０００において実行される種々の処理について説明する。まず、計算機システム１０００を通常運用状態に遷移させるために第１ホストコンピュータ１００Ｐによって実行される初期ペア形成処理について説明する。この初期ペア形成処理は、第１ホストコンピュータ１００Ｐに対する管理者の所定の操作を契機として実行される。
【００５０】
図５は、初期ペア形成処理のフローチャートである。図中、太線で表した記憶装置は、制御対象の記憶装置であることを示す。また、破線で囲まれた記憶装置の組は、同期コピーペアであることを示し、一点鎖線で囲まれた記憶装置の組は、非同期コピーペアであることを示す。また、矢印の方向はコピー方向を示しており、ハッチングを施した矢印は、その両端に位置するコピーペアが「正常ペア状態」か「初期ペア形成中」あるいは、「再同期中」の状態であることを示す。また、ハッチングを施していない矢印は、その両端に位置するペアが、「サスペンド状態」であることを示す。なお、図中には、各コピーペアが採るペア状態の遷移状態も併せて示している。
【００５１】
まず、第１ホストコンピュータ１００Ｐは、第１記憶装置２００Ｐに指示を与えて、第１記憶装置２００Ｐから仲介記憶装置２００Ｉに対して順方向の同期コピーを行う同期コピーペアを形成させる（ステップＳ１００）。第１記憶装置２００Ｐは、かかる指示に基づき、メモリ２２０Ｐ内の定義情報に対して、コピー元ＬＶＯＬ、コピー先記憶装置、コピー先ＬＶＯＬを設定する。そして、この定義情報に従い、データボリューム２３１Ｐ内のデータを形成コピーにより仲介記憶装置２００Ｉに転送する。そして、仲介記憶装置２００Ｉは、転送されたデータを自身のデータボリューム２３１Ｉに記憶する。形成コピーが開始されると、同期コピーペアのペア状態は「初期ペア形成中」となり、形成コピーが完了すると、この同期コピーペアのペア状態は「正常ペア状態」に遷移する。なお、「形成コピー」とは、初期化コピーや差分コピー、コピー元に格納されているデータを全てコピー先にコピーするフルコピー等の総称である。
【００５２】
次に、第１ホストコンピュータ１００Ｐは、例えば、第１記憶装置２００Ｐを介して仲介記憶装置２００Ｉに指示を与えることにより、仲介記憶装置２００Ｉから第２記憶装置２００Ｒに対して順方向の非同期コピーを行う非同期コピーペアを形成させる（ステップＳ１１０）。仲介記憶装置２００Ｉは、かかる指示に基づき、メモリ２２０Ｉ内の定義情報に対して、コピー元ＬＶＯＬ、コピー先記憶装置、コピー先ＬＶＯＬを設定する。そして、この定義情報に従い、データボリューム２３２Ｉに格納されているデータを、形成コピーにより第２記憶装置２００Ｒに転送する。第２記憶装置２００Ｒは仲介記憶装置２００Ｉから受信したデータをデータボリューム２３１Ｒに格納する。形成コピーが開始されると、非同期コピーペアのペア状態は「初期ペア形成中」となり、形成コピーが完了すると、このペア状態は「正常ペア状態」に遷移する。
【００５３】
以上で説明した初期ペア形成処理が終了した後に、第１ホストコンピュータ１００Ｐが業務アプリケーションを実行すると、この業務アプリケーションによって更新された第１記憶装置２００Ｐ内のデータは、自動的に仲介記憶装置２００Ｉに同期コピーされ、更に、その更新内容が順次、第２記憶装置２００Ｒに非同期コピーされることになる。そのため、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生したとしても、仲介記憶装置２００Ｉや第２記憶装置２００Ｒにデータがバックアップされていることになるため、これらのデータを用いることにより、迅速に業務処理を再開させることができる。
【００５４】
なお、上述した初期ペア形成処理が終了すると、第１記憶装置２００Ｐと仲介記憶装置２００Ｉ間の同期コピーペア、仲介記憶装置２００Ｉと第２記憶装置２００Ｒ間の非同期コピーペアは、共に、正常ペア状態となる。非同期コピーペア間では、正常ペア状態においては、ジャーナルボリュームを用いて非同期リモートコピーが実行される。具体的には、仲介記憶装置２００Ｉは、同期リモートコピーによって第１記憶装置２００Ｐから受信したデータをデータボリューム２３１Ｉに格納すると共に、ログ情報を作成してこれをジャーナルボリューム２３２Ｉに記録する。そして、仲介記憶装置２００Ｉは、ジャーナルボリューム２３２Ｉに記録されたログ情報を、非同期リモートコピーによって第２記憶装置２００Ｒに転送する。第２記憶装置２００Ｒは、かかるログ情報を受信すると、このログ情報に基づき、自身のデータボリューム２３１Ｒを更新すると共に、その更新内容をログ情報としてジャーナルボリューム２３２Ｒに記録する。
【００５５】
（Ａ３）フェイルオーバー処理：
次に、第１ホストコンピュータ１００Ｐに障害が発生した場合に第２ホストコンピュータ１００Ｒが実行するフェイルオーバー処理について説明する。このフェイルオーバー処理は、第２ホストコンピュータ１００Ｒが第１ホストコンピュータ１００Ｐに代替して業務アプリケーションを実行するのに先立ち、第２記憶装置２００Ｒに記憶されたデータを、障害が発生した時点での最新のデータに更新するための処理である。
【００５６】
図６は、フェイルオーバー処理のフローチャートである。まず、第２ホストコンピュータ１００Ｒは、ハートビート通信によって第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生したことを検出すると（ステップＳ２００：Ｙｅｓ）、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間に形成された非同期コピーペアのステータス情報を第２記憶装置２００Ｒに対して問い合わせる（ステップＳ２１０）。その結果、この非同期コピーペアのペア状態が「異常サスペンド」であれば、仲介記憶装置２００Ｉにも障害が発生している可能性があり、もはや仲介記憶装置２００Ｉから第２記憶装置２００Ｒに対して、最新のデータを転送することができない。そのため、第２記憶装置２００Ｒに記憶されているデータは最新のデータではない旨、すなわち、データの喪失（データロス）が発生している旨を第２ホストコンピュータ１００Ｒの表示装置１３０Ｒに表示し（ステップＳ２２０）、フェイルオーバー処理を終了する。なお、ここでは、表示装置１３０Ｒに対してデータロスが発生した旨を表示するものとしたが、音声によって管理者に通知するものとしてもよいし、印刷装置にプリントアウトするものとしてもよい。
【００５７】
上記ステップＳ２１０において、非同期コピーペアの状態が「正常ペア状態」であれば、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに対して、仲介記憶装置２００Ｉのジャーナルボリューム２３２Ｉに記録されている全てのログ情報を取得させ、データの更新を行わせる（ステップＳ２３０）。第２ホストコンピュータ１００Ｒからのかかる指示に基づき、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとは、データボリューム２３１Ｉとデータボリューム２３１Ｒ間の非同期コピーペアのペア状態を「サスペンディング状態」とし、仲介記憶装置２００Ｉのジャーナルボリューム２３２Ｉに記録されているログ情報を、仲介記憶装置２００Ｉから第２記憶装置２００Ｒへ送信する。第２記憶装置２００Ｒは、受信したログ情報に基づき正常にデータの更新ができた場合には、非同期コピーペアのペア状態を「サスペンド」とし、ステータス情報としてメモリ２２０Ｒに記録する。一方、データの更新が正常に行えなかった場合には、この非同期コピーペアのペア状態を「異常サスペンド」とする。
【００５８】
次に、第２ホストコンピュータ１００Ｒは、再度、第２記憶装置２００Ｒに対して非同期コピーペアのステータス情報を問い合わせる（ステップＳ２４０）。その結果、ステータス情報が「異常サスペンド」であれば、ログ情報に基づいて第２記憶装置２００Ｒの更新が正常に完了しなかったと判断することができるため、上記ステップＳ２２０へ処理を移行し、データロスが発生した旨を表示装置１３０Ｒに表示し（ステップＳ２２０）、フェイルオーバー処理を終了する。
【００５９】
上記ステップＳ２４０による問い合わせの結果、ステータス情報が「サスペンド」であれば、第２記憶装置２００Ｒのデータが正常に更新されたと判断することできるため、第２ホストコンピュータ１００Ｒは、データの喪失が発生していない旨、すなわち、ノーデータロスであることを表示装置１３０Ｒに表示する（ステップＳ２５０）。
【００６０】
ノーデータロスであることを表示した後、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに指示を与え、非同期コピーペアのコピー方向を順方向から逆方向へ反転させる（ステップＳ２６０）。そして、第２記憶装置２００Ｒのデータボリューム２３１Ｒと仲介記憶装置２００Ｉのデータボリューム２３１Ｉとの間の非同期コピーペアを形成コピーにより再同期させて（ステップＳ２７０）、フェイルオーバー処理を終了する。ステップＳ２７０における形成コピーの実行中には、非同期コピーペアのペア状態は、「再同期中」となり、形成コピーの終了時には「正常ペア状態」に遷移する。
【００６１】
上記ステップＳ２７０における形成コピーが完了すると、以降、第１ホストコンピュータ１００Ｐから第２ホストコンピュータ１００Ｒに業務が引き継がれ、第２ホストコンピュータ１００Ｒで再開された業務アプリケーションにより第２記憶装置２００Ｒに書き込まれる更新データは、非同期リモートコピーにより仲介記憶装置２００Ｉにも格納されることとなる。即ち、第２記憶装置２００Ｒは第２ホストコンピュータ１００Ｒから受信した更新データをデータボリューム２３１Ｒに書き込むとともに、ログ情報を作成してこれをジャーナルボリューム２３２Ｒに書き込む。そして、更に非同期リモートコピーにてログ情報を仲介記憶装置２００Ｉに送信する。仲介記憶装置２００Ｉはこのログ情報を受信すると、受信したログ情報に基づき自身のデータボリューム２３１Iを更新する。なお、第２ホストコンピュータ１００Ｒで業務を再開させた後、更新データを仲介記憶装置２００Iに非同期リモートコピーする必要がない場合には、上述のステップＳ２６０、Ｓ２７０の処理を省略することができる。
【００６２】
以上で説明したフェイルオーバー処理によれば、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生した場合には、仲介記憶装置２００Ｉに記憶されているデータを用いて第２記憶装置２００Ｒのデータを更新することができる。そのため、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生しても、最新のデータを用いて迅速に業務アプリケーションを再開することができる。また、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに加え、仲介記憶装置２００Ｉに障害が発生していたとしても、第２記憶装置２００Ｒには、最新のデータではないが、非同期コピーによって転送された整合性のとれたデータが残されていることになる。そのため、仲介記憶装置２００Ｉに障害が発生したとしても、整合性のとれたデータを用いて業務を再開することができる。
【００６３】
また、以上で説明したフェイルオーバー処理によれば、表示装置１３０Ｒには、データロスが発生したか否かを示す情報が表示されるため、管理者は、かかる情報を参照して業務アプリケーションを再開させるか否かを判断することができる。データロスが発生しなかった場合には、上記ステップＳ２６０，Ｓ２７０で形成した逆方向の非同期コピーペアによって、仲介記憶装置２００Ｉにデータをバックアップしつつ第２ホストコンピュータ１００Ｒによって業務アプリケーションを再開させることができる。一方、データロスが発生した場合であっても、第２記憶装置に記憶されたデータのみを用いて業務アプリケーションを実行することができる。もちろん、データロスが発生した場合には、業務アプリケーションの再開を取り止めるものとしてもよい。
【００６４】
（Ａ４）逆運用ペア形成処理：
次に、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐ、仲介記憶装置２００Ｉに発生したすべての障害が復旧し、管理者から所定の指示があった場合に第２ホストコンピュータ１００Ｒが実行する逆運用ペア形成処理について説明する。この逆運用ペア形成処理は、全ての装置の障害が回復した後に、計算機システム１０００を逆運用状態に遷移させるための処理である。逆運用状態とは、計算機システム１０００内のすべての装置が正常な状態において、第２ホストコンピュータ１００Ｒを用いて業務アプリケーションを実行する運用状態のことをいう。
【００６５】
図７は、逆運用ペア形成処理のフローチャートである。まず、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに指示を与えて、第２記憶装置２００Ｒから仲介記憶装置２００Ｉに対して逆方向の非同期コピーを行う非同期コピーペアを形成し、形成コピーによりペア状態を「正常ペア状態」にさせる（ステップＳ３００）。ただし、これらの記憶装置の間に、既に逆方向の非同期コピーペアが存在している場合には、そのペア状態を形成コピーにより再同期させればよい。なお、既に再同期も完了している場合、例えば、図６に示したフェイルオーバー処理がステップＳ２７０まで終了し、非同期コピーペアが既に正常ペア状態にあるような場合には、かかるステップＳ３００の処理は省略することができる。
【００６６】
非同期コピーペアを「正常ペア状態」にした後、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに対して、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに蓄積されたログ情報をすべて仲介記憶装置２００Ｉに転送するよう指示を与える（ステップＳ３１０）。この指示に基づいて、第２記憶装置２００Ｒと仲介記憶装置２００Ｉは、非同期コピーペアのステータス状態を「サスペンディング」とし、第２ホストコンピュータ１００Ｒから受信したデータに基づき作成されたジャーナルボリューム２３２Ｒ内のログ情報を第２記憶装置２００Ｒが仲介記憶装置２００Ｉに送信する。仲介記憶装置２００Ｉは、このログ情報を受信すると、自身のデータボリューム２３１Ｉに記憶されたデータの更新を行う。ログ情報の転送が完了すると、非同期コピーペアのペア状態は「サスペンド」に遷移する（ステップＳ３２０）。
【００６７】
次に、第２ホストコンピュータ１００Ｒは、例えば、第２記憶装置２００Ｒ経由で仲介記憶装置２００Ｉに指示を与えることにより、仲介記憶装置２００Ｉから第１記憶装置２００Ｐに対して逆方向の同期コピーを行う同期コピーペアを形成させる（ステップＳ３３０）。こうすることで、仲介記憶装置２００Ｉに記憶されたデータが、第１記憶装置２００Ｐに形成コピーされる。かかる形成コピーの実行中には、この同期コピーペアのペア状態は「初期ペア形成中」となり、形成コピーが終了した後には「正常ペア状態」に遷移する。
【００６８】
最後に、第２ホストコンピュータ１００Ｒは、仲介記憶装置２００Ｉに指示を与えて同期コピーペアをサスペンド状態にさせ、更に、第２記憶装置２００Ｒに指示を与えて非同期コピーペアを形成コピーにて再同期させ、ペア状態を正常ペア状態とする（ステップＳ３４０）。
【００６９】
以上で説明した逆運用ペア形成処理を実行した後には、第２記憶装置２００Ｒに記憶されたデータが、仲介記憶装置２００Ｉと第１記憶装置２００Ｐとにも記憶されることになり、計算機システム１０００の運用状態を逆運用状態に遷移させることができる。具体的には、次に説明する逆運用コピー制御処理によって、逆運用時におけるデータの転送が制御されることになる。
【００７０】
（Ａ５）逆運用コピー制御処理：
次に、計算機システム１０００の逆運用中において第２ホストコンピュータ１００Ｒが常時実行する逆運用コピー制御処理について説明する。この逆運用コピー制御処理は、第２ホストコンピュータ１００Ｒが実行する業務アプリケーションによって更新された第２記憶装置２００Ｒ内のデータを、そのデータの整合性を保ちつつ第１記憶装置２００Ｐまで最終的に転送するための処理である。
【００７１】
図８は、逆運用コピー制御処理のフローチャートである。まず、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに対して、ジャーナルボリューム２３２Ｒに蓄積されたログ情報を全て仲介記憶装置２００Ｉに転送するよう指示を与える（ステップＳ４００）。この指示に基づいて、第２記憶装置２００Ｒと仲介記憶装置２００Ｉは、非同期コピーペアのペア状態を「サスペンディング」とし、第２ホストコンピュータ１００Ｒから受信したデータに基づき作成されたジャーナルボリューム２３２Ｒ内のログ情報を第２記憶装置２００Ｒが仲介記憶装置２００Ｉに送信する。仲介記憶装置２００Ｉは、このログ情報を受信すると、自身のデータボリューム２３１Ｉに記憶されたデータの更新を行う。ログ情報の転送が完了すると、非同期コピーペアのペア状態は「サスペンド」に遷移する（ステップＳ４１０）。
【００７２】
次に、第２ホストコンピュータ１００Ｒは、仲介記憶装置２００Ｉに指示を与えて、仲介記憶装置２００Ｉと第１記憶装置２００Ｐとの間に形成された同期コピーペアを再同期させる（ステップＳ４２０）。こうすることで、仲介記憶装置２００Ｉに記憶されたデータが同期コピーによって、第１記憶装置２００Ｐに転送されることになる。かかる処理において、再同期の直後の同期コピーペアのペア状態は「再同期中」となり、形成コピーを含む再同期処理が完了したらペア状態は「正常ペア状態」に遷移する。
【００７３】
次に、第２ホストコンピュータ１００Ｒは、仲介記憶装置２００Ｉに指示を与えて同期コピーペアをサスペンド状態にさせ、更に、第２記憶装置２００Ｒに指示を与えて非同期コピーペアを形成コピーにより再同期させる（ステップＳ４３０）。かかる処理において、再同期直後の非同期コピーペアのペア状態は、「再同期中」となり、形成コピーが完了した後には「正常ペア状態」に遷移する。
【００７４】
第２ホストコンピュータ１００Ｒは、以上で説明した一連の処理を、管理者からの所定の操作によって逆運用が停止されるまで繰り返し実行する（ステップＳ４４０）。繰り返し実行するタイミングは、一定の時間周期で実行するものとしてもよいし、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに蓄積されたログ情報が予め定めた所定量になったタイミングで実行するものとしてもよい。
【００７５】
以上で説明した逆運用コピー制御処理によれば、同期コピーペアのコピー中には、非同期コピーペアのペア状態がサスペンド状態となり、非同期コピーペアのコピー中には、同期コピーペアがサスペンド状態となる。そのため、同期コピーペアのコピー中に仲介記憶装置２００Ｉのデータが第２記憶装置２００Ｒによって更新されることがなく、仲介記憶装置２００Ｉと第１記憶装置２００Ｐとの間でデータの整合性が失われることを防止することが可能になる。
【００７６】
（Ａ６）フェイルバック処理：
次に、逆運用状態で運用されている計算機システム１０００を通常運用状態に戻すにあたり、第１記憶装置２００Ｐに記憶されているデータを最新のデータに更新するためのフェイルバック処理について説明する。このフェイルバック処理は、第２ホストコンピュータ１００Ｒにおいて実行されている業務アプリケーションを停止した後に、管理者からの所定の指示があった場合等に第１ホストコンピュータが実行する処理である。
【００７７】
図９は、フェイルバック処理のフローチャートである。まず、第１ホストコンピュータ１００Ｐは、仲介記憶装置２００Ｉに対して、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間に形成された非同期コピーペアのステータス情報を問い合わせる（ステップＳ５００）。その結果、これらの記憶装置間の通信が正常に行われており、「正常ペア状態」であれば、第１ホストコンピュータ１００Ｐは、仲介記憶装置２００Ｉに対して、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに記録された全てのログ情報を取得するよう指示を与え、データを更新させる（ステップＳ５１０）。第１ホストコンピュータ１００Ｐからのかかる指示に基づき、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとは、データボリューム２３１Ｉとデータボリューム２３１Ｒ間の非同期コピーペアのペア状態を「サスペンディング」とし、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに記録されているログ情報を、第２記憶装置２００Ｒから仲介記憶装置２００Ｉへ送信する。第２記憶装置２００Ｒから仲介記憶装置２００Ｉへのログ情報の転送が正常に完了すると、非同期コピーペアのペア状態は「サスペンド」に遷移する。一方、このデータの転送が失敗すれば、非同期コピーペアのペア状態は、「異常サスペンド」となる。
【００７８】
次に、第１ホストコンピュータ１００Ｐは、再度、仲介記憶装置２００Ｉに対して、非同期コピーペアのステータス情報を問い合わせる（ステップＳ５２０）。この結果、ペア状態が「サスペンド」であれば、第１記憶装置２００Ｐと仲介記憶装置２００Ｉとの間に形成されている同期コピーペアを形成コピーにて再同期させる（ステップＳ５３０）。かかる処理において、形成コピー中の同期コピーペアのペア状態は、「再同期中」となり、形成コピーが完了した後には「正常コピー状態」に遷移する。更に、再同期が終了した際には、同期コピーペアをサスペンドさせて、第２記憶装置２００Ｒの記憶領域を読み書き可能にする。
【００７９】
以上の処理によれば、第１記憶装置２００Ｐには、第２記憶装置２００Ｒに記憶されていた最新のデータが仲介記憶装置２００Ｉを介して転送されることになる。そのため、第１ホストコンピュータ１００Ｐは、ノーデータロスである旨を表示装置１３０Ｐに表示して（ステップＳ５４０）、業務アプリケーションを再開した後にフェイルバック処理を終了する。
【００８０】
上記ステップＳ５００における問い合わせの結果、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間に形成された非同期コピーペアのステータス情報が、「サスペンド」もしくは「異常サスペンド」の場合、すなわち、「正常ペア状態」以外の場合には、原則、ノーデータロスでのフェイルバックは断念する。上記ステップＳ５２０における問い合わせの結果が「異常サスペンド」の場合も同様にノーデータロスでのフェイルバックは断念する。この場合、第１ホストコンピュータ１００Ｐは、まず、上記ステップＳ５３０における処理と同様の処理を行うことで、同期コピーペアを形成コピーにて再同期させる（ステップＳ５５０）。そして、再同期が終了した後に、同期コピーペアをサスペンドさせ（ステップＳ５６０）、データロスが発生した旨を表示装置１３０Ｐに表示する（ステップＳ５７０）。
【００８１】
ただし、上記ステップＳ５００における問い合わせの結果が、「サスペンド」の場合には、上記ステップＳ５００とステップＳ５１０との間に、以下の処理を追加することで、ノーデータロスでのフェイルバックを行うこともできる。すなわち、第１ホストコンピュータ１００Ｐは、問い合わせ結果が「サスペンド」であると判断すると、まず、同期コピーペアを再同期した後に、かかる同期コピーペアをサスペンドして、更に、非同期コピーペアを形成コピーにより再同期させる。こうすることで、非同期コピーペア間を正常ペア状態に遷移させることができる。その後、上述したステップＳ５１０〜Ｓ５４０の処理を実行することにより、ノーデータロスでのフェイルバックを行うことができる。
【００８２】
以上で説明したフェイルバック処理が正常に終了すれば、逆運用時に第２記憶装置２００Ｒに記憶されていたデータが、最終的に第１記憶装置２００Ｐまで転送されることになる。そのため、第１ホストコンピュータ１００Ｐは上述した初期ペア形成処理を再度実行することにより、計算機システム１０００を通常運用状態に遷移させ、第１記憶装置２００Ｐに記憶されたデータを用いて業務アプリケーションを再開することができる。
【００８３】
以上のように構成された第１実施例の計算機システム１０００によれば、異なる地域に設けられ、直列的に接続された３つの記憶装置の間で、同期コピーと非同期コピーとを適宜使い分けることにより、通常運用状態においても逆運用状態においても実用的なリモートコピーを実現することができる。そのため、システムの耐障害性および可用性を向上させることができる。
【００８４】
Ｂ．第２実施例：
図１０は、第２実施例としての計算機システム１０００ｂの概略構成を示す説明図である。本実施例の計算機システム１０００ｂは、通常運用状態においては、第１実施例と同様のコピー形態によってリモートコピーを行うため、初期ペア形成処理とフェイルオーバー処理については、第１実施例と同様の処理が行われる。従って、これらの処理の説明は省略する。ただし、図６に示したフェイルオーバー処理のステップＳ２６０とステップＳ２７０とは省略するものとしてもよい。
【００８５】
一方、計算機システム１０００ｂは、逆運用状態においては、仲介記憶装置２００Ｉを介さずに第２記憶装置２００Ｒから第１記憶装置２００Ｐに直接、非同期リモートコピーを行う。そのため、逆運用ペア形成処理とフェイルバック処理とは、第１実施例と異なる内容の処理が実行される。そのため、以下では、本実施例におけるこれらの処理の詳細について説明する。なお、本実施例では、３つの記憶装置の間において非同期コピー、同期コピーの順でリモートコピーを行うことはないため、第１実施例で説明した逆運用コピー制御処理は実行されない。
【００８６】
図１１は、本実施例における計算機システム１０００ｂの詳細な構成を示す説明図である。図示するように、本実施例の計算機システム１０００ｂは、第１実施例の計算機システム１０００に対して、第１記憶装置２００Ｐと第２記憶装置２００Ｒとを直接接続する通信回線Ｓ５を追加した構成としている。また、第１実施例ではオプションとした第１記憶装置２００Ｐのジャーナルボリューム２３２Ｐは、本実施例では必須の構成である。
【００８７】
（Ｂ１）逆運用ペア形成処理：
図１２は、第２実施例における逆運用ペア形成処理のフローチャートである。この逆運用ペア形成処理は、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに発生した障害が復旧した場合に、計算機システム１０００ｂを逆運用状態に遷移させるために第２ホストコンピュータ１００Ｒが実行する処理である。
【００８８】
まず、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒと仲介記憶装置２００Ｉとの間に既に非同期コピーペアが形成されている場合には、このコピーペアを削除する（ステップＳ６００）。
【００８９】
次に、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに対して指示を与え、第２記憶装置２００Ｒから第１記憶装置２００Ｐに対して通信回線Ｓ５を用いて直接、非同期リモートコピーを行う逆方向の非同期コピーペアを形成させる（ステップＳ６１０）。第２記憶装置２００Ｒは、かかる指示を受けると、第２記憶装置２００Ｒのデータボリューム２３１Ｒから第１記憶装置２００Ｐのデータボリューム２３１Ｐに形成コピーによりデータを転送する。データの転送中には、この非同期コピーペアのペア状態は、「初期ペア形成中」となり、転送終了後には、「正常ペア状態」に遷移する。
【００９０】
以上で説明した逆運用ペア形成処理の終了後には、第２記憶装置２００Ｒと第１記憶装置２００Ｐとの間に非同期コピーペアが形成されるため、第２ホストコンピュータ１００Ｒの業務アプリケーションの実行に伴い第２記憶装置２００Ｒ内のデータが更新されれば、その更新データが自動的に第１記憶装置２００Ｐに直接リモートコピーされることになる。
【００９１】
（Ｂ２）フェイルバック処理：
図１３は、第２実施例におけるフェイルバック処理のフローチャートである。このフェイルバック処理は、計算機システム１０００ｂの運用状態を逆運用状態から通常運用状態に戻すにあたり、第１記憶装置２００Ｐに記憶されているデータを最新のデータに更新するための処理である。また、このフェイルバック処理は、第２ホストコンピュータ１００Ｒで実行されている業務アプリケーションが停止された後に実行される処理である。
【００９２】
まず、第１ホストコンピュータ１００Ｐは、第１記憶装置２００Ｐに対して、第１記憶装置２００Ｐと第２記憶装置２００Ｒとの間に形成された非同期コピーペアのステータス情報を問い合わせる（ステップＳ７００）。その結果、この非同期コピーペアが「正常ペア状態」であれば、第１ホストコンピュータ１００Ｐは、第１記憶装置２００Ｐに対して、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに記録された全てのログ情報を取得するよう指示を与え、データを更新させる（ステップＳ７１０）。第１ホストコンピュータ１００Ｐからのかかる指示に基づき、第１記憶装置２００Ｐと第２記憶装置２００Ｒとは、非同期コピーペアのペア状態を「サスペンディング」とし、第２記憶装置２００Ｒのジャーナルボリューム２３２Ｒに記録されているログ情報を、第２記憶装置２００Ｒから仲介記憶装置２００Ｉへ送信する。その後、第２記憶装置２００Ｒから仲介記憶装置２００Ｉへのログ情報の転送が正常に完了すると、非同期コピーペアのペア状態は「サスペンド」に遷移する。一方、ログ情報の転送が失敗すれば、非同期コピーペアのペア状態は「異常サスペンド」となる。
【００９３】
次に、第１ホストコンピュータ１００Ｐは、再度、第１記憶装置２００Ｐに対して、非同期コピーペアのステータス情報を問い合わせる（ステップＳ７２０）。この結果、ペア状態が「サスペンド」であれば、ノーデータロスである旨を表示装置１３０Ｐに表示し（ステップＳ７３０）、業務アプリケーションを再開した後にフェイルバック処理を終了する。
【００９４】
上記ステップＳ７００における問い合わせの結果、非同期コピーペアが「サスペンド」もしくは「異常サスペンド」の場合、すなわち、「正常ペア状態」以外の場合には、何らかの原因により第１記憶装置２００Ｐと第２記憶装置２００Ｒとの間のリモートコピーが休止されていることになるため、原則、ノーデータロスでのフェイルバックは断念する。また、上記ステップＳ７２０における問い合わせ結果が「異常サスペンド」の場合も同様にノーデータロスでのフェイルバックは断念する。そのため、データロスが発生した旨を表示装置１３０Ｐに表示して（ステップＳ７４０）、フェイルバック処理を終了する。
【００９５】
ただし、上記ステップ７００における問い合わせの結果が、「サスペンド状態」の場合には、上記ステップＳ７００とステップＳ７１０との間に、以下の処理を追加することで、ノーデータロスでのフェイルバックを行うこともできる。すなわち、第１ホストコンピュータ１００Ｐは、問い合わせた結果が「サスペンド」であると判断すると、まず、非同期コピーペアを再同期するよう指示を出し、この指示に基づいてデータボリューム２３１Ｒからデータボリューム２３１Ｐへの形成コピーを実行する。こうすることにより、形成コピー完了時には非同期コピーペアのステータス状態が「正常ペア状態」となる。そのため、以降、ステップＳ７１０に続く処理を実行することにより、ノーデータロスでのフェイルバックが可能となる。
【００９６】
以上で説明したフェイルバック処理が完了すれば、第１ホストコンピュータ１００Ｐは、第１実施例において説明した初期ペア形成処理を実行することにより、計算機システム１０００ｂを通常運用状態に遷移させることができる。
【００９７】
以上のように構成された第２実施例の計算機システム１０００ｂによれば、フェイルバック処理において、第１記憶装置２００Ｐと仲介記憶装置２００Ｉとの間に形成された同期コピーペアを再同期する必要がないため、迅速に計算機システム１０００ｂを通常運用状態に遷移させることが可能になる。
【００９８】
Ｃ．第３実施例：
図１４は、第３実施例としての計算機システム１０００ｃの構成と、その通常運用時におけるコピー形態を概略的に示す説明図である。本実施例の計算機システム１０００ｃは、第１実施例の計算機システム１０００に対して、仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間に、もう１台、仲介記憶装置を直列的に追加した構成となっている。そのため、以下の説明では、第１実施例における仲介記憶装置２００Ｉを第１仲介記憶装置２００Ｉと呼び、追加された仲介記憶装置を第２仲介記憶装置２００Ｊと呼ぶ。第２仲介記憶装置２００Ｊは、第１記憶装置２００Ｐから遠隔の地で、かつ、第２記憶装置２００Ｒの近隣地に設置されているものとする。第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとの間の距離には特に制限はない。
【００９９】
本実施例では、第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとに対して、それぞれ第１スイッチング装置３００Ｉと第２スイッチング装置３００Ｊとが接続されている。これらのスイッチング装置は、受信したデータの宛先を判別して最適な通信回線にデータを転送する機能を備えている。例えば、第１記憶装置２００Ｐから転送されたデータの宛先が第１仲介記憶装置２００Ｉであれば、第１スイッチング装置３００Ｉは、かかるデータを第１仲介記憶装置２００Ｉに転送し、それ以外の宛先であれば、他の記憶装置にスルーして出力する。このように、それぞれの仲介記憶装置にスイッチング装置を接続するものとすれば、第１および第２仲介記憶装置は、データの宛先を自身で判別する必要がないため、処理の負担を軽減することができる。なお、これらのスイッチング装置は省略するものとしてもよく、仲介記憶装置がスイッチング装置と同様の機能を備えるものとしてもよい。
【０１００】
図１４に示すように、本実施例では、通常運用状態においては、第１記憶装置２００Ｐと第１仲介記憶装置２００Ｉとの間に順方向の同期コピーペアを形成し、第１仲介記憶装置２００Ｉと第２記憶装置２００Ｒとの間に順方向の非同期コピーペアを形成する。つまり、通常運用時においては、第２仲介記憶装置２００Ｊは用いられないため、初期ペア形成処理とフェイルオーバー処理とは、第１実施例と同様の処理内容によって実行することができる。そのため、これらの処理の説明は省略する。ただし、図６に示したフェイルオーバー処理において、ステップＳ２６０とステップＳ２７０とは省略するものとしてもよい。
【０１０１】
一方、本実施例の逆運用状態においては、後述するように第２仲介記憶装置２００Ｊを用いてリモートコピーを行うため、第１実施例と第２実施例に対して、逆運用ペア形成処理とフェイルバック処理の処理内容が異なる。そのため、以下では、本実施例におけるこれらの処理の詳細について説明する。なお、本実施例においても、第２実施例と同様に、逆運用コピー制御処理は実行されない。
【０１０２】
（Ｃ１）逆運用ペア形成処理：
図１５は、第３実施例における逆運用ペア形成処理のフローチャートである。かかる処理は、全ての装置の障害が回復した後に、計算機システム１０００ｃを逆運用状態に遷移させるために第２ホストコンピュータ１００Ｒが実行する処理である。
【０１０３】
まず、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒに指示を与えて、第２記憶装置２００Ｒから第２仲介記憶装置２００Ｊに対して逆方向の同期コピーを行う同期コピーペアを形成させる（ステップＳ８００）。第２記憶装置２００Ｒのデータボリュームと、第２仲介記憶装置２００Ｊのデータボリューム間には、かかる指示に基づき、同期コピーペアが形成され、形成コピーが実行される。形成コピーの実行中には、この同期コピーペアのペア状態は、「初期ペア形成中」となる。そして、この形成コピーが完了すると、ペア状態は「正常ペア状態」に遷移する。
【０１０４】
次に、第２ホストコンピュータ１００Ｒは、第２仲介記憶装置２００Ｊに指示を与えて、第２仲介記憶装置２００Ｊから第１記憶装置２００Ｐに対して逆方向の非同期リモートコピーを行う非同期コピーペアを形成させる（ステップＳ８１０）。第２仲介記憶装置２００Ｊのデータボリュームと第１記憶装置２００Ｐのデータボリューム間には、かかる指示に基づき、非同期コピーペアが形成され、この非同期コピーペア間で、形成コピーが実行される。形成コピーの実行中には、この非同期コピーペアのペア状態は「初期ペア形成中」となり、形成コピーが完了すると「正常ペア状態」となる。こうして、非同期コピーペアのペア状態が正常ペア状態となると、第２ホストコンピュータは、逆運用ペア形成処理を終了する。かかる処理の終了後、第２ホストコンピュータ１００Ｒが業務アプリケーションを実行することにより、計算機システム１０００ｃを逆運用させることができる。
【０１０５】
図１６は、本実施例の逆運用時におけるコピー形態を概略的に示す説明図である。第２ホストコンピュータ１００Ｒは、第１ホストコンピュータ１００Ｐから業務処理を引き継いで業務アプリケーションを実行し、逆運用を開始すると、この業務アプリケーションによって更新された第２記憶装置２００Ｒ内のデータは、図示するように、自動的に第２仲介記憶装置２００Ｊに同期コピーされ、更に、第１記憶装置２００Ｐに非同期コピーされることになる。従って、計算機システム１０００ｃの逆運用中に第２ホストコンピュータ１００Ｒに障害が発生したとしても、最新のデータが、常に第２仲介記憶装置２００Ｊに保存されていることになるため、データロスが発生することを抑制することが可能になる。
【０１０６】
（Ｃ２）フェイルバック処理：
図１７は、第３実施例におけるフェイルバック処理のフローチャートである。かかる処理は、第２ホストコンピュータ１００Ｒにおいて実行されている業務アプリケーションを停止した後に、第１ホストコンピュータ１００Ｐによって実行される処理であり、計算機システム１０００ｃを逆運用状態から通常運用状態に戻すにあたり、第１記憶装置２００Ｐ内のデータを最新のデータに更新するための処理である。
【０１０７】
まず、第１ホストコンピュータ１００Ｐは、上述した逆運用ペア形成処理において形成された第１記憶装置２００Ｐと第２仲介記憶装置２００Ｊとの間の非同期コピーペアのステータス情報を第１記憶装置２００Ｐに問い合わせる（ステップＳ９００）。その結果、これらの記憶装置間の通信が正常に行われており、「正常ペア状態」であれば、第１ホストコンピュータ１００Ｐは、第１記憶装置２００Ｐに指示を与えて、第２仲介記憶装置２００Ｊに記録されている全てのログ情報を取得させ、データの更新を行わせる（ステップＳ９１０）。第１記憶装置２００Ｐと第２仲介記憶装置２００Ｊとは、かかる指示に基づき、非同期コピーペアのステータス状態を「サスペンディング」とし、第２仲介記憶装置２００Ｊに記録されているデータを、第２仲介記憶装置２００Ｊから第１記憶装置２００Ｐへ転送する。このデータの転送が正常に完了すると、これらの装置間で形成された非同期コピーペアのペア状態は「サスペンド」に遷移する。一方、このデータの転送が失敗すれば、非同期コピーペアのペア状態は、「異常サスペンド」となる。
【０１０８】
次に、第１ホストコンピュータ１００Ｐは、再度、第１記憶装置２００Ｐに対して、非同期コピーペアのステータス情報を問い合わせる（ステップＳ９２０）。その結果、ペア状態が「サスペンド」であれば、第１記憶装置２００Ｐのデータが正常に更新されたと判断することができるため、第１ホストコンピュータ１００Ｐは、データロスが発生していない旨、すなわち、ノーデータロスであることを表示装置１３０Ｒに表示して（ステップＳ９３０）、フェイルバック処理を終了する。
【０１０９】
上記ステップＳ９００における問い合わせの結果が、「サスペンド」もしくは「異常サスペンド」の場合、すなわち、「正常ペア」以外の場合には、原則、ノーデータロスでのフェイルバックは断念する。そのため、第１ホストコンピュータ１００Ｐは、データロスが発生した旨を表示装置１３０Ｐに表示し（ステップＳ９７０）、フェイルバック処理を終了する。また、上記ステップＳ９２０における問い合わせの結果が、「異常サスペンド」の場合にも、ノーデータロスでのフェイルバックを断念し、データロスが発生した旨を表示装置１３０Ｐに表示して、フェイルバック処理を終了する。
【０１１０】
ただし、上記ステップＳ９００における問い合わせの結果が、「サスペンド」の場合には、データロスが発生した旨を表示するのではなく、上記ステップＳ９００とステップＳ９１０との間に、以下の処理を追加することで、ノーデータロスでのフェイルバックを実現することもできる。すなわち、第１ホストコンピュータ１００Ｐは、問い合わせ結果が「サスペンド」であると判断すると、第２仲介記憶装置２００Ｊのデータボリュームと第１記憶装置２００Ｐのデータボリューム間の非同期コピーペアを再同期するよう指示する。第２仲介記憶装置２００Ｊと第１記憶装置２００Ｐとは、この指示に基づいて、形成コピーにて再同期を行う。この結果、非同期コピーペアのペア状態は、「サスペンド」から「再同期中」を経て「正常ペア状態」に遷移する。こうして、非同期コピーペアのペア状態が正常ペア状態となれば、その後は、ステップＳ９１０以降の処理を実行することにより、ノーデータロスによるフェイルバックを行うことができる。
【０１１１】
以上で説明した本実施例のフェイルバック処理が正常に終了すれば、第２仲介記憶装置２００Ｊに記憶された最新のデータが第１記憶装置２００Ｐに転送されることになる。そのため、このフェイルバック処理の終了後、第１ホストコンピュータ１００Ｐは、第１実施例で説明した初期ペア形成処理を実行することにより、計算機システム１０００ｃを通常運用状態に遷移させることができる。
【０１１２】
以上のように構成された第３実施例の計算機システム１０００ｃによれば、逆運用時においても第２記憶装置２００Ｒから第２仲介記憶装置２００Ｊに対して同期コピーによってデータを転送することができる。従って、逆運用状態において第２ホストコンピュータ１００Ｒに障害が発生した場合であってもデータロスが発生する可能性を低減することができる。
【０１１３】
（Ｃ３）第３実施例の変形例：
図１８は、第３実施例の変形例としての計算機システム１０００ｃの概略構成を示す説明図である。本変形例の計算機システム１０００ｃでは、通常運用時において、第１記憶装置２００Ｐから第１仲介記憶装置２００Ｉを介して第２記憶装置２００Ｒに到達したデータを、更に、非同期コピーによって第２仲介記憶装置２００Ｊに転送する。第２記憶装置２００Ｒから第２仲介記憶装置２００Ｊに対して同期コピーを行うものとしないのは、仮に、同期コピーを行うとすれば、リモートコピーの順序が、非同期コピー（２００Ｉから２００Ｒ）、同期コピー（２００Ｒから２００Ｊ）の順となり、このようなコピー形態の場合には、第１ホストコンピュータもしくは第２ホストコンピュータが、第１実施例で説明した逆運用コピー制御処理と同様の常駐プログラムを実行する必要があるため、かかる処理を省略して処理負担を軽減するためである。
【０１１４】
このような構成の変形例によれば、第２仲介記憶装置２００Ｊには順次、第２記憶装置２００Ｒからデータが転送されるため、逆運用を開始する際に、迅速に第２仲介記憶装置２００Ｊから第１記憶装置２００Ｐにデータを転送することが可能になる。なお、このような構成は通常運用時のみに適用されるのではなく、逆運用時においては、第１仲介記憶装置２００Ｉに対して第１記憶装置２００Ｐから非同期コピーを行うことによって同様の構成とすることができる。
【０１１５】
Ｄ．第４実施例：
図１９は、第４実施例としての計算機システム１０００ｄの構成と、その通常運用時のコピー形態を概略的に示す説明図である。本実施例の計算機システム１０００ｄは、第３実施例と同様に仲介記憶装置を２台備えるものとし、計４台の記憶装置が直列的に接続されている構成としている。
【０１１６】
本実施例の計算機システム１０００ｄの通常運用時には、第１ホストコンピュータ１００Ｐは、図示するように、第１記憶装置２００Ｐと第１仲介記憶装置２００Ｉとの間に順方向の同期コピーペアを、第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとの間に順方向の非同期コピーペアを、第２仲介記憶装置２００Ｊと第２記憶装置２００Ｒとの間に順方向の非同期コピーペアを、それぞれ形成する。
【０１１７】
このような構成では、第１ホストコンピュータ１００Ｐが実行する業務アプリケーションによって第１記憶装置２００Ｐ内のデータが更新されると、第１仲介記憶装置２００Ｉ内のデータも同期コピーによって同時に更新される。そして、第１仲介記憶装置２００Ｉからは、非同期コピーによってログ情報が第２仲介記憶装置に転送される。このログ情報は、更に、第２記憶装置２００Ｒにも転送され、かかるログ情報に基づき第２記憶装置２００Ｒ内のデータが更新されることになる。
【０１１８】
（Ｄ１）フェイルオーバー処理：
図２０および図２１は、第４実施例におけるフェイルオーバー処理のフローチャートである。かかるフェイルオーバー処理は、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生した場合に第２ホストコンピュータ１００Ｒが実行する処理である。
【０１１９】
まず、第２ホストコンピュータ１００Ｒは、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐに障害が発生したことを検出すると（ステップＳ１０００）、第２仲介記憶装置２００Ｊに指示を与えて、第１仲介記憶装置２００Ｉから全てのログ情報を取得させることによりデータを更新させる（ステップＳ１０１０）。データの更新中には、この非同期コピーペアのペア状態は、「サスペンディング」となる。その後、正常にデータの更新ができた場合には、ペア状態は「サスペンド」に遷移し、データの更新に失敗した場合には、ペア状態は「異常サスペンド」に遷移する。
【０１２０】
次に、第２ホストコンピュータ１００Ｒは、第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとの間に形成された非同期コピーペアのステータス情報を問い合わせ（ステップＳ１０２０）、問い合わせの結果、ペア状態が「サスペンド」であれば、第２記憶装置２００Ｒに指示を与えて、第２仲介記憶装置２００Ｊから全てのログ情報を取得させることによりデータを更新させる（ステップＳ１０３０）。データの更新中には、この非同期コピーペアのペア状態は、「サスペンディング」となる。その後、正常にデータの更新ができた場合には、ペア状態は「サスペンド」に遷移し、データの更新に失敗した場合には、「異常サスペンド」に遷移する。
【０１２１】
説明を図２１に移す。次に、第２ホストコンピュータ１００Ｒは、第２記憶装置２００Ｒと第２仲介記憶装置２００Ｊとの間に形成された非同期コピーペアのステータス情報を問い合わせ（ステップＳ１０４０）、問い合わせの結果、ペア状態が「サスペンド」であれば、ノーデータロスである旨を表示装置１３０Ｒに表示する（ステップＳ１０５０）。その後、第２ホストコンピュータ１００Ｒは、第２仲介記憶装置２００Ｊと第２記憶装置２００Ｒとの間の非同期コピーペアを削除する（ステップＳ１０６０）。そして、第２記憶装置２００Ｒと第２仲介記憶装置２００Ｊとの間に、逆方向の同期コピーペアを形成コピーにて形成し（ステップＳ１０７０）、フェイルオーバー処理を終了する。かかる同期コピーペアのペア状態は、形成コピー中には、「初期ペア形成中」となり、形成コピーの終了後には、「正常ペア状態」となる。
【０１２２】
上記ステップＳ１０２０またはステップＳ１０４０において、問い合わせの結果が、「異常サスペンド」であれば、ノーデータロスによるフェイルオーバーを断念し、表示装置１３０Ｒに、データロスが発生した旨を表示して（ステップＳ１０８０）、フェイルオーバー処理を終了する。
【０１２３】
以上で説明したフェイルオーバー処理の終了後には、第２ホストコンピュータ１００Ｒを用いて業務アプリケーションを再開することができる。第２記憶装置２００Ｒと第２仲介記憶装置２００Ｊとの間には、同期コピーペアが形成されるため、第２ホストコンピュータが第２記憶装置２００Ｒ内のデータを用いて業務アプリケーションを実行すると、そのデータと同一内容のデータが第２仲介記憶装置２００Ｊにバックアップされることになる。ただし、このバックアップを行わない場合には、上記ステップＳ１０６０とステップＳ１０７０の処理は省略するものとしてもよい。
【０１２４】
なお、上記ステップＳ１０７０において、第２ホストコンピュータ１００Ｒから同期コピーペアの作成指示を受けた第２記憶装置２００Ｒと第２仲介記憶装置２００Ｊとは、同期コピーペアを定義するための情報をメモリの定義情報に書き込むと、形成コピーを実行することなく同期コピーペアのペア状態を「正常ペア状態」に遷移させることができる。上記ステップＳ１０１０とステップＳ１０３０との処理により、第２記憶装置２００Ｒと第２仲介記憶装置２００Ｊ内に格納されているデータは一致しているためである。
【０１２５】
また、第２ホストコンピュータ１００Ｒは、原則、上記フェイルオーバー処理が終了した後に業務アプリケーションを再開するが、上記ステップＳ１０５０においてノーデータロスを表示した後、上記ステップＳ１０７０で同期コピーペアが形成される前に再開させることもできる。この場合においては、上記ステップＳ１０７０で同期コピーペアを形成する際、第２記憶装置２００Ｒから第２仲介記憶装置２００Ｊへの形成コピーを実行する必要がある。第２ホストコンピュータ１００Ｒから既に第２記憶装置２００Ｒにデータが書き込まれ、これらの記憶装置間に記憶されたデータが一致していない場合があるためである。
【０１２６】
（Ｄ２）逆運用ペア形成処理：
図２２は、第４実施例における逆運用ペア形成処理のフローチャートである。かかる処理は、第１ホストコンピュータ１００Ｐや第１記憶装置２００Ｐの障害が回復した場合に、計算機システム１０００ｄを逆運用状態に遷移させるための処理である。
【０１２７】
まず、第２ホストコンピュータ１００Ｒは、第２仲介記憶装置２００Ｊに対して指示を与えて、上記フェイルオーバー処理のステップＳ１０１０においてサスペンド状態となった第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとの間の非同期コピーペアのコピー方向を反転させて形成コピーにより再同期させる（ステップＳ１１００）。このとき、コピー方向の反転直後のペア状態は、「再同期中」となり、形成コピーが終了した後には、「正常ペア状態」に遷移する。
【０１２８】
次に、第２ホストコンピュータ１００Ｒは、第１仲介記憶装置２００Ｉに対して指示を与えて第１仲介記憶装置２００Ｉと第１記憶装置２００Ｐとの間に、逆方向に非同期コピーを行う非同期コピーペアを形成させ、形成コピーを行わせる（ステップＳ１１１０）。このとき、形成コピー中のペア状態は、「初期ペア形成中」となり、形成コピーが終了した後には、「正常ペア状態」に遷移する。以上の処理により逆運用ペア形成処理は終了する。
【０１２９】
図２３は、本実施例の逆運用時におけるコピー形態を概略的に示す説明図である。上述した逆運用ペア形成処理の終了後、第２ホストコンピュータ１００Ｒが業務アプリケーションを再開することで、図示するようなコピー形態によって逆運用が開始される。図１９に示した通常運用時のコピー形態と比較してわかるように、本実施例では、通常運用時とは全く逆のコピー方向で逆運用がされることになる。
【０１３０】
（Ｄ３）フェイルバック処理：
図２４および図２５は、第４実施例におけるフェイルバック処理のフローチャートである。かかる処理は、計算機システム１０００ｄを逆運用状態から通常運用状態に戻す際に、第１記憶装置２００Ｐに記憶されているデータを最新のデータに更新するための処理である。
【０１３１】
まず、第２ホストコンピュータ１００Ｒが業務アプリケーションを停止させた後、第１ホストコンピュータ１００Ｐは、第１仲介記憶装置２００Ｉに指示を与えて、第２仲介記憶装置２００Ｊから全てのログ情報を取得させることによりデータを更新させる（ステップＳ１２００）。データの更新中には、この非同期コピーペアのペア状態は、「サスペンディング」となる。その後、正常にデータの更新ができた場合には、ペア状態は「サスペンド」に遷移し、正常にデータの更新ができなかった場合には、ペア状態は「異常サスペンド」に遷移する。
【０１３２】
次に、第１ホストコンピュータ１００Ｒは、この第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊ間の非同期コピーペアのステータス情報を問い合わせ（ステップＳ１２１０）、問い合わせの結果、ペア状態が「サスペンド」であれば、第１記憶装置２００Ｐに指示を与えて、第１仲介記憶装置２００Ｉから全てのログ情報を取得させることによりデータを更新させる（ステップＳ１２２０）。データの更新中には、第１記憶装置２００Ｐと第１仲介記憶装置２００Ｉ間における非同期コピーペアのペア状態は、「サスペンディング」となる。その後、正常にデータの更新ができた場合には、ペア状態は「サスペンド」に遷移し、正常にデータの更新ができなかった場合には、「異常サスペンド」に遷移する。
【０１３３】
説明を図２５に移す。次に、第１ホストコンピュータ１００Ｐは、第１記憶装置２００Ｐと第１仲介記憶装置２００Ｉとの間に形成された非同期コピーペアのステータス情報を問い合わせ（ステップＳ１２３０）、問い合わせの結果、ペア状態が「サスペンド状態」であれば、ノーデータロスである旨を表示装置１３０Ｐに表示する（ステップＳ１２４０）。その後、第１ホストコンピュータ１００Ｐは、第１仲介記憶装置２００Ｉと第１記憶装置２００Ｐとの間の非同期コピーペアを削除する（ステップＳ１２５０）。そして、第１記憶装置２００Ｐと第１仲介記憶装置２００Ｉとの間に、順方向の同期コピーペアを形成コピーにて形成し（ステップＳ１２６０）、フェイルバック処理を終了する。かかる同期コピーペアのペア状態は、形成コピー中には、「初期ペア形成中」となり、形成コピーの終了後には、「正常ペア状態」となる。なお、フェイルバック処理終了後の通常運用状態において、第１仲介記憶装置２００Ｉを用いたデータのバックアップを行わない場合には、このステップＳ１２５０とステップＳ１２６０の処理は、省略するものとしてもよい。
【０１３４】
上記ステップＳ１２１０またはステップＳ１２３０において、問い合わせの結果が、「異常サスペンド」であれば、ノーデータロスによるフェイルバックを断念し、表示装置１３０Ｒに、データロスが発生した旨を表示して（ステップＳ１２７０）、フェイルバック処理を終了する。
【０１３５】
以上で説明したフェイルバック処理が終了すれば、第１ホストコンピュータは、業務アプリケーションを再開することができる。その後、更に、第１仲介記憶装置２００Ｉと第２仲介記憶装置２００Ｊとの間、および、第２仲介記憶装置Ｊと第２記憶装置２００Ｒとの間に、非同期コピーペアを形成すれば、計算機システム１０００ｄを図１７に示した通常運用状態に遷移させることができる。
【０１３６】
以上のように構成された第４実施例の計算機システム１０００ｄによれば、通常運用状態と逆運用状態とでデータの転送が行われるコピー形態が同一のため、第１ホストコンピュータ１００Ｐと第２ホストコンピュータ１００Ｒとで実行されるコピー制御プログラムの単純化および共通化を図ることが可能になる。
【０１３７】
以上、本発明の実施の形態について、いくつかの実施例に基づき説明した。それぞれの実施例で示したように、本発明によれば、３つ、あるいは４つの記憶装置を異なる場所に設置しつつ、これらを直列的に接続した計算機システムにおいて通常運用時や逆運用時はもちろん、障害が発生した場合においても実用的なリモートコピーを行うことが可能になる。
【０１３８】
なお、本発明は上述した実施例に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、上述した種々の実施例では、非同期リモートコピーをジャーナルボリュームに記憶されたログ情報に基づき行うものとして説明したが、非同期リモートコピーは、各記憶装置に対してジャーナルボリュームに替えて差分ボリュームを備えさせることにより、以下に説明する方法によっても行うことができる。
【０１３９】
コピー元の記憶装置は、ある時間間隔毎にデータボリュームに格納されているデータの差分スナップショットを取得し、差分ボリュームに格納する。差分スナップショットとは、前回、差分スナップショットを取得したタイミングから、現時点までにデータボリュームに対して行われたライト処理により更新されたデータのことをいう。
【０１４０】
差分スナップショットを格納し終えると、コピー元の記憶装置は、差分ボリューム内の差分データをコピー先の記憶装置に送信する。このとき、ホストコンピュータからデータの書き込みがあっても、この書き込みは、データボリュームに対して行われるため、差分ボリュームの内容は、コピー先記憶装置への差分データの転送が完了するまでは変更されない。
【０１４１】
差分ボリューム内の差分データを受信したコピー先記憶装置は、これを自身の差分ボリュームに格納する。コピー元記憶装置からコピー先記憶装置への差分データの転送が完了すると、コピー先記憶装置は差分ボリューム内のデータを自身のデータボリュームに反映する。
【０１４２】
この反映処理が終わると、コピー先記憶装置は、コピー元記憶装置へその旨を通知し、コピー元記憶装置は再び差分スナップショットを取得できる状態になる。以上の処理を繰り返すことによっても、非同期リモートコピーを実行することができる。
【図面の簡単な説明】
【０１４３】
【図１】第１実施例としての計算機システム１０００の概略構成を示す説明図である。
【図２】計算機システム１０００の詳細な構成を示す説明図である。
【図３】同期コピーペアが採り得るペア状態とその遷移契機を示す説明図である。
【図４】非同期コピーペアが採り得るペア状態とその遷移契機を示す説明図である。
【図５】第１実施例における初期ペア形成処理のフローチャートである。
【図６】第１実施例におけるフェイルオーバー処理のフローチャートである。
【図７】第１実施例における逆運用ペア形成処理のフローチャートである。
【図８】第１実施例における逆運用コピー制御処理のフローチャートである。
【図９】第１実施例におけるフェイルバック処理のフローチャートである。
【図１０】第２実施例としての計算機システム１０００ｂの概略構成を示す説明図である。
【図１１】計算機システム１０００ｂの詳細な構成を示す説明図である。
【図１２】第２実施例における逆運用ペア形成処理のフローチャートである。
【図１３】第２実施例におけるフェイルバック処理のフローチャートである。
【図１４】第３実施例としての計算機システム１０００ｃの構成とその通常運用時におけるコピー形態を概略的に示す説明図である。
【図１５】第３実施例における逆運用ペア形成処理のフローチャートである。
【図１６】第３実施例の逆運用時におけるコピー形態を概略的に示す説明図である。
【図１７】第３実施例におけるフェイルバック処理のフローチャートである。
【図１８】第３実施例の変形例としての計算機システム１０００ｃの概略構成を示す説明図である。
【図１９】第４実施例としての計算機システム１０００ｄの構成とその通常運用時のコピー形態を概略的に示す説明図である。
【図２０】第４実施例におけるフェイルオーバー処理のフローチャートである。
【図２１】第４実施例におけるフェイルオーバー処理のフローチャートである。
【図２２】第４実施例における逆運用ペア形成処理のフローチャートである。
【図２３】第４実施例の逆運用時におけるコピー形態を概略的に示す説明図である。
【図２４】第４実施例におけるフェイルバック処理のフローチャートである。
【図２５】第４実施例におけるフェイルバック処理のフローチャートである。
【符号の説明】
【０１４４】
１０００，１０００ｂ，１０００ｃ，１０００ｄ...計算機システム
１００Ｐ...第１ホストコンピュータ
１００Ｒ...第２ホストコンピュータ
１１０Ｐ，１１０Ｒ...ＣＰＵ
１２０Ｐ，１２０Ｒ...メモリ
１３０Ｐ，１３０Ｒ...表示装置
１４０Ｐ，１４０Ｒ...入力装置
２００Ｐ...第１記憶装置
２００Ｒ...第２記憶装置
２００Ｉ...仲介記憶装置，第１仲介記憶装置
２００Ｊ...第２仲介記憶装置
２１０Ｐ，２１０Ｉ，２１０Ｒ...ＣＰＵ
２２０Ｐ，２２０Ｉ，２２０Ｒ...メモリ
２３０Ｐ，２３０Ｉ，２３０Ｒ...磁気ディスク装置
２３１Ｐ，２３１Ｉ，２３１Ｒ...データボリューム
２３２Ｐ，２３２Ｉ，２３２Ｒ...ジャーナルボリューム
３００Ｉ...第１スイッチング装置
３００Ｊ...第２スイッチング装置
【図１】
2006113783.tif 000003
【図２】
2006113783.tif 000004
【図３】
2006113783.tif 000005
【図４】
2006113783.tif 000006
【図５】
2006113783.tif 000007
【図６】
2006113783.tif 000008
【図７】
2006113783.tif 000009
【図８】
2006113783.tif 000010
【図９】
2006113783.tif 000011
【図１０】
2006113783.tif 000012
【図１１】
2006113783.tif 000013
【図１２】
2006113783.tif 000014
【図１３】
2006113783.tif 000015
【図１４】
2006113783.tif 000016
【図１５】
2006113783.tif 000017
【図１６】
2006113783.tif 000018
【図１７】
2006113783.tif 000019
【図１８】
2006113783.tif 000020
【図１９】
2006113783.tif 000021
【図２０】
2006113783.tif 000022
【図２１】
2006113783.tif 000023
【図２２】
2006113783.tif 000024
【図２３】
2006113783.tif 000025
【図２４】
2006113783.tif 000026
【図２５】
2006113783.tif 000027