(57)【特許請求の範囲】
【請求項１】
計算機システムであって、
計算機と、
前記計算機に接続され、計算機から受信する第1の時刻情報と第1のデータが格納される第1の論理ボリュームを有し、他のストレージシステムに第1の論理ボリュームに格納される前記第1のデータと前記第1の時刻情報とを送信する第1のストレージシステムと、
前記計算機から受信する第2の時刻情報と第2のデータが格納される第２の論理ボリュームを有し、他のストレージシステムに、前記第2の論理ボリュームに格納される前記第2の時刻情報と前記第2のデータを送信する第２のストレージシステムと、
前記第1のストレージシステムに接続され、第１のストレージシステムから前記第1の時刻情報及び第1のデータを受信し、前記第1の論理ボリュームに格納される第1のデータの複製データが格納される第３の論理ボリュームを有する第３のストレージシステムと、
前記第２のストレージシステムに接続され、前記第2のストレージシステムから前記第2の時刻情報及び第2のデータを受信し、前記第２の論理ボリュームに格納される第2のデータの複製データが格納される第４の論理ボリュームを有する第４のストレージシステムと、
を備え、
前記計算機は、
前記第1の論理ボリュームと前記第3の論理ボリュームとの第1のコピーペアと、前記第2の論理ボリュームと前記第4の論理ボリュームとの第2のコピーペアと、を管理し、
前記第1のコピーペアと前記第2のコピーペアとを一つのグループとして複製処理を制御するグループ制御指示を前記第3のストレージシステムに送信し、
前記第1のストレージシステム及び前記第2のストレージシステムに前記複製処理の状況を問合せる複製状況問合せを送信し、
前記グループ制御指示及び前記複製状況の応答に応じて前記一つのグループの状態を管理し、
前記第3のストレージシステムは、
前記一つのグループに含まれるコピーペアの状態情報を有し、
前記第2のコピーペアを前記第1のコピーペアに追加して一つのグループとする制御指示を前記計算機より受信すると、
前記第4のストレージシステムより、前記第4の論理ボリュームに最後に格納した前記第2のデータの複製データとともに受信した前記第2の時刻情報を取得して、
取得した前記第2の時刻情報を、前記第3の論理ボリュームに最後に格納した前記第1のデータの複製データとともに受信した前記第1の時刻情報と比較し、
比較の結果、前記第2の時刻情報の時刻が前記第1の時刻情報の時刻と異なる場合は、前記コピーペアの状態情報をコピー中状態に変更する
ことを特徴とする計算機システム。
【請求項２】
請求項１記載の計算機システムであって、
前記比較の結果、前記第2の時刻情報の時刻が前記第1の時刻情報の時刻より遅れている場合は、前記第3のストレージシステムは、前記計算機から受信したデータの書き込み順序に従った複製処理を制御する対象から、前記第2のコピーペアを除外することを特徴とする計算機システム。
【請求項３】
請求項２記載の計算機システムであって、
前記第3のストレージシステムは、前記第2の時刻情報の時刻が、前記第1の時刻情報の時刻と等しくなるまで、前記コピーペアの状態情報の変更を維持することを特徴とする計算機システム。
【請求項４】
請求項１乃至請求項３のいずれか１つに記載の計算機システムであって、
前記第3のストレージシステムは、前記時刻の比較を行う前に、前記第3のストレージシステム及び前記第4のストレージシステムに対してコピーペアの有無の初期化処理を実行することを特徴とする計算機システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示される技術は、記憶制御装置およびその制御方法に関し、特に、複数の記憶制御装置を有する計算機システムでのリモートコピー環境におけるストレージシステムおよびその制御方法に関する。
【背景技術】
【０００２】
データ量の爆発的な増加に伴い、計算機システム内のホスト計算機が扱うストレージシステムの容量や個数は増加傾向にある。 
また、業務が情報処理システムの依存度を高め、データ喪失のときの被害が甚大なものになるにつれ、当該データのディザスタリカバリの重要性も高まる一方である。
【０００３】
ディザスタリカバリの代表的な実装例としてリモートコピー構成がある。例えば特許文献１には、ホスト計算機が発行したデータをストレージシステムが受信し、当該ストレージシステムは自装置に当該データを書き込み、物理的に離れた場所に配置された異なるストレージシステムに対し、当該データを転送し保存する技術が開示される。 
【特許文献１】特開平11−85408
【発明の開示】
【発明が解決しようとする課題】
【０００４】
正ストレージシステムと、副ストレージシステムがそれぞれ複数あり、正副ストレージシステムの論理ボリューム間でペアを構成し、複数のペアを一つのグループとしてコピーを開始する場合、それぞれのペアでのデータ転送状況が異なる場合や副ストレージシステム間での通信可能かを確認する必要がある。したがって、複数のストレージシステム間でデータの書き込み順序を保証するために、複数のペア間で整合性をとってから開始する必要がある。
【課題を解決するための手段】
【０００５】
上記課題のいずれか一を解決するために、例えば、ある計算機システムは、ホスト計算機に接続され、ホスト計算機から受信するデータが格納される第一の論理ボリュームを有するコピー元のストレージシステムAと、第二の論理ボリュームを有するコピーのストレージシステムBと、ストレージシステムAに接続され、第一の論理ボリュームに格納されるデータの複製が格納される第三の論理ボリュームを有するコピー先のストレージシステムCと、ストレージシステムBに接続され、第二の論理ボリュームに格納されるデータの複製データが格納される第四の論理ボリュームを有するコピー先のストレージシステムDと、を有する。
【０００６】
ストレージシステムAは、ホスト計算機が時刻情報を付与して発行したライトデータを受領し、ライトデータと時刻情報とをストレージシステムCに送信し、ストレージシステムBも同様にホスト計算機が時刻情報とともに発行したライトデータを受領し、ライトデータと時刻情報とをストレージシステムDに送信する場合に、ストレージシステムDが代表として、ストレージシステムAから受信したライトデータの時刻情報とストレージシステムBから受信したライトデータの両時刻情報を比較し、それらの時刻情報に従って第三の論理ボリューム、第四の論理ボリュームに格納する手段を有する。
【０００７】
ストレージシステムAおよびBは上記データ複製処理の状態をホスト計算機に提示する手段を有する。
【０００８】
さらに、ストレージシステムDは上記データの複製処理開始後に、ストレージシステムCと複製初期化のための通信関係の構築処理を実施し、その処理の進捗をホスト計算機に提示する手段を有する。
【０００９】
ホスト計算機はデータの複製処理の進捗と、ストレージシステムDによるストレージシステムCと複製初期化の両方が完了した時点で、コピー先ストレージシステムのデータの書き込み処理が正常に実施されていると判定する方法を備える。
【発明の効果】
【００１０】
複数のストレージシステムでライトデータの書き込み順序を維持することが可能なリモートコピーで、任意の時点でデータの書き込みが正しくなされていることを判定することが可能になり、上記リモートコピーでライトデータの書き込み順序が維持されていることを保証することができる。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の一実施例を説明する。尚、本発明は以下に説明する実施形態に限定されるものではない。
【００１２】
図１は本実施形態における計算機システムの構成例を示す図である。計算機システムは、１か複数の正ホスト計算機100、複数の正記憶制御装置1000a、１か複数の副ホスト計算機200、複数の副記憶制御装置1000bを有する。
【００１３】
複数の正記憶制御装置1000aと正ホスト計算機100はそれぞれ通信パス500で接続されている。同様に複数の副記憶制御装置1000bと副ホスト計算機200はそれぞれ通信パス500で接続されている。副ホスト計算機200は災害時やメインテナンス時に正ホスト計算機の交替計算機として利用される他、正ホスト計算機とは異なる業務を実施する場合に利用される。尚、正ホスト計算機100、副ホスト計算機200は制御ネットワーク550にも接続されていても構わない。
【００１４】
正ホスト計算機100、副ホスト計算機200は図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。また、上記メモリにはOS（Operating System）130、データベースなどのアプリケーションプログラム（以下APとよぶ）110、ストレージ管理ソフト120が格納される。これらは正ホスト計算機100、副ホスト計算機200が有するプロセッサにより実行される。また、副ホスト計算機200、副ホスト計算機200も正ホスト計算機同様に図示しないがプロセッサ、メモリ、IO処理部を有し、それぞれは内部ネットワークによって接続される計算機である。上記メモリにはOS（Operating System）230、AP220が格納される。これらは副ホスト計算機200、副ホスト計算機200が有するプロセッサにより実行される。
【００１５】
正ホスト計算機100、副ホスト計算機200のAPやストレージ管理ソフトからOSを介して発行されたIO要求は、各々通信パス500を介して正記憶制御装置1000aや副記憶制御装置1000bで処理される。
【００１６】
複数の正記憶制御装置1000aは各々入出力制御部1100、共有メモリ1200、キャッシュ1300a、ディスク制御装置1400a、１または複数のディスク装置1600aを有し、上記は内部的にネットワークにより接続される。入出力制御部1100aは、正データ受領部1110a、正ライトデータ転送部1120aの各種プログラムを実行可能である。また、複数の正記憶制御装置1000aのうち、一の正記憶制御装置1000aの入出力制御部1100は、各種プログラムの実行や通信線を介する外部との送受信の制御を行う。
【００１７】
入出力制御部で実施する処理で必要となる情報は、ボリュームセット管理情報1210a、ライトデータ管理情報1220a、正コピーペア管理情報1230a、正ボリューム管理情報1240a、正コピーグループ管理情報1250aがある。上記情報は共有メモリ1200に格納される。
【００１８】
キャッシュ1300aは主にリードデータやライトデータを格納する高速なメモリであり、キャッシュ1300aを使用することによって高いIO処理性能を実現することができる。
【００１９】
ディスク制御部1400aは１か複数のディスク装置1600aを論理的な記憶資源（以下、論理ボリュームとよぶ）として提供する処理を行う。また、ディスク制御部1400aは必要に応じキャッシュ1300aとディスク装置1600a間のリードデータやライトデータの転送処理も行う。
【００２０】
ディスク装置1600aはハードディスクドライブやフラッシュメモリなどの物理的な大容量データ記憶装置である。ディスク装置1600aはディスク制御部からの入出力指示に従って、データの書き込み、読み出し処理を行う。
【００２１】
複数の副記憶制御装置1000bも各々入出力制御部1100、共有メモリ1200、キャッシュ1300b、ディスク制御装置1400b、１または複数のディスク装置1600bを有し、上記は内部的にネットワークにより接続される。入出力制御部1100は副データ受領部1110b、副ライトデータ反映部1150bの各プログラムを実行する。また、一の副記憶制御装置1000bの入出力制御部1100は、グループ代表処理部1140bを実行する。このグループ代表処理部1140bは共有メモリ1200に格納されているプログラムであって、入出力制御部1100が共有メモリから読み出し、実行する。
【００２２】
共有メモリ1200bには入出力制御部1100bが使用する、ボリュームセット管理情報1210b、ライトデータ管理情報1220b、副コピーペア管理情報1230b、副ボリューム管理情報1240b、コピーグループ管理情報1250bが格納される。
【００２３】
キャッシュメモリ1300b、ディスク制御部1400b、ディスク装置1600bの役割は前述の正記憶制御装置1000aと同じである。
【００２４】
また、複数の正記憶制御装置1000aと複数の副記憶制御装置1000b間は、通信パス510により接続される。複数の正記憶制御装置1000a間、および複数の副記憶制御装置間もまた通信パス530により接続される。なお、正記憶制御装置1000aとディスク装置1600aとを備えるシステムを正ストレージシステム、副記憶制御装置1000bとディスク装置1600bとを備えるシステムを副ストレージシステムという。
【００２５】
図１７は本実施例のハードウェアシステム構成を示している。複数の正記憶制御装置1000aは通信パス530により接続される。
【００２６】
同様に複数の副記憶制御装置1000bも通信パス530により接続される。複数の正/副記憶制御装置1000a/bは、各々入出力制御部1100、共有メモリ1200/b、キャッシュ1300a/b、ディスク制御装置1400a/b、１または複数のディスク装置1600a/bを有し、上記は内部的にネットワークにより接続される。
【００２７】
上述のとおり、グループ代表処理部1140bは複数ある副記憶制御装置1000bの１副記憶制御装置にある。ここで、グループ代表処理部1140bはコピーグループを使用する１リモートコピーに対し１存在する。
【００２８】
次に、正副記憶制御装置間で実施するリモートコピーの動作概要について説明する。例えば正ホスト計算機100が正記憶制御装置1000aに対しライトIO要求を発行する場合を考える。ここで、正ホスト計算機100はライトIO要求に当該ホスト計算機の持つ時刻（以後ライト時刻とよぶ）を含めることが可能な計算機を想定する。正ホスト計算機100が発行したライトIO要求が正記憶制御装置1000aに到着すると、当該IO要求に含まれるライトデータは当該正記憶制御装置1000aの論理ボリュームに格納される。
【００２９】
ここで、当該IO要求があらかじめリモートコピーとして登録された論理ボリュームへのライトであった場合、正記憶制御装置1000aは、当該ライトデータに対しリモートコピーを実施する。リモートコピーとは正記憶制御装置1000aの特定論理ボリュームへのライトデータを副記憶制御装置1000b内の特定論理ボリュームにリモートコピーする手続きを指す。リモートコピーのコピー元ボリュームとライトデータのコピー先ボリュームの組み合わせをコピーペアとよぶ。
【００３０】
本実施例では、正記憶制御装置1000aおよび副記憶制御装置1000b間には複数のコピーペアが存在し、特定のコピーペアをまとめてグループ化されている。グループ化されたリモートコピーの一例を示す概念図を図2に示す。図2で、正記憶制御装置1000aにはボリュームセットＡ、ボリュームセットＢ、ボリュームセットＣが、記憶制御装置1000bにはボリュームセットＤ、ボリュームセットＥ、ボリュームセットＦが存在する。グループには記憶制御装置内の１か複数の論理ボリューム1500が存在する。ボリューム1500a/b間の矢印はグループ間のコピーペアの対応関係を示している。すなわち、コピー元のボリュームセットＡはコピー先のボリュームセットＤとコピーペア関係が有り、同様にボリュームセットＢとボリュームセットＥおよび、ボリュームセットＣとボリュームセットＦがコピーペアの関係がある。本実施例ではグループ単位で、正記憶制御装置1000aが受信したライトデータの順序や、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送や、副記憶制御装置1000bにおけるライトデータのボリュームへの反映を管理していて、このような処理に必要な資源の割り当てを行っている。
【００３１】
ボリュームセット単位でリモートコピーを制御可能にすることで、多数のコピーペア単位の制御の必要がなくなり、リモートコピー制御が容易になる。また、業務やユーザの要望などに応じたコピーペアのみをボリュームセットとしてまとめることができるため、不要な論理ボリューム1500のリモートコピーを実施することもなくなる。また、正ホスト計算機100の性能やIO処理性能の違いにより論理ボリューム1500に対する要求性能が異なるため、これらは別のボリュームセットに分けてそれぞれで処理を行うようにし、処理に対するユーザからの操作やチューニング条件の設定などを別々に受けられるようにする目的もある。
【００３２】
本実施例の記憶制御装置ではさらに、複数のボリュームあるいは、複数のボリュームセットをまとめたリモートコピー制御が可能で、コピーグループを用いる。コピーグループを使用することで、記憶制御装置内の論理ボリュームにリモートコピーの制御範囲が限定される上記グループの枠を超えた、複数記憶制御装置を横断したリモートリモートコピー制御が可能になる。例えば図２では、コピーグループにはコピー元のボリュームセットＡ、ボリュームセットＢ、ボリュームセットＣおよび、コピー先のボリュームセットＤ、ボリュームセットＥ、ボリュームセットＦが存在する。コピーグループを使用することで上記コピー元からコピー先への複数グループをまとめたコピー操作が可能になる。コピーグループを使用する例として、IO処理性能を向上させるために複数記憶制御装置に跨ってデータ処理を行う分散データベースなどがある。
【００３３】
また、本実施例によると、グループおよびコピーグループ内では、正記憶制御装置1000aの当該グループに属する複数論理ボリュームへのライトデータの順序関係を、副記憶制御装置1000bでも保障するリモートコピーを実施する。上記のようなリモートコピーでライトデータの順序関係を保障することを、ライトデータの整合性とよぶ。グループを使用することで、記憶制御装置内の該当グループに属する論理ボリューム間でライト順序を保障することが可能なリモートコピーを実現する。また、コピーグループを使用する場合は、コピーグループ内にある記憶制御装置1000を横断した論理ボリュームへのライトデータ順序を保障するリモートコピーを実現する。
【００３４】
グループ内でライトデータの整合性を保障することで、たとえば記憶制御装置内の複数論理ボリュームにまたがって処理をするデータベースはグループを用いることで、複数記憶制御装置間をまたがって処理を行う分散データベースなどではコピーグループを用いることで副記憶制御装置からの回復を可能にする。正記憶制御装置が受信するライトデータの書き込み順序は副記憶制御装置でも保障されるため、副記憶制御装置からの回復手順は正記憶制御装置における障害時の回復手順と同一である。ここで、コピーグループを用いない場合、正ホスト計算機が１正記憶制御装置1000aに発行したライトデータが回線障害などでコピー先の副記憶制御装置に転送不可能になったとしても、別正記憶制御装置1000aの回線に障害が発生しない限り、当該別正記憶制御装置が受信したライトデータは副記憶制御装置1000bに転送される。ここで、正記憶制御装置1000aが被災すると、副ホスト計算機から回復処理がなされたとしても、副記憶制御装置1000b間でデータの書き込み順序が正記憶制御装置に発行した順序と異なってしまっているため、アプリケーションプログラムが必要とするデータが正しく転送されていないことがあり、業務の復帰ができないことがある。
【００３５】
図４にボリュームセット管理情報の形式の一例を示す。ボリュームセット管理情報1210aはボリュームセットＩＤ（2A）、コピーグループID（2B）、ライト時刻（2C）、論理ボリューム数（2D）、論理ボリューム（2E）、相手記憶制御装置ID（2F）、相手ボリュームセットＩＤ(2G)、最新データ反映時刻（２H）を含む。ボリュームセットＩＤ（2A）は正制御装置1000a内のグループを識別するために使用する。コピーグループID（2B）はコピーグループを識別するためのIDである。ライト時刻（2C）はホスト計算機により発行された該当ライトデータの時刻が格納される。論理ボリューム数（2D）は当該グループに存在する論理ボリューム1500の総数である。ボリュームIDは該当グループ内に存在するボリュームのIDであり、論理ボリューム数（２D）分存在する。相手記憶制御装置ID（2F） は、正記憶制御装置1000aとリモートコピーにおいてコピー先となっている副記憶制御装置1000bのIDである。相手ボリュームセットＩＤ（2G）はコピー先の記憶制御装置IDにおいて、コピー先の論理ボリュームが属するグループを識別するIDである。最新データ反映時刻（２H）は副記憶制御装置のグループ内論理ボリュームで最後に書き込んだライトデータの持つ時刻を示す。
【００３６】
また、副記憶制御装置1000bもボリュームセット管理情報1210bを有するが、この項目も正記憶制御装置1000aのボリュームセット管理情報1210aと同様である。ただし、ボリュームセット管理情報1210bのボリュームセットＩＤはコピー先の論理ボリューム1500が属するグループを特定するIDであり、相手記憶制御装置IDはコピー送元の論理ボリュームを有する正記憶制御装置1000aを特定するIDであり、相手ボリュームセットＩＤは相手記憶装置IDが指す正記憶制御装置1000aにおけるコピー元の論理ボリュームが属するグループを特定するためのIDである。
【００３７】
図５にライトデータ管理情報1220aの一例を示す。副記憶制御装置でコピー元の論理ボリュームに格納されるデータの複製データをコピー先の論理ボリュームに格納するのに参照される情報を含む。ライトデータ管理情報1220aは論理ボリュームID（3A）、ライトアドレス（3B）、ライトデータ長（3C）、ライトデータポインタ（3D）、シーケンシャル番号（3E）、ライト時刻（3F）、転送必要ビット（3G）を含む。論理ボリュームID（3A）は当該ライトデータのライト先ボリュームを特定するためのIDである。ライトアドレス（3B）は当該ライトデータのライト先論理ボリューム上のライトアドレスである。ライトデータ長（3C）は当該ライトデータのデータサイズである。転送必要ビット（3G）はリモートコピー対象の有無を示す。
【００３８】
また、副記憶制御装置1000bのライトデータ管理情報1220bの内容は、正記憶制御装置のライトデータ管理情報1220aのものと同様である。ただし、副記憶制御装置1000bの共有メモリ1200に格納されるライトデータ管理情報1220bは、論理ボリュームIDがコピー先ボリューム１５００のIDであり、ライトデータポインタは副側記憶制御装置1000bのキャッシュメモリ1300bにおけるライトデータの開始アドレスであり、転送必要ビットは転送なしを示すビットになっていることが、正記憶制御装置1000aが有するライトデータ管理情報と異なる。
【００３９】
コピーペアの状態は７状態存在する。初期、コピー中、2重化、一時停止中、一時停止、ペア解除中、エラーである。初期はコピーが開始されていない状態である。コピー中は初期コピー中の状態である。初期コピーとはコピーペアのコピー元論理ボリュームの内容をコピー先論理ボリュームに転送し終えていない過渡的な状態で、コピー開始直後に遷移する状態で、ライトデータの整合性を保証できない。2重化はコピーペアのコピー元論理ボリュームの内容をコピー先論理ボリュームに転送を完了し、論理内容が一致した状態である。2重化遷移以降は正記憶制御装置1000ａの該当ボリュームへのライトデータ受信時のみ、データ転送を実施する。一時停止中はコピーを一時的に停止する状態に移行する途中の過渡状態である。一時停止はコピーを一時的に停止した状態である。この状態では、ライトデータはコピー元の正記憶制御装置1000aに一時的に保管される。一方コピー再開時は、一時停止中に保管していたライトデータが当該正記憶制御装置から副記憶制御装置1000bに転送される。この一時停止状態から二重化状態に遷移する状態も一時停止中状態となる。ペア解除中はコピーを終了するときに遷移する過渡的な状態である。また、エラー状態はコピー処理中に障害が発生した時点で遷移する。図１８にコピー状態の遷移表を示す。矢印は遷移方向を指している。また、円は定常的な状態を、四角は過渡的な状態をさす。たとえば、ペア解除中は一時停止、2重化状態から遷移が可能であることを指している。また、エラーはどの状態からも遷移する可能性があるため、図では遷移方向を示していない。
【００４０】
図６にコピーペア管理情報1230aの形式例を示す。コピーペア管理情報1230aには正論理ボリュームID(5A)、コピー状態（5B）、副記憶制御装置ID（５C）、副論理ボリュームID（5D）、ボリュームセットＩＤ(５F)、コピーグループID（5G）を含む。正論理ボリュームID(5A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。コピー状態（5B）はコピーの処理状態を示す。副記憶制御装置ID(5C)はコピー先の副記憶制御装置を識別するIDである。副論理ボリュームID(5D)は前述の副記憶制御装置にあるコピー先の論理ボリュームを識別するためのIDである。正ボリュームセットＩＤ（5F）はコピーペアが属する正記憶制御装置1000aのコピーグループを識別するID、コピーグループ(5G)は正・副記憶制御装置の正副コピーグループをまとめるコピーグループを識別するIDである。 
コピーペア管理情報1230aは、保存された正記憶制御装置1000aで動作する全リモートコピーのコピーペア情報が記載される。
【００４１】
また、副記憶制御装置1000bにもコピーペア管理情報も持つが、この項目も正記憶制御装置1000aのものと同様である。
【００４２】
図７は、ボリューム管理情報1240aの形式例である。ボリューム管理情報1240aは正記憶制御装置1000aが正記憶制御装置内の全ボリュームの状態を管理するための管理情報で、ボリューム管理情報1240aには論理ボリュームID(6A)、ボリューム状態(6B)、容量（6C）、ペアID（6D）、ボリュームセットＩＤ（6F）、コピーグループID（6G）を含む。論理ボリュームID(6A)は正記憶制御装置上のコピー元の論理ボリュームを識別するIDである。ボリューム状態(6B)はボリュームの状態を示し、正常、正、副、異常、未使用のいずれかの値を取る。ボリューム状態が正常または正の場合には、その論理ボリュームに対して正ホスト計算機100もしくは副ホスト計算機200が正常にアクセス可能であることを意味する。また、ボリューム状態が正の場合には、コピー元の論理ボリュームであることを意味する。ボリューム状態が副の場合には、コピー先の論理ボリュームであることを意味する。ボリューム状態が異常の場合には、その論理ボリュームに対して正ホスト計算機100もしくは副ホスト計算機200が正常にアクセスできないことを意味する。たとえば、論理ボリュームを有するディスク装置1600aの故障による障害が該当する。ボリューム状態が未使用の場合には、その論理ボリュームは使用されていないことを意味する。ペアID(6D)は、ペアを特定するためのIDを示す。ボリュームセットＩＤ(6F)はコピーグループ内の正記憶制御装置1000aにおいてグループを特定するためのIDである。コピーグループID（6G）はコピーグループを特定するためのIDである。
また、副記憶制御装置1000bにもボリューム管理情報1240bを持つが、正記憶制御装置1000aのものと同様である。
【００４３】
図３にコピーグループ管理情報1250bの形式の一例を示す。コピーグループ管理情報1250bはグループ代表処理部1140bが動作する副記憶制御装置に存在する。コピーグループ管理情報にはコピーグループID（1A）、ボリュームセット数ボリュームセット数（1B）、コンテナ時刻（1C）、グループ情報（1D）を含む。コピーグループID（1A）は正副記憶制御装置間でコピーグループを識別するためのIDである。ボリュームセット数（1B）はコピーグループ内に存在するボリュームセットの総数を示す。コンテナ時刻（1C）はコピーグループ内の副記憶制御装置の論理ボリュームに最後に書き込んだライトデータの持つ時刻を示す。ボリュームセット情報（1D）はコピーグループに登録されたボリュームセット情報が保持され、副記憶制御装置を識別する記憶制御装置IDおよび当該記憶制御装置内の該当ボリュームセットのIDおよびグループ代表処理部の登録有無などを保持するグループ登録状態、グループの動作状態を示すグループ動作情報を含む。また、グループ情報（１D）はボリュームセット数（１B）分存在する。
【００４４】
次に、コピーグループを使用した通常時のリモートコピーの動作について説明する。
【００４５】
図９は正記憶制御装置1000aが正ホスト計算機100もしくは副ホスト計算機200から、リモートコピーのコピー元となる論理ボリューム1500aに対するライトIO要求を受領した場合の処理の一例を示した図である。
【００４６】
正記憶制御装置1000aの正データ受領部1110aは、通信パス５００を介して、正ホスト計算機が発行したライトIO要求を受領する。正データ受領部1110aでは当該受領ライトIO要求の解析を行い、ライト先の論理ボリュームID、ライトアドレス、ライトデータ長、ライト時刻およびライトデータを取得する（ステップ5000）。
【００４７】
正データ受領部1110aは取得したライトデータをキャッシュメモリ1300aに格納する（ステップ5010）。さらに、正データ受領部1110aは共有メモリ1200に保管されたボリューム管理情報1240aを参照する。
【００４８】
次に、正データ受領部1110aは当該管理情報の正論理ボリュームID（5A）の内容と、受領したライトIO要求のライト先の論理ボリュームIDが合致するものを検出する。検出結果、ボリューム管理情報の該当する論理ボリューム情報の要素に有効なペアIDが存在する場合、リモートコピー対象と判定する（ステップ5020YES）。 
受領したライトIO要求がリモートコピー対象である場合、正データ受領部1230aは当該ライトデータからライト時刻を取り出し、さらに転送必要ビットが「有り」であるライトデータとして当該ライトデータを関連付ける（ステップ5030）。取り出したライト時刻はグループおよびコピーグループ内で実施されるリモートコピーのコピー先論理ボリュームの書き込み順序を保障するために利用される。
【００４９】
ステップ5030の後、もしくはコピーペア管理情報1230ａの正論理ボリュームID（5A）と受領したライトIO要求が指すボリューム管理情報に有効なペアIDが存在しない場合（5020NO）、ステップ５０００で取得した情報（ライト先の論理ボリュームID、ライトアドレス、ライトデータ長）、ステップ5010でライトデータを格納したキャッシュメモリの格納先アドレス（ライトデータポインタ）、およびリモートコピー開始からライトデータ管理情報が作成された個数であるシーケンシャル番号を用いて、ライトデータ管理情報1220aを作成する。また、ステップ5030で転送必要ビットが「有り」と関連付けられている場合は当該転送必要ビットも当該ライトデータ管理情報に格納する（ステップ5040）。
【００５０】
最後にデータ受領部1110aは正ホスト計算機100にライト完了を報告する（ステップ5050）。
【００５１】
以上のように、記憶制御装置1000にホストからのIO要求を受領してから完了報告をホストに返すまでに、一般的に多大な時間が必要になるといわれる物理ディスクへのライトや、別記憶制御装置への転送処理が含まれない。これらの処理は適当なタイミングで非同期に実施される。従って、正ホスト計算機や正ホスト計算機からのIO要求は短時間で完了が可能となる。
【００５２】
図１１A及び図１１Bは、正記憶制御装置1000aから副記憶制御装置1000bへのライトデータの転送処理の一例を示す図である。
【００５３】
まず図１１Aは、正記憶制御装置1000aの正ライトデータ転送部1120aの処理を示す。正ライトデータ転送部1120aは、ライトデータ管理情報1220aを参照し、転送必要ビットが転送「有り」を示しているライトデータを求め、ライトデータ管理情報1220aとボリュームセット管理情報1210aとコピーペア管理情報1230aを参照し、ライトデータ情報を作成する（ステップ6000）。
【００５４】
上記ライトデータ情報には、ライトデータ管理情報1220aから参照したライトアドレス、ライトデータ長、ライト時刻と、コピーペア管理情報1230aから収集した相手ボリュームセットＩＤ、副記憶制御装置ID、副論理ボリュームIDが含まれる。
【００５５】
次に正ライトデータ転送部1120aは、ステップ6000で特定したライトデータとステップ6000で共有メモリ1200から読み出したライトデータ情報を、副記憶制御装置1000bに転送する（ステップ6010）。  
図１１Bは、副記憶制御装置1000bの副データ受領部1110bが、正記憶制御装置1000aから受領したデータに関する処理の流れを示す図である。副データ受領部1110bは、当該装置内の副データ受領部1110bが、受領したライトデータと当該ライトデータのライトデータ情報をキャッシュメモリ1300bに格納する（ステップ6020）。
副データ受領部1110bはライトデータ情報からライトデータ管理情報1220bを作成する（ステップ6030）。
【００５６】
副データ受領部1110bは、受領したライトデータ情報に含まれているライト時刻が最新のものであることを確認し（ステップ6040）、最新であればこのライト時刻をボリュームセット管理情報1210bの最新データ反映時刻（2H）に記録する（ステップ6050）。
【００５７】
最後に副データ受領部1110bは正ライトデータ転送部1120aにライトデータ受領完了を報告する（ステップ6060）。ライトデータ受領完了の報告を受信したライトデータ転送部1120aは、完了報告に対応するライトデータについてライトデータ管理情報1220aの転送必要ビットが不要を示すビットに変更する。正記憶制御装置1000aが有するコピー元の論理ボリューム1500にライトデータが書き込まれている条件で、キャッシュメモリから当該ライトデータを破棄できる。
【００５８】
図１２、図１９は、副記憶制御装置1000bにおけるコピー先論理ボリュームへのライトデータの反映処理の一例を示す図である。
【００５９】
図１２は、上記処理でグループ代表処理部1140bが存在する副記憶制御装置1000bの処理を示す。
【００６０】
複数の副記憶制御装置1000bのうち１の副側記憶制御装置1000bに存在するグループ代表処理部1140bは、すべての副側記憶制御装置1000bから、ボリュームセット管理情報1210bに記録されている最新データ反映時刻を全グループについて取得する。次に、取得した最新データ反映時刻の内、最も過去の時刻を求め、得られた時刻をコピーグループ管理情報のコンテナ時刻（１C）に格納する(ステップ6500)。さらに、グループ代表処理部1140bはステップ6500で求めたコンテナ時刻よりも過去の時刻を示すライトデータ管理情報1220bのライトデータをコピー先論理ボリュームに反映するように、すべての副記憶制御装置1000bに対し指示する（ステップ6510）。
【００６１】
グループ代表処理部1140bは、コピーグループの対象となる副記憶制御装置1000bからコピー先論理ボリュームへの反映処理に関する報告が、あるのを確認する。グループ代表処理部1140bは、反映処理に関する報告を確認し（ステップ6540、6550）、対象となるすべての副記憶制御装置1000bにおけるライトデータの反映の完了を確認した場合（ステップ6550YES）、処理を終了する（ステップ6560）。
【００６２】
図１９は上記処理でグループ代表処理部1140bが存在しない副記憶制御装置1000bの処理を示す。
【００６３】
副ライトデータ反映部1150bは、ステップ6510で発行された指示に該当するライトデータのコピー先論理ボリューム1500へ、各グループにおけるIO発行時刻順に書き込む。副ライトデータ反映部は、指示されたライトデータの論理ボリュームへの書き込みが完了した場合、反映完了をグループ代表処理部1140bに報告する（ステップ6540）。
【００６４】
以上が、各副記憶制御装置での副ライトデータ反映部1110bの処理である。グループ代表処理部を有する副記憶制御装置では副ライトデータ反映部1110bと、同じ副記憶制御装置内でグループ代表処理部とのやりとりが行われる。グループ代表処理部を有さない副記憶制御装置の副ライトデータ反映部1110bは、通信パス500を介してグループ代表処理部と通信を行う。
【００６５】
図１６は正・副ホスト計算機上130a/bのストレージ管理ソフト120/220が使用するリモートコピー構成情報121の一例で、ホスト計算機上のメモリに格納される。リモートコピー構成情報はリモートコピーの構成の他、コピーグループ、コピーペアの状態を管理するために利用する。リモートコピー構成情報には、コピーグループID(9A)、代表記憶制御装置ID（9B）、ライトデータ整合性保証(9C)、正ボリュームセットＩＤ（9D）、副ボリュームセットＩＤ(9E)、正記憶制御装置ID（9F）、副記憶制御装置ID(9G) 、正論理ボリュームID(9H)、副論理ボリュームID(9I) 、ペア状態(9J)からなる。コピーグループIDはコピーグループを識別するためのID、代表記憶制御装置IDはグループ代表処理部1140bが動作する副記憶制御装置1000b、ライトデータ整合性保証はコピーグループでライトデータ整合性を保証できるか否かを示す。また、正ボリュームセットＩＤは正記憶制御装置で動作するボリュームセットＩＤ、副ボリュームセットＩＤは副記憶制御装置で動作するボリュームセットＩＤ、正論理ボリュームIDは正記憶制御装置内で正論理ボリュームを識別するためのID、副論理ボリュームIDは副記憶制御装置内で副論理ボリュームを識別するためのID、ペア状態は当該コピーペアの状態が格納される。
図１５にストレージ制御指示7300の一例を示す。ストレージ制御指示は正ホスト計算機100が記憶制御装置1000に発行するIO要求の一種で、あて先(8A)、指示内容(8B)、コピーグループID（8C）、ボリュームセットＩＤ（８D）、オプション（８E）を含む。あて先(8A)には正ホスト計算機100が発行するIO要求の発行先（記憶制御装置1000と論理ボリュームを識別するID）が入る。指示内容（8B）にはストレージ制御の指示内容が指定される。指示内容には、コピーグループ操作（コピーグループの登録、コピーグループの削除、コピーグループへのグループ追加、コピーグループからグループの解除）、コピーグループコピー操作（コピー一時停止、コピー再開、コピー解除）、グループ代表処理部操作（代表登録、解除、状態報告）、グループコピー操作（コピー一時停止、コピー再開、コピー解除）、コピーペア操作（コピー開始、コピー一時停止、コピー再開、コピー解除、コピー状態取得）がある。コピーグループID（8C）にはコピーグループを識別するためのIDが入る。ボリュームセットＩＤにはグループを識別するためのIDが入る。オプション(8E)にはストレージ制御指示を補助するオプション情報が指定される。
次にホスト計算機によるコピーグループを使用したコピー開始時動作について図１３を用いて説明する。
はじめに、リモートコピーを管理するユーザ等が正ホスト計算機100のストレージ管理ソフト120上でリモートコピー構成情報121を作成する（ステップ5320）。次に、正ホスト計算機100では作成したリモートコピー構成情報から、リモートコピーを開始するためのストレージ制御指示7300を作成する（ステップ5330）。ストレージ制御指示内容はコピーペア操作（開始）である。次に、上記で作成したストレージ制御指示コマンドをリモートコピーの制御対象となる正記憶制御装置に発行する（ステップ5340）。次に、複数の記憶制御装置間でライトデータの整合性維持を可能にするために、正ホスト計算機100は複数のリモートコピーをコピーグループに結合するためのストレージ制御指示（指示内容は、グループ代表処理部操作（コピーグループへグループ追加）を作成する（ステップ5350）。当該ストレージ制御指示にはコピーグループの制御対象にするグループ情報（正副ボリュームセットＩＤ、正副記憶制御装置ID）をすべて記載する。最後に、正ホスト計算機は、作成したストレージ制御指示を、グループ代表処理部が動作する副記憶制御装置1000ｂに対し発行する（ステップ5360）。ここで、副記憶制御装置に直接通信パス500が接続されていない場合は、通信パス500に接続されている正記憶制御装置を経由して上記副記憶制御装置に対して、ストレージ制御指示を発行しても構わない。
【００６６】
次に、記憶制御装置におけるコピーグループを使用したコピー開始時のリモートコピーの動作について、図１０A、１０B、１４を用いて説明する。
【００６７】
図１０Aは正記憶制御装置1000aがリモートコピー開始直後の処理の一例を示した図である。
【００６８】
まず、正記憶制御装置1000aの入出力制御部1100aがストレージ制御指示によりコピーペア操作（コピー開始）の指示を受けると、当該ストレージ制御指示7300のオプション（12D）に格納されたリモートコピーの構成情報を抜き出す（ステップ5500）。コピー構成情報には、正記憶制御装置ID、コピー元論理ボリュームID、副記憶制御装置ID、およびコピー先論理ボリュームID、コピー種別、正ボリュームセットＩＤ、副ボリュームセットＩＤがある。上述のコピー構成情報は正データ受領部1110aがコピーペア管理情報1230a、ボリューム管理情報1240aに登録する。さらに、正データ受領部は上述のコピーペア管理情報1230aのコピー状態（5B）の内容をコピー中の状態に、ボリューム管理情報1240aのボリューム状態(6B)を正に設定する。
【００６９】
次に、正データ受領部は取得したリモートコピーの構成情報を特殊なデータとして、正ライトデータ転送部1120aを介して、上記で得られた情報を基に副記憶制御装置1000bに転送する(ステップ5515)。
【００７０】
次に、正データ受領部はディスク処理部1400aに初期コピー開始を指示する（ステップ5520）。ディスク処理部1400aは指示に従って、リモートコピーに該当するデータをディスク装置1600aから読み出し、キャッシュメモリに書き込み、データの一部を読み込んだことを正データ受領部に通知する。正データ受領部はキャッシュメモリから該当データを読み出して、ライトデータ管理情報1240bを生成し、当該ライトデータ管理情報1240bを副記憶制御装置3000bに転送する（ステップ5530）。正データ受領部はコピー元論理ボリュームの内容をすべて副記憶制御装置に転送し終えるまで、ステップ5520、5530を繰り返し実施する。副記憶制御装置への転送が完了した時点で、データ受領部1110aはコピーペア管理情報1230aのコピー状態（5B）の内容を2重化の状態に設定する。また、正データ受領部は副記憶制御装置に対し、コピー中の状態が終了したことを通知する。
【００７１】
図１０Bにリモートコピー開始直後の副記憶制御装置1000bの処理の一例を示した図である。副記憶制御装置1000bでは副データ受領部1110bが上述のステップ5515で転送されたリモートコピーの構成情報を基に、ボリューム管理情報1240b、コピーペア管理情報1230bを作成する(ステップ5700)。また、ボリューム管理情報1240ｂのボリューム状態は副、コピーペア管理情報1230bのコピー状態はコピー中として設定する（ステップ5710）。
副記憶制御装置1000bではステップ5530で正記憶制御装置から転送されるリモートコピーのデータを図１１Bで示した処理を実施する。また、副記憶制御装置への転送完了が通知された時点で、データ受領部1110bはコピーペア管理情報1230bのコピー状態（5B）の内容を2重化の状態に設定し、処理を継続する。
【００７２】
図１４は、それぞれの記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にするために実施する、グループ代表処理部1140bの処理の一例を示した図である。この処理はホスト計算機によるグループ代表処理部操作（コピーグループへグループ追加）を正記憶制御装置が受信したときに実施する処理で、図１０A、１０Bで示した処理と並行して実施しても構わない。
【００７３】
いずれか１の副記憶制御装置1000b上で動作するグループ代表処理部1140bは、正ホスト計算機からのグループ代表処理部への指示（コピーグループへグループ追加）を受信すると、はじめにグループ代表処理部が動作する副記憶制御装置間から対象の副記憶制御装置までの通信パス530の有効性、それぞれの副記憶制御装置内のグループの有無、コピーペアの有無など初期化処理を実施する（ステップ5220）。グループ代表処理部1140bは、上記初期化処理が完了した時点（ステップ5230YES）でグループ代表処理部はコピーグループ管理情報1250bの該当グループ情報（１D）内グループ登録情報を登録済みにする（ステップ5240）。コピーグループ管理情報に登録されるすべてのグループ登録情報を「登録済み」にするまで、ステップ5220からステップ5250までの処理を繰り返す。
【００７４】
グループ代表処理部1140bは、コピーグループ管理情報に登録されるすべてのグループ登録情報を「登録済み」した場合（ステップ5250YES）、リモートコピー対象の副記憶制御装置のグループに対し、それぞれの装置内のボリュームセット管理情報1210bで管理される最新データ反映時刻を取得する（ステップ5260）。グループ代表処理部1140bは、取得した最新データ反映時刻とコピーグループ管理情報に保持されるコンテナ時刻を比較し、最新データ反映時刻が遅れている場合(5270YES)、最新データ反映時刻がコンテナ時刻に追いつくまで、当該グループのコピーペア状態をコピー中状態に変更し、グループ代表処理部によるライトデータの整合性制御対象から除外する（ステップ5280）。グループ代表処理部1140bは、コンテナ時刻を比較し、最新データ反映時刻が進んでいる場合(5270NO)、コンテナ時刻が追いつくまで当該グループのコピーペア状態をコピー中状態に変更する(ステップ5290)。ただし、当該グループは グループ代表処理部によるライトデータの整合性制御対象には含まれる。
【００７５】
以上のように、記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にする際に、新たにコピーグループに追加されるグループの最新データ反映時刻とコンテナ時刻にずれがある場合、新たに追加されるグループのコピー状態をコピー中にすることで、ライトデータの整合性が取れていないことをストレージ管理ソフトに通知することが可能になる。
【００７６】
次に、ホスト計算機によるコピーグループを使用したリモートコピー制御で、ライトデータの整合性が取れているか否かの判定方法について図８を用いて説明する。
ストレージ管理ソフト120の指示によりホスト計算機100は、リモートコピー構成情報121を参照し、リモートコピー対象の記憶制御装置に対し、コピー状態を取得するため、ストレージ制御指示（指示内容はコピーペア操作（コピー状態取得））を作成する。次に、ホスト計算機は、当該ストレージ制御指示を該当する記憶制御装置に発行し、コピー状態を取得する（ステップ4000）。
【００７７】
次に、ホスト計算機はステップ5220で示したグループ代表処理部による初期化処理の進捗を取得するために、ストレージ制御指示（指示内容はグループ代表処理部操作（状態報告））を作成する。次に、ホスト計算機は、当該ストレージ制御指示を該当する副記憶制御装置に発行し、グループ代表処理部による初期化処理の進捗状況を取得する（ステップ4010）。
【００７８】
ここで、ホスト計算機はコピー状態が2重化かつ、グループ代表処理部による初期化処理の進捗状況が完了（すべての対象グループの初期化処理が登録済み）である場合(ステップ4020YES)、ライトデータの整合性が取れていると判定する（ステップ4030）。
ホスト計算機は一旦ライトデータの整合性が取れていると判定した場合、エラー状態にならない限り、ライトデータの整合性を保証する。
【００７９】
また、ホスト計算機はライトデータの整合性が保証できていない状態をコピー状態のコピー中と判定しても構わない。コピー中の状態はライトデータの整合性が保証できない状態であるため、本実施例で想定しているリモートコピーとは異なる種別のリモートコピーとの差異がなくなるため、互換性を保つことが可能となる。これはたとえば、リモートコピーを制御する応用ソフトウェアに対し、本実施例のリモートコピーを適用するに当たり、特に修正を加える必要が無くなるなどの長所が生じる。
【００８０】
以上のように、本実施例によれば、複数の記憶制御装置を横断して実施するリモートコピーは、複数の記憶制御装置間のコピーで転送されるデータの書き込み順序を保証するグループ代表処理部の初期化の完了と、リモートコピーの状態の2重化への遷移の両方を満たして初めて、データの書き込み順序の保証が可能であることを判定可能となる。
また、異なる記憶制御装置間で実施する複数のリモートコピーを、グループ代理処理に結合指示を出すことで、１つのリモートコピーに結合することが可能になり、さらに上記データの書き込み順序を保証の判定方式を利用することで、リモートコピー利用者にデータの書き込み順序の保証が可能になる。
【図面の簡単な説明】
【００８１】
【図１】本発明の第1の実施例の計算機システムの構成に関するブロック図である。
【図２】本実施形態で対象とする複数記憶制御装置を横断して実施するリモートコピーのグループ、コピーグループの考え方を示す概念図である。
【図３】本実施形態の記憶制御装置に保存されるコピーグループ管理情報の構成図である。
【図４】本実施形態の記憶制御装置に保存されるボリュームセット管理情報の構成図である。
【図５】本実施形態の記憶制御装置に保存されるライトデータ管理情報の構成図である。
【図６】本実施形態の記憶制御装置に保存されるコピーペア管理情報の構成図である。
【図７】本実施形態の記憶制御装置に保存されるボリューム管理情報の構成図である。
【図８】本実施形態のホスト計算機がリモートコピーのライトデータの整合性を判定するために使用するフローである。
【図９】本実施形態の記憶制御装置が論理ボリュームに対するライトIO要求を受領した場合の処理の一例を示したフローである。
【図１０Ａ】本実施形態の正記憶制御装置1000aがリモートコピー開始直後の処理の一例を示したフローである。
【図１０Ｂ】本実施形態のリモートコピー開始直後の副記憶制御装置1000bの処理の一例を示したフローである。
【図１１Ａ】本実施形態の正記憶制御装置における正ライトデータ転送部の処理一例を示したフローである。
【図１１Ｂ】本実施形態の副記憶制御装置の副データ受領部が、正記憶制御装置から受領したデータに関する処理の一例を示したフローである。
【図１２】本実施形態のグループ代表処理部が動作する副記憶制御装置による、コピー先論理ボリュームに対するライトデータの反映処理処理の一例を示すフローである。
【図１３】本実施形態のホスト計算機によるコピーグループを使用したコピー開始時の動作の一例を示したフローである。
【図１４】記憶制御装置内で独立して動作するリモートコピーを、複数記憶制御装置間でライトデータの整合性を保証可能にするために実施する、グループ代表処理部の処理の一例を示すフローである。
【図１５】本実施形態でホスト計算機が記憶制御装置を制御するときに使用するストレージ制御指示の一例を示す図である。
【図１６】本実施形態のホスト計算機上で動作するストレージ管理ソフトが使用するリモートコピー構成情報の一例を示す図である。
【図１７】本実施形態の複数記憶制御装置間の関係を示すためのハードウェアシステム構成例を示している。
【図１８】本実施形態で対象とするリモートコピーの状態遷移表である。
【図１９】本実施形態のグループ代表処理部が動作していない副記憶制御装置における、コピー先論理ボリュームへのライトデータの反映処理の一例を示すフローである。
【符号の説明】
【００８２】
100・・・正ホスト計算機、1000a・・・正記憶制御装置、200・・・副ホスト計算機、1000b・・・副記憶制御装置、1100・・・入出力制御部、1200・・・共有メモリ、1300a・・・キャッシュ、1400a、1600a・・・ディスク制御装置、1210a・・・ボリュームセット管理情報、1220a・・・ライトデータ管理情報、1230a・・・正コピーペア管理情報、1240a・・・正ボリューム管理情報、1250a・・・正コピーグループ管理情報、1140b・・・グループ代表処理部
【図１】
0004835249.tif 000002
【図２】
0004835249.tif 000003
【図３】
0004835249.tif 000004
【図４】
0004835249.tif 000005
【図５】
0004835249.tif 000006
【図６】
0004835249.tif 000007
【図７】
0004835249.tif 000008
【図８】
0004835249.tif 000009
【図９】
0004835249.tif 000010
【図１０Ａ】
0004835249.tif 000011
【図１０Ｂ】
0004835249.tif 000012
【図１１Ａ】
0004835249.tif 000013
【図１１Ｂ】
0004835249.tif 000014
【図１２】
0004835249.tif 000015
【図１３】
0004835249.tif 000016
【図１４】
0004835249.tif 000017
【図１５】
0004835249.tif 000018
【図１６】
0004835249.tif 000019
【図１７】
0004835249.tif 000020
【図１８】
0004835249.tif 000021
【図１９】
0004835249.tif 000022