(57)【要約】【課題】ＴＦＯ後も正しい記憶装置を指定してデータを操作できるようにする。【解決手段】情報処理装置１０は、制御部１２を有する。制御部１２は、第１のストレージ装置１内で一意の識別子により操作対象の記憶装置１ａ，１ｂを指定した第一の操作要求４に、第１の種別を示す種別情報を含め、操作要求４をネットワーク３上に出力する。制御部１２は、透過的フェイルオーバの発生により、操作要求４が第２のストレージ装置２に送信され、第２のストレージ装置２から種別間違いを示すエラー応答５を受信すると、第２のストレージ装置２内で一意の識別子により操作対象の記憶装置２ａ，２ｂを指定した第２の操作要求６に、第２の種別を示す種別情報を含め、操作要求６をネットワーク３上に出力する。【選択図】図１
2015191385.tif 000002
【特許請求の範囲】
【請求項１】
第１の種別の第１のストレージ装置と、透過的フェイルオーバ発生時に前記第１のストレージ装置への操作要求を引き継ぐ第２の種別の第２のストレージ装置とに、ネットワークを介して接続される情報処理装置において、
前記ネットワークに接続するインタフェース部と、
前記第１のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第１の操作要求に、前記第１の種別を示す種別情報を含め、前記第１の操作要求を、前記インタフェース部を介して前記ネットワーク上に出力し、透過的フェイルオーバの発生により、前記第１の操作要求が前記第２のストレージ装置に送信され、前記第２のストレージ装置から種別間違いを示すエラー応答を受信すると、前記第２のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第２の操作要求に、前記第２の種別を示す種別情報を含め、前記第２の操作要求を、前記インタフェース部を介して前記ネットワーク上に出力する制御部と、
を有する情報処理装置。
【請求項２】
デバイス名に対応付けて、該デバイス名に対応する前記第１のストレージ装置内の記憶装置の識別子と、該デバイス名に対応する前記第２のストレージ装置内の記憶装置の識別子とが設定されたデバイス情報テーブルを記憶する記憶装置をさらに有し、
前記制御部は、前記第１の操作要求の出力の際に、デバイス名が指定された操作指示に応じて、前記デバイス情報テーブルを参照して、前記操作指示で指定されたデバイス名に対応する、前記第１のストレージ装置内の操作対象の記憶装置の識別情報を判断し、前記第２の操作要求の出力の際に、前記デバイス情報テーブルを参照して、前記操作指示で指定されたデバイス名に対応する、前記第２のストレージ装置内の操作対象の記憶装置の識別情報を判断する、
ことを特徴とする請求項１記載の情報処理装置。
【請求項３】
前記第１及び第２の操作要求は、コピー元の記憶装置とコピー先の記憶装置とを指定したコピー要求であることを特徴とする請求項１または２記載の情報処理装置。
【請求項４】
第１の種別の第１のストレージ装置、透過的フェイルオーバ発生時に前記第１のストレージ装置への操作要求を引き継ぐ第２の種別の第２のストレージ装置、および情報処理装置をネットワークで接続したストレージシステムにおいて、
前記情報処理装置は、前記第１のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第１の操作要求に、前記第１の種別を示す種別情報を含め、前記第１の操作要求を前記ネットワーク上に出力し、透過的フェイルオーバの発生により、前記第１の操作要求が前記第２のストレージ装置に送信され、前記第２のストレージ装置から種別間違いを示すエラー応答を受信すると、前記第２のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第２の操作要求に、前記第２の種別を示す種別情報を含め、前記第２の操作要求を前記ネットワーク上に出力し、
前記第１のストレージ装置は、前記第１の操作要求を受信すると、前記第１の操作要求に従ってデータを操作し、
前記第２のストレージ装置は、前記第１または第２の操作要求を受信すると、前記第１または第２の操作要求に含まれる種別情報に示される種別と、前記第２のストレージ装置自身の種別とを比較し、同じであれば、受信した前記第１または第２の操作要求に従ってデータを操作し、同じでなければ、種別間違いを示すエラー応答を前記情報処理装置に送信する、
ことを特徴とするストレージシステム。
【請求項５】
第１の種別の第１のストレージ装置と、透過的フェイルオーバ発生時に前記第１のストレージ装置への操作要求を引き継ぐ第２の種別の第２のストレージ装置とに、ネットワークを介して接続されたコンピュータに、
前記第１のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第１の操作要求に、前記第１の種別を示す種別情報を含め、前記第１の操作要求を前記ネットワーク上に出力し、
透過的フェイルオーバの発生により、前記第１の操作要求が前記第２のストレージ装置に送信され、前記第２のストレージ装置から種別間違いを示すエラー応答を受信すると、前記第２のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第２の操作要求に、前記第２の種別を示す種別情報を含め、前記第２の操作要求を前記ネットワーク上に出力する、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、ストレージシステム、およびプログラムに関する。
【背景技術】
【０００２】
ストレージ装置の信頼性を向上させる技術の１つに、フェイルオーバがある。フェイルオーバは、複数のストレージ装置をクラスタ構成とし、装置レベルの故障で一つのストレージ装置がダウンした場合にも、他ストレージ装置で業務を継続できるようにしたものである。フェイルオーバ技術には、透過的フェイルオーバ（ＴＦＯ：Transparent Failover）と呼ばれる技術もある。
【０００３】
ＴＦＯは、ストレージ装置にアクセスを行うサーバなどの装置（ホスト）に、フェイルオーバの発生を意識させずに実施するフェイルオーバである。ＴＦＯは、論理ボリューム単位に設定することが可能で、故障が発生したストレージ装置のＷｒｉｔｅ／ＲｅａｄのＩ／Ｏを他ストレージ装置に自動的に引き継がせることができる。その際、ユーザは異常が発生したことを意識せずに業務を継続することが可能であり、リカバリ時間の短縮とストレージ管理者の作業負担の軽減が図れる。
【０００４】
ＴＦＯのボリューム（以下、ＴＦＯボリュームと呼ぶ）は、例えばＴＰＧＳ（Target Port Group Support）を使用して、複数のストレージ装置を、異なるパス（通信経路）を介して接続された１つのボリュームとしてホストに見せることで実現できる。この場合、デバイスのＳＣＳＩ（Small Computer System Interface ）  Ｕｎｉｑｕｅ  ＩＤ（Inquiry VPD page #83）をクラスタ構成したストレージ装置で共通にし、運用中のパスを“Active”、待機側のパスを“Standby”とする。そして、ホストからは“Active”のパスを介したアクセスのみを可能とする。運用中のストレージ装置がダウンした場合は、待機側のパスの状態を“Active”と変更することで、Ｗｒｉｔｅ／Ｒｅａｄ  Ｉ／Ｏが、“Active”に変更されたパスを介して接続されたストレージ装置に、自動的に引き継がれる。
【０００５】
なおストレージ装置のクラスタリングに関する技術としては、例えばストレージクラスタリング技術と連携した非同期リモートコピーが考えられている。また仮想ボリュームモジュールを用いた、ストレージシステム間でのフェイルオーバ回復に関する技術も考えられている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−７６１３０号公報
【特許文献２】特開２００６−４８６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ＴＦＯボリューム内のデータを操作する際に、ストレージ装置に共通に設定されたデバイス名ではなく、ストレージ装置内のＬＵＮ（Logical Unit Number）を指定する場合がある。ＬＵＮは、ストレージ装置内の記憶装置を識別する識別番号である。例えば、ＴＦＯボリュームに対する操作を行う際、ホストは、操作対象をデバイス名からＬＵＮに変換して、ＬＵＮで操作対象を指定する。
【０００８】
通常、ＴＦＯボリューム内のデータの操作では、デバイス名で操作対象が指定される。デバイス名での操作対象の指定であれば、ＴＦＯボリュームを構成する複数のストレージ装置では、デバイス名が一致していればよく、ＬＵＮについては“Active”側と“Standby”側とで一致していなくてもよい。また、“Active”側と“Standby”側でＬＵＮを一致させるためにはストレージ装置の構成変更作業を行うこととなり、管理者の負担が著しく増加する。そのため、現状では、“Active”側と“Standby”側との対応関係にある記憶装置同士であっても、ほとんどの場合ＬＵＮを一致させていない。
【０００９】
しかし、操作対象としてＴＦＯボリュームのＬＵＮを指定した操作を行うときに、ＴＦＯが発生すると、“Active”側と“Standby”側の対応するボリューム同士のＬＵＮが一致しないため、ＴＦＯ後に誤った記憶装置を指定してしまう。
【００１０】
１つの側面では、本件は、ＴＦＯ後も正しい記憶装置を指定してデータを操作できるようにすることを目的とする。
【課題を解決するための手段】
【００１１】
１つの案では、第１の種別の第１のストレージ装置と、透過的フェイルオーバ発生時に第１のストレージ装置への操作要求を引き継ぐ第２の種別の第２のストレージ装置とに、ネットワークを介して接続される情報処理装置が提供される。情報処理装置は、ネットワークに接続するインタフェース部と制御部とを有する。制御部は、第１のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第１の操作要求に、第１の種別を示す種別情報を含め、第１の操作要求を、インタフェース部を介してネットワーク上に出力し、透過的フェイルオーバの発生により、第１の操作要求が第２のストレージ装置に送信され、第２のストレージ装置から種別間違いを示すエラー応答を受信すると、第２のストレージ装置内で一意の識別子により操作対象の記憶装置を指定した第２の操作要求に、第２の種別を示す種別情報を含め、第２の操作要求をインタフェース部を介してネットワーク上に出力する。
【発明の効果】
【００１２】
１つの案によれば、ＴＦＯ後も正しい記憶装置を指定してデータを操作できる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施の形態に係るシステム構成の一例を示す図である。
【図２】第２の実施の形態のシステム構成例を示す図である。
【図３】管理対象サーバのハードウェアの一構成例を示す図である。
【図４】第２の実施の形態に用いるストレージ装置のハードウェア構成の一例を示す図である。
【図５】ストレージ装置内の記憶装置の構成の一例を示す図である。
【図６】コピー操作を実施するための機能の一例を示す図である。
【図７】コピー管理部が有する筐体情報テーブルの一例を示す図である。
【図８】コピー管理部が有するノード情報テーブルの一例を示す図である。
【図９】コピー管理部が有するＴＦＯ情報テーブルの一例を示す図である。
【図１０】コピー管理部が有するデバイス情報テーブルの一例を示す図である。
【図１１】コピー管理部が有するコピーペア情報テーブルの一例を示す図である。
【図１２】コピーエージェントが有するＴＦＯ情報テーブルの一例を示す図である。
【図１３】コピーエージェントが有するデバイス情報テーブルの一例を示す図である。
【図１４】コピーエージェントが有するコピーペア情報テーブルの一例を示す図である。
【図１５】データ操作手順の一例を示す第１の図である。
【図１６】データ操作手順の一例を示す第２の図である。
【図１７】データ操作手順の一例を示す第３の図である。
【図１８】データ操作手順の一例を示す第４の図である。
【図１９】データ操作手順の一例を示す第５の図である。
【図２０】データ操作手順の一例を示す第６の図である。
【図２１】データ操作手順の一例を示す第７の図である。
【図２２】データ操作手順の一例を示す第８の図である。
【図２３】デバイス情報取得処理の手順の一例を示すシーケンス図の前半である。
【図２４】デバイス情報取得処理の手順の一例を示すシーケンス図の後半である。
【図２５】コピーペア登録処理の手順の一例を示すシーケンス図の前半である。
【図２６】コピーペア登録処理の手順の一例を示すシーケンス図の後半である。
【図２７】コピー操作処理の手順の一例を示すシーケンス図である。
【図２８】ＴＦＯ発生時の処理の詳細を示すシーケンス図である。
【図２９】コピー開始処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず、第１の実施の形態について説明する。第１の実施の形態は、ストレージ装置内の記憶装置を、そのストレージ装置内での識別情報で指定してデータを操作する際に、ＴＦＯが発生しても、正しい記憶装置内のデータを操作できるようにしたものである。データの操作は、ストレージ装置内でのデータのコピーである。
【００１５】
すなわち、ＴＦＯボリュームにおいて、“Active”側のストレージ装置と“Standby”側のストレージ装置との対応関係にある記憶装置の装置ＩＤが一致していない場合がある。このような場合に、操作対象を装置ＩＤで指定した操作時にＴＦＯが発生すると、ＴＦＯによる切り換え後のストレージ装置に対して、誤った装置ＩＤを操作対象に指定した要求が送られてしまう。このような問題が発生するのは以下のような場合である。
・操作発行前にフェイルオーバする場合
・操作発行後から操作実行までの間にフェイルオーバする場合
・操作実行中にフェイルオーバする場合
第１の実施の形態は、このような場合であっても、ＴＦＯ後に操作対象となるストレージ装置に対して、正しい装置ＩＤを指定した操作を可能とするものである。
【００１６】
図１は、第１の実施の形態に係るシステム構成の一例を示す図である。情報処理装置１０は、ネットワーク３を介して複数のストレージ装置１，２に接続されている。
ストレージ装置１は２台の記憶装置１ａ，１ｂを有している。記憶装置１ａのデバイス名は「/dev/sdc」であり、装置ＩＤは「0x3」である。記憶装置１ｂのデバイス名は「/dev/sde」であり、装置ＩＤは「0x5」である。また、ストレージ装置１は、装置の種別が「Primary」に設定されている。
【００１７】
ストレージ装置２も２台の記憶装置２ａ，２ｂを有している。記憶装置２ａのデバイス名は「/dev/sdc」であり、装置ＩＤは「0x4」である。記憶装置２ｂのデバイス名は「/dev/sde」であり、装置ＩＤは「0x2」である。また、ストレージ装置２は、装置の種別が「Secondary」に設定されている。
【００１８】
このようにストレージ装置１の記憶装置１ａとストレージ装置２の記憶装置２ａとは同じデバイス名を有しているが、装置ＩＤが異なる。同様に、ストレージ装置１の記憶装置１ｂとストレージ装置２の記憶装置２ｂとは同じデバイス名を有しているが、装置ＩＤが異なる。そして、２台のストレージ装置１，２への情報処理装置１０からの操作は、通常、デバイス名またはデバイス名に対応するＩＤを用いて行われる。なお、記憶装置１ａ，１ｂ，２ａ，２ｂの装置ＩＤは、例えばＬＵＮである。
【００１９】
ストレージ装置１とストレージ装置２とは、ＴＦＯボリュームを構成している。すなわちストレージ装置１，２の一方が運用中（Active）で他方が待機（Standby）とされ、運用中のストレージ装置が故障すると、待機状態のストレージ装置が運用中に変更される。そして、故障したストレージ装置への操作要求が、新たに運用中となったストレージ装置に引き継がれる。図１の例では、ストレージ装置１，２が２台とも正常に動作可能なとき、種別「Primary」のストレージ装置１が“Active”となり、種別「Secondary」のストレージ装置２が“Standby”となる。従って、ストレージ装置１が正常に動作していれば、情報処理装置１０から出力される操作要求４（例えばコピー操作要求）は、ストレージ装置１で処理される。
【００２０】
またストレージ装置１，２は、自身が“Active”となり、操作要求を受信したとき、その操作要求で示される種別と、自身の種別とを比較する。そしてストレージ装置１，２は、種別が一致した場合、操作要求に従った処理を実行する。他方、ストレージ装置１，２は、種別が一致しなかった場合、種別違いを示すエラー応答５を返信する。
【００２１】
情報処理装置１０は、ストレージ装置１，２内のデータを操作する。情報処理装置１０は、ストレージ装置１，２内のデータを操作する際、デバイス名によって操作対象の記憶装置を指定する場合と、装置ＩＤで操作対象の記憶装置を指定する場合とがある。図１には、装置ＩＤで操作対象の記憶装置を指定した操作を行うための情報処理装置１０の機能が示されている。
【００２２】
情報処理装置１０は、記憶手段１１、制御部１２、およびインタフェース部１４を有している。
記憶手段１１は、ＴＦＯ情報テーブル１１ａ、デバイス情報テーブル１１ｂ、コピーペア情報テーブル１１ｃの情報を記憶する。ＴＦＯ情報テーブル１１ａには、種別「Primary」のストレージ装置１の名称「Ａ」、種別「Secondary」のストレージ装置２の名称「Ｂ」、および現在の操作対象であるストレージ装置の種別が設定されている。デバイス情報テーブル１１ｂは、デバイス名に対応付けて、種別「Primary」のストレージ装置１の記憶装置の装置ＩＤと、種別「Secondary」のストレージ装置２の記憶装置の装置ＩＤとが設定されている。コピーペア情報テーブル１１ｃには、コピー操作を行う際のコピー元のデバイス名とコピー先のデバイス名とのペア（コピーペア）が設定されている。
【００２３】
制御部１２は、操作対象となっている種別「Primary」のストレージ装置１内で一意の識別子により操作対象の記憶装置を指定した操作要求に、ストレージ装置１の種別を示す種別情報を含め、その操作要求をネットワーク３上に出力する。例えば制御部１２は、コピー指示が入力されると、記憶手段１１内のコピーペア情報テーブル１１ｃを参照し、コピー元の記憶装置の装置ＩＤとコピー先の記憶装置の装置ＩＤとを認識する。さらに制御部１２は、記憶手段１１内のデバイス情報テーブル１１ｂから、種別「Primary」のストレージ装置１のコピー元の記憶装置とコピー先の記憶装置とのそれぞれの装置ＩＤを取得する。そして制御部１２は、例えば取得した装置ＩＤによりコピー元とコピー先とを指定した、コピー操作を指示する操作要求４を生成する。この際、制御部１２は、生成した操作要求４に、操作対象となっているストレージ装置１の種別「Primary」を含める。そして制御部１２は、操作要求４を出力する。
【００２４】
また制御部１２は、ＴＦＯの発生により、操作要求が種別「Secondary」のストレージ装置２に送信され、ストレージ装置２から種別間違いを示すエラー応答５が出力されたとき、そのエラー応答５を受信する。エラー応答５を受信すると、制御部１２は、ストレージ装置２内で一意の識別子により操作対象の記憶装置を指定した操作要求に、ストレージ装置２の種別を示す種別情報を含め、操作要求をネットワーク３上に出力する。
【００２５】
例えば、制御部１２は、エラー応答５を受信すると、操作対象がストレージ装置２に変更されたものと判断し、記憶手段１１内のＴＦＯ情報テーブル１１ａの操作対象種別を、「Secondary」に変更する。次に制御部１２は、記憶手段１１内のコピーペア情報テーブル１１ｃを参照し、コピー元の記憶装置の装置ＩＤとコピー先の記憶装置の装置ＩＤとを認識する。さらに制御部１２は、記憶手段１１内のデバイス情報テーブル１１ｂから、種別「Secondary」のストレージ装置２のコピー元の記憶装置とコピー先の記憶装置とのそれぞれの装置ＩＤを取得する。そして制御部１２は、取得した装置ＩＤによりコピー元とコピー先とを指定した、コピー操作を指示する操作要求６を生成する。この際、制御部１２は、生成した操作要求６に、操作対象となっているストレージ装置２の種別「Secondary」を含める。そして制御部１２は、操作要求６を出力する。
【００２６】
インタフェース部１４は、制御部１２出力された操作要求４，６を、ネットワーク３を介してストレージ装置１またはストレージ装置２に送信する。インタフェース部１４は、操作要求の送信に失敗した場合、所定回数、その操作要求を再送信（リトライ）する。またインタフェース部１４は、ストレージ装置１またはストレージ装置２から送られたエラー応答５を受信すると、そのエラー応答５を制御部１２に転送する。
【００２７】
このようなシステムにおいて、種別「Primary」のストレージ装置１が“Active”のときに情報処理装置１０にコピー指示が入力されると、制御部１２により、記憶装置の装置ＩＤを指定した操作要求４が出力される。その操作要求４は、デバイス名「/dev/sdc」の記憶装置からデバイス名「/dev/sde」の記憶装置へのデータのコピー操作を目的としたものである。操作要求４には、コピー元として、ストレージ装置１内の記憶装置１ａの装置ＩＤ「0x3」が設定され、コピー先として、ストレージ装置１内の記憶装置１ｂの装置ＩＤ「0x5」が設定されている。また操作要求４には、操作対象となるストレージ装置１の種別「Primary」が含まれている。
【００２８】
操作要求４は、インタフェース部１４によってネットワーク３上へ送出される。このときストレージ装置１に障害が発生し、ＴＦＯが発生したものとする。すると自動で操作対象が種別「Secondary」のストレージ装置２に切り替わる。すなわちストレージ装置２が“Active”となり、ストレージ装置１が“Standby”となる。
【００２９】
インタフェース部１４は、ストレージ装置１からの応答がないことにより、操作要求４の送信に失敗したものと判断し、リトライにより、再度操作要求４をネットワーク３上に送出する。リトライで送出された操作要求４は、その時点で“Active”となっているストレージ装置２が受信する。
【００３０】
操作要求４を受信したストレージ装置２は、操作要求４に含まれる種別「Primary」と、自身の種別「Secondary」とを比較する。そしてストレージ装置２は種別が異なっていると判断し、種別間違いを示すエラー応答５を情報処理装置１０に送信する。
【００３１】
エラー応答５は、情報処理装置１０のインタフェース部１４で受信され、制御部１２に転送される。制御部１２は、エラー応答５を受信すると、ＴＦＯの発生を認識し、新たな操作要求６を出力する。この操作要求６には、コピー元として、ストレージ装置２内の記憶装置２ａの装置ＩＤ「0x4」が設定され、コピー先として、ストレージ装置２内の記憶装置２ｂの装置ＩＤ「0x2」が設定されている。また操作要求６には、操作対象となるストレージ装置２の種別「Secondary」が含まれている。
【００３２】
操作要求６は、インタフェース部１４によってネットワーク３上へ送出され、ストレージ装置２で受信される。操作要求６を受信したストレージ装置２は、操作要求６に含まれる種別「Secondary」と、自身の種別「Secondary」とを比較する。そしてストレージ装置２は種別が同一であると判断し、操作要求６に従ったデータのコピーを実行する。
【００３３】
このようにして、記憶装置の装置ＩＤを指定した操作中にＴＦＯが発生しても、正しく、ＴＦＯによる切替先のストレージ装置に正しいデータ操作を実行させることができる。図１の例であれば、ストレージ装置２に対して、正しく、デバイス名「/dev/sdc」の記憶装置２ａからデバイス名「/dev/sde」の記憶装置２ｂへのコピーを実行させることができる。
【００３４】
なお、図１の例では、コピーペアが予め記憶手段１１に登録されているが、コピー指示の際に、ユーザがコピーペアを指示してもよい。
なお、制御部１２、およびインタフェース部１４は、例えば情報処理装置１０が有するプロセッサにより実現することができる。また、記憶手段１１は、例えば情報処理装置１０が有するメモリにより実現することができる。
【００３５】
また、図１に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。
〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、運用管理サーバを介してシステム全体を管理する場合の例である。
【００３６】
図２は、第２の実施の形態のシステム構成例を示す図である。ネットワーク２０を介して、管理対象サーバ１００，２００，・・・、ストレージ装置３００，４００，・・・、運用管理サーバ５００、端末装置３２、および監視サーバ３３が接続されている。
【００３７】
管理対象サーバ１００，２００，・・・は、ネットワーク２０を介してストレージ装置３００，４００，・・・にアクセスし、ストレージ装置３００，４００，・・・内のデータを操作する。ストレージ装置３００，４００，・・・は、複数の記憶装置を内蔵する。記憶装置としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）がある。またストレージ装置３００，４００，・・・は、ＲＡＩＤ（Redundant Array of Inexpensive Disks）技術を適用してもよい。
【００３８】
運用管理サーバ５００は、管理対象サーバ１００，２００，・・・の運用を管理する。端末装置３２は、管理対象サーバ１００，２００，・・・に対して、ユーザからの指示を送信する。例えば端末装置３２は、同一ストレージ装置内の記憶装置間のコピー指示を、管理対象サーバ１００，２００，・・・に送信する。監視サーバ３３は、ストレージ装置３００，４００，・・・の動作を監視し、“Active”状態のストレージ装置が故障した場合、“Standby”状態のストレージ装置を“Active”状態に変更する制御を行う。
【００３９】
図３は、管理対象サーバのハードウェアの一構成例を示す図である。管理対象サーバ１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。
【００４０】
メモリ１０２は、管理対象サーバ１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に必要な各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。
【００４１】
バス１０９に接続されている周辺機器としては、ＨＤＤ１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。
【００４２】
ＨＤＤ１０３は、内蔵したディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ１０３は、管理対象サーバ１００の補助記憶装置として使用される。ＨＤＤ１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、フラッシュメモリなどの不揮発性の半導体記憶装置を使用することもできる。
【００４３】
グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、ＣＲＴ（Cathode Ray Tube）を用いた表示装置や液晶表示装置などがある。
【００４４】
入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【００４５】
光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取りを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）などがある。
【００４６】
機器接続インタフェース１０７は、管理対象サーバ１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。
【００４７】
ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
【００４８】
以上のようなハードウェア構成によって、第２の実施の形態の処理機能を実現することができる。図３には管理対象サーバ１００のハードウェア構成を代表として示したが、他の管理対象サーバ２００、運用管理サーバ５００、端末装置３２、および監視サーバ３３も同様のハードウェアで実現できる。また、第１の実施の形態に示した情報処理装置１０も、図３に示した管理対象サーバ１００と同様のハードウェアにより実現できる。
【００４９】
管理対象サーバ１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。管理対象サーバ１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、管理対象サーバ１００に実行させるプログラムをＨＤＤ１０３に格納しておくことができる。プロセッサ１０１は、ＨＤＤ１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また管理対象サーバ１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ＨＤＤ１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【００５０】
図４は、第２の実施の形態に用いるストレージ装置のハードウェア構成の一例を示す図である。ストレージ装置３００は、複数のコントローラ制御部（ＣＭ：Controller Module）３１０，３２０を有している。ＣＭ３１０，３２０は、ストレージ装置３００内の物理ディスクなどの資源管理を行う。例えばＣＭ３１０には、ハードディスク装置（ＨＤＤ）３３１，３３２，・・・が接続されている。ＣＭ３１０は、接続されたＨＤＤ３３１，３３２，・・・で提供されるリソース（記憶機能）の管理を担当する。またＣＭ３２０には、ＨＤＤ３４１，３４２，・・・が接続されている。ＣＭ３２０は、接続されたＨＤＤ３４１，３４２，・・・で提供されるリソース（記憶機能）の管理を担当する。ＣＭ３１０，３２０は、担当する複数のＨＤＤを組み合わせてＲＡＩＤグループを生成することができる。なお、ＨＤＤ３３１，３３２，・・・，３４１，３４２，・・・は、ＳＳＤに置き換えることも可能である。
【００５１】
ＣＭ３１０は、ＣＰＵ３１１、メモリ３１２、キャッシュメモリ３１３、ＣＡ（Channel Adapter）３１４、複数のＤＡ（Device Adapter）３１５ａ，３１５ｂ，・・・、およびＣＭ間通信Ｉ／Ｆ３１６を有する。ＣＭ３１０内の各構成要素は、ＣＭ３１０の内部バス３１８によって互いに接続されている。
【００５２】
ＣＰＵ３１１は、ＣＭ３１０全体を制御する。例えばＣＰＵ３１１は、メモリ３１２に格納されたプログラムやデータに基づいて、データの操作要求に応じたデータの操作を実行する。
【００５３】
メモリ３１２は、ＣＭ３１０の制御に用いられる各種情報を記憶する。またメモリ３１２は、ＣＰＵ３１１に実行させる処理が記述されたファームウェアなどのプログラムも記憶する。キャッシュメモリ３１３は、ＨＤＤ３３１，３３２，・・・に入出力するデータを一時的に保存するメモリである。
【００５４】
ＣＡ３１４は、ファイバーチャネルで通信を行うインタフェースである。ＤＡ３１５ａ，３１５ｂ，・・・は、それぞれＨＤＤ３３１，３３２，・・・に接続され、接続されたＨＤＤへのデータの入出力を行う。ＣＭ間通信Ｉ／Ｆ３１６は、ストレージ装置３００内の別のＣＭ３２０と通信するインタフェースである。ＣＭ間通信Ｉ／Ｆ３１６は、例えばＰＣＩ Expressで通信を行う。なおＣＭ３１０，３２０間の通信は、ＦＥＲ（Front-end Router）と呼ばれる中継回路を介して行うこともできる。
【００５５】
ＣＭ３２０は、ＣＰＵ３２１、メモリ３２２、キャッシュメモリ３２３、ＣＡ３２４、複数のＤＡ３２５ａ，３２５ｂ，・・・、およびＣＭ間通信Ｉ／Ｆ３２６を有する。ＣＭ３２０内の各構成要素は、ＣＭ３２０の内部バス３２８によって互いに接続されている。ＣＭ３２０内の各構成要素は、ＣＭ３１０内の同名の構成要素と同じ機能を有している。
【００５６】
なお、ストレージ装置４００も、ストレージ装置３００と同様のハードウェア構成で実現できる。また第１の実施の形態に示したストレージ装置１，２も、ストレージ装置３００と同様のハードウェアにより実現することができる。
【００５７】
以上のようなシステムにおいて、管理対象サーバ１００，２００，・・・は、ストレージ装置３００内の記憶装置を示すＬＵＮを指定して、データを操作することができる。例えば、ストレージ装置内の記憶装置間のコピーを指示し、ストレージ装置にコピーを実行させることができる。
【００５８】
次に、ストレージ装置３００，４００，・・・内の記憶装置の構成について説明する。
図５は、ストレージ装置内の記憶装置の構成の一例を示す図である。ストレージ装置３００，４００，・・・には、筐体識別子（Ｂｏｘ−ＩＤ）が設定されている。ストレージ装置３００のＢｏｘ−ＩＤは「Ａ」、ストレージ装置４００のＢｏｘ−ＩＤは「Ｂ」である。
【００５９】
ストレージ装置３００は、４つの記憶装置３３１，３３２，３４１，３４２を有している。記憶装置３３１のデバイス名は「/dev/sdc」であり、ＬＵＮは「0x3」である。記憶装置３３２のデバイス名は「/dev/sde」であり、ＬＵＮは「0x5」である。記憶装置３４１のデバイス名は「/dev/sdd」であり、ＬＵＮは「0x6」である。記憶装置３４２のデバイス名は「/dev/sdf」であり、ＬＵＮは「0x4」である。
【００６０】
記憶装置３３１，３３２，３４１，３４２は、ホストから認識できるボリュームの集合（ＬＵＮグループ）にグルーピングされている。記憶装置３３１と記憶装置３３２とで、ＬＵＮグループ３３０を構成している。記憶装置３４１と記憶装置３４２とでＬＵＮグループを構成している。ＬＵＮグループ３３０，３４０内の記憶装置同士がコピーペアとなる。
【００６１】
ストレージ装置４００は、４つの記憶装置４３１，４３２，４４１，４４２を有している。記憶装置４３１のデバイス名は「/dev/sdc」であり、ＬＵＮは「0x4」である。記憶装置４３２のデバイス名は「/dev/sde」であり、ＬＵＮは「0x2」である。記憶装置４４１のデバイス名は「/dev/sdd」であり、ＬＵＮは「0x5」である。記憶装置４４２のデバイス名は「/dev/sdf」であり、ＬＵＮは「0x3」である。
【００６２】
記憶装置４３１，４３２，４４１，４４２は、ＬＵＮグループにグルーピングされている。記憶装置４３１と記憶装置４３２とで、ＬＵＮグループ４３０を構成している。記憶装置４４１と記憶装置４４２とでＬＵＮグループを構成している。ＬＵＮグループ４３０，４４０内の記憶装置同士がコピーペアとなる。
【００６３】
管理対象サーバ１００からは、ストレージ装置３００のＬＵＮグループ３３０とストレージ装置４００のＬＵＮグループ４３０とに対してパス４１，４２が設定されている。ストレージ装置３００の記憶装置３３１とストレージ装置４００の記憶装置４３１とは、デバイス名が同一であり、ＴＦＯボリュームである。管理対象サーバ１００にとっては、ストレージ装置３００の操作対象種別が「Primary」、ストレージ装置４００の操作対象種別が「Secondary」であるものとする。この場合、２台のストレージ装置３００，４００，・・・が正常に動作している間は、パス４１が“Active”、パス４２が“Standby”となる。
【００６４】
管理対象サーバ２００からは、ストレージ装置３００のＬＵＮグループ３４０とストレージ装置４００のＬＵＮグループ４４０とに対してパス４３，４４が設定されている。ストレージ装置３００の記憶装置３４１とストレージ装置４００の記憶装置４４１とは、デバイス名が同一であり、ＴＦＯボリュームである。管理対象サーバ２００にとっては、ストレージ装置４００の操作対象種別が「Primary」、ストレージ装置３００の操作対象種別が「Secondary」であるものとする。この場合、２台のストレージ装置３００，４００，・・・が正常に動作している間は、パス４４が“Active”、パス４３が“Standby”となる。
【００６５】
このような管理対象サーバ１００，２００，・・・は、ストレージ装置３００，４００，・・・に対して、コピーペアとなっている記憶装置間でのデータのコピー操作を行うことができる。
【００６６】
図６は、コピー操作を実施するための機能の一例を示す図である。運用管理サーバ５００は、コピー管理部５１０を有している。コピー管理部５１０は、システム内で実行されるＬＵＮ指定の記憶装置間コピーを管理する。コピー管理部５１０は、筐体情報テーブル５１１、ノード情報テーブル５１２、ＴＦＯ情報テーブル５１３、デバイス情報テーブル５１４、およびコピーペア情報テーブル５１５を使用して管理を行う。これらのテーブルは、例えば運用管理サーバ５００のメモリまたはＨＤＤに格納される。
【００６７】
筐体情報テーブル５１１は、ストレージ装置３００，４００，・・・の筐体ごとの情報を管理するデータテーブルである。ノード情報テーブル５１２は、管理対象サーバ１００，２００，・・・に関する情報を管理するためのデータテーブルである。ＴＦＯ情報テーブル５１３は、ＴＦＯの状態を管理するためのデータテーブルである。デバイス情報テーブル５１４は、ストレージ装置３００，４００，・・・内の記憶装置ごとの情報を管理するためのデータテーブルである。コピーペア情報テーブル５１５は、コピーペアを管理するための情報テーブルである。
【００６８】
管理対象サーバ１００は、コピーエージェント１１０、ＥＴＬ（Extraction, Transformation and Load）１２０、およびドライバ１３０を有している。コピーエージェント１１０は、ＬＵＮ指定の記憶装置間でのデータのコピー操作を行う。コピーエージェント１１０は、ＴＦＯ情報テーブル１１１、デバイス情報テーブル１１２、およびコピーペア情報テーブル１１３を使用して管理を行う。これらのテーブルは、運用管理サーバ５００のコピー管理部５１０内の同名のテーブルと同様のデータを格納するためのデータテーブルである。ＥＴＬは、ストレージ装置３００，４００，・・・に対する、データの抽出、データの変換、データの挿入などの操作に関するＳＣＳＩのコマンド生成などを行う。ドライバ１３０は、ストレージ装置３００，４００，・・・とのネットワーク２０を介した通信を制御する。
【００６９】
ストレージ装置３００，４００，・・・は、それぞれ制御部３５０，４５０を有している。制御部３５０，４５０は、ストレージ装置３００，４００，・・・の動作を制御する。なお制御部３５０，４５０は、例えばストレージ装置３００，４００，・・・内に導入されたフェームウェアをＣＰＵが実行することで実現される。
【００７０】
端末装置３２は、ＧＵＩ（Graphical User Interface）３２ａを有している。ＧＵＩ３２ａは、入力された情報を運用管理サーバ５００に送信する。またＧＵＩ３２ａは、運用管理サーバ５００から送られた情報をモニタに表示する。
【００７１】
以下、各テーブルの内容について詳細に説明する。
図７は、コピー管理部が有する筐体情報テーブルの一例を示す図である。筐体情報テーブル５１１には、ＦＣＵ−ＩＤと筐体識別子との欄が設けられている。ＦＣＵ−ＩＤの欄には、筐体情報の識別番号（ＦＣＵ−ＩＤ）が設定される。筐体識別子の欄には、ストレージ装置３００，４００，・・・それぞれの筐体識別子（Ｂｏｘ−ＩＤ）が設定される。
【００７２】
図８は、コピー管理部が有するノード情報テーブルの一例を示す図である。ノード情報テーブル５１２には、ノードＩＤ、ノード名、ＯＳ種別、エージェント版数、およびＩＰ（Internet Protocol）アドレスの欄が設けられている。ノードＩＤの欄には、管理対象サーバ１００，２００，・・・の識別番号（ノードＩＤ）が設定される。ノード名の欄には、管理対象サーバ１００，２００，・・・の名称が設定される。ＯＳ種別の欄には、管理対象サーバ１００，２００，・・・で動作しているＯＳの種別が設定される。エージェント版数の欄には、管理対象サーバ１００，２００，・・・で動作しているコピーエージェントの版数が設定される。ＩＰアドレスの欄には、管理対象サーバ１００，２００，・・・のＩＰアドレスが設定される。
【００７３】
図９は、コピー管理部が有するＴＦＯ情報テーブルの一例を示す図である。ＴＦＯ情報テーブル５１３には、ＴＦＯ−ＩＤ、ノードＩＤ、Primary＿ＦＣＵ−ＩＤ、およびSecondary＿ＦＣＵ−ＩＤの欄が設けられている。ＴＦＯ−ＩＤの欄には、ＴＦＯ対象のストレージ装置の組み合わせの識別情報（ＴＦＯ−ＩＤ）が設定される。ノードＩＤの欄には、ＴＦＯ対象のストレージ装置内のデータを操作する管理対象サーバ１００，２００，・・・のノードＩＤが設定される。Primary＿ＦＣＵ−ＩＤの欄には、操作対象種別「Primary」のストレージ装置のＦＣＵ−ＩＤが設定される。Secondary＿ＦＣＵ−ＩＤの欄には、操作対象種別「Secondary」のストレージ装置のＦＣＵ−ＩＤが設定される。
【００７４】
図１０は、コピー管理部が有するデバイス情報テーブルの一例を示す図である。デバイス情報テーブル５１４には、デバイスＩＤ、ノードＩＤ、デバイス名、ＴＦＯ−ＩＤ、Primary＿ＬＵＮ、Secondary＿ＬＵＮ、およびブロックサイズの欄が設けられている。
【００７５】
デバイスＩＤの欄には、ＴＦＯボリュームに設定された識別情報（デバイスＩＤ）が設定される。ノードＩＤの欄には、ＴＦＯボリューム内のデータを操作する管理対象サーバのノードＩＤが設定される。デバイス名の欄には、ＴＦＯボリュームの名称（デバイス名）が設定される。ＴＦＯ−ＩＤの欄には、ＴＦＯの管理単位ごとに設定された識別情報（ＴＦＯ−ＩＤ）が設定される。Primary＿ＬＵＮの欄には、ＴＦＯボリュームに設定されたリンクのうちの、Primary側に接続された記憶装置のＬＵＮが設定される。Secondary＿ＬＵＮの欄には、ＴＦＯボリュームに設定されたリンクのうちの、Secondary側に接続された記憶装置のＬＵＮが設定される。ブロックサイズの欄には、ＴＦＯボリュームの記憶容量がブロック数で示されている。
【００７６】
図１１は、コピー管理部が有するコピーペア情報テーブルの一例を示す図である。コピーペア情報テーブル５１５には、ペアＩＤ、コピー元デバイスＩＤ、コピー元ノードＩＤ、コピー先デバイスＩＤ、コピー先ノードＩＤ、グループ名、コピー方向、および操作サーバの欄が設けられている。ペアＩＤの欄には、コピーペアの識別情報（ペアＩＤ）が設定される。コピー元デバイスＩＤの欄には、コピー元となるＴＦＯボリュームのデバイスＩＤが設定される。コピー元ノードＩＤの欄には、コピー元となるＴＦＯボリュームを操作する管理対象サーバのノードＩＤが設定される。コピー先デバイスＩＤの欄には、コピー先となるＴＦＯボリュームのデバイスＩＤが設定される。コピー先ノードＩＤの欄には、コピー先となるＴＦＯボリュームを操作する管理対象サーバのノードＩＤが設定される。グループ名の欄には、コピーペアのグループ名が設定される。コピー方向の欄には、単方向でコピーするのか、双方向（bi-direction）でコピーするのかといったコピー方向が設定される。操作サーバの欄には、コピー操作を実施する管理対象サーバを指定する情報が設定される。操作サーバの指定が“both”であれば、コピー元とコピー先とのそれぞれの管理対象サーバが、コピー元の記憶装置とコピー先の記憶装置を操作する。操作サーバの指定が“replica”であれば、コピー先の管理対象サーバが、コピー元の記憶装置とコピー先の記憶装置との両方を操作する。操作サーバの指定が“original”であれば、コピー元の管理対象サーバが、コピー元の記憶装置とコピー先の記憶装置との両方を操作する。
【００７７】
図１２は、コピーエージェントが有するＴＦＯ情報テーブルの一例を示す図である。ＴＦＯ情報テーブル１１１には、ＴＦＯ−ＩＤ、Primary＿Ｂｏｘ−ＩＤ、Secondary＿Ｂｏｘ−ＩＤ、および操作先種別の欄が設けられている。ＴＦＯ−ＩＤの欄には、ＴＦＯ−ＩＤが設定される。Primary＿Ｂｏｘ−ＩＤの欄には、Primary側のストレージ装置のＢｏｘ−ＩＤが設定される。Secondary＿Ｂｏｘ−ＩＤの欄には、Secondary側のストレージ装置のＢｏｘ−ＩＤが設定される。
【００７８】
図１３は、コピーエージェントが有するデバイス情報テーブルの一例を示す図である。デバイス情報テーブル１１２には、デバイスＩＤ、デバイス名、ＴＦＯ−ＩＤ、Primary＿ＬＵＮ、Secondary＿ＬＵＮ、およびブロックサイズの欄が設けられている。コピーエージェント１１０が有するデバイス情報テーブル１１２の各欄には、コピー管理部５１０が有するデバイス情報テーブル５１４の同名の欄と同種の情報が設定される。
【００７９】
図１４は、コピーエージェントが有するコピーペア情報テーブルの一例を示す図である。コピーペア情報テーブル１１３には、ペアＩＤ、コピー元デバイスＩＤ、コピー元ノードＩＤ、コピー先デバイスＩＤ、コピー先ノードＩＤ、グループ名、コピー方向、および操作サーバの欄が設けられている。コピーエージェント１１０が有するコピーペア情報テーブル１１３の各欄には、コピー管理部５１０が有するコピーペア情報テーブル５１５の同名の欄と同種の情報が設定される。
【００８０】
以上のような構成のシステムにより、ＬＵＮを指定したコピー操作が行われる。ここで、管理対象サーバ１００からデバイス名「/dev/sdc」のＴＦＯボリュームのコピー操作を実行する場合を想定する。以下、図１５〜図２２を参照し、コピー操作中にＴＦＯが発生した場合の動作について説明する。
【００８１】
図１５は、データ操作手順の一例を示す第１の図である。コピー操作をする場合、管理対象サーバ１００は、デバイス名をＬＵＮに変換してコピー操作を指示する。具体的には、管理対象サーバ１００のコピーエージェント１１０は、以下の流れでコピー操作を実行する。
【００８２】
＜ステップ１＞コピーエージェント１１０は、ＴＦＯ情報テーブル１１１を参照し操作対象種別を取得する。これにより、操作対象種別「Primary」が取得される。
＜ステップ２＞コピーエージェント１１０は、取得した操作対象種別を元に、デバイス情報テーブル１１２とコピーペア情報テーブル１１３とを参照して、デバイス名をＬＵＮに変換する。図１５の例では、コピー元のＬＵＮは「0x3」、コピー先のＬＵＮは「0x5」である。
【００８３】
＜ステップ３＞コピーエージェント１１０は、ＴＦＯ情報テーブル１１１とデバイス情報テーブル１１２とを参照し、操作対象となるストレージ装置のＢｏｘ−ＩＤを特定する。図１５の例では、コピー元のＢｏｘ−ＩＤは「Ａ」、コピー先のＢｏｘ−ＩＤも「Ａ」である。なお、異なるストレージ装置間でコピーを行う場合はコピー元と先で異なるＢｏｘ−ＩＤとなる。
【００８４】
＜ステップ４＞コピーエージェント１１０は、コピー元のＢｏｘ−ＩＤとＬＵＮ、コピー先のＢｏｘ−ＩＤとＬＵＮ、および操作対象種別を指定したコピー開始要求５１を送信する。
【００８５】
ここで、２台のストレージ装置３００，４００が共に正常に動作していれば、“Active”なパス４１を介して、コピー開始要求５１はストレージ装置３００に送られる。そして、ストレージ装置３００においてデータのコピーが実施される。しかし、コピー開始要求５１の送信後にストレージ装置３００に障害が発生する場合がある。
【００８６】
図１６は、データ操作手順の一例を示す第２の図である。図１６に示すように、ストレージ装置３００に障害が発生すると、コピー開始要求５１はストレージ装置３００で受信されない。
【００８７】
図１７は、データ操作手順の一例を示す第３の図である。またストレージ装置３００に障害が発生すると、図１７に示すようにフェイルオーバが実施され、パス４２が“Active”状態となり、パス４１が“Standby”状態となる。なおフェイルオーバは透過的に実施されている。透過的なフェイルオーバ処理では、管理対象サーバ１００に対するフェイルオーバの発生の通知などは行われない。
【００８８】
図１８は、データ操作手順の一例を示す第４の図である。管理対象サーバ１００は、コピー開始要求５１の送信の失敗を検知し、コピー開始要求５１を再送する。フェイルオーバが実施されたことにより、コピー開始要求５１はパス４２を介してストレージ装置４００に送られる。
【００８９】
ストレージ装置４００は、コピー開始要求５１に含まれる操作対象種別「Primary」を参照し、自分の保持している操作対象種別「Secondary」と一致するかどうか確認する。確認の結果、操作対象種別が一致していないため、ストレージ装置４００はコピー開始要求５１が別筐体のストレージ装置３００に対する操作指示であることを検知する。
【００９０】
図１９は、データ操作手順の一例を示す第５の図である。コピー開始要求５１の送信先となる筐体が誤っていることを検知すると、ストレージ装置４００は、フェイルオーバが発生したことを示すリトライエラー５２を、管理対象サーバ１００に応答する。
【００９１】
図２０は、データ操作手順の一例を示す第６の図である。リトライエラー５２を受信した管理対象サーバ１００は、フェイルオーバの発生を認識し、ＴＦＯ情報テーブル１１１の操作先種別を「Secondary」に変更する。
【００９２】
図２１は、データ操作手順の一例を示す第７の図である。管理対象サーバ１００は、ＴＦＯ情報テーブル１１１、デバイス情報テーブル１１２、およびコピーペア情報テーブル１１３を参照し、Secondary側のＬＵＮやＢｏｘ−ＩＤを取得する。図２１の例では、コピー元のＢｏｘ−ＩＤは「Ｂ」、コピー先のＢｏｘ−ＩＤも「Ｂ」である。また、コピー元のＬＵＮは「0x4」、コピー先のＬＵＮは「0x2」である。そして管理対象サーバ１００は、取得した情報に基づいて、コピー元のＢｏｘ−ＩＤとＬＵＮ、コピー先のＢｏｘ−ＩＤとＬＵＮ、および操作対象種別「Secondary」を指定したコピー開始要求５３を送信する。コピー開始要求５３は、パス４２を介してストレージ装置４００に送られる。
【００９３】
図２２は、データ操作手順の一例を示す第８の図である。ストレージ装置４００は、コピー開始要求５３に示された操作対象種別「Secondary」と、自身の操作対象種別「Secondary」とを比較し、同じであると判断する。そしてストレージ装置４００は、コピー開始要求５３に示された送信元ＬＵＮと送信先ＬＵＮとに従って、データのコピーを開始する。
【００９４】
このようにして、ＬＵＮを指定したコピー操作中にＴＦＯが発生しても、ＴＦＯの移行先のストレージ装置４００に対して、正しいコピーを行わせることができる。
次に、コピー操作の手順を詳細に説明する。なおコピー操作を実施するための事前処理として、デバイス情報の取得処理とコピーペア登録処理とがある。
【００９５】
図２３は、デバイス情報取得処理の手順の一例を示すシーケンス図の前半である。ユーザが端末装置３２に対してデバイス情報の取得を指示する入力を行うと、ＧＵＩ３２ａがデバイス情報取得指示を運用管理サーバ５００に送信する（ステップＳ１１）。運用管理サーバ５００のコピー管理部５１０は、端末装置３２から取得したデバイス情報取得指示を、管理対象サーバ１００に転送する（ステップＳ１２）。例えばコピー管理部５１０は、ノード情報テーブル５１２を参照して、管理対象サーバ１００，２００のＩＰアドレスを認識し、各管理対象サーバ１００，２００にデバイス情報取得指示を送信する。なお図２３、図２４では、管理対象サーバ２００でのデバイス情報取得処理については省略している。
【００９６】
管理対象サーバ１００のコピーエージェント１１０は、運用管理サーバ５００からのデバイス情報取得指示に応じて、ＥＴＬ１２０に対するデバイス情報取得指示を行う（ステップＳ１３）。
【００９７】
ＥＴＬ１２０は、デバイス情報取得指示に応じて、Ｂｏｘ−ＩＤの取得処理を行う（ステップＳ１４）。Ｂｏｘ−ＩＤの取得処理では、各ストレージ装置３００，４００に対してＢｏｘ−ＩＤ取得要求が送信される。ストレージ装置３００，４００それぞれの制御部３５０，４５０は、Ｂｏｘ−ＩＤ取得要求に対して、自身のＢｏｘ−ＩＤを応答する（ステップＳ１５，Ｓ１６）。またＥＴＬ１２０は、デバイス情報取得指示に応じて、ＬＵＮの取得処理を行う（ステップＳ１７）。ＬＵＮの取得処理では、各ストレージ装置３００，４００に対してＬＵＮ取得要求が送信される。ストレージ装置３００，４００それぞれの制御部３５０，４５０は、ＬＵＮ取得要求に対して、内蔵する記憶装置のＬＵＮとデバイス名を応答する（ステップＳ１８，Ｓ１９）。ＥＴＬ１２０は、取得したＢｏｘ−ＩＤ、ＬＵＮ、およびデバイス名をコピーエージェント１１０に送信する。
【００９８】
コピーエージェント１１０は、ＴＦＯ情報取得指示をＥＴＬ１２０に対して送信する（ステップＳ２０）。ＥＴＬ１２０は、ＴＦＯ情報取得指示に応じて、ＴＦＯ情報を取得する（ステップＳ２１）。ＴＦＯ情報取得処理では、各ストレージ装置３００，４００に対してＴＦＯ情報取得要求が送信される。ストレージ装置３００，４００それぞれの制御部３５０，４５０は、ＴＦＯ情報取得要求に対して、自身のＴＦＯの種別に関する情報（PrimaryまたはSecondary）を応答する（ステップＳ２３，Ｓ２４）。なおストレージ装置３００，４００内のメモリには、予めＴＦＯの種別が設定されている。ＥＴＬ１２０は、取得したＴＦＯ情報をコピーエージェント１１０に送信する。
【００９９】
コピーエージェント１１０は、取得した１件目のＢｏｘ−ＩＤを、ＴＦＯ情報テーブル１１１に登録する（ステップＳ２５）。例えばコピーエージェント１１０は、ＴＦＯ情報として“Primary”を返したストレージ装置のＢｏｘ−ＩＤをPrimary＿Ｂｏｘ−ＩＤの欄に登録する。さらにコピーエージェント１１０は、取得した一件目のＬＵＮとデバイス名を、デバイス情報テーブル１１２に登録する（ステップＳ２６）。例えばコピーエージェント１１０は、ＴＦＯ情報として“Primary”を返したストレージ装置のデバイス名とＬＵＮとを、それぞれデバイス名とPrimary＿ＬＵＮとの欄に登録する。
【０１００】
図２４は、デバイス情報取得処理の手順の一例を示すシーケンス図の後半である。コピーエージェント１１０は、ＴＦＯ情報として“Secondary”を応答したストレージ装置があるか否かを判断する（ステップＳ３１）。コピーエージェント１１０は、“Secondary”を応答したストレージ装置がなければ、ＴＦＯの対象ではないと判断し、処理をステップＳ３５に進める。コピーエージェント１１０は、“Secondary”を応答したストレージ装置があれば、ＴＦＯの対象であると判断し、処理をステップＳ３２に進める。
【０１０１】
コピーエージェント１１０は、ＴＦＯ情報として“Secondary”を返したストレージ装置のＢｏｘ−ＩＤを、ＴＦＯ情報テーブル１１１のSecondary＿Ｂｏｘ−ＩＤの欄に登録する（ステップＳ３２）。次にコピーエージェント１１０は、ＴＦＯ情報として“Secondary”を返したストレージ装置のデバイス名とＬＵＮとを、デバイス情報テーブル１１２のそれぞれデバイス名とSecondary＿ＬＵＮとの欄に登録する（ステップＳ３３）。さらにコピーエージェント１１０は、ＴＦＯ情報テーブル１１１の操作先種別の欄に、“Primary”を設定する（ステップＳ３４）。そしてコピーエージェント１１０は、取得したデバイス情報と共に、デバイス情報取得完了の応答を、運用管理サーバ５００に送信する（ステップＳ３５）。
【０１０２】
運用管理サーバ５００のコピー管理部５１０は、デバイス情報を受信すると、１台目（Primary）のデバイス情報をＴＦＯ情報テーブル５１３、デバイス情報テーブル５１４、およびコピーペア情報テーブル５１５に登録する（ステップＳ３６）。この処理は、図２３のステップＳ２５，Ｓ２６に示したコピーエージェント１１０による処理と同様である。
【０１０３】
コピー管理部５１０は、ＴＦＯ情報として“Secondary”を応答したストレージ装置があるか否かを判断する（ステップＳ３７）。コピー管理部５１０は、“Secondary”を応答したストレージ装置がなければ、ＴＦＯの対象ではないと判断し、処理をステップＳ３９に進める。コピー管理部５１０は、“Secondary”を応答したストレージ装置があれば、ＴＦＯの対象であると判断し、処理をステップＳ３８に進める。
【０１０４】
コピー管理部５１０は、ストレージ装置がＴＦＯの対象である場合、“Secondary”を応答したストレージ装置に関するデバイス情報の登録処理を行う（ステップＳ３８）。デバイス情報は、筐体情報テーブル５１１、ＴＦＯ情報テーブル５１３、デバイス情報テーブル５１４、およびコピーペア情報テーブル５１５に登録される。そしてコピー管理部５１０は、取得したデバイス情報と共に、デバイス情報取得完了の応答を、端末装置３２に送信する（ステップＳ３９）。
【０１０５】
端末装置３２のＧＵＩ３２ａは、受信したデバイス情報をモニタに表示する（ステップＳ４０）。
次に、コピーペア登録処理について詳細に説明する。
【０１０６】
図２５は、コピーペア登録処理の手順の一例を示すシーケンス図の前半である。ユーザが端末装置３２に対してコピーペア登録を指示する入力を行うと、ＧＵＩ３２ａがコピーペア登録指示を運用管理サーバ５００に送信する（ステップＳ５１）。運用管理サーバ５００のコピー管理部５１０は、端末装置から取得したコピーペア登録指示を、管理対象サーバ１００に転送する（ステップＳ５２）。例えばコピー管理部５１０は、ノード情報テーブル５１２を参照して、管理対象サーバ１００，２００のＩＰアドレスを認識し、各管理対象サーバ１００，２００にコピーペア登録指示を送信する。なお図２５、図２６では、管理対象サーバ２００でのコピーペア登録処理については省略している。
【０１０７】
コピーペア登録指示を受信した管理対象サーバ１００のコピーエージェント１１０は、ボリューム情報取得処理とＴＦＯ情報取得指示とを行う（ステップＳ５３〜Ｓ６０）。ボリューム情報取得処理とＴＦＯ情報取得指示との詳細は、図２３に示したステップＳ１３〜Ｓ２４の処理と同様である。
【０１０８】
図２６は、コピーペア登録処理の手順の一例を示すシーケンス図の後半である。管理対象サーバ１００のコピーエージェント１１０は、操作先種別の更新の要否を判断する（ステップＳ７１）。例えばコピーエージェント１１０、ＴＦＯ情報テーブル１１１に現在設定されている操作先種別が“Primary”であるにも拘わらず、操作先種別が“Secondary”のストレージ装置からしかデバイス情報を取得できなかった場合、操作先種別を更新するものと判断する。操作先種別を更新する場合、処理がステップＳ７２に進められる。操作先種別を更新しない場合、処理がステップＳ７３に進められる。
【０１０９】
コピーエージェント１１０は、ＴＦＯ情報テーブル１１１の操作先種別を更新する（ステップＳ７２）。例えばコピーエージェント１１０は、操作先種別が“Secondary”のストレージ装置からしかデバイス情報を取得できなかった場合、操作先種別を“Secondary”に設定する。またコピーエージェント１１０は、操作先種別が“Primary”のストレージ装置からデバイス情報を取得できた場合、操作先種別を“Primary”に設定する。
【０１１０】
コピーエージェント１１０は、コピーペア情報テーブル１１３にコピー元、コピー先それぞれの、デバイスＩＤ、ノードＩＤなどのコピーペア情報を登録する（ステップＳ７３）。そしてコピーエージェント１１０は、運用管理サーバ５００に対して、コピーペア情報を含むコピーペア設定完了通知を送信する（ステップＳ７４）。
【０１１１】
運用管理サーバ５００のコピー管理部５１０は、コピーペア情報テーブル５１５にコピー元、コピー先それぞれの、デバイスＩＤ、ノードＩＤなどのコピーペア情報を登録する（ステップＳ７５）。そしてコピー管理部５１０は、端末装置３２に対して、コピーペア情報を含むコピーペア設定完了通知を送信する（ステップＳ７６）。端末装置３２は、コピーペア情報をモニタに表示する（ステップＳ７７）。
【０１１２】
次に、コピー操作処理の詳細について説明する。
図２７は、コピー操作処理の手順の一例を示すシーケンス図である。ユーザが端末装置３２に対して、例えばデバイス名を指定したコピー操作開始を指示する入力を行うと、ＧＵＩ３２ａがコピー操作開始指示を運用管理サーバ５００に送信する（ステップＳ８１）。運用管理サーバ５００のコピー管理部５１０は、端末装置３２から取得したコピー操作開始指示を、該当するデバイスを操作する管理対象サーバ１００に転送する（ステップＳ８２）。
【０１１３】
コピー操作開始指示を受信した管理対象サーバ１００は、ストレージ装置３００，４００と連携し、デバイス情報取得・ＴＦＯ情報取得・操作先種別設定処理を行う（ステップＳ８３）。この処理の詳細は、図２５のステップＳ５３〜Ｓ６４の処理、および図２６のステップＳ７１，Ｓ７２と同様である。
【０１１４】
コピーエージェント１１０は、ＥＴＬ１２０に対し、操作先種別を指定してコピー開始を指示する（ステップＳ８４）。例えばＴＦＯ情報テーブル１１１の操作先種別の欄に設定されている操作先種別をコピー開始指示において指定する。なおコピーエージェント１１０は、コピー開始の指示の際に、デバイス情報テーブル１１２に基づいて、コピー操作開始指示で指定されたデバイス名をＬＵＮに変換し、コピー元とコピー先とをＬＵＮで指定する。
【０１１５】
ＥＴＬ１２０は、ＬＵＮによってコピー元とコピー先とを指定したコピー開始要求を出力する（ステップＳ８５）。出力されたコピー開始要求は、そのとき“Active”となっているパスを介してストレージ装置３００またはストレージ装置４００に送信される。例えばコピー操作開始指示の直前まで「Primary」のストレージ装置３００が正常に動作していたが、コピー操作開始指示の直後にストレージ装置３００に障害が発生した場合、ＴＦＯ完了前は、コピー開始要求はストレージ装置３００に送信される。しかしストレージ装置３００からは正常な応答は返されない。その場合、コピー開始要求の送信がリトライされる。そしてＴＦＯ完了後に行われたリトライにより、コピー開始要求がストレージ装置４００に送信される。
【０１１６】
コピー開始要求を受信したストレージ装置４００の制御部４５０は、コピー開始要求に示される操作対象種別とストレージ装置４００の操作対象種別とを比較し、一致すればデータのコピー処理を実行する（ステップＳ８６）。制御部４５０は、操作対象種別が一致した場合、コピー処理を開始したことを示す正常応答を、管理対象サーバ１００に送信する。他方、制御部４５０は、操作対象種別が一致しなかった場合、コピー処理は実行せずに、種別間違いを示すリトライエラーを管理対象サーバ１００に送信する。種別間違いを示すリトライエラーは、ＴＦＯの発生通知でもある。
【０１１７】
管理対象サーバ１００のＥＴＬ１２０は、ストレージ装置４００からの応答を受信し、コピーエージェント１１０に転送する（ステップＳ８７）。コピーエージェント１１０は、応答がエラー応答か否かを判断する（ステップＳ８８）。エラー応答であれば、処理がステップＳ９０に進められる。正常応答であれば処理がステップＳ８９に進められる。
【０１１８】
受信した応答が正常応答の場合、コピーエージェント１１０は、コピー開始完了の応答を運用管理サーバ５００に送信する（ステップＳ８９）。受信した応答がエラー応答の場合、コピーエージェント１１０は、そのエラー応答がリトライエラーなのか他のエラーなのかを判断する（ステップＳ９０）。リトライエラーの場合処理がステップＳ９１に進められる。他のエラーの場合、処理がステップＳ９３に進められる。
【０１１９】
リトライエラーを受信した場合、コピーエージェント１１０は、２回目のリトライエラーか否かを判断する（ステップＳ９１）。１回目のリトライエラーであれば、処理がステップＳ９２に進められる。２回目のレトライエラーであれば、コピー開始操作をエラー終了させるため、処理がステップＳ９３に進められる。
【０１２０】
１回目のリトライエラーの場合、コピーエージェント１１０は、ＴＦＯ情報テーブルの操作先種別を“Secondary”に更新する（ステップＳ９２）。その後、処理がステップＳ８５に進められる。リトライエラー以外のエラー応答を受信したか、２回目のリトライエラーを受信した場合、コピーエージェントはコピー失敗の応答を運用管理サーバ５００に送信する（ステップＳ９３）。
【０１２１】
運用管理サーバ５００のコピー管理部５１０は、コピー開始完了またはコピー失敗を示すコピー操作完了応答を、端末装置３２に送信する（ステップＳ９４）。端末装置３２のＧＵＩ３２ａは、コピー操作完了の応答を受信する（ステップＳ９５）。そしてＧＵＩ３２ａは、コピー状態確認画面にコピー操作の成否を表示する（ステップＳ９６）。
【０１２２】
このようにして、コピー開始操作が行われる。次に、図２８を参照して、ＴＦＯ発生時の管理対象サーバ１００とストレージ装置３００，４００間の連携処理について、監視サーバ３３の処理を交えて説明する。
【０１２３】
図２８は、ＴＦＯ発生時の処理の詳細を示すシーケンス図である。監視サーバ３３は、ストレージ装置３００に、動作確認のメッセージを送信する（ステップＳ１０１）。ストレージ装置３００の制御部３５０は、正常に動作している間は、監視サーバ３３からのメッセージに対して応答を返す（ステップＳ１０２）。しかし、ストレージ装置３００に障害が発生した後の監視サーバ３３からの動作確認のメッセージ（ステップＳ１０３）には、ストレージ装置３００からの応答は返されない。これにより監視サーバ３３は、ストレージ装置３００における障害発生を認識する。そして監視サーバ３３は、ストレージ装置４００に対して、“Active”状態への切り換えを指示する（ステップＳ１０４）。ストレージ装置４００の制御部４５０は、監視サーバ３３からの指示に従って、動作状態を“Active”に切り換える（ステップＳ１０５）。このようにして、ＴＦＯが実行される。
【０１２４】
このようなＴＦＯの処理中にコピー操作指示が行われると、管理対象サーバ１００のＥＴＬ１２０が、コピー開始のＳＣＳＩコマンドを発行する（ステップＳ１１１）。発行されたＳＣＳＩコマンドは、ドライバ１３０によってＳＣＳＩ  Ｉ／Ｏ要求としてストレージ装置３００に送信される（ステップＳ１１２）。このとき既にストレージ装置３００に障害が発生していれば、ストレージ装置３００からの応答は返ってこず、ドライバ１３０がタイムアウトを検出する（ステップＳ１１３）。
【０１２５】
ドライバ１３０は、タイムアウトを検出すると、同じＳＣＳＩ  Ｉ／Ｏ要求の送信をリトライする（ステップＳ１１４）。リトライ時にＴＦＯが完了していれば、送信された要求はストレージ装置４００で受信される。ストレージ装置４００では、コピー開始処理を行う。コピー開始処理では操作先種別の比較が行われ、操作先種別が誤っていると判断される。そこで制御部４５０は、操作先種別が誤っていること（ＴＦＯが行われたこと）を示すリトライエラーを、管理対象サーバ１００に応答する（ステップＳ１１５）。
【０１２６】
管理対象サーバ１００のドライバ１３０は、ストレージ装置４００から応答されたリトライエラーを受信し、ＥＴＬ１２０に転送する（ステップＳ１１６）。ＥＴＬ１２０は、ドライバ１３０で転送されたリトライエラーを受信する（ステップＳ１１７）。
【０１２７】
このように、ストレージ装置３００の障害発生時には、監視サーバ３３の制御でＴＦＯが実施される。この際、監視サーバ３３は、ストレージ装置３００，４００を制御するのみであり、管理対象サーバ１００へのＴＦＯの発生の通知などは行わない。そのため、管理対象サーバ１００は、リトライエラーの受信により、ＴＦＯの発生を認識することができる。
【０１２８】
次に、ストレージ装置４００におけるコピー開始処理の手順について説明する。
図２９は、コピー開始処理の手順の一例を示すフローチャートである。
［ステップＳ１２１］制御部４５０は、コピー開始要求を受信する。
【０１２９】
［ステップＳ１２２］制御部４５０は、監視サーバ３３により設定された、ストレージ装置４００自身の操作先種別を参照する。
［ステップＳ１２３］制御部４５０は、コピー開始要求に示される操作先種別と、自身の操作先種別とを比較し、一致するか否かを判断する。一致した場合、処理がステップＳ１２５に進められる。一致しなかった場合、処理がステップＳ１２４に進められる。
【０１３０】
［ステップＳ１２４］制御部４５０は、操作先種別が不一致であれば、リトライエラーを管理対象サーバ１００に応答する。その後、コピー開始処理が終了する。
［ステップＳ１２５］制御部４５０は、操作先種別が一致した場合、コピー開始要求に応じたコピーの実行を開始する。
【０１３１】
［ステップＳ１２６］制御部４５０は、コピー開始が成功したか否かを判断する。例えば、コピー元とコピー先との記憶装置が正常に稼働し、データのコピーが順調に進行していれば、コピー開始成功と判断される。他方、記憶装置の不具合や容量不足などでデータがコピーできない場合、コピー開始に失敗したと判断される。コピー開始が成功した場合、処理がステップＳ１２７に進められる。コピー開始に失敗した場合、処理がステップＳ１２８に進められる。
【０１３２】
［ステップＳ１２７］制御部４５０は、正常応答を管理対象サーバ１００に送信する。その後、コピー開始処理が終了する。
［ステップＳ１２８］制御部４５０は、リトライエラー以外のエラー応答を管理対象サーバ１００に送信する。その後、コピー開始処理が終了する。
【０１３３】
このように第２の実施の形態では、コピー操作要求に、操作対象の筐体を特定できる情報を追加し、コピー操作要求を受け付けたストレージ装置４００は、操作対象が自分でなかった場合、操作を実行せずリトライエラー返却する。これにより、管理対象サーバ１００において、フェイルオーバの発生を認識することができる。
【０１３４】
さらに管理対象サーバ１００は、ＴＦＯボリュームにおける“Active”と“Standby”との双方についてコピーペアのＬＵＮを予め保持している。そのため、フェイルオーバが発生した場合、ＬＵＮの指定を、すぐに切り換え先のストレージ装置に合わせて変更し、コピー操作要求を出力し直すことができる。その結果、コピー操作指示の最中にＴＦＯが発生しても、正しいＬＵＮ指定で、ストレージ装置にコピーを実行させることができる。
【０１３５】
以上、実施の形態を例示したが、実施の形態で示した各部の構成は同様の機能を有する他のものに置換することができる。また、他の任意の構成物や工程が付加されてもよい。さらに、前述した実施の形態のうちの任意の２以上の構成（特徴）を組み合わせたものであってもよい。
【符号の説明】
【０１３６】
１，２  ストレージ装置
１ａ，１ｂ，２ａ，２ｂ  記憶装置
３  ネットワーク
４，６  コピー要求
５  エラー応答
１０  情報処理装置
１１  記憶手段
１２  制御部
１４  インタフェース部
【図１】
2015191385.tif 000003
【図２】
2015191385.tif 000004
【図３】
2015191385.tif 000005
【図４】
2015191385.tif 000006
【図５】
2015191385.tif 000007
【図６】
2015191385.tif 000008
【図７】
2015191385.tif 000009
【図８】
2015191385.tif 000010
【図９】
2015191385.tif 000011
【図１０】
2015191385.tif 000012
【図１１】
2015191385.tif 000013
【図１２】
2015191385.tif 000014
【図１３】
2015191385.tif 000015
【図１４】
2015191385.tif 000016
【図１５】
2015191385.tif 000017
【図１６】
2015191385.tif 000018
【図１７】
2015191385.tif 000019
【図１８】
2015191385.tif 000020
【図１９】
2015191385.tif 000021
【図２０】
2015191385.tif 000022
【図２１】
2015191385.tif 000023
【図２２】
2015191385.tif 000024
【図２３】
2015191385.tif 000025
【図２４】
2015191385.tif 000026
【図２５】
2015191385.tif 000027
【図２６】
2015191385.tif 000028
【図２７】
2015191385.tif 000029
【図２８】
2015191385.tif 000030
【図２９】
2015191385.tif 000031