(57)【要約】【課題】いくつかの復元ポイントにおいてデータの復元を試みた場合であっても、効率的にデータを復元できるようにする。【解決手段】本発明は、ホスト装置に接続されるストレージ装置であって、各種論理ボリュームが形成された記憶部と、記憶部との間のＩ／Ｏ処理を制御する制御部とを備える。制御部は、データボリュームに対するジャーナルデータをジャーナルボリュームに格納すると共に、データボリュームに対するスナップショットデータをスナップショットボリュームに格納する。制御部は、復元ポイントを指定した復元要求に従い、スナップショットボリュームに格納されたスナップショットデータ適用し、さらにジャーナルボリュームに格納されたジャーナルデータを適用して、復元ポイントにおけるデータボリュームを復元する。このとき、制御部は、ジャーナルデータが適用されるデータボリューム上のデータをジャーナルバックアップボリュームに待避する。【選択図】図１
2008015768.tif 000002
【特許請求の範囲】
【請求項１】
ホスト装置に接続されるストレージ装置であって、
少なくともデータボリューム、ジャーナルボリューム、スナップショットボリューム、ジャーナルバックアップボリュームが形成された記憶部と、
前記記憶部との間のＩ／Ｏ処理を制御する制御部と、を備え、
前記制御部は、
前記データボリュームに対するジャーナルデータを作成し、当該作成したジャーナルデータを前記ジャーナルボリュームに格納するジャーナリング部と、
前記データボリュームに対するスナップショットデータを作成し、当該作成したスナップショットデータを前記スナップショットボリュームに格納するスナップショット部と、
復元ポイントを指定した復元要求に従って、前記スナップショットボリュームに格納されたスナップショットデータ及び前記ジャーナルボリュームに格納されたジャーナルデータを適用して、前記復元ポイントにおけるデータボリュームを復元するデータ復元部と、
前記データ復元部によって前記ジャーナルデータが適用される前記データボリューム上のデータを前記ジャーナルバックアップボリュームに格納するジャーナルデータバックアップ部と、
を備えたことを特徴とするストレージ装置。
【請求項２】
前記スナップショット部は、
前記データ復元部により復元されたデータボリュームに対してスナップショットデータを作成し、当該作成したスナップショットデータを前記スナップショットボリュームに格納することを特徴とする請求項１記載のストレージ装置。
【請求項３】
前記データ復元部は、
前記復元要求によって指定された復元ポイントと異なる復元ポイントを指定した他の復元要求に従い、前記復元されたデータボリュームに対するスナップショットにより取得されたスナップショットデータを適用して、データボリュームを復元することを特徴とする請求項２記載のストレージ装置。
【請求項４】
前記データ復元部は、
前記復元したデータボリュームに対するスナップショットデータを作成した時刻に従って、前記ジャーナルバックアップボリュームに格納されたデータを適用するかまたは前記ジャーナルボリュームに格納されたジャーナルデータを適用するかを判断することを特徴とする請求項３記載のストレージ装置。
【請求項５】
前記データ復元部は、
前記他の復元要求によって指定された復元ポイントが、前記復元したデータボリュームに対するスナップショットデータを作成した時刻よりも前である場合、前記ジャーナルバックアップボリュームに格納されたデータを適用して、前記他の復元要求によって指定された復元ポイントにおけるデータボリュームを復元することを特徴とする請求項４記載のストレージ装置。
【請求項６】
前記ストレージ装置は、
前記ジャーナルバックアップボリュームに格納されたデータを管理する管理情報を保持するジャーナルバックアップ管理テーブルをさらに備えることを特徴とする請求項１記載のストレージ装置。
【請求項７】
前記データボリュームは、前記記憶部が提供する実記憶領域を超える領域を含む仮想論理ボリュームとして定義され、
前記記憶部には、前記実記憶領域以外の領域に記憶されるべきデータを格納するプールボリュームがさらに形成され、
前記制御部は、前記実記憶領域以外の領域と前記プールボリュームとを関連付けるプールボリューム管理テーブルを有し、
前記ジャーナルデータバックアップ部は、前記データ復元部によって前記ジャーナルデータが適用される前記プールボリューム上のデータを前記ジャーナルバックアップボリュームに格納することを特徴とする請求項１記載のストレージ装置。
【請求項８】
前記データ復元部は、前記プールボリューム管理テーブルを参照し、前記スナップショットデータが適用されたデータボリュームのうちの実記憶領域以外の領域に前記プールボリューム上の領域が割り当てられていないと判断される場合に、前記ジャーナルバックアップボリュームに初期値を格納することを特徴とする請求項７記載のストレージ装置。
【請求項９】
ホスト装置に接続されるストレージ装置において、
少なくともデータボリューム、ジャーナルボリューム、スナップショットボリューム、ジャーナルバックアップボリュームが形成された記憶部と、
前記ディスクデバイスとの間のＩ／Ｏ処理を制御する制御部と、を備え、
前記制御部は、
前記データボリュームに対するジャーナルデータを作成し、当該作成したジャーナルデータを前記ジャーナルボリュームに格納するジャーナリング部と、
前記データボリュームに対するスナップショットデータを作成し、当該作成したスナップショットデータを前記スナップショットボリュームに格納するスナップショット部と、
復元ポイントを指定した復元要求に従って、前記スナップショットボリュームに格納されたスナップショットデータ及び前記ジャーナルボリュームに格納されたジャーナルデータを適用して、前記復元要求に含まれる指定時刻におけるデータボリュームを復元するデータ復元部と、を備え、
前記スナップショット部は、前記データ復元部により復元されたデータボリュームに対して、当該データボリュームが更新される前に、スナップショットデータを作成し、当該作成したスナップショットデータを前記スナップショットボリュームに格納することを特徴とするストレージ装置。
【請求項１０】
前記ストレージ装置は、
前記データ復元部によって前記ジャーナルデータが適用されるデータを前記ジャーナルバックアップボリュームに格納するジャーナルデータバックアップ部をさらに備えることを特徴とする請求項９記載のストレージ装置。
【請求項１１】
ホスト装置に接続されるストレージ装置におけるデータ管理方法であって、
記憶部上にデータボリューム、ジャーナルボリューム、スナップショットボリューム及びジャーナルバックアップボリュームを形成するステップと、
データボリュームに対するジャーナルデータをジャーナルボリュームに格納するとともに、前記データボリュームに対する第１のスナップショットデータをスナップショットボリュームに格納するステップと、
復元ポイントを指定した復元要求を受け付けて、ベースとなるデータボリュームに対して前記スナップショットボリュームに格納されたスナップショットデータを適用するステップと、
前記スナップショットデータが適用されたベースとなるデータボリュームに対してジャーナルボリュームに格納されたジャーナルデータを適用するステップと、を含み、
前記ジャーナルデータを適用するステップは、前記ジャーナルデータが適用される前記ベースとなるデータボリューム上のデータをジャーナルバックアップボリュームに格納するステップを含むことを特徴とするデータ管理方法。
【請求項１２】
前記データ管理方法は、
前記ジャーナルデータが適用されることにより復元されたデータボリュームに対して第２のスナップショットデータを作成し、当該作成したスナップショットデータを前記スナップショットボリュームに格納するステップをさらに含むことを特徴とする請求項１１記載のデータ管理方法。
【請求項１３】
前記データ管理方法は、
前記復元要求によって指定された復元ポイントと異なる復元ポイントを指定した他の復元要求を受け付けるステップと、
前記受け付けた他の復元要求に従って、前記復元されたデータボリュームに対するスナップショットにより取得された第２のスナップショットデータを適用するステップと、をさらに含むことを特徴とする請求項１２記載のデータ管理方法。
【請求項１４】
前記データ管理方法は、
前記復元したデータボリュームに対する第２のスナップショットデータを作成した時刻に従って、前記ジャーナルバックアップボリュームに格納されたデータを適用するかまたは前記ジャーナルボリュームに格納されたジャーナルデータを適用するかを判断するステップをさらに含むことを特徴とする請求項１３記載のデータ管理方法。
【請求項１５】
前記データ管理方法は、
前記判断するステップの結果に従って、前記ジャーナルバックアップボリュームに格納されたデータを、前記第２のスナップショットデータが適用されたデータボリュームに対して、適用するステップをさらに含むことを特徴とする請求項１４記載のデータ管理方法。
【請求項１６】
前記データ管理方法は、
前記データボリュームを、前記記憶部が提供する実記憶領域を超える領域を含む仮想論理ボリュームとして定義するステップを含み、
前記形成するステップは、前記実記憶領域以外の領域に記憶されるべきデータを格納するプールボリュームを形成し、
前記ジャーナルデータを適用するステップは、前記ジャーナルデータが適用される前記プールボリューム上のデータを前記ジャーナルバックアップボリュームに格納することを特徴とする請求項１５記載のデータ管理方法。
【請求項１７】
前記データ管理方法は、
前記実記憶領域以外の領域と前記プールボリュームとを関連付けるプールボリューム管理テーブルを参照するステップをさらに含み、
前記ジャーナルバックアップボリュームに格納するステップは、前記スナップショットデータが適用されたデータボリュームのうちの実記憶領域以外の領域に前記プールボリューム上の領域が割り当てられていないと判断される場合に、前記ジャーナルバックアップボリュームに初期値を格納することを特徴とする請求項１６記載のストレージ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶システム及びこれを用いたデータの管理方法に関し、特に、ジャーナリングを行う記憶システム及びこの技術を利用したデータのバックアップ及びデータの復元方法に関する。
【背景技術】
【０００２】
コンピュータシステムにおけるデータの消失を防止するため、ストレージ装置を用いたデータのバックアップおよび復元・復旧が行われる。このような復元・復旧を目的としたデータのバックアップとして、例えば、スナップショットやジャーナリングと呼ばれる技術が知られている。スナップショットは、ある時点におけるファイルシステムまたはボリュームについてのデータイメージを保存する技術である。例えば、障害によりデータが失われた場合であっても、保存されたスナップショットデータを参照することによって、失われる前のデータを復元することができる。また、ジャーナリングは、データの書き込み時に、書き込まれるデータおよびその時刻をジャーナルデータとして保存する技術である。近年では、ジャーナリング技術およびスナップショット技術を融合した高速なデータ復元機構を実装したストレージ装置が注目されている。
【０００３】
一つの例として、下記特許文献１に示されるように、ストレージ装置は、ホスト装置からの書き込み要求に基づき、データボリュームに保存されるアプリケーションデータについてジャーナルデータを保存するとともに、例えば周期的に当該データボリュームに対するスナップショットデータを保存しておく。そして、ある特定の時点におけるデータを復元する場合は、その時点に最も近いスナップショットデータを適用してデータを復元し、さらにジャーナルデータを適用することにより、最終的なデータを復元する。
【特許文献１】特開２００５-１８７３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
データの復元作業において、一般に、システム管理者は、復元ポイントと呼ばれるデータが復元されるべき過去の時点を選んで、当該復元ポイントにおけるデータボリューム上のデータを復元する。この場合、システム管理者は、一つの復元ポイントにおけるデータを復元するだけでなく、最適な復元結果を求めて、いくつかの復元ポイントにおけるデータの復元を試みることが一般的である。
【０００５】
従来のデータ復元方法においては、先の復元ポイントに替えて別の復元ポイントについてデータを復元する場合、その都度、上述した手順を踏む必要があった。すなわち、復元ポイントを単に変更する場合であっても、スナップショットデータの適用、ジャーナルデータの適用といった一連の処理を行わなければならなかった。これら一連の作業は、システム負荷が大きく、そのために復元に要する時間がかかるにもかかわらず、効率的なデータの復元について何ら考慮がなされていなかった。
【課題を解決するための手段】
【０００６】
本発明のある観点によれば、本発明は、ホスト装置に接続されるストレージ装置であって、データのバックアップおよび復元を行うストレージである。当該ストレージは、少なくともデータボリューム、ジャーナルボリューム、スナップショットボリューム、ジャーナルバックアップボリュームが形成された記憶部と、記憶部との間のＩ／Ｏ処理を制御する制御部とを備える。そして、制御部は、データボリュームに対するジャーナルデータを作成し、当該作成したジャーナルデータをジャーナルボリュームに格納するジャーナリング部と、データボリュームに対するスナップショットデータを作成し、当該作成したスナップショットデータをスナップショットボリュームに格納するスナップショット部と、復元ポイントを指定した復元要求に従って、スナップショットボリュームに格納されたスナップショットデータ及び前記ジャーナルボリュームに格納されたジャーナルデータを適用して、復元ポイントにおけるデータボリュームを復元するデータ復元部と、データ復元部によってジャーナルデータが適用される前記データボリューム上のデータをジャーナルバックアップボリュームに格納するジャーナルデータバックアップ部と、を備えている。
【０００７】
そして、スナップショット部は、データ復元部により復元されたデータボリュームに対して直ちにスナップショットデータを作成し、当該作成したスナップショットデータをスナップショットボリュームに格納する。
【０００８】
また、本発明の他の観点によれば、本発明は、ホスト装置に接続されるストレージ装置においてデータのバックアップ及び復元を行うデータ管理方法である。当該データ管理方法では、ストレージ装置は、記憶部上にデータボリューム、ジャーナルボリューム、スナップショットボリューム及びジャーナルバックアップボリュームを形成し、データボリュームに対するジャーナルデータをジャーナルボリュームに格納するとともに、データボリュームに対する第１のスナップショットデータをスナップショットボリュームに格納しておく。次に、ストレージ装置は、復元ポイントを指定した復元要求を受け付けると、ベースとなるデータボリュームに対してスナップショットボリュームに格納されたスナップショットデータを適用し、さらに、当該スナップショットデータが適用されたベースとなるデータボリュームに対してジャーナルボリュームに格納されたジャーナルデータを適用する。ストレージ装置は、ジャーナルデータを適用する際に、ジャーナルデータが適用されるベースとなるデータボリューム上のデータをジャーナルバックアップボリュームに格納する。
【０００９】
そして、ジャーナルデータが適用されることにより復元されたデータボリュームに対して直ちに第２のスナップショットデータを作成し、当該作成したスナップショットデータをスナップショットボリュームに格納する。
【発明の効果】
【００１０】
本発明によれば、最適な復元結果を求めて、いくつかの復元ポイントにおいてデータの復元を試みた場合であっても、効率的にデータを復元することができるようになる。
【発明を実施するための最良の形態】
【００１１】
次に、本発明の実施形態について、図面を参照しつつ説明する。
【００１２】
図１は、本発明の一実施形態に係るストレージ装置を用いて構成されたストレージシステムを示している。同図に示すように、ストレージシステム１は、上位装置として機能するホスト装置２が、ネットワークシステム３を介して、下位装置として機能するストレージ装置４と接続されることにより構成されている。
【００１３】
ホスト装置２は、典型的には、パーソナルコンピュータやワークステーション、メインフレーム等が該当する。ホスト装置２は、ＣＰＵ（Central Processing Unit）２１、メインメモリ２２、インターフェースユニット２３およびローカル入出力装置２４等のハードウェア資源を備え、これらは内部バス２５により相互に接続されている。ホスト装置２はまた、デバイスドライバやオペレーティングシステム（ＯＳ）、アプリケーションプログラム等のソフトウェア資源を備えている。これによって、ホスト装置２は、ＣＰＵ２１の制御の下、各種のプログラムを実行して、ハードウェア資源との協働作用により、所望の処理を実現する。例えば、ホスト装置２は、ＣＰＵ２１の制御の下、ＯＳ上でアプリケーションプログラムを実行する。アプリケーションプログラムは、ユーザがホスト装置２によって本来的に遂行しようとする処理を実現するためのプログラムである。アプリケーションプログラムは、その実行に際して、ストレージ装置４に対してデータの読み込みや書き込み等のアクセスを要求する。このため、ホスト装置２には、ストレージマネージャが実装される。ストレージマネージャは、ストレージ装置４に対するアクセスを管理するための管理プログラムである。ストレージマネージャはまた、例えば、ユーザがどの時点でデータを復元すべきかを示すマーカーを受け取って管理しておき、ユーザがデータの復元を必要とした場合に、そのマーカーを提示して、データの復元要求を作成する。マーカーは、例えば、ユーザのアクションによって任意に設定されたり、あるいはアプリケーションプログラムが終了した時点が選択され設定される。ストレージマネージャは、ＯＳとは独立に設計されてもよいし、またはその一部として組み込まれていてもよい。各種のプログラムは、１つのモジュールとして構成されてもよいし、複数のモジュールとして構成されてもよい。
【００１４】
ネットワークシステム３は、例えばＳＡＮ（Storage Area Network）、ＬＡＮ（Local Area Network）、インターネット、公衆回線又は専用回線などから構成される。このネットワークシステム３を介したホスト装置２とストレージ装置４との間の通信は、例えば、ネットワーク３がＳＡＮである場合には、ファイバーチャネルプロトコルに従って行われる。また、ネットワーク３がＬＡＮである場合にはＴＣＰ／ＩＰプロトコルに従って行われる。
【００１５】
ストレージ装置４は、複数の物理的なディスクデバイスからなる記憶部４１と、当該記憶部４１を統括的に制御する制御部４２とを備えている。
【００１６】
ディスクデバイスは、例えばＦＣ（Fibre Channel）ディスク、ＦＡＴＡ（Fibre Attached Technology Adapted）や、ＳＡＴＡ（Serial AT Attachment）ディスク、光ディスクドライブ等から構成される。１又は複数のディスクデバイスが提供する記憶領域上には、１又は複数の論理的なボリューム（以下、「論理ボリューム」という。）が定義される。
【００１７】
各論理ボリュームには、固有の識別子（ＬＵＮ：Logical Unit Number）が割り当てられ、論理ボリュームは当該識別子によって管理される。論理ボリュームに対するアクセスは、所定サイズのブロックを単位として行われる。各ブロックには、論理ブロックアドレス（ＬＢＡ：Logical Block Address）が割り当てられている。したがって、ホスト装置２は、識別子および論理ブロックアドレスに基づく論理アドレスをストレージ装置４の制御部４２に対して指定することにより、論理ボリュームに対するアクセスを行うことができる。
【００１８】
各論理ボリュームには、例えば利用目的に応じた属性が与えられる。本実施形態では、記憶部４１上に、データボリューム４１ａと、ジャーナルボリューム４１ｂと、スナップショットボリューム４１ｃと、ジャーナルバックアップボリューム４１ｄとが定義されている。ここで、ジャーナルボリューム４１ｂ、スナップショットボリューム４１ｃ、及びジャーナルバックアップボリューム４１ｄは、データのバックアップ用のボリュームとして機能する。
【００１９】
データボリューム４１ａは、アプリケーションプログラムがデータを読み書きするために使用するボリュームである。他の実施形態で後に説明されるように、データボリューム４１ａが仮想論理ボリュームの一部として定義されていてもよい。ジャーナルボリュームは、データボリューム４１ａの更新履歴情報であるジャーナルデータを格納するためのボリュームである。ジャーナルデータは、典型的には、データボリューム４１ａに書き込まれたデータと、当該データが書き込まれたデータボリューム４１ａ上のアドレスおよび当該データが書き込まれた時刻等の管理情報とから構成される。スナップショットボリューム４１ｃは、ある時点におけるデータボリューム４１ａのスナップショットデータ（イメージ）を格納するためのボリュームである。スナップショットデータは、差分データとして構成されてもよい。ジャーナルバックアップボリューム４１ｄは、データを復元する際に、ジャーナルデータが適用されるデータボリューム４１ａ上のデータを待避すべく、格納するボリュームである。
【００２０】
制御部４２は、主として、ＣＰＵ４２１と、メモリ４２２と、キャッシュ機構４２３とを備えたシステム回路であり、ホスト装置２と記憶部４１との間の入出力処理を統括的に制御する。また、制御部４２は、複数のチャネルアダプタ４２４及び複数のディスクアダプタ４２５とを備える。メモリ４２２は、ＣＰＵ４２１のメインメモリとして機能する。メモリ４２２は、ＣＰＵ４２１の利用に供するため、図２に示すように、例えば、各種の制御プログラムやシステム構成情報、管理テーブル等を記憶する。本実施形態では、制御プログラムとして、Ｉ／Ｏ制御プログラム、ジャーナル制御プログラム、スナップショット制御プログラム、データ復元制御プログラムが実装されている。また、ストレージ装置４内の障害の有無を監視し、障害が発生したときにこれをユーザ（システム管理者）に通知する等の処理を行う監視制御プログラムも実装されている。これら制御プログラムや各種の情報等は、例えば、ストレージ装置４に電源が投入された時点で、ＣＰＵ４２１の制御の下、所定のディスクデバイスから読み出され、メモリ４２２上に展開される。または、メモリ４２２が再書き込み可能な不揮発性メモリを含んで構成されている場合には、当該不揮発性メモリに恒常的に保持されていてもよい。
【００２１】
図１に戻り、キャッシュ機構４２３はキャッシュメモリを備え、ホスト装置２と記憶部４１との間の入出力データを一時的に記憶するために利用される。つまり、ホスト装置２から送られるコマンドは、キャッシュメモリに保持される。また、記憶部４２のデータボリューム４１ａから読み出されたデータは、ホスト装置２に送り出す際して、キャッシュメモリに保持される。
【００２２】
チャネルアダプタ４２４は、それ自体、マイクロプロセッサと、メモリと、通信インターフェースとを備えたシステム回路であり、ネットワークシステム３に接続するためのポートを提供している。チャネルアダプタ４２４は、ホスト装置２からネットワークシステム３を介して送信される各種のコマンドを解釈し、実行する。チャネルアダプタ４２４のポートには、ネットワークアドレスが割り当てられている。これにより、個々のチャネルアダプタは、ネットワークシステム３上で識別され、ＮＡＳ（Network Attached Storage）として機能することができるようになっている。
【００２３】
ディスクアダプタも４２５また、それ自体、マイクロプロセッサと、メモリと、通信インターフェースとを備えたシステム回路であり、記憶部４１のディスクデバイスとの間で通信プロトコル制御を行う入出力インターフェースとして機能している。ディスクアダプタ４２５は、例えば、ファイバーチャネルケーブルを介して、記憶部４１の対応するディスクデバイスに接続され、ファイバーチャネルプロトコルに従ってディスクデバイスとの間でデータの受け渡しを行う。
【００２４】
本実施形態に係るストレージシステムにおけるデータ管理は、データボリューム４１ａに対する所定のバックアップ処理が行われることを前提としている。すなわち、データボリューム４１ａの更新履歴情報であるジャーナルデータが収集され、ジャーナルボリューム４１ｂに格納される。制御部４２に実装されたジャーナル制御プログラムは、このようなジャーナリング処理を行う。また、定期又は不定期に、データボリューム４１ａに対するスナップショットデータが取得され、スナップショットボリューム４１ｃに格納される。そして、これらバックアップされたデータは、データの復元処理の際に供されるように、構成されている。制御部４２に実装されたスナップショット制御プログラムは、このようなスナップショット処理を行う。
【００２５】
ジャーナルデータは、典型的には、ホスト装置２からデータの書き込み要求がある毎に作成される。また、スナップショットデータは、例えば、予め設定された時刻に、またはホスト装置２からのスナップショット要求に応答して、作成される。ホスト装置２では、どの時点におけるデータが復元可能であるかを示すマーカーが作成され、マーカー管理テーブルにおいて管理される。ホスト装置２は、システム管理者の指示の下、当該マーカーに従って指定された復元ポイントを含む復元要求を作成し、ストレージ装置４に送出する。
【００２６】
図３は、本実施形態に係るストレージ装置４におけるデータのバックアップ処理および復元処理の概略を説明している。同図に示すように、ストレージ装置４は、ホスト装置２から書き込み対象データを伴ったデータ書き込み要求を受け取ると、当該書き込み対象データをデータボリューム４１ａ上の所定の領域に書き込むとともに（図中Ａ）、当該データを書き込んだ領域のアドレス及び日時からなるジャーナル管理情報と当該データとを関連付けたジャーナルデータを作成し、当該作成したジャーナルデータをジャーナルボリューム４１ｂに格納する（図中Ｂ）。
【００２７】
また、ストレージ装置４では、スナップショットを行うべき時刻が例えば予め設定されており、ストレージ装置４は、当該設定された時刻になると、データボリューム４１ａに対してスナップショットを行って、スナップショットデータを取得する。そして、ストレージ装置４は、当該スナップショットを取得した日時を含むスナップショット管理情報を作成して、これをスナップショット管理テーブルに登録するとともに、当該スナップショット管理情報と関連付けたスナップショットデータをスナップショットボリューム４１ｃに格納する（図中Ｃ）。スナップショットデータは、例えば、時系列的に構成された差分データからなる。
【００２８】
一方、ストレージ装置４は、ホスト装置２からデータの復元要求を受け取ると、データの復元処理を開始する。データの復元要求は、典型的には、マーカーに従って指定された復元ポイントを含んでいる。具体的には、ストレージ装置４は、差分データとして構成されるスナップショットデータを適用するため、ベースとなるデータボリュームを同定し、例えば別のディスクアダプタ４２５によって制御されるディスクデバイス上にその内容をコピーしてベースボリューム４１ａ’を形成する（図中Ｄ）。つまり、ここでのベースボリューム４１ａ’は、時間軸上で異なるデータボリューム４１ａである。次に、ストレージ装置４は、当該ベースボリューム４１ａ’に対して差分データを順次適用することによって、指定された復元ポイントに最も近く、かつ当該復元ポイントよりも以前に作成したスナップショット（直近スナップショット）時におけるデータをベースボリューム４１ａ’上に復元する（図中Ｅ）。ストレージ装置４は、復元された直近スナップショット時のベースボリューム４１ａ’に対して、さらに、直近スナップショットから復元ポイントまでのジャーナルデータを順次に適用することによって、最終的なデータボリューム４１ａを復元する（図中Ｆ）。このとき、ストレージ装置４は、ジャーナルデータが適用されるベースボリューム４１ａ’上のデータをジャーナルバックアップボリューム４１ｄに格納する（図中Ｇ）。そして、ストレージ装置４は、復元された最終的なデータボリューム４１ａに対してスナップショットを行って、スナップショットデータを取得しておく（図中Ｈ）。ジャーナルバックアップボリューム４１ｄにバックアップされたデータは、後述するように、他の復元ポイントによるデータの復元要求があった場合に、所定の条件の下で、先の復元が完了した時点で取得したスナップショットデータとともに、データの復元のために用いられる（図中ＥおよびＩ）。
【００２９】
図４は、本発明の一実施形態に係るストレージ装置４のジャーナルボリューム４１ｂにおけるジャーナルデータの一例を示す図である。ジャーナルデータは、上述したように、ホスト装置２からデータの書き込み要求があった場合に、制御部４２の制御の下、作成され、ジャーナルボリュームに格納される。同図に示すように、ジャーナルデータは、例えば、書き込み日時と、書き込みデータと、アドレスとから構成され、これらはシリアル番号で管理されている。例えば、シリアル番号「１３」のジャーナルデータは、「１０：３０」に「ＤＤＤ」というデータが、データボリュームの「０００１」番のアドレスに書き込まれている。
【００３０】
ジャーナルデータの作成があると、それは復元ポイントの候補となりうる。システム管理者が復元ポイントの候補として登録を望む場合、ストレージマネージャは、ジャーナルデータに関連付けられた復元ポイントをマーカーとして設定する。また、マーカーは、例えば、ストレージ装置を利用するアプリケーションプログラムの実行が終了した時点が設定されうる。
【００３１】
図５は、本発明の一実施形態に係るストレージ装置４を含むストレージシステムにおけるマーカー管理テーブルの一例を示す図である。マーカーもまた、シリアル番号で管理されており、復元ポイントと、ジャーナルデータのシリアル番号とが関連付けられている。本実施形態では、復元ポイントは、ジャーナルデータが作成された日時に対してわずかにオフセットされて設定されている。
【００３２】
図６は、本発明の一実施形態に係るストレージ装置４のジャーナルバックアップボリューム４１ｄにおけるバックアップデータの一例およびその適用の様子を示す図である。同図に示すように、ジャーナルバックアップボリューム４１ｄ上のバックアップデータは、データの復元の際に適用されたジャーナルデータのシリアル番号に対応する情報から構成される。ただし、上述したように、ジャーナルバックアップボリューム４１ｄにおけるバックアップデータは、ジャーナルデータが適用されるべきベースボリューム４１ａ’のデータを待避したものである。したがって、バックアップデータは、ベースボリューム上の一つ前の古いデータに対応することになる。
【００３３】
また、同図に示すように、バックアップデータは、新しいデータ（つまり、シリアル番号が大きいデータ）から順番にベースボリューム４１ａ’に適用される。
【００３４】
図７および図８は、本発明の一実施形態に係るストレージ装置４におけるデータの復元処理を説明するためのフローチャートである。データの復元処理は、データ復元制御プログラムが制御部４２上で実行され、実現される。
【００３５】
同図に示すように、ストレージ装置４は、ホスト装置２からデータの復元要求を受け取ると、当該復元要求によって指定された復元ポイントが、前回適用したスナップショットデータを取得したスナップショット時刻よりも前であるか否かを判断する（ＳＴＥＰ７０１）。ストレージ装置４が、復元要求を過去において受け取っておらず、またはデータのバックアップ処理を初期化した後の復元要求のように、復元要求が最初のものであるとみなすことができる場合には、前回適用したスナップショットは存在しないことになるが、この場合は、復元ポイントが前回適用したスナップショットよりも前であるとみなしている。指定された復元ポイントが前回適用したスナップショットよりも前であると判断した場合には（ＳＴＥＰ７０１のＹｅｓ）、ストレージ装置４は、ジャーナルバックアップボリューム４１ｄの使用を可能にするため、ジャーナルバックアップボリューム４１ｄを初期化する（ＳＴＥＰ７０２）。ジャーナルバックアップボリューム４１ｄの初期化は、例えば、ジャーナルバックアップボリューム４１ｄが削除され新規作成される。また、ジャーナルバックアップボリューム４１ｄは、システム管理者がストレージマネージャによって提供されるユーザインターフェースを介して、初期化されてもよい。さらに、ジャーナルバックアップボリューム４１ｄは、データの復元処理から所定の期間が経過した後、初期化されるようにしてもよい。
【００３６】
ストレージ装置４は、次に、指定された復元ポイントに最も近く、かつ当該復元ポイントよりも前に作成したスナップショット（直近スナップショット）を特定し（ＳＴＥＰ７０３）、当該直近スナップショットに対するベースボリューム４１ａ’を作成する（ＳＴＥＰ７０４）。例えば、スナップショットが９：３０、１０：３０、１１：３０の時刻に行われており、指定された復元ポイントが１０：３５であれば、１０：３０のスナップショットが特定されることになる。ベースボリューム４１ａ’は、差分データとして構成されるスナップショットデータを適用するために基準となるデータボリューム４１ａのコピーボリュームである。ストレージ装置４は、例えば、現時点におけるデータボリューム４１ａを別のディスクアダプタ４２４によって制御されるディスクデバイス上にコピーすることによって、ベースボリューム４１ａ’を作成する。
【００３７】
続いて、ストレージ装置４は、直近スナップショットにおけるスナップショットデータをスナップショットボリューム４１ｃから読み出して、これを当該作成したベースボリューム４１ａ’に対して適用する（ＳＴＥＰ７０５）。スナップショットデータが差分データにより構成されている場合には、当該差分データが順次に適用される。スナップショットデータがベースボリューム４１ａ’に適用されることにより、スナップショットが行われた時刻までのデータがベースボリューム４１ａ’上に復元されたことになる。
【００３８】
ストレージ装置４は、次に、ジャーナルボリューム４１ｂからジャーナルデータを読み出して、スナップショットデータが適用されたベースボリューム４１’に対して、当該読み出したジャーナルデータを、順次に、さらに適用する。これにより、復元ポイントにおけるデータボリューム４１ａが復元されることになる。適用されるべきジャーナルデータは、直近スナップショットの時刻以降であって、復元ポイントを超えない範囲のジャーナルデータである。ジャーナルデータを適用する際、ストレージ装置４はまた、ジャーナルデータが適用されるべきベースボリューム４１ａ’上のデータをジャーナルバックアップデータとして、ジャーナルバックアップボリューム４１ｄに格納する（ＳＴＥＰ７０６）。
【００３９】
そして、ストレージ装置４は、復元されたデータボリューム４１ａに対してスナップショットを行って、スナップショットデータを取得し、これをスナップショットボリューム４１ｃに格納する（ＳＴＥＰ７０７）。これ以降、ストレージ装置４は、所定の条件の下で、ジャーナルバックアップボリューム４１ｄに格納されたジャーナルバックアップデータを用いて、効率的に、データボリュームを復元できるようになる。
【００４０】
一方、ＳＴＥＰ７０１において、指定された復元ポイントが前回適用したスナップショットよりも前でない場合、ジャーナルバックアップボリューム４１ｄ上にジャーナルバックアップデータが存在する可能性があるので、ストレージ装置４は、図８に示されるＳＴＥＰ７０８以降の処理を行う。
【００４１】
具体的には、ストレージ装置４は、まず、復元完了時に行ったスナップショットにより取得したスナップショットデータを現在使用しているデータボリューム４１ａに適用して、当該スナップショット時点のデータをデータボリューム４１ａ上に復元する（ＳＴＥＰ７０８）。次に、ストレージ装置４は、復元要求によって指定された復元ポイントが、復元完了時に行ったスナップショットよりも前であるか否かを判断する（ＳＴＥＰ７０９）。これは、復元要求により指定された復元ポイントが、前回の復元要求に従って適用したスナップショットの時刻と、当該前回の復元要求に従って復元完了時に行ったスナップショットの時刻との間の範囲にあるか否かを判断するものである。当該範囲には、ジャーナルバックアップデータが存在するからである。当該スナップショットよりも前であると判断する場合（ＳＴＥＰ７０９のＹｅｓ）、ストレージ装置４は、スナップショットデータが適用されたデータボリューム４１ａに対して、ジャーナルバックアップボリューム４１ｄに格納されたジャーナルバックアップデータをさらに適用する。ジャーナルバックアップボリュームに格納されたバックアップデータは、時間的に、新しいものから順に適用される。これにより、復元要求によって指定された復元ポイントにおけるデータボリューム４１ａが復元されることになる。
【００４２】
一方、ＳＴＥＰ７０９において、指定された復元ポイントが復元完了時に行ったスナップショットよりも前でないと判断する場合（ＳＴＥＰ７０９のＮｏ）、ジャーナルバックアップデータを適用することはできないので、ストレージ装置４は、スナップショットデータが適用されて復元されたデータボリューム４１ａに対して、復元ポイントまでのジャーナルデータを適用することにより、最終的なデータボリューム４１ａを復元する（ＳＴＥＰ７１１）。この場合、ジャーナルデータが適用されるデータボリューム上のデータをジャーナルバックアップデータとして、ジャーナルバックアップボリュームに同様に格納してもよい。そして、ストレージ装置４は、復元されたデータボリュームに対してスナップショットを行って、スナップショットデータを取得し、スナップショットボリュームに格納する（ＳＴＥＰ７１２）。
【００４３】
図９は、本発明の一実施形態に係るストレージ装置４におけるデータの復元処理をタイムシーケンスにより説明している。
【００４４】
すなわち、同図に示すように、ある時間軸において、ストレージ装置４が稼働していて、ある時点で障害が発生したものとする。システム管理者は、復元ポイントを指定した最初の復元要求をストレージ装置４に与える。ストレージ装置４は、最初の復元要求を受けて、ベースボリューム４１ａ’を作成し、スナップショットデータを適用することにより、直近スナップショット時点におけるデータをベースボリューム４１ａ’上に復元する。続いて、ストレージ装置４は、ジャーナルデータが適用されるべきデータをジャーナルバックアップボリューム４１ｄに格納しながら、ジャーナルデータをベースボリューム４１ａ’に適用して、最終的なデータボリューム４１ａを復元する。そして、ストレージ装置４は、最終的なデータボリューム４１ａに対してスナップショットを行って、スナップショットデータを取得する。
【００４５】
このようにデータを復元した後、システム管理者は、復元されたデータに対する検証等を行う。検証の過程において、再度のデータ復元が必要であると判断される場合、システム管理者は、別の復元ポイントを指定した復元要求をストレージ装置に与えることになる。本例では、再度の復元ポイントが、前回適用したスナップショットの時刻と、前回の復元後に行われたスナップショットの時刻の間に位置するものとする。
【００４６】
ストレージ装置４は、再度の復元要求を受けて、ベースボリューム４１ａ’に対して、最後に行ったスナップショットで取得したスナップショットデータを適用して、当該スナップショット時点におけるデータをベースボリューム４１ａ’上に復元する。さらに、ストレージ装置４は、ジャーナルバックアップボリューム４１ｄに格納されたジャーナルバックアップデータをベースボリューム４１ａ’に対して適用することにより、指定した復元ポイントにおけるデータボリューム４１ａを復元する。
【００４７】
以上のように、最初の復元要求において、データの復元直後にスナップショットを行ってスナップショットデータを取得しているので、後に発生しうるデータの復元要求に対して、効率的にデータを復元することができるようになる。
【００４８】
特に、再度の復元要求においては、ジャーナルバックアップボリューム４１ｄに格納されたジャーナルバックアップデータを利用しているので、さらに効率的にデータを復元することができるようになる。
【００４９】
次に、本発明の他の実施形態に係るストレージ装置４について説明する。図１０は、本発明の一実施形態に係るストレージ装置４の構成を示している。本実施形態に係るストレージ装置４は、記憶部４１全体が提供する記憶容量が、実際のディスクデバイスにより提供される記憶領域（実記憶領域）よりも大きな、例えば将来的に拡張しようとする大きさの記憶領域を有する仮想的な論理ボリューム（仮想論理ボリューム）を定義できるように構成されている。すなわち、本実施形態に係るストレージ装置４は、ホスト装置２がアクセスする記憶部４１上の論理ボリュームを仮想論理ボリュームに関連付けて、その後の運用状況に応じて、実記憶領域を動的に変更することができる。
【００５０】
すなわち、同図に示すように、本実施形態に係るストレージ装置４においては、記憶部４１は、プールボリューム４１ｅを有している。プールボリューム４１ｅは、仮想論理ボリュームのうち、データボリューム４１ａにより実際に提供される記憶領域以外に格納されるべきデータを、将来的にディスクデバイスが導入されてデータボリューム４１ａが拡張されるまでの間、一時的に格納する領域を提供するボリュームである。プールボリューム４１ａの定義内容は、システム構成情報の一部として、メモリ４２２に記憶される。
【００５１】
ストレージ装置４は、すでに述べたように、データボリューム４１ａの記憶領域に対しては、ホスト装置２が認識する論理アドレス（ＬＵＮおよびＬＢＡ）と、記憶部４１におけるディスクデバイス上の物理アドレスとを一対一に関連付けている。これによって、ホスト装置２は、所定の論理アドレスを指定することによって、記憶部４１上の所望の記憶領域にアクセスすることができる。
【００５２】
一方、プールボリューム４１ｅ上の記憶領域については、ホスト装置２が認識する論理アドレスと、実際にデータにアクセスするためのディスクデバイス上の物理アドレスとを直接的に関連付けていない。ストレージ装置４は、図１１に示すように、仮想論理ボリュームにおけるデータボリューム４１ａの記憶領域（実記憶領域）を超える領域を指定したデータ書き込み要求がホスト装置２から与えられる毎に、当該データに対する記憶領域をプールボリューム４１ｅに動的に割り当てている。
【００５３】
このように、ストレージ装置４は、プールボリューム管理テーブルを保持し、仮想論理ボリュームとプールボリュームとの間の動的な割り当てを管理している。プールボリューム管理テーブルは、例えば、制御部４２のメモリ４２２に保持される。ストレージ装置４は、仮想論理ボリューム内であるが実記憶領域を超える論理アドレスを指定したデータの書き込み要求を受け取った場合には、プールボリューム４１ｅに格納するとともに、指定された論理アドレスとプールボリューム４１ｅのアドレスを示すポインタとを関連付けて、プールボリューム管理テーブルに登録する。
【００５４】
図１２は、本発明の一実施形態に係るストレージ装置４におけるジャーナルデータ適用時の処理を説明するためのフローチャートである。具体的には、図１２に示すフローチャートは、図７に示したＳＴＥＰ７０６と置き換わるものである。上述したように、本発明のストレージ装置４は、データの復元処理の際に、ジャーナルデータが適用されるべきベースボリューム４１ａ’上のデータをジャーナルバックアップボリューム４１ｄに待避する。復元対象のデータボリューム４１ａが本実施形態のような仮想論理ボリュームとして機能する場合、実記憶領域を超える仮想領域については、ジャーナルデータを適用しようとする時点で、プールボリューム４１ｅに割り当てられていない可能性がある。したがって、ストレージ装置４では、プールボリューム４１ｅに対する割り当ての状態を管理し、動的に変更される実記憶領域に対するバックアップを行っている。
【００５５】
すなわち、ストレージ装置４は、上述したように、スナップショットが行われた時刻までのデータをベースボリューム４１ａ’上に復元に復元する（図７のＳＴＥＰ７０５）。続いて、図１２に示すように、ストレージ装置４は、復元しようとしているデータボリューム４１ａが仮想論理ボリュームであるか否かを判断する（ＳＴＥＰ１２０１）。これは、メモリ４２２に保持されたシステム構成情報を参照し、データボリューム４１ａに仮想論理ボリュームの属性が与えられているか否かを判断することにより行われる。復元しようとしているデータボリューム４１ａが仮想論理ボリュームでない場合（ＳＴＥＰ１２０１のＮｏ）、ジャーナルデータが適用されるべきベースボリューム４１ａ’上のデータをジャーナルバックアップボリュームに待避した後（ＳＴＥＰ１２０２）、ジャーナルデータを適用する（ＳＴＥＰ１２０６）。ストレージ装置４は、復元ポイントまでのジャーナルデータをすべて適用したか否かを判断し（ＳＴＥＰ１２０７）、まだ適用すべきジャーナルデータがある場合には（ＳＴＥＰ１２０７のＮｏ）、ＳＴＥＰ１２０１に戻る。
【００５６】
一方、ＳＴＥＰ１２０１において、復元しようとするデータボリューム４１ａが仮想論理ボリュームである場合（ＳＴＥＰ１２０１のＹｅｓ）、ジャーナルデータが適用されるべきベースボリューム４１ａ’の領域がプールボリューム４１ｅにすでに割り当てられているか否かを判断する（ＳＴＥＰ１２０３）。プールボリューム４１ｅにすでに割り当てられている場合には（ＳＴＥＰ１２０３のＹｅｓ）、仮想領域上の当該領域に対して、実記憶領域上の領域と同様の処理を行う（ＳＴＥＰ１２０２）。
【００５７】
ＳＴＥＰ１２０３において、当該領域がプールボリューム４１ｅに割り当てられていないと判断される場合、初期値をジャーナルバックアップボリュームに格納するとともに（ＳＴＥＰ１２０４）、割り当てが行われたことを示すフラグをセットする（ＳＴＥＰ１２０５）。図１３は、本発明の一実施形態に係るストレージ装置４のジャーナルバックアップボリューム４１ｄにおけるバックアップデータの一例を示している。初期値は、例えば、０またはｎｕｌｌデータである。続いて、ストレージ装置４は、ジャーナルデータを適用し（ＳＴＥＰ１２０６）、復元ポイントまでのジャーナルデータをすべて適用するまで上記処理を繰り返す。
【００５８】
以上のバックアップ処理を行うことによって、仮想論理ボリュームを扱うストレージ装置４においても、ジャーナルバックアップボリュームに格納されたデータを用いて、データボリューム４１ａ上のデータを復元することができるようになる。
【００５９】
上述したように、ホスト装置２上のストレージマネージャは、システム管理者に対してマーカーを提示して、データの復元要求を受け付ける。本実施形態では、ストレージマネージャは、ジャーナルデータを適用する時点でプールボリューム４１ｅに割り当てられていない仮想領域に対して割り当ての解除を行うか否かの指定をシステム管理者に促すためのユーザインターフェースを提供する。ストレージマネージャは、当該解除指定を含むデータの復元要求を作成し、ストレージ装置４に送出する。
【００６０】
図１４は、本発明の一実施形態に係るストレージ装置４におけるジャーナルバックアップデータ適用時の処理を説明するフローチャートである。具体的には、図１４に示すフローチャートは、図８に示したＳＴＥＰ７１１と置き換わるものである。
【００６１】
すなわち、図１４に示すように、ストレージ装置４は、ホスト装置２からデータの復元要求を受け付けると、データの復元要求が割り当て領域の解除指定を含むか否かを判断する（ＳＴＥＰ１４０１）。データの復元要求が割り当て領域の解除指定を含まない場合（ＳＴＥＰ１４０１のＮｏ）、通常の復元処理と同様に、ジャーナルバックアップボリューム４１ｄに格納されたジャーナルバックアップデータを順次に適用する（１４０１のＮｏ）。
【００６２】
一方、データの復元要求が割り当て領域の解除指定を含む場合（ＳＴＥＰ１４０１のＹｅｓ）、プールボリューム管理テーブル上のフラグフィールドを参照しながら、該当する領域に対する関連付けを解除することによって、未割り当ての領域として復元する（ＳＴＥＰ１４０２）。
【００６３】
これによって、システム管理者は、データボリュームの復元に際して、仮想領域について、未割り当ての領域として復元するか、その領域が割り当てられているがデータを初期値として復元するかを任意に選択することができるようになる。
【００６４】
本実施形態に係る記憶システムによれば、すでに述べたようなまたは以下に述べるような効果ないしは利点を奏する。
【００６５】
すなわち、本実施形態に係るストレージ装置は、ジャーナルデータを適用する際、ジャーナルデータが適用されるべきベースボリューム上のデータをジャーナルバックアップボリュームに待避し、ジャーナルデータを適用することにより復元されたデータボリュームに対してスナップショットを行って、スナップショットデータを取得し、スナップショットボリュームに保持している。したがって、ストレージ装置４は、後のデータの復元要求に対して、復元直後に取得したスナップショットデータを用いて、効率的にデータを復元することができるようになる。また、ストレージ装置４は、当該スナップショットデータとともに、ジャーナルバックアップボリュームに格納されたジャーナルバックアップデータを用いて、効率的に、データボリュームを復元できるようになる。
【００６６】
よって、本実施形態によれば、システム管理者は、最適な復元結果を求めて、いくつかの復元ポイントにおいてデータの復元を試みた場合であっても、効率的にデータを復元することができるようになる。
【産業上の利用可能性】
【００６７】
本発明は、コンピュータシステム上で処理されるデータを記憶するストレージ装置に幅広く適用することができる。特に、本発明は、データの消失を防止するため、データのバックアップおよび復元・復旧のために用いられるストレージ装置に適用することができる。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係るストレージ装置を用いて構成されたストレージシステムを示す図である。
【図２】本発明の一実施形態に係るストレージ装置における制御部のメモリ内容を説明するための図である。
【図３】本発明の一実施形態に係るストレージ装置におけるデータのバックアップ処理および復元処理の概略を説明するための図である。
【図４】本発明の一実施形態に係るストレージ装置のジャーナルボリュームにおけるジャーナルデータの一例を示す図である。
【図５】本発明の一実施形態に係るストレージ装置を含むストレージシステムにおけるマーカー管理テーブルの一例を示す図である。
【図６】本発明の一実施形態に係るストレージ装置のジャーナルバックアップボリュームにおけるバックアップデータの一例およびその適用の様子を示す図である。
【図７】本発明の一実施形態に係るストレージ装置におけるデータの復元処理を説明するためのフローチャートである。
【図８】本発明の一実施形態に係るストレージ装置におけるデータの復元処理を説明するためのフローチャートである。
【図９】本発明の一実施形態に係るストレージ装置におけるデータの復元処理を説明するタイムシーケンスである。
【図１０】本発明の一実施形態に係るストレージ装置の構成を示している。
【図１１】本発明の一実施形態に係るストレージ装置における仮想論理ボリュームを説明するための図である。
【図１２】本発明の一実施形態に係るストレージ装置におけるジャーナルデータ適用時の処理を説明するためのフローチャートである。
【図１３】本発明の一実施形態に係るストレージ装置のジャーナルバックアップボリュームにおけるバックアップデータの一例およびその適用の様子を示す図である。
【図１４】本発明の一実施形態に係るストレージ装置におけるジャーナルバックアップデータ適用時の処理を説明するフローチャートである。
【符号の説明】
【００６９】
１…記憶システム
２…ホスト装置
２１…ＣＰＵ
２２…ローカルメモリ
２３…インターフェース部
２４…ローカル入出力装置
２５…内部バス
３…ネットワークシステム
４…ストレージ装置
４１…記憶部
４１ａ…データボリューム
４１ｂ…ジャーナルボリューム
４１ｃ…スナップショットボリューム
４１ｄ…ジャーナルバックアップボリューム
４２…制御部
４２１…ＣＰＵ
４２２…ローカルメモリ
４２３…キャッシュ機構
【図１】
2008015768.tif 000003
【図２】
2008015768.tif 000004
【図３】
2008015768.tif 000005
【図４】
2008015768.tif 000006
【図５】
2008015768.tif 000007
【図６】
2008015768.tif 000008
【図７】
2008015768.tif 000009
【図８】
2008015768.tif 000010
【図９】
2008015768.tif 000011
【図１０】
2008015768.tif 000012
【図１１】
2008015768.tif 000013
【図１２】
2008015768.tif 000014
【図１３】
2008015768.tif 000015
【図１４】
2008015768.tif 000016