(57)【要約】【課題】  コピー元ディスクアレイ装置の世代管理情報もバックアップすること。【解決手段】  正サイト１のディスクアレイ装置は、差分スナップショットによって、主ボリューム１Ａのバックアップデータを複数世代で管理している。正サイト１から副サイト２には、所定のタイミングで、主ボリューム１Ａ及び主プール１Ｂの差分データが転送される。副サイト２は、主ボリューム１Ａのコピーである副ボリューム２Ａと、主プール１Ｂのコピーである副プール２Ｂを保持する。正サイト１は、世代管理情報１Ｃも副サイト２に転送する。世代管理情報１Ｃには、差分ビットマップテーブルと退避先アドレス管理テーブルとを含めることができる。副サイト２は、世代管理情報１Ｃのコピーを保持する。これにより、世代管理情報１Ｃを含めた全体をバックアップすることができ、耐障害性が改善される。【選択図】        図１
2005292865.tif 000002
【特許請求の範囲】
【請求項１】
第１のディスクアレイ装置と第２のディスクアレイ装置とを接続して構成されるストレージシステムであって、
（１）前記第１のディスクアレイ装置は、
第１のボリュームと、
前記第１のボリュームからの退避データを記憶する第１の退避用ボリュームと、
所定時点における前記第１のボリュームの記憶内容を差分データとして記録する世代管理情報を生成し、前記第１のボリュームのバックアップデータを世代管理する世代管理制御部と、
前記世代管理制御部により生成された前記世代管理情報を記憶する第１の記憶部と、
前記第１の記憶部に記憶された前記世代管理情報を前記第２のディスクアレイ装置に転送させる世代管理情報転送部と、
前記第１のボリューム及び前記第１の退避用ボリュームの記憶内容を前記第２のディスクアレイ装置にそれぞれ転送させるボリューム転送部と、を備え、
（２）前記第２のディスクアレイ装置は、
前記ボリューム転送部から受信した前記第１のボリュームの記憶内容がコピーされる第２のボリュームと、
前記ボリューム転送部から受信した前記第１の退避用ボリュームの記憶内容がコピーされる第２の退避用ボリュームと、
前記世代管理情報転送部から受信した前記世代管理情報を、第２の記憶部にコピーさせる世代管理情報複製部と、を備えたストレージシステム。
【請求項２】
前記ボリューム転送部は、前記第１のボリュームの差分と前記第１の退避用ボリュームの差分とをそれぞれ前記第２のディスクアレイ装置に送信可能である請求項１に記載のストレージシステム。
【請求項３】
前記ボリューム転送部による前記第１のボリューム及び前記第１の退避用ボリュームの各差分の転送と前記世代管理情報転送部による前記世代管理情報の転送とは、それぞれ同期して実行可能な請求項２に記載のストレージシステム。
【請求項４】
前記世代管理情報は、複数の部分情報から構成されている請求項１に記載のストレージシステム。
【請求項５】
前記世代管理情報転送部は、前記世代管理情報を前記第２のディスクアレイ装置に転送する前に、前記世代管理情報を構成する個々の部分情報のデータサイズを前記世代管理情報複製部にそれぞれ通知し、
前記世代管理情報複製部は、前記各部分情報のデータサイズに基づいて、前記世代管理情報の記憶位置を管理する請求項４に記載のストレージシステム。
【請求項６】
前記世代管理情報転送部は、予め選択された任意の世代の世代管理情報を前記第２のディスクアレイ装置に転送可能である請求項１に記載のストレージシステム。
【請求項７】
前記第２の記憶部にコピーされた前記世代管理情報に基づいて、前記第２のボリューム及び前記第２の退避用ボリュームを参照することにより、指定された世代の記憶内容を復元する世代復元部を、前記第２のディスクアレイ装置に設けた請求項１に記載のストレージシステム。
【請求項８】
前記第２のボリュームと前記第２の退避用ボリュームと前記第２の記憶部とがそれぞれ記憶する記憶内容を、前記第１のディスクアレイ装置に転送可能な復元部を前記第２のディスクアレイ装置に設けた請求項１に記載のストレージシステム。
【請求項９】
主ボリュームのバックアップデータを世代管理する第１のディスクアレイ装置と、この第１のディスクアレイ装置に接続される第２のディスクアレイ装置とを備えたストレージシステムのバックアップ方法であって、
前記主ボリュームのバックアップデータを前記第１のディスクアレイ装置から前記第２のディスクアレイ装置に送信させて、前記第２のディスクアレイ装置に保持させるステップと、
前記世代管理に使用される世代管理情報を前記第１のディスクアレイ装置から前記第２のディスクアレイ装置に送信させて、前記第２のディスクアレイ装置に保持させるステップと、
を含んだストレージシステムのバックアップ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、世代管理が可能なストレージシステム及びストレージシステムのバックアップ方法に関する。
【背景技術】
【０００２】
例えば、企業や自治体あるいは学校等のような各種の組織では、多種多様のデータを多量に管理する。これらの多量のデータは、ホストコンピュータとは別体に形成されたストレージシステムにより管理される。ストレージシステムは、例えば、ディスクアレイ装置のような記憶装置を少なくとも１つ以上備えて構成される。
【０００３】
ディスクアレイ装置は、例えば、ハードディスクドライブや半導体メモリ装置等の記憶デバイスをアレイ状に配設して構成される。ディスクアレイ装置は、RAID（Redundant Array of Independent Inexpensive Disks）に基づく記憶領域を提供する。
【０００４】
ストレージシステムでは、主ボリュームの記憶内容を主ボリュームとは別に管理することにより、主ボリュームのデータが失われた場合等に備えている。例えば、一つの方法としては、主ボリュームの記憶内容を副ボリュームに丸ごとコピーすることにより、所定時点のボリューム内容を保存する技術が知られている（特許文献１）。他の一つの方法としては、所定時点における主ボリュームの静止化されたイメージ（スナップショット）を取得し、主ボリュームのデータを複数世代で管理できるようにした技術も知られている（特許文献２）。
【特許文献１】特開平１１−２５９３４８号公報
【特許文献２】特開２００２−２７８８１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
主ボリュームの記憶内容を丸ごと別のボリュームにコピーさせる場合は、１つの世代のバックアップデータを保存するために、主ボリュームと同容量のバックアップボリュームを必要とする。従って、バックアップデータを複数世代で管理する場合は、多量のボリュームが必要となり、バックアップコストが増大する。また、新たな世代のボリュームを作成するたびに、ボリューム全体を転送させる初期コピーを実行しなければならず、システム負荷が増大する。
【０００６】
ある時点の記憶内容を基準として、差分だけを管理する差分スナップショットを用いる場合は、前者の方法に比べて必要な記憶容量が比較的少なくて済み、バックアップデータを複数世代で管理することができる。しかし、差分スナップショットに用いる世代管理用のデータそれ自体は、バックアップされていないため、１つのみしか存在しない。また、世代管理用のデータは、それのみではバックアップの役目を果たすことができない。ユーザは、基準となる主ボリュームと世代管理用のデータとの両方を参照することにより、目的とする世代のデータに回復させることができる。
【０００７】
従って、もしも主ボリュームに障害が発生したような場合は、差分スナップショットの世代管理用のデータのみでデータを回復させることはできない。また、もしも世代管理用のデータが失われた場合は、主ボリュームの記憶内容を過去の所定時点に戻すことができなくなる。
【０００８】
本発明は、上記の問題点に鑑みてなされたもので、その目的の一つは、コピー元の世代管理情報を含めてコピー先にバックアップさせることができるようにしたストレージシステム及びストレージシステムのバックアップ方法を提供することにある。本発明の一つの目的は、コピー元とコピー先の両方でそれぞれ複数世代のデータ管理を行えるようにしたストレージシステムを提供することある。本発明の更なる目的は、後述する実施の形態の記載から明らかになるであろう。
【課題を解決するための手段】
【０００９】
上記課題を解決すべく、本発明では、コピー元ディスクアレイ装置の世代管理情報を含めてコピー先ディスクアレイ装置にバックアップすることにより、コピー元とコピー先の両方でそれぞれ複数世代のデータ管理を可能とする。
【００１０】
本発明に従うストレージシステムは、第１のディスクアレイ装置と第２のディスクアレイ装置とを接続して構成される。そして、（１）第１のディスクアレイ装置は、第１のボリュームと、第１のボリュームからの退避データを記憶する第１の退避用ボリュームと、所定時点における第１のボリュームの記憶内容を差分データとして記録する世代管理情報を生成し、第１のボリュームのバックアップデータを世代管理する世代管理制御部と、世代管理制御部により生成された世代管理情報を記憶する第１の記憶部と、第１の記憶部に記憶された世代管理情報を第２のディスクアレイ装置に転送させる世代管理情報転送部と、第１のボリューム及び第１の退避用ボリュームの記憶内容を第２のディスクアレイ装置にそれぞれ転送させるボリューム転送部と、を備える。そして、（２）第２のディスクアレイ装置は、ボリューム転送部から受信した第１のボリュームの記憶内容がコピーされる第２のボリュームと、ボリューム転送部から受信した第１の退避用ボリュームの記憶内容がコピーされる第２の退避用ボリュームと、世代管理情報転送部から受信した世代管理情報を、第２の記憶部にコピーさせる世代管理情報複製部と、を備える。
【００１１】
ここで、第１のディスクアレイ装置と第２のディスクアレイ装置とは、例えば、外部装置（相手方のデスクアレイ装置やホストコンピュータ）とのデータ授受を制御するチャネルアダプタと、ボリュームを提供する記憶デバイスとのデータ授受を制御するディスクアダプタと、前記チャネルアダプタ及び前記ディスクアダプタにより共用されるメモリ（キャッシュメモリや制御メモリ）とをそれぞれ備えて構成することができる。第１のボリュームから第１の退避用ボリュームにデータを退避させる場合は、例えば、ディスクアダプタが退避対象のデータをいったんキャッシュメモリ上に読み出してから、第１の退避用ボリュームの所定位置に書き込む。また、第１のボリュームを第２のボリュームにコピーする場合や第１の退避用ボリュームを第２の退避用ボリュームにコピーさせる場合は、ディスクアダプタがコピー対象のデータをキャッシュメモリ上に読出す。チャネルアダプタは、キャッシュメモリ上のデータを読み込み、通信ネットワークを介してコピー先のディスクアレイ装置に送信する。
【００１２】
世代管理情報は、例えば、差分ビットマップテーブルや退避先アドレス管理テーブル等のように、複数の部分情報の集合体として構成することができる。差分ビットマップテーブルとは、所定サイズに区切られた各ブロックのそれぞれについてデータ更新が行われたか否かを管理するための情報である。退避先アドレス管理テーブルとは、更新される前のデータを退避させたアドレスを管理するためのものである。
【００１３】
以上の構成により、コピー先である第２のディスクアレイ装置には、主ボリュームと、第１の退避用ボリュームと、世代管理情報とがそれぞれコピーされる。従って、コピー元である第１のディスクアレイ装置とコピー先である第２のディスクアレイ装置との両方で、バックアップデータを複数世代でそれぞれ管理することができる。
【００１４】
また、世代管理情報は、第１のボリュームの記憶内容を差分データとして記録するものである。従って、ある時点のボリューム内容を丸ごと全てコピーする方法とは異なり、例えば、前世代との差分だけを管理すればよいので、バックアップに必要な記憶容量を少なくすることができ、データ転送時間も短縮できる。
【００１５】
本実施形態では、ボリューム転送部は、第１のボリュームの差分と第１の退避用ボリュームの差分とをそれぞれ第２のディスクアレイ装置に送信可能に構成する。ボリュームの差分を送信するとは、例えば、前回送信時の内容と比べて変更を生じた部分（差分）のみを送信することを意味する。このように差分のみをコピーすることで、データ転送量を少なくすることができる。
【００１６】
本実施形態では、ボリューム転送部による第１のボリューム及び第１の退避用ボリュームの各差分の転送と世代管理情報転送部による世代管理情報の転送とは、それぞれ同期して実行される。これにより、第１のディスクアレイ装置（コピー元）と第２のディスクアレイ装置（コピー先）との各世代管理を同期させることができる。
【００１７】
本実施形態では、世代管理情報転送部は、世代管理情報を第２のディスクアレイ装置に転送する前に、世代管理情報を構成する個々の部分情報のデータサイズを世代管理情報複製部にそれぞれ通知し、世代管理情報複製部は、各部分情報のデータサイズに基づいて、世代管理情報の記憶位置を管理する。例えば、差分ビットマップテーブルや退避先アドレス管理テーブル等のような部分情報は、第１のディスクアレイ装置が有するメモリやディスク等の複数の記憶装置に分散して保持されることがある。あるいは、各部分情報は、同一の記憶装置内の異なる場所にそれぞれ記憶されることがある。そこで、世代管理情報転送部から世代管理情報複製部に各部分情報のデータサイズを予め通知することにより、世代管理情報複製部は、各部分情報を記憶するための記憶領域を確保し、各部分情報の格納位置を管理することができる。
【００１８】
本実施形態では、世代管理情報転送部は、予め選択された任意の世代の世代管理情報を第２のディスクアレイ装置に転送可能に構成される。
【００１９】
本実施形態では、第２の記憶部にコピーされた世代管理情報に基づいて、第２のボリューム及び第２の退避用ボリュームを参照することにより、指定された世代の記憶内容を復元する世代復元部を、前記第２のディスクアレイ装置に設けている。
【００２０】
本実施形態では、第２のボリュームと第２の退避用ボリュームと第２の記憶部とがそれぞれ記憶する記憶内容を、第１のディスクアレイ装置に転送可能な復元部を第２のディスクアレイ装置に設けている。
【００２１】
本発明は、第１のディスクアレイ装置に所定の機能（世代管理制御機能、世代管理情報転送機能、ボリューム転送機能）を実現させるコンピュータプログラム、または、第２のディスクアレイ装置に所定の機能（世代管理情報複製機能、世代復元機能、復元機能）を実現させるコンピュータプログラムとして、実現することもできる。そして、このプログラムは、例えば、ハードディスク装置や半導体メモリ装置等の各種記憶媒体に固定して配布することができる。または、このプログラムは、例えば、通信ネットワークを介して配信することもできる。
【発明を実施するための最良の形態】
【００２２】
以下、図面に基づき、本発明の実施の形態を説明する。本実施形態では、後述のように、複数のチャネルアダプタ、複数のディスクアダプタ、キャッシュメモリ及び共有メモリ等を備えてそれぞれ構成される複数のディスクアレイ装置を互いに接続する。そして、コピー元ディスクアレイ装置の世代管理情報を含めてコピー先ディスクアレイ装置にバックアップさせることにより、コピー元及びコピー先のそれぞれにおいて、バックアップデータを複数世代で管理可能としている。
【００２３】
本実施形態には、主ボリュームのバックアップデータを第１のディスクアレイ装置から第２のディスクアレイ装置に送信させて、第２のディスクアレイ装置に保持させるステップと、世代管理に使用される世代管理情報を第１のディスクアレイ装置から第２のディスクアレイ装置に送信させて、第２のディスクアレイ装置に保持させるステップと、を含んだストレージシステムのバックアップ方法が開示されている。
【００２４】
図１は、本実施形態の全体概念を示す説明図である。このストレージシステムは、コピー元のディスクアレイ装置を有する正サイト１と、コピー先のディスクアレイ装置を有する副サイト２とを備えている。ディスクアレイ装置の具体的な構成例については、さらに後述する。正サイト１は、例えば、現用系サーバ（ホストコンピュータ）により使用されるデータ群を保持する。副サイト２は、例えば、正サイト１のバックアップサイトとして使用される。正サイト１と副サイト２とは、例えば、物理的に離れた筐体内にそれぞれ設けることができる。あるいは、例えば、正サイト１と副サイト２とは、同一の筐体内にそれぞれ設けることもできる。
【００２５】
例えば、サーバとして構成されるホストコンピュータ３は、各サイト１，２にそれぞれアクセス可能である。なお、アクセス制御を設定することにより、特定のホストコンピュータのみが特定のサイトにアクセスできるように構成することもできる。各ホストコンピュータ３と各サイト１，２とは、通信ネットワーク４を介して接続される。各サイト１，２間は、別の通信ネットワーク５を介して接続される。通信ネットワーク４は、例えば、LAN（Local Area Network）等から構成可能である。通信ネットワーク５は、例えば、SAN（Storage Area Network）等から構成可能である。
【００２６】
正サイト１は、例えば、主ボリューム１Ａと、主プール１Ｂと、世代管理情報１Ｃと、世代管理情報転送部１Ｄとを備えることができる。主ボリューム１Ａは、ホストコンピュータ３により利用されるデータを記憶する論理的な記憶領域である。主プール１Ｂは、主ボリューム１Ａに対するデータ更新前に、元のデータを退避させるための論理的な記憶領域である。世代管理情報１Ｃは、ユーザからのスナップショット取得要求に基づいて、所定時点における主ボリュームの静止化されたイメージを取得する。このスナップショットは、変化の差分を取得する差分スナップショットとして実現可能である。世代管理情報転送部１Ｄは、世代管理情報１Ｃを副サイト２に転送するものである。
【００２７】
副サイト２は、例えば、副ボリューム２Ａと、副プール２Ｂと、世代管理情報２Ｃと、世代管理情報複製部２Ｄとを備えることができる。副ボリューム２Ａは、主ボリューム１Ａとコピーペアを形成するもので、主ボリューム１Ａの記憶内容がコピーされる。主ボリューム１Ａと副ボリューム２Ａとは同期している。副プール２Ｂは、主プール１Ｂとコピーペアを形成するもので、主プール１Ｂの記憶内容が記憶される。主プール１Ｂと副プール２Ｂとは同期している。世代管理情報２Ｃは、世代管理情報１Ｃを副サイト２にコピーすることにより生成されたものである。世代管理情報複製部２Ｄは、世代管理情報転送部１Ｄから世代管理情報１Ｃを受信してコピーするものである。
【００２８】
このストレージシステムは、以下のような動作を実行する。まず、主ボリューム１Ａの記憶内容を副ボリューム２Ａにコピーさせる（Ｓ１）。次に、主プール１Ｂの記憶内容を副プール２Ｂにコピーさせる（Ｓ２）。ここで、ボリューム同士を同期させる場合、ある時点におけるコピー元ボリューム１Ａ，１Ｂの記憶内容を丸ごとコピー先ボリューム２Ａ，２Ｂにそれぞれコピーし（初期コピー）、以後は初期コピー完了後に生じた差分のみをコピーする（差分コピー）。
【００２９】
ホストコンピュータ３は、主ボリューム１Ａにアクセスしてデータを更新させる。従って、主ボリューム１Ａの記憶内容は時々刻々と変化していく。正サイト１では、主ボリューム１Ａの記憶内容を複数世代で管理している。即ち、ユーザからスナップショット取得要求が出される毎に、それぞれの時点（世代）における主ボリューム１Ａの記憶内容が管理されている。
【００３０】
主ボリューム１Ａ及び主プール１Ｂのコピーを副サイト２に作成した後（Ｓ１，Ｓ２）、正サイト１から副サイト２に世代管理情報１Ｃが送信される（Ｓ３）。これにより、副サイト２では、世代管理情報２Ｃが作成されて保存される。
これにより、正サイト１及び副サイト２の両方で、主ボリューム１の複数世代のバックアップデータを管理することができる。
【実施例１】
【００３１】
まず最初に、正サイト及び副サイトにそれぞれ設けられるディスクアレイ装置の一例について説明し、次に、本発明に特有の構成について説明する。なお、正サイトのディスクアレイ装置と副サイトのディスクアレイ装置とは、異なる構成を備えていてもよい。
【００３２】
図２は、ディスクアレイ装置１０の外観構成を示す概略斜視図である。ディスクアレイ装置１０は、例えば、基本筐体１１と複数の増設筐体１２とから構成可能である。
【００３３】
基本筐体１１は、ディスクアレイ装置１０の最小構成単位であり、記憶機能及び制御機能の両方を備えている。増設筐体１２は、ディスクアレイ装置１０のオプションであり、基本筐体１１の有する制御機能により制御される。例えば、最大４個の増設筐体１２を基本筐体１１に接続可能である。
【００３４】
基本筐体１１には、複数の制御パッケージ１３と、複数の電源ユニット１４と、複数のバッテリユニット１５と、複数のディスクドライブ２６とがそれぞれ着脱可能に設けられている。増設筐体１２には、複数のディスクドライブ２６と、複数の電源ユニット１４及び複数のバッテリユニット１５が着脱可能に設けられている。また、基本筐体１１及び各増設筐体１２には、複数の冷却ファン１６もそれぞれ設けられている。
【００３５】
制御パッケージ１３は、後述するチャネルアダプタ（以下、CHA）２１、ディスクアダプタ（以下、DKA）２２及びキャッシュメモリ２３等をそれぞれ実現するためのモジュールである。即ち、基本筐体１１には、複数のCHAパッケージ、複数のDKAパッケージ及び１つ以上のメモリパッケージがそれぞれ着脱可能に設けられ、パッケージ単位で交換可能となっている。
【００３６】
図３は、ディスクアレイ装置１０の全体概要を示すブロック図である。ディスクアレイ装置１０は、通信ネットワークＣＮ１を介して、複数のホストコンピュータ３０と双方向通信可能にそれぞれ接続可能である。
【００３７】
通信ネットワークＣＮ１は、例えば、LAN、SAN、インターネットまたは専用回線等である。LANを用いる場合、ホストコンピュータ３０とディスクアレイ装置１０との間のデータ転送は、TCP/IPに従う。SANを用いる場合、ホストコンピュータ３０とディスクアレイ装置１０とは、ファイバチャネルプロトコルに従ってデータ転送を行う。
【００３８】
また、ホストコンピュータ３０がメインフレームの場合は、例えば、FICON（Fibre Connection：登録商標）、ESCON（Enterprise System Connection：登録商標）、ACONARC（Advanced Connection Architecture：登録商標）、FIBARC（Fibre Connection Architecture：登録商標）等の通信プロトコルに従ってデータ転送が行われる。
【００３９】
各ホストコンピュータ３０は、例えば、サーバ、パーソナルコンピュータ、ワークステーション、メインフレーム等として実現されるものである。例えば、各ホストコンピュータ３０は、図外に位置する複数のクライアント端末と別の通信ネットワークを介して接続されている。各ホストコンピュータ３０は、例えば、各クライアント端末からの要求に応じて、ディスクアレイ装置１０にデータの読み書きを行うことにより、各クライアント端末へのサービスを提供する。
【００４０】
各CHA２１は、各ホストコンピュータ３０との間のデータ転送を制御するもので、通信ポート２１Ａを備えている。ディスクアレイ装置１０には、例えば３２個のCHA２１を設けることができる。CHA２１は、例えば、オープン系用CHA、メインフレーム系用CHA等のように、ホストコンピュータ３０の種類に応じて用意される。
【００４１】
各CHA２１は、それぞれに接続されたホストコンピュータ３０から、データの読み書きを要求するコマンド及びデータを受信し、ホストコンピュータ３０から受信したコマンドに従って動作する。
【００４２】
DKA２２の動作も含めて先に説明すると、CHA２１は、ホストコンピュータ３０からリードコマンドを受信すると、このリードコマンドを共有メモリ２４に記憶させる。DKA２２は、共有メモリ２４を随時参照しており、未処理のリードコマンドを発見すると、ディスクドライブ２６からデータを読み出して、キャッシュメモリ２３に記憶させる。CHA２１は、キャッシュメモリ２３に移されたデータを読み出し、ホストコンピュータ３０に送信する。
【００４３】
一方、CHA２１は、ホストコンピュータ３０からライトコマンドを受信すると、このライトコマンドを共有メモリ２４に記憶させる。また、CHA２１は、受信したデータ（ユーザデータ）をキャッシュメモリ２３に記憶させる。CHA２１は、キャッシュメモリ２３にデータを記憶した後、ホストコンピュータ３０に書込み完了を報告する。DKA２２は、共有メモリ２４に記憶されたライトコマンドに従って、キャッシュメモリ２３に記憶されたデータを読出し、所定のディスクドライブ２６に記憶させる。
【００４４】
各DKA２２は、ディスクアレイ装置１０内に例えば４個や８個等のように複数個設けることができる。各DKA２２は、各ディスクドライブ２６との間のデータ通信をそれぞれ制御する。各DKA２２と各ディスクドライブ２６とは、例えば、SAN等の通信ネットワークＣＮ４を介して接続されており、ファイバチャネルプロトコルに従ってブロック単位のデータ転送を行う。各DKA２２は、ディスクドライブ２６の状態を随時監視しており、この監視結果は、内部ネットワークＣＮ３を介して、SVP２８に送信される。
【００４５】
各CHA２１及び各DKA２２は、例えば、プロセッサやメモリ等が実装されたプリント基板と、メモリに格納された制御プログラム（いずれも不図示）とをそれぞれ備えており、これらのハードウェアとソフトウェアとの協働作業によって、それぞれ所定の機能を実現するようになっている。
【００４６】
キャッシュメモリ２３は、例えば、ユーザデータ等を記憶するものである。キャッシュメモリ２３は、例えば不揮発メモリから構成される。ボリュームコピーや差分コピー等を行う場合は、コピー対象のデータがキャッシュメモリ２３に読み出され、キャッシュメモリ２３からCHA２１またはDKA２２のいずれか一方により、あるいはCHA２１及びDKA２２の両方により、コピー先に転送される。
【００４７】
共有メモリ（あるいは制御メモリ）２４は、例えば不揮発メモリから構成される。共有メモリ２４には、例えば、制御情報や管理情報等が記憶される。共有メモリ２４及びキャッシュメモリ２３は、それぞれ複数個設けることができる。また、同一のメモリ基板にキャッシュメモリ２３と共有メモリ２４とを混在させて実装することもできる。あるいは、メモリの一部をキャッシュ領域として使用し、他の一部を制御領域として使用することもできる。
【００４８】
スイッチ部２５は、各CHA２１と、各DKA２２と、キャッシュメモリ２３と、共有メモリ２４とをそれぞれ接続するものである。これにより、全てのCHA２１，DKA２２は、キャッシュメモリ２３及び共有メモリ２４にそれぞれアクセス可能である。スイッチ部２５は、例えば超高速クロスバスイッチ等として構成することができる。
【００４９】
ディスクアレイ装置１０は、多数のディスクドライブ２６を実装可能である。各ディスクドライブ２６は、例えば、ハードディスクドライブ（ＨＤＤ）や半導体メモリ装置等として実現することができる。
【００５０】
ディスクドライブ２６は、物理的な記憶デバイスである。RAID構成等によっても相違するが、例えば、４個１組のディスクドライブ２６が提供する物理的な記憶領域上には、仮想的な論理領域であるRAIDグループ２７が構築される。さらに、RAIDグループ２７上には、仮想的な論理デバイス（LU：Logigal Unit）を１つ以上設定可能である。
【００５１】
なお、ディスクアレイ装置１０により使用される記憶資源は、全てディスクアレイ装置１０内に設けられている必要はない。ディスクアレイ装置１０は、ディスクアレイ装置１０の外部に存在する記憶資源を、あたかも自己の記憶資源であるかのように取り込んで、利用することもできる。
【００５２】
サービスプロセッサ（SVP）２８は、LAN等の内部ネットワークＣＮ３を介して、各CHA２１及び各DKA２２とそれぞれ接続されている。また、SVP２８は、LAN等の通信ネットワークＣＮ２を介して、複数の管理端末３１に接続可能である。SVP２８は、ディスクアレイ装置１０内部の各種状態を収集し、管理端末３１に提供する。
【００５３】
図４は、世代管理情報を含めてバックアップを行うストレージシステムの主要な構成を示すブロック図である。ストレージシステムは、正サイトに設けられるコピー元ディスクアレイ装置１００と、副サイトに設けられるコピー先ディスクアレイ装置２００とを接続することにより構成されている。各ディスクアレイ装置１００，２００は、それぞれ例えば、図２及び図３と共に上述したような構成を備えることができる。
【００５４】
各ディスクアレイ装置１００，２００間は、例えば、SAN等の通信ネットワークＣＮ１１により接続されている。また、各ディスクアレイ装置１００，２００とホストコンピュータ（以下、「ホスト」）３０Ａ，３０Ｂとは、例えば、LANやSAN等の通信ネットワークＣＮ１２により接続されている。ホスト３０Ａは、正サイトのディスクアレイ装置１００にアクセスする。ホスト３０Ｂは、副サイトのディスクアレイ装置２００にアクセスする。正ホスト３０Ａと副ホスト３０Ｂとを区別する必要がない場合等には、単にホスト３０と呼ぶ。
【００５５】
ディスクアレイ装置１００は、主ボリューム１１０と、主プール１２０と、差分転送部１３０と、スナップショット制御部１４０と、世代管理情報記憶部１５０と、世代管理情報転送部１６０と、を備えることができる。
【００５６】
主ボリューム１１０は、ホスト３０Ａにより使用されるデータ群を記憶するボリュームである。主プール１２０は、主ボリューム１１０から退避されるデータを保存するボリュームである。差分転送部１３０は、主ボリューム１１０及び主プール１２０の記憶内容を副サイトのディスクアレイ装置２００に向けてそれぞれ差分転送するものである。差分転送部１３０は、例えば、CHA２１の備えるプロセッサが差分転送用のマイクロコードを実行することにより実現される。ここで、例えば、所定量の差分データが蓄積された場合や所定時期が到来した場合等に、複数の差分データをまとめて転送可能である。
【００５７】
スナップショット制御部１４０は、ホスト３０Ａからの指示（ユーザ指示）により、主ボリューム１１０のスナップショットを取得して管理するものである。スナップショットには、ボリューム全体を丸ごとコピーするボリュームスナップショットと、前回のスナップショット作成時からの差分のみを管理する差分スナップショットとがある。スナップショット制御部１４０は、差分スナップショットを作成する。
【００５８】
所定時点における主ボリューム１１０の記憶内容は、例えば、世代管理情報記憶部１５０に記憶されている差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２とによって管理可能である。図５に示すように、例えば、差分ビットマップテーブル１５１と退避先アドレス管理テーブル１５２とによって、世代管理情報１５３を構成することができる。世代管理情報１５３は、各世代毎にそれぞれ作成される。世代管理情報１５３は、同一の記憶デバイスに記憶されているとは限らず、異なる記憶デバイスに分散して記憶される場合がある。
【００５９】
差分ビットマップテーブル１５１は、例えば、主ボリューム１１０を所定サイズで区切った複数のブロックのそれぞれについて、更新されたか否かのステータスを示すフラグ情報を対応付けたものとして理解される。
【００６０】
退避先アドレス管理テーブル１５２は、例えば、主ボリューム１１０の各ブロック毎に、そのブロックに記憶されていたデータを主プール１２０のどこに退避させたかを示す退避先アドレスを対応付けることにより構成可能である。なお、図５に示す世代管理情報１５３の構成は一例に過ぎず、種々の方法で主ボリューム１１０の差分スナップショットを管理可能である。
【００６１】
世代管理情報転送部１６０は、世代管理情報記憶部１５０に記憶されている世代管理情報１５３を副サイトのディスクアレイ装置２００に送信するものである。世代管理情報転送部１６０は、主ボリューム１１０及び主プール１２０の各差分データを差分転送部１３０が送信するタイミングと略同じタイミングで、世代管理情報１５３を送信する。
【００６２】
副ディスクアレイ装置２００は、副ボリューム２１０と、副プール２２０と、仮想ボリューム作成部２３０と、仮想ボリューム２４０と、世代管理情報記憶部２５０と、世代管理情報複製部２６０とを備えることができる。
【００６３】
副ボリューム２１０は、主ボリューム１１０とコピーペアを形成する。副ボリューム２１０には、主ボリューム１１０の記憶内容がコピーされる。副プール２２０は、主プール１２０とコピーペアを形成する。副プール２２０には、主プール１２０の記憶内容がコピーされる。
【００６４】
仮想ボリューム作成部２３０は、ホスト３０からの指示に基づいて、指定された世代の仮想ボリューム２４０を生成する。仮想ボリューム作成部２３０は、世代管理情報記憶部２５０に記憶されている世代管理情報２５３に基づいて、副ボリューム２１０及び副プール２２０を参照し、指定された世代の記憶内容を仮想的に再現する仮想ボリューム２４０を作成する。
【００６５】
世代管理情報記憶部２５０は、世代管理情報２５３を記憶するものである。世代管理情報２５３は、正サイトの世代管理情報１５３のコピーである。従って、世代管理情報２５３は、例えば、差分ビットマップテーブル１５１のコピーである差分ビットマップテーブル２５１と、退避先アドレス管理テーブル１５２のコピーである退避先アドレス管理テーブル２５２とを含んで構成される。
【００６６】
世代管理情報複製部２６０は、正サイトの世代管理情報転送部１６０から受信したデータに基づいて、世代管理情報記憶部２５０に世代管理情報２５３を記憶させる。世代管理情報複製部２６０は、後述のように、世代管理情報転送部１６０から通知された世代管理情報１５３のデータサイズに基づいて、世代管理情報２５３の格納先アドレスを設定し、管理する。世代管理情報２５３の格納先は、世代管理情報格納先アドレス情報２６１に記録される。
【００６７】
図６は、世代管理情報記憶部２５０に世代管理情報２５３を記憶させる過程を模式的に示す説明図である。まず、正サイトのディスクアレイ装置１００内において、世代管理情報１５３を構成する各部分情報（差分ビットマップテーブル１５１，退避先アドレス管理テーブル１５２）は、それぞれ分散して記憶されている。
【００６８】
例えば、差分ビットマップテーブル１５１は、ディスクアレイ装置１００のキャッシュメモリに記憶される。また、例えば、退避先アドレス管理テーブル１５２は、所定のディスクに記憶される。
【００６９】
世代管理情報転送部１６０は、世代管理情報１５３の転送に際して、世代管理情報１５３を構成する差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２のデータサイズをそれぞれ取得する。世代管理情報転送部１６０は、世代管理情報１５３を転送する前に、各テーブル１５１，１５２のデータサイズを世代管理情報複製部２６０に予め通知する。
【００７０】
世代管理情報複製部２６０は、各テーブル１５１，１５２のデータサイズを受信すると、世代管理情報１５３をコピーするために必要な記憶領域を世代管理情報記憶部２５０に確保する。そして、世代管理情報複製部２６０は、確保した記憶領域に、差分ビットマップテーブル１５１のコピーである差分ビットマップテーブル２５１と、退避先アドレス管理テーブル１５２のコピーである退避先アドレス管理テーブル２５２とを、それぞれ記憶させる。世代管理情報複製部２６０は、各テーブル２５１，２５２の格納位置を、世代管理情報格納先アドレス情報２６１に記録する。
【００７１】
世代管理情報格納先アドレス情報２６１は、例えば、世代管理情報を構成する要素名（部分情報の名称）と、格納先記憶デバイスを特定するための情報（デバイス番号等）と、先頭アドレスと、サイズとを対応付けることにより構成することができる。図６では、ディスクアレイ装置１００内で分散して記憶されている各テーブル１５１，１５２を、ディスクアレイ装置２００のキャッシュメモリにまとめて記憶させる場合を示してある。なお、世代管理情報２５３の各テーブル２５１，２５２をディスクアレイ装置２００内で分散して記憶させる構成でもよい。また、世代管理情報２５３の記憶先デバイスは、キャッシュメモリに限らず、１つまたは複数のディスクでもよい。
【００７２】
図７及び図８を参照してストレージシステムの処理概要を説明する。図７は、正サイト側で実行されている世代管理も含めて、副サイトにバックアップさせるバックアップ処理の概略を示すフローチャートである。
【００７３】
まず、ディスクアレイ装置１００は、主ボリューム１１０の記憶内容をディスクアレイ装置２００に転送する（Ｓ１１）。次に、ディスクアレイ装置１００は、主プール１２０の記憶内容をディスクアレイ装置２００に転送する（Ｓ１２）。
【００７４】
副サイトのディスクアレイ装置２００は、主ボリューム１１０のデータを受信すると、このデータを副ボリューム２１０の所定位置に格納し、主ボリューム１１０のコピーを作成する（Ｓ２１）。また、ディスクアレイ装置２００は、主プール１２０のデータを受信すると、このデータを副プール２２０の所定位置に格納し、主プール１２０のコピーを作成する（Ｓ２２）。
【００７５】
正サイトのディスクアレイ装置１００は、世代管理情報１５３を構成する差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２のデータサイズをそれぞれ取得し、これら各データサイズをディスクアレイ装置２００に通知する（Ｓ１３）。
【００７６】
副サイトのディスクアレイ装置２００は、差分ビットマップテーブル１５１のデータサイズ及び退避先アドレス管理テーブル１５２のデータサイズに基づいて、必要な記憶領域を確保する。ディスクアレイ装置２００は、差分ビットマップテーブル２５１及び退避先アドレス管理テーブル２５２の格納先アドレスを、世代管理情報格納先アドレス情報２６１に記録する（Ｓ２３）。
【００７７】
正サイトのディスクアレイ装置１００は、世代管理情報１５３を構成する差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２のデータを、それぞれディスクアレイ装置２００に送信する（Ｓ１４）。
【００７８】
副サイトのディスクアレイ装置２００は、受信したデータに基づいて、差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２のコピーをそれぞれ作成し、世代管理情報記憶部２５０の所定位置に格納させる（Ｓ２４）。
【００７９】
正サイトのディスクアレイ装置１００は、ホスト３０からのデータ更新要求を監視している（Ｓ１５）。更新要求が発生した場合（S15：YES）、ディスクアレイ装置１００は、この更新により生じた差分を管理する（Ｓ１６）。そして、例えば、差分データの量が所定量に達する等して所定の転送タイミングが到来したような場合（S17：YES）、ディスクアレイ装置１００は、Ｓ１１〜Ｓ１４の処理を繰り返す。
【００８０】
ここで、Ｓ１６の差分管理について簡単に説明する。ホスト３０が主ボリューム１１０のデータ更新を行おうとする場合、ディスクアレイ装置１００は、主ボリューム１１０の最新のスナップショットを管理する差分ビットマップテーブル１５１を参照する。更新されるデータブロックについて、既に更新フラグがオンなっている場合（「１」にセットされている場合）、そのデータブロックに記憶されていた元のデータは、既に主プール１２０に退避済である。従って、この場合、ディスクアレイ装置１００は、主ボリューム１１０のデータを退避させることなく、新たなデータを上書きする。
【００８１】
更新されるデータブロックの更新フラグがオフになっている場合（「０」にセットされている場合）、そのデータブロックに記憶されているデータは、上書き前に退避させる必要がある。そこで、ディスクアレイ装置１００は、更新対象のデータブロックに記憶されているデータを主ボリューム１１０から読み出して、主プール１２０にコピーする。コピー完了後に、ディスクアレイ装置１００は、データの退避先アドレスを退避先アドレス管理テーブル１５２に記録する。また、ディスクアレイ装置１００は、差分ビットマップテーブル１５１の該当ブロックの更新フラグをオンにセットする。
【００８２】
図８は、世代復元処理の概略を示すフローチャートである。まず、副サイトのディスクアレイ装置２００は、ホスト３０から世代の回復について指示されたか否かを監視している（Ｓ３１）。
【００８３】
所定世代の仮想ボリュームを作成するようにホスト３０から指示を受けた場合（S31：YES）、ディスクアレイ装置２００は、世代管理情報格納先アドレス情報２６１を参照し、差分ビットマップテーブル２５１及び退避先アドレス管理テーブル２５２の格納先アドレスをそれぞれ取得する（Ｓ３２）。ディスクアレイ装置２００は、世代管理情報記憶部２５０から世代管理情報２５３（差分ビットマップテーブル２５１及び退避先アドレス管理テーブル２５２）を取得する（Ｓ３３）。
【００８４】
ディスクアレイ装置２００は、世代管理情報２５３に基づいて、副ボリューム２１０及び副プール２２０の記憶内容から、ホスト３０により指定された世代の仮想ボリューム２４０を作成する（Ｓ３４）。ここで、仮想ボリューム２４０とは、例えば、指定された世代の記憶内容を仮想的に復元するための読替テーブルである。仮想ボリューム２４０には、目的のデータが副ボリューム２１０と副プール２２０のいずれに格納されているかが記録されている。目的のデータが副ボリューム２１０に記憶されている場合、そのデータは副ボリューム２１０から読み出される。目的のデータが副プール２２０に記憶されている場合、そのデータは副プール２２０から読み出される。
【００８５】
ディスクアレイ装置２００は、指定された世代の仮想ボリューム２４０を作成すると、仮想ボリューム２４０の全部または一部を、正サイトのディスクアレイ装置１００に送信させる（Ｓ３５）。
【００８６】
そして、正サイトのディスクアレイ装置１００は、副サイトのディスクアレイ装置２００から受信したデータを、主ボリューム１１０に記憶させる（Ｓ４１）。
【００８７】
本実施例は上述のように構成したので、以下の効果を奏する。本実施例では、コピー元での世代管理情報を含めてコピー先にバックアップさせる構成とした。従って、バックアップ先（コピー先）でも、バックアップデータを複数世代で管理できる。これにより、耐障害性を向上することができる。
【００８８】
本実施例では、コピー元のディスクアレイ装置１００において、差分スナップショットによる複数世代の管理を行い、この各世代の世代管理情報１５３を含めた全体をコピー先のディスクアレイ装置２００にバックアップさせる構成とした。従って、各世代のボリュームの全体をコピーする場合に比較して、少ないボリューム容量で複数の世代を管理することができる。
【実施例２】
【００８９】
図９に基づいて第２実施例を説明する。本実施例は第１実施例の変形例に該当する。本実施例の特徴は、予め指定された世代のバックアップデータのみを副サイトに転送して保持させる点にある。
【００９０】
図９は、バックアップ処理の概要を示すフローチャートである。まず、正サイトのディスクアレイ装置１００は、バックアップ対象世代を取得する（Ｓ５１）。どの世代のデータをバックアップするかは、ホスト３０からディスクアレイ装置１００に指示することができる。
【００９１】
ディスクアレイ装置１００は、主ボリューム１１０及び主プール１２０の記憶内容を、副サイトのディスクアレイ装置２００にそれぞれ送信する（Ｓ５２，Ｓ５３）。次に、ディスクアレイ装置１００は、指定された世代に関する世代管理情報１５３に含まれる差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２のデータサイズをそれぞれ取得する。ディスクアレイ装置１００は、各テーブル１５１，１５２のデータサイズをディスクアレイ装置２００にそれぞれ通知する（Ｓ５４）。そして、ディスクアレイ装置１００は、指定された世代に関する差分ビットマップテーブル１５１及び退避先アドレス管理テーブル１５２の内容を、ディスクアレイ装置２００に送信する（Ｓ５５）。
【００９２】
ディスクアレイ装置１００は、ホスト３０からの更新要求を監視し（Ｓ５６）、更新要求が出された場合は、主ボリューム１１０に生じた差分を管理する（Ｓ５７）。そして、ディスクアレイ装置１００は、所定の転送タイミングが到来すると（S58：YES）、Ｓ５２〜Ｓ５５の処理を繰り返す。
【００９３】
このように、本実施例では、ホスト３０から指定した世代に関する世代管理情報１５３等を副サイトのディスクアレイ装置２００にバックアップさせることができ、使い勝手が向上する。なお、主プール１２０の記憶内容をディスクアレイ装置２００に転送する場合は、ユーザから指示された世代の記憶内容に関連する部分だけを転送するように構成することができる。
【実施例３】
【００９４】
図１０及び図１１に基づいて第３実施例を説明する。本実施例は、第１実施例の変形例に該当する。本実施例の特徴は、コピー先に保持されている主ボリュームと主プールと各世代管理情報のコピーを、ユーザ指示に基づいてコピー元に転送する点にある。
【００９５】
図１０は、ストレージシステムの全体構成を示す概略ブロック図である。副サイトのディスクアレイ装置２００は、復元部２７０を備えている。なお、図１０では、説明の便宜上、仮想ボリューム作成部２３０の図示を省略している。
【００９６】
復元部２７０は、図１１と共に述べるように、副ボリューム２１０の記憶内容と、副プール２２０の記憶内容と、世代管理情報２５３とを、それぞれ正サイトのディスクアレイ装置１００に転送して、主ボリューム１１０や主プール１２０及び世代管理情報１５３をそれぞれ復元させるものである。
【００９７】
図１１は、復元処理の概要を示すフローチャートである。副サイトのディスクアレイ装置２００は、ホスト３０からの復元指示を検出すると（S61：YES）、副ボリューム２１０の記憶内容をディスクアレイ装置１００に転送する（Ｓ６２）。正サイトのディスクアレイ装置１００は、ディスクアレイ装置２００から受信したデータを主ボリューム１１０に記憶し、主ボリューム１１０を復元させる（Ｓ７１）。
【００９８】
続いて、副サイトのディスクアレイ装置２００は、副プール２２０の記憶内容をディスクアレイ装置１００に転送する（Ｓ６３）。正サイトのディスクアレイ装置１００は、ディスクアレイ装置２００から受信したデータを主プール１２０に記憶し、主プール１２０を復元する（Ｓ７２）。
【００９９】
ディスクアレイ装置２００は、世代管理情報格納先アドレス情報２６１を参照して、世代管理情報２５３の格納先アドレスを取得する（Ｓ６４）。ディスクアレイ装置２００は、取得したアドレスに基づいて、差分ビットマップテーブル２５１及び退避先アドレス管理テーブル２５２を世代管理情報記憶部２５０からそれぞれ取得する（Ｓ６５）。ディスクアレイ装置２００は、差分ビットマップテーブル２５１及び退避先アドレス管理テーブル２５２の内容を、ディスクアレイ装置１００にそれぞれ送信する（Ｓ６６）。
【０１００】
そして、正サイトのディスクアレイ装置１００は、ディスクアレイ装置２００から受信したデータを、世代管理情報記憶部１５０の所定位置に記憶し、世代管理情報１５３を復元させる（Ｓ７３）。
【０１０１】
このように、本実施例では、コピー先のディスクアレイ装置２００に保持されていた主ボリューム１１０及び主プール１２０のコピーと世代管理情報１５３のコピーとを、コピー元のディスクアレイ装置１００にそれぞれ戻すことができる。
【０１０２】
なお、本発明は、上述した実施の形態に限定されない。当業者であれば、本発明の範囲内で、種々の追加や変更等を行うことができる。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施形態の全体概念を示す説明図である。
【図２】本発明に使用可能なディスクアレイ装置の外観図である。
【図３】ディスクアレイ装置の構成例を示すブロック図である。
【図４】コピー元の世代管理情報を含む全体をコピー先のディスクアレイ装置にバックアップさせるストレージシステムの全体構成を示すブロック図である。
【図５】（ａ）は差分ビットマップテーブルを、（ｂ）は退避先アドレス管理テーブルをそれぞれ示す説明図である。
【図６】世代管理情報をコピーする様子を模式的に示す説明図である。
【図７】バックアップ処理を示すフローチャートである。
【図８】仮想ボリュームの作成処理を示すフローチャートである。
【図９】本発明の第２実施例に係るバックアップ処理を示すフローチャートである。
【図１０】本発明の第３実施例に係るストレージシステムのブロック図である。
【図１１】ボリューム等の復元処理を示すフローチャートである。
【符号の説明】
【０１０４】
１…正サイト、１Ａ…主ボリューム、１Ｂ…主プール、１Ｃ…世代管理情報、１Ｄ…世代管理情報転送部、２…副サイト、２Ａ…副ボリューム、２Ｂ…副プール、２Ｃ…世代管理情報、２Ｄ…世代管理情報複製部、３…ホストコンピュータ、４，５…通信ネットワーク、１０…ディスクアレイ装置、１１…基本筐体、１２…増設筐体、１３…制御パッケージ、１４…電源ユニット、１５…バッテリユニット、１６…冷却ファン、２１…チャネルアダプタ、２１Ａ…通信ポート、２２…ディスクアダプタ、２３…キャッシュメモリ、２４…共有メモリ、２５…スイッチ部、２６…ディスクドライブ、２７…RAIDグループ、３０，３０Ａ，３０Ｂ…ホストコンピュータ、３１…管理端末、１００…コピー元ディスクアレイ装置、１１０…主ボリューム、１２０…主プール、１３０…差分転送部、１４０…スナップショット制御部、１５０…世代管理情報記憶部、１５１…差分ビットマップテーブル、１５２…退避先アドレス管理テーブル、１５３…世代管理情報、１６０…世代管理情報転送部、２００…コピー先ディスクアレイ装置、２１０…副ボリューム、２２０…副プール、２３０…仮想ボリューム作成部、２４０…仮想ボリューム、２５０…世代管理情報記憶部、２５１…差分ビットマップテーブル、２５２…退避先アドレス管理テーブル、２５３…世代管理情報、２６０…世代管理情報複製部、２６１…世代管理情報格納先アドレス情報、２７０…復元部、ＣＮ…通信ネットワーク
【図１】
2005292865.tif 000003
【図２】
2005292865.tif 000004
【図３】
2005292865.tif 000005
【図４】
2005292865.tif 000006
【図５】
2005292865.tif 000007
【図６】
2005292865.tif 000008
【図７】
2005292865.tif 000009
【図８】
2005292865.tif 000010
【図９】
2005292865.tif 000011
【図１０】
2005292865.tif 000012
【図１１】
2005292865.tif 000013