(57)【特許請求の範囲】
【請求項１】
プロセッサと、
メモリと、
ストレージコントローラと
を有し、
前記ストレージコントローラは、書き込み要求に対応して第一プールから記憶領域を割り当て、また、前記第一プールから割り当てを行うべき複数の関連データに対する記憶領域の割り当てを、前記第一プールの特定のＲＡＩＤグループから制御し、
前記複数の関連データは、第一ボリュームに格納されたデータと、第二ボリュームに格納されたデータからなり、
前記第一ボリュームと前記第二ボリュームとでペアを構成し、
前記ストレージコントローラは、前記ペアである情報に基づいて、前記第一ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループと前記第二ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループを設定し、当該ＲＡＩＤグループの双方を多くとも前記第一ボリュームまたは前記第二ボリュームのいずれか一方に設定する
ことを特徴とするストレージシステム。
【請求項２】
請求項１に記載のストレージシステムであって、
前記複数の関連データは、複数のファイルを有する
ことを特徴とするストレージシステム。
【請求項３】
請求項１に記載のストレージシステムであって、
前記第二ボリュームに格納されたデータは、前記第一ボリュームに格納されたデータのコピーオンライトである
ことを特徴とするストレージシステム。
【請求項４】
請求項１に記載のストレージシステムであって、
前記第二ボリュームは、前記第一ボリュームに対応する複数のボリュームで構成され、
前記第二ボリュームに格納されたデータは、前記第一ボリューム内のコピーページを含み、
前記コピーページは、前記第二ボリューム間で共有される
ことを特徴とするストレージシステム。
【請求項５】
請求項１に記載のストレージシステムであって、
前記第二ボリュームは、前記第一ボリュームに対応する複数のボリュームで構成され、
前記第二ボリュームに格納されたデータは、前記第一ボリューム内の複数のコピーページを含み、
前記複数のコピーページは、前記第二ボリューム間で共有されない
ことを特徴とするストレージシステム。
【請求項６】
請求項１に記載のストレージシステムであって、
前記ストレージコントローラは、前記複数のボリュームの属性に基づいて関連データを割り当てる
ことを特徴とするストレージシステム。
【請求項７】
請求項１に記載のストレージシステムであって、
前記複数の関連データは、正ボリュームに格納されたデータと、一つ以上の対応する副ボリュームに格納されたデータからなり、前記ストレージコントローラは、
当該ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、
ディスクＩ／Ｏ実行モジュールとを有し、当該ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムがボリュームコピー構成コマンドを受信していない場合、
当該ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合、ページ管理テーブルを参照して当該ページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出し、
ここで前記ページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有するものであって、また、前記ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合は、ボリュームコピー管理テーブルと前記ページ管理テーブルを参照して、前記ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、当該書き込みＩ／Ｏページが更新されているか否かを判断し、更新されていない場合は、前記ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択して前記ページ管理テーブルを更新し、前記ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込み、前記ボリュームコピー管理テーブルが、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、対応する一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む
ことを特徴とするストレージシステム。
【請求項８】
請求項７に記載のストレージシステムであって、前記ストレージコントローラは、
ボリュームコピー制御モジュールを有し、当該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断し、
前記ボリュームコピー制御入力が、前記直接選択されたＲＡＩＤグループの場合は、前記ボリュームコピー制御モジュールは前記ボリュームコピー管理テーブルの中の該選択されたＲＡＩＤグループのＲＡＩＤグループ番号を更新し、
前記ボリュームコピー制御入力が前記ＲＡＩＤグループ比率の場合は、前記ボリュームコピー制御モジュールは選択された比率に基づいてＲＡＩＤグループ割り当てを行い、
前記ボリュームコピー制御入力が前記Ｉ／Ｏ性能の場合は、前記ボリュームコピー制御モジュールは選択されたＩ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行うものであって、
さらに、前記ボリュームコピー制御入力は、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに対応する一つ以上の各副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの指示を含む
ことを特徴とするストレージシステム。
【請求項９】
請求項８に記載のストレージシステムであって、前記ボリュームコピー制御モジュールが、
正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合は、割り当てページがバックグラウンドタスクにおいてリバランスされ、
正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減っているか否かを判断し、減っている場合は、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新される
ことを特徴とするストレージシステム。
【請求項１０】
請求項８に記載のストレージシステムであって、前記ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力に関して、選択比率に基づいてＲＡＩＤグループを割り当てるとき、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記各副ボリュームにかかるボリュームコピー制御入力に関して、
前記副ボリュームが前記正ボリュームとＲＡＩＤグループを共有できる場合は、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される
ことを特徴とするストレージシステム。
【請求項１１】
請求項８に記載のストレージシステムであって、前記ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記各副ボリュームにかかるボリュームコピー制御入力に関して、
前記副ボリュームが前記正ボリュームとＲＡＩＤグループを共有できる場合は、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される
ことを特徴とするストレージシステム。
【請求項１２】
請求項１に記載のストレージシステムであって、
前記複数の関連データは、正ボリュームに格納されたデータと、一つ以上の対応する副ボリュームに格納されたデータからなり、前記一つ以上の副ボリュームに格納されたデータは前記正ボリュームに格納されたデータのコピーオンライトであり、
前記ストレージコントローラは、
当該ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、
ディスクＩ／Ｏ実行モジュールとを有し、当該ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムがボリュームコピー構成コマンドを受信していない場合、
当該ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合は、ページ管理テーブルを参照して当該ページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出し、
ここで前記ページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、正ボリューム番号またはＲＡＩＤグループ番号と、正ボリューム論理ブロックアドレスまたは正ボリューム番号かＲＡＩＤグループ番号のページ番号とを有するもので、また、前記ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合は、ボリュームコピー管理テーブルと前記ページ管理テーブルを参照して、前記ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、当該書き込みＩ／Ｏページが更新されているか否かを判断し、更新されている場合は、現在のページを対応する副ボリュームのＲＡＩＤグループから選択した一つのＲＡＩＤグループにコピーし、対応する副ボリュームの前記ページ管理テーブルを更新し、更新されていない場合は、前記ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択して前記ページ管理テーブルを更新し、前記ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込み、前記ボリュームコピー管理テーブルが、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む
ことを特徴とするストレージシステム。
【請求項１３】
請求項１２に記載のストレージシステムであって、前記ストレージコントローラは、
ボリュームコピー制御モジュールを有し、当該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断し、
前記ボリュームコピー制御入力が、前記直接選択されたＲＡＩＤグループの場合は、前記ボリュームコピー制御モジュールは前記ボリュームコピー管理テーブルの中の該選択されたＲＡＩＤグループのＲＡＩＤグループ番号を更新し、
前記ボリュームコピー制御入力が前記ＲＡＩＤグループ比率の場合は、前記ボリュームコピー制御モジュールは選択比率に基づいてＲＡＩＤグループ割り当てを行い、
前記ボリュームコピー制御入力が前記Ｉ／Ｏ性能の場合、前記ボリュームコピー制御モジュールは選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行い、
さらに、前記ボリュームコピー制御入力は、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに対応する一つ以上の各副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの指示を含む
ことを特徴とするストレージシステム。
【請求項１４】
請求項１３に記載のストレージシステムであって、前記ボリュームコピー制御モジュールが、
前記正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合は、割り当てページがバックグラウンドタスクにおいてリバランスされ、
前記正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減っているか否かを判断し、減っている場合は、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新される
ことを特徴とするストレージシステム。
【請求項１５】
請求項１３に記載のストレージシステムであって、
前記ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力に関して、選択比率に基づいてＲＡＩＤグループを割り当てるとき、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記各副ボリュームかかるボリュームコピー制御入力に関して、
前記副ボリュームが前記正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記ボリュームコピー制御入力の各副ボリュームに関して、
前記副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合は、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される
ことを特徴とするストレージシステム。
【請求項１６】
請求項１に記載のストレージシステムであって、
前記複数の関連データは、正ボリュームに格納されたデータと、複数の対応する副ボリュームに格納されたデータからなり、前記ストレージコントローラは関連データを、同じ正ボリュームに対応する複数の副ボリュームが、副ボリューム間で共有されない複数のコピーページを有するよう割り当て、
前記ストレージコントローラは、
当該ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、
ディスクＩ／Ｏ実行モジュールとを有し、当該ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムがボリュームコピー構成コマンドを受信していない場合、
当該ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合は、ページ管理テーブルを参照して当該ページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出し、ここで前記ページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、正ボリューム番号またはＲＡＩＤグループ番号と、正ボリューム論理ブロックアドレスまたは正ボリューム番号かＲＡＩＤグループ番号のページ番号とを有するもので、また、前記ディスクＩ／Ｏ実行モジュールは、
当該ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合、ボリュームコピー管理テーブルと前記ページ管理テーブルを参照して、前記ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、当該書き込みＩ／Ｏページが更新されているか否かを判断し、更新されている場合は、現在のページを対応する副ボリュームのＲＡＩＤグループから選択した一つのＲＡＩＤグループにコピーし、対応する副ボリュームのページ管理テーブルを更新し、更新されていない場合は、前記ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択して前記ページ管理テーブルを更新し、前記ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込み、前記ボリュームコピー管理テーブルが、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、対応する一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む
ことを特徴とするストレージシステム。
【請求項１７】
請求項１６に記載のストレージシステムであって、前記ストレージコントローラは、
ボリュームコピー制御モジュールを有し、当該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断し、
前記ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループの場合、前記ボリュームコピー制御モジュールは前記ボリュームコピー管理テーブルの中の該選択されたＲＡＩＤグループのＲＡＩＤグループ番号を更新し、
前記ボリュームコピー制御入力がＲＡＩＤグループ比率の場合は、前記ボリュームコピー制御モジュールは選択比率に基づいてＲＡＩＤグループ割り当てを行い、
前記ボリュームコピー制御入力がＩ／Ｏ性能の場合は、前記ボリュームコピー制御モジュールは選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行い、
さらに、前記ボリュームコピー制御入力は、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに各対応する副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの指示を含む
ことを特徴とするストレージシステム。
【請求項１８】
請求項１７に記載のストレージシステムであって、前記ボリュームコピー制御モジュールが、
正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合は、割り当てページがバックグラウンドタスクにおいてリバランスされ、
正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減っているか否かを判断し、減っている場合は、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新され、
各副ボリュームのＲＡＩＤグループが統合されているかどうかを判断し、統合されている場合は、
統合された副ボリュームがコピーページを有するかどうかを判断し、有しない場合は、前のページを新しいＲＡＩＤグループから選択された一つのＲＡＩＤグループに移動し、前記ページ管理テーブルのＲＡＩＤグループ番号およびページ番号入力を更新し、有する場合は、前記ページ管理テーブルのＲＡＩＤグループ番号およびページ番号入力を統合副ボリュームの情報に更新し、
前のページが他の副ボリュームから参照されているか否かを判断し、参照されている場合、前のページを削除する
ことを特徴とするストレージシステム。
【請求項１９】
請求項１７に記載のストレージシステムであって、前記ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力が、選択比率に基づいてＲＡＩＤグループを割り当てるとき、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記ボリュームコピー制御入力の各副ボリュームに関して、
副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合は、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、
前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、
前記各副ボリュームにかかるボリュームコピー制御入力に関して、
副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合は、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、
前記残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される
ことを特徴とするストレージシステム。
【請求項２０】
プロセッサと、
メモリと、
ストレージコントローラと
を有し、
前記ストレージコントローラは、書き込み要求に応じて第一プールから記憶領域を割り当て、また、前記第一プールから割り当てを行うべき複数の関連データに対する記憶領域の割り当てを前記第一プール内の異なるＲＡＩＤグループから制御し、
前記複数の関連データは、第一ボリュームに格納されたデータと、第二ボリュームに格納されたデータからなり、
前記第一ボリュームと前記第二ボリュームとでペアを構成し、
前記ストレージコントローラは、前記ペアである情報に基づいて、前記第一ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループと前記第二ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループを設定し、当該ＲＡＩＤグループの双方を多くとも前記第一ボリュームまたは前記第二ボリュームのいずれか一方に設定する
ことを特徴とするストレージシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
０００１    本発明はコンピュータストレージシステムに関し、特に、コンピュータストレージシステムのシンプロビジョニング機能およびコピー機能に関する。
【背景技術】
【０００２】
０００２    ストレージ仮想化技術が広く使われている。その一例がシンプロビジョニングである。米国特許第６，８２３，４４２を参照のこと。仮想化技術の適用によってストレージの利用性や効率を向上することができる。利用性の向上は、内部構造（例えば、ディスク構成やデータ配置）を隠すことにより達成される。効率の向上は、ストレージ資源（ディスク作業負荷、プロセッサ作業負荷、内部バス作業負荷、容量など）を共有することにより達成される。ボリュームコピー技術はまた、バックアップ、オンラインおよびバッチ（データウェアハウス（ＤＷＨ）等のため）などに広く使用される。コピー方法の例として、全ボリュームコピーおよびコピーオンライトスナップショットがある。米国特許第７，７１６，４３５を参照のこと。
【０００３】
０００３    図１は全ボリュームコピーの例を示す。全ボリュームコピーがシンプロビジョニング技術を適用する際に行われる場合、ストレージ管理者は、正論理ボリューム（ＰＶＯＬ）のためのシンプロビジョニングプールと、副論理ボリューム（ＳＶＯＬ）のためのシンプロビジョニングプールを作成する必要がある。ＲＡＩＤグループ（ＲＧ）に障害が発生すると、ＰＶＯＬにも同じく障害が発生する。ストレージ管理者は、ＳＶＯＬを利用して復旧を行うことができる。問題は、この方法ではより高い性能を効率よく実現できないことにある。例えば、もしコピーされた論理ボリュームがバックアップのみに使用される場合、ＲＧ＃６から８は、バックアップおよびリストア作業にのみ使用される。ＰＶＯＬ＃２はＲＧ＃６から８を使用することができる。二つ以上のプールが必要となるため、メンテナンス作業は簡単ではない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第６，８２３，４４２号
【特許文献２】米国特許第７，７１６，４３５号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
０００４    図２は、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールを一体化する例である。図示の例において、ＲＧ＃３に障害が発生すると、ＰＶＯＬ＃１とＳＶＯＬ＃１にも障害が発生する。結果的に、ＲＡＩＤグループの障害によりＰＶＯＬとＳＶＯＬ両方の障害が生じるため、ストレージサブシステムにおける正論理ボリュームと副論理ボリュームのシンプロビジョニングプールを一体化することは難しい。この問題は、米国特許第６，８２３，４４２にも７，７１６，４３５にも論じられていない。
【０００６】
０００５    本発明は例えば、ストレージサブシステムにおける正論理ボリュームと副論理ボリュームのための統合されたシンプロビジョニングプールを提供する。
【課題を解決するための手段】
【０００７】
０００６    本発明は、ストレージシステムであって、プロセッサと、メモリと、ストレージコントローラを有し、該ストレージコントローラは、書き込み要求に対応して第一プールから記憶領域を割り当て、また、第一プールから割り当てを行うべき複数の関連データに対する記憶領域の割り当てを第一プール内の異なる特定のＲＡＩＤグループから割当てるよう制御し、前記複数の関連データは、第一ボリュームに格納されたデータと、第二ボリュームに格納されたデータとを有し、前記第一ボリュームと前記第二ボリュームとでペアを構成し、前記ストレージコントローラは、前記ペアである情報に基づいて、前記第一ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループと前記第二ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループを設定し、当該ＲＡＩＤグループの双方を多くとも前記第一ボリュームまたは前記第二ボリュームのいずれか一方に設定するものである。
【０００８】
０００７    ある実施例によると、前記複数の関連データは、複数のファイルを有する。また、第二ボリュームに格納されたデータは第一ボリュームに格納されたデータのコピーオンライトである。さらに、第二ボリュームは、第一ボリュームに対応する複数のボリュームで構成され、第二ボリュームに格納されたデータは第一ボリューム内のデータのコピーページを含み、該コピーページは第二ボリューム間で共有される。また、第二ボリュームは、第一ボリュームに対応する複数のボリュームで構成され、第二ボリュームに格納されたデータは第一ボリューム内の複数のコピーページを含み、該複数のコピーページは第二ボリューム間で共有されない。さらに、ストレージコントローラは複数のボリュームの属性に基づいて関連データを割り当てる。
【０００９】
０００８    ある実施例によると、前記複数の関連データは、正ボリュームに格納されたデータと、一つ以上の対応する副ボリュームに格納されたデータからなる。前記ストレージコントローラは、前記ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、ディスクＩ／Ｏ実行モジュールとを有し、ストレージシステムがボリュームコピー構成コマンドを受信していない場合、ディスクＩ／Ｏ実行モジュールは、ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合、ページ管理テーブルを参照してページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出す。その際、ここでページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ボリュームアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ボリュームアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有する。ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合、ボリュームコピー管理テーブルとページ管理テーブルを参照して、ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、書き込みＩ／Ｏページが更新されているか否かを判断し、更新されていない場合、ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択してページ管理テーブルを更新し、ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込む。その際、ボリュームコピー管理テーブルは、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、対応する一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む。
【００１０】
０００９    別の実施例によると、前記ストレージコントローラは、ボリュームコピー制御モジュールを有し、該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断する。前記ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループの場合、前記ボリュームコピー制御モジュールはボリュームコピー管理テーブルにおける選択ＲＡＩＤグループのＲＡＩＤグループ番号を更新する。前記ボリュームコピー制御入力がＲＡＩＤグループ比率の場合、前記ボリュームコピー制御モジュールは選択された比率に基づいてＲＡＩＤグループ割り当てを行う。前記ボリュームコピー制御入力がＩ／Ｏ性能の場合、前記ボリュームコピー制御モジュールは選択されたＩ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行う。前記ボリュームコピー制御入力がさらに、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに各対応する副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの表示を有する。
【００１１】
００１０    具体的な実施例によると、ボリュームコピー制御モジュールが、正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合は、割り当てページがバックグラウンドタスクにおいてリバランスされ、正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減少しているか否かを判断し、減っている場合は、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新される。
【００１２】
００１１    具体的な実施例によると、ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、以下を実行する。前記正ボリュームにかかるボリュームコピー制御入力に関して、選択比率に基づいてＲＡＩＤグループを割り当て、その際、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始される。前記各副ボリュームにかかるボリュームコピー制御入力に関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。
【００１３】
００１２    ある実施例によると、ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、以下を実行する。前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、その際、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始される。前記各副ボリュームにかかるボリュームコピー制御入力に関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。
【００１４】
００１３    ある実施例によると、前記複数の関連データは、正ボリュームに格納されたデータと、一つ以上の対応する副ボリュームに格納されたデータからなり、前記一つ以上の副ボリュームに格納されたデータは前記正ボリュームに格納されたデータのコピーオンライトであり、前記ストレージコントローラは、以下を実行する。前記ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、ディスクＩ／Ｏ実行モジュールとを有し、ストレージシステムがボリュームコピー構成コマンドを受信していない場合、ディスクＩ／Ｏ実行モジュールは、ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合、ページ管理テーブルを参照してページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出す。その際、ページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、正ボリューム番号またはＲＡＩＤグループ番号と、正ボリューム論理ブロックアドレスまたは正ボリューム番号かＲＡＩＤグループ番号のページ番号とを含む。ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合、ボリュームコピー管理テーブルとページ管理テーブルを参照して、ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、書き込みＩ／Ｏページが更新されているか否かを判断し、更新されている場合、現在のページを対応する副ボリュームのＲＡＩＤグループのうちから選択した一つのＲＡＩＤグループにコピーし、対応する副ボリュームのページ管理テーブルを更新し、更新されていない場合、ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択してページ管理テーブルを更新し、ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込む。その際、ボリュームコピー管理テーブルは、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む。
【００１５】
００１４    具体的な実施例によると、ストレージコントローラは、ボリュームコピー制御モジュールを有し、該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断する。前記ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループの場合、前記ボリュームコピー制御モジュールはボリュームコピー管理テーブルにおける選択ＲＡＩＤグループのＲＡＩＤグループ番号を更新する。前記ボリュームコピー制御入力がＲＡＩＤグループ比率の場合、前記ボリュームコピー制御モジュールは選択比率に基づいてＲＡＩＤグループ割り当てを行う。前記ボリュームコピー制御入力がＩ／Ｏ性能の場合、前記ボリュームコピー制御モジュールは選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行う。さらに、前記ボリュームコピー制御入力は、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに各対応する副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの指示を含む。
【００１６】
００１５    ある実施例によると、ボリュームコピー制御モジュールが、正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合、割り当てページがバックグラウンドタスクにおいてリバランスされ、正ボリュームおよび関連データを格納するための一つ以上の副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減っているか否かを判断し、減っている場合は、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新される。
【００１７】
００１６    ある実施例によると、ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、前記正ボリュームにかかるボリュームコピー制御入力が、選択比率に基づいてＲＡＩＤグループを割り当てるとき、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、前記ボリュームコピー制御入力の各副ボリュームに関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択された比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、前記各副ボリュームにかかるボリュームコピー制御入力に関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際、前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。
【００１８】
００１７    ある実施例によると、複数の関連データは、正ボリュームに格納されたデータと、複数の対応する副ボリュームに格納されたデータからなる。ストレージコントローラは関連データを、同じ正ボリュームに対応する複数の副ボリュームが、副ボリューム間で共有されない複数のコピーページを有するよう割り当てる。ストレージコントローラは、前記ストレージシステムがボリュームコピー構成コマンドを受信したか否かを判断するコマンド受信モジュールと、ディスクＩ／Ｏ実行モジュールとを有し、ストレージシステムがボリュームコピー構成コマンドを受信していない場合、ディスクＩ／Ｏ実行モジュールは、ストレージシステムが読み出しＩ／Ｏを受信したか否かを判断し、受信している場合、ページ管理テーブルを参照してページ管理テーブルに格納された対応するＲＡＩＤグループのページを読み出し、ここでページ管理テーブルは、各正ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、ＲＡＩＤグループ番号と、ページ番号とを有し、また各副ボリュームに対して、仮想ボリューム番号と、論理ブロックアドレスと、正ボリューム番号またはＲＡＩＤグループ番号と、正ボリューム論理ブロックアドレスまたは正ボリューム番号かＲＡＩＤグループ番号のページ番号とを有し、ストレージシステムが書き込みＩ／Ｏを受信したか否かを判断し、受信している場合、ボリュームコピー管理テーブルとページ管理テーブルを参照して、ページ管理テーブルに書き込みＩ／Ｏページに対応する入力がすでに存在するか否かを判断することにより、書き込みＩ／Ｏページが更新されているか否かを判断し、更新されている場合、現在のページを対応する副ボリュームのＲＡＩＤグループから選択した一つのＲＡＩＤグループにコピーし、対応する副ボリュームのページ管理テーブルを更新し、更新されていない場合、ボリュームコピー管理テーブル内の正ボリュームに対応するＲＡＩＤグループから一つのＲＡＩＤグループを選択してページ管理テーブルを更新し、ページ管理テーブルに対応する入力がすでに存在するか否かに関わらず、選択したＲＡＩＤグループにページを書き込み、ボリュームコピー管理テーブルが、各正ボリュームに関して、正ボリューム番号と、正ボリュームのＲＡＩＤグループ番号と、対応する一つ以上の副ボリュームの副ボリューム番号と、対応する一つ以上の副ボリュームのＲＡＩＤグループ番号とを含む。
【００１９】
００１８   具体的な実施例によると、ストレージコントローラは、ボリュームコピー制御モジュールを有し、該ストレージシステムがボリュームコピー構成コマンドを受信した場合、ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループか、ＲＡＩＤグループ比率か、またはＩ／Ｏ性能かを判断する。ボリュームコピー制御入力が、直接選択されたＲＡＩＤグループの場合、前記ボリュームコピー制御モジュールはボリュームコピー管理テーブルにおける選択ＲＡＩＤグループのＲＡＩＤグループ番号を更新する。ボリュームコピー制御入力がＲＡＩＤグループ比率の場合、前記ボリュームコピー制御モジュールは選択比率に基づいてＲＡＩＤグループ割り当てを行う。ボリュームコピー制御入力がＩ／Ｏ性能の場合、前記ボリュームコピー制御モジュールは選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループ割り当てを行う。さらに、ボリュームコピー制御入力は、正ボリュームについて、正ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率およびＩ／Ｏ性能を有し、さらに各対応する副ボリュームについて、副ボリューム番号、ＲＡＩＤグループ番号、ＲＡＩＤグループ比率、Ｉ／Ｏ性能および副ボリュームが正ボリュームとＲＡＩＤグループを共有可能かどうかの指示を含む。
【００２０】
００１９    ある実施例によると、ボリュームコピー制御モジュールが、正ボリュームおよび関連データを格納するための副ボリュームからなるＲＡＩＤグループの更新が前の設定から変更されているか否かを判断し、変更されている場合、割り当てページがバックグラウンドタスクにおいてリバランスされ、正ボリュームおよび関連データを格納するための副ボリュームからなるＲＡＩＤグループの更新が前の設定に比べて減っているか否かを判断し、減っている場合、割り当てページは他のＲＡＩＤグループに移動され、前記ページ管理テーブルが更新され、各副ボリュームのＲＡＩＤグループが統合されているかどうかを判断し、統合されている場合は、統合された副ボリュームがコピーページを有するかどうかを判断し、有しない場合は、前のページを新しいＲＡＩＤグループから選択された一つのＲＡＩＤグループに移動し、ページ管理テーブルのＲＡＩＤグループ番号およびページ番号入力を更新し、有する場合は、ページ管理テーブルのＲＡＩＤグループ番号およびページ番号入力を統合副ボリュームの情報に更新し、前のページが他の副ボリュームから参照されているか否かを判断し、参照されている場合、前のページを削除する。
【００２１】
００２０    具体的な実施例によると、ボリュームコピー制御モジュールによる選択比率に基づくＲＡＩＤグループの割り当ては、前記正ボリュームにかかるボリュームコピー制御入力が、選択比率に基づいてＲＡＩＤグループを割り当てるとき、ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、前記ボリュームコピー制御入力の各副ボリュームに関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記副ボリュームの比率が残った割り当てされていないＲＡＩＤグループの残った比率より大きいか否かを判断し、大きい場合は、割り当てＲＡＩＤグループのエラーを表示し、大きくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択比率に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。ボリュームコピー制御モジュールによる選択Ｉ／Ｏ性能に基づくＲＡＩＤグループの割り当ては、前記正ボリュームにかかるボリュームコピー制御入力に関して、ＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＡＩＤグループからＲＡＩＤグループを割り当て、前記ＲＡＩＤグループ番号は最後に正ボリュームとして割り当てられたＲＡＩＤグループの次のボリュームから開始され、前記各副ボリュームにかかるボリュームコピー制御入力に関して、副ボリュームが正ボリュームとＲＡＩＤグループを共有できる場合、対応する正ボリュームと同じＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始され、前記残った割り当てされていないＲＡＩＤグループの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能よりも少ないか否かを判断し、少ない場合は、割り当てＲＡＩＤグループのエラーを表示し、少なくない場合は、対応する正ボリュームに割り当てられたＲＡＩＤグループの中の異なるＲＡＩＤグループから選択Ｉ／Ｏ性能に基づいてＲＡＩＤグループを割り当て、その際前記ＲＡＩＤグループ番号は、同じ対応する正ボリュームを有する副ボリュームが最後に割り当てられたボリュームの次のボリュームから開始される。
【００２２】
００２１    また別の本発明の例によると、ストレージシステムであって、プロセッサと、メモリと、ストレージコントローラを有し、該ストレージコントローラは、書き込み要求に応じて第一プールから記憶領域を割り当て、また、前記第一プールから割り当てを行うべき複数の関連データに対する記憶領域の割り当てを、第一プール内の異なる特定のＲＡＩＤグループから割当てるよう制御し、前記複数の関連データは、第一ボリュームに格納されたデータと、第二ボリュームに格納されたデータからなり、前記第一ボリュームと前記第二ボリュームとでペアを構成し、前記ストレージコントローラは、前記ペアである情報に基づいて、前記第一ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループと前記第二ボリュームへ記憶領域の割り当て可能なＲＡＩＤグループを設定し、当該ＲＡＩＤグループの双方を多くとも前記第一ボリュームまたは前記第二ボリュームのいずれか一方に設定するものである。
【００２３】
００２２    上述した本発明の特徴および効果、またその他の特徴や効果は、後述する本発明の具体的な実施例にかかる詳細な説明に基づいて当業者に明らかとなろう。
【発明の効果】
【００２４】
００５４    論理ボリュームのＲＡＩＤグループが減少した場合、対応するＲＧのページは他のＲＧに移動される。論理ボリュームのＲＡＩＤグループが減少しなかった場合、現在のＲＧのページは、バックグランドタスクにおいてリバランスされる。その結果、ストレージサブシステムの管理性能とＩ／Ｏ性能が向上される。
【図面の簡単な説明】
【００２５】
【図１】００２３    図１は、全ボリュームコピーの例を示す図である。
【図２】００２４    図２は、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールを一体化した例を示す図である。
【図３】００２５    図３は、本発明の第一実施例にかかる、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよび全ボリュームコピーを管理するボリュームコピー管理テーブルの例を示す図である。
【図４】００２６    図４は、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよび、変更されたボリュームコピー管理テーブルの例を示す図である。
【図５】００２７    図５は、本発明の方法および装置を適用可能なシステムの構成及び機能の例を示す図である。
【図６】００２８    図６は、ＲＡＩＤグループ管理テーブルの例を示す図である。
【図７】００２９    図７は、シンプロビジョニングプール管理テーブルの例を示す図である。
【図８】００３０    図８は、論理ボリューム管理テーブルの例を示す図である。
【図９】００３１    図９は、第一実施例によるボリュームコピー管理テーブルの例を示す図である。
【図１０】００３２    図１０は、第一実施例によるページ管理テーブルの例を示す図である。
【図１１】００３３    図１１は、シンプロビジョニングプール管理サーバの構成例を示す図である。
【図１２】００３４    図１２は、統合ストレージプールボリュームコピーマネジャーの構成例を示す図である。
【図１３】００３５    図１３は、第一実施例によるコマンド受信の主な処理を示すフローの例を示す図である。
【図１４】００３６    図１４は、図１３のボリュームコピー構成処理のフローの例を示す図である。
【図１５】００３７    図１５は、図１４の選択比率に基づくＲＧ割り当てのフローの例を示す図である。
【図１６】００３８    図１６は図１４の選択Ｉ／Ｏ性能に基づくＲＧ割り当てのフローの例を示す図である。
【図１７】００３９    図１７は、本発明の第二実施例にかかる、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよびコピーオンライトスナップショットを管理するボリュームコピー管理テーブルの例を示す図である。
【図１８】００４０    図１８は、第二実施例にかかるボリュームコピー管理テーブルの例を示す図である。
【図１９】００４１    図１９は、第二実施例にかかるページ管理テーブルの例を示す図である。
【図２０】００４２    図２０は、第二実施例にかかるコマンド受信の主な処理を示すフローの例を示す図である。
【図２１】００４３    図２１は、本発明の第三実施例にかかる、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよびコピーオンライトスナップショットを管理するボリュームコピー管理テーブルの例を示す図である。
【図２２】００４４    図２２は、第三実施例にかかるボリュームコピー管理テーブルの例を示す図である。
【図２３】００４５    図２３は、第三実施例にかかるページ管理テーブルの例を示す図である。
【図２４】００４６    図２４は、第三実施例にかかるコマンド受信の主な処理を示すフローの例を示す図である。
【図２５】００４７    図２５は、図２４のボリュームコピー構成処理を示すフローの例を示す図である。
【発明を実施するための形態】
【００２６】
００４８    以下の本発明についての詳細な説明では、開示の一部を成すとともに本発明を実施する例示的な実施形態の実例として示される添付図面を参照するが、本発明は図面の内容に限定されるものではない。図面において、類似する数字は複数の図面においてほぼ同様の構成要素を示すものである。また、留意すべき点として、詳細な説明では、以下の説明および図面に示される通り様々な実施の形態を示すが、本発明は本明細書において説明されかつ示される実施形態に限定されず、当業者が知っているであろう又は知るようになり得るその他の実施形態をも含む。本明細書における「一実施形態」、「本実施形態」、又は「上述の実施形態」の文言は、ある実施形態に関連して説明される特定の特性、構造又は特徴が、本発明の少なくとも一実施形態に含まれることを意味し、本明細書の様々な箇所において上記文言が使用されていても、必ずしもすべてが同一の実施形態を言及するものではない。さらに、以下の詳細な説明において、本発明の理解を深めるために、多くの具体的かつ詳細な記載がなされている。ただし、本発明を実施するためにこれらの具体的かつ詳細な内容すべてが必要なわけではないことは、当業者にとって明らかであろう。状況によっては、曖昧な記載を避けるために、周知の構造、材料、回路、プロセス及びインタフェースの詳細については説明しておらず、かつ／又はブロック図において図示していない場合もある。
【００２７】
００４９    さらに、以下の詳細な説明の一部は、コンピュータ内のオペレーションのアルゴリズムおよび記号表現で示されている。これらのアルゴリズム記述及び記号表現は、データ処理分野の当業者がその新しいアイディアの本質を最も効果的に他の当業者に伝えるために使用する手段である。アルゴリズムとは、望ましい最終状態又は結果へと導く一連の定義されたステップである。本発明において、実施されるステップは、具体的な結果を達成するための相応量の物理的操作を必要とする。必ずしもそうとは限らないが、通常はかかる数量は、格納、転送、組み合わせ、比較その他の操作が可能な電気もしくは磁気信号又は命令の形態を取る。主に一般的な使用のために、上記の信号をビット、値、記号、文字、用語、数字、命令等として言及することが時として便利である。但し、上記の及び類似の用語すべてが、適切な物理数量に関連付けられるものであり、かつ当該数量に適用される単に便利なラベルであることに留意すべきである。別段の記載がない限り、以下の解説から明らかなように、当然のことながら説明全体を通して、「処理」、「演算」、「計算」、「判断」、「表示」等の用語を用いた説明は、コンピュータシステムのレジスタやメモリ内の物理（電子）量として表せるデータをコンピュータシステムのメモリもしくはレジスタ又はその他の情報記憶、送信もしくは表示装置の中の物理量として同等に表わされるその他のデータに変換しかつ操作する、コンピュータシステム又はその他の情報処理装置の動作またはプロセスを含み得る。
【００２８】
００５０    本発明は、本明細書における操作を実施する装置にも関する。この装置は、必要とされる目的のために特別に構築してもよく、又は一つ以上のコンピュータプログラムによって選択的に起動又は再構築された一つ以上の汎用コンピュータを含み得る。当該コンピュータプログラムは、光ディスク、磁気ディスク、読取専用記憶措置（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ソリッドステート装置及びドライブ、又は電子情報の格納に適したその他の種類の媒体等（但し、これらに限定されない）のコンピュータ読取可能記憶媒体に格納され得る。本明細書において提示するアルゴリズム及び態様は、特定のコンピュータ又はその他の装置とは本質的に関係していない。様々な汎用システムを、本明細書の教示に従ってプログラム及びモジュールと共に使用してもよく、又は望ましい方法を実施するためにより特化した装置を構築した方がよい場合も有り得る。さらに本発明は、特定のプログラミング言語を参照して説明されてはいない。当然のことながら、本明細書に記載されている通りに本発明の教示内容を実施するために、様々なプログラミング言語を使用してもよい。プログラミング言語の命令は、一つ以上の処理装置、例えば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行され得る。
【００２９】
００５１
本発明の実施例は、以下に詳細に示す通り、ストレージサブシステムにおいて、正論理ボリュームおよび副論理ボリュームのための統合されたシンプロビジョニングプールを有する装置、方法およびコンピュータプログラムを提供する。
【００３０】
００５２    第一実施例
【００３１】
００５３    図３は、第一実施例における、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよび全ボリュームコピーを管理するボリュームコピー管理テーブルの例を示す図である。ボリュームコピー管理テーブルは、各論理ボリュームがページを書き込むことのできるＲＡＩＤグループを管理する。ＳＶＯＬの書き込みページはＰＶＯＬのＲＡＩＤグループとは異なるＲＡＩＤグループに書き込まれる。
【００３２】
００５４    図４は、ＰＶＯＬおよびＳＶＯＬのシンプロビジョニングプールおよび変更されたボリュームコピー管理テーブルの例を示す。論理ボリュームのＲＡＩＤグループが減少した場合、対応するＲＧのページは他のＲＧに移動される。論理ボリュームのＲＡＩＤグループが減少しなかった場合、現在のＲＧのページは、バックグランドタスクにおいてリバランスされる。例えば、ＰＶＯＬ＃１はより高いパフォーマンスを必要とするため、ＰＶＯＬ＃１のＲＧはＲＧ＃１-５からＲＧ＃１-６に変更される。同時に、ＳＶＯＬ＃１のＲＧは、同時に複数の障害が生じることを防ぐために、ＲＧ＃６-８からＲＧ＃７-８に変更される。その結果、ストレージサブシステムの管理性能とＩ／Ｏ性能が向上される。
【００３３】
００５５    図５は、本発明の方法および装置が適用されるシステムの構造及び機能を示す。プール管理サーバ５０１はユーザからの入力を受け取るＧＵＩ（グラフィックユーザインタフェース）を有する。外部ストレージシステムの論理ユニット（ＬＵ）５０３が提供される。フロントエンドストレージサブシステム５００はＣＰＵ５１１を含むストレージコントローラ５１０、メモリ５１２、ネットワークインタフェースカード（ＮＩＣ）５１３、ファイバーチャネルインタフェース（ＦＣ  Ｉ／Ｆ）５１４、およびＳＣＳＩ  Ｉ／Ｆ５１５を有する。メモリはキャッシュ領域５２１およびさまざまなモジュールやテーブルを有する。コマンド受信モジュール５３１はコマンド受信の主たる処理を行う（図１３のフロー図参照）。入力コマンドはプール管理サーバ５０１からＮＩＣ５１３を介して送信される。
【００３４】
００５６    ディスクＩ／Ｏ実行モジュール５３２およびボリュームコピー制御モジュール５３３がコマンド受信モジュール５３１から呼び出される。ディスクＩ／Ｏ実行モジュール５３２は図１３のフロー図の各ステップ１３０４から１３１１を実行する。ディスクＩ／Ｏ実行モジュール５３２はＳＣＳＩ  Ｉ／Ｆ５１５を介して、ＳＳＤ５１６、１５Ｋｒｐｍ  ＨＤＤ５１７、１０Ｋｒｐｍ  ＨＤＤ５１８および７Ｋｒｐｍ  ＨＤＤ５１９に対して読み出しおよび書き込みを行うよう構成される。ディスクＩ／Ｏ実行モジュール５３２はページ管理テーブル５４０を有する。ボリュームコピー制御モジュール５３３はボリュームコピー構成処理を行う（図１４のフロー図参照）。ボリュームコピー制御モジュール５３３はＲＧ情報を管理し、それにより各論理ボリュームはプール管理サーバ５０１の入力情報に基づいて読み出しおよび書き込みを行うことができる。ボリュームコピー制御モジュール５３３はＲＡＩＤグループ管理テーブル５３６、シンプロビジョニングプール管理テーブル５３７、論理ボリューム管理テーブル５３８およびボリュームコピー管理テーブル５３９を有する。ページ割り当て制御モジュール５３４および割り当てＲＧ算出モジュール５３５がボリュームコピー制御モジュール５３３に呼び出される。ページ割り当て制御モジュール５３４はボリュームコピー構成処理（図１４のフロー図参照（１４０６-１４１０））を行う。ボリュームコピー管理テーブル５３９が更新されると、ページ割り当て制御モジュール５３４が呼び出される。プログラムは必要であれば他のＲＧにページを移動する。割り当てＲＧ算出モジュール５３５は選択比率に基づきＲＧ割り当てを行い（図１５のフロー図参照）、選択Ｉ／Ｏ性能に基づきＲＧ割り当てを行う（図１６のフロー図参照）。プログラムは、各論理ボリュームがプール管理サーバ５００内の入力ポリシー（ＲＧ比率、Ｉ／Ｏ性能）に基づいて読み出しおよび書き込みを行うことができるようＲＧ情報を算出する。
【００３５】
００５７    ＲＡＩＤグループ管理テーブル５３６はＲＡＩＤグループ情報（図６参照）を管理する。シンプロビジョニングプール管理テーブル５３７はシンプロビジョニングプール情報（図７参照）を管理する。論理ボリューム管理テーブル５３８は論理ボリューム情報（図８参照）を管理する。ボリュームコピー管理テーブル５３９はボリュームコピー情報（図９参照）を管理する。ページ管理テーブル５４０はページ割り当て情報（図１０参照）を管理する。
【００３６】
００５８    図６はＲＡＩＤグループ管理テーブル５３６の例を示す。このテーブルは、ＲＡＩＤグループ＃６０１、容量６０２、属性６０３、内部／外部６０４、ＲＡＩＤレベル６０５、ディスク＃またはＷＷＮ／ＬＵＮ６０６、ランダムＩ／Ｏ性能（ＩＯＰＳ）６０７およびシーケンシャルＩ／Ｏ性能（ＭＢ／ｓ）６０８の欄を有する。属性欄６０３にはＲＡＩＤグループの媒体タイプおよび接続タイプが格納される。ディスク＃またはＷＷＮ／ＬＵＮ欄６０６には、もしディスクが内部ディスクである場合はフロントエンドストレージサブシステム５００のディスクＩＤが格納され、ディスクが外部ディスクである場合はシステム内で識別可能なボリューム情報（たとえばＷＷＮ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｎａｍｅ）やＬＵＮ（論理ユニット番号））が格納される。
【００３７】
００５９    図７はシンプロビジョニングプール管理テーブル５３７の例を示す。このテーブルはプール＃７０１、容量７０２、使用容量７０３およびＲＡＩＤグループ＃７０４の欄を有する。
【００３８】
００６０    図８は論理ボリューム管理テーブル５３８の例を示す。このテーブルはボリューム＃８０１、属性８０２、プール＃８０３、容量８０４および使用容量８０５の欄を有する。
【００３９】
００６１    図９は第一実施例にかかるボリュームコピー管理テーブル５３９の例を示す。このテーブルはＰＶＯＬボリューム＃９０１、ＰＶＯＬ  ＲＧ＃９０２、ＳＶＯＬボリューム＃９０３、ＳＶＯＬ  ＲＧ＃９０４および属性９０５の欄を有する。ＰＶＯＬ  ＲＧ＃欄９０２には、ＰＶＯＬボリューム＃欄９０１のＲＧのリストが格納される。書き込みページがＲＧに割り当てられる。ＳＶＯＬ  ＲＧ＃欄９０４には、ＳＶＯＬボリューム＃欄９０３のＲＧのリストが格納される。書き込みページがＲＧに割り当てられる。属性欄９０５は任意であり、例えばバックアップ、データウェアハウスおよび最新バックアップなどを含む。図示の例では、ボリューム＃１のＲＧとボリューム＃２のＲＧは異なる。ボリューム＃３のＲＧとボリューム＃４のＲＧも異なるが、ボリューム＃５は部分的にボリューム＃３のＲＧを使用する（ＲＧ＃５、６）。ボリューム＃６とボリューム＃９（最新バックアップ）のＲＧは異なるが、ボリューム＃７および８はボリューム＃６のＲＧを使用することができる。
【００４０】
００６２    図１０は第一実施例にかかるページ管理テーブル５４０の例を示す。このテーブルは仮想ボリューム＃１００１、ＬＢＡ１００２、ＲＡＩＤグループ＃１００３およびページ＃１００４の欄を有する。図示の例では、ＬＢＡが０−９９であるＰＶＯＬ＃１のページはＲＧ＃１のページ１０に割り当てられ、ＬＢＡが１０００−１０９９であるＳＶＯＬ＃１のページはＲＧ＃６のページ１１０に割り当てられている。
【００４１】
００６３    図１１はシンプロビジョニングプール管理サーバ５００の構成例を示す。サーバ５００はＣＰＵ１１０１、ＮＩＣ１１０２、メモリ１１０３、一つ以上の入力デバイス１１０４およびディスプレイ１１０５を有する。メモリはＩＳＰ  ＲＡＩＤグループ制御１１１１（図６参照、従来技術）、ＩＳＰ  シンプロビジョニングプール制御１１１２（図７参照、従来技術）、ＩＳＰ論理ボリューム制御１１１３（図８参照、従来技術）、およびＩＳＰボリュームコピー制御１１１４を格納し、統合ストレージボリュームコピーマネジャーＧＵＩ１１２２からの入力を受け、コマンド受信モジュール５３１へボリュームコピー構成コマンドを送信する（図５参照）。
【００４２】
００６４    図１２は統合ストレージプールボリュームコピーマネジャー１１２２の構成例を示す。マネジャー１１２２はユーザに対する入力および出力インタフェースを提供する。マネジャー１１２２はボリュームコピーパネル１２０１を有する（図９および図１３から図１６参照）。上記で選択されたＲＧ、比率およびＩ／Ｏ性能のうちのどれか一つの欄のみを入力するだけでよい。マネジャー１１２２はさらにＲＡＩＤグループパネル１２０２（図６参照）、シンプロビジョニングパネル１２０３（図７参照）および論理ボリュームパネル１２０４（図８参照）を有する。
【００４３】
００６５    図１３は第一実施例にかかる、コマンド受信の主な処理を示したフロー図である（図３および図５のコマンド受信モジュール５３１参照）。処理は、ボリュームコピーパネル１２０１にボリュームコピー構成が設定されたとき、ステップ１３０１から開始する。プログラムはステップ１３０２において、ストレージサブシステムがボリュームコピー構成コマンドを受け取ったかどうかを判断する。受け取っている場合、プログラムはステップ１３０３においてボリュームコピー構成処理（図１４参照）を実行する。プログラムはステップ１３０４において、ストレージサブシステムが読み出しＩ／Ｏを受信したかどうかを判断する。受信している場合、プログラムはステップ１３０５においてページ管理テーブル５４０を参照し、ステップ１３０６においてページ管理テーブル５４０における対応するＲＧのページから読み出しを行う。プログラムはステップ１３０７において、ストレージサブシステムが書き込みＩ／Ｏを受信したかどうかを判断する。受信している場合、プログラムはステップ１３０８から１３１１に進む。プログラムはステップ１３０８において、ボリュームコピー管理テーブル５３９およびページ管理テーブル５４０を参照する。ステップ１３０９において、プログラムは書き込みＩ／Ｏページが更新されたかどうかを、すでにページ管理テーブル５４０に対応する列が存在するかどうかに基づいて判断する。更新されている場合、プログラムはステップ１３１０をスキップする。更新されていない場合（ステップ１３１０）、プログラムはボリュームコピー管理テーブル５３９の対応するＲＧのうちの一つのＲＧを選択し（例えばラウンドロビン方式により）、ページ管理テーブル５４０を更新する。たとえば、ＰＶＯＬ＃１はＲＧ＃１−５を使用する。つまり、第一ページはＲＧ＃１のページ＃１０に割り当てられ、次のページはＲＧ＃２のページ＃２０に割り当てられ、それ以降も同様である（図１０にラウンドロビンの例が示されている）。ステップ１３１１において、プログラムは対応するＲＧにページを書き込む。プログラムはステップ１３１２において、ストレージサブシステムがシャットダウンコマンドを受信したかどうかを判断する。受信している場合、プログラムはステップ１３１３で終了する。受信していない場合、プログラムはステップ１３０２に戻る。
【００４４】
００６６    図１４はボリュームコピー構成処理（図４、図５のボリュームコピー制御モジュール、および図１３のステップ１３０３を参照）のフロー図の例を示す。ステップ１４０２において、プログラムはボリュームコピーパネル１２０１のどの情報（直接選択されたＲＧまたはＲＧ比率またはＩ／Ｏ性能）が入力されているかを判断する。入力された情報が直接選択されたＲＧである場合、プログラムはステップ１４０３においてボリュームコピー管理テーブル５３９のＲＧ＃欄における選択ＲＧ＃を更新する。つまり、ボリュームコピー管理テーブル５４０は、ボリュームコピーパネル１２０１に格納される情報に基づいて更新される。例えば、ＰＶＯＬ＃６：ＲＧ＃１−５、ＳＶＯＬ＃７：ＲＧ＃１−３、ＳＶＯＬ＃８：ＲＧ＃４−５、およびＳＶＯＬ＃９：ＲＧ＃６−８である。入力がＲＧ比率である場合、プログラムはステップ１４０４において、選択比率に基づいてＲＧ割り当てを行う。入力がＩ／Ｏ性能である場合、プログラムはステップ１４０５において、選択Ｉ／Ｏ性能に基づいてＲＧ割り当てを行う。プログラムはステップ１４０６において、ＰＶＯＬ／ＳＶＯＬのＲＧの更新は前回の設定から変更されていないかまたは単にボリュームコピー管理テーブル５４０を更新することによって行われるか否か（例えば、ＲＧ＃１−３をＲＧ＃１−３とするか、ＲＧ＃１−３をＲＧ＃１−４とする場合。例えばＲＧ＃１−３をＲＧ＃２−４に変更することは上記の例に含まれない）を判断する。Ｙｅｓの場合、割り当てページはステップ１４０７において、バックグラウンドタスクの中でリバランスされる。プログラムはステップ１４０８において、ＰＶＯＬ／ＳＶＯＬのＲＧの更新が、ボリュームコピー管理テーブル５４０を更新することにより前回の設定より減少するかどうか（例えば、ＲＧ＃１−３をＲＧ＃１−２とするか、ＲＧ＃１−３をＲＧ＃２−４とする場合）を判断する。Ｙｅｓの場合、プログラムはステップ１４０９および１４１０に進む。ステップ１４０９において、割り当てページは他のＲＧに移動される（例えばラウンドロビン方式）。移動されたページは対応する論理ボリュームのどのＲＧに割り当ててもよい（例えば移動ページは、ラウンドロビン方式によりＲＧに割り当てられたり、移動ページは増加したＲＧに割り当てられたりする）。ステップ１４１０において、ページ管理テーブル５４０は更新される。プログラムはステップ１４１１において終了する。
【００４５】
００６７    図１５は選択比率（図１４のステップ１４０４参照）に基づくＲＧ割り当てのフロー図の例を示す。プログラムはステップ１５０２において、ボリュームコピーパネル１２０１のボリュームがＰＶＯＬであるかどうかを判断する。例えば、図１２のボリュームコピーパネル１２０１において、ＰＶＯＬ＃６が第一に選択される。この場合、ステップ１５０２の判断はＹｅｓである。Ｙｅｓの場合、プログラムはステップ１５０３へ、次いでステップ１５０９へ進む。Ｎｏの場合、プログラムはステップ１５０４へ進む。ステップ１５０３において、プログラムはＲＧを選択比率で割り当てる。ＲＧ＃はＰＶＯＬとして最後に割り当てられたＲＧの次のボリュームから開始する。例えば、図１２のボリュームコピーパネル１２０１において、ＰＶＯＬ＃６の比率は６２．５％である。ボリュームプール＃１の合計ボリュームは８である（ＲＧ＃１−８）。その結果、８×０．６２５＝５ＲＧが割り当てられる（ＲＧ＃１−５）。プログラムはステップ１５０４において、ボリュームコピーパネル１２０１においてＳＶＯＬの共有チェックボックスが選択されているかどうか（該ボリュームのＲＧをＰＶＯＬのＲＧと共有することができるか）を判断する。例えば、ＳＶＯＬ＃７のチェックボックスにおいてＹｅｓが選択されており、ＳＶＯＬ＃９のチェックボックスにおいてはＮｏが選択されている。Ｙｅｓの場合、プログラムはステップ１５０５に、次いで１５０９に進む。Ｎｏの場合、プログラムはステップ１５０６に進む。ステップ１５０５において、プログラムは対応するＰＶＯＬの同じＲＧから選択比率に基づいてＲＧを割り当てる。ＲＧ＃は、同じ対応ＶＯＬを有するＳＶＯＬが最後に割り当てられたボリュームの次のボリュームから開始される。例えば、ＳＶＯＬ＃７のＲＧは、ＰＶＯＬ＃６の同じＲＧに割り当てられる（ＲＧ＃１−５）。ボリュームプール＃１の合計ボリュームは８である（ＲＧ＃１−８）。その結果、８×０．３７５＝３ＲＧが割り当てられる（ＲＧ＃１−３）。同様にして、ＳＶＯＬ＃８のＲＧがＲＧ＃４−５に割り当てられる（なぜならばＲＧ＃は次の番号、つまりＲＧ＃４から開始される）。
【００４６】
００６８    プログラムはステップ１５０６において、ＳＶＯＬの比率が残りの比率（残りの割り当てられていないＲＧ）に比べて大きいかどうかを判断する。例えば図１２において、もしＰＶＯＬ＃６の比率が６２．５％でＳＶＯＬ＃９の比率が５０％（共有欄にチェックなし）である場合、ステップ１５０６でＹｅｓが選択される。Ｙｅｓの場合、ステップ１５０７でＲＧを割り当てられないため、プログラムはエラーを表示し、ステップ１５１１において処理を終了する。Ｎｏの場合、プログラムはステップ１５０８に進み、異なるＲＧから対応するＰＶＯＬに対して選択された比率に基づいてＲＧを割り当てる。ＲＧ＃は、同じ対応するＰＶＯＬを有するＳＶＯＬが最後に割り当てられたボリュームの次のボリュームから開始される。例えば、ＳＶＯＬ＃９のＲＧが正ＶＯＬ＃６（ＲＧ＃６−８）の異なるＲＧに割り当てられる。ボリュームプール＃１の合計ボリュームは８である（ＲＧ＃１−８）。その結果、８×０．３７５＝３ＲＧが割り当てられる（ＲＧ＃６−８）。プログラムは次にステップ１５０９に進む。ステップ１５０９において、プログラムは最後のボリュームを処理したかどうかを判断する。Ｙｅｓの場合、プログラムはステップ１５１１で終了する。Ｎｏの場合、プログラムはステップ１５１０で次のボリュームに進み、ステップ１５０２に戻る。
【００４７】
００６９    図１６は、選択Ｉ／Ｏ性能（図１４のステップ１４０５参照）に基づくＲＧ割り当てのフロー図の例を示す。図１６は図１５に類似している。プログラムはステップ１６０２において、ボリュームコピーパネル１２０１のボリュームがＰＶＯＬかどうかを判断する。ＰＶＯＬの場合、プログラムはステップ１６０３に、次いでステップ１６０９に進む。ＰＶＯＬでない場合、プログラムはステップ１６０４に進む。ステップ１６０３においてプログラムは、ＲＧの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能を超えるまで、容量がいっぱいでないＲＧから割り当てを行う。ＲＧ＃は、ＰＶＯＬとして最後に割り当てをしたＲＧの次のボリュームから開始される。例えば、図１２のボリュームコピーパネル１２０１において、ＰＶＯＬ＃６のＩ／Ｏ性能は３２００ＭＢ／ｓである。ＲＧ＃１−５の合計性能は３２００ＭＢ／ｓであるので、ＲＧ＃１−５が割り当てられる。プログラムはステップ１６０４において、ボリュームコピーパネル１２０１においてＳＶＯＬの共有チェックボックスが選択されているか否かを判断する。選択されている場合、プログラムはステップ１６０５に、次いでステップ１６０９に進む。選択されていない場合、プログラムはステップ１６０６に進む。プログラムはステップ１６０５において、ステップ１６０３と同様に、対応するＰＶＯＬの同じＲＧから選択されたＩ／Ｏ性能のＲＧを割り当てる。
【００４８】
００７０    プログラムはステップ１６０６において、残ったＲＧの合計Ｉ／Ｏ性能が選択Ｉ／Ｏ性能より少ないかどうかを判断する。例えば図１２において、もしＰＶＯＬ＃６のＩ／Ｏ性能が３２００ＭＢ／ｓでありＳＶＯＬ＃９のＩ／Ｏ性能が１０００ＭＢ／ｓである場合、１０００ＭＢ／ｓは残ったＲＧの合計Ｉ／Ｏ性能（ＲＧ＃６−８、８００ＭＢ／ｓ）を超える。つまり、ステップ１６０６においてＹｅｓが選択される。Ｙｅｓの場合、プログラムはステップ１６０７においてＲＧを割り当てることができないためにエラーとなり、ステップ１６１１において終了する。Ｎｏの場合、プログラムはステップ１６０８に進み、ステップ１６０３と同じように、対応するＰＶＯＬの異なるＲＧから選択されたＩ／Ｏ性能のＲＧを割り当てる。プログラムは次にステップ１６０９に進む。ステップ１６０９において、プログラムは最後のボリュームを処理したかどうかを判断する。Ｙｅｓの場合、プログラムはステップ１６１１で終了する。Ｎｏの場合、プログラムはステップ１６１０において次のボリュームに進み、ステップ１６０２に戻る。
【００４９】
００７１    第二実施例
【００５０】
００７２    第一実施例が全ボリュームコピーにかかるものであるのに対して（例えばシャドウイメージ）、第二実施例はコピーオンライトスナップショットにかかる。
【００５１】
００７３    図１７は第二実施例における、ＰＶＯＬとＳＶＯＬのシンプロビジョニングプールと、コピーオンライトスナップショットを管理するボリュームコピー管理テーブルの例を示す。第一実施例において記載した通り、ボリュームコピー管理テーブルはＲＡＩＤグループを管理するために使用され、各論理ボリュームがページを書き込むことができる。ＰＶＯＬのページが更新されると、ページは副ＶＯＬのＲＧに書き込まれる。そのとき、ＳＶＯＬのコピーページはＰＶＯＬのＲＡＩＤグループとは異なるＲＡＩＤグループに書き込まれる。同じＰＶＯＬを有するＳＶＯＬのコピーページは共有される。
【００５２】
００７４    図１８は、第二実施例におけるボリュームコピー管理テーブル５３９の例を示す。コピーオンライトスナップショットの場合、同じＰＶＯＬに対応するＳＶＯＬは同じＲＧに割り当てられる。例えば、ＳＶＯＬ＃４−５はＲＧ＃１−３に割り当てられ、ＳＶＯＬ＃７−９はＲＧ＃６−８に割り当てられる。このテーブルはＰＶＯＬボリューム＃１８０１、ＰＶＯＬ  ＲＧ＃１８０２、ＳＶＯＬボリューム＃１８０３、ＳＶＯＬ  ＲＧ＃１８０４および属性１８０５の欄を有する。
【００５３】
００７５    図１９は第二実施例にかかるページ管理テーブル５４０の例を示す。仮想ボリューム＃１９０１およびＬＢＡ１９０２の欄は、図１０に示す第一実施例と同じである。ＳＶＯＬのＲＡＩＤグループ＃１９０３は、第一実施例におけるＰＶＯＬ＃でもＲＡＩＤグループ＃でもよい。図１０に示す第一実施例のページ＃欄１００４は図１９のＰＶＯＬ  ＬＢＡ／ページ＃欄１９０４に変更される。コピーオンライトスナップショットの場合、ＳＶＯＬのページは第一にＰＶＯＬの対応するページをポイントする。例えば、ＳＶＯＬ＃２のＬＢＡ１０００−１０９９は単にＰＶＯＬ＃１のＬＢＡ０９−９９、つまりＲＧ＃１のページ＃１０をポイントする。ＳＶＯＬ＃２のＬＢＡ１ｌ２００−１２９９はＲＧ＃８のページ＃１３０に割り当てられる。
【００５４】
００７６    図２０は第二実施例にかかるコマンド受信の主な処理を示すフロー図の例である（図１７および図５のコマンド受信モジュール５３１参照）。ステップ２００１から２００９は、図１３に示す第一実施例のステップ１３０１から１３０９と同じである。ステップ２０１０において、プログラムは現在のページを対応する副ＶＯＬのＲＧから選択された一つのＲＧにコピーし（例えばラウンドロビン方式）、ＳＶＯＬのページ管理テーブルを更新する。例えば、（２（ＳＶＯＬ）、１２００−１２９９、ＰＶＯＬ＃１、２００−２９９）を（２（ＳＶＯＬ）、１２００−１２９９、８、１３０）に更新する。ステップ２０１１から２０１４は図１３に示すステップ１３１０から１３１３と同じである。
【００５５】
００７７    第三実施例
【００５６】
００７８    第二実施例において、同じＰＶＯＬを持つＳＶＯＬのコピーページは共有される。一つのＲＧが故障すると、すべての対応するＳＶＯＬも故障する。さらに、ＳＶＯＬ間のロッキングは負荷の高い処理のため、ＳＶＯＬの読み出しには時間がかかる可能性がある。いくつかのＳＶＯＬは他のＳＶＯＬの異なるＲＧに割り当てられる。第三実施例において、同じＰＶＯＬを有するＳＶＯＬは複数のコピーページを有することができる。
【００５７】
００７９    図２１は、第三実施例にかかるＰＶＯＬおよび副ＶＯＬのシンプロビジョニングプールおよびコピーオンライトスナップショットの管理を行うボリュームコピー管理テーブルの例を示す。ＰＶＯＬのページが更新されると、複数のコピーページがＳＶＯＬのＲＧに書き込まれる。最新のバックアップされたＳＶＯＬが他のＳＶＯＬのＲＧに割り当てられる場合、専用のＳＶＯＬは他のＳＶＯＬのコピーページに統合することができる。
【００５８】
００８０    図２２は、第三実施例にかかるボリュームコピー管理テーブル５３９の例を示す。図２２は図１８に類似しており、情報は図１２に示すＧＵＩから入力される。このテーブルはＰＶＯＬボリューム＃２２０１、ＰＶＯＬ  ＲＧ＃２２０２、ＳＶＯＬボリューム＃２２０３、ＳＶＯＬ  ＲＧ＃２２０４および属性２２０５の欄を有する。
【００５９】
００８１    図２３は、第三実施例にかかるページ管理テーブル５４０の例を示す図である。図２３は図１９に類似している。このテーブルは、仮想ボリューム＃２３０１、ＬＢＡ２３０２、ＰＶＯＬ＃またはＲＡＩＤグループ＃２３０３およびＰＶＯＬ  ＬＢＡ／ページ＃欄２３０４の各欄を有する。例えば、ＰＶＯＬ＃３は複数のＳＶＯＬ（ＳＶＯＬ＃４およびＳＶＯＬ＃５）を有する。もし（３（ＰＶＯＬ）、２００−２９９、７、３０）が更新される場合、現在のページはＲＧ＃２およびＲＧ＃５にコピーされる。その後、ページ管理テーブル５４０が更新される：（４（ＳＶＯＬ）、１２００−１２９９、ＰＶＯＬ、２００−２９９）は（４（ＳＶＯＬ）、１２００−１２９９、２、１３０）に更新され、（５（ＳＶＯＬ）、２２００−２２９９、ＰＶＯＬ，２００−２９９）は（５（ＳＶＯＬ）、２２００−２２９９、５、２３０）に更新される。
【００６０】
００８２    図２４は第三実施例に係るコマンド受信の主な処理を示すフロー図の例である（図２１および図５のコマンド受信モジュール５３１参照）。図２４は、ステップ２４１０がステップ２０１０と異なる以外は、図２０と同じである。ステップ２４１０において、複数のコピーページがＳＶＯＬのＲＧに書き込まれる。
【００６１】
００８３    図２５は図２４のボリュームコピー構成処理を示すフロー図の例である（図２１、図５のボリュームコピー制御モジュール５３３、および図２４のステップ２４０３参照）。ステップ２５０２−２５１０は図１４に示す第一実施例のステップ１４０２−１４１０と同じである。ステップ２５１１において、プログラムはＳＶＯＬのＲＧが統合されたか否かを判断する。統合されていない場合、プログラムはステップ２５１９で終了する。統合されている場合、プログラムはステップ２５１２に進む。例えば、図２１のボリュームコピー管理テーブル５３９において、列（ＰＶＯＬ＃、ＲＧ＃１−５、ＳＶＯＬ＃２、ＲＧ＃３−５）が（ＰＶＯＬ＃１、ＲＧ＃１−５、ＳＶＯＬ＃２およびＲＧ＃６−８）に変更される。その結果、ＳＶＯＬ#１のＲＧおよびＳＶＯＬ＃２のＲＧは統合される。プログラムはステップ２５１２において、統合されたＳＶＯＬがコピーページを有するか否かを判断する。有しない場合、プログラムはステップ２５１３に進む。有する場合、プログラムはステップ２５１４に進む。例えば、プログラムはＳＶＯＬ＃４がＳＶＯＬ＃５に統合されたとみなす。ＳＶＯＬ＃５の対応ページ（５、２１００−２１９９、ＰＶＯＬ＃１、１００−１９９）は単にＰＶＯＬのページをポイントしているだけであるので、ＳＶＯＬ＃５はＳＶＯＬ＃４の（４、１１００−１１９９、１、１２０）に対応するコピーページを有さない。一方で、ＳＶＯＬ＃５は対応するページ（５、２２００−２２９９、５、２３０）を有するため、ＳＶＯＬ＃５はＳＶＯＬ＃４の（４、１２００−１２９９、２、１３０）に対応するコピーページを有する。
【００６２】
００８４    ステップ２５１３において、プログラムは前のページを新しいＲＧの中から選んだ一つのＲＧに移動し（例えばラウンドロビン方式）、ページ管理テーブル５４０のＲＧ＃およびページ＃の欄を更新する。上記の例において、ＳＶＯＬ＃５（５、２１００−２１９９、ＰＶＯＬ＃１、１００−１９９）は単にＰＶＯＬのページにポイントしているだけであるので、ＳＶＯＬ＃５はＳＶＯＬ＃４の（４、１１００−１１９９、１、１２０）に対応するコピーページを有さない。プログラムは（４、１１００−１１９９、１、１２０）をＲＧ＃６に移動する（ページがＲＧ＃５に割り当てられているので、次のＲＧ、つまりＲＧ＃６はラウンドロビン方式によって割り当てられる）。その後、ページ管理テーブル５４０の（４、１１００−１１９９、１、１２０）は、例えば、（４、１１００−１１９９、６、３４０）に更新される。ステップ２５１４において、プログラムはページ管理テーブル５４０のＲＧ＃およびページ＃の欄を、統合したＳＶＯＬの番号に更新する。上記の例において、ＳＶＯＬ＃５は対応するページ（５、２２００−２２９９、５、２３０）を有しており、それゆえにＳＶＯＬ＃５はＳＶＯＬ＃４の（４、１２００−１２９９、２、１３０）に対応するコピーページを有する。ページ管理テーブル５４０における（４、１２００−１２９９、２、１３０）は（４、１２００−１２９９、５、２３０）に更新される。
【００６３】
００８５    プログラムはステップ２５１５において、前のページが他のＳＶＯＬから参照されているか否かを判断する。参照されていない場合、プログラムは２５１６にスキップする。参照されている場合、プログラムはステップ２５１６において前のページを削除する。上記の例において、ＳＶＯＬ＃５の対応するページ（５、２１００−２１９９、ＰＶＯＬ＃１、１００−１９９）は単にＰＶＯＬのページをポイントしているだけなので、ＳＶＯＬ＃５はＳＶＯＬ＃４の（４、１１００−１１９９、１、１２０）に対応するコピーページを有しない。（４，１１００−１１９９、１、１２０）はほかのＳＶＯＬから参照されていない。そのためＲＧ＃１のページは削除される。ステップ２５１７において、プログラムは最後のページを処理したかどうかを判断する。最後のページを処理した場合、プログラムはステップ２５１９において終了する。処理していない場合、プログラムはステップ２５１８において次のページに進み、ステップ２５１２に戻る。
【００６４】
００８６    当然のことながら、図５に示すシステム構成は、本発明が実施され得る情報システムの単なる例示であり、本発明は特定のハードウェア構成に限定されない。本発明を実施するコンピュータ及びストレージシステムは、上述の発明を実施するために用いられるモジュール、プログラム及びデータ構造を格納しかつ読み出すことができる公知のＩ／Ｏ装置（例えば、ＣＤ及びＤＶＤドライブ、フロッピー（登録商標）ディスクドライブ、ハードドライブ等）も有し得る。これらのモジュール、プログラム及びデータ構造は、当該コンピュータ読取可能媒体上で符号化することができる。例えば、本発明の前記データ構造は、本発明で使用されるプログラムが存在する一つ以上のコンピュータ読取可能媒体から独立したコンピュータ読取可能媒体に格納することができる。システムの構成要素は、あらゆる形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク、ワイドエリアネットワーク（例えば、インターネット）、無線ネットワーク、ストレージエリアネットワーク等を含む。
【００６５】
００８７    説明では、本発明の理解を深めるために、多くの具体的かつ詳細な記載がなされている。しかし当業者にとっては、本発明を実施するためにこれら具体的な詳細のすべてが必要なわけではないことは明らかであるだろう。また、留意すべき点として、本発明は、通常はフローチャート、フロー図又はブロック図として記載されるプロセスとして説明されてもよい。フローチャートでは動作を逐次プロセスとして説明し得るが、動作の多くは並行して又は同時に実行することができる。さらに、動作の順番は並び替えてもよい。
【００６６】
００８８    当技術分野では周知であるように、上述の動作は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせによって実行することができる。本発明の実施形態の様々な態様は、回路や論理装置（ハードウェア）を用いて実施してよく、その一方で、その他の態様は、機械読取可能媒体上に記憶された命令を用いて実施してもよく、当該発明は、プロセッサによって実行された場合には、プロセッサに本発明の実施形態を実行される方法を実施させるものである。さらに、本発明のいくつかの実施形態は、ハードウェアのみにおいて実施されてもよく、その他の実施形態は、ソフトウェアのみで実施されてもよい。さらに、説明された様々な機能は一つのユニットで実施することができ、又はあらゆる方法によって多くの構成要素に広めることができる。ソフトウェアによって実施された場合、方法は、コンピュータ読取可能媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行され得る。望ましい場合には、圧縮およびまたは暗号化形式で命令を媒体に記憶することができる。
【００６７】
００８９    上記に示した通り、本発明はストレージサブシステムにおける正論理ボリュームと副論理ボリュームの統合シンプロビジョニングプールに係る方法、装置およびコンピュータ読取可能媒体に記憶されたプログラムを提供する。さらに、本明細書において特定の実施形態が示され説明されているが、当業者にとって明白なように、開示された特定の実施形態の代わりに、同じ目的を達成するために創出された構成を用いてもよい。本開示は、本発明のあらゆる適応例や変形例を対象とすることを意図したものであり、また以下の請求項で用いられる用語は、本発明を本明細書で開示した特定の実施形態に限定するよう解釈されるべきではない。むしろ本発明の範囲は、以下の請求項によって判断されるべきものであり、以下の請求項は、当該請求項が権利を有する同等物の範囲全体と共に、請求項の解釈について確立された原則に従って解釈されるものである。
【符号の説明】
【００６８】
５１０  ストレージコントローラ
５１１  ＣＰＵ
５１２  メモリ
５３２  ディスクＩ／Ｏ実行モジュール
５３９  ボリュームコピー管理テーブル
５４０  ページ管理テーブル
【図１】
0005890268.tif 000002
【図２】
0005890268.tif 000003
【図３】
0005890268.tif 000004
【図４】
0005890268.tif 000005
【図５】
0005890268.tif 000006
【図６】
0005890268.tif 000007
【図７】
0005890268.tif 000008
【図８】
0005890268.tif 000009
【図９】
0005890268.tif 000010
【図１０】
0005890268.tif 000011
【図１１】
0005890268.tif 000012
【図１２】
0005890268.tif 000013
【図１３】
0005890268.tif 000014
【図１４】
0005890268.tif 000015
【図１５】
0005890268.tif 000016
【図１６】
0005890268.tif 000017
【図１７】
0005890268.tif 000018
【図１８】
0005890268.tif 000019
【図１９】
0005890268.tif 000020
【図２０】
0005890268.tif 000021
【図２１】
0005890268.tif 000022
【図２２】
0005890268.tif 000023
【図２３】
0005890268.tif 000024
【図２４】
0005890268.tif 000025
【図２５Ａ】
0005890268.tif 000026
【図２５Ｂ】
0005890268.tif 000027