(57)【特許請求の範囲】
【請求項１】
情報処理装置からのアクセス対象となる記憶領域を実現する記憶装置を備えたストレージ装置と、
前記ストレージ装置の動作を管理するストレージ管理装置と、
前記情報処理装置で動作する仮想マシンの動作を管理する仮想マシン管理装置と、
を有し、
前記ストレージ管理装置は、前記仮想マシン管理装置に前記仮想マシンのスナップショット作成要求処理の開始を依頼する第１の指示情報と、前記記憶領域のうち前記仮想マシンに関連する領域に対する前記情報処理装置によるデータ更新を禁止する更新禁止指示とを、前記仮想マシンの識別情報を指定して前記仮想マシン管理装置に送信し、
前記仮想マシン管理装置は、前記第１の指示情報および前記更新禁止指示を受信すると、前記記憶領域のうち、前記仮想マシンの仮想記憶領域を実現するデータまたは前記仮想マシンの構成を定義する情報が少なくとも格納された第１の記憶領域を特定し、前記更新禁止指示に基づいて前記仮想マシンの動作を停止させた後、特定した前記第１の記憶領域のスナップショットの作成を要求する第２の指示情報を、前記第１の記憶領域の識別情報を指定して前記ストレージ管理装置に送信し、
前記ストレージ管理装置は、前記仮想マシン管理装置から受信した前記第２の指示情報および前記第１の記憶領域の識別情報に基づいて、前記第１の記憶領域のスナップショットの作成を指示するスナップショット作成指示を前記ストレージ装置に送信し、
前記ストレージ装置は、前記スナップショット作成指示を受信すると、前記第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、前記第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理であって、前記第１の記憶領域の全データを前記第２の記憶領域にコピーした後に前記スナップショット作成指示を受信した場合には前記第１の記憶領域のデータのうち更新されたデータを前記第２の記憶領域にコピーする前記バックアップ処理とを実行する、
ストレージシステム。
【請求項２】
前記仮想マシン管理装置は、前記ストレージ管理装置から前記第１の指示情報および前記更新禁止指示を受信した場合と、前記ストレージ管理装置以外の他の装置から前記仮想マシンのスナップショットの作成を指示する第３の指示情報を受信した場合のどちらの場合も、前記仮想マシンの動作を停止させた後、前記第１の記憶領域のスナップショットの作成を要求する前記第２の指示情報を前記ストレージ管理装置に送信し、
前記ストレージ管理装置は、前記第１の指示情報および前記更新禁止指示に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理と前記バックアップ処理の両方を実行するように前記ストレージ装置に指示し、前記第３の指示情報に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理を実行するように前記ストレージ装置に指示する、
請求項１記載のストレージシステム。
【請求項３】
情報処理装置からのアクセス対象となる記憶領域を実現する記憶装置を備えたストレージ装置の動作を管理するストレージ管理装置において、
前記情報処理装置で動作する仮想マシンの動作を管理する仮想マシン管理装置に前記仮想マシンのスナップショット作成要求処理の開始を依頼する第１の指示情報と、前記記憶領域のうち前記仮想マシンに関連する領域に対する前記情報処理装置によるデータ更新を禁止する更新禁止指示とを、前記仮想マシンの識別情報を指定して前記仮想マシン管理装置に送信する禁止指示部と、
前記第１の指示情報および前記更新禁止指示を受信した前記仮想マシン管理装置により、前記更新禁止指示に基づいて前記仮想マシンの動作が停止された後に、前記仮想マシン管理装置から送信された第２の指示情報であって、前記記憶領域のうち、前記仮想マシンの仮想記憶領域を実現するデータまたは前記仮想マシンの構成を定義する情報が少なくとも格納された第１の記憶領域の識別情報が指定されて前記第１の記憶領域のスナップショットの作成を要求する前記第２の指示情報を、前記仮想マシン管理装置から受信し、前記第２の指示情報に基づいて、前記第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、前記第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理とを前記ストレージ装置に実行させる実行指示を、前記ストレージ装置に送信する実行指示部であって、前記バックアップ処理では、前記ストレージ装置は、前記第１の記憶領域の全データを前記第２の記憶領域にコピーした後に前記実行指示を受信した場合には、前記第１の記憶領域のデータのうち更新されたデータを前記第２の記憶領域にコピーする、前記実行指示部と、
を有するストレージ管理装置。
【請求項４】
前記仮想マシン管理装置は、前記ストレージ管理装置から前記第１の指示情報および前記更新禁止指示を受信した場合と、前記ストレージ管理装置以外の他の装置から前記仮想マシンのスナップショットの作成を指示する第３の指示情報を受信した場合のどちらの場合も、前記仮想マシンの動作を停止させた後、前記第１の記憶領域のスナップショットの作成を要求する前記第２の指示情報を前記ストレージ管理装置に送信し、
前記実行指示部は、前記第１の指示情報および前記更新禁止指示に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理と前記バックアップ処理の両方を実行するように前記ストレージ装置に指示し、前記第３の指示情報に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理を実行するように前記ストレージ装置に指示する、
請求項３記載のストレージ管理装置。
【請求項５】
情報処理装置からのアクセス対象となる記憶領域を実現する記憶装置を備えたストレージ装置の動作を管理するコンピュータに、
前記情報処理装置で動作する仮想マシンの動作を管理する仮想マシン管理装置に前記仮想マシンのスナップショット作成要求処理の開始を依頼する第１の指示情報と、前記記憶領域のうち前記仮想マシンに関連する領域に対する前記情報処理装置によるデータ更新を禁止する更新禁止指示とを、前記仮想マシンの識別情報を指定して前記仮想マシン管理装置に送信する第１の送信処理と、
前記第１の指示情報および前記更新禁止指示を受信した前記仮想マシン管理装置により、前記更新禁止指示に基づいて前記仮想マシンの動作が停止された後に、前記仮想マシン管理装置から送信された第２の指示情報であって、前記記憶領域のうち、前記仮想マシンの仮想記憶領域を実現するデータまたは前記仮想マシンの構成を定義する情報が少なくとも格納された第１の記憶領域の識別情報が指定されて前記第１の記憶領域のスナップショットの作成を要求する前記第２の指示情報を、前記仮想マシン管理装置から受信する受信処理と、
前記第２の指示情報に基づいて、前記第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、前記第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理とを前記ストレージ装置に実行させる実行指示を、前記ストレージ装置に送信する第２の送信処理であって、前記バックアップ処理では、前記ストレージ装置は、前記第１の記憶領域の全データを前記第２の記憶領域にコピーした後に前記実行指示を受信した場合には、前記第１の記憶領域のデータのうち更新されたデータを前記第２の記憶領域にコピーする、前記第２の送信処理と、
を実行させるストレージ管理プログラム。
【請求項６】
前記仮想マシン管理装置は、前記コンピュータから前記第１の指示情報および前記更新禁止指示を受信した場合と、前記コンピュータ以外の他の装置から前記仮想マシンのスナップショットの作成を指示する第３の指示情報を受信した場合のどちらの場合も、前記仮想マシンの動作を停止させた後、前記第１の記憶領域のスナップショットの作成を要求する前記第２の指示情報を前記コンピュータに送信し、
前記第２の送信処理では、前記第１の指示情報および前記更新禁止指示に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理と前記バックアップ処理の両方を実行するように前記ストレージ装置に指示し、前記第３の指示情報に応じて前記仮想マシン管理装置から送信された前記第２の指示情報を受信した場合には、前記スナップショット作成処理を実行するように前記ストレージ装置に指示する、
請求項５記載のストレージ管理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はストレージシステム、ストレージ管理装置およびストレージ管理プログラムに関する。
【背景技術】
【０００２】
データのバックアップに関する技術として、スナップショットが知られている。スナップショットは、ある時点のデータイメージを作成したものである。スナップショットの作成方法の例として、コピーオンライト方式を用いた方法が知られている。例えば、第１の記憶領域のスナップショットをコピーオンライト方式で作成する場合、その作成時点では、第１の記憶領域の実データのコピーは行われない。その代わり、第１の記憶領域のデータへのポインタなど、第１の記憶領域のデータの参照を可能にするための管理情報が作成される。そして、その後に第１の記憶領域が更新される際に、更新前のデータが別の第２の記憶領域に退避された後に第１の記憶領域が新たなデータによって更新される。このような方法により、スナップショットの作成要求に対して短時間に応答することができる。
【０００３】
ここで、スナップショットの技術に関する一例として、ストレージシステムにおいて、第１の世代のスナップショット作成要求を受信してから第２の世代のスナップショット作成要求をするまでの間に更新されたデータを論理ボリュームから読み出してプール領域に書き込む技術が提案されている。
【０００４】
また、ストレージシステムにおいて、第１のスナップショットより前の第２のスナップショットの採取時点から第１のスナップショットの採取時点までの間にデータ更新が発生した領域を差分ビットマップテーブルに基づいて特定し、特定された領域の差分データをバックアップボリュームにコピーする技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１２３０６６号公報
【特許文献２】特開２０１２−１４２８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
コピーオンライト方式で記憶領域のスナップショットの作成が行われた場合、スナップショットの実データを読み出すためには、管理情報に基づいて元の記憶領域の少なくとも一部のデータが参照される。このため、記憶装置の故障などによって参照先のデータが破損すると、スナップショットの実データを利用することができなくなる。
【０００７】
このような問題を解決するための方法としては、管理情報に基づいてスナップショットの実データを別の記憶領域にバックアップする方法がある。しかし、この方法では、バックアップを要求するたびに、スナップショットに対応する全データのコピーが行われる。このため、データコピー中の処理負荷が高くなり、コピー処理を実行する装置における他の処理の性能（例えば、他の記憶領域に対するアクセス性能）が低下するという問題がある。
【０００８】
また、データコピー中の処理負荷を軽減するための方法としては、例えば、記憶領域のスナップショットの作成とともに、記憶領域のデータの差分バックアップを実行する方法が考えられる。しかし、この方法では、差分バックアップの処理中に元の記憶領域のデータが更新され、スナップショットと、差分バックアップによって得られたバックアップデータとが整合しなくなる可能性があるという問題がある。
【０００９】
１つの側面では、本発明は、スナップショットに対応する正確な実データを低処理負荷でバックアップすることが可能なストレージシステム、ストレージ管理装置およびストレージ管理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
１つの態様では、ストレージシステムが提供される。このストレージシステムは、情報処理装置からのアクセス対象となる第１の記憶領域を実現する記憶装置を備えたストレージ装置とストレージ装置の動作を管理するストレージ管理装置とを有する。ストレージ管理装置は、情報処理装置による第１の記憶領域のデータ更新を禁止するように指示する更新禁止指示を送信した後、第１の記憶領域のスナップショットの作成を指示するスナップショット作成指示をストレージ装置に送信する。ストレージ装置は、スナップショット作成指示を受信すると、第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理であって、第１の記憶領域の全データを第２の記憶領域にコピーした後にスナップショット作成指示を受信した場合には第１の記憶領域のデータのうち更新されたデータを第２の記憶領域にコピーするバックアップ処理とを実行する。
【００１１】
また、１つの態様では、情報処理装置からのアクセス対象となる第１の記憶領域を実現する記憶装置を備えたストレージ装置の動作を管理するストレージ管理装置が提供される。このストレージ管理装置は、禁止指示部と実行指示部とを有する。禁止指示部は、情報処理装置による第１の記憶領域のデータ更新を禁止するように指示する更新禁止指示を送信する。実行指示部は、更新禁止指示が送信された後に、第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理であって、第１の記憶領域の全データを第２の記憶領域にコピーした後にスナップショット作成指示を受信した場合には第１の記憶領域のデータのうち更新されたデータを第２の記憶領域にコピーするバックアップ処理とをストレージ装置に実行させる実行指示を、ストレージ装置に送信する。
【００１３】
また、１つの態様では、ストレージ管理プログラムが提供される。このストレージ管理プログラムは、情報処理装置からのアクセス対象となる第１の記憶領域を実現する記憶装置を備えたストレージ装置の動作を管理するコンピュータに、情報処理装置による第１の記憶領域のデータ更新を禁止するように指示する更新禁止指示を送信し、第１の記憶領域のスナップショットをコピーオンライト方式で作成するスナップショット作成処理と、第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理であって、第１の記憶領域の全データを第２の記憶領域にコピーした後にスナップショット作成指示を受信した場合には第１の記憶領域のデータのうち更新されたデータを第２の記憶領域にコピーするバックアップ処理とをストレージ装置に実行させる実行指示を、ストレージ装置に送信する、処理を実行させる。
【発明の効果】
【００１４】
１つの側面では、スナップショットに対応する正確な実データを低処理負荷でバックアップすることができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態のストレージシステムを示す図である。
【図２】スナップショット作成処理の例を示す図である。
【図３】スナップショットのバックアップ処理の比較例を示す図である。
【図４】第２の実施の形態のストレージシステムを示す図である。
【図５】ストレージ装置のハードウェア例を示す図である。
【図６】運用管理サーバのハードウェア例を示す図である。
【図７】ストレージシステムの機能例を示す図である。
【図８】管理テーブルの例を示す図である。
【図９】スナップショット作成処理と差分バックアップ処理とが両方実行される場合の具体例を示す図である。
【図１０】スナップショット作成処理のみが実行される場合の具体例を示す図である。
【図１１】ストレージ装置および運用管理サーバにおける処理の例（その１）を示すフローチャートである。
【図１２】ストレージ装置および運用管理サーバにおける処理の例（その２）を示すフローチャートである。
【図１３】スナップショット作成処理と差分バックアップ処理との両方が実行される場合のシーケンス図である。
【図１４】スナップショット作成処理のみが実行される場合のシーケンス図である。
【発明を実施するための形態】
【００１６】
以下、実施の形態について図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態のストレージシステムを示す図である。ストレージシステムは、ストレージ装置１、ストレージ管理装置２および情報処理装置３を含む。
【００１７】
ストレージ装置１は、１つ以上の記憶装置を備える。ストレージ装置１が備える記憶装置としては、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などがある。また、ストレージ装置１には、情報処理装置３からのアクセス対象となる第１の記憶領域が設定される。第１の記憶領域は、ストレージ装置１内の少なくとも１つの記憶装置によって実現される。
【００１８】
ストレージ装置１は、ストレージ管理装置２からの指示に応じて、第１の記憶領域のスナップショットを作成するスナップショット作成処理と、第１の記憶領域のデータを第２の記憶領域にコピーするバックアップ処理とを実行することができる。なお、第２の記憶領域も、ストレージ装置１内の少なくとも１つの記憶装置によって実現される。また、第２の記憶領域は、バックアップされるデータが消失する可能性を低下させるために、第１の記憶領域とは異なる記憶装置によって実現されることが望ましい。
【００１９】
図１に示すバックアップ元ボリューム１１は、第１の記憶領域の一例である。また、図１に示すバックアップ先ボリューム１３は、バックアップ元ボリューム１１に対応する第２の記憶領域の一例である。
【００２０】
ストレージ管理装置２は、ストレージ装置１の動作を管理する。ストレージ管理装置２は、ストレージ装置１に設定されたバックアップ元ボリューム１１のスナップショットの作成をストレージ装置１に指示することができる。情報処理装置３は、ストレージ装置１内の記憶装置にアクセスする。情報処理装置３は、ストレージ装置１に設定されたバックアップ元ボリューム１１にアクセスすることができる。
【００２１】
ここで、図２を用いて、ストレージ装置１で実行されるスナップショット作成処理について説明する。
図２は、スナップショット作成処理の例を示す図である。図２に示すように、ストレージ装置１は、コピーオンライト方式を用いてスナップショット作成処理を実行する。
【００２２】
図２の“状態１１”は、バックアップ元ボリューム１１にデータＡ，Ｂが格納された状態で、バックアップ元ボリューム１１のスナップショットの作成指示を受信した状態を示す。この場合、ストレージ装置１は、バックアップ元ボリューム１１のスナップショットに対応するデータとして、例えば、スナップショットボリューム１２ａを作成する。
【００２３】
コピーオンライト方式では、スナップショットボリューム１２ａには、データＡ，Ｂは格納されず、その代わり、例えば、データＡ，Ｂの記憶領域に対するポインタなどの管理情報が格納される。これにより、バックアップ元ボリューム１１のスナップショットの読み出しが要求された場合には、ストレージ装置１は、スナップショットボリューム１２ａの内容に基づいて、データＡ，Ｂをバックアップ元ボリューム１１から読み出すことができる。このように、スナップショットボリューム１２ａに実データの代わりに管理情報だけが格納されることで、スナップショットの作成指示を受信してから作成完了の応答を送信するまでの時間が短縮される。
【００２４】
次に、図２の“状態１２”は、“状態１１”の後に、情報処理装置３からバックアップ元ボリューム１１のデータＡをデータａに更新するように要求された状態を示す。この場合、ストレージ装置１は、データＡをバックアップ元ボリューム１１からスナップショットボリューム１２ａにコピーする。そして、コピーが完了すると、ストレージ装置１は、バックアップ元ボリューム１１のデータＡを新たなデータａによって更新する。これにより、データＡの更新後にスナップショットの読み出しが要求された場合、ストレージ装置１は、スナップショットボリューム１２ａの内容に基づいて、データＡをスナップショットボリューム１２ａから読み出すとともに、データＢをバックアップ元ボリューム１１から読み出すことができる。
【００２５】
このように、コピーオンライト方式では、スナップショットの作成後、バックアップ元ボリューム１１内のあるデータについて更新が要求されたときには、更新前の元データがスナップショットボリューム１２ａなどの他の記憶領域に退避される。そして、元データの退避後に、バックアップ元ボリューム１１内の元データが新たなデータによって更新される。
【００２６】
なお、実際には、ストレージ装置１は、例えば、バックアップ元ボリューム１１を複数の領域に分割した分割領域ごとに、スナップショットボリューム１２ａへ更新前のデータを格納したかを示す値を保持するビットマップを記憶する。ビットマップにおける分割領域ごとの項目の初期値を“０”とすると、ストレージ装置１は次のように動作する。
【００２７】
ストレージ装置１は、情報処理装置３からバックアップ元ボリューム１１のある分割領域のデータについての更新要求を受けたとき、ビットマップにおける当該分割領域に対応する値を読み出す。ストレージ装置１は、読み出した値が“０”の場合、当該分割領域の元データをスナップショットボリューム１２ａにコピーした後、当該分割領域の元データを新たなデータによって更新する。さらに、ストレージ装置１は、ビットマップにおける当該分割領域に対応する値を“１”に更新する。一方、ストレージ装置１は、読み出した値が“１”の場合、当該分割領域の元データを退避させずに新たなデータによって更新する。また、ストレージ装置１は、バックアップ元ボリューム１１のスナップショットの作成が再度要求されると、ビットマップのすべての値を初期値“０”に更新する。
【００２８】
ところで、上記のように、コピーオンライト方式を用いたスナップショット作成処理では、スナップショットボリュームには、スナップショットの作成指示を受けた時点でのバックアップ元ボリューム内の全データが格納されてはいない。スナップショットのデータを読み出す際には、バックアップ元ボリューム内の少なくとも一部のデータが参照される。このため、記憶装置の故障などによってバックアップ元ボリューム内の参照先のデータが破損すると、スナップショットのデータを読み出すことも不可能になる。
【００２９】
このような問題を解決するための手段として、スナップショットのデータをバックアップする方法が考えられる。図３を用いて、スナップショットのデータをバックアップする処理の比較例について説明する。
【００３０】
図３は、スナップショットのバックアップ処理の比較例を示す図である。ここでは、ストレージ装置１が処理を実行するものと仮定して説明する。また、例として、図２に示したスナップショットボリューム１２ａに対応するバックアップデータを作成するものとする。
【００３１】
ストレージ装置１は、スナップショットボリューム１２ａに対応するバックアップデータを格納するためのバックアップ先ボリューム２１を作成する。そして、ストレージ装置１は、スナップショットボリューム１２ａに格納された管理データに基づいて、バックアップ元ボリューム１１からデータＡ，Ｂを読み出し、バックアップ先ボリューム２１に格納する。これにより、バックアップ先ボリューム２１には、バックアップ元ボリューム１１のスナップショットに対応する実データがバックアップされる。
【００３２】
このような方法では、スナップショットのデータのバックアップが要求されるたびに、バックアップ元ボリューム１１に格納された全データが他の記憶領域へ転送される。このため、バックアップ処理中のストレージ装置１の処理負荷が高くなり、ストレージ装置１に設定された他のボリュームに対するアクセス処理など、ストレージ装置１における他の処理の性能が低下するという問題がある。また、バックアップ処理に要する時間が長くなるため、スナップショットのデータのバックアップが要求されてから完了の応答を返信するまでの時間が長くなるという問題もある。
【００３３】
このような問題に対して、例えば、ストレージ管理装置２からの指示により、バックアップ元ボリューム１１のスナップショットの作成とともに、バックアップ元ボリューム１１の差分バックアップ処理をストレージ装置１に実行させる方法が考えられる。差分バックアップ処理とは、バックアップ元ボリューム１１内の全データをコピーするのではなく、少なくとも前回のバックアップ処理以降に更新されたデータのみをコピーする処理である。しかし、この方法では、バックアップ処理中に情報処理装置３からの要求に応じてバックアップ元ボリューム１１のデータが更新される可能性がある。その場合、バックアップ元ボリューム１１のスナップショットと、バックアップされたデータとが整合しなくなるという問題がある。
【００３４】
以下、図１に戻って説明する。
ストレージ管理装置２は、上記の問題を解決するための処理機能として、禁止指示部２ａおよび実行指示部２ｂを有する。禁止指示部２ａおよび実行指示部２ｂの処理は、例えば、ストレージ管理装置２が備えるプロセッサが所定のプログラムを実行することで実現される。また、禁止指示部２ａおよび実行指示部２ｂの処理は、それぞれ個別のプログラムの実行により実現されてもよい。
【００３５】
禁止指示部２ａは、情報処理装置３によるバックアップ元ボリューム１１のデータ更新を禁止するように指示する更新禁止指示を送信する。図１の例では、更新禁止指示は情報処理装置３に直接送信され、更新禁止指示を受信した情報処理装置３は、バックアップ元ボリューム１１のデータ更新を停止する。また、更新禁止指示は、他の装置を介して情報処理装置３に送信されてもよい。例えば、情報処理装置３の動作を管理する他の管理装置が存在する場合、更新禁止指示は、禁止指示部２ａから他の管理装置に送信されてもよい。
【００３６】
実行指示部２ｂは、禁止指示部２ａによって更新禁止指示が送信された後、バックアップ元ボリューム１１のスナップショットの作成を指示するスナップショット作成指示をストレージ装置１に送信する。
【００３７】
ストレージ装置１は、実行指示部２ｂからのスナップショット作成指示を受信すると、バックアップ元ボリューム１１のスナップショットを作成する処理と、バックアップ元ボリューム１１のデータの差分バックアップ処理とを実行する。
【００３８】
ここで、図１の“状態１”では、バックアップ元ボリューム１１に対応するスナップショットボリューム１２ａおよびバックアップ先ボリューム１３がストレージ装置１に作成されており、バックアップ元ボリューム１１の全データがバックアップ先ボリューム１３に格納されているとする。この状態から、情報処理装置３からのアクセスによって、バックアップ元ボリューム１１におけるデータ３１ａ，３１ｂが更新されたとする。図１ではこの状態を“状態２”として示す。
【００３９】
“状態２”において、禁止指示部２ａは、バックアップ元ボリューム１１のデータ更新の禁止を指示する更新禁止指示を情報処理装置３に送信する（ステップＳ１）。情報処理装置３は、バックアップ元ボリューム１１のデータ更新を停止する。次に、実行指示部２ｂは、ストレージ装置１に対してバックアップ元ボリューム１１のスナップショットの作成を指示する（ステップＳ２）。
【００４０】
ストレージ装置１は、バックアップ元ボリューム１１のスナップショットのデータとして、スナップショットボリューム１２ｂを作成する（ステップＳ３）。このスナップショットボリューム１２ｂには、バックアップ元ボリューム１１の実データは格納されず、例えば、実データへのポインタなどの管理情報が格納される。
【００４１】
このようなスナップショット作成処理の実行とともに、ストレージ装置１は、バックアップ元ボリューム１１の差分バックアップ処理を実行する。具体的には、ストレージ装置１は、バックアップ元ボリューム内のデータのうち、データ３１ａ，３１ｂのみをバックアップ元ボリューム１１から読み出し、バックアップ先ボリューム１３における対応する位置に上書きする（ステップＳ４）。
【００４２】
このような差分バックアップ処理が実行されることで、バックアップ元ボリューム１１の実データのバックアップ処理負荷を軽減でき、また、バックアップ完了までに要する時間を短縮できる。さらに、禁止指示部２ａによって更新禁止指示が送信された後に差分バックアップ処理が実行されることで、差分バックアップ処理中にはバックアップ元ボリューム１１のデータが更新されない。このため、実行指示部２ｂからスナップショット作成が指示された時点でのバックアップ元ボリューム１１のデータが、バックアップ先ボリューム１３に確実にバックアップされる。したがって、バックアップ元ボリューム１１のスナップショットと、バックアップ先ボリューム１３との整合性が確保される。
【００４３】
［第２の実施の形態］
図４は、第２の実施の形態のストレージシステムを示す図である。ストレージシステムは、ストレージ装置１００、運用管理サーバ２００、ＶＭ（Virtual Machine）管理サーバ３００、ホストサーバ４００および端末装置５００を有する。ストレージ装置１００、運用管理サーバ２００、ＶＭ管理サーバ３００、ホストサーバ４００および端末装置５００は、ネットワーク９００を介して接続されている。ネットワーク９００は、ＬＡＮ（Local Area Network）でもよいし、ＷＡＮ（Wide Area Network）やインターネットなどの広域ネットワークでもよい。但し、ストレージ装置１００とホストサーバ４００との間は、ＳＡＮ（Storage Area Network）を通じて通信が行われる。
【００４４】
なお、ストレージ装置１００は、図１のストレージ装置１の一例であり、運用管理サーバ２００は、図１のストレージ管理装置２の一例であり、ホストサーバ４００は、図１の情報処理装置３の一例である。
【００４５】
ストレージ装置１００は、後述するように、複数の記憶装置と制御装置とを有する。記憶装置には、例えば、ホストサーバ４００の処理に用いられるデータが記憶される。制御装置は、ストレージ装置１００内の記憶装置に対するアクセスを制御する。また、制御装置は、記憶装置に記憶されたデータについての各種のバックアップ処理を実行する機能を備える。
【００４６】
運用管理サーバ２００は、ストレージ装置１００を含む、ストレージシステムに含まれる各装置の運用を管理するサーバコンピュータである。例えば、運用管理サーバ２００は、ストレージ装置１００に各種のバックアップ処理の実行を指示することができる。また、運用管理サーバ２００は、ホストサーバ４００で動作する仮想マシンに関する情報をＶＭ管理サーバ３００から取得して記憶する。ＶＭ管理サーバ３００は、ホストサーバ４００で動作させる仮想マシンの運用を管理するサーバコンピュータである。
【００４７】
ホストサーバ４００は、ストレージ装置１００にアクセス要求を送信することで、ストレージ装置１００に定義された論理ボリュームにアクセスする。端末装置５００は、ユーザが利用するクライアントコンピュータである。例えば、端末装置５００は、ユーザの操作により、運用管理サーバ２００にバックアップ要求の起動コマンドを送信する。また、端末装置５００は、ユーザの操作により、ＶＭ管理サーバ３００にスナップショット作成要求の起動コマンドを送信する。
【００４８】
なお、ストレージシステムでは、ホストサーバ４００と同様の複数のホストサーバが存在していてもよい。この場合、運用管理サーバ２００は、各ホストサーバに関する情報を管理する。ＶＭ管理サーバ３００は、各ホストサーバで動作させる仮想マシンに関する情報を管理する。
【００４９】
ところで、ホストサーバ４００では、ＶＭ管理サーバ３００による制御の下で、仮想マシンが動作する。また、ストレージ装置１００には、仮想マシンからのアクセス対象となる論理ボリュームが設定される。この論理ボリュームには、仮想マシンを実現するための各種の情報が記憶される。仮想マシンを実現するための情報とは、例えば、仮想マシンの構成を定義した構成情報、仮想マシンが備える仮想ディスクの記憶領域に対応する情報（以下、「仮想ディスクの内容情報」と記載する）、仮想マシンが備える仮想メモリの記憶領域に対応する情報（以下、「仮想メモリの内容情報」と記載する）などである。仮想マシンの構成情報、仮想ディスクの内容情報、仮想メモリの内容情報は、例えば、それぞれファイルとして構成され、個別の論理ボリュームに格納される。
【００５０】
ＶＭ管理サーバ３００は、仮想マシンのスナップショットの作成要求に応じて、仮想マシンのスナップショットを作成する機能を提供する。例えば、ＶＭ管理サーバ３００は、仮想マシンのスナップショットの作成要求を、端末装置５００から直接的に、または、端末装置５００から運用管理サーバ２００を介して間接的に受け付けることができる。
【００５１】
仮想マシンのスナップショットを作成するとは、上記のような仮想マシンを実現するための情報が格納された論理ボリュームのスナップショットを作成することを意味する。ＶＭ管理サーバ３００は、仮想マシンのバックアップ要求を受信すると、仮想マシンを実現するための情報が格納された論理ボリュームのスナップショットの作成指示を、運用管理サーバ２００を介してストレージ装置１００に送信する。ここで、運用管理サーバ２００は、ストレージ装置１００を透過的に制御するためのインタフェースをＶＭ管理サーバ３００に対して提供する。ＶＭ管理サーバ３００は、このインタフェースを利用して、上記の論理ボリュームのスナップショットの作成指示をストレージ装置１００に送信することができる。
【００５２】
なお、仮想マシンについては、仮想マシンの動作を停止させ、上記のような仮想マシンを実現するための情報のスナップショットを作成することで、仮想マシン全体のある時点の状態を保存することができる。これに対して、実マシンの場合には、実マシン全体のある時点の状態を保存することは不可能である。
【００５３】
図５は、ストレージ装置のハードウェア例を示す図である。ストレージ装置１００は、ＣＭ（Controller Module）１０１およびＨＤＤ１０２ａ，１０２ｂ，・・・を有する。なお、ストレージ装置１００は、複数のＣＭを有していてもよいし、１台または３台以上のＨＤＤを有していてもよい。
【００５４】
ＣＭ１０１は、プロセッサ１０３、ＲＡＭ（Random Access Memory）１０４、ＳＳＤ１０５、ドライブインタフェース１０６および通信インタフェース１０７を有する。各ユニットがバスに接続されている。
【００５５】
プロセッサ１０３は、ＣＭ１０１の情報処理を制御する。プロセッサ１０３は、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などである。プロセッサ１０３は、マルチプロセッサであってもよい。プロセッサ１０３は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどの２以上の要素の組合せであってもよい。
【００５６】
ＲＡＭ１０４は、ＣＭ１０１の主記憶装置である。ＲＡＭ１０４は、プロセッサ１０３に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ１０４は、プロセッサ１０３による処理に用いる各種データを記憶する。
【００５７】
ＳＳＤ１０５は、ＣＭ１０１の補助記憶装置である。ＳＳＤ１０５は、不揮発性の半導体メモリである。ＳＳＤ１０５には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ＣＭ１０１は、補助記憶装置として、ＳＳＤ１０５の代わりにＨＤＤを備えていてもよい。
【００５８】
ドライブインタフェース１０６は、ＨＤＤ１０２ａ，１０２ｂ，・・・と通信するためのインタフェースである。通信インタフェース１０７は、ネットワーク９００を介して運用管理サーバ２００、ホストサーバ４００と通信する通信インタフェースである。なお、実際には、運用管理サーバ２００とＬＡＮなどを介して接続する通信インタフェースと、ホストサーバ４００とＳＡＮなどを介して接続する通信インタフェースとが、個別に設けられている。
【００５９】
図６は、運用管理サーバのハードウェア例を示す図である。運用管理サーバ２００は、プロセッサ２０１、ＲＡＭ２０２、ＨＤＤ２０３、画像信号処理部２０４、入力信号処理部２０５、読み取り装置２０６および通信インタフェース２０７を有する。
【００６０】
プロセッサ２０１は、マルチプロセッサであってもよい。プロセッサ２０１は、例えばＣＰＵ、ＤＳＰ、ＡＳＩＣまたはＦＰＧＡなどである。プロセッサ２０１は、ＣＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡなどのうちの２以上の要素の組み合わせであってもよい。
【００６１】
ＲＡＭ２０２は、運用管理サーバ２００の主記憶装置である。ＲＡＭ２０２は、プロセッサ２０１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部を一時的に記憶する。また、ＲＡＭ２０２は、プロセッサ２０１による処理に用いる各種データを記憶する。
【００６２】
ＨＤＤ２０３は、運用管理サーバ２００の補助記憶装置である。ＨＤＤ２０３は、内蔵した磁気ディスクに対して、磁気的にデータの書き込みおよび読み出しを行う。ＨＤＤ２０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。運用管理サーバ２００は、フラッシュメモリやＳＳＤなどの他の種類の補助記憶装置を備えてもよく、複数の補助記憶装置を備えてもよい。
【００６３】
画像信号処理部２０４は、プロセッサ２０１からの命令に従って、運用管理サーバ２００に接続されたディスプレイ９１に画像を出力する。ディスプレイ９１としては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイなどを用いることができる。
【００６４】
入力信号処理部２０５は、運用管理サーバ２００に接続された入力デバイス９２から入力信号を取得し、プロセッサ２０１に出力する。入力デバイス９２としては、例えば、マウスやタッチパネルなどのポインティングデバイス、キーボードなどを用いることができる。
【００６５】
読み取り装置２０６は、記録媒体９３に記録されたプログラムやデータを読み取る装置である。記録媒体９３として、例えば、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、光磁気ディスク（ＭＯ：Magneto-Optical disk）を使用できる。また、記録媒体９３として、例えば、フラッシュメモリカードなどの不揮発性の半導体メモリを使用することもできる。読み取り装置２０６は、例えば、プロセッサ２０１からの命令に従って、記録媒体９３から読み取ったプログラムやデータをＲＡＭ２０２またはＨＤＤ２０３に格納する。更に、プロセッサ２０１は、記録媒体９３から読み取ったプログラムやデータを、運用管理サーバ２００のＲＡＭ２０２やＨＤＤ２０３に格納するよう運用管理サーバ２００に指示することもできる。
【００６６】
通信インタフェース２０７は、ネットワーク９００を介して、ストレージ装置１００、ＶＭ管理サーバ３００および端末装置５００と通信を行う。
なお、ＶＭ管理サーバ３００，ホストサーバ４００および端末装置５００も運用管理サーバ２００と同様のハードウェアにより実現できる。
【００６７】
図７は、ストレージシステムの機能例を示す図である。ストレージ装置１００は、記憶部１１０、アクセス部１２０、スナップショット部１３０およびバックアップ部１４０を有する。
【００６８】
記憶部１１０は、データ格納部１１１、ビットマップ記憶部１１２、スナップショット格納部１１３およびバックアップ記憶部１１４を有する。データ格納部１１１、ビットマップ記憶部１１２、スナップショット格納部１１３およびバックアップ記憶部１１４は、ＨＤＤ１０２ａ，１０２ｂ，・・・に確保した記憶領域として実装される。データ格納部１１１、スナップショット格納部１１３およびバックアップ記憶部１１４が実装される記憶領域には、１つ以上の論理ボリュームが設定され、各論理ボリュームにはＬＵＮ（Logical Unit Number）が割り当てられる。
【００６９】
データ格納部１１１は、ホストサーバ４００の処理に用いられるデータを記憶する。具体的には、データ格納部１１１の論理ボリュームには、後述する仮想ホストサーバ４１０に関する情報が記憶されている。仮想ホストサーバ４１０は、ホストサーバ４００で動作する仮想マシンであり、仮想ホストサーバ４１０に関する情報とは、前述した仮想マシンを実現するための情報である。例えば、仮想ホストサーバ４１０の構成情報、仮想ホストサーバ４１０が備える仮想ディスクの内容情報、仮想ホストサーバ４１０が備える仮想メモリの内容情報などである。
【００７０】
ビットマップ記憶部１１２は、バックアップ部１４０がある論理ボリュームのバックアップ処理を行った時点から次に同じ論理ボリュームのバックアップ処理を行う時点までの間に当該論理ボリュームで更新されたデータの箇所を示すビットマップを記憶する。ビットマップ記憶部１１２は、データ格納部１１１の論理ボリュームごとにビットマップを記憶する。
【００７１】
スナップショット格納部１１３は、データ格納部１１１の論理ボリュームのスナップショットに関するデータを記憶する。バックアップ記憶部１１４は、データ格納部１１１の論理ボリュームのデータに対応するバックアップデータを記憶する。
【００７２】
アクセス部１２０、スナップショット部１３０およびバックアップ部１４０は、例えば、プロセッサ１０３が実行するプログラムのモジュールとして実装される。
アクセス部１２０は、ホストサーバ４００から、データ格納部１１１に設定された論理ボリュームのＬＵＮおよび論理ボリューム内のＬＢＡ（Logical Block Address）を指定されたアクセス要求を受信する。アクセス部１２０は、アクセス要求に応じて、データ格納部１１１の論理ボリュームに格納されているデータにアクセスする。例えば、アクセス部１２０は、ホストサーバ４００からの書き込み要求に応じてデータ格納部１１１の論理ボリュームに格納されているデータの更新を行う。そして、アクセス部１２０は、当該論理ボリュームに対応するビットマップ記憶部１１２のビットマップを更新する。アクセス部１２０がビットマップを更新することで、後述するように、バックアップ部１４０が更新されたデータの箇所を特定することができる。
【００７３】
スナップショット部１３０は、運用管理サーバ２００からのスナップショット作成指示に応じて、データ格納部１１１に設定された論理ボリュームのスナップショットを作成する。スナップショットの作成処理は、図２に示したようにコピーオンライト方式で行われる。スナップショット部１３０は、スナップショットの作成指示を受信すると、スナップショット格納部１１３にスナップショット用のボリュームを作成し、スナップショットに関するデータをそのボリュームに格納する。
【００７４】
バックアップ部１４０は、スナップショット部１３０が運用管理サーバ２００からスナップショットの作成を指示された論理ボリュームのデータを、バックアップ記憶部１１４に作成したバックアップボリュームにバックアップする。これにより、運用管理サーバ２００からスナップショットの作成が指示されたとき、スナップショット作成処理とともにバックアップ処理が実行される。ただし、後述するように、スナップショット作成指示とともに送信されるコピーフラグに応じて、スナップショット作成処理だけが実行される場合もある。
【００７５】
また、バックアップ部１４０は、バックアップ処理の際、バックアップ対象の論理ボリュームに対応するビットマップ記憶部１１２のビットマップを参照することで、前回のバックアップ処理の後に当該論理ボリュームで更新されたデータのみをバックアップボリュームにコピーする差分バックアップ処理を実行する。すなわち、バックアップ部１４０は、当該ビットマップから論理ボリュームで更新されたデータである差分データを特定し、特定した差分データを論理ボリュームから読み出して、バックアップボリュームの対応する位置のデータを差分データによって更新する。
【００７６】
運用管理サーバ２００は、記憶部２１０、発行処理部２２０およびストレージ制御部２３０を有する。記憶部２１０は、例えば、ＲＡＭ２０２またはＨＤＤ２０３に確保した記憶領域として実装される。記憶部２１０は、管理テーブルを有する。管理テーブルには、ストレージ装置１００に差分バックアップ処理を実行させるか否かを判断するための情報が登録される。また、記憶部２１０は、後述する仮想ホストサーバ４１０の情報を記憶する。
【００７７】
発行処理部２２０およびストレージ制御部２３０は、例えば、プロセッサ２０１が実行するプログラムのモジュールとして実装される。
発行処理部２２０は、端末装置５００から、ホストサーバ４００で動作する仮想ホストサーバ４１０のバックアップ要求を受信する。発行処理部２２０は、バックアップ要求を受信すると、管理テーブルに差分バックアップ処理を実行させる旨を登録する。また、発行処理部２２０は、ＶＭ管理サーバ３００に、バックアップが要求された仮想ホストサーバ４１０のスナップショットの作成を指示するとともに、整合性の確保を指示する。整合性の確保とは、仮想ホストサーバ４１０の動作を停止させて、ストレージ装置１００にスナップショットの作成を指示した時点での仮想ホストサーバ４１０に対応する論理ボリュームのデータを正確にバックアップできるようにする処理を指す。
【００７８】
ストレージ制御部２３０は、ＶＭ管理サーバ３００がストレージ装置１００を透過的に制御できるようにするためのインタフェースを提供する。ストレージ制御部２３０の処理を実現するアプリケーションプログラムは、例えば、ストレージ装置１００のベンダから提供される。この場合、ＶＭ管理サーバ３００は、ストレージ制御部２３０によって提供されるインタフェースを利用して、ストレージ装置１００がどのベンダの製品であるかに関係なく、ストレージ装置１００の動作を制御することができる。
【００７９】
本実施の形態において、ストレージ制御部２３０は、ＶＭ管理サーバ３００からストレージ装置１００内の論理ボリュームのスナップショットの作成指示を受信すると、ストレージ装置１００に対して当該論理ボリュームのスナップショット作成を指示する。このとき、ストレージ制御部２３０は、記憶部２１０の管理テーブルに登録された情報に基づいて、ストレージ装置１００に対してスナップショット作成とともに当該論理ボリュームの差分バックアップ処理を実行させるかを判断する。ストレージ制御部２３０は、判断結果に応じたフラグの値をスナップショット作成指示とともに送信することで、ストレージ装置１００に当該論理ボリュームの差分バックアップ処理を実行させるか否かを制御する。
【００８０】
ＶＭ管理サーバ３００は、ＶＭ管理部３１０を有する。ＶＭ管理部３１０は、仮想ホストサーバ４１０の運用を管理する。例えば、ＶＭ管理部３１０は、仮想ホストサーバ４１０に割り当てるリソースの管理や、仮想ホストサーバ４１０の動作の開始および停止を制御する。また、ホストサーバ４００が複数存在する場合には、ＶＭ管理部３１０は、仮想ホストサーバ４１０を動作させるホストサーバ４００を移動させることもできる。
【００８１】
また、ＶＭ管理部３１０は、端末装置５００または運用管理サーバ２００の発行処理部２２０から、仮想ホストサーバ４１０のスナップショット作成要求を受信する。そして、ＶＭ管理部３１０は、仮想ホストサーバ４１０の動作を停止させて整合性の確保処理を行った上で、仮想ホストサーバ４１０を実現するための情報が格納された論理ボリュームのスナップショット作成をストレージ制御部２３０に指示する。
【００８２】
ホストサーバ４００は、ＶＭ管理部３１０による制御の下で、自装置内で仮想マシンとして仮想ホストサーバ４１０を動作させる。前述のように、仮想ホストサーバ４１０を実現するための情報は、データ格納部１１１の論理ボリュームに格納されている。ホストサーバ４００は、当該論理ボリュームから仮想ホストサーバ４１０を実現するための情報を取得することで、仮想ホストサーバ４１０を動作させる。また、ホストサーバ４００は、仮想ホストサーバ４１０を実現するための情報を更新すると、その更新をデータ格納部１１１の論理ボリュームに反映させるためにストレージ装置１００にアクセスする。
【００８３】
なお、論理ボリュームに格納される、仮想ホストサーバ４１０を実現するための情報には、仮想ディスクの内容情報や仮想メモリの内容情報が含まれる。仮想ディスクの内容情報により、仮想ホストサーバ４１０の仮想ディスクの記憶領域として、その内容情報が格納された論理ボリュームが割り当てられる。また、仮想メモリの内容情報により、仮想ホストサーバ４１０の仮想メモリの記憶領域として、その内容情報が格納された論理ボリュームが割り当てられる。これにより、仮想メモリや仮想ディスクの容量として、ホストサーバ４００が備える記憶領域の容量より大きな容量を割り当て可能になる。
【００８４】
また、仮想ホストサーバ４１０は、論理ボリュームのＬＵＮおよびＬＢＡを指定して、ストレージ装置１００のデータ格納部１１１にアクセスする。また、仮想ホストサーバ４１０は、ＶＭ管理サーバ３００から仮想ホストサーバ４１０の動作停止指示を受信した場合、仮想ホストサーバ４１０の動作を停止させる。
【００８５】
図８は、管理テーブルの例を示す図である。管理テーブル２１１は、運用管理サーバ２００の記憶部２１０に格納される。管理テーブル２１１は、コピーフラグの項目を含む。コピーフラグの項目には、差分バックアップ処理を行う（ｔｒｕｅ）ことを示す情報、または、差分バックアップ処理を行わない（ｆａｌｓｅ）ことを示す情報が登録される。
【００８６】
運用管理サーバ２００の発行処理部２２０は、端末装置５００から仮想ホストサーバ４１０のバックアップ要求を受信したとき、管理テーブル２１１のコピーフラグをｆａｌｓｅからｔｒｕｅに更新する。また、運用管理サーバ２００のストレージ制御部２３０は、ＶＭ管理サーバ３００のＶＭ管理部３１０から論理ボリュームのスナップショット作成指示を受信したとき、管理テーブル２１１のコピーフラグを読み出す。そして、ストレージ制御部２３０は、ストレージ装置１００に対して当該論理ボリュームのスナップショット作成指示を送信するとともに、読み出したコピーフラグの情報もストレージ装置１００に送信する。ストレージ装置１００のスナップショット部１３０は、スナップショット作成処理とともにバックアップ部１４０に差分バックアップ処理を実行させるか否かを決定する。
【００８７】
ここで、ＶＭ管理サーバ３００に対して端末装置５００から仮想ホストサーバ４１０のスナップショット作成要求が直接送信された場合には、管理テーブル２１１のコピーフラグはｆａｌｓｅのままになる。この場合、ストレージ装置１００では、スナップショット作成処理のみが実行され、差分バックアップ処理は実行されない。このように、管理テーブル２１１のコピーフラグを用いることで、運用管理サーバ２００に対して仮想ホストサーバ４１０のバックアップが要求されたか、または、ＶＭ管理サーバ３００に対して仮想ホストサーバ４１０のスナップショットが要求されたかによって、対応する論理ボリュームの差分バックアップ処理を実行するか否かが制御される。
【００８８】
次に、ストレージシステムで行われる処理について具体例を用いて簡単に説明する。
図９は、スナップショット作成処理と差分バックアップ処理とが両方実行される場合の具体例を示す図である。データ格納部１１１には、仮想ホストサーバ４１０を実現するための情報が格納された論理ボリュームの一例として、バックアップ元ボリューム１１１ａが設定されているものとする。
【００８９】
図９の“状態２１”は、仮想ホストサーバ４１０の動作が停止した状態で、バックアップ元ボリューム１１１ａのスナップショット作成処理および差分バックアップ処理が実行された状態を示す。“状態２１”では、バックアップ元ボリューム１１１ａのスナップショットのデータとして、スナップショット格納部１１３にスナップショットボリューム１１３ａが作成されている。スナップショット作成処理はコピーオンライト方式で行われるため、“状態２１”ではスナップショットボリューム１１３ａにはバックアップ元ボリューム１１１ａの実データは格納されていない。
【００９０】
また、バックアップ記憶部１１４にはバックアップ先ボリューム１１４ａが作成され、バックアップ元ボリューム１１１ａの全データがバックアップ先ボリューム１１４ａにコピーされている。さらに、ビットマップ記憶部１１２には、バックアップ元ボリューム１１１ａに対応するビットマップ１１２ａが記憶されている。ビットマップ１１２ａには、バックアップ元ボリューム１１１ａの分割領域ごとに項目が設けられている。バックアップ元ボリューム１１１ａの全データがバックアップ先ボリューム１１４ａにコピーされた段階で、ビットマップ１１２ａの全項目に０が登録される。なお、図９では、ビットマップ１１２ａにおいて０が登録された項目については、０の表記を省略する。
【００９１】
以上の“状態２１”から、仮想ホストサーバ４１０の動作停止が解除され、仮想ホストサーバ４１０からのバックアップ元ボリューム１１１ａの更新が可能な状態になったとする。
【００９２】
なお、バックアップ元ボリューム１１１ａの全データをバックアップ先ボリューム１１４ａにコピーする処理は、仮想ホストサーバ４１０の動作停止が解除された状態においてバックグラウンドで実行されてもよい。この場合、ストレージ装置１００は、コピー処理が完了する前にバックアップ元ボリューム１１１ａにおけるある部分領域が１回目に更新された場合、その部分領域に記録されている元データをバックアップ先ボリューム１１４ａにコピーした後、その部分領域を新たなデータによって更新する。このような処理により、仮想ホストサーバ４１０の動作を停止させておく時間を短縮することができる。
【００９３】
上記の“状態２１”から、バックアップ元ボリューム１１１ａにおけるデータ１１５ａ，１１５ｂが更新されたとする。この場合、アクセス部１２０により、ビットマップ１１２ａにおけるデータ１１５ａ，１１５ｂの格納領域にそれぞれ対応する項目が０から１に更新される。また、図示しないが、データ１１５ａ，１１５ｂに対応する更新前の元データがスナップショットボリューム１１３ａに格納される。図９では、このような状態を“状態２２”として示す。そして、“状態２２”において、端末装置５００が仮想ホストサーバ４１０を指定したバックアップ要求コマンドを運用管理サーバ２００に送信すると、次のような処理が実行される。
【００９４】
運用管理サーバ２００は、管理テーブル２１１のコピーフラグをｆａｌｓｅからｔｒｕｅに更新する。また、運用管理サーバ２００は、仮想ホストサーバ４１０のスナップショット作成要求を、整合性確保の要求とともにＶＭ管理サーバ３００に送信する。ＶＭ管理サーバ３００は、仮想ホストサーバ４１０の動作を停止させる。これにより、仮想ホストサーバ４１０によるバックアップ元ボリューム１１１ａへのアクセスが停止される。ＶＭ管理サーバ３００は、運用管理サーバ２００を介してストレージ装置１００にバックアップ元ボリューム１１１ａのスナップショット作成を指示する。このとき、運用管理サーバ２００は、管理テーブル２１１のコピーフラグの情報をスナップショット作成指示とともにストレージ装置１００に送信する。
【００９５】
ストレージ装置１００は、スナップショット作成の要求を受信すると、バックアップ元ボリューム１１１ａのスナップショット作成処理を行う。具体的には、ストレージ装置１００は、スナップショットボリューム１１３ｂを作成する。ただし、スナップショットボリューム１１３ａと同様に、スナップショットボリューム１１３ｂには、バックアップ元ボリューム１１１ａの実データは格納されない。
【００９６】
また、ストレージ装置１００は、運用管理サーバ２００から受信したコピーフラグがｔｒｕｅであることから、スナップショット作成処理とともに、バックアップ元ボリューム１１１ａの差分バックアップ処理を実行する。この処理では、ストレージ装置１００は、ビットマップ１１２ａを参照して、バックアップ元ボリューム１１１ａにおいて更新された分割領域を特定する。ストレージ装置１００は、特定した分割領域からデータ１１５ａ，１１５ｂを読み出して、バックアップ先ボリューム１１４ａにおける対応する領域に上書きする。ストレージ装置１００は、データ１１５ａ，１１５ｂの上書きが完了すると、ビットマップ１１２ａの全項目を０に更新する。なお、以上の処理が完了すると、管理テーブル２１１のコピーフラグはｔｒｕｅからｆａｌｓｅに更新される。
【００９７】
以上の処理によれば、仮想ホストサーバ４１０の動作が停止された状態で、バックアップ元ボリューム１１１ａのスナップショット作成処理と差分バックアップ処理とが実行される。これにより、スナップショット作成指示を受信した時点でのバックアップ元ボリューム１１１ａの内容が、バックアップ先ボリューム１１４ａに確実にバックアップされ、バックアップ先ボリューム１１４ａとスナップショットボリューム１１３ｂとの整合がとられる。
【００９８】
また、バックアップ元ボリューム１１１ａからバックアップ先ボリューム１１４ａに対して更新されたデータのみがコピーされることで、バックアップ処理実行時のストレージ装置１００の処理負荷が軽減される。これにより、ストレージ装置１００における他の処理（例えば、データ格納部１１１における他の論理ボリュームに対する他の装置からのアクセス処理）の性能低下を抑制することができる。さらに、バックアップ処理完了までの時間が短縮されるので、仮想ホストサーバ４１０の動作が停止する時間を短縮できる。また、スナップショットボリューム１１３ｂではなく、バックアップ元ボリューム１１１ａに基づいてバックアップ処理が実行されることで、既存の処理機能を用いて差分バックアップ処理を容易に実現できる。
【００９９】
図１０は、スナップショット作成処理のみが実行される場合の具体例を示す図である。図１０では例として、図９の“状態２２”でスナップショット作成処理と差分バックアップ処理とが実行された後に、仮想ホストサーバ４１０の動作停止が解除され、バックアップ元ボリューム１１１ａにおいてデータ１１５ｃが更新されたものとする。図１０ではこの状態を“状態２３”として示す。“状態２３”では、ビットマップ１１２ａにおけるデータ１１５ｃに対応する項目が１に更新されている。そして、“状態２３”において、端末装置５００が仮想ホストサーバ４１０を指定したスナップショット要求コマンドをＶＭ管理サーバ３００に送信すると、次のような処理が実行される。
【０１００】
ＶＭ管理サーバ３００は、仮想ホストサーバ４１０の動作を停止させる。これにより、仮想ホストサーバ４１０によるバックアップ元ボリューム１１１ａへのアクセスが停止される。ＶＭ管理サーバ３００は、運用管理サーバ２００を介してストレージ装置１００にバックアップ元ボリューム１１１ａのスナップショット作成を指示する。このとき、運用管理サーバ２００は、管理テーブル２１１のコピーフラグの情報をスナップショット作成指示とともにストレージ装置１００に送信する。
【０１０１】
ストレージ装置１００は、スナップショット作成の要求を受信すると、バックアップ元ボリューム１１１ａのスナップショット作成処理を行う。具体的には、ストレージ装置１００は、スナップショットボリューム１１３ｃを作成する。ただし、スナップショットボリューム１１３ａ，１１３ｂと同様に、スナップショットボリューム１１３ｃには、バックアップ元ボリューム１１１ａの実データは格納されない。なお、図１０では、スナップショットボリューム１１３ａ，１１３ｂの図示を省略している。
【０１０２】
また、ストレージ装置１００は、運用管理サーバ２００から受信したコピーフラグがｆａｌｓｅであることから、バックアップ元ボリューム１１１ａの差分バックアップ処理を実行しない。ストレージ装置１００は、ビットマップ１１２ａを更新しないまま、運用管理サーバ２００に処理の完了を通知する。
【０１０３】
図９と図１０の具体例で説明したように、端末装置５００から運用管理サーバ２００にバックアップ要求が送信された場合には、ストレージ装置１００でスナップショット作成処理と差分バックアップ処理の両方が実行される。また、端末装置５００からＶＭ管理サーバ３００にスナップショット作成要求が送信された場合には、ストレージ装置１００でスナップショット作成処理のみが実行される。このように、コピーフラグを用いることで、運用管理サーバ２００は、スナップショット作成処理とともに差分バックアップ処理をストレージ装置１００に実行させるか否かを制御することができる。
【０１０４】
ここで、運用管理サーバ２００は、ストレージシステムに含まれる各装置の動作を管理するサーバであり、その管理機能の１つとして、ストレージ装置１００に論理ボリュームのバックアップを実行させる機能が含まれる。このため、ユーザから運用管理サーバ２００に対して仮想ホストサーバ４１０のバックアップが要求された場合には、仮想ホストサーバ４１０のスナップショット作成だけでなく、そのスナップショットに対応する実データのバックアップも要求されたと判断される。
【０１０５】
一方、ＶＭ管理サーバ３００は、仮想ホストサーバ４１０の運用を管理するサーバであり、ＶＭ管理サーバ３００が提供する仮想ホストサーバ４１０のスナップショット作成機能は、スナップショットの実データのバックアップを想定したものではない。このため、ユーザからＶＭ管理サーバ３００に対して仮想ホストサーバ４１０のスナップショット作成が要求された場合には、スナップショットの実データのバックアップは求められていないと判断される。
【０１０６】
したがって、上記のように、ユーザからの要求が運用管理サーバ２００とＶＭ管理サーバ３００のどちらに入力されたかによって対応する論理ボリュームの差分バックアップ処理を実行するか否かが制御されることで、ユーザの意図に沿った適切な処理が実行されるようになる。
【０１０７】
次に、図１１，１２を用いて、ストレージ装置１００と運用管理サーバ２００の処理の詳細について説明する。
図１１は、ストレージ装置および運用管理サーバにおける処理の例（その１）を示すフローチャートである。以下、図１１に示す処理をステップ番号に沿って説明する。
【０１０８】
（Ｓ１１）発行処理部２２０は、端末装置５００から仮想ホストサーバ４１０の識別情報を指定したバックアップ要求を受信する。
（Ｓ１２）発行処理部２２０は、管理テーブル２１１のコピーフラグをｔｒｕｅに設定する。
【０１０９】
（Ｓ１３）発行処理部２２０は、仮想ホストサーバ４１０のスナップショット作成要求を、整合性の確保の要求とともにＶＭ管理部３１０に送信する。
（Ｓ１４）ストレージ制御部２３０は、スナップショットボリュームの作成指示をＶＭ管理部３１０から受信する。
【０１１０】
（Ｓ１５）ストレージ制御部２３０は、スナップショットボリュームの作成指示および管理テーブル２１１のコピーフラグの情報をスナップショット部１３０に送信する。
（Ｓ１６）スナップショット部１３０は、スナップショットボリュームの作成指示および管理テーブル２１１のコピーフラグの情報を受信する。そして、スナップショット部１３０は、スナップショット格納部１１３にスナップショットボリュームを作成する。
【０１１１】
（Ｓ１７）スナップショット部１３０は、スナップショットボリュームの作成完了をストレージ制御部２３０に通知する。
（Ｓ１８）ストレージ制御部２３０は、スナップショットボリュームの作成完了通知を受信する。ストレージ制御部２３０は、スナップショットボリュームの作成完了通知をＶＭ管理部３１０に通知する。そして、処理をステップＳ２１に進める。
【０１１２】
図１２は、ストレージ装置および運用管理サーバにおける処理の例（その２）を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
（Ｓ２１）ストレージ制御部２３０は、論理ボリュームのＬＵＮを指定したスナップショット作成指示をＶＭ管理部３１０から受信する。以下、指定された論理ボリュームを「対象論理ボリューム」と記載する。ストレージ制御部２３０は、対象論理ボリュームに対するスナップショット作成指示をスナップショット部１３０に通知する。
【０１１３】
（Ｓ２２）スナップショット部１３０は、対象論理ボリュームに格納されているデータのスナップショットを作成する。この時点では、スナップショット部１３０は、対象論理ボリューム内のデータへのポインタなどの管理情報を、ステップＳ１７で作成したスナップショットボリュームに格納する。
【０１１４】
（Ｓ２３）スナップショット部１３０は、ステップＳ１７で受信したコピーフラグがｔｒｕｅであるか否かを判定する。コピーフラグがｔｒｕｅの場合、スナップショット部１３０は、バックアップ部１４０に差分バックアップ処理を行うように指示をする。そして、処理をステップＳ２４に進める。コピーフラグがｆａｌｓｅの場合、処理をステップＳ２５に進める。
【０１１５】
（Ｓ２４）バックアップ部１４０は、指定された論理ボリュームの差分バックアップ処理を行う。
具体的には、バックアップ部１４０は、バックアップ記憶部１１４を参照して、対象論理ボリュームのバックアップデータが存在しない場合、つまり、初回のバックアップの場合、指定された論理ボリュームに対応するバックアップボリュームをバックアップ記憶部１１４に作成する。バックアップ部１４０は、対象論理ボリュームに格納されている全てのデータをバックアップボリュームに格納する。また、バックアップ部１４０は、指定された論理ボリュームに対応するビットマップをビットマップ記憶部１１２に作成し、ビットマップの全項目に０を登録する。
【０１１６】
一方、バックアップ部１４０は、バックアップ記憶部１１４を参照して、対象論理ボリュームに対応するバックアップボリュームが存在する場合、つまり、２回目以降のバックアップの場合、対象論理ボリュームに対応するビットマップ記憶部１１２のビットマップを参照する。そして、バックアップ部１４０は、前回の差分バックアップ処理を行った時点から今回の差分バックアップ処理を行う時点までの間に対象論理ボリュームで更新された箇所である差分データを特定する。バックアップ部１４０は、対象論理ボリュームから特定した差分データをコピーし、バックアップボリュームにおける対応する領域に差分データを上書きする。バックアップ部１４０は、ビットマップ記憶部１１２のビットマップの全項目を０に初期化する。バックアップ部１４０は、差分バックアップ処理を完了した旨をスナップショット部１３０に通知する。
【０１１７】
（Ｓ２５）スナップショット部１３０は、スナップショット作成完了通知をストレージ制御部２３０に送信する。
（Ｓ２６）ストレージ制御部２３０は、スナップショット作成完了通知を受信する。ストレージ制御部２３０は、スナップショット作成完了通知をＶＭ管理部３１０に送信する。
【０１１８】
（Ｓ２７）ストレージ制御部２３０は、管理テーブル２１１を参照し、コピーフラグがｔｒｕｅであるか否かを判定する。コピーフラグがｔｒｕｅの場合、処理をステップＳ２８に進める。コピーフラグがｆａｌｓｅの場合、処理を終了する。
【０１１９】
（Ｓ２８）ストレージ制御部２３０は、管理テーブル２１１のコピーフラグをｆａｌｓｅに設定する。ストレージ制御部２３０は、発行処理部２２０にフラグを変更した旨を送信する。
【０１２０】
（Ｓ２９）発行処理部２２０は、バックアップ完了通知を端末装置５００に送信する。そして、処理を終了する。
なお、ステップＳ２４において、バックアップ部１４０は、ビットマップ記憶部１１２のビットマップを参照して、対象論理ボリュームでデータの更新がない場合、バックアップ記憶部１１４に格納されている対象論理ボリュームのバックアップデータに対する上書き処理を行わない。
【０１２１】
次に、ストレージシステム全体での処理の流れについてシーケンス図を用いて説明する。
図１３は、スナップショット作成処理と差分バックアップ処理との両方が実行される場合のシーケンス図である。以下、図１３に示す処理をステップ番号に沿って説明する。
【０１２２】
（Ｓ１０１）端末装置５００は、仮想ホストサーバ４１０の識別情報を指定したバックアップ要求を運用管理サーバ２００に送信する。
（Ｓ１０２）運用管理サーバ２００の発行処理部２２０は、管理テーブル２１１のコピーフラグをｔｒｕｅに設定する。また、発行処理部２２０は、指定された仮想ホストサーバ４１０のスナップショット作成要求を、整合性の確保の要求とともにＶＭ管理サーバ３００に送信する。
【０１２３】
（Ｓ１０３）ＶＭ管理サーバ３００のＶＭ管理部３１０は、スナップショットボリューム作成指示を運用管理サーバ２００に送信する。
（Ｓ１０４）運用管理サーバ２００のストレージ制御部２３０は、スナップショットボリュームの作成指示を、管理テーブル２１１のコピーフラグとともにストレージ装置１００に送信する。
【０１２４】
（Ｓ１０５）ストレージ装置１００のスナップショット部１３０は、スナップショットボリュームを作成する。
（Ｓ１０６）ストレージ装置１００のスナップショット部１３０は、スナップショットボリューム作成完了通知を運用管理サーバ２００に送信する。
【０１２５】
（Ｓ１０７）運用管理サーバ２００のストレージ制御部２３０は、スナップショットボリューム作成完了通知をＶＭ管理サーバ３００に送信する。
（Ｓ１０８）ＶＭ管理サーバ３００のＶＭ管理部３１０は、仮想ホストサーバ４１０に動作停止を指示する。
【０１２６】
（Ｓ１０９）仮想ホストサーバ４１０は、動作を停止する。なお、実際には、仮想ホストサーバ４１０は、データ格納部１１１から読み込んだ仮想ホストサーバ４１０を実現するためのデータのうち、更新された部分のデータを、データ格納部１１１内の対応する論理ボリュームに反映させた後に、動作を停止する。
【０１２７】
（Ｓ１１０）ホストサーバ４００は、仮想ホストサーバ４１０の動作が停止した旨をＶＭ管理サーバ３００に送信する。
（Ｓ１１１）ＶＭ管理サーバ３００は、仮想ホストサーバ４１０を実現するためのデータが格納された論理ボリュームを特定する。ＶＭ管理サーバ３００は、特定した論理ボリュームのスナップショット作成を運用管理サーバ２００に指示する。
【０１２８】
なお、前述のように、仮想ホストサーバ４１０を実現するためのデータに対応する論理ボリュームは複数存在するため、ＶＭ管理サーバ３００は、これらすべての論理ボリュームについてのスナップショット作成を指示する。以下の説明では、説明を簡単にするために１つの論理ボリュームのスナップショット作成が指示されたものとする。スナップショット作成が指示された論理ボリュームを「対象論理ボリューム」と記載する。
【０１２９】
（Ｓ１１２）運用管理サーバ２００のストレージ制御部２３０は、対象論理ボリュームのスナップショット作成をストレージ装置１００に指示する。
（Ｓ１１３）ストレージ装置１００のスナップショット部１３０は、対象論理ボリュームのスナップショットを作成する。
【０１３０】
（Ｓ１１４）ステップＳ１０４で送信されたコピーフラグがｔｒｕｅであることから、ストレージ装置１００のバックアップ部１４０は、対象論理ボリュームについての差分バックアップ処理を実行する。
【０１３１】
（Ｓ１１５）ストレージ装置１００のスナップショット部１３０は、スナップショット作成完了通知を運用管理サーバ２００に送信する。
（Ｓ１１６）運用管理サーバ２００のストレージ制御部２３０は、スナップショット作成完了通知をＶＭ管理サーバ３００に送信する。また、ストレージ制御部２３０は、管理テーブル２１１のコピーフラグをｆａｌｓｅに設定する。
【０１３２】
（Ｓ１１７）運用管理サーバ２００の発行処理部２２０は、バックアップ完了通知を端末装置５００に送信する。
図１４は、スナップショット作成処理のみが実行される場合のシーケンス図である。以下、図１４に示す処理をステップ番号に沿って説明する。
【０１３３】
（Ｓ１２１）端末装置５００は、仮想ホストサーバ４１０の識別情報を指定したスナップショット作成要求をＶＭ管理サーバ３００に送信する。
（Ｓ１２２）ＶＭ管理サーバ３００のＶＭ管理部３１０は、スナップショットボリューム作成指示を運用管理サーバ２００に送信する。
【０１３４】
（Ｓ１２３）運用管理サーバ２００のストレージ制御部２３０は、スナップショットボリューム作成指示を、管理テーブル２１１のコピーフラグとともにストレージ装置１００に送信する。
【０１３５】
（Ｓ１２４）ストレージ装置１００のスナップショット部１３０は、スナップショットボリュームを作成する。
（Ｓ１２５）ストレージ装置１００のスナップショット部１３０は、スナップショットボリューム作成完了通知を運用管理サーバ２００に送信する。
【０１３６】
（Ｓ１２６）運用管理サーバ２００のストレージ制御部２３０は、スナップショットボリューム作成完了通知をＶＭ管理サーバ３００に送信する。
（Ｓ１２７）ＶＭ管理サーバ３００のＶＭ管理部３１０は、仮想ホストサーバ４１０に動作停止を指示する。
【０１３７】
（Ｓ１２８）仮想ホストサーバ４１０は、動作を停止する。
（Ｓ１２９）ホストサーバ４００は、仮想ホストサーバ４１０の動作が停止した旨をＶＭ管理サーバ３００に送信する。
【０１３８】
（Ｓ１３０）ＶＭ管理サーバ３００のＶＭ管理部３１０は、仮想ホストサーバ４１０を実現するためのデータが格納された論理ボリュームを特定する。ＶＭ管理サーバ３００は、特定した論理ボリュームのスナップショット作成を運用管理サーバ２００に指示する。ここでは、図１３のステップＳ１１１と同様、説明を簡単にするために、１つの対象論理ボリュームのスナップショット作成が指示されたものとする。
【０１３９】
（Ｓ１３１）運用管理サーバ２００のストレージ制御部２３０は、対象論理ボリュームのスナップショット作成をストレージ装置１００に指示する。
（Ｓ１３２）ストレージ装置１００のスナップショット部１３０は、対象論理ボリュームのスナップショットを作成する。
【０１４０】
（Ｓ１３３）ステップＳ１２３で送信されたコピーフラグがｆａｌｓｅであることから、ストレージ装置１００のスナップショット部１３０は、スナップショット作成完了通知を運用管理サーバ２００に送信する。
【０１４１】
（Ｓ１３４）運用管理サーバ２００のストレージ制御部２３０は、スナップショット作成完了通知をＶＭ管理サーバ３００に送信する。
（Ｓ１３５）ＶＭ管理サーバ３００のＶＭ管理部３１０は、スナップショット作成完了通知を端末装置５００に送信する。
【０１４２】
なお、第１の実施の形態の情報処理は、ストレージ管理装置２が備えるプロセッサに、プログラムを実行させることで実現できる。第２の実施の形態の情報処理は、ストレージ装置１００が備えるプロセッサ１０３、運用管理サーバ２００が備えるプロセッサ２０１、ＶＭ管理サーバ３００およびホストサーバ４００が備えるプロセッサにプログラムを実行させることで実現できる。プログラムは、コンピュータ読み取り可能な記録媒体に記録できる。
【０１４３】
例えば、プログラムを記録した記録媒体を配布することで、プログラムを流通させることができる。また、例えば、アクセス部１２０、スナップショット部１３０、バックアップ部１４０、発行処理部２２０、ストレージ制御部２３０およびＶＭ管理部３１０の処理を複数のプログラムによって実現し、各プログラムを別個に配布してもよい。また、アクセス部１２０、スナップショット部１３０、バックアップ部１４０、発行処理部２２０、ストレージ制御部２３０およびＶＭ管理部３１０の処理が分割されて複数のコンピュータにより実現されてもよい。コンピュータは、例えば、記録媒体に記録されたプログラムを、ＲＡＭ２０２やＨＤＤ２０３などの記憶装置に格納し（インストールし）、当該記憶装置からプログラムを読み込んで実行してもよい。
【０１４４】
なお、各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
【符号の説明】
【０１４５】
１  ストレージ装置
２  ストレージ管理装置
２ａ  禁止指示部
２ｂ  実行指示部
３  情報処理装置
１１  バックアップ元ボリューム
１２ａ，１２ｂ  スナップショットボリューム
１３  バックアップ先ボリューム
３１ａ，３１ｂ  データ
Ｓ１，Ｓ２，Ｓ３，Ｓ４  ステップ
【図１】
0006609918.tif 000002
【図２】
0006609918.tif 000003
【図３】
0006609918.tif 000004
【図４】
0006609918.tif 000005
【図５】
0006609918.tif 000006
【図６】
0006609918.tif 000007
【図７】
0006609918.tif 000008
【図８】
0006609918.tif 000009
【図９】
0006609918.tif 000010
【図１０】
0006609918.tif 000011
【図１１】
0006609918.tif 000012
【図１２】
0006609918.tif 000013
【図１３】
0006609918.tif 000014
【図１４】
0006609918.tif 000015