(57)【要約】【課題】仮想装置ごとに異なるハードウエアリソースの割り当てを可能とし、かつ、構成変更時におけるユーザの負担を軽減する。【解決手段】仮想装置２１を実現する仮想化制御部２２を有するサーバ装置２０と、実論理ボリューム（ＲＬＵ３６１）を用いて構成される仮想論理ボリューム（ＶＬＵ３６０）を提供する仮想論理ボリューム管理部３５３を有するストレージ装置３０とを備える情報処理システム１において、同一のサーバ装置２０において実現される全ての仮想装置２１にＶＬＵ３６０を割り当て、仮想装置２１ごとに夫々のＶＬＵ３６０を構成するＲＬＵ３６１が異なるようにし、仮想装置２１のＩ／Ｏ要求に当該仮想装置２１の識別子を付加してストレージ装置３０に送信し、ストレージ装置３０において上記識別子に基づき当該Ｉ／Ｏ要求の対象となるＲＬＵ３６１を特定するようにする。【選択図】図２
2010140273.tif 000002
【特許請求の範囲】
【請求項１】
サーバ装置と、前記サーバ装置に通信可能に接続するストレージ装置とを備える情報処理システムであって、
前記サーバ装置は、仮想装置を実現する仮想化制御部を有し、
前記ストレージ装置は、実論理ボリュームを用いて構成される仮想論理ボリュームを前記サーバ装置に提供する仮想論理ボリューム管理部を有し、
前記ストレージ装置は、同一の前記サーバ装置において実現される全ての前記仮想装置に前記仮想論理ボリュームを割り当てるとともに、前記仮想装置ごとに夫々に割り当てられる前記仮想論理ボリュームを構成する前記実論理ボリュームが異なるように前記仮想論理ボリュームを構成する前記実論理ボリュームを設定し、
前記サーバ装置は、前記仮想装置においてＩ／Ｏ要求が発生した場合に、当該仮想装置の識別子を付加した前記Ｉ／Ｏ要求を前記ストレージ装置に送信し、
前記ストレージ装置は、前記Ｉ／Ｏ要求に付加されている前記仮想装置の識別子に基づいて、当該Ｉ／Ｏ要求のアクセス対象の前記実論理ボリュームを特定すること
を特徴とする情報処理システム。
【請求項２】
請求項１に記載の情報処理システムであって、
前記サーバ装置及び前記ストレージ装置に通信可能に接続する管理装置をさらに備え、
前記管理装置は、
前記サーバ装置と前記サーバ装置に割り当てられている前記仮想論理ボリュームとの対応が格納されるサーバ装置管理テーブル、
前記仮想装置と前記サーバ装置との対応が格納される仮想装置／サーバ装置管理テーブル、
前記仮想論理ボリュームと前記実論理ボリュームとの対応が格納される仮想論理ボリューム／実論理ボリューム管理テーブル、
前記実論理ボリュームと前記仮想装置の対応が格納される実論理ボリューム／仮想装置管理テーブル
を記憶し、
前記サーバ装置は、自身で実現されている仮想装置の識別子が管理される仮想装置管理テーブルを記憶し、
前記ストレージ装置は、前記仮想論理ボリュームと、前記仮想装置と、前記実論理ボリュームとの対応が管理される仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルを記憶し、
前記サーバ装置において実現される前記仮想装置の構成変更に際し、前記管理装置、前記サーバ装置、及び前記ストレージ装置のうちの少なくともいずれかが、前記サーバ装置管理テーブル、前記仮想装置／サーバ装置管理テーブル、前記仮想論理ボリューム／実論理ボリューム管理テーブル、前記実論理ボリューム／仮想装置管理テーブル、前記仮想装置管理テーブル、及び前記仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルの内容を、前記構成変更後の状態に設定すること
を特徴とする情報処理システム。
【請求項３】
請求項２に記載の情報処理システムであって、
前記構成変更は、前記サーバ装置への前記仮想装置の追加、前記サーバ装置からの前記仮想装置の削除、第１の前記サーバ装置から第２の前記サーバ装置への前記仮想装置の移行、のうちのいずれかであること
を特徴とする情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記構成変更が、前記サーバ装置への前記仮想装置の追加であり、
前記管理装置は、前記仮想装置が追加された前記サーバ装置に前記仮想論理ボリュームが割り当てられていない場合に、前記ストレージ装置に対し、前記サーバ装置への前記仮想論理ボリュームの割り当て要求を送信し、
前記ストレージ装置は、前記割り当て要求に応じて前記サーバ装置に前記仮想論理ボリューム及び前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスを割り当てること
を特徴とする情報処理システム。
【請求項５】
請求項３に記載の情報処理システムであって、
前記構成変更が、前記サーバ装置からの前記仮想装置の削除、又は第１の前記サーバ装置から第２の前記サーバ装置への前記仮想装置の移行であり、
前記管理装置は、前記仮想装置が削除されることにより前記サーバ装置に前記仮想装置が存在しなくなる場合に、前記ストレージ装置に対し、前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスの割り当て解除要求を送信し、
前記ストレージ装置は、前記割り当て解除要求に応じてＩ／Ｏパスの割り当てを解除すること
を特徴とする情報処理システム。
【請求項６】
サーバ装置と、前記サーバ装置に通信可能に接続するストレージ装置とを備え、
前記サーバ装置が、仮想装置を実現する仮想化制御部を有し、
前記ストレージ装置が、実論理ボリュームを用いて構成される仮想論理ボリュームを前記サーバ装置に提供する仮想論理ボリューム管理部を有してなる情報処理システムにおける情報処理方法であって、
前記ストレージ装置が、同一の前記サーバ装置において実現される全ての前記仮想装置に前記仮想論理ボリュームを割り当てるとともに、前記仮想装置ごとに夫々に割り当てられる前記仮想論理ボリュームを構成する前記実論理ボリュームが異なるように前記仮想論理ボリュームを構成する前記実論理ボリュームを設定するステップを実行し、
前記サーバ装置が、前記仮想装置においてＩ／Ｏ要求が発生した場合に、当該仮想装置の識別子を付加した前記Ｉ／Ｏ要求を前記ストレージ装置に送信するステップを実行し、
前記ストレージ装置が、前記Ｉ／Ｏ要求に付加されている前記仮想装置の識別子に基づいて、当該Ｉ／Ｏ要求のアクセス対象の前記実論理ボリュームを特定するステップ
を実行することを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法であって、
前記サーバ装置及び前記ストレージ装置に通信可能に接続する管理装置をさらに備え、
前記管理装置が、
前記サーバ装置と前記サーバ装置に割り当てられている前記仮想論理ボリュームとの対応が格納されるサーバ装置管理テーブル、
前記仮想装置と前記サーバ装置との対応が格納される仮想装置／サーバ装置管理テーブル、
前記仮想論理ボリュームと前記実論理ボリュームとの対応が格納される仮想論理ボリューム／実論理ボリューム管理テーブル、
前記実論理ボリュームと前記仮想装置の対応が格納される実論理ボリューム／仮想装置管理テーブル
を記憶し、
前記サーバ装置は、自身で実現されている仮想装置の識別子が管理される仮想装置管理テーブルを記憶し、
前記ストレージ装置が、前記仮想論理ボリュームと、前記仮想装置と、前記実論理ボリュームとの対応が管理される仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルを記憶し、
前記サーバ装置において実現される前記仮想装置の構成変更に際し、前記管理装置、前記サーバ装置、及び前記ストレージ装置のうちの少なくともいずれかが、前記サーバ装置管理テーブル、前記仮想装置／サーバ装置管理テーブル、前記仮想論理ボリューム／実論理ボリューム管理テーブル、前記実論理ボリューム／仮想装置管理テーブル、前記仮想装置管理テーブル、及び前記仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルの内容を、前記構成変更後の状態に設定するステップを実行する
ことを特徴とする情報処理方法。
【請求項８】
請求項７に記載の情報処理方法であって、
前記構成変更は、前記サーバ装置への前記仮想装置の追加、前記サーバ装置からの前記仮想装置の削除、第１の前記サーバ装置から第２の前記サーバ装置への前記仮想装置の移行、のうちのいずれかであること
を特徴とする情報処理方法。
【請求項９】
請求項８に記載の情報処理方法であって、
前記構成変更が、前記サーバ装置への前記仮想装置の追加であり、
前記管理装置が、前記仮想装置が追加された前記サーバ装置に前記仮想論理ボリュームが割り当てられていない場合に、前記ストレージ装置に対し、前記サーバ装置への前記仮想論理ボリュームの割り当て要求を送信するステップを実行し、
前記ストレージ装置が、前記割り当て要求に応じて前記サーバ装置に前記仮想論理ボリューム及び前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスを割り当てるステップを実行する
こと特徴とする情報処理方法。
【請求項１０】
請求項８に記載の情報処理方法であって、
前記構成変更が、前記サーバ装置からの前記仮想装置の削除、又は第１の前記サーバ装置から第２の前記サーバ装置への前記仮想装置の移行であり、
前記管理装置が、前記仮想装置が削除されることにより前記サーバ装置に前記仮想装置が存在しなくなる場合に、前記ストレージ装置に対し、前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスの割り当て解除要求を送信するステップを実行し、
前記ストレージ装置が、前記割り当て解除要求に応じてＩ／Ｏパスの割り当てを解除するステップを実行する
ことを特徴とする情報処理方法。
【請求項１１】
請求項２に記載の情報処理システムに用いられる前記管理装置であって、
前記サーバ装置と前記サーバ装置に割り当てられている前記仮想論理ボリュームとの対応が格納されるサーバ装置管理テーブル、
前記仮想装置と前記サーバ装置との対応が格納される仮想装置／サーバ装置管理テーブル、
前記仮想論理ボリュームと前記実論理ボリュームとの対応が格納される仮想論理ボリューム／実論理ボリューム管理テーブル、
前記実論理ボリュームと前記仮想装置の対応が格納される実論理ボリューム／仮想装置管理テーブル
を記憶すること
を特徴とする管理装置。
【請求項１２】
請求項４に記載の情報処理システムに用いられる前記管理装置であって、
前記仮想装置が追加された前記サーバ装置に前記仮想論理ボリュームが割り当てられていない場合に、前記ストレージ装置に対し、前記サーバ装置への前記仮想論理ボリュームの割り当て要求を送信すること
を特徴とする管理装置。
【請求項１３】
請求項５に記載の情報処理システムに用いられる前記管理装置であって、
前記仮想装置が削除されることにより前記サーバ装置に前記仮想装置が存在しなくなる場合に、前記ストレージ装置に対し、前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスの割り当て解除要求を送信すること
を特徴とする管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理方法、及び管理装置に関し、とくに仮想装置ごとに異なるハードウエアリソースの割り当てを可能とし、かつ、仮想装置の構成変更時におけるユーザの負荷を軽減するための技術に関する。
【背景技術】
【０００２】
昨今、情報処理システムの運用現場においては、ハードウエアリソースの効率的利用、可搬性向上、もしくは移行（マイグレーション）の容易化等を目的として、同一の情報処理装置上にアプリケーションやオペレーティングシステムを夫々が独立して実行可能な仮想装置を構成する、いわゆる仮想化技術の導入が進んでいる。
【０００３】
一般に仮想化技術を用いた情報処理システムにおいては、各仮想装置が取り扱うデータの性質やその管理に求められる信頼性は必ずしも均一でなく、通常は仮想装置ごとに異なっている。このため、仮想装置を用いた情報処理システムの運用に際しては、例えばアクセス性能が要求されるデータにはより高性能のハードウエアリソースを割り当て、重要度の高いデータには信頼性の高いハードウエアリソースを割り当てるというように、各仮想装置が取り扱うデータの重要度や求められる信頼性に応じて、仮想装置ごとに適切にハードウエアリソースの割り当てを行うことが求められる。
【０００４】
例えば特許文献１には、ボリュームごとの稼働情報を収集し、収集した稼働情報に基づいて、移動対象のデータを格納するボリュームに要求する性能レベルでなるデータ要求レベルと、ストレージ装置内に設定された各ボリュームの性能レベルでなるボリューム許容レベルとをそれぞれ算出し、算出したデータ要求レベル及び各ボリューム許容レベルに基づいて、移動対象のデータを当該データを格納するボリュームに要求するデータ要求レベルに応じたボリューム許容レベルの他のボリュームに移動させるようにすることが記載されている。
【特許文献１】特開２００７−１４０９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、仮想装置にハードウエアリソースを割り当てる際はハードウエアリソースのパーティショニング作業が発生する。このため、とくに多数の仮想装置を取り扱う情報処理システムにおいては、仮想装置の追加や削除、移行等の構成変更に際してユーザは大変煩雑な作業を強いられることになる。
【０００６】
本発明は、このような課題に鑑みてなされたもので、仮想装置ごとに異なるハードウエアリソースの割り当てを可能とし、かつ、仮想装置の構成変更時におけるユーザの負荷を軽減することができる情報処理システム、情報処理方法、及び管理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明のうちの一つは、
サーバ装置と、前記サーバ装置に通信可能に接続するストレージ装置とを備える情報処理システムであって、
前記サーバ装置は、仮想装置を実現する仮想化制御部を有し、
前記ストレージ装置は、実論理ボリュームを用いて構成される仮想論理ボリュームを前記サーバ装置に提供する仮想論理ボリューム管理部を有し、
前記ストレージ装置は、同一の前記サーバ装置において実現される全ての前記仮想装置に前記仮想論理ボリュームを割り当てるとともに、前記仮想装置ごとに夫々に割り当てられる前記仮想論理ボリュームを構成する前記実論理ボリュームが異なるように前記仮想論理ボリュームを構成する前記実論理ボリュームを設定し、
前記サーバ装置は、前記仮想装置においてＩ／Ｏ要求が発生した場合に、当該仮想装置の識別子を付加した前記Ｉ／Ｏ要求を前記ストレージ装置に送信し、
前記ストレージ装置は、前記Ｉ／Ｏ要求に付加されている前記仮想装置の識別子に基づいて、当該Ｉ／Ｏ要求のアクセス対象の前記実論理ボリュームを特定することとする。
【０００８】
このように、本発明においては、同一のサーバ装置において実現される全ての仮想装置に仮想論理ボリュームを割り当てるとともに、仮想装置ごとに夫々に割り当てられる仮想論理ボリュームを構成する実論理ボリュームが異なるように仮想論理ボリュームを構成する実論理ボリュームを設定する。またサーバ装置は、仮想装置でＩ／Ｏ要求が発生すると、当該仮想装置の識別子を付加したＩ／Ｏ要求をストレージ装置に送信し、ストレージ装置は、Ｉ／Ｏ要求に付加されている仮想装置の識別子に基づき当該Ｉ／Ｏ要求のアクセス対象の実論理ボリュームを特定する。
【０００９】
これらの構成によれば、仮想装置の構成変更が行われた場合でもハードウエアリソースのパーティショニング作業が発生せず、構成変更時におけるユーザの負荷を軽減することができる。
【００１０】
本発明のうちの他の一つは、上記情報処理システムであって、
前記サーバ装置及び前記ストレージ装置に通信可能に接続する管理装置をさらに備え、
前記管理装置は、
前記サーバ装置と前記サーバ装置に割り当てられている前記仮想論理ボリュームとの対応が格納されるサーバ装置管理テーブル、
前記仮想装置と前記サーバ装置との対応が格納される仮想装置／サーバ装置管理テーブル、
前記仮想論理ボリュームと前記実論理ボリュームとの対応が格納される仮想論理ボリューム／実論理ボリューム管理テーブル、
前記実論理ボリュームと前記仮想装置の対応が格納される実論理ボリューム／仮想装置管理テーブル
を記憶し、
前記サーバ装置は、自身で実現されている仮想装置の識別子が管理される仮想装置管理テーブルを記憶し、
前記ストレージ装置は、前記仮想論理ボリュームと、前記仮想装置と、前記実論理ボリュームとの対応が管理される仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルを記憶し、
前記サーバ装置において実現される前記仮想装置の構成変更に際し、前記管理装置、前記サーバ装置、及び前記ストレージ装置のうちの少なくともいずれかが、前記サーバ装置管理テーブル、前記仮想装置／サーバ装置管理テーブル、前記仮想論理ボリューム／実論理ボリューム管理テーブル、前記実論理ボリューム／仮想装置管理テーブル、前記仮想装置管理テーブル、及び前記仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルの内容を、前記構成変更後の状態に設定することとする。
【００１１】
このように、同一のサーバ装置において実現される全ての仮想装置に仮想論理ボリュームを割り当てるとともに、仮想装置ごとに夫々に割り当てられる仮想論理ボリュームを構成する実論理ボリュームが異なるように仮想論理ボリュームを構成する実論理ボリュームを設定する構成、及びサーバ装置が、仮想装置でＩ／Ｏ要求が発生すると、当該仮想装置の識別子を付加したＩ／Ｏ要求をストレージ装置に送信し、ストレージ装置が、Ｉ／Ｏ要求に付加されている仮想装置の識別子に基づき当該Ｉ／Ｏ要求のアクセス対象の実論理ボリュームを特定するという上記構成は、管理装置、サーバ装置、又はストレージ装置が、サーバ装置管理テーブル、仮想装置／サーバ装置管理テーブル、仮想論理ボリューム／実論理ボリューム管理テーブル、実論理ボリューム／仮想装置管理テーブル、仮想装置管理テーブル、及び仮想論理ボリューム／実論理ボリューム／仮想装置管理テーブルの内容を適切に設定することにより、容易に実現することができる。
【００１２】
尚、上記構成変更は、例えば、サーバ装置への仮想装置の追加、サーバ装置からの仮想装置の削除、第１のサーバ装置から第２のサーバ装置への仮想装置の移行、のうちのいずれかである。
【００１３】
本発明のうちの他の一つは、上記情報処理システムであって、
前記構成変更は、前記サーバ装置への前記仮想装置の追加であり、
前記管理装置は、前記仮想装置が追加された前記サーバ装置に前記仮想論理ボリュームが割り当てられていない場合に、前記ストレージ装置に対し、前記サーバ装置への前記仮想論理ボリュームの割り当て要求を送信し、
前記ストレージ装置は、前記割り当て要求に応じて前記サーバ装置に前記仮想論理ボリューム及び前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスを割り当てることとする。
【００１４】
このように、サーバ装置に仮想装置の追加された場合には、管理装置がストレージ装置にサーバ装置への仮想論理ボリュームの割り当て要求を送信し、ストレージ装置は、上記割り当て要求に応じてサーバ装置に仮想論理ボリューム、及び仮想装置から仮想論理ボリュームへのＩ／Ｏパスを割り当てる。このため、サーバ装置に仮想装置が追加された場合でも必要な構成変更が自動的に行われ、各テーブルの内容は自動的に適切な内容に更新される。
【００１５】
本発明のうちの他の一つは、上記情報処理システムであって、
前記構成変更は、前記サーバ装置からの前記仮想装置の削除、又は第１の前記サーバ装置から第２の前記サーバ装置への前記仮想装置の移行であり、
前記管理装置は、前記仮想装置が削除されることにより前記サーバ装置に前記仮想装置が存在しなくなる場合に、前記ストレージ装置に対し、前記仮想装置から前記仮想論理ボリュームへのＩ／Ｏパスの割り当て解除要求を送信し、
前記ストレージ装置は、前記割り当て解除要求に応じてＩ／Ｏパスの割り当てを解除することとする。
【００１６】
このように、サーバ装置からの仮想装置の削除、又は第１のサーバ装置から第２のサーバ装置への仮想装置の移行が行われた場合、管理装置は、仮想装置が削除されることによりサーバ装置に仮想装置が存在しなくなると、ストレージ装置に仮想装置から仮想論理ボリュームへのＩ／Ｏパスの割り当て解除要求を送信し、これに応じてストレージ装置はＩ／Ｏパスの割り当てを解除する。このようにサーバ装置の削除や移行が行われて仮想装置が削除されることによりサーバ装置に仮想装置が存在しなくなる場合はＩ／Ｏパスの割り当てが自動的に解除されるので、各テーブルの内容は自動的に適切な内容に更新される。
【００１７】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための最良の形態の欄、及び図面により明らかにされる。
【発明の効果】
【００１８】
本発明によれば、仮想装置ごとに異なるハードウエアリソースの割り当てを可能とし、かつ、仮想装置の構成変更時におけるユーザの負荷を軽減することができる。
【発明を実施するための最良の形態】
【００１９】
以下、実施の形態について図面とともに詳細に説明する。図１Ａに以下において説明する情報処理システム１の概略的な構成を示している。同図に示すように、この情報処理システム１は、管理装置１０、一つ以上のサーバ装置２０、一つ以上のストレージ装置３０、サーバ装置２０とストレージ装置３０とを通信可能に接続するストレージネットワーク４、クライアント装置６０とサーバ装置２０とを通信可能に接続する通信ネットワーク５を備えている。
【００２０】
管理装置１０は、サーバ装置２０、ストレージネットワーク４を実現しているスイッチ等のネットワーク機器、及びストレージ装置３０と、通信手段を介して通信可能に接続している。尚、上記通信手段は通信ネットワーク５又はストレージネットワーク４であってもよいし、他の通信手段であってもよい。
【００２１】
サーバ装置２０、ストレージ装置３０、及びストレージネットワーク４によって、サーバ装置２０がストレージネットワーク４を介してストレージ装置３０にアクセスすることによりストレージ装置３０にデータの入出力を行うストレージシステムが構成されている。管理装置１０は、ストレージシステムの構成管理や監視制御を行う。
【００２２】
サーバ装置２０は、ストレージネットワーク４を介してストレージ装置３０と接続している。サーバ装置２０は、クライアント装置６０から受け付けたデータアクセス要求に基づきストレージ装置３０にＩ／Ｏ要求（データ書き込み要求、データ読み出し要求等）を発行し、クライアント装置６０に各種データサービスを提供する。
【００２３】
ストレージネットワーク４は、例えばＬＡＮ（Local Area Network）、ＳＡＮ（Storage Area Network）、ＷＡＮ（Wide Area Network）、インターネット（Internet）、公衆通信網、専用線等である。一方、通信ネットワーク５は、例えばＬＡＮ、ＷＡＮ、インターネット、公衆通信網、専用線等である。
【００２４】
サーバ装置２０、ストレージネットワーク４を構成しているネットワーク機器（例えばＬＡＮスイッチ（１００ＢＡＳＥ−Ｔ等）、ＳＡＮスイッチ（ファイバーチャネルスイッチ（Fibre Channel Switch）等）、及びストレージ装置３０は、いずれもストレージネットワーク４を介して行われる通信におけるデータが入出力される通信ポートを備える。各通信ポートの接続関係は例えば管理装置１０によって設定される。尚、以下の説明において、ストレージネットワーク４はＳＡＮスイッチを用いて構成されるＳＡＮであり、通信ネットワーク５はＬＡＮスイッチを用いて構成されるＬＡＮであるものとする。またストレージネットワーク４において行われる通信はファイバーチャネルプロトコル（Fibre Channel Protocol）に従って行われるものとし、通信ネットワーク５に行われる通信はＥｔｈｅｒｎｅｔ（登録商標）及びＴＣＰ／ＩＰを用いて行われるものとする。
【００２５】
図１Ｂに管理装置１０、サーバ装置２０、及びクライアント装置６０として利用可能なコンピュータ１００（情報処理装置）のハードウエア構成の一例を示している。同図に示すように、このコンピュータ１００は、ＣＰＵ１０１、メモリ１０２（ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory））、記憶装置１０５（例えばハードディスク、半導体記憶装置（ＳＳＤ（Solid State Drive））、ユーザから操作入力を受け付ける入力装置１０４（キーボード、マウス等）、表示装置１０５（液晶モニタ、ブラウン管ディスプレイ等）、他の装置との間で通信を行う通信インタフェース１０６（ＮＩＣ（Network Interface Card、ＨＢＡ（Host Bus Adapter）等）を備えている。
【００２６】
図１Ｃにストレージ装置３０のハードウエア構成の一例を示している。同図に示すように、ストレージ装置３０は、ディスクコントローラ３１、キャッシュメモリ３２、プロセッサ３３、及びディスク装置３４を備えている。
【００２７】
プロセッサ３３は、スイッチ４０を介してサーバ装置２０又は管理装置管理装置１０と通信を行う。ディスクコントローラ３１は、ＣＰＵ及びメモリを備える。ディスクコントローラ３１は、ストレージ装置３０の機能を実現するための様々な処理を行う。ディスク装置３４は、一台以上のハードディスク３４１（物理ディスク）を備える。ハードディスク３４１は、ディスクコントローラ３１等によりＲＡＩＤ（RAID:Redundant Arrays of Inexpensive （or Independent) Disks）によって制御されていてもよい。キャッシュメモリ３２には、例えばディスク装置３４に書き込まれるデータ、もしくはディスク装置３４から読み出されるデータが格納される。尚、上記構成を備えるストレージ装置３０の一例としてディスクアレイ装置がある。
【００２８】
図１Ｄにストレージネットワーク４を構成するために用いられるネットワーク機器の一例として示すスイッチのハードウエア構成の一例を示している。同図に示すように、スイッチ４０は、ＣＰＵ４１、メモリ４２、及び通信制御装置４３を備えている。ＣＰＵ４１は、メモリ４２に格納されているプログラムを実行することにより、例えばスイッチ４０の通信ポート４１とネットワークアドレスの対応関係の管理機能、フィルタリング機能、セキュリティ機能を実現する。メモリ４２は、例えばＲＡＭ、ＲＯＭ、不揮発性メモリ（例えばフラッシュメモリ）である。メモリ４２には、例えば上記各機能を実現するためのプログラム、ネットワークアドレスやポート番号等の送信元と送信先の対応を管理するための各種テーブル、フィルタリング機能やセキュリティ機能に関する設定情報が格納される。通信制御装置４３は、例えばスイッチコントローラであり、各通信ポート４１に入出力されるフレームやパケットの送信元情報と送信先情報に基づき、入出力されるフレームやパケットの通信ポート４１間の転送制御を行う。
【００２９】
図２に情報処理システム１の構成要素のうち管理装置１０、サーバ装置２０、及びストレージ装置３０が備える主な機能、及び管理装置１０の夫々において管理される主なテーブル（ＴＢＬと略記する場合もある。）を示している。尚、同図に示した各機能は、各装置が備えるハードウエアによって、もしくは、ＣＰＵ１０１又はプロセッサ３３が、メモリ１２０又はプロセッサ３３が備えるメモリに格納されているプログラムを実行することによって実現される。また上記テーブル（データ）は、ＤＢＭＳ（DataBase Management System）の機能によって管理される。
【００３０】
同図に示すように、サーバ装置２０は、仮想化制御部２２、及びＩ／Ｏ制御部２３の機能を備えている。またサーバ装置２０は、仮想装置管理テーブル２４を管理している。
【００３１】
仮想化制御部２２は、同一のハードウエア装置上に仮想的なハードウエア環境である仮想装置２１（仮想計算機）を実現し、仮想装置２１ごとに他の仮想装置２１から独立して、オペレーティングシステム（以下、ＯＳとも称する。）やアプリケーションのインストール環境、これらの設定環境、実行環境等を提供する。仮想装置２１の実現方式には、例えばＶＭｗａｒｅ（登録商標）やＫＶＭ（Kernel-based Virtual Machine）（登録商標）等が採用する完全仮想化（ハイパーバイザ方式）、Ｘｅｎ（登録商標）等が採用する疑似仮想化方式（パラバーチャライゼーション）、Virtuozzo/OpenVZ（登録商標）が採用するＯＳレベル仮想化等がある。
【００３２】
図２ではサーバ装置２０（Ｓｅｒｖｅｒ＃１）では、仮想化制御部＃１によって、２つの仮想装置２１（ＶＭ＃１，ＶＭ＃２）が実現されている。このうち仮想装置２１（ＶＭ＃１）には、オペレーティングシステム２１２（ＯＳ＃１）、及びアプリケーション２１１（ＡＰＰ＃１）が存在する。また仮想装置２１（ＶＭ＃２）には、オペレーティングシステム２１２（ＯＳ＃２）、及びアプリケーション２１１（ＡＰＰ＃２）が存在する。一方、サーバ装置２０（Ｓｅｒｖｅｒ＃２）では、仮想化制御部２２（＃２）によって仮想装置２１（ＶＭ＃３）が実現されている。このうち仮想装置２１（ＶＭ＃３）にはオペレーティングシステム２１２（ＯＳ＃３）、及びアプリケーション２１１（ＡＰＰ＃３）が存在する。
【００３３】
サーバ装置２０のＩ／Ｏ制御部２３は、サーバ装置２０とストレージ装置３０との間で送受信されるデータの監視や制御を行う。サーバ装置２０が管理する仮想装置管理テーブル２４には、そのサーバ装置２０に実現されている仮想装置２１を特定する情報（以下、仮想装置ＩＤと称する。）が管理される。
【００３４】
図２に示すように、ストレージ装置３０は、構成管理部３５１、Ｉ／Ｏ制御部３５２、及びＶＬＵ管理部３５３を備える。このうち構成管理部３５１は、ストレージネットワーク４を介して行われるサーバ装置２０とストレージ装置３０との間のＩ／Ｏパスの管理や設定を行う。Ｉ／Ｏ制御部３５２は、サーバ装置２０とストレージ装置３０との間で送受信されるデータの監視や制御を行う。ＶＬＵ管理部３５３は、ストレージ装置３０において仮想的に実現される論理ボリューム(ＬＵ:Logical Unit)である仮想論理ボリューム（以下、ＶＬＵ（Virtual Logical Unit）３６０と称する。）の管理（生成、消滅、アクセス制御等）を行う。ＶＬＵ３６０は、記憶装置（ＬＤＥＶ：Logical Device）を用いて実現される論理的なボリューム（以下、ＲＬＵ（Real Logical Unit）３６１と称する。）を用いて構成される。記憶装置（ＬＤＥＶ）は、例えばＲＡＩＤグループの記憶領域である。
【００３５】
ＲＬＵ３６１に基づくＶＬＵ３６０の生成は、例えばボリュームの容量を仮想化する技術（以下、ボリューム容量仮想化技術）を用いて実現される。上記技術では、ＶＬＵ３６０へのＲＬＵ３６１の割り当て量を固定的に設定せず、例えばＶＬＵ３６０にはＶＬＵ３６０の現在の使用量に応じた量のＲＬＵ３６１の記憶領域がストレージプールから割り当てられる。ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４には、ＶＬＵ３６０とＲＬＵ３６１、及び仮想装置２１の対応が管理される。
【００３６】
図２に示すように、管理装置１０はデバイスマネージャ１１を備える。またデバイスマネージャ１１は、サーバ装置管理部１１１及びストレージ装置管理部１１２を備える。管理装置１０は、サーバ管理装置テーブル１３、仮想装置／サーバ装置管理テーブル１４、ＶＬＵ／ＲＬＵ管理テーブル１５、及びＲＬＵ／仮想装置管理テーブル１６を管理する。
【００３７】
図３Ａ乃至図３Ｇに以上に説明した各種テーブルの一例を示している。  
図３Ａはサーバ装置管理テーブル１３の一例である。サーバ装置管理テーブル１３には各サーバ装置２０に割り当てられているＶＬＵ３６０が管理されている。同図に示すように、サーバ装置管理テーブル１３は、サーバ装置１３１及びＶＬＵ１３２の各項目を有する一つ以上のレコードを有している。
【００３８】
図３Ｂは仮想装置／サーバ装置管理テーブル１４の一例である。仮想装置／サーバ装置管理テーブル１４には仮想装置２１とサーバ装置２０との対応が管理されている。同図に示すように、仮想装置／サーバ装置管理テーブル１４は、仮想装置１４１及びサーバ装置１４２の各項目を有する一つ以上のレコードを有している。
【００３９】
図３ＣはＶＬＵ／ＲＬＵ管理テーブル１５の一例である。ＶＬＵ／ＲＬＵ管理テーブル１５にはＶＬＵ３６０とＲＬＵ３６１との対応が管理されている。同図に示すように、ＶＬＵ／ＲＬＵ管理テーブル１５は、ＶＬＵ１５１及びＶＬＵ１５２の各項目を有する一つ以上のレコードを有している。
【００４０】
図３ＤはＲＬＵ／仮想装置管理テーブル１６の一例である。ＲＬＵ／仮想装置管理テーブル１６にはＲＬＵ３６１と仮想装置２１との対応が管理されている。同図に示すように、ＲＬＵ／仮想装置管理テーブル１６は、ＲＬＵ１６１及び仮想装置１６２の各項目を有する一つ以上のレコードを有している。
【００４１】
図３Ｅ、図３Ｆはサーバ装置２０に管理される仮想装置管理テーブル２４の一例である。このうち図３Ｅは図２に例示したサーバ装置２０（Ｓｅｒｖｅｒ＃１）に管理される仮想装置管理テーブル２４の一例である。また図３Ｆは図２に例示したサーバ装置２０（Ｓｅｒｖｅｒ＃２）に管理される仮想装置管理テーブル２４の一例である。仮想装置管理テーブル２４にはそのサーバ装置２０に存在する仮想装置２１の仮想装置ＩＤが管理される。同図に示すように、仮想装置管理テーブル２４は、仮想装置ＩＤが設定される項目（仮想装置２４１）を有する一つ以上のレコードを有している。
【００４２】
図３Ｇは、ストレージ装置３０に管理されるＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４の一例である。ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４にはＶＬＵ３６０と仮想装置２５４２とＲＬＵ３６１との対応が管理されている。同図に示すように、ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４は、ＶＬＵ３５４１、仮想装置３５４２、及びＶＬＵ３５４３の各項目を有する一つ以上のレコードを有している。尚、同図に示すように、同じサーバ装置２０に存在する仮想装置２１には同一の（必ずしも同一でなくてもよい）ＶＬＵ３６０（同図ではＶＬＵ＃１）が割り当てられる。また各仮想装置２１には異なるＲＬＵ３６１が割り当てられる。
【００４３】
尚、図３Ａ乃至図３Ｇに例示した各テーブルのレコード数はあくまで一例に過ぎず、例えば初期状態のようにレコードが一つも存在しないこともある。
【００４４】
＝処理説明＝
以下、情報処理システム１において行われる各種の処理について説明する。尚、以下の説明において、符号の前に付された「Ｓ」の文字は処理ステップを意味する。
【００４５】
＜仮想装置の追加時の処理＞
まず第１事例として、サーバ装置２０に仮想装置２１が追加された際に行われる処理について説明する。図４Ａ及び図４Ｂは、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加される様子を説明する図である。このうち図４Ａはサーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加される前の状態であり、図４Ｂは仮想装置２１（ＶＭ＃３）が追加された後の状態である。図５Ａ乃至図５Ｇは、図４Ａの状態から図４Ｂの状態に構成が変更された場合における各テーブルの変化の様子を説明する図である。
【００４６】
図５Ａに示すように、サーバ装置管理テーブル１３には、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加されることにより、サーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ＃１とが対応する旨を示すレコードが追加される。また図５Ｂに示すように、仮想装置／サーバ装置管理テーブル１４には、仮想装置２１（ＶＭ＃３）とサーバ装置２０（Ｓｅｒｖｅｒ＃２）とが対応する旨を示すレコードが追加される。また図５Ｃに示すように、ＶＬＵ／ＲＬＵ管理テーブル１５には、ＲＬＵ３６１（ＲＬＵ＃３）がＶＬＵ３６０（ＶＬＵ＃１）の構成要素である旨を示すレコードが追加される。さらに図５Ｄに示すように、ＲＬＵ／仮想装置管理テーブル１６に、仮想装置２１（ＶＭ＃３）にＲＬＵ３６１（ＲＬＵ＃３）が対応づけられた旨を示すレコードが追加される。
【００４７】
図５Ｅに示すように、サーバ装置２０（＃２）に仮想装置２１（ＶＭ＃３）に追加されても、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の内容は変化しない。図５Ｆに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加されたので、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）には、仮想装置２１（ＶＭ＃３）のレコードが追加されている。図５Ｇに示すように、ＶＬＵ／ＲＬＵ仮想装置管理テーブル３５４に、ＲＬＵ３６１（ＲＬＵ＃３）がＶＬＵ３６０＃１の構成要素である旨を示すレコードが追加されている。
【００４８】
図６は、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加された場合に、管理装置１０（デバイスマネージャ１１）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）（仮想化制御部２２（＃２））、及びストレージ装置３０（構成管理部３５１）によって行われる処理（以下、仮想装置追加時処理Ｓ６００と称する。）を説明するフローチャートである。
【００４９】
まずサーバ装置２０（Ｓｅｒｖｅｒ＃２）は、自身において仮想装置２１（ＶＭ＃３）が追加されたことを検知すると（Ｓ６１１）、仮想装置２１（ＶＭ＃３）が追加された旨を管理装置１０に通知する（Ｓ６１２）。尚、管理装置１０において仮想装置２１の構成変更（追加、削除、移行）を検知する方法としては、管理装置１０から変更内容を取得する方法、管理装置１０から随時サーバ装置２０にポーリングする方法等がある。
【００５０】
管理装置１０は、仮想装置２１（ＶＭ＃３）が追加された旨を受信すると（Ｓ６１３）、仮想装置／サーバ装置管理テーブル１４に仮想装置２１（ＶＭ＃３）に関するレコードを追加し（図５Ｂ）（Ｓ６１４）、仮想装置／サーバ装置管理テーブル１４を更新した旨をサーバ装置２０（Ｓｅｒｖｅｒ＃２）に通知する（Ｓ６１５）。サーバ装置２０（Ｓｅｒｖｅｒ＃２）は、上記通知を受信すると（Ｓ６１６）、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）のレコードを追加する（図５Ｆ）（Ｓ６１７）。尚、サーバ装置２０における仮想装置／サーバ装置管理テーブル１４の更新は、サーバ装置２０から管理装置１０に対して能動的に仮想装置ＩＤ等の情報を要求する方法により行うようにしてもよい。
【００５１】
次に管理装置１０は、サーバ装置管理テーブル１３を参照し、仮想装置２１が追加されたサーバ装置２０に、現在、当該サーバ装置２０がアクセス可能なＶＬＵ３６０が割り当てられているか否かを判断する（Ｓ６１８）。割り当てられている場合は（Ｓ６１８：ＹＥＳ）Ｓ６２６に進み、割り当てられていない場合は（Ｓ６１８：ＮＯ）、Ｓ６１９に進む。
【００５２】
Ｓ６１９では、管理装置１０は、ＶＬＵ３６０の割り当て要求をストレージ装置３０に送信する。ストレージ装置３０は、ＶＬＵ３６０の割り当て要求を受信すると（Ｓ６２０）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）にＶＬＵ３６０を割り当てる（Ｓ６２１）。この際、ＶＬＵ３６０が未だ一つも存在しないようであれば、ストレージ装置３０はＶＬＵ３６０を生成し、生成したＶＬＵ３６０をサーバ装置２０（Ｓｅｒｖｅｒ＃２）に割り当てる。尚、前述したようにストレージ装置３０は、同一のサーバ装置２０において実現される全ての仮想装置２１に同一（必ずしも同一でなくてもよい）のＶＬＵ３６０が割り当てられるように、仮想装置２１にＶＬＵ３６０を割り当てる。ＶＬＵ３６０の生成指示は、サーバ装置２０（Ｓｅｒｖｅｒ＃２）からストレージ装置３０に送信するようにしてもよい。
【００５３】
ストレージ装置３０は、ＶＬＵ３６０を割り当てるとその旨を管理装置１０に通知する（Ｓ６２２）。管理装置１０は、上記通知を受信する（Ｓ６２３）。
【００５４】
Ｓ６２４では、管理装置１０は、仮想装置（ＶＭ＃３）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするためのＩ／Ｏパスの割り当てを要求する（Ｓ６２４）。尚、Ｉ／Ｏパスの割り当てとは、仮想装置（ＶＭ＃３）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするための物理的又は論理的な通信資源（例えば通信ポート）を割り当てることである。
【００５５】
ストレージ装置３０は、Ｉ／Ｏパスの割り当て要求を受信すると（Ｓ６２５）、Ｉ／Ｏパスの割り当てを行い（Ｓ６２６）、その旨を管理装置１０に通知する（Ｓ６２７）。管理装置１０は、上記通知を受信すると（Ｓ６２８）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ３６０（ＶＬＵ＃１）とを対応づけたレコードをサーバ装置管理テーブル１３に追加する（図５Ａ）（Ｓ６２９）。
【００５６】
次に管理装置１０は、ストレージ装置３０に、ＶＬＵ３６０（ＶＬＵ＃１）へのＲＬＵ３６１の割当要求を送信する（Ｓ６３０）。ストレージ装置３０は、上記要求を受信すると（Ｓ６３１）、ＶＬＵ３６０（ＶＬＵ＃１）にＲＬＵ３６１（例えばＲＬＵ３６１（＃３））を割り当てる（Ｓ６３２）。尚、前述したように、ストレージ装置３０は、仮想装置２１ごとに夫々に割り当てられるＶＬＵ３６０を構成するＲＬＵ３６１が異なるように、ＶＬＵ３６０にＲＬＵ３６１を割り当てる。ＲＬＵ３６１の割り当て後は、ストレージ装置３０はＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４を更新し（Ｓ６３３）、ＲＬＵ割当完了報告を管理装置１０に送信する（Ｓ６３４）。
【００５７】
管理装置１０は、上記通知を受信すると（Ｓ６３５）、ＶＬＵ／ＲＬＵ管理テーブル１５、及びＲＬＵ／仮想装置管理テーブル１６の内容を更新する（Ｓ６３６）。
【００５８】
以上によれば、サーバ装置２０への仮想装置２１の追加に際しては、管理装置１０、サーバ装置２０、及びストレージ装置３０によって追加された仮想装置２１に自動的にＶＬＵ３６０が割り当てられる。またＶＬＵ３６０へのＲＬＵ３６１の割り当てや、追加された仮想装置２１がＶＬＵ３６０にアクセスするために使用するＩ／Ｏパスの設定も自動的に行われる。そして同じサーバ装置２０に存在する仮想装置２１には同じＶＬＵ３６０（同図ではＶＬＵ＃１）が割り当てられた状態、及び仮想装置２１ごとに異なるＲＬＵ３６１が割り当てられる。このため、仮想装置２１が追加されても記憶領域の区画設定（パーティショニング）や仮想装置２１がＶＬＵ３６０にアクセスするためのＩ／Ｏパスの設定、ＶＬＵ３６０へのＲＬＵ３６１の割り当てをユーザが手動で行う必要がなく、仮想装置２１の追加時においてユーザの作業負荷が基本的に生じない。
【００５９】
＜仮想装置の削除時の処理＞
次に第２事例として、サーバ装置２０から仮想装置２１が削除される際に行われる処理について説明する。図７Ａ及び図７Ｂは、サーバ装置２０（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）が削除される様子を説明する図である。このうち図７Ａは仮想装置２１（ＶＭ＃３）が削除される前の状態を示す図であり、図７Ｂは仮想装置２１（ＶＭ＃３）が削除された後の状態を示す図である。図８Ａ乃至図８Ｇは、図７Ａの状態から図７Ｂの状態に構成が変更された場合におけるテーブルの変化の様子を示す図である。
【００６０】
図８Ａに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）が削除されることにより、サーバ装置管理テーブル１３からサーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ＃１とが対応する旨を示すレコードが削除される。また図８Ｂに示すように、仮想装置／サーバ装置管理テーブル１４から、仮想装置２１（ＶＭ＃３）とサーバ装置２０（Ｓｅｒｖｅｒ＃２）とが対応する旨を示すレコードが削除される。また図８Ｃに示すように、ＶＬＵ／ＲＬＵ管理テーブル１５から、ＲＬＵ３６１（ＲＬＵ＃３）がＶＬＵ３６０（ＶＬＵ＃１）の構成要素である旨を示すレコードが削除される。さらに図８Ｄに示すように、ＲＬＵ／仮想装置管理テーブル１６に、仮想装置２１（ＶＭ＃３）にＲＬＵ３６１（ＲＬＵ＃３）が対応づけられた旨を示すレコードが追加される。
【００６１】
図８Ｅに示すように、サーバ装置２０（＃２）から仮想装置２１（ＶＭ＃３）が削除されても、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の内容は変化しない。図８Ｆに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）が削除されたので仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）のレコードが削除される。図８Ｇに示すように、ＶＬＵ／ＲＬＵ仮想装置管理３５４から、仮想装置２１（ＶＭ＃３）、ＶＬＵ３６０（ＶＬＵ＃１）、及びＲＬＵ３６１（ＲＬＵ＃３）を対応づけたレコードが削除される。
【００６２】
図９は、図８Ａ乃至図８Ｇに示したテーブルの更新に際し、管理装置１０（デバイスマネージャ１１）、サーバ装置２０（＃２）（仮想化制御部２２（＃２））、及びストレージ装置３０（構成管理部３５１）によって行われる処理（以下、仮想装置削除時処理Ｓ９００と称する。）を説明するフローチャートである。
【００６３】
まずサーバ装置２０（Ｓｅｒｖｅｒ＃２）は、自身において仮想装置２１（ＶＭ＃３）が削除されたことを検知すると（Ｓ９１１）、仮想装置２１（ＶＭ＃３）が削除された旨を管理装置１０に通知する（Ｓ９１２）。
【００６４】
管理装置１０は、仮想装置２１（ＶＭ＃３）が削除された旨を受信すると（Ｓ９１３）、仮想装置／サーバ装置管理テーブル１４から仮想装置２１（ＶＭ＃３）に関するレコードを削除し（図８Ｂ）（Ｓ９１４）、仮想装置／サーバ装置管理テーブル１４を更新した旨をサーバ装置２０（Ｓｅｒｖｅｒ＃２）に通知する（Ｓ９１５）。サーバ装置２０（Ｓｅｒｖｅｒ＃２）は、上記通知を受信すると（Ｓ９１６）、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）のレコードを削除する（図８Ｆ）（Ｓ９１７）。
【００６５】
Ｓ９１５において、管理装置１０は、仮想装置２１（ＶＭ＃３）が削除されることにより、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が存在しなくなるか否か、即ち削除された仮想装置２１（ＶＭ＃３）がサーバ装置２０（Ｓｅｒｖｅｒ＃２）に存在する最後の仮想装置２１か否かを判断する。存在しなくなる場合（Ｓ９１８：ＹＥＳ）には、Ｓ９１９に進み、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に他の仮想装置２１が残存している場合（Ｓ９１８：ＮＯ）は、Ｓ９１９に進む。
【００６６】
Ｓ９１９では、管理装置１０は、サーバ装置２０（Ｓｅｒｖｅｒ＃２）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするためのＩ／Ｏパスの割り当て解除要求をストレージ装置３０に送信する。ストレージ装置３０は、Ｉ／Ｏパス割当解除要求を受信すると（Ｓ９２０）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするためのＩ／Ｏパスの割り当てを解除する（Ｓ９２１）。Ｉ／Ｏパスの割り当て解除後、ストレージ装置３０は、パス解除完了通知を管理装置１０に送信する（Ｓ９２２）。管理装置１０は、上記パス解除完了通知を受信する（Ｓ９２３）。
【００６７】
Ｓ９２４では、管理装置１０は、サーバ装置管理テーブル１３から、サーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ３６０（ＶＬＵ＃１）とを対応づけたレコードを削除する（図８Ａ）（Ｓ９２４）。
【００６８】
Ｓ９２５では、サーバ装置２０（Ｓｅｒｖｅｒ＃２）が、仮想装置２１（ＶＭ＃３）の関連情報の削除要求をストレージ装置３０に送信する。ストレージ装置３０は、上記削除要求を受信すると（Ｓ９２６）、ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４から仮想装置２１（ＶＭ＃３）に関する情報を削除する（図８Ｇ）（Ｓ９２７）。またこのとき、サーバ装置２０（Ｓｅｒｖｅｒ＃２）は、ＶＬＵ／ＲＬＵ管理テーブル１５、及びＲＬＵ／仮想装置管理テーブル１６の内容を更新する。
【００６９】
尚、ストレージ装置３０は、セキュリティ確保のために、必要に応じてＶＬＵ３６０への割り当てが解除された（未使用状態となった）ＲＬＵ３６１（＃３）に格納されていたデータの破砕化（シュレッディング処理等）を行う。
【００７０】
以上によれば、サーバ装置２０から仮想装置２１が削除された際、削除された仮想装置２１に関する情報の削除が自動的に行われる。またＶＬＵ３６０へのＲＬＵ３６１の割り当ての解除や、削除された仮想装置２１がＶＬＵ３６０にアクセスするために使用していたＩ／Ｏパスの設定解除が自動的に行われる。そして同じサーバ装置２０に存在する仮想装置２１に同じＶＬＵ３６０（同図ではＶＬＵ＃１）が割り当てられた状態、及び仮想装置２１ごとに異なるＲＬＵ３６１が割り当てられた状態が維持される。このため、仮想装置２１が削除された場合でも、記憶領域の区画設定（パーティショニング）、仮想装置２１がＶＬＵ３６０にアクセスするためのＩ／Ｏパスの設定、ＶＬＵ３６０へのＲＬＵ３６１の割り当てをユーザが手動で行う必要がなく、仮想装置２１の削除時においてユーザの作業負荷は基本的に生じない。
【００７１】
＜仮想装置の移行時の処理＞
次に第３事例として、仮想化制御部２２（＃１，＃２）の仮想装置２１の移行（マイグレーション）機能によって異なるサーバ装置２０間で仮想装置２１の移行がなされる際に行われる処理について説明する。
【００７２】
図１０Ａ及び図１０Ｂは、サーバ装置２０（Ｓｅｒｖｅｒ＃１）に存在していた仮想装置２１（ＶＭ＃２）が、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に移行される様子を説明する図である。このうち図１０Ａは仮想装置２１（ＶＭ＃２）が移行する前の状態を示す図であり、図１０Ｂは仮想装置２１（ＶＭ＃２）が移行した後の状態を示す図である。図１１Ａ乃至図１１Ｇは、上記移行時の各テーブルの変化の様子を示す図である。  
図１１Ａに示すように、仮想装置２１（ＶＭ＃２）の移行に伴い、サーバ装置管理テーブル１３に、サーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ＃１とが対応する旨を示すレコードが追加される。図１１Ｂに示すように、仮想装置／サーバ装置管理テーブル１４から仮想装置２１（ＶＭ＃２）とサーバ装置２０（Ｓｅｒｖｅｒ＃１）とが対応する旨を示すレコードが削除され、代わりに仮想装置２１（ＶＭ＃２）とサーバ装置２０（Ｓｅｒｖｅｒ＃２）とが対応する旨を示すレコードが追加される。図１１Ｃに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃２）が移行した場合でも、ＶＬＵ３６０とＲＬＵ３６１の関係は変化しない。図１１Ｄに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃２）が移行した場合でも、仮想装置２１とＲＬＵ３６１の関係は変化しない。
【００７３】
図１１Ｅに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃２）が移行したので、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）から仮想装置２１（ＶＭ＃２）のレコードが削除されている。図１１Ｆに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃２）が移行したので、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）の内容が更新され、仮想装置２１（ＶＭ＃２）のレコードが追加されている。図１１Ｇに示すように、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃２）が移行しても、ＶＬＵ３６０、仮想装置２１、及びＲＬＵ３６１の関係は変化せず、ＶＬＵ／ＲＬＵ仮想装置管理３５４の内容は変化しない。
【００７４】
図１２は、図１１Ａ乃至図１１Ｇに示したテーブルの更新に際し、管理装置１０（デバイスマネージャ１１）、サーバ装置２０（Ｓｅｒｖｅｒ＃１，Ｓｅｒｖｅｒ＃２）（仮想化制御部２２（＃１，＃２））、及びストレージ装置３０（構成管理部３５１）によって行われる処理（以下、仮想装置移行時処理Ｓ１２００と称する。）を説明するフローチャートである。
【００７５】
まずサーバ装置２０（Ｓｅｒｖｅｒ＃１，Ｓｅｒｖｅｒ＃２）は、仮想装置２１（ＶＭ＃２）の移行に際し（Ｓ１２１１）、移行が発生する旨を管理装置１０に通知する（Ｓ１２１２）。
【００７６】
管理装置１０は、仮想装置２１（ＶＭ＃２）が移行する旨を受信すると（Ｓ１２１３）、仮想装置／サーバ装置管理テーブル１４を更新し（図１１Ｂ）（Ｓ１２１４）、仮想装置／サーバ装置管理テーブル１４を更新した旨をサーバ装置２０（Ｓｅｒｖｅｒ＃１，Ｓｅｒｖｅｒ＃２）に通知する（Ｓ１２１５）。サーバ装置２０（Ｓｅｒｖｅｒ＃１，Ｓｅｒｖｅｒ＃２）は、上記通知を受信すると（Ｓ１２１６）、仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１，Ｓｅｒｖｅｒ＃２）を更新する（図１１Ｅ，図１１Ｆ）（Ｓ１２１７）。
【００７７】
次に管理装置１０は、サーバ装置管理テーブル１３を参照し、サーバ装置２０（Ｓｅｒｖｅｒ＃２）が、サーバ装置２０（Ｓｅｒｖｅｒ＃１）が認識していたＶＬＵ３６０（ＶＬＵ＃１）を既に認識中であるか否かを判断する（Ｓ１２１８）。既に認識中であれば（Ｓ１２１８：ＹＥＳ）Ｓ１２２６に進み、サーバ装置２０（Ｓｅｒｖｅｒ＃２）がＶＬＵ３６０（ＶＬＵ＃１）をまだ認識していなければ（Ｓ１２１８：ＮＯ）、Ｓ１２１９に進む。
【００７８】
Ｓ１２１９では、管理装置１０は、サーバ装置２０（Ｓｅｒｖｅｒ＃２）へのＶＬＵ３６０（＃１）の割当要求をストレージ装置３０に送信する。ストレージ装置３０は、上記割当要求を受信すると（Ｓ１２２０）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）にＶＬＵ３６０を割り当てる（Ｓ１２２１）。ストレージ装置３０は、サーバ装置２０（Ｓｅｒｖｅｒ＃２）にＶＬＵ３６０（＃１）を割り当てると、ＶＬＵ割当完了通知を管理装置１０に送信する（Ｓ１２２２）。
【００７９】
Ｓ１２２４では、管理装置１０は、仮想装置（ＶＭ＃２）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするためのＩ／Ｏパスの割り当てを要求する（Ｓ１２２４）。ストレージ装置３０は、上記Ｉ／Ｏパス割当要求を受信すると（Ｓ１２２５）、仮想装置（ＶＭ＃２）からＶＬＵ３６０（ＶＬＵ＃１）にアクセスするためのＩ／Ｏパスの割り当てを行い（Ｓ１２２６）、Ｉ／Ｏパスの割当完了通知を管理装置１０に送信する（Ｓ１２２７）。管理装置１０は、上記割当完了通知を受信すると（Ｓ１２２８）、サーバ装置２０（Ｓｅｒｖｅｒ＃２）とＶＬＵ３６０（ＶＬＵ＃１）とを対応づけたレコードをサーバ装置管理テーブル１３に追加する（図１１Ａ）（Ｓ１２２９）。
【００８０】
以上によれば、サーバ装置２０間で行われる仮想装置２１の移行に際し、仮想装置２１へのＶＬＵ３６０の割り当てが自動的に行われる。また移行先のサーバ装置２０で仮想装置２１がＶＬＵ３６０にアクセスするために使用するＩ／Ｏパスの設定が自動的に行われる。そして同じサーバ装置２０に存在する仮想装置２１に同じＶＬＵ３６０（同図ではＶＬＵ＃１）が割り当てられた状態、及び仮想装置２１ごとに異なるＲＬＵ３６１が割り当てられた状態が維持される。このため、仮想装置２１が移行された場合でも、記憶領域の区画設定（パーティショニング）、仮想装置２１がＶＬＵ３６０にアクセスするためのＩ／Ｏパスの設定、ＶＬＵ３６０へのＲＬＵ３６１の割り当てをユーザが手動で行う必要がなく、仮想装置２１の移行時においてユーザの作業負荷は基本的に生じない。
【００８１】
＝Ｉ／Ｏ要求発生時の処理＝
次に、仮想装置２１からＶＬＵ３６０へのＩ／Ｏ要求に関する処理について説明する。尚、上記Ｉ／Ｏ要求は、例えばサーバ装置２０がクライアント装置６０からデータアクセス要求を受け付けた場合に発生する。図１３は上記処理（以下、Ｉ／Ｏ要求発生時処理Ｓ１３００と称する。）を説明するフローチャートである。以下、同図とともにＩ／Ｏ要求発生時処理Ｓ１３００について説明する。
【００８２】
仮想装置２１からＶＬＵ３６０へのＩ／Ｏ要求が発生すると（Ｓ１３１１）、サーバ装置２０は、Ｉ／Ｏ要求元の仮想装置２１の仮想装置ＩＤを仮想装置管理テーブル２４から取得し（Ｓ１３１２）、取得した仮想装置ＩＤを付加したＩ／Ｏ要求をストレージ装置３０に送信する（Ｓ１３１３、Ｓ１３１４）。例えばサーバ装置２０とストレージ装置３０との間の通信がＦＣ−ＰＨ（Fibre Channel PHysical and signaling interface）に従って行われる場合には、図１４に示すＦＣ−ＰＨデータフレーム１４００のＦＨ（Frame Header）に仮想装置ＩＤを格納する。
【００８３】
ストレージ装置３０は、Ｉ／Ｏ要求を受信すると（Ｓ１３１５）、ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４を参照し（Ｓ１３１６）、Ｉ／Ｏ要求に付加されている仮想装置ＩＤからアクセス対象となるＲＬＵ３６１を特定する（Ｓ１３１７）。
【００８４】
Ｓ１３１８では、ストレージ装置３０は、Ｓ１３１７で特定したＲＬＵ３６１にＩ／Ｏコマンドを発行する。そしてストレージ装置３０は、Ｉ／Ｏコマンドに応じて取得される応答情報（データ書き込みコマンドの処理結果やデータ読み出しコマンドによって読み出されたデータ）をサーバ装置２０に送信する（Ｓ１３１９）。サーバ装置２０は、応答情報を受信すると（Ｓ１３２０）、例えばクライアント装置６０に応答を返す。サーバ装置２０においてＩ／Ｏ要求が発生した場合には、以上の処理が行われる。
【００８５】
尚、前述したように、本実施形態の情報処理システム１にあっては、同じサーバ装置２０に存在する仮想装置２１には同じＶＬＵ３６０が割り当てられ、仮想装置２１ごとに異なるＲＬＵ３６１が割り当てられる。このため、上記のように、ストレージ装置３０は、ＦＣ−ＰＨデータフレーム１４００に付加されている仮想装置ＩＤからアクセス対象となるＲＬＵ３６１を容易かつ確実に特定することができる。
【００８６】
以上の実施形態の説明は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明はその趣旨を逸脱することなく、変更、改良され得ると共に本発明にはその等価物が含まれることは勿論である。
【図面の簡単な説明】
【００８７】
【図１Ａ】情報処理システム１の概略的な構成を示す図である。
【図１Ｂ】管理装置１０、サーバ装置２０、及びクライアント装置６０として利用可能なコンピュータ１００（情報処理装置）のハードウエア構成の一例を示す図である。
【図１Ｃ】ストレージ装置３０のハードウエア構成の一例を示す図である。
【図１Ｄ】ストレージネットワーク４を構成するために用いられるネットワーク機器の一例として示すスイッチのハードウエア構成の一例を示す図である。
【図２】管理装置１０、サーバ装置２０、ストレージ装置３０が備える主な機能、及び管理装置１０の夫々において管理される主なテーブル（ＴＢＬと略記する場合もある。）を示す図である。
【図３Ａ】サーバ装置管理テーブル１３の一例を示す図である。
【図３Ｂ】仮想装置／サーバ装置管理テーブル１４の一例を示す図である。
【図３Ｃ】ＶＬＵ／ＲＬＵ管理テーブル１５の一例を示す図である。
【図３Ｄ】ＲＬＵ／仮想装置管理テーブル１６の一例を示す図である。
【図３Ｅ】仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の一例を示す図である。
【図３Ｆ】仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）の一例を示す図である。
【図３Ｇ】ＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４の一例を示す図である。
【図４Ａ】サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加される前の状態を示す図である。
【図４Ｂ】サーバ装置２０（Ｓｅｒｖｅｒ＃２）に仮想装置２１（ＶＭ＃３）が追加された後の状態を示す図である。
【図５Ａ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合におけるサーバ装置管理テーブル１３の変化の様子を示す図である。
【図５Ｂ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合における仮想装置／サーバ装置管理テーブル１４の変化の様子を示す図である。
【図５Ｃ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ管理テーブル１５の変化の様子を示す図である。
【図５Ｄ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合におけるＲＬＵ／仮想装置管理テーブル１６の変化の様子を示す図である。
【図５Ｅ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の変化の様子を示す図である。
【図５Ｆ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）の変化の様子を示す図である。
【図５Ｇ】図４Ａの状態から図４Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４の変化の様子を示す図である。
【図６】仮想化装置追加時処理Ｓ６００を説明するフローチャートである。
【図７Ａ】サーバ装置２０（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）が削除される前の状態を示す図である。
【図７Ｂ】サーバ装置２０（Ｓｅｒｖｅｒ＃２）から仮想装置２１（ＶＭ＃３）が削除された後の状態を示す図である。
【図８Ａ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合におけるサーバ装置管理テーブル１３の変化の様子を示す図である。
【図８Ｂ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合における仮想装置／サーバ装置管理テーブル１４の変化の様子を示す図である。
【図８Ｃ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ管理テーブル１５の変化の様子を示す図である。
【図８Ｄ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合におけるＲＬＵ／仮想装置管理テーブル１６の変化の様子を示す図である。
【図８Ｅ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の変化の様子を示す図である。
【図８Ｆ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）の変化の様子を示す図である。
【図８Ｇ】図７Ａの状態から図７Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４の変化の様子を示す図である。
【図９】仮想装置削除時処理Ｓ９００を説明するフローチャートである。
【図１０Ａ】サーバ装置２０（Ｓｅｒｖｅｒ＃１）に存在していた仮想装置２１（ＶＭ＃２）がサーバ装置２０（Ｓｅｒｖｅｒ＃２）に移行される前の状態を示す図である。
【図１０Ｂ】サーバ装置２０（Ｓｅｒｖｅｒ＃１）に存在していた仮想装置２１（ＶＭ＃２）が、サーバ装置２０（Ｓｅｒｖｅｒ＃２）に移行された後の状態を示す図である。
【図１１Ａ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合におけるサーバ装置管理テーブル１３の変化の様子を示す図である。
【図１１Ｂ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合における仮想装置／サーバ装置管理テーブル１４の変化の様子を示す図である。
【図１１Ｃ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ管理テーブル１５の変化の様子を示す図である。
【図１１Ｄ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合におけるＲＬＵ／仮想装置管理テーブル１６の変化の様子を示す図である。
【図１１Ｅ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃１）の変化の様子を示す図である。
【図１１Ｆ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合における仮想装置管理テーブル２４（Ｓｅｒｖｅｒ＃２）の変化の様子を示す図である。
【図１１Ｇ】図１０Ａの状態から図１０Ｂの状態に構成変更がされた場合におけるＶＬＵ／ＲＬＵ／仮想装置管理テーブル３５４の変化の様子を示す図である。
【図１２】仮想化装置移行時処理Ｓ１２００を説明するフローチャートである。
【図１３】Ｉ／Ｏ要求発生時処理Ｓ１３００を説明するフローチャートである。
【図１４】ＦＣ−ＰＨデータフレーム１４００を説明するフローチャートである。
【符号の説明】
【００８８】
１  情報処理システム
４  ストレージネットワーク
５  通信ネットワーク
１０  管理装置
１３  サーバ装置管理テーブル
１４  仮想装置管理テーブル
１５  ＶＬＵ／ＲＬＵ管理テーブル
１６  ＲＬＵ／仮想装置管理テーブル
２０  サーバ装置
２１  仮想装置
２２  仮想化制御部
２３  Ｉ／Ｏ制御部
２４  仮想装置管理テーブル
３０  ストレージ装置
６０  クライアント装置
１１１  サーバ装置管理部
１１２  ストレージ装置管理部
２１１  アプリケーション
２１２  オペレーティングシステム
３５１  構成管理部
３５２  Ｉ／Ｏ制御部
３５３  ＶＬＵ管理部
３５４  ＶＬＵ／ＲＬＵ／仮想装置管理テーブル
３６０  ＶＬＵ
３６１  ＲＬＵ
【図１Ａ】
2010140273.tif 000003
【図１Ｂ】
2010140273.tif 000004
【図１Ｃ】
2010140273.tif 000005
【図１Ｄ】
2010140273.tif 000006
【図２】
2010140273.tif 000007
【図４Ａ】
2010140273.tif 000008
【図４Ｂ】
2010140273.tif 000009
【図６】
2010140273.tif 000010
【図７Ａ】
2010140273.tif 000011
【図７Ｂ】
2010140273.tif 000012
【図９】
2010140273.tif 000013
【図１０Ａ】
2010140273.tif 000014
【図１０Ｂ】
2010140273.tif 000015
【図１２】
2010140273.tif 000016
【図１３】
2010140273.tif 000017
【図１４】
2010140273.tif 000018
【図３Ａ】
2010140273.tif 000019
【図３Ｂ】
2010140273.tif 000020
【図３Ｃ】
2010140273.tif 000021
【図３Ｄ】
2010140273.tif 000022
【図３Ｅ】
2010140273.tif 000023
【図３Ｆ】
2010140273.tif 000024
【図３Ｇ】
2010140273.tif 000025
【図５Ａ】
2010140273.tif 000026
【図５Ｂ】
2010140273.tif 000027
【図５Ｃ】
2010140273.tif 000028
【図５Ｄ】
2010140273.tif 000029
【図５Ｅ】
2010140273.tif 000030
【図５Ｆ】
2010140273.tif 000031
【図５Ｇ】
2010140273.tif 000032
【図８Ａ】
2010140273.tif 000033
【図８Ｂ】
2010140273.tif 000034
【図８Ｃ】
2010140273.tif 000035
【図８Ｄ】
2010140273.tif 000036
【図８Ｅ】
2010140273.tif 000037
【図８Ｆ】
2010140273.tif 000038
【図８Ｇ】
2010140273.tif 000039
【図１１Ａ】
2010140273.tif 000040
【図１１Ｂ】
2010140273.tif 000041
【図１１Ｃ】
2010140273.tif 000042
【図１１Ｄ】
2010140273.tif 000043
【図１１Ｅ】
2010140273.tif 000044
【図１１Ｆ】
2010140273.tif 000045
【図１１Ｇ】
2010140273.tif 000046