(57)【特許請求の範囲】
【請求項１】
仮想マシンが動作する複数のホストマシンと、
前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、
スイッチコントローラとを備え、
前記スイッチコントローラが、
前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、
前記マイグレーション管理手段が、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とする仮想化システム。
【請求項２】
前記ファイバチャネルスイッチが、
前記マイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認手段と、
前記ゾーニング設定が、マイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定手段と、を含む
ことを特徴とする請求項１に記載の仮想化システム。
【請求項３】
前記設定手段が、
ゾーニング設定の実施後、設定に用いたホストバスアダプタの情報を、ＲＳＣＮを用いてファブリックへ通知することを特徴とする請求項２に記載の仮想化システム。
【請求項４】
前記スイッチコントローラが、
前記ホストマシンの名称及び一意な識別番号と、前記ホストマシン上にある前記仮想マシンの名称及び一意な識別番号と、前記仮想マシンに関連付けられたホストバスアダプタのＷＷＮ情報とを含む情報を、前記ホストマシンへのＡＰＩを通して取得する取得手段と、
前記仮想マシンと前記ホストバスアダプタの関連付けを管理テーブルで管理する管理手段とを含む
ことを特徴とする請求項１から請求項３の何れか１項に記載の仮想化システム。
【請求項５】
前記マイグレーション管理手段が、
マイグレーション元の前記ストレージに対し、マイグレーション先のストレージへのデータコピーを指示すると共に、マイグレーション先の前記ストレージに対し、コピー中のデータにＬＵマスキングの設定を指示する
ことを特徴とする請求項１から請求項４の何れか１項に記載の仮想化システム。
【請求項６】
前記マイグレーション管理手段が、
前記ストレージのマイグレーション情報をテーブルとして管理することを特徴とする請求項５に記載の仮想化システム。
【請求項７】
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるスイッチコントローラであって、
前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、
前記マイグレーション管理手段が、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするスイッチコントローラ。
【請求項８】
仮想マシンが動作するホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるファイバチャネルスイッチであって、
前記スイッチコントローラのマイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認手段と、
前記ゾーニング設定が、前記仮想マシンのマイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定手段とを含む
ことを特徴とするファイバチャネルスイッチ。
【請求項９】
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーション方法であって、
前記スイッチコントローラが備えるマイグレーション管理手段が、前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理ステップを有し、
前記マイグレーション管理ステップで、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするマイグレーション方法。
【請求項１０】
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーションプログラムであって、
前記スイッチコントローラが備えるマイグレーション管理手段に、前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理処理を実行させ、
前記マイグレーション管理処理で、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするマイグレーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想マシンのマイグレーション技術に関し、特に、物理ＨＢＡ（Host Bus Adapter：ホストバスアダプタ）をダイレクトにアクセスする仮想マシンをマイグレーションする技術に関する。
【背景技術】
【０００２】
仮想マシン環境は、近年のハードウェアの性能向上と、仮想化技術の向上によって、急速に発展中である。仮想化の際の環境構成も柔軟性を増し、要求に応じて様々な形態をとることが可能になった。
【０００３】
一方で、仮想マシン環境では仮想化することで処理が増加し、物理環境と比較するとアクセス性能が低下する。この影響を減らし性能を向上させるため、よりダイレクトなアクセスを実施させる技術が開発されてきている。
【０００４】
ここで、本発明の関連技術が、特許文献１から特許文献４に開示されている。
【０００５】
特許文献１では、所定の宛先へ向かうＦＣフレームをすべて所定の宛先へ向けて転送する旨が記載されている。特許文献２では、移動元のゲストＯＳに割り当てられたI／Ｏデバイスを移動先の物理計算機へ切り替えてから、移動先の仮想計算機とゲストＯＳを起動してマイグレーションを完了する旨が記載されている。特許文献３では、データセンタ情報に基づいてマイグレーション要求を送るデータセンタを決定する旨が記載されている。特許文献４では、差分メモリイメージを移行先仮想サーバに送信する旨が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2011-134296号公報
【特許文献２】特開2010-039685号公報
【特許文献３】特開2009-134687号公報
【特許文献４】特開2009-140053号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、ダイレクトなアクセスを実施した環境では問題がある。それは物理環境の変更が難しいことである。仮想化環境では物理環境に影響されずに環境を柔軟に変更可能なことが１つのメリットであるため、柔軟性の確保は重要な事項である。現状では性能と柔軟性がトレードオフの関係であると言える。このため、仮想化環境において、性能と柔軟性の両立をするための技術が望まれている。
【０００８】
例えば、ＶＭとＦＣ−ＳＡＮネットワークを用いたシステムにおいて、ストレージのディスクのＩ／Ｏ性能が最も発揮できるのはＶＭにディスクを直接見せる方法（パススルー）の構成である。しかしパススルーでディスクを見せた構成の場合は、ＶＭの稼動状態でのマイグレーションを実施できないという問題があった。
【０００９】
（発明の目的）
本発明の目的は、上述の課題を解決し、物理ＨＢＡをダイレクトにアクセスする仮想マシンを稼動状態で移行（マイグレーション）する仮想化システム、スイッチコントローラ、ファイバチャネルスイッチ、マイグレーション方法、マイグレーションプログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の第１の仮想化システムは、仮想マシンが動作する複数のホストマシンと、ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムであって、スイッチコントローラが、ホストマシンに仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、マイグレーション管理手段が、マイグレーション後の仮想マシンがマイグレーション元で使用していたストレージへアクセスできるように、マイグレーション先に接続されるファイバチャネルスイッチに対し、ホストバス情報の設定を指示する。
【００１１】
本発明の第１のスイッチコントローラは、仮想マシンが動作する複数のホストマシンと、ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるスイッチコントローラであって、ホストマシンに仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、マイグレーション管理手段が、マイグレーション後の仮想マシンがマイグレーション元で使用していたストレージへアクセスできるように、マイグレーション先に接続されるファイバチャネルスイッチに対し、ホストバス情報の設定を指示する。
【００１２】
本発明の第１のファイバチャネルスイッチは、仮想マシンが動作するホストマシンと、ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるファイバチャネルスイッチであって、スイッチコントローラのマイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認手段と、ゾーニング設定が、仮想マシンのマイグレーション先のホストマシンのホストバスアダプタからマイグレーション元で仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元のホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定手段とを含む。
【００１３】
本発明の第１のマイグレーション方法は、仮想マシンが動作する複数のホストマシンと、ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーション方法であって、スイッチコントローラが備えるマイグレーション管理手段が、ホストマシンに仮想マシンのマイグレーションを指示するマイグレーション管理ステップを有し、マイグレーション管理ステップで、マイグレーション後の仮想マシンがマイグレーション元で使用していたストレージへアクセスできるように、マイグレーション先に接続されるファイバチャネルスイッチに対し、ホストバス情報の設定を指示する。
【００１４】
本発明の第１のマイグレーションプログラムは、仮想マシンが動作する複数のホストマシンと、ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーションプログラムであって、スイッチコントローラが備えるマイグレーション管理手段に、ホストマシンに仮想マシンのマイグレーションを指示するマイグレーション管理処理を実行させ、マイグレーション管理処理で、マイグレーション後の仮想マシンがマイグレーション元で使用していたストレージへアクセスできるように、マイグレーション先に接続されるファイバチャネルスイッチに対し、ホストバス情報の設定を指示する。
【発明の効果】
【００１５】
本発明によれば、物理ＨＢＡをダイレクトにアクセスする仮想マシンをマイグレーションすることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施の形態による仮想化システムの特徴を示すブロック図である。
【図２】本発明の第１の実施の形態による仮想化システムの特徴を示すブロック図である。
【図３】本発明の第１の実施の形態による仮想化システムの構成を示すブロック図である。
【図４】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図５】本発明の第１の実施の形態による管理テーブルの構成例を示す図である。
【図６】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図７】本発明の第１の実施の形態による管理テーブルの構成例を示す図である。
【図８】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図９】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１０】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１１】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１２】本発明の第１の実施の形態によるＷＷＮを伴うデータの構成例を示す図である。
【図１３】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１４】本発明の第１の実施の形態におけるストレージのマイグレーション情報を管理する管理テーブルの構成例を示す図である。
【図１５】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１６】本発明の第１の実施の形態による仮想化システムの動作を示す図である。
【図１７】本発明の第１の実施の形態による仮想化システムのコスえいを示すブロック図である。
【図１８】本発明の第２の実施の形態による仮想化システムの構成を示すブロック図である。
【図１９】本発明の仮想化システムの最小限の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
本発明は、ＦＣ−ＳＡＮのスイッチの情報を一時的に置き換えること、移行後（移行中）において移行前のディスクを利用できるようにすることを特徴とする。また、スイッチコントローラが、ＶＭホストサーバからＶＭの情報を取得し、ＦＣスイッチの保持しているＷＷＮ情報も取得することを特徴とする。また、スイッチコントローラが、マイグレーションを契機に、移行前と移行先の環境情報から、適切にスイッチの設定を変更するとともに、移行後の場所でもＶＭが移行前と同じように動作できるよう、スイッチ内でＷＷＮ情報の置き換えを実施することを特徴とする。
【００１８】
本発明の上記及び他の目的、特徴及び利点を明確にすべく、添付した図面を参照しながら、本発明の実施形態を以下に詳述する。なお、上述の本願発明の目的のほか、他の技術的課題、その技術的課題を解決する手段及びその作用効果についても、以下の実施形態による開示によって明らかとなるものである。なお、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１９】
（第１の実施の形態）
本発明の第１の実施の形態について図面を参照して詳細に説明する。
【００２０】
図１及び図２は、本発明の第１の実施の形態による仮想化システム１０００の特徴を表した図である。また、図３は、本実施の形態による仮想化システム１０００の構成を示すブロック図である。
【００２１】
図３の構成における説明を以下に記載する。
【００２２】
ＶＭホストマシン１００及びＶＭホストマシン２００は、パススルー構成が可能なホストマシンである。またこれらホストマシンは、そのＶＭの管理において、コマンドやライブラリといったＡＰＩによって外部から操作可能なＩ／Ｆを提供している。
【００２３】
ストレージ１４０及びストレージ２４０は、ストレージ間のデータコピー機能を持っている。またこれらストレージは、その論理ユニットの管理において、外部から操作可能なＩ／Ｆを提供している。また、コントローラの物理的な配置は本発明では限定しない。たとえばコントローラをストレージ内に配置した場合は図１７のような構成になる。
【００２４】
（第１の実施の形態の動作の説明）
次に、本実施の形態による仮想化システム１０００の動作について、図面を参照して詳細に説明する。
【００２５】
ここでは、地点ＡにあるＶＭホストマシン１００（ＶＭホストマシンＡ）とストレージ２００（ストレージＡ）から、地点ＢにあるＶＭホストマシン２００（ＶＭホストマシンＢ）とストレージ２４０（ストレージＢ）へマイグレーションする場合を例にとって説明する。
【００２６】
なお、以下においては、ＶＭホストマシン１００、ＶＭホストマシン２００はＶＭホストマシンＡ、ＶＭホストマシンＢと表記する。ＦＣスイッチ、ストレージ、ＨＢＡについても、同様にＦＣスイッチＡ、ＦＣスイッチＢ、ストレージＡ、ストレージＢ、ＨＢＡ-Ａ、ＨＢＡ−Ｂと表記する。
【００２７】
ステップS１：スイッチコントローラ３００が、マイグレーション前に情報収集を行い、ＶＭとＨＢＡの対応付けをテーブルとして管理する。
【００２８】
ステップS１の詳細な動作を以下に説明する。
【００２９】
スイッチコントローラ３００はＶＭホストマシンＡ及びＶＭホストマシンＢからＡＰＩを通して情報取得を実施する。取得する情報は、ＶＭホストマシンの名称及び一意な識別番号と、ＶＭホストマシン上にあるＶＭの名称及び一意な識別番号と、ＶＭに関連づけられたＨＢＡのＷＷＮ（World Wide Name）情報とを含む。
【００３０】
また、スイッチコントローラ３００は、ファブリック上のネームサーバからＡＰＩを通して情報取得を実施する。取得する情報は、接続されている機器のＷＷＮ（ＷＷＰＮ、ＷＷＮＮ）と、接続されている機器の２４ビットファイバチャネルアドレス（ポートＩＤ）とを含む。
【００３１】
また、スイッチコントローラ３００は、上記の情報をＨＢＡのＷＷＮ情報をキーとして組み合わせ、ＶＭとＨＢＡのＷＷＮ情報を関連付けた管理テーブル３０１を作成する。
【００３２】
ステップS1の動作イメージを図４に示す。また管理テーブル３０１の構成例を図５に示す。
【００３３】
ステップS２：ＶＭのマイグレーションを実施する。
【００３４】
ステップS２の詳細な動作を、図６、図７を用いて説明する。
【００３５】
スイッチコントローラ３００は、ＶＭホストマシンへのＡＰＩを通し、マイグレーションを実施する構成情報を明確化する。明確化する対象の中にはマイグレーション先のどのＨＢＡをＶＭが利用するのかという情報が含まれている。この情報により、スイッチコントローラ３００は内部の管理テーブル３０１を図７のように変更する。
【００３６】
次いで、スイッチコントローラ３００は、ＶＭホストマシンＡへマイグレーション実施の合図を送信する。
【００３７】
ステップＳ３：ホストマシンＢ上のＶＭ−ＡがストレージＡへアクセスするよう、ＦＣスイッチ上でＨＢＡ情報の設定を実施する。
【００３８】
ステップＳ３の詳細な動作を、図８、図９を用いて説明する。
【００３９】
まず、図８を用いて説明する。
【００４０】
スイッチコントローラ３００は、ＨＢＡ−Ａが接続されているＦＣスイッチＡに対し、ＨＢＡ−ＡからのＩ／Ｏの停止を確認するよう指示する。Ｉ／Ｏの停止は、一定時間Ｉ／Ｏが無いことを確認するか、ＨＢＡ−ＡからのＬＯＧＯ（Ｎ  Ｐｏｒｔ  Ｌｏｇｏｕｔ）を確認することにより判断する（ＬＯＧＯを発行しない場合、ＨＢＡはハードウェアとしては接続されたままの状態なので、ファブリックにもログインしたままの状態となる）。
【００４１】
マイグレーションの指示は既にＶＭホストマシンＡへ発行済みのため、しばらくするとＩ／Ｏが停止し、マイグレーションが実施される。Ｉ／Ｏが停止したのを確認したら、ＦＣスイッチＡはスイッチコントローラ３００にＩ／Ｏの停止を通知する。
【００４２】
Ｉ／Ｏの停止を知らせる通知を受けたら、スイッチコントローラ３００はＶＭ−Ａのマイグレーション先であるＨＢＡ−Ｂが接続されたＦＣスイッチＢへ、ＨＢＡ−Ｂの情報を置き換えるよう指示する。
【００４３】
ここから図９を用いて説明する。
【００４４】
置き換えの指示が届いたら、ＦＣスイッチＢはゾーニング設定を確認する。
【００４５】
ゾーニング設定が、ＨＢＡ−Ｂの接続ポート２３１からストレージＡまたはポート１３２へアクセスできないような設定（ポートゾーニングなど）であった場合、ＦＣスイッチＢは、ＨＢＡ−Ａのゾーニング設定を参考にし、ＨＢＡ−Ｂの接続ポートからもＬＵＮ−Ａへアクセスできるよう、適切にゾーニング設定を実施する。
【００４６】
ＷＷＮゾーニングの場合、ＷＷＮは置き換えを実施するので問題なくアクセス可能である。このゾーニング設定内容は、後で解除するためにログとして残しておく。またこの時、上位のＶＭは無いもののＨＢＡ−Ｂ２２０は接続されている状態のため、ＨＢＡ−Ｂ２２０はＦＬＯＧＩ（ファブリックログイン）済みの状態である。
【００４７】
ゾーニング設定の後、ＦＣスイッチＢは、置き換えた後のＨＢＡ−Ａとしての情報をＲＳＣＮを用いてファブリックへ通知する。該通知により、ファブリックのネームサーバでは、以前のＨＢＡ−Ａの情報が残っていたとしても、変更されたものとして古い情報は削除され、新しい情報になる。このため、ファブリック全体では、ＨＢＡ−Ａが別のポートから接続されたのと同様の状態になる。
【００４８】
また、ＦＣスイッチＢおよびスイッチコントローラ３００で上記の操作が行われている間に、ＶＭホストＢではＶＭ−Ａのマイグレーションが完了する。この時、ＶＭ−ＡからＨＢＡ−Ｂを初めて認識するが、これはプラグアンドプレイにより問題なく認識するものとする。またホスト側のドライバのバインド設定（バインディング設定）も自動で行われることとする。これらは今日の実装上このようになっていることが多いためである。
【００４９】
ステップＳ４：ＶＭ−ＡはストレージＡ上のＬＵＮ−Ａへアクセスする。
【００５０】
ステップＳ４の詳細な動作を、図１０、図１１、図１２を用いて説明する。
【００５１】
ＶＭ−Ａのマイグレーションが完了した後、ＶＭ−ＡはＬＵＮ−Ａへアクセスを試みる（マイグレーション前と同じ情報でアクセスする）。
【００５２】
ＶＭ−ＡがＦＣスイッチＢのポート２３１にアクセスした際、該アクセスに係るデータがＰＬＯＧＩ等のＷＷＮを伴うデータの場合、フレームのＷＷＮを置き換えて（ＨＢＡ−ＢからＨＢＡ−Ａに置き換えて）転送される。ＷＷＮを伴わないデータの場合は、宛先情報（Ｄ＿ＩＤ）や送信元情報（Ｓ＿ＩＤ）は手を入れない。ＷＷＮの置き換えはソフトウェアで実行されるが、ＤＦ＿ＣＴＬのフラグを見てオプショナルヘッダが無い場合（ＤＦ＿ＣＴＬ＝００ｈの場合）は何もしないため、手を入れない場合は高速に処理可能である。
【００５３】
ＷＷＮ置き換え処理の完了後、ＦＣスイッチＢからＨＢＡ−Ａとしてデータ転送される。アクセス経路の確保は既にできているため、ＶＭ−Ａからアクセスした場合、ファブリックは特別な操作なく、スイッチＡのポート１３２を通り、ストレージＡへアクセスされる。
【００５４】
ストレージＡはＨＢＡ−Ａからのアクセスとして処理を行い、ＨＢＡ−Ａへ向けて結果を返す。ＨＢＡ−Ａへ帰す際もＨＢＡ−Ａとしてファブリック内を通り、ＦＣスイッチＢに到達する。ＦＣスイッチＢはポート２３１へのデータであることがわかると、ＷＷＮ情報が含まれている場合は置き換えを実施し（ＨＢＡ−ＡからＨＢＡ−Ｂへ置き換えて）、ＨＢＡ−Ｂへと返す。
【００５５】
ステップＳ５：ステップＳ４のアクセスを保持しながら、ストレージのデータマイグレーションを開始する。
【００５６】
次に、ステップＳ５の詳細な動作を、図１３を用いて説明する。
【００５７】
本ステップでは、ＶＭ−ＡからＬＵＮ−Ａへのアクセスは維持したまま、ストレージのデータマイグレーションを実施する。
【００５８】
まず、スイッチコントローラ３００が、マイグレーション元のストレージＡに対し、ストレージＢへのデータコピーを指示する。ストレージＡ及びストレージＢは、ストレージ間のデータコピーに対応したストレージであるので、ＡＰＩによって指示することでコピーが可能である。
【００５９】
なお、接続方法や転送方法などは本発明内では定義しない。データコピー中に元データ（ストレージＡのデータ）の変更が実施された場合は、随時反映させる。
【００６０】
またこの時、コピー先のＬＵＮ−Ａ'に対し、スイッチコントローラ３００はＬＵ（Logical Unit ）マスキングの設定を指示する。ＶＭ−Ａがマイグレーションした先で利用するＨＢＡ−Ｂからのアクセスを許可するように設定を実施する。なお、ファブリック上にはＨＢＡ−Ｂとして見える機器は接続されていないため、このコピー途中の状態で不適切にアクセスされることはない。
【００６１】
ステップＳ６：ＦＣスイッチＢがストレージ移行情報をテーブルとして管理する。
【００６２】
次に、ステップＳ６の詳細な動作を説明する。
【００６３】
マスキングの設定後、スイッチコントローラ３００はＬＵＮ−Ａのマイグレーション情報をまとめ、図１４のテーブルのような形で持つ。このテーブルを参照することで、旧ＬＵＮがどこへマイグレーションされたのかわかるように情報を保持する。
【００６４】
本実施例では、ストレージ固有のシリアル番号と、ストレージ内で一意となるＬＵＮ番号を保持する形を挙げる。この情報であれば、ストレージ上のどのポートに接続しても特定可能である。またこのテーブルで示されるＬＵＮのマイグレーション情報は、ファブリックにも配布し、ファブリックに接続する機器であればＡＰＩなどで情報を取得できるようにする。
【００６５】
ステップＳ７：ＶＭ−ＡからストレージＡへのアクセスをリセットさせる。
【００６６】
ステップ７については、リセット処理を行うだけであるため、詳細な動作の説明は省略する。
【００６７】
８．ＦＣスイッチＡが、ステップＳ３で実施した設定を解除する。
【００６８】
次に、ステップＳ８の詳細な動作を、図１５を用いて説明する。
【００６９】
ＬＵＮ−Ａからの既存部分のコピーが完了し、随時実施される変更部分のコピーだけの状態になったところで、ストレージＡはスイッチコントローラ３００へその状態を返す。
【００７０】
スイッチコントローラ３００は該通知を受け取ると、ＦＣスイッチＢへＨＢＡ−Ｂの置き換え設定をリセットするよう指示を出し、それと同時にストレージＡへ全てのコピーを完了させるように指示する。
【００７１】
するとＦＣスイッチＢはＨＢＡ−Ｂに対してリンクリセットを発行する。それと同時にＨＢＡ−ＢをＨＢＡ−Ａに置き換える設定（ステップＳ３で実施したもの）をクリアし、ファブリック内でもＨＢＡ−Ａの設定がクリアされるようにＲＳＣＮを発行する。ゾーニング設定もＨＢＡ−Ａに関するものは解除する。
【００７２】
リンクリセットを受け取ったＨＢＡ−Ｂは繋ぎ直しを実施する。この時ＨＢＡ情報の置き換え設定はクリアされているため、通常通りのＦＬＯＧＩの手順を実施し、ＨＢＡ−Ｂが接続されたことがファブリックへ伝達される。しかし、ストレージＡはＨＢＡ−Ｂからは見えないので到達できない。
【００７３】
ステップＳ９：ＶＭ−Ａが移行情報をＦＣスイッチＡから取得し、マイグレーションが実施されたストレージＢへ接続を試みる。
【００７４】
次に、ステップＳ９の詳細な動作を、図１６を用いて説明する。
【００７５】
リンクリセット後に再接続できないという状況になったＨＢＡ−Ｂは、ファブリックへ問い合わせを実施し、ＬＵＮのマイグレーション情報が登録されていないかチェックを実施する。ステップＳ５で設定したＬＵＮのマイグレーション情報が見つかり、ＬＵＮ−ＡはＬＵＮ−Ａ'にマイグレーションしたことがわかる。マイグレーション先が発見できたら、マイグレーションによりアクセス対象に変更があることを上位のＶＭ−Ａへ伝達する（伝達は通常のエラーとは異なることが分かればいい。その場合は改めてＶＭ−Ａでファブリックに問い合わせを実施し、変更内容を得る。）。
【００７６】
次にＶＭ−Ａはアクセス対象の変更を実施し、ストレージＢのＬＵＮ−Ａ'へアクセスを試みる。すると通常通りにアクセスできる。
【００７７】
ステップＳ１０：ＶＭ−ＡはストレージＢ上のＬＵＮ−Ａ'へアクセスできる。
【００７８】
ステップＳ９の通り、ＶＭ−ＡはＬＵＮ−Ａ'へアクセスすることができるようになったので、マイグレーション後の環境で通常通りのＩ／Ｏを実施できる（図１６）。
【００７９】
（第１の実施の形態による効果）
本実施の形態によれば、ＶＭが物理ＨＢＡを占有し、ディスクにダイレクトにアクセスする環境において、ＶＭ稼働中のマイグレーションが可能となる。
【００８０】
また、本実施の形態によれば、ストレージのマイグレーション時、Ｉ／Ｏの停止時間を少なくできる。
【００８１】
ここで、本発明の課題を解決できる最小限の構成を図１９に示す。
仮想化システム１０００が、仮想マシン１１０が動作する複数のホストマシン１００又は２００と、ホストマシン１００又は２００とファイバチャネルスイッチ１３０又は２３０を介して接続される複数のストレージ１４０又は２４０と、スイッチコントローラ３００を備え、スイッチコントローラ３００が、ホストマシン１００又は２００に仮想マシン１１０のマイグレーションを指示するマイグレーション管理手段を含み、マイグレーション管理手段が、マイグレーション後の仮想マシン１１０がマイグレーション元で使用していたストレージへアクセスできるように、マイグレーション先に接続されるファイバチャネルスイッチに対し、ホストバス情報の設定を指示することで、上述した本発明の課題を解決することができる。
【００８２】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明を行う。
【００８３】
本実施の形態では、ＦＣスイッチによるＨＢＡ情報の置き換えを実施する代わりに、ＨＢＡの情報を変更する。それ以外については第１の実施の形態と同様のため、説明を省略する。
【００８４】
（第２の実施の形態の動作の説明）
次に、本実施の形態による仮想化システム１０００の動作について、図面を参照して詳細に説明する。
【００８５】
構成環境は第１の実施の形態と同様である。以下、第１の実施の形態で説明したステップＳ１〜ステップＳ１０に対応させて本実施の形態の動作を説明する。
【００８６】
ステップＳ１については、第１の実施の形態と同様である。
【００８７】
ステップＳ２については、本実施の形態では以下のように動作する。
【００８８】
マイグレーション実施前に、マイグレーション先のどのＨＢＡを利用するのかを明確化する。その後、そのマイグレーション先のＶＭホストマシンＢ上のＨＢＡ−ＢのＷＷＮ（ＷＷＰＮ，ＷＷＮＮ）情報をＨＢＡ−Ａの情報で置き換えるようスイッチコントローラ３００から指示を出す。
【００８９】
指示を受ける側のつくりは実装により異なって良いが、例を図１８に挙げる。ＶＭホスト側に連携ソフトウェア２０１を配置し、スイッチコントローラ３００からの指示はここで受ける。また連携ソフトウェア２０１はＨＢＡのファームウェア２２１と情報を交換し、ＨＢＡのファームウェア（２１がＨＢＡのＷＷＮ情報を置き換える形である。
【００９０】
なお、この指示はステップＳ３においてマイグレーションを実施中の状態で実施しても良い。ＶＭ−ＡがホストＢで稼動する前までに実施することが必要である。
【００９１】
その後、ＷＷＮが変更されたことからＨＢＡはファブリックに対してＦＬＯＧＩを実施する。これによりＨＢＡ−Ａが移動したような形でファブリックからは見える。
【００９２】
ステップＳ３については、本実施の形態では以下のように動作する。
【００９３】
第１の実施例と同様に、ゾーニング設定を確認・変更する。ＨＢＡ−Ｂの接続ポート２３１からストレージＡまたはポート１３２へアクセスできないようなゾーニング設定（ポートゾーニングなど）であった場合、ＨＢＡ−Ａ（またはポート１３２）のゾーニング設定を参考にし、ＨＢＡ−Ｂの接続ポートからもアクセスできるよう、適切にゾーニング設定を実施する。
【００９４】
ステップＳ４〜Ｓ７については、第１の実施の形態と同様である。
【００９５】
ステップＳ８については、本実施の形態では以下のように動作する。
【００９６】
コントローラはＨＢＡ−Ｂの置き換え情報をリセットするようにＶＭホスト側に指令を出し、ＨＢＡはＩ／Ｏを一旦止め、ＬＯＧＯする。そしてＷＷＮの置き換えを戻す。またコントローラは同時にスイッチにも指令を出し、ゾーニング設定などを戻す。
【００９７】
設定完了後、ＨＢＡ−Ｂは繋ぎ直しを実施する。この時ＨＢＡ情報の置き換え設定はクリアされているため、通常通りのＦＬＯＧＩの手順を実施し、ＨＢＡ−Ｂが接続されたことがファブリックへ伝達される。しかし、ストレージＡはＨＢＡ−Ｂからは見えないので到達できない。
【００９８】
ステップＳ９、Ｓ１０については、第１の実施の形態と同様である。
【００９９】
以上、好ましい実施の形態をあげて本発明を説明したが、本発明は必ずしも、上記実施の形態に限定されるものでなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１００】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【０１０１】
また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
【０１０２】
また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施する時には、その複数の手順の順番は内容的に支障しない範囲で変更することができる。
【０１０３】
また、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
【０１０４】
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
【０１０５】
（付記１）
仮想マシンが動作する複数のホストマシンと、
前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、
スイッチコントローラとを備え、
前記スイッチコントローラが、
前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、
前記マイグレーション管理手段が、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とする仮想化システム。
【０１０６】
（付記２）
前記ファイバチャネルスイッチが、
前記マイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認手段と、
前記ゾーニング設定が、マイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定手段とを含む
ことを特徴とする付記１に記載の仮想化システム。
【０１０７】
（付記３）
前記設定手段が、
ゾーニング設定の実施後、その情報をＲＳＣＮを用いてファブリックへ通知することを特徴とする付記２に記載の仮想化システム。
【０１０８】
（付記４）
前記スイッチコントローラが、
前記ホストマシンの名称及び一意な識別番号と、前記ホストマシン上にある前記仮想マシンの名称及び一意な識別番号と、前記仮想マシンに関連付けられたホストバスアダプタのＷＷＮ情報とを含む情報を、前記ホストマシンへのＡＰＩを通して取得する取得手段と、
前記仮想マシンと前記ホストバスアダプタの関連付けを管理テーブルで管理する管理手段とを含む
ことを特徴とする付記１から付記３の何れか１項に記載の仮想化システム。
【０１０９】
（付記５）
前記マイグレーション管理手段が、
マイグレーション元の前記ストレージに対し、マイグレーション先のストレージへのデータコピーを指示すると共に、マイグレーション先の前記ストレージに対し、コピー中のデータにＬＵマスキングの設定を指示する
ことを特徴とする付記１から付記４の何れか１項に記載の仮想化システム。
【０１１０】
（付記６）
前記マイグレーション管理手段が、
前記ストレージのマイグレーション情報をテーブルとして管理することを特徴とする付記５に記載の仮想化システム。
【０１１１】
（付記７）
前記前記ストレージのマイグレーション情報が、前記ストレージ固有のシリアル番号と、コピーされたデータに係る論理ユニット番号とを含むことを特徴とする付記６に記載の仮想化システム。
【０１１２】
（付記８）
前記ファイバチャネルスイッチが、
前記ストレージのデータの移行情報をテーブルとして管理するストレージ移行情報管理手段を含むことを特徴とする付記５から付記７の何れか１項に記載の仮想化システム。
【０１１３】
（付記９）
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるスイッチコントローラであって、
前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理手段を含み、
前記マイグレーション管理手段が、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするスイッチコントローラ。
【０１１４】
（付記１０）
前記ホストマシンの名称及び一意な識別番号と、前記ホストマシン上にある前記仮想マシンの名称及び一意な識別番号と、前記仮想マシンに関連付けられたホストバスアダプタのＷＷＮ情報とを含む情報を、前記ホストマシンへのＡＰＩを通して取得する取得手段と、
前記仮想マシンと前記ホストバスアダプタの関連付けを管理テーブルで管理する管理手段とを含む
ことを特徴とする付記９に記載のスイッチコントローラ。
【０１１５】
（付記１１）
前記マイグレーション管理手段が、
マイグレーション元の前記ストレージに対し、マイグレーション先のストレージへのデータコピーを指示すると共に、マイグレーション先の前記ストレージに対し、コピー中のデータにＬＵマスキングの設定を指示する
ことを特徴とする付記９又は付記１０に記載のスイッチコントローラ。
【０１１６】
（付記１２）
前記マイグレーション管理手段が、
前記ストレージのマイグレーション情報をテーブルとして管理することを特徴とする付記１１に記載のスイッチコントローラ。
【０１１７】
（付記１３）
前記前記ストレージのマイグレーション情報が、前記ストレージ固有のシリアル番号と、コピーされたデータに係る論理ユニット番号とを含むことを特徴とする付記１２に記載のスイッチコントローラ。
【０１１８】
（付記１４）
仮想マシンが動作するホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるファイバチャネルスイッチであって、
前記スイッチコントローラのマイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認手段と、
前記ゾーニング設定が、前記仮想マシンのマイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定手段とを含む
ことを特徴とするファイバチャネルスイッチ。
【０１１９】
（付記１５）
前記設定手段が、
ゾーニング設定の実施後、その情報をＲＳＣＮを用いてファブリックへ通知することを特徴とする請求１４に記載の仮想化システム。
【０１２０】
（付記１６）
前記ストレージのデータの移行情報をテーブルとして管理するストレージ移行情報管理手段を含むことを特徴とする付記１４又は付記１５に記載のの仮想化システム。
【０１２１】
（付記１７）
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーション方法であって、
前記スイッチコントローラが備えるマイグレーション管理手段が、前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理ステップを有し、
前記マイグレーション管理ステップで、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするマイグレーション方法。
【０１２２】
（付記１８）
前記ファイバチャネルスイッチが備える確認手段が、前記マイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認ステップと、
前記ファイバチャネルスイッチが備える設定手段が、前記ゾーニング設定が、マイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定ステップとを有する
ことを特徴とする付記１７に記載のマイグレーション方法。
【０１２３】
（付記１９）
前記設定ステップで、
ゾーニング設定の実施後、その情報をＲＳＣＮを用いてファブリックへ通知することを特徴とする付記１８に記載のマイグレーション方法。
【０１２４】
（付記２０）
前記スイッチコントローラが備える取得手段が、前記ホストマシンの名称及び一意な識別番号と、前記ホストマシン上にある前記仮想マシンの名称及び一意な識別番号と、前記仮想マシンに関連付けられたホストバスアダプタのＷＷＮ情報とを含む情報を、前記ホストマシンへのＡＰＩを通して取得する取得ステップと、
前記スイッチコントローラが備える管理手段が、前記仮想マシンと前記ホストバスアダプタの関連付けを管理テーブルで管理する管理スッテプとを有する
ことを特徴とする付記１７から付記１９の何れか１項に記載のマイグレーション方法。
【０１２５】
（付記２１）
前記マイグレーション管理ステップで、
マイグレーション元の前記ストレージに対し、マイグレーション先のストレージへのデータコピーを指示すると共に、マイグレーション先の前記ストレージに対し、コピー中のデータにＬＵマスキングの設定を指示する
ことを特徴とする付記１７から付記２０の何れか１項に記載のマイグレーション方法。
【０１２６】
（付記２２）
前記マイグレーション管理ステップで、
前記ストレージのマイグレーション情報をテーブルとして管理することを特徴とする付記２１に記載のマイグレーション方法。
【０１２７】
（付記２３）
前記前記ストレージのマイグレーション情報が、前記ストレージ固有のシリアル番号と、コピーされたデータに係る論理ユニット番号とを含むことを特徴とする付記２２に記載のマイグレーション方法。
【０１２８】
（付記２４）
前記ファイバチャネルスイッチが備えるストレージ移行情報管理手段が、前記ストレージのデータの移行情報をテーブルとして管理するストレージ移行情報管理ステップを有することを特徴とする付記２１から付記２３の何れか１項に記載のマイグレーション方法。
【０１２９】
（付記２５）
仮想マシンが動作する複数のホストマシンと、前記ホストマシンとファイバチャネルスイッチを介して接続される複数のストレージと、スイッチコントローラを備える仮想化システムにおけるマイグレーションプログラムであって、
前記スイッチコントローラが備えるマイグレーション管理手段に、前記ホストマシンに前記仮想マシンのマイグレーションを指示するマイグレーション管理処理を実行させ、
前記マイグレーション管理処理で、
マイグレーション後の前記仮想マシンがマイグレーション元で使用していた前記ストレージへアクセスできるように、前記マイグレーション先に接続される前記ファイバチャネルスイッチに対し、ホストバス情報の設定を指示する
ことを特徴とするマイグレーションプログラム。
【０１３０】
（付記２６）
前記ファイバチャネルスイッチが備える確認手段に、前記マイグレーション管理手段からホストバス情報の設定指示を受けた場合、ゾーニング設定を確認する確認処理を実行させ、
前記ファイバチャネルスイッチが備える設定手段に、前記ゾーニング設定が、マイグレーション先の前記ホストマシンのホストバスアダプタからマイグレーション元で前記仮想マシンが使用していたストレージへアクセスできない設定であった場合、マイグレーション元の前記ホストバスアダプタのゾーニング設定を参考にし、当該ストレージにアクセスできるようにゾーニング設定を実施する設定処理を実行させる
ことを特徴とする付記２５に記載のマイグレーションプログラム。
【０１３１】
（付記２７）
前記設定処理で、
ゾーニング設定の実施後、その情報をＲＳＣＮを用いてファブリックへ通知することを特徴とする付記２６に記載のマイグレーションプログラム。
【０１３２】
（付記２８）
前記スイッチコントローラが備える取得手段に、前記ホストマシンの名称及び一意な識別番号と、前記ホストマシン上にある前記仮想マシンの名称及び一意な識別番号と、前記仮想マシンに関連付けられたホストバスアダプタのＷＷＮ情報とを含む情報を、前記ホストマシンへのＡＰＩを通して取得する取得処理を実行させ、
前記スイッチコントローラが備える管理手段に、前記仮想マシンと前記ホストバスアダプタの関連付けを管理テーブルで管理する管理処理を実行させる
ことを特徴とする付記２５から付記２７の何れか１項に記載のマイグレーションプログラム。
【０１３３】
（付記２９）
前記マイグレーション管理処理で、
マイグレーション元の前記ストレージに対し、マイグレーション先のストレージへのデータコピーを指示すると共に、マイグレーション先の前記ストレージに対し、コピー中のデータにＬＵマスキングの設定を指示する
ことを特徴とする付記２５から付記２８の何れか１項に記載のマイグレーションプログラム。
【０１３４】
（付記３０）
前記マイグレーション管理処理で、
前記ストレージのマイグレーション情報をテーブルとして管理することを特徴とする付記２９に記載のマイグレーションプログラム。
【０１３５】
（付記３１）
前記前記ストレージのマイグレーション情報が、前記ストレージ固有のシリアル番号と、コピーされたデータに係る論理ユニット番号とを含むことを特徴とする付記３０に記載のマイグレーションプログラム。
【０１３６】
（付記３２）
前記ファイバチャネルスイッチが備えるストレージ移行情報管理手段に、前記ストレージのデータの移行情報をテーブルとして管理するストレージ移行情報管理処理を実行させることを特徴とする付記２９から付記３１の何れか１項に記載のマイグレーションプログラム。
【符号の説明】
【０１３７】
１００：ＶＭホストマシンＡ
１１０：ＶＭ−Ａ
１２０：ＨＢＡ−Ａ
１３０：ファイバチャネルスイッチＡ
１３１：ファイバチャネルスイッチＡのポート
１３２：ファイバチャネルスイッチＡのポート
１４０：ストレージＡ
１４１：ストレージＡ内のＬＵＮ−Ａ
１５０：ＨＢＡ−ＡとファイバチャネルスイッチＡとを接続するＦＣケーブル
１５１：ファイバチャネルスイッチＡとストレージＡとを接続するＦＣケーブル
１５２：ファイバチャネルスイッチＡとファイバチャネルスイッチＢとを接続するＦＣケーブル
２００：ＶＭホストマシンＢ
２２０：ＨＢＡ−Ｂ
２３０：ファイバチャネルスイッチＢ
２３１：ファイバチャネルスイッチＢのポート
２３２：ファイバチャネルスイッチＢのポート
２４０：ストレージＢ
２５０：ＨＢＡ−ＢとファイバチャネルスイッチＢとを接続するＦＣケーブル
２５１：ファイバチャネルスイッチＢとストレージＢとを接続するＦＣケーブル
３００：スイッチコントローラ
３３０〜３３５：コントローラを接続する接続ケーブル
４００：ネットワークスイッチ
１０００：仮想化システム
【図１】
0006007547.tif 000002
【図２】
0006007547.tif 000003
【図３】
0006007547.tif 000004
【図４】
0006007547.tif 000005
【図５】
0006007547.tif 000006
【図６】
0006007547.tif 000007
【図７】
0006007547.tif 000008
【図８】
0006007547.tif 000009
【図９】
0006007547.tif 000010
【図１０】
0006007547.tif 000011
【図１１】
0006007547.tif 000012
【図１２】
0006007547.tif 000013
【図１３】
0006007547.tif 000014
【図１４】
0006007547.tif 000015
【図１５】
0006007547.tif 000016
【図１６】
0006007547.tif 000017
【図１７】
0006007547.tif 000018
【図１８】
0006007547.tif 000019
【図１９】
0006007547.tif 000020