(57)【特許請求の範囲】
【請求項１】
複数の物理計算機が有する複数の物理アダプタに設定する設定情報により前記複数の物理計算機からアクセス可能な論理資源が制限され、第１の仮想計算機を実行する第１の物理計算機と、仮想計算機を実行可能な第２の物理計算機とを備えて、前記第１の仮想計算機を前記第２の物理計算機で実行可能か否かを検査する方法であって、
前記第１の仮想計算機がアクセスする第１の論理資源の情報を取得するステップと、
前記第１の仮想計算機から前記第１の論理資源へアクセスするために前記第１の物理計算機の第１の物理アダプタに設定する設定情報を取得するステップと、
前記第２の物理計算機の第２の物理アダプタに前記取得した設定情報を設定し、前記第２の物理計算機で前記第１の仮想計算機を実行したときに前記設定情報を設定した第２の物理アダプタからアクセス可能な第２の論理資源を列挙するステップと、
前記第１の論理資源と前記第２の論理資源とを比較して、前記第２の物理計算機で前記第１の仮想計算機を実行可能か否かを判定するステップと、
を含むことを特徴とする仮想計算機の実行可否検査方法。
【請求項２】
請求項１に記載の仮想計算機の実行可否検査方法であって、
前記第１及び第２の論理資源がストレージ装置内の論理ボリュームであって、前記設定情報が前記ストレージ装置に接続する第２の物理アダプタに設定するデータであることを特徴とする仮想計算機の実行可否検査方法。
【請求項３】
請求項２に記載の仮想計算機の実行可否検査方法であって、
前記設定情報がストレージ装置に接続するファイバチャネルアダプタに設定するポートの識別子であることを特徴とする仮想計算機の実行可否検査方法。
【請求項４】
請求項１に記載の仮想計算機の実行可否検査方法であって、
前記第１及び第２の論理資源が第１の仮想計算機の実行中にアクセスする計算機を特定するデータであって、前記設定情報が前記計算機にアクセスするネットワークに接続するネットワークアダプタに設定するデータであることを特徴とする仮想計算機の実行可否検査方法。
【請求項５】
請求項４に記載の仮想計算機の実行可否検査方法であって、
前記設定情報が仮想ネットワークに関する設定のデータであることを特徴とする仮想計算機の実行可否検査方法。
【請求項６】
請求項１ないし請求項５のいずれかひとつに記載の仮想計算機の実行可否検査方法であって、
前記第２の論理資源を列挙するステップは、
前記第２の論理資源へのアクセスの可否を検査する第２の物理アダプタが、当該第２の論理資源を列挙する時点で第２の物理計算機で実行中の仮想計算機に占有割り当てされている場合には、当該第２の物理アダプタを前記第２の論理資源の検査対象から除外し、他の仮想計算機に未割り当てである他の物理アダプタから接続可能な第２の論理資源について列挙し、さらに他の物理アダプタの占有割り当てによる第２の論理資源へのアクセスが可能であるか否かの情報も取得することを特徴とする仮想計算機の実行可否検査方法。
【請求項７】
複数の物理計算機が有する複数の物理アダプタに設定する設定情報により前記複数の物理計算機からアクセス可能な論理資源が制限され、第１の仮想計算機を実行する第１の物理計算機と、仮想計算機を実行可能な複数の第２の物理計算機とを備えて、前記第１の仮想計算機を前記第２の物理計算機で実行可能か否かを検査する方法であって、
前記第１の仮想計算機がアクセスする第１の論理資源の情報を取得するステップと、
前記第１の仮想計算機から前記第１の論理資源へアクセスするために前記第１の物理計算機の第１の物理アダプタに設定する設定情報を取得するステップと、
前記第２の物理計算機の第２の物理アダプタに前記取得した設定情報を設定し、前記第２の物理計算機で前記第１の仮想計算機を実行したときに前記設定情報を設定した第２の物理アダプタからアクセス可能な第２の論理資源を列挙するステップと、
前記第１の論理資源と前記第２の論理資源とを比較して、前記第２の物理計算機で前記第１の仮想計算機を実行可能か否かを判定するステップと、
前記複数の第２の物理計算機のうち、前記第１の仮想計算機を実行可能と判定された第２の物理計算機を列挙するステップと、
を含むことを特徴とする仮想計算機の実行可否検査方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想計算機機構や論理分割機構により複数のゲストＯＳを実行する計算機システムの管理に関する。特に、仮想計算機をあるホスト計算機上で実行する時に、その仮想計算機が利用するストレージボリュームやネットワークにアクセス可能かどうかを、仮想計算機をホスト計算機で実行する前に判定する方法及びシステムに関する。
【背景技術】
【０００２】
１台の物理計算機上に仮想的な計算機を構成し、複数のオペレーティングシステム（ＯＳ）を並行して実行する技術が広く普及し始めている。これらを実現する技術としては、仮想計算機システムと論理分割システム（ＬＰＡＲ）の２つがある。これらの技術によって実行するＯＳをゲストＯＳと呼ぶ。
【０００３】
仮想計算機システムは、仮想計算機モニタ(ＶＭＭ)と呼ばれる制御ソフトウェアが、物理計算機のハードウェアやプロセッサの動作を制御する特別なレジスタ（制御レジスタ）を仮想化し、複数の仮想的な計算機（ＶＭ）を作り出す。ゲストＯＳは、ＶＭＭが作り出したＶＭ上で実行する。具体的には、ＶＭＭはゲストＯＳが実行するＩ／Ｏ命令や制御レジスタ操作等のＣＰＵの特権命令をトラップしてエミュレートし、仮想計算機環境を作り出す。仮想計算機システムでは、複数のゲストＯＳが１つの物理Ｉ／Ｏデバイスを共有できる。これは、ＶＭＭが、ゲストＯＳに見せている仮想的なＩ／Ｏデバイスへのアクセスをトラップして、実際の物理デバイスへのアクセスに変換して処理（エミュレート）するためである。これによって、物理計算機に搭載されている物理的なＩ／Ｏデバイスへの依存度の低い、柔軟な仮想計算機環境を実現できる。
【０００４】
仮想計算機システムのＩ／Ｏ制御では、ゲストＯＳによるＩ／Ｏ操作はＶＭＭがエミュレートするためオーバーヘッドが発生する。また、仮想計算機のＶＭＭは他の並行実行しているゲストＯＳのＩ／Ｏ操作もエミュレートするため、オーバーヘッドが他のゲストＯＳの処理にも依存し、性能予測が難しいという課題がある。
【０００５】
一方、論理分割システムは、ハイパバイザと呼ばれる制御ソフトウェアが物理計算機の資源を論理的に分割することによって、複数の仮想計算機を作り出す。ハイパバイザは、プロセッサや他のハードウェアが参照するテーブルやレジスタを操作して、物理計算機を論理的に分割する。ゲストＯＳは、ハイパバイザによって論理的に分割された区画（論理パーティション）内で実行する。ゲストＯＳが実行する命令は、エミュレートされることなくプロセッサで直接実行される。このため、ゲストＯＳは同じ物理計算機で実行する他のゲストＯＳの影響を受け難く、高性能かつ高信頼な仮想計算機環境を実現できる。一方、論理分割システムはハードウェア資源を分割することによって複数の仮想計算機を作り出すため、Ｉ／Ｏデバイスを複数のゲストＯＳで共有することはできない。論理分割システムにおいてゲスト間でＩ／Ｏデバイスを共有するには、デバイス側の対応が必要となる。
【０００６】
以上のように、仮想計算機は特権命令のエミュレーションによって、論理分割はハイパバイザによる物理計算機の分割によって、ゲストＯＳが実行する仮想的な計算機を構成する。
【０００７】
これらの技術は、従来は主にメインフレーム級の計算機で実現されていた。これらを高性能で実現するには、仮想計算機に対応したプロセッサ、ＶＭＭのエミュレーション処理をハードウェアで実行する機構等、特別なハードウェアが必要だったためである。近年のプロセッサの性能向上や仮想化機構の取り込みにより、これらの処理をプロセッサで実行しても十分な性能が得られるようになったため、仮想計算機や論路分割システムはメインフレーム以外の一般の計算機にも普及し始めている。
【０００８】
仮想計算機システムでは、ある計算機上で定義されたＶＭを、ＶＭＭが実行している他の計算機上でも実行できるという特徴がある。稼働中のＶＭを停止させることなく他の計算機に移動すること（マイグレーション）も可能となっている。移動先の計算機のＶＭＭが移動対象のＶＭが必要とするＩ／Ｏデバイスを、元々定義されたＩ／Ｏデバイスの設定と同じようにエミュレートするよう構成できれば、移動先の計算機上で移動前とまったく同じにＶＭを実行できる。
【０００９】
これらの技術を用いて、複数の物理計算機で実行しているシステムを一台の物理計算機への統合したり、計算機の負荷に応じたゲストＯＳのマイグレーションによる負荷バランスや、計算機障害時のゲストＯＳのマイグレーションによる計算機システムの高可用化等が実現されている。このようなシステム内の計算機へのＶＭの配置の例としては、特許文献１に計算機の稼働状況に応じてＶＭを再配置する方法が開示されている。
【００１０】
また、仮想計算機では、ゲストＯＳから直接Ｉ／Ｏデバイスを操作可能とするハードウェア機構が実現されている。この１つにＩ／Ｏアドレス変換機構がある。通常、Ｉ／ＯデバイスにＤＭＡによるデータ転送を指示する場合、ＯＳはＩ／Ｏデバイスにデータ転送先の物理アドレスを指定する。ＯＳが仮想計算機で実行される場合、ゲストＯＳが指示する物理アドレスはＶＭＭによって仮想化された物理アドレスであり、実際の物理アドレスではない。一方、Ｉ／Ｏデバイスから見える物理アドレス空間は実際の物理アドレス空間である。Ｉ／Ｏアドレス変換機構は、Ｉ／ＯデバイスからのＤＭＡ転送の転送先アドレスを、Ｉ／Ｏデバイスを使用しているゲストＯＳに対応して変換し、ゲストＯＳに割り当てられている物理メモリ領域にデータが転送されるようにする。ＶＭＭがゲストＯＳの構成やメモリ割り当ての状態に従ってＩ／Ｏアドレス変換機構を設定すれば、ゲストＯＳは実際の物理メモリアドレスを知らなくとも、Ｉ／Ｏデバイスに直接Ｉ／Ｏ指示を出すことが可能となる。Ｉ／Ｏアドレス変換機構は、例えば、非特許文献１のように実現される。
【００１１】
ストレージ装置やネットワークに関して、計算機とストレージ装置、計算機とネットワークをスイッチにより接続し、計算機側のアダプタの機能やスイッチの機能によって、計算機から接続可能な論理ボリュームやネットワーク装置を制限できる。これらの機能の例としては、ストレージではファイバチャネルによるゾーニング、ネットワークではイーサーネット（登録商標）によるＶＬＡＮといった技術が存在している。これらの技術によってストレージ装置の接続やネットワークを論理的に分割することが可能となり、これによってスループットの向上やシステムのセキュリティの向上が実現されている。
【特許文献１】米国特許出願公開第２００６／００６９７号明細書
【非特許文献１】“AMD I/O Virtualization  Technology (IOMMU) Specification、" pp.14、 "2.2.5 Virtual Machine Guest Access to Devices、" [online]、 2006年2月掲載、米国AMD社、2006年7月24日検索、インターネット<URL:http://www.amd.com/us-en/assets/content_type/white_papers_and_tech_docs/34434.pdf>
【発明の開示】
【発明が解決しようとする課題】
【００１２】
仮想計算機システムにおいて、上述のマイグレーションのように、ＶＭを実行するホスト計算機を自由に決められるということは、ゲストＯＳの可用性を向上するという観点で良さがある。
【００１３】
一方、仮想計算機システムでＶＭをそれまでとは別のホスト計算機で実行できるとしても、移動先のホスト計算機から当該ＶＭの実行に必要な論理的な資源、例えばストレージ装置のボリュームやネットワークに接続できなければ、実質的にはＶＭをそのホスト計算機で実行できるとはいえない。ストレージ装置やネットワークの環境は一般にはスイッチで構成され、ホスト計算機とスイッチの接続やスイッチの設定によっては、ＶＭが参照する必要なボリュームやネットワークに接続できないといったことが起き得る。
【００１４】
上記従来例においては、ＶＭを実行しようとしているホスト計算機において、このＶＭの実行に必要な計算機資源にアクセス可能かどうかを正確に知るには、ＶＭを実行してみるしかない。ＶＭを実行した結果としてＶＭが必要なリソースにアクセスできないことがわかるのでは、その後の対処の時間も含めると、そのＶＭが提供するサービスの停止時間が長くなってしまう、という問題がある。
【００１５】
一方、仮想計算機で実行するゲストＯＳやアプリケーションの性能を安定させるには、Ｉ／ＯデバイスのＶＭへの占有割り当てが有効である。ＶＭのホスト計算機への配置の柔軟性による可用性の向上と、Ｉ／Ｏデバイスの占有割り当てによる性能向上を、使い分けるシステムが必要である。
【００１６】
そのようなシステムに加えて、計算機システムの運用の場面において、それぞれのＶＭをどのホスト計算機に配置するか、さらに、あるＶＭをあるホストで実行するとした場合、どのようなＩ／Ｏデバイスの割り当てをすればよいかといった定義を、前記の観点を考慮して作成しなければならないという課題がある。特に、ホスト計算機とＶＭの数が増えてきた場合、このような定義を手動で作成するには多大な労力が必要となり、定義作成の自動化、あるいは、定義の作成を支援するシステムが必要となる。
【００１７】
本発明は、上記問題点に鑑みてなされたものであり、仮想計算機を任意の計算機で実行させる際に、当該仮想計算機が必要とする計算機資源にアクセス可能であるか否かを迅速に判定することを目的とする。
【課題を解決するための手段】
【００１８】
本願発明は、複数の物理計算機が有する複数の物理アダプタに設定する設定情報により前記複数の物理計算機からアクセス可能な論理資源が制限され、第１の仮想計算機を実行する第１の物理計算機と、仮想計算機を実行可能な第２の物理計算機とを備えて、前記第１の仮想計算機を前記第２の物理計算機で実行可能か否かを検査する方法であって、前記第１の仮想計算機がアクセスする第１の論理資源の情報を取得し、前記第１の仮想計算機から前記第１の論理資源へアクセスするために前記第１の物理計算機の第１の物理アダプタに設定する設定情報を取得し、前記第２の物理計算機の第２の物理アダプタに前記取得した設定情報を設定し、前記第２の物理計算機で前記第１の仮想計算機を実行したときに前記設定情報を設定した第２の物理アダプタからアクセス可能な第２の論理資源を列挙し、前記第１の論理資源と前記第２の論理資源とを比較して、前記第２の物理計算機で前記第１の仮想計算機を実行可能か否かを判定する。
【００１９】
より詳しくは、第１の仮想計算機が実行時にアクセスするストレージの論理ボリュームの識別子情報と、当該論理ボリュームにアクセスする第１の物理ディスクアダプタに設定する設定情報と、仮想計算機が実行時にアクセスするネットワークの情報と、そのネットワークにアクセスする第１の物理ネットワークアダプタとを保持するＶＭ管理部と、第１の物理ディスクアダプタへの設定情報を第２の物理計算機の第２の物理ディスクアダプタに設定してアクセス可能な論理ボリュームを列挙する論理ボリューム列挙部と、第１の物理ネットワークアダプタへの設定情報を第２の物理ネットワークアダプタに設定して、第１の仮想計算機がアクセスする計算機への第２の物理計算機からの接続可否を判定するネットワーク接続検査手段と、第１の仮想計算機を実行する第２の物理計算機の論理ボリューム列挙部とネットワーク接続検査部とを実行し、その実行結果から指定された第１の仮想計算機の第２の物理計算機での実行可否を、第１の仮想計算機の実行前に判定するＶＭ管理部を有する。
【発明の効果】
【００２０】
したがって、本発明によれば、仮想計算機（第１の仮想計算機）を実行する物理計算機を変更する場合、事前に当該仮想計算機が必要とする論理ボリュームやネットワークに接続可能かどうかを判定できる。これにより、仮想計算機が利用するボリュームやネットワークにアクセスできないホスト計算機で仮想計算機を誤って実行してしまうことを排除できる。そして、仮想計算機が必要とする計算機資源にアクセス可能であるか否かを迅速に判定することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下に、本発明の実施の形態を図面を用いて説明する。
【００２２】
＜第１実施形態＞
本発明の第一の実施の形態について説明する。第一の実施の形態では、仮想計算機（ＶＭ）を実行するホスト計算機を変更（マイグレート）する時に、仮想計算機が利用する論理ボリュームが、マイグレート先のホスト計算機からアクセス可能か否かを判定する方法を提供する。
【００２３】
図１は、本発明の第一の実施の形態におけるシステム構成の例である。図中１１０ないし１３０はサーバ計算機である。サーバ計算機の構成例は図２に示すが、一般的な構成の計算機である。
【００２４】
サーバ計算機１１０ないし１３０は、ストレージスイッチ１４０ａと１４０ｂを介してストレージ装置１５０と１６０に接続している。ストレージ装置１５０には、サーバ計算機１１０〜１３０から論理的なボリュームとしてアクセス可能な論理ボリューム１５０ａないし１５０ｃが設定されている。同様に、ストレージ装置１６０にも論理ボリューム１６０ａないし１６０ｃが設定されている。
【００２５】
また、サーバ計算機１１０ないし１３０は、ネットワークスイッチ１７０ａと１７０ｂでネットワークを構成している。ネットワークスイッチ１７０ａで構成するネットワークには別のサーバ計算機１９０ａが、ネットワークスイッチ１７０ｂで構成するネットワークにはサーバ計算機１９０ｂが接続している。
【００２６】
この他に、システム全体の管理情報を保持し、仮想計算機のマイグレーション処理を統括する処理を実行する管理サーバ１００が、管理用ネットワーク１８０に接続している。サーバ１１０ないし１３０も管理ネットワーク１８０に接続しており、管理サーバ１００はそれぞれにサーバと通信可能に構成されている。
【００２７】
本発明では、サーバは仮想化により複数の仮想計算機を実行している。この構成については後述する。
【００２８】
図１では、ネットワークスイッチ１７０ａ、１７０ｂが、サーバ計算機を相互に接続するネットワークを構成し、例えば、イーサネット（登録商標）を適用したＬＡＮなどで構成することができる。また、ストレージスイッチ１４０ａ、１４０ｂは、サーバ計算機１１０〜１３０とストレージ装置１５０、１６０を接続するＳＡＮ（ストレージエリアネットワーク）を構成し、例えば、ファイバ・チャネル（ＦＣ）等を適用することができる。
【００２９】
図２は、本発明の第一の実施の形態におけるサーバ計算機の構成の例を示すブロック図である。サーバ計算機１１０は、ＣＰＵ１１１、メモリ１１２、ディスクアダプタ１１５、ネットワークアダプタ１１６と１１７が、バス制御装置１１３を介して接続して構成されている。ＣＰＵ１１１は、メモリ１１２に格納されているプログラムを実行して所定の処理を行う。以降、このことをプログラムが実行する、として説明する。
【００３０】
ディスクアダプタ１１５は、ストレージスイッチ１４０ａに接続している。ディスクアダプタ１１５は、外部のストレージ装置やストレージスイッチに物理的に接続するためのポートを有している。このポートには、各ポート固有の識別子（例えば、ＷＷＰＮ：World Wide Port Name）を割り当てることができる。ストレージスイッチ１４０ａは、接続元のポートに設定されている識別子を元に、そのポートから接続可能なストレージ装置を制限できる。ストレージ装置１５０も同様に、アクセス元のポートの識別子の情報から、ストレージ装置１５０内の論理ボリュームのアクセス制御を実施する。例えば、サーバ計算機１１０は、ディスクアダプタ１１５からストレージスイッチ１４０ａを介して論理ボリューム１６０ａ（ＶＯＬ１）にアクセス可能であるが、論理ボリューム１６０ｂにはアクセス不可といった設定が可能である。
【００３１】
ネットワークアダプタ１１６、１１７は、ネットワークスイッチ１７０ａに接続され、サーバ計算機１９０ａ、１２０と通信可能となる。ネットワークスイッチ１７０ａは、一つのネットワークを複数のネットワークに分割可能なＶＬＡＮ（仮想ネットワーク）機能を備え、送受信するパケットにタグを加えることで、予め設定した装置のみと通信を行うようにアクセス制限を行うことができる。なお、サーバ計算機１１０は管理用ネットワーク１８０と通信を行うための図示しないネットワークアダプタを備えるものとする。
【００３２】
上記では、サーバ計算機１１０について述べたが、他のサーバ計算機１２０、１３０及び管理サーバ１００、サーバ計算機１９０ａ、１９０ｂも同様に構成される。ただし、管理サーバ１００、サーバ計算機１９０ａ、１９０ｂは、上記サーバ計算機１１０のディスクアダプタ１１５を省略した構成となる。
【００３３】
図３は、サーバ計算機１１０ないし１３０で実行するソフトウェアの構成の例を示すブロック図である。サーバ計算機１１０では、仮想化機構（ＶＭＭ：Virtual Machine Monitor）３３０がサーバ１１０全体の制御を実施している。ＶＭＭ３３０上では仮想計算機３１０と３２０が実行されている。ＶＭＭ３３０の上で実行する仮想計算機の１つは、外部に管理インターフェイスを提供するＶＭ３１０であり、以下管理ＶＭ３１０と呼ぶ。図３では、ＶＭ３１０を管理ＶＭとして示している。本実施の形態では、管理ＶＭ３１０は、論理ボリューム（ＬＶ）列挙部３１２と、ネットワーク検査部３１４を実装している。それ以外のＶＭをゲストＶＭと呼ぶ。
【００３４】
図３において、サーバ計算機１１０のＶＭＭ３３０上では、管理ＶＭ３１０とゲストＶＭ３２０が実行されている。管理ＶＭ３１０は、管理サーバ１００等の外部へ管理インターフェースを提供し、ＶＭＭ３３０上で稼動するゲストＶＭを管理する。ゲストＶＭ３２０では、ＯＳ（ゲストＯＳ）とアプリケーションが実行される。
【００３５】
管理ＶＭ３１０では、ＯＳとゲストＶＭ３２０が使用するストレージ装置１５０の論理ボリューム１５０ａ〜１５０ｃを取得して通知する論理ボリューム列挙部３１２と、ゲストＶＭ３２０が接続するネットワークスイッチ１７０ａや接続先となるサーバ計算機１９０ａを検査するネットワーク検査部３１４が実行される。
【００３６】
このようなシステムにおいて、例えば、サーバ計算機１１０で稼動していたゲストＶＭ３２０を、図１に示したサーバ計算機１３０で実行するマイグレートを検討する。サーバ計算機１３０は、ストレージスイッチ１４０ｂを介してストレージ装置１６０に接続している。一方、サーバ計算機１１０は、ストレージスイッチ１４０ａを介してストレージ装置１５０に接続している。サーバ計算機１１０とサーバ計算機１３０では接続しているストレージ装置が異なるため、その上で実行する仮想計算機３１０が同一の論理ボリュームを参照することはできない。
【００３７】
ネットワークの接続性に関しても、同様であり、サーバ計算機１１０はネットワークスイッチ１７０ａを介してサーバ計算機１９０ａと通信を行うことができるが、サーバ計算機１３０は、ネットワークスイッチ１７０ｂに接続されているため、仮想計算機３１０はサーバ計算機１９０ａにアクセスすることができない。
【００３８】
本発明の第一の実施の形態では、このような接続性の問題をゲストＶＭ３２０の実行前に発見する方法を提供する。
【００３９】
以下に、仮想計算機を実行するサーバでのボリューム接続性を判定する方法を示す。
【００４０】
図４は、本発明の第一の実施の形態におけるシステム構成を示すブロック図である。ここでは、サーバ計算機１１０で実行していたゲストＶＭ３２０（ＶＭ１）をサーバ計算機３にマイグレートする場合について説明する。
【００４１】
管理サーバ１００は、ＶＭ構成定義テーブル４１０と、サーバリソーステーブル４２０と、定義されているＶＭが参照する論理ボリュームの識別子や、ＶＭがアクセスする外部のサーバのホスト名を保持するＶＭリソーステーブル４３０といったデータを管理している。加えて、管理サーバ１００は、論理ボリューム接続性検査部４４０、ネットワーク接続性検査部４５０、ＶＭ実行可能サーバ探索部４６０といった処理が実装されている。また、マイグレート先のサーバ計算機１３０で実行する管理ＶＭ４７０は、論理ボリューム列挙部４７２、サーバ接続性検査部４７４といった処理を実装している。これらの処理は、外部から呼び出し可能なように構成されている。
【００４２】
図５は、本発明の第一の実施の形態にＶＭ構成定義テーブルのデータ構造の一例を示す説明図である。以下にそれぞれについて説明する。
【００４３】
ＶＭ構成定義テーブル４１０は、サーバ計算機１１０〜１３０の計算機システムで実行しうるゲストＶＭの定義を保持している。例えば、ゲストＶＭを特定するための識別子を格納するＶＭ名と、各ゲストＶＭに割り当てる論理ＣＰＵ数、メモリ量に加えて、ゲストＶＭに定義する仮想的なネットワークアダプタやディスクアダプタといった定義を保持している。
【００４４】
ネットワークアダプタの定義は、ネットワークアダプタ名（ｅｔｈ０等）と、そのネットワークアダプタがネットワークスイッチに接続するポートに設定するネットワーク識別子（ＮＥＴ１等）、及び、そのネットワークアダプタに対応する物理ネットワークアダプタを占有割り当てとするかのフラグ情報（Ｄ）を保持する。
【００４５】
図中の「ＶＭ２」のネットワークアダプタ定義に示す「eth1 - NET3（Ｄ）」は、ネットワークアダプタ名がeth1、ネットワーク識別子がNET3、 ＶＭに対して物理ネットワークアダプタの占有割り当てが必要であるフラグ情報（Ｄ）、ということを表現している。なお、ネットワークスイッチ１７０ａ、１７０ｂがタグ付きＶＬＡＮを提供している場合には、ネットワーク識別子はタグ名となる。
【００４６】
ディスクアダプタの定義も同様に、ディスクアダプタ名、そのアダプタがスイッチに接続するポートに設定するポート識別子、及び、その仮想ディスクアダプタに対応する物理ディスクアダプタを占有割り当てとするかのフラグを保持する。
【００４７】
例えば、図中の「ＶＭ２」のディスクアダプタ定義に示す「scsi1 - PORT2（Ｄ）」は、ディスクアダプタ名がscsi1、 ポート識別子がPORT1、 物理ディスクアダプタの占有割り当てが必要（フラグ＝Ｄ）という定義を示している。ＶＭ構成定義テーブル４１０は、システムの利用者が作成するテーブルである。例えば、管理サーバ１００の図示しないコンソール等から管理者が設定することができる。
【００４８】
図６は、サーバリソーステーブル４２０の一例を示す説明図である。サーバリソーステーブル４２０は、システム内の各サーバ計算機のリソース割り当て状況を保持している。サーバリソーステーブル４２０は、サーバ計算機１１０〜１３０を特定する識別子を格納したサーバ名と、各サーバが搭載しているＣＰＵ数、メモリ量に加えて、各サーバがゲストＶＭの実現用に提供している物理ネットワークアダプタや物理ディスクアダプタの情報を保持している。このサーバリソーステーブル４２０は、管理サーバ１００がサーバ計算機１１０〜１３０のＶＭＭや管理ＶＭから所定のタイミングで取得して構築する。なお、サーバ名は、図１のように、サーバ計算機１１０が「サーバ１」、サーバ計算機１２０が「サーバ２」、サーバ計算機１３０が「サーバ３」とした例を示したが、ＩＰアドレスなどの識別子を用いることができる。
【００４９】
図７は、サーバ計算機１１０〜１３０で実行するゲストＶＭが使用する計算機資源を格納するＶＭリソーステーブル４３０の一例を示す説明図である。
【００５０】
ＶＭリソーステーブル４３０は、システムで定義されている各ゲストＶＭが利用する論理的なリソースに関する情報を保持している。本実施形態においては、ゲストＶＭを特定する識別子を格納したＶＭ名と、ゲストＶＭがアクセスする論理ボリュームを表現する識別子と、その論理ボリュームへアクセスするためにゲストＶＭが利用する物理ディスクアダプタ名、および、ゲストＶＭで実行するアプリケーションが利用するサーバ名を格納する接続先ホスト名と、ゲストＶＭが利用するネットワークアダプタの識別子を格納するネットワークアダプタ名とを記録している。論理ボリュームの識別子は、図中「STR1」がストレージ装置１５０を示し、「STR2」がストレージ装置１６０を示し、「VOL1」は図１のように論理ボリューム１５０ａ、１６０ａを示す。
【００５１】
このＶＭリソーステーブル４３０は、図５に示したＶＭ構成定義テーブルと同様、ユーザ（管理者）が予め定義するテーブルである。
【００５２】
次に、ゲストＶＭをサーバ計算機間でマイグレートするときに、管理サーバ１００とマイグレート先の管理ＶＭ４７０で論理ボリュームの接続性を検査する、論理ボリューム接続性検査部４４０及び論理ボリューム列挙部４７２の処理フローについて説明する。図８に管理サーバ１００とマイグレート先の管理ＶＭ４７０で実行される処理の一例を示すフローチャートを示す。
【００５３】
ＶＭのマイグレート処理においては、ユーザは管理サーバ１００のコンソールなどから、マイグレートする対象のＶＭとマイグレート先のサーバ計算機を指定する。これを受けて、管理サーバ１００ではマイグレート対象のＶＭの接続性チェックを実行する。
【００５４】
まず、接続性チェック処理は、マイグレート対象のゲストＶＭ３２０がアクセスする論理ボリュームの識別子と物理ディスクアダプタへ設定するポート識別子を、ＶＭリソーステーブル４３０とＶＭ構成定義テーブル４１０より取得する〈ステップ６０１〉。この例では、ゲストＶＭ３２０のＶＭ名は「ＶＭ１」であり、接続する論理ボリュームの識別子は「STR1-VOL1」、ポート識別子は[PORT1である。論理ボリュームの識別子は、システム内に存在する論理ボリュームを一意に特定する識別子であり、例えば、その論理ボリュームを保持しているストレージ装置のベンダ名、装置名、論理ボリューム番号といった識別子の組み合わせである。ポート識別子は、ファイバチャネルであればＷＷＰＮ(World Wide Port Name)に対応する識別名である。
【００５５】
次に、接続性チェック処理は、マイグレート先のサーバ計算機１３０でゲストＶＭ用に利用可能な物理ディスクアダプタの情報を、サーバリソーステーブル４２０より取得する（ステップ６０２）。この例では、マイグレート先のサーバ計算機１３０のサーバ名はサーバ３であり、サーバリソーステーブル４２０のサーバ３に搭載されているディスクアダプタはscsi0、scsi1となる。
【００５６】
接続性チェック処理は、以上の収集したデータをパラメータとして、マイグレート先のサーバ計算機１３０の管理ＶＭ４７０で実行されている論理ボリューム（ＬＶ）列挙部４７２を呼び出す（ステップ６０３）。
【００５７】
ＬＶ列挙部４７２は、サーバ計算機１３０から接続可能な論理ボリュームを列挙する。そのため、上記ステップ６０２で管理サーバ１００が取得した利用可能な物理ディスクアダプタのそれぞれについて、ステップ６０４から６０７の処理を実施する。
【００５８】
まず、ＬＶ列挙部４７２は、管理サーバ１００から受信したパラメータのポート識別子を物理ディスクアダプタに設定する（ステップ６０５）。これによって、図１で示すように、サーバ３（サーバ計算機１３０）に接続するストレージスイッチ１４０ｂは、設定されたポート識別子によって論理ボリューム１６０ａ〜１６０ｃへのアクセス権限チェックを実施することとなる。ポート識別子の設定後、ＬＶ列挙部４７２は、当該ディスクアダプタから接続可能なボリュームを列挙する（ステップ６０６）。この列挙処理においては、接続可能な論理ボリュームそれぞれの識別情報を取得し、それらの論理ボリューム識別子を生成する。最後に、ディスクアダプタに設定したポート識別子を解除する（ステップ６０７）。未処理のディスクアダプタがあれば同じ処理を繰り返し、全物理アダプタに対して列挙処理を実施したら、列挙した論理物理ボリュームの識別子を呼び出し元に返す（ステップ６０４）。
【００５９】
管理サーバ１００の接続性チェック処理は、サーバ計算機１３０のＬＶ列挙部４７２が生成した接続可能ボリュームの識別子を参照して、マイグレート対象のゲストＶＭ３２０がアクセスする論理ボリュームの全てが、接続可能ボリュームに含まれるかどうかを検査する（ステップ６０８）。ゲストＶＭ３２０の実行に必要なボリュームが、接続可能ボリュームにすべて含まれればＶＭ実行可能（ステップ６１０）と判定し、含まれないボリュームがあればＶＭ実行不可（ステップ６０９）と判定する。
【００６０】
この例では、サーバ３が接続するストレージスイッチ１４０ｂは、ストレージ装置１５０に接続していないため、マイグレート対象のゲストＶＭ３２０がサーバ計算機１１０でもともと参照していた論理ボリューム１５０ａ〜１５０ｃに接続することはできない。よってＬＶ列挙部４７２が返す接続可能ボリュームに「STR1-VOL1」は含まれないこととなるため、接続性チェック処理はＶＭ実行不可と判定する。
【００６１】
以上によって、ゲストＶＭ３２０を実行しようとしているサーバ計算機１３０から、ゲストＶＭ３２０の実行に必要な論理ボリュームにアクセス可能か否かを、ゲストＶＭ３２０の実行前に判定可能となる。本実施の形態ではゲストＶＭ３２０のマイグレートの際に論理ボリュームの接続可能性をチェックするとしたが、マイグレートでなくとも単にゲストＶＭ３２０がどのサーバ計算機で実行可能かを判定することにも適用できる。
【００６２】
このように、ゲストＶＭを実行するホスト計算機（サーバ計算機）を変更する場合、事前に当該ゲストＶＭが必要とする論理ボリュームに接続可能かどうかを迅速かつ自動的に判定できる。これにより、ゲストＶＭが利用するボリュームにアクセスできないホスト計算機でゲストＶＭを誤って実行してしまうことを排除できる。つまり、ゲストＶＭ３２０を停止させている時間を短縮することが可能となる。
【００６３】
＜第２実施形態＞
前記第一の実施の形態は、ゲストＶＭ３２０が利用する論理ボリュームの接続可能性チェックについて示した。ゲストＶＭ３２０の実行にはストレージ装置の他にネットワーク接続も必要である。ストレージ装置と同様にネットワークアダプタのポートに付与される識別子によって、ネットワークスイッチがアクセス権限を検査し、仮想ネットワーク（ＶＬＡＮ）を構成する場合、マイグレート先のサーバ計算機によっては必要な計算機に接続できない場合が発生しうる。
【００６４】
本発明の第二の実施の形態として、ネットワークの接続可能性チェックについて説明する。ゲストＶＭ３２０のマイグレート先のネットワークの接続可能性のチェックは、図４に示した管理サーバ１００のネットワーク接続性検査部４５０と、マイグレート先のサーバ計算機１３０の管理ＶＭ４７０のサーバ接続性検査部４７４で実行される。
【００６５】
ネットワークの接続性のチェックを実施するネットワーク接続性検査部４５０及びサーバ接続性検査部４７４の処理フローは第一の実施の形態の図８に示した論理ボリュームの接続可能性のチェックと同様である。以下の説明では、前記第１実施形態と同様に、サーバ計算機１１０（サーバ１）で実行していたゲストＶＭ３２０を、サーバ計算機１３０（サーバ３）にマイグレートする例を示す。
【００６６】
ネットワーク接続性チェックでは、まず、管理サーバ１００のネットワーク接続性検査部４５０が、ＶＭリソーステーブル４３０より接続ホスト名を取得する。この例では、ＶＭ１が接続する計算機はサーバａである。次に、サーバリソーステーブル４２０よりマイグレート先のサーバ計算機１３０でゲストＶＭ３２０用に利用可能なネットワークアダプタ情報としてeth0、eth1を取得し、これをパラメータとしてマイグレート先であるサーバ３で実行するネットワーク接続性検査部４７４を呼び出す。サーバ計算機１３０のネットワーク接続性検査部４７４は、指定されたネットワークアダプタからサーバａに接続可能か否かを検査する。ゲストＶＭ３２０が利用するサーバａにアクセス可能かどうかの検査は、例えば、ｐｉｎｇコマンド等で実施可能である。マイグレート先のサーバ計算機１３０は、この検査の結果を管理サーバ１００のネットワーク接続性検査部４５０に返す。
【００６７】
管理サーバ１００のネットワーク接続性検査部４５０は、返された結果をもってゲストＶＭが利用するネットワークに接続可能か判定する。
【００６８】
以上によって、ゲストＶＭ３２０をあるサーバ計算機で実際に実行する前に、そのゲストＶＭが利用するネットワーク上の接続先に、そのサーバから接続可能か否かを迅速に判定することができる。
【００６９】
第二の実施の形態では、ゲストＶＭ３２０が参照するサーバａに接続可能かどうかの判定のみを実施したが、論理ボリュームの接続可能性のチェックと同様に、ディスクアダプタのポート識別子に対応するネットワーク構成情報をマイグレート先のネットワークアダプタに適用してから、当該サーバに接続可能かどうかを判定するといった処理となっていても良い。
【００７０】
また、ゲストＶＭ３２０が参照するリソースにあるサーバから接続可能かを判定するために、第一の実施の形態と第二の実施の形態の両方を実施しても良い。ここまでの実施の形態の説明においては、ゲストＶＭ実行時、あるいは、ゲストＶＭ移動時に前記の処理を実施するように説明したが、事前にこれらの処理を実行して、各サーバからどの論理ボリュームに接続可能か、どのネットワークに接続可能かを調べておいて、ゲストＶＭ実行時、あるいは、ゲストＶＭ移動時に調査済みの接続可能性を検査して、ゲストＶＭの実行可否を判定しても良い。
【００７１】
＜第３実施形態＞
次に、本発明の第三の実施の形態を説明する。第三の実施の形態では、あるゲストＶＭを実行可能なサーバを求める方法を示す。図９に本実施の形態の管理サーバ１００のＶＭ実行可能サーバ探索部４６０で行われる処理フローを示す。
【００７２】
ゲストＶＭを実行可能なリソースを探索する処理は、図４に示した管理サーバ１００のＶＭ実行可能サーバ探索部４６０が主体となって処理を実行する。
【００７３】
管理サーバ１００は、図示しないコンソールや他の計算機からゲストＶＭの識別子を受け付けて、ゲストＶＭを実行可能なサーバ計算機の探索を指令されると、ＶＭ実行可能サーバ探索部４６０を呼び出す。なお、ゲストＶＭの配置を決定する上位のプログラムが、実行可能なサーバを求めたいＶＭをパラメータとしてＶＭ実行可能サーバ探索部４６０を呼び出すようにしても良い。
【００７４】
ＶＭ実行可能サーバ探索部４６０で実行される探索処理は、初期化処理として当該ゲストＶＭを実行可能なサーバ名を保持するリスト（実行可能サーバリスト）をクリアする（ステップ７０１）。なお、実行可能サーバリストは、管理サーバ１００のメモリなどに格納されて、ゲストＶＭの識別子毎にサーバ計算機１１０〜１３０の識別子を格納したテーブルである。
【００７５】
次に、ＶＭ実行可能サーバ探索部４６０は、当該ゲストＶＭがアクセスする論理ボリュームとネットワークの情報を取得する（ステップ７０２）。具体的には、論理ボリュームの識別子、ディスクアダプタに設定するポート識別子、物理ディスクアダプタの占有の要否、接続先ネットワーク名と物理ネットワークアダプタの占有の要否等である。これらは、ＶＭリソーステーブル４３０とＶＭ構成定義テーブル４１０から取得できる。
【００７６】
次に、ＶＭ実行可能サーバ探索部４６０は、システム内の各サーバ計算機１１０〜１３０に対して、以下のステップ７０３ないしステップ７０７の処理を実施する。
【００７７】
まず、取得した論理ボリュームの情報をパラメータとして、現在着目しているサーバ計算機の管理ＶＭで実行するＬＶ列挙部４７２を呼び出し、当該サーバから接続可能な論理ボリュームを取得する（ステップ７０３）。取得した論理ボリュームに、当該ゲストＶＭが参照する論理ボリュームの識別子がすべて含まれるか検査し、当該サーバ計算機からゲストＶＭの実行に必要な論理ボリュームにアクセス可能か判定する（ステップ７０４）。ゲストＶＭの実行に必要な論理ボリュームにアクセス可能でない場合は、ステップ７０３に遷移しシステム内の次のサーバ計算機を検査する。上記ステップ７０４，７０５は前記第１実施形態と同様の処理となる。
【００７８】
当該サーバ計算機からゲストＶＭの実行に必要な論理ボリュームへの接続が可能な場合、次にネットワークの接続性を検査する。ＶＭ実行可能サーバ探索部４６０は、当該サーバ計算機の管理ＶＭで実行するネットワーク接続検査部４７４を呼び出し、当該サーバ計算機から当該ゲストＶＭの実行に必要な外部サーバ（またはネットワーク上の資源）に接続可能かどうかを検査する（ステップ７０５）。当該サーバ計算機がゲストＶＭの実行に必要なネットワーク上のリソースへ接続可能でない場合は、ステップ７０３に遷移し、システム内の次のサーバを検査する。なお、ステップ７０５の処理は、前記第２実施形態と同様に行うことができる。
【００７９】
次に、当該サーバ計算機がゲストＶＭの実行に必要なネットワーク接続が可能であるならば（ステップ７０６）、実行可能サーバのリストに当該サーバ計算機のサーバ名を追加し（ステップ７０７）、システム内の次のサーバを検査するためステップ７０３へ遷移する。
【００８０】
ステップ７０３において、検査すべきサーバがない場合は処理を終了する。
【００８１】
以上の処理により、指定したゲストＶＭが参照する論理ボリューム及びネットワーク資源に接続可能なサーバ計算機のリストが実行可能サーバリストとして得られる。この実行可能サーバリストは、当該ゲストＶＭを実行可能なサーバ計算機のリストとなっている。利用者（または管理者）は、この実行可能サーバリストを参照して、当該ゲストＶＭを実行可能なサーバを絞り込むことができる。多数のサーバ計算機やネットワークスイッチまたはストレージスイッチが存在するような規模の大きなシステムの場合、このようにゲストＶＭを実行可能なサーバ計算機の候補を提示してくれることによって、ユーザによる仮想計算機の管理を省力化できる。
【００８２】
あるいは、このＶＭ実行可能サーバ探索部４６０を上位プログラムから呼び出す場合は、この実行可能サーバリストと他の情報によって、ゲストＶＭの配置を自動的に決定する、あるいは、ゲストＶＭ配置の候補を提示するといったことも可能となる。
【００８３】
また、システム内のサーバ計算機が障害で利用不可能となった場合、そのサーバ計算機で実行していたゲストＶＭを、どのサーバ計算機に移動可能かを調査することにも利用可能である。
【００８４】
また、システム内のサーバ計算機の負荷が異常に高くなり、そのサーバ計算機で実行しているゲストＶＭのいくつかを他のサーバ計算機へ移動させる際に、当該ゲストＶＭの移動可能先を調査することにも利用可能である。
【００８５】
＜第４実施形態＞
図１０は、第４の実施形態を示し、ゲストＶＭに定義した仮想ディスクアダプタや仮想ネットワークアダプタに、物理アダプタを占有して割り当てる場合を考慮した接続可能性チェック処理について示す。
【００８６】
本第四の実施の形態では、ゲストＶＭに定義した仮想ディスクアダプタに対応させる物理アダプタを占有割り当てとしたい場合の、論理ボリュームの列挙処理を示す。図１０は、管理ＶＭ４７０の論理ボリューム列挙部４７２の処理の一例を示すフローチャートである。なお、その他の構成は前記第１実施形態と同様である。
【００８７】
図１０に示した処理は、前記第１実施形態の図８に示したステップ６０４ないしステップ６０７の処理とほぼ同じ処理である。但し、接続可能な論理ボリュームを列挙するディスクアダプタの対象を、当該サーバ計算機上で占有割り当てされていないディスクアダプタに限定する点と、ディスクアダプタの占有割り当てによって接続可能なボリューム情報を取得する点で異なる。
【００８８】
論理ボリュームの列挙処理は、サーバ計算機に搭載されているすべてのディスクアダプタについて、ステップ８０２ないしステップ８０７の処理を実行する。すべてのディスクアダプタについて処理が終了した時点で、処理を終了する（ステップ８０１）。
【００８９】
まず、当該サーバ計算機の物理ディスクアダプタが、既に実行中のゲストＶＭに占有割り当てされているかどうかを検査し、そうであるならば他のディスクアダプタの検査に移る（ステップ８０２）。
【００９０】
該当の物理ディスクアダプタが占有割り当てされていないならば、その物理ディスクアダプタから接続可能な論理ボリュームを列挙する（ステップ８０３、８０４）。この処理は、図８のステップ６０５ないしステップ６０７と同じ処理である。
【００９１】
次に、当該ディスクアダプタから接続可能な論理ボリュームを記録しているデータに、当該ディスクアダプタ名を関連付けて記録する（ステップ８０６）。これによって、接続可能なそれぞれの論理ボリュームについて、それに接続する占有割り当て可能な物理ディスクアダプタを記録できる。
【００９２】
その他のディスクアダプタがあれば、ステップ８０２〜ステップ８０６の処理を実行する。
【００９３】
以上の処理によって、指定したゲストＶＭが必要とする論理ボリュームに接続可能であることに加えて、物理ディスクアダプタの占有割り当てが必要な論理ボリュームに関する接続可能性も判定できる。
【００９４】
これによって、利用者（または管理者）は、物理ディスクアダプタの占有割り当てによる論理ボリュームの接続も含めたゲストＶＭの実行可否を、ゲストＶＭをサーバ計算機で実際に実行する前に確認できる。
【００９５】
以上の実施の形態では、サーバ計算機から論理ボリュームへの接続性について検査する方法を示したが、ネットワークの接続性の検査についても同様である。第四の実施の形態で示した処理のうち、接続可能な論理ボリュームを列挙する処理を、第二の実施の形態に示した処理とすれば、物理ネットワークアダプタの占有割り当てを考慮したネットワーク接続性の判定が可能である。これによって、利用者は、システム内のゲストＶＭについて、性能と接続可能性の条件からゲストＶＭの実行可否を容易に知ることができる。
【００９６】
更に、第四の実施の形態と第三の実施の形態を組み合わせることも可能で、物理デバイスの占有割り当ても考慮したうえでゲストＶＭの実行可能サーバを探索することができる。これによれば、ゲストＶＭの実行性能を考慮してゲストＶＭを実行するサーバを選択することが用意となり、利用者のシステム管理の負担を低減できる。
【００９７】
加えて、この組み合わせによればサーバ障害時、サーバ高負荷時のＶＭ再配置の決定といった上位プログラムによるＶＭ配置を、ゲストＶＭの性能と接続性を考慮した配置とすることが可能となる。
【産業上の利用可能性】
【００９８】
以上のように、本発明は、仮想計算機を含む複数の計算機の管理システムや管理ソフトウェアに適用することができる。
【図面の簡単な説明】
【００９９】
【図１】本発明の第１の実施の形態におけるシステム構成の例を示すブロック図である。
【図２】本発明の第１の実施の形態におけるサーバ計算機のハードウェア構成の一例を示すブロック図である。
【図３】本発明の第１の実施の形態におけるサーバ計算機のソフトウェア構成の一例を示すブロック図である。
【図４】本発明の第１の実施の形態における管理サーバ及びマイグレートを行うサーバ計算機のソフトウェア構成の一例を示すブロック図である。
【図５】本発明の第１の実施の形態におけるＶＭ構成定義テーブルの一例を示す説明図である。
【図６】本発明の第１の実施の形態におけるサーバリソーステーブルの一例を示す説明図である。
【図７】本発明の第１の実施の形態におけるＶＭリソーステーブルの一例を示す説明図である。
【図８】本発明の第１の実施の形態における管理サーバ及びマイグレート先のサーバ計算機で実行される論理ボリューム接続性検査処理の一例を示すフローチャートである。
【図９】本発明の第３の実施の形態における管理サーバで実行されるＶＭ実行可能サーバ列挙処理の一例を示すフローチャートである。
【図１０】本発明の第４の実施の形態における管理サーバで実行される論理ボリューム接続性検査処理の一例を示すフローチャートである。
【符号の説明】
【０１００】
１００  管理サーバ
１１０〜１３０  サーバ計算機
１１５  ディスクアダプタ
１１６、１１７  ネットワークアダプタ
１４０ａ、１４０ｂ  ストレージスイッチ
１５０、１６０  ストレージ装置
１５０ａ〜１５０ｃ、１６０ａ〜１６０ｃ  論理ボリューム
１７０ａ、１７０ｂ  ネットワークスイッチ
３１０  管理ＶＭ
３１２  論理ボリューム列挙部
３１４  ネットワーク接続検査部
３２０  ゲストＶＭ
３３０  ＶＭＭ
４１０  ＶＭ構成定義テーブル
４２０  サーバリソーステーブル
４３０  ＶＭリソーステーブル
４４０  ボリューム接続性検査部
４５０  ネットワーク接続性検査部
４７０  ＶＭ実行可能サーバ探索部
【図１】
0004995015.tif 000002
【図２】
0004995015.tif 000003
【図３】
0004995015.tif 000004
【図４】
0004995015.tif 000005
【図５】
0004995015.tif 000006
【図６】
0004995015.tif 000007
【図７】
0004995015.tif 000008
【図８】
0004995015.tif 000009
【図９】
0004995015.tif 000010
【図１０】
0004995015.tif 000011