(57)【要約】  一実施形態における、資源グループ内の仮想マシンを構成かつ／または監視する方法および装置。他の実施形態における、あるクラスタから別のクラスタへの資源の再配置を認証する再配置ポリシに従って資源グループを構成かつ／または監視する方法および装置。他の実施形態において、ウェブ・サービス・インターフェースを介してアクセス可能なユーザ・インターフェースをもつ資源グループ・ツールを介して資源グループを構成、監視、かつ／または管理する方法および装置。他の実施形態において、コンソールと資源グループ内の少なくとも１つのエージェントとの間のウェブ・サービス・インターフェースを介した通信の方法および装置。
2008517382.tif 000002
【特許請求の範囲】
【請求項１】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えるコンピュータ・システムを操作する方法であって、
（Ａ）該複数の仮想マシンの少なくとも１つが該監視によって監視されるように、該複数の仮想マシンの該少なくとも１つを含む少なくとも１つの資源グループを構成することを備える方法。
【請求項２】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準を定義することを含む、請求項１に記載の方法。
【請求項３】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて再配置ポリシを定義することを含む、請求項１に記載の方法。
【請求項４】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準を定義することを含む、請求項１に記載の方法。
【請求項５】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項１に記載の方法。
【請求項６】
前記監視が自動可用性マネージャである請求項１に記載の方法。
【請求項７】
（Ａ）が、前記自動可用性マネージャが前記複数の仮想マシンの前記少なくとも１つの可用性を高めるように働くことができるように、前記資源グループを構成することを含む、請求項６に記載の方法。
【請求項８】
（Ａ）が、前記複数の物理コンピュータ・ノードの１つから前記複数の物理コンピュータ・ノードの別の１つへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする、少なくとも１つの状況の発生を定義する少なくとも１つのポリシに従って、前記資源グループを構成することを含む、請求項１に記載の方法。
【請求項９】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えるコンピュータ・システムを操作する複数の命令が符号化された少なくとも１つのコンピュータ可読媒体であって、該複数の命令が実行されると、
（Ａ）該複数の仮想マシンの該少なくとも１つが該監視によって監視されるように、該複数の仮想マシンの該少なくとも１つからなる少なくとも１つの資源グループを構成すること、を備える方法を実施する、少なくとも１つのコンピュータ可読媒体。
【請求項１０】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準を定義することを含む、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１１】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて再配置ポリシを定義することを含む、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１２】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準を定義することを含む、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１３】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１４】
前記監視が自動可用性マネージャである、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１５】
（Ａ）が、前記自動可用性マネージャが前記複数の仮想マシンの前記少なくとも１つの可用性を高めるように働くことができるように、前記資源グループを構成することを含む、請求項１４に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１６】
（Ａ）が、前記複数の物理コンピュータ・ノードの１つから前記複数の物理コンピュータ・ノードの別の１つへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする少なくとも１つの状況の発生を定義する少なくとも１つのポリシに従って前記資源グループを構成することを含む、請求項９に記載の少なくとも１つのコンピュータ可読媒体。
【請求項１７】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えるコンピュータ・システムに使用される少なくとも１つのコンピュータであって、
該複数の仮想マシンの少なくとも１つが該監視によって監視されるように、該複数の仮想マシンの該少なくとも１つを含む少なくとも１つの資源グループを構成するようにプログラムされた少なくとも１つのプロセッサを備える少なくとも１つのコンピュータ。
【請求項１８】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準を定義するようにプログラムされている、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項１９】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つについて再配置ポリシを定義するようにプログラムされている、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２０】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準を定義するようにプログラムされている、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２１】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２２】
前記監視が自動可用性マネージャである、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２３】
前記少なくとも１つのプロセッサが、前記自動可用性マネージャが前記複数の仮想マシンの前記少なくとも１つの可用性を高めるように働くことができるように、前記資源グループを構成するようにプログラムされている、請求項２２に記載の少なくとも１つのコンピュータ。
【請求項２４】
前記少なくとも１つのプロセッサが、前記複数の物理コンピュータ・ノードの１つから前記複数の物理コンピュータ・ノードの別の１つへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする少なくとも１つの状況の発生を定義する少なくとも１つのポリシに従って前記資源グループを構成するようにプログラムされている、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２５】
前記少なくとも１つのプロセッサが、前記自動可用性マネージャの少なくとも一部の機能を実施するようにプログラムされている請求項２２に記載の少なくとも１つのコンピュータ。
【請求項２６】
前記少なくとも１つのプロセッサが、前記複数の物理コンピュータ・ノードの少なくとも１つに配置されている、請求項１７に記載の少なくとも１つのコンピュータ。
【請求項２７】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えるコンピュータ・システムを操作する方法であって、
（Ａ）資源グループ内の該複数の仮想マシンの少なくとも１つを監視することを備える方法。
【請求項２８】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項２７に記載の方法。
【請求項２９】
（Ａ）が、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする少なくとも１つの状況の発生を定義するポリシに従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項２７に記載の方法。
【請求項３０】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項２７に記載の方法。
【請求項３１】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項２７に記載の方法。
【請求項３２】
前記監視が自動可用性マネージャである、請求項２７に記載の方法。
【請求項３３】
前記少なくとも１つの状況の発生時に、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つを再配置することをさらに含む、請求項２７に記載の方法。
【請求項３４】
（Ａ）が前記監視によって実施される、請求項２７に記載の方法。
【請求項３５】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの可用性を保守することを含む、請求項２７に記載の方法。
【請求項３６】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えるコンピュータ・システムを操作する複数の命令を符号化された少なくとも一つのコンピュータ可読媒体であって、該複数の命令が実行されると、
（Ａ）資源グループ内の該複数の仮想マシンの少なくとも１つを監視することを備える方法を実施する少なくとも１つのコンピュータ可読媒体。
【請求項３７】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項３８】
（Ａ）が、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする少なくとも１つの状況の発生を定義するポリシに従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項３９】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つを監視することを含む、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４０】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４１】
前記監視が自動可用性マネージャである、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４２】
前記方法は、少なくとも１つの状況の発生時に、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つを再配置することをさらに含む、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４３】
（Ａ）が前記監視によって実施される、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４４】
（Ａ）が、前記複数の仮想マシンの前記少なくとも１つの可用性を保守することを含む、請求項３６に記載の少なくとも１つのコンピュータ可読媒体。
【請求項４５】
複数の物理コンピュータ・ノードと、該複数の物理コンピュータ・ノード上で実行する、各々がコンピュータ・システムの仮想表現を備える複数の仮想マシンと、コンピュータ・システム内の資源を監視する監視とを備えたコンピュータ・システムの操作に使用される少なくとも一つのコンピュータであって、
資源グループ内の該複数の仮想マシンの少なくとも１つの監視を可能にするようにプログラムされた少なくとも１つのプロセッサを備える少なくとも１つのコンピュータ。
【請求項４６】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つについて、前記複数の仮想マシンの前記少なくとも１つの好ましい動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つの監視を可能にするようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項４７】
前記少なくとも１つのプロセッサが、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つの再配置をトリガする少なくとも１つの状況の発生を定義する１つのポリシに従って前記複数の仮想マシンの前記少なくとも１つの監視を可能にするようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項４８】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つの求められる動作環境を定義する少なくとも１つの基準に従って前記複数の仮想マシンの前記少なくとも１つの監視を可能にするようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項４９】
前記仮想マシンのそれぞれが、コンピュータ・システムのハードウェア機能およびソフトウェア機能の両方の仮想表現を含む該コンピュータ・システムの仮想表現を備える、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項５０】
前記監視が自動可用性マネージャである請求項４５に記載の少なくとも１つのコンピュータ。
【請求項５１】
前記少なくとも１つのプロセッサが、少なくとも１つの状況の発生時に、前記複数の物理コンピュータ・ノードの第１のノードから前記複数の物理コンピュータ・ノードの第２のノードへの前記複数の仮想マシンの前記少なくとも１つを再配置するようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項５２】
前記少なくとも１つのプロセッサが、前記複数の仮想マシンの前記少なくとも１つの可用性を保守するようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項５３】
前記少なくとも１つのプロセッサが、前記自動可用性マネージャの少なくとも一部の機能を実施するようにプログラムされている、請求項５０に記載の少なくとも１つのコンピュータ。
【請求項５４】
前記少なくとも１つのプロセッサが、前記複数の物理コンピュータ・ノードの少なくとも１つに配置されている、請求項４５に記載の少なくとも１つのコンピュータ。
【請求項５５】
前記少なくとも１つのプロセッサが、前記監視の少なくとも一部の機能を実施するようにプログラムされている、請求項４５に記載の少なくとも１つのコンピュータ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ・システム内の資源グループの構成、監視、および／または管理に関する。
【背景技術】
【０００２】
サーバ、記憶デバイス、およびその他のコンピュータ・デバイスは、普通は、ネットワークを介して相互接続され、それら多数のデバイスと複数のエンド・ユーザとの間の通信を可能にしている。一部のネットワーク化されたシステムでは、アプリケーション・プログラムおよび／またはコンピュータ・システムのその他の資源の可用性を確保するために、可用性監視（ａｖａｉｌａｂｉｌｉｔｙ  ｍｏｎｉｔｏｒｓ）が使用されている。その結果、ユーザのアプリケーションをホスティングするサーバの不具合がそのアプリケーションの終了を意味しないで済む。その代わりに、アプリケーションはネットワーク上の機能している別のサーバに再配置され、それによりアプリケーションの可用性を確保する。
【０００３】
一般に、アプリケーションは、エンド・ユーザが何らかの不具合または深刻な性能低下を知覚しない場合、「可用である」と見なされる。様々な利点のうちでもとりわけ、高可用性監視を有するコンピューティング・ネットワークは、不具合および／または指定されたイベントへの自動化された応答を可能にする。高可用性ソリューションは、不具合の際、アプリケーション・レベル、マシン・レベルなどで影響を受ける資源が、ネットワーク内の機能しているシステムに再配置されるようにする。さらに、高可用性ソリューションは、システム保守、負荷変動、ビジネス業務の流れ、ならびに性能および可用性に影響するその他の要因を監視かつ管理する。
【０００４】
図面において、同じ参照番号は同じ要素を表す。
【発明の開示】
【課題を解決するための手段】
【０００５】
上記で述べたように、いくつかのノード（例えば、サーバおよび／またはその他のコンピュータ・デバイス）を有するネットワーク化されたコンピュータ・システムは、資源（例えば、アプリケーション）の高可用性を提供する可用性監視を有することができる。様々な利点のうちでもとりわけ、かかるシステムは故障回避による保護（ｆａｉｌｏｖｅｒ  ｐｒｏｔｅｃｔｉｏｎ）を提供し、その場合、資源を不良ノードから機能しているノードに再配置する。より一般には、あるノードが機能しなくなる場合、別のノードが、それまでその不良ノードによって提供されていた、アプリケーションの実行ならびに記憶デバイスおよびその他のコンピュータ・デバイスへのアクセスを含るが、それだけには限らない、１つまたは複数のサービスをホスティングするこ。ネットワーク上でのサービスの移行は、耐障害性以外の理由で実施されてもよい。例えば、ネットワーク上で負荷を再分散するため、ハードウェアまたはソフトウェア交換を可能にするため、ネットワークに新しいデバイスを追加するため、などである。ネットワークの管理に含まれる決定は、管理者によって手動で管理されてもよいし、あるいは自動化された可用性監視によって管理されてもよい。
【０００６】
自動化された可用性ソフトウェアによる監視は、ネットワークの監視および可用性を確保するための措置の実施に含まれる諸工程を実施する。かかるソフトウェア・パッケージの一例は、ＥＭＣ社（ＥＭＣ  Ｃｏｒｐｏｒａｔｉｏｎ）［米国マサチューセッツ州ホプキントン（Ｈｏｐｋｉｎｔｏｎ）所在］の１事業部であるレガト社（Ｌｅｇａｔｏ）の提供するＡｕｔｏｍａｔｅｄ  Ａｖａｉｌａｂｉｌｉｔｙ  Ｍａｎａｇｅｒ  （ＡＡＭ）である。自動化された可用性監視は、ネットワーク資源を絶えず監視することから管理者を解放する自動化された方法における可用性管理機能を提供する。かかる自動化された可用性監視は、致命的なイベントに応答して障害回避による保護を提供することができ、またシステム保守、負荷変動、およびビジネス業務の流れを監視、管理することによりネットワークの性能を向上させこともできる。
【発明を実施するための最良の形態】
【０００７】
図１は、自動可用性ソフトウェアにより管理される従来型のシステム１０００を示す。システム１０００は、ネットワーク１５５を介して相互接続された複数のノード（例えば、サーバ）１１０Ａ〜１１０Ｄからなるクラスタ１００を含む。ネットワーク１５５は、ノード１１０Ａ〜１１０Ｂが相互に通信することを可能にする如何なるタイプのネットワークであってもよい。図１に示される具体的な構成では、ネットワーク１５５は、ハブ１６０、およびハブとノードとの間で、ノード１１０Ａ〜１１０Ｄの間の通信だけを処理する専用ネットワークを生成する複数のネットワーク接続１５５Ａ〜１５５Ｄからなる。他の実施形態では、ネットワーク１５５が、より大規模なネットワークの一部である他のエンティティの間の、例えば、クライアント（またはエンド・ユーザ）あるいはその他のノードの間の通信を処理する。図１の例では、システム１０００はまた、エンド・ユーザ１７０Ａ〜１７０Ｆをノード１１０に接続する、もう１つのネットワーク１６５を含む。エンド・ユーザは、ネットワーク１６５を介して少なくとも１つのノード１１０にアクセスする任意のデバイス（例えば、クライアント・コンピュータ）を備えるる。ネットワーク１６５は、ＬＡＮ、ＷＡＮ、インターネット、その他のタイプのネットワーク、あるいはそれらの任意の組合せを含む、所望の接続を提供する如何なるタイプのネットワークであってもよい。他のデバイスをクラスタに接続するネットワーク１６５はまた、クラスタ内のノード１１０Ａ〜１１０Ｄの間で接続を確立するのに使用される。
【０００８】
可用性ソフトウェアが実行可能なシステムは、図１の具体的な実施態様だけに限定されるものではなく、一般に、異なるネットワーク接続トポロジを用いる異なる多数のシステム構成で実施される。
【０００９】
図１の例示的な構成では、クラスタ１００内のノード１１０Ａ〜１１０Ｄが、クライアント１７０Ａ〜１７０Ｆによってアクセスされるアプリケーションをホスティングする。かかるアプリケーションの例には、ワード・プロセッサ、ウェブ・ブラウザ、データベース・ソフトウェア、電子メール・サービスなどを含む。したがって、ノード１１０は、例えば、ウェブ・サーバ、データベース資源、あるいはその他の任意他ののサービスまたは機能を含む任意の数のサービスをホスティングする。エンド・ユーザ１７０側からすると、クラスタは単一のエンティティと知覚されてよく、エンド・ユーザは、どのノードがどのアプリケーションをホスティングしているかに気付いていない。システム１０００は、アプリケーションの状態、ノード１１０の作業負荷、およびその他の測定指標を監視し、それにより不具合または性能低下を含むイベントに対しどのようにして最善に対処するかを決定するシステム管理者によって管理される。例えば、特定のノードにおける不具合が、管理者を促して、その不良ノードでホストされているアプリケーションを、クラスタ１００内の機能している別のノードに移行することができる。
【００１０】
自動化された可用性管理（ＡＡＭ）ソフトウェアは、不具合およびその他のイベントに対する自動化された対処を提供し、それにより人間の介入を要せずにクラスタに関連する資源の管理を支援することで、システム管理者による手動での介入の必要を軽減するために開発された。例えば、自動化された可用性監視は、クラスタ１００にインストールされて図１のクラスタ１００内の様々な資源を監視かつ制御する。それぞれノード１１０Ａ〜Ｄにインストールされた自動化された可用性エージェント１２０Ａ〜１２０Ｄを含み、各エージェントが、そのエージェントが常駐するノード１１０Ａ〜Ｄによって提供される資源を監視かつ管理する働きをする分散型のＡＡＭ監視を含む、多数の実施態様が可能である。自動化された可用性エージェントは、一部の、または全てのノード１１０にインストールされ、システムの測定指標の感知、および単独で対処することによる、あるいはクラスタ内の他の自動化された可用性エージェントと通信することによる、感知されたイベントに基づいた措置の調整、その結果としてのクラスタ内の問題の検出および解決、そして可用性の確保を含む、多数の機能を実施することができる。
【００１１】
図１の実施形態に示すＡＡＭ監視は、各ノードにエージェントを有する分散型のＡＡＭ監視からなるが、本明細書に記載の本発明の態様は、上記またはその他の任意な特定の構成を有するＡＡＭ監視システムでの使用だけに限定されるものではなく、非分散型の構成も含む、その他の構成でも使用され得ることを理解されたい。
【００１２】
自動化された可用性監視１２０は、クラスタ１００により提供される資源の可用性を監視かつ保守する。資源とは、監視、制御、あるいは管理され得る任意のエンティティ、例えば、サービス、アプリケーション工程、システム・パスまたは論理アドレス、ＩＰアドレス、ノード（例えば、記憶デバイスあるいはサーバ）、ネットワーク情報カード（ＮＩＣ）、ネットワーク・デバイス（例えば、ルータあるいはブリッジ）、コンピュータのエイリアス、データベース、あるいはその他の適合する任意のエンティティを指す。監視されるべき１つまたは複数の資源、およびその資源を自動化された可用性ソフトウェアによって監視され得るようにするインフラストラクチャ（例えば、１つまたは複数のデータ構造、コマンド、パラメータ、属性など）からなる資源グループが形成される。資源グループは、各資源が単一のノードによって提供される、あるいは複数のノードによって共用される資源群を監視するために、生成される。自動化された可用性監視によって実施される諸機能に言及する際、監視、管理、制御などの用語は、これら異なる用語間で意味における如何なる区別も意図されないように、一緒に、あるいはほとんど同じ意味で用いられ、各用語は本明細書に記載の諸機能のタイプを指す。
【００１３】
資源グループの構成は、管理されるべき１組の資源の定義、資源の起動および終了に対するルール、フェイルオーバー・ノードの選択手順（例えば、ある資源をホストしているノードが機能しなくなるイベント時に、その資源を転送するため）、および監視される測定指標のトリガ基準に対するコマンドを含むが、それだけには限らない。例えば、資源グループは、ホスト・ノード上で実行するアプリケーション・プログラム（例えば、ワード・プロセッサ）、アプリケーションの測定指標を収集するセンサ、およびセンサを監視し、１つまたは複数のルールに合致する如何なる状況も報告あるいはそれに対処するトリガを含む。一部の実施態様では、資源グループのセンサおよびトリガが工程およびノードの不具合を監視かつそれらに対し反応し、トリガが発生すると、自動化された可用性監視がその不具合を軽減するルールを評価する。
【００１４】
出願人は、従来型の可用性管理ソリューションが、監視される資源グループ内に仮想マシンを含むことができないと理解している。仮想マシンは、ハードウェアおよびソフトウェアの両方を含むコンピューティング・システムを仮想化する、あるいはコンピューティング・システムをモデル化するソフトウェア・エンティティである。仮想マシン技術は、いくつかの異なる仮想マシンを同一のハードウェア・コンピューティング・システム上で実行することを可能にする。仮想マシン技術の一例は、ＥＭＣ社（ＥＭＣ  Ｃｏｒｐｏｒａｔｉｏｎ）の１事業部であるのブイエムウェア社（ＶＭＷａｒｅ）［米国カリフォルニア州パロ・アルト（Ｐａｌｏ  Ａｌｔｏ）所在］から入手可能なＶＭＷａｒｅ  ＥＳＸサーバである。出願人は、かかるシステムに自動化された可用性監視を組み込んでも、クラスタ上の仮想マシンに対する高可用性機能は可能となるはずであると認識している。したがって、本発明の一実施形態は、仮想マシンを含む資源グループの生成を可能にする。
【００１５】
従来型のＡＡＭシステムは、構成要素の全てが同一ネットワーク上にインストールされる必要のある通信技術を、その複数のエージェントまたは構成要素の間で使用する。出願人は、ＡＡＭシステムの構成要素間の通信にウェブ・サービス・プロトコルを使用することで、資源グループを構成かつ管理する際により大きな柔軟性を提供できると理解している。したがって、本発明の一実施形態は、ウェブ・サービス・プロトコルを介した資源グループの構成および／または管理を可能にする。
【００１６】
従来型のＡＡＭシステムでは、資源グループ内の資源を管理するのに利用可能な物理ノードは、クラスタ内のノードに限られる。本明細書で用いられる通り、クラスタは、グループ化されて１つの識別子をもつクラスタを形成する１つまたは複数のノードを指し、ノードのグループをクラスタの帰属であると識別する情報がそのクラスタと関連付けられる。クラスタの識別子に向けられたネットワーク・トラフィックは、クラスタ内の１つまたは複数の物理ノードに経路指定される。出願人は、状況次第で、資源が２つ以上のクラスタ間で再配置されてよい資源グループの構成を可能にするのが望ましいことも理解している。したがって、本発明の他の実施形態はかかる資源グループの構成を可能にする。
【００１７】
本明細書に記載の本発明の諸態様は、資源グループの構成、監視、および／または管理に関し、これら３つの機能の何れかを資源グループに関連して実施することができる如何なるタイプの可用性マネージャまたは監視に関連して使用される。本明細書で用いられる通り、資源グループ・ツールという用語は一般に、任意のかかるツール、すなわち資源グループを構成、監視、かつ／または管理することのできる製品（ソフトウェア、ハードウェア、あるいはそれらの組合せにかかわらず）を表すのに用いられる。かかる資源グループ・ツールの例には、可用性マネージャまたは監視を含むが、本明細書に記載の本発明の諸態様は、かかる名称で従来称される製品だけに限定されるものではなく、資源グループの構成、資源グループの監視、資源の管理、あるいは任意に組み合わされたこれらを行うことのできる如何なるツールに関連して使用される。
【００１８】
上記で述べたように、仮想マシンは、コンピュータ・システムの抽象的な表現である。仮想マシンは、ホスト・マシン上にあるゲスト環境と呼ばれ、仮想マシンは、ゲスト・オペレーティング・システム機能、ゲスト・アプリケーション機能、および／またはゲスト仮想化ハードウェア機能を提供する。仮想マシン上を走るゲスト・オペレーティング・システムまたはゲスト・アプリケーション側からすると、ゲスト・ハードウェアとインターフェースする如何なる低レベル命令も、ゲスト・ハードウェア上で直接実行するように見えるが、そうする代わりに仮想マシンによって仮想化され、最終的にはホスト・マシン上の実際のハードウェアに渡される。仮想マシンは多数の方法で実装されてよく、本発明の諸態様は、任意な特定の方法で実装された仮想マシンでの使用だけに限定されるものではないことを理解されたい。
【００１９】
複数の仮想マシンが１つのホスト・マシン上に常駐するので、複数のゲスト・オペレーティング・システムおよびゲスト・アプリケーションが１つのホスト・マシン上で同時に実行される。例えば、複数の仮想マシンが、ネットワークに結合された任意のノード上に常駐する。仮想マシン上でアプリケーションを走らせるユーザは、仮想マシンも、仮想マシンが常駐するノードの位置も知覚しなくてよく、むしろユーザ側からすると、アプリケーションは完全な従来型の物理コンピュータ・システムの専用資源を有するかのように知覚される。
【００２０】
図２は、資源グループが１つまたは複数の仮想マシンを含むように形成される、本発明の一実施形態を実施する例示的なシステムを示す。図２のシステムは、ネットワーク３５５を介して相互接続されたノード３１０Ａ〜３１０Ｃを含むクラスタ３００を含む。ノード３１０Ａは仮想マシン３３０Ａ〜Ｃをホスティングし、ノード３１０Ｂは仮想マシン３３０Ｄをホスティングし、ノード３１０Ｃは仮想マシン３３０Ｅ〜Ｆをホスティングする。
【００２１】
所与のノード３１０は、ノード３１０が効率的に処理できる負荷に基づいて、いくつかの仮想マシン３３０をホスティングする。各仮想マシンは、ゲスト・オペレーティング・システムおよびゲスト・アプリケーションをホスティングする。図２は、クラスタ・ノードだけを示しているが、図１に記載、例示したのとほぼ同様にしてエンド・ユーザ・ネットワークがクラスタ３１０に結合されてもよく、それにより各ユーザは仮想マシン３３０上でアプリケーションを実行することが可能になる。図２はまた、ネットワーク３５５の特定の表現を提示しているが、ネットワークがこの特定の実装だけに限定されることはなく、（図１に関連して説明されたものも含む）如何なるネットワーク・トポロジまたはタイプもクラスタのノードを相互接続するのに利用されてよい。この点で、１つまたは複数の仮想マシンを含む資源グループの形成に関する本発明の諸態様は、如何なるタイプの構成を有するクラスタに実装されてもよい。
【００２２】
本発明の一実施形態によれば、仮想マシンがクラスタ内の物理ホスト・ノード間で動的に再配置される可能性がある。仮想マシンの再配置は、ハードウェアの保守、展開、または移行を見越して、可用性を目的に、あるいはその他の理由で、クラスタ内のノードの作業負荷を再分散するために実施される。
【００２３】
図２に示す実施形態では、自動化された可用性監視が、それぞれノード３１０Ａ〜Ｃに常駐するエージェント３２０Ａ〜３２０Ｃを含む。この監視は、クラスタ３００内の１つまたは複数の資源グループを構成、監視、かつ／または管理することができ、任意のかかる資源グループ内のノード３１０に常駐する仮想マシン３３０を含む。図２には示されていないが、この監視はさらに、エージェントと通信し、資源グループの構成を可能にするコンソールを含むことができる。コンソールは、適切であれば何処（例えば、クラスタ内のノードの１つ、あるいは他の場所）に置かれてもよい。資源グループ内に仮想マシンを含むことに関する本発明の諸態様は、如何なる構成タイプの監視に従って実装されてもよく、エージェント３２０が各ノードに常駐する、図２に示す構成などの分散型の構成、あるいは他の任意な特定のタイプの構成を有するＡＡＭシステムでの使用だけに限定されるものではない。
【００２４】
仮想マシン３３０は、エージェント３２０によって、任意な他の資源と共に構成、監視、かつ／または管理される。他の資源の例には、サービス、アプリケーション工程、システム・パスまたは論理アドレス、ＩＰアドレス、ノード（例えば、記憶デバイスまたはサーバ）、ネットワーク情報カード（ＮＩＣ）、ネットワーク・デバイス（例えば、ルータまたはブリッジ）、コンピュータ・エイリアス、データベースなど上記で開示された資源の何れをも含む。先述の通り、本明細書に記載の本発明の諸態様は、エージェントが全てのノードに常駐する監視での使用だけに限定されるものではなく、また所与の仮想マシンを構成、監視、かつ／または管理する単一のエージェントまたは複数のエージェントが、仮想マシンが常駐するノードと同一のノードに常駐する監視だけに限定されることもない。
【００２５】
資源グループは、仮想マシンを含む、資源の監視および／または制御に関する任意の数の機能を定義するように構成される。仮想マシンの可用性属性は、耐障害性の発行（例えば、ノードが機能しない場合に可用性を確保する）および／または性能問題に対処するように定義されてよい。例えば、資源グループは、仮想マシンのホスト・ノードに１つまたは複数の達成目標または要件（例えば、ホスト・ノード上の仮想マシン、メモリまたは記憶資源に割り振られるホスト・プロセッサを使用する割合など）を指定するように構成され、監視は、それらの目標または要件が満たされているか確認するために措置を講じる。
【００２６】
例えば、一実施形態では、仮想マシンを含む資源グループが、仮想マシンの可用性属性、仮想マシンを初期化するための一連の措置、および／または仮想マシンを停止するための一連の措置を定義する。監視は、仮想マシンから情報を獲得して仮想マシンが適切に機能しているかを、適切であれば如何なる方法でも判定することができ、本発明がこの点で限定されることはない。仮想マシンがどのように機能しているか分析されると、資源グループによって定義されたルールが、仮想マシンのその状態に応じて実行されるべき措置を定義する。例えば、仮想マシンが所与のノードにおいて好ましく、あるいは求められるように機能していない場合、資源グループ内で定義されたルールが、当該の仮想マシンの他のノードへの再配置を指示する。再配置は、適切であれば如何なる方法で達成され、本発明がこの点で限定されることはない。一例として、一部の仮想マシン技術（例えば、ＶＭＷａｒｅから入手可能な仮想マシン技術）は、監視がアクセスしてあるノードから別のノードへ仮想マシンを再配置するように、再配置サービスを提供する。
【００２７】
仮想マシンの監視を可能にするために、（例えば、エージェントを介した）監視は、適切であれば如何なる方法でも仮想マシンから情報を収集する。一実施形態では、かかる情報が、仮想マシン３３０Ａ〜Ｆ内の軽量エージェント３３５Ａ〜Ｆを使用することによって収集される。軽量エージェント３３５は、仮想マシンおよびその仮想マシン上で実行するアプリケーションに関する測定指標を感知、収集し、次いで、それらの測定指標がエージェント３２０Ａ〜Ｃに通信されてよい。図２では、軽量エージェント３３５が、図２で点線の通信パスによって示されるように、同じノード３１０に常駐するエージェント３２０と通信する。しかし、所与の仮想マシン３３０内の軽量エージェント３３５Ａ〜Ｆは、異なるノード３１０に常駐するエージェント３２０と、あるいは監視の如何なる構成要素とも選択的に通信してよく、本発明がこの点で限定されるものでないことを理解されたい。
【００２８】
他の実施形態では、軽量エージェント３３５Ａ〜Ｆが、ウェブ・サービス・プロトコルを介して１つまたは複数のエージェント３２０と通信することができる。ウェブ・サービスは、相手のコンピュータ・システムの性質について詳細な知識をもつことを各コンピュータに求めることなくコンピュータ間で情報を交換する、標準化された、プラットフォームに依存しない通信プロトコルである。ウェブ・サービス・プロトコルは拡張マークアップ言語（ＸＭＬ）を使用してよく、この言語は、クロス・プラットフォームで、柔軟な、テキスト・ベースの、データの表現規格である。現在のウェブ・サービス・プロトコルの実装の詳細は、当業者に知られている。
【００２９】
本発明の一部の実施形態では、軽量エージェント３３５とエージェント３２０との間の通信にウェブ・サービス・プロトコルを利用することができるが、他の通信プロトコルが利用されてもよいことを理解されたい。
【００３０】
一実施形態では、感知された測定指標を軽量エージェント３３５Ａ〜Ｆから受け取ると、エージェント３２０Ａ〜Ｃは、動作環境および／または資源の、この場合は仮想マシンの特徴に好ましい、かつ／または求められる基準を確立する、確立された受付制御基準に基づいて、仮想マシンに対する措置を実行するかどうか決定する。例えば、受付制御基準は、各仮想マシン３３５のホストについて、仮想マシンをホスティングする物理コンピュータ・ノード３１０のメモリの量など最小限のハードウェア要件を確立する。かかる受付制御基準は、所与の資源、例えば仮想マシンが常駐すべきノード３１０の優先リストの生成を可能にすることができる。受付制御基準は、それに加えて、またはそれに代えて、例えば、仮想マシンに割り振られるべき、ホスト・プロセッサを利用する割合を指定することによって、仮想マシンに割り振られるホスト資源の量について基準を確立することができる。
【００３１】
上記で説明された特定の受付制御基準は、単なる例であり、受付制御基準は、動作環境および／または仮想マシンあるいはその他の任意の資源の特徴について、望ましければ如何なる基準でも確立することができることを理解されたい。
【００３２】
受付制御基準と連動して、監視（例えば、エージェント３２０Ａ〜Ｃ）は、マシンが再配置される状況を指定し、なおかつ新しいホストの選択を（受付制御基準と共に）誘導する再配置ポリシに基づいて仮想マシンの動きを管理することができる。例えば、再配置ポリシを介して、監視（例えば、エージェント３２０）は、仮想マシン３３０の現ホスト・ノードの不具合または性能低下というイベント時に、どのノード３１０に仮想マシン３３０が移動されるべきかを自動的に決定することができ、それにより仮想マシンの可用性を自動的に確保する。
【００３３】
図３は、図２のクラスタ３００を示すが、この場合、仮想マシン３３０Ａ〜３３０Ｂがノード３１０Ｂに再配置されており、仮想マシン３３０Ｃがノード３１０Ｃに再配置されている。ノード３１０Ａからの再配置は、仮想マシン内で走るアプリケーションに関連する、ノード３１０Ａの不具合により感知された測定指標（軽量エージェント３３５Ａ〜３３５Ｃからエージェント３２０Ａに送られる）によって、あるいは適切であれば他の如何なるトリガを発生するイベントによってもトリガされる。再配置ポリシは、エージェント３２０Ａ〜Ｃによって利用されて各仮想マシン３３５Ａ〜３３５Ｃを再配置する行き先ノードを決定する。
【００３４】
図２〜図３に示されている特定の例は、仮想マシンだけを含む資源グループを含むが、本発明がこの点で限定されることはなく、資源グループは、仮想マシンに加えて他の如何なるタイプの資源を含むようにも構成されてよいことを理解されたい。
【００３５】
従来方式では、資源グループを構成するために自動化された可用性監視と通信するためのユーザ・インターフェースは、クラスタと同一ネットワーク内に常駐しなければならず、そのネットワークは、多くの場合、インターネットなど接続されている公衆ネットワークを介した外部からの認証されていないアクセスからそのネットワークを保護するため、ファイアウォールの背後に配置されている。さらに、ユーザ・インターフェースとクラスタの構成、監視、および／または制御を実施する自動化された可用性監視の構成要素との間の通信は、従来方式では特定の専用通信プロトコルを使用して実施され、監視の全構成要素は、監視されるクラスタと同一ネットワーク内に（例えば、同じファイアウォールの背後に）置かれ専用プロトコルを使用して通信できることが求められる。かかる制約は、管理者が現場にいて従来型のクラスタ管理ソフトウェアと対話することを必要とする。
【００３６】
本発明の一実施形態によれば、自動化された可用性監視のユーザ・インターフェースと、資源グループを構成、監視、かつ／または制御する、自動化された可用性監視の他の構成要素との間の通信で、ウェブ・サービス・プロトコルが使用される。
【００３７】
一実施形態では、ウェブ・サービス・インターフェースを自動化された可用性監視に備えることが、資源グループを構成、監視、かつ／または制御するときに、位置についての柔軟性につながり、その場合、監視は、クラスタがファイアウォールで保護されている場合でも、クラスタ・ネットワークの外部からアクセスされることができる。例えば、ウェブ・サービス・インターフェースを介することで、管理者は、クラスタ・ネットワーク（ファイアウォールの背後で保護されている場合でも）の外部にあるコンピュータから、例えばインターネットを使用して資源グループの構成および／または管理ツールと通信することができ、それにより、管理者が、同一ネットワーク上のコンピュータから監視または構成ツールにアクセスしなくとも、１つまたは複数の資源グループを構成、監視、かつ／または制御することが可能になる。
【００３８】
ウェブ・サービス・インターフェースの使用は、クラスタ・ネットワークの外部の位置から資源グループの構成および／または管理ツールと通信することを可能にするが、ウェブ・サービス・インターフェースが、同一ネットワーク上のコンピュータから資源グループを構成、監視、かつ／または制御するのにも利用され得ることを理解されたい。ウェブ・サービス・インターフェースの使用は、上記で説明されたプラットフォームに依存しない方法での、管理者により使用されるコンピュータと資源グループの構成および／または管理ツールとの間の通信を可能にする。
【００３９】
上記の説明では、ウェブ・サービス・インターフェースが、ユーザ・インターフェースと資源グループの構成および／または管理ツールとの間で使用されると説明された。一実施形態では、ウェブ・サービス・インターフェースを介して（例えば、公に利用可能なウェブサイトにアクセスすることによって）アクセス可能なユーザ・インターフェースが、資源グループを構成し、なおかつ既に構成されている資源グループを監視かつ制御する能力を提供する。しかし、ウェブ・サービス・インターフェースを介した資源グループ・ツールへのアクセスに関する本発明の実施形態がこの点で限定されることはなく、ウェブ・サービス・インターフェースを介してアクセス可能なユーザ・インターフェースは、他の任意の活動が資源グループのクラスタと同一ネットワーク上でのアクセスを要してもよいように、資源グループの構成、監視、および制御に関する活動の如何なる一部をも実施する能力を選択的に提供することができる（例えば、構成は可能だが監視はしない、あるいは監視は可能だが構成はしない）ことを理解されたい。
【００４０】
資源グループの構成および／または管理ツールへのアクセスでのウェブ・サービス・インターフェースの使用に関する本発明の態様による一実施形態が、次に図４を参照しながら説明されるが、図４は、クラスタ５００、コンピュータ５８０、およびコンピュータ５８０をクラスタに結合するネットワーク５６５からなるコンピュータ・システム５０００を示す。クラスタ５００は１組の物理コンピュータ・ノード５１０Ａ〜５１０Ｃを含み、これらのノードは資源５３０Ａ〜５３０Ｅを保有する。上記で説明されたように、物理コンピュータ・ノード５１０Ａ〜５１０Ｃは、サーバ、記憶システム、あるいは１つまたは複数の監視されるべき資源を有するその他の任意のデバイスなど適切であれば如何なるデバイスを含む。物理クラスタはネットワーク５５５を介して相互接続され、このネットワークは、上記で説明されたのとほぼ同様に、如何なるトポロジの如何なるタイプのネットワークであってもよい。
【００４１】
ネットワーク５６５は、クラスタ５００とコンピュータ５８０との間の通信を可能にする任意のタイプのネットワーク接続である。一実施形態では、クラスタ５００およびネットワーク５５５がセキュアな専用ネットワークの一部であり、ファイアウォールによって保護される。一実施形態では、ネットワーク５６５が公衆ネットワーク（例えば、インターネット）である。コンピュータ５８０は、クラスタ５００と同一の専用ネットワークの一部であってもよく、異なるファイアウォールによって保護された異なる専用ネットワークの一部であってもよく、ファイアウォールで保護されていなくてもよく、あるいはウェブ・サービス・インターフェースを介してクラスタ５００と通信するために公衆ネットワーク５６５にアクセスを行う他の如何なる構成で構成されてもよい。
【００４２】
コンピュータ５８０は、ネットワーク５６５を介して、クラスタ５００上で資源グループの構成を可能にする構成ツールへの接続を可能にする、ユーザ・インターフェースを提供する。ウェブ・サービス・インターフェースの使用を通じて、コンピュータ５８０は、ウェブ・サービス・プロトコルに従って通信信号を送受信することによって構成ツールと通信する。ウェブ・サービス・プロトコルおよびインターフェースを介した通信は、コンピュータ５８０が、公衆ネットワーク５６５に接続された如何なるコンピュータに常駐する資源グループの構成ツールとも対話することを可能にする。一実施形態では、上記で説明されたようにコンソールであってよい構成ツールが、クラスタ５００上に（例えば、クラスタ５００上の任意の１つまたは複数の物理コンピュータ・ノード５１０Ａ〜５１０Ｃ上に）配置される。ウェブ・サービス・インターフェースを介することで、ユーザはコンピュータ５８０を使用して構成ツールと通信することができ、ユーザが従来技術を使用してクラスタ５００内のコンピュータから構成ツールと通信できるのと同様にして、ユーザがクラスタ５００内の物理コンピュータ・ノード５１０Ａ〜５１０Ｃに常駐する資源を構成、監視、かつ／または制御することが可能になる。例えば、ユーザは、管理されるべき資源の定義、測定指標を検知するセンサ、資源の起動および終了に対するルール、フェイルオーバーノードの選択手順、感知された測定指標のトリガ基準に対するコマンドなどによって、クラスタ上で資源グループの構成を管理する。
【００４３】
上記で説明されたように、本発明の一実施形態によれば、１つまたは複数の資源グループの構成を可能にする構成ツールのインターフェースが、ウェブ・サービス・インターフェースにより利用できるようになる。あるいは、本発明の他の実施形態によれば、１つまたは複数の既に構成されている資源グループを監視するためのインターフェースも、ウェブ・サービス・インターフェースにより利用できるようになる。また、本発明の一実施形態によれば、かかる機能が組み合わされ、資源グループの構成および監視の両方を可能にするＡＡＭ監視あるいは他の適切なツールへのインターフェースが、ウェブ・サービス・インターフェースにより利用できるようになる。
【００４４】
構成および／または監視ツールのウェブ・サービス・インターフェースは、任意のスーツまたは方法で実装され、本発明がこの点で限定されることはない。本発明の一実施形態によれば、構成および／または監視ツールのユーザ・インターフェースは、ウェブサイトとほぼ同様に、ネットワーク５６５上の公にアクセス可能なアドレスで利用できるようになる。本発明のこの実施形態によれば、その場合、ユーザ・インターフェースは、ネットワーク５６５およびブラウザへのアクセス権をもつ如何なるコンピュータ５８０によってもアクセスされる。
【００４５】
図５は、分散型の監視システムに関する、本発明の他の実施形態を示し、この場合、監視システムの２つ以上の要素間の通信が、ウェブ・サービス・インターフェースを使用して実施される。図５の実施形態では、監視システムが、クラスタ６００の物理コンピュータ・ノード６１０Ａ〜６１０Ｃに常駐するエージェント６２０Ａ〜Ｃ、およびクラスタ６００上で資源グループの構成を可能にする監視システムのユーザ・インターフェースを提供するコンソール６８５からなる。コンソール６８５は、適切であれば如何なる方法でも、例えば、第２のコンピュータ６８０のプロセッサにアクセスでき、かつそのプロセッサにより実行されるコンピュータ可読媒体上に符号化された命令で実装される。一実施形態では、ユーザが、グラフィカル・ユーザ・インターフェースを介して１つまたは複数のコマンドを供給して資源グループを構成できるように、コンソール６８５が、グラフィカル・ユーザ・インターフェースの表示を定義する命令を含むことができる。
【００４６】
コンソール６８５は、物理コンピュータ・ノード６１０Ａ〜Ｃに常駐するエージェント６２０Ａ〜Ｃと通信する。エージェント６２０Ａ〜Ｃは、適切であれば如何なる方法でも、例えば、対応する物理コンピュータ・ノード６１０Ａ〜Ｃのプロセッサにアクセスでき、かつそのプロセッサにより実行されるコンピュータ可読媒体（例えば、メモリまたは他の記憶デバイス）上に符号化された命令で実装される。図５では、エージェント６２０Ａ〜Ｃが、１つまたは複数の資源６３０Ａ〜Ｅも常駐できる同一物理コンピュータ・ノード６１０Ａ〜Ｃにソフトウェアでインストールされており、同一ノード上の資源６３０Ａ〜Ｅを構成、監視、かつ／または制御することができる。しかし、上記で説明されたように、本明細書に記載の本発明の諸実施形態は、このタイプの構成を有する監視での使用だけに限定されるものではない。例えば、エージェントは、そのエージェントによって構成または監視される資源が常駐するノードとは別のデバイスにインストールされ、エージェントが常駐するデバイスは、そのエージェントを実行できる任意のコンピューティング・デバイスである。したがって、図５では、エージェントがクラスタ６００内の各ノードに常駐であるが、本明細書に記載の本発明の諸態様は、より少ないエージェント（例えば、クラスタにつき１つ）を使用する他の構成と共に使用されてもよい。
【００４７】
一実施形態では、コンソール６８５とエージェント６２０Ａ〜Ｃとの間の通信は、ウェブ・サービス・プロトコルおよびインターフェースを介して達成される。図４の第２のコンピュータ５８０およびクラスタ５００に関連した上記の説明の場合と同様、ネットワーク６６５は、公衆ネットワークでも専用ネットワークでもよく、コンソール６８５が常駐するコンピュータ６８０はクラスタと同一専用ネットワーク内にあってもよいし、コンピュータ６８０がクラスタ６００を保護するファイアウォールの外側にあってもよい。コンソール６８０がクラスタ６００を保護するファイアウォールの外側に配置され、エージェント６２０Ａ〜Ｃがクラスタ６００上に配置されてよいので、コンソール６８５とエージェント６２０との間の通信でウェブ・サービス・インターフェースを使用することにより、コンソールがクラスタから遠く離れて（例えば、別の部屋、建物、町、州、あるいは国に）配置されることが可能となり得る。
【００４８】
コンソール６８５とエージェント６２０Ａ〜Ｃとがウェブ・サービス・インターフェースおよびプロトコルを介して通信するとき、かかる通信は、適切であれば如何なる方法でも実施されてよいことを理解されたい。例えば、コンソール６８５は、エージェント６２０Ａ〜Ｃと通信するように適合されたエージェント・インターフェースを有することができ、エージェント・インターフェースは、エージェント６２０Ａ〜Ｃが、ブラウザあるいはエージェント上の他の適切な技術を使用することによってコンソールにアクセスするように、ウェブ・サービス・プロトコルを介してエクスポートされる。それに加えて、またはそれに代えて、エージェント６２０Ａ〜Ｃは、コンソール６８５との通信に適合されたコンソール・インターフェースを有し、エージェントのコンソール・インターフェースは、コンソール６８５が、ブラウザあるいはコンソール上の他の適切な技術を使用してエージェントにアクセスすることができるように、ウェブ・サービス・プロトコルを介してエクスポートされる。
【００４９】
コンソール６８５は、ウェブ・サービス・インターフェースを使用してエージェント６２０Ａ〜Ｃと通信することによって、資源グループを構成する能力を提供すると上記で説明されたが、本発明の一実施形態では、コンソール６８５が、エージェント６２０Ａ〜Ｃによって監視される資源を含む既に構成されている資源グループを監視する能力を提供することができること、およびかかる監視機能が、コンソール６８５を介して資源グループを構成する能力に加えて、あるいはコンソール６８５を介して資源グループを構成する能力の代わりに実施され得ることも、さらに理解されたい。このことにより、資源グループが、クラスタ６００と同一ネットワークに接続されたコンピュータを介してではなく、遠隔から監視されることが可能になることを理解されたい。
【００５０】
本発明の一実施形態によれば、資源グループを構成かつ／または監視するためのユーザ・インターフェース（例えば、図５のコンソール６８５）を、資源が監視されているクラスタから分離する能力により、単一のコンソール・インターフェースが、異なる専用ネットワークの背後のクラスタを含む複数のクラスタ上の資源グループを管理するのに使用されることが可能となり得る。
【００５１】
従来型の可用性監視および管理システムでは、資源グループが物理ノードの特定のクラスタ内の資源について定義され、資源グループの可用性要件を満たす可用性監視システムに利用可能な物理構成要素はクラスタ内の構成要素に限られる。コンピュータ・システムを構成する際、クラスタを定義するのに使用されるインフラストラクチャは、単一のクラスタでグループ化され得るのが望ましい物理構成要素の数に何らかの実際的な制限を課すことができる。クラスタを定義するインフラストラクチャには、クラスタに割り当てられる識別子（例えば、名前）、クラスタに含まれる物理構成要素（例えば、ノード）のリスト、およびクラスタ上の１つまたは複数の資源グループの構成をサポートするノード間でのクラスタ・レベル通信を含む。例えば、典型的な資源グループは、資源が初めに常駐してよいクラスタ内のノードの不具合というイベント時でも、クラスタ上の１つまたは複数の資源の継続可用性をサポートするように定義される。クラスタ内のノードが一緒に機能してかかる可用性機能を提供できるようにするために、従来型の監視システムは、クラスタ内のノードが、他のノードの調子、およびノードの不具合というイベント時に資源の継続可用性を確保するために措置が講じられるべきかどうかを認識するように、クラスタ内のノード間でクラスタ・レベル通信を使用する。かかるクラスタ・レベル通信の例には、クラスタ内のノード間でのハートビート通信またはポーリング通信を含むことができ、ノードが他のノードの調子および継続実行可能性を集合的に監視することができる。
【００５２】
上記で説明されたように、クラスタをサポートするのに使用されるインフラストラクチャに即して言えば、任意な特定のクラスタ内でグループ化される物理ノードの数を制限することが望ましいことがある。例えば、クラスタ内のノードの数があまり多くなると、クラスタをサポートするノード間のクラスタ・レベル通信が相当な負担となり、クラスタのノードを相互接続するネットワークのネットワーク帯域幅の望ましくない大きな割合を消費することがある。したがって、従来型の監視システムを使用する場合、ユーザはしばしば任意の１クラスタ内で相互接続される物理ノードの数を制限する。
【００５３】
任意な特定のクラスタでグループ化され得るのに望ましいノードの数への制約の不利な面は、そのことが特定の資源グループの所望の可用性要件を満たすために講じられ得る措置に望ましくない制限を課し得ることである。例えば、特定の資源グループが、特定のクラスタでグループ化が望ましい特定のノードのグループのうちのほんの少数のノードで満たされる１組の所望の動作環境基準をもつことがある。出願人は、状況次第では、資源グループの可用性要件を満たすために、資源グループがクラスタの外部にある物理ノードまたは構成要素を使用できるように、資源グループを構成するのが望ましいことがあると理解している。したがって、本発明の一実施形態によれば、資源グループが、グループ内の少なくとも１つの資源について、その資源の異なるクラスタへの再配置を認証する再配置ポリシを含むように構成されてよい。
【００５４】
本発明の一実施形態によれば、資源グループ内の資源がクラスタの外部に再配置されるのを可能にすることに関する本発明の態様は、資源の再配置という点でより柔軟性をもたらすために、ウェブ・サービスを使用して自動化された可用性監視の構成要素間での通信を可能にする本発明の態様と連動して使用されてよい。例えば、特定の企業内では、各ネットワークが、他の通信プロトコルを使用して直接通信できないように、独自のファイアウォールの背後で保護されている、（例えば、地理的に異なる位置に置かれた）複数の専用ネットワークが存在する。しかし、各専用ネットワークは、公衆ネットワーク（例えば、インターネット）に接続され、それぞれがウェブ・サービス・プロトコルの使用を介してアクセス可能である。したがって、本発明の一実施形態によれば、ウェブ・サービス・プロトコルおよびインターフェースが、ある専用ネットワーク上のクラスタから別のネットワーク上のクラスタへの資源の再配置を円滑にするために使用される。
【００５５】
監視ツールの構成要素間での通信のためにウェブ・サービス・インターフェースおよびプロトコルを使用することに関する本発明の態様との組合せは有利であるが、クラスタの外部に資源を再配置することに関する本発明の態様は、この点で限定されることはなく、同一ファイアウォールの背後に配置されたクラスタに資源を移動することを含む、他の数多くの状況でクラスタの外部に資源を再配置するのに使用されてよいし、あるいは監視ツールの様々な構成要素間で通信する適切であれば如何なる通信プロトコルでの使用に用いられてもよいことを理解されたい。
【００５６】
図６は、システム９０００が、２つのクラスタ９００Ａおよび９００Ｂからなる一実施形態を示す。クラスタ９００Ａは、資源９３０Ａ〜９３０Ｅをホスティングする物理コンピュータ・ノード９１０Ａ〜９１０Ｃからなる。資源９３０Ａ〜９３０Ｅは、エージェント９２０Ａ〜Ｃを含む監視システムによって監視される。クラスタ９００Ｂは、資源９３０Ｆ〜９３０Ｈをホスティングする物理コンピュータ・ノード９１０Ｄ〜９１０Ｅからなる。資源９３０Ｆ〜９３０Ｈは、エージェント９２０Ｄ〜Ｅを含む監視システムによって監視される。
【００５７】
クラスタ９００Ａおよび９００Ｅは、ネットワーク９６５を介して相互接続される。上記で説明されたように、ネットワーク９６５は公衆ネットワークであり、クラスタ９００Ａおよび９００Ｂの１つまたは複数が、ファイアウォールの背後の専用ネットワーク上に配置されている。しかし、上記で説明されたように、クラスタ間再配置に関する本発明の態様がこの点で限定されることはなく、ネットワーク９６５は、クラスタ９００Ａ、９００Ｂを接続する如何なるタイプのネットワークであってもよいし、またクラスタ９００Ａ、９００Ｂは同一ファイアウォールの背後に置かれてもよい。本明細書で用いられる通り、ファイアウォールという用語は、広義に使用されて、ネットワーク構成要素を外部アクセスから保護する如何なるセキュリティ技術をも指す。
【００５８】
図示されている実施形態では、第１のクラスタ９００Ａ内の１つまたは複数の資源９３０Ａ〜Ｅからなる資源グループが、資源のうち少なくとも１つの第２のクラスタ９００Ｂへの再配置を、指定された状況で認証する再配置ポリシに従って構成される。上記で説明されたのとほぼ同様に、その下で再配置が起こる指定された状況は、適切であれば如何なる受付制御基準に従って定義されてもよく、再配置される資源の行き先は、適切であれば如何なる再配置ポリシに従って指定されてもよく、本発明がこの点で限定されることはない。
【００５９】
上記に示された例では、資源９３０Ａ〜Ｅからなる資源グループが、資源９３０Ａのクラスタ９００Ｂへの再配置を認証する再配置ポリシに従って構成される。指定された状況が発生すると、図７に示すように、資源９３０Ａがクラスタ９００Ｂに再配置される。クラスタ間再配置に関する本発明の諸態様は、再配置をトリガし得る如何なる特定の状況に限定されることもなく、従来であればクラスタ内のあるノードから別のノードへの資源の再配置をもたらすはずの如何なるタイプの状況をも、あるいは資源グループを構成する管理者がかかる再配置をトリガしようとし得る他の如何なるイベントをも含む、適切であれば如何なる状況が使用されてもよい。
【００６０】
資源９３０Ａの再配置は、適切であれば如何なる方法で実施される。上記で説明されたように、本発明の一実施形態によれば、ウェブ・サービス・インターフェースおよびプロトコルが、資源９３０Ａの再配置を円滑にするためにクラスタ９００Ａと９００Ｂとの間の通信に使用される。しかし、本発明がこの点で限定されることはないこと、および、資源９３０Ａの再配置を円滑にするために、適切であれば如何なる通信技術がクラスタ９００Ａと９００Ｂとの間の通信に使用されてもよいことを理解されたい。
【００６１】
本発明の一実施形態によれば、クラスタが、異なる製造元により提供された可用性監視ツールによって構成かつ管理されている場合でも、資源があるクラスタから別のクラスタに再配置され得るように、任意な特定の可用性監視で使用される通信プロトコルにも汎用な方法で、クラスタ９００Ａと９００Ｂとの間での通信に一技術が使用される。この点について、出願人は、異なる可用性監視の製造元がその可用性監視により管理される資源を称するのに異なる呼び名を使用しているとはいえ、可用性監視システムのほとんどが、同一のまたは類似のタイプの資源を監視かつ管理する機能を有していると理解している。したがって、本発明の一実施形態によれば、任意な特定の製造元によって使用されている言語に依存しないメタ言語が使用され、このメタ言語が、第１の製造元により提供された可用性監視によって管理される第１のクラスタから第２の製造元により提供された可用性監視によって管理される第２のクラスタへの資源の再配置を円滑にする通信を提供する。
【００６２】
本発明の一実施形態によれば、ＸＭＬがメタ言語として使用されて異なる製造元の可用性製品によって管理されるクラスタ間の通信を可能にし、ＸＭＬ言語はウェブ・サービス・インターフェースに従って使用される。可用性監視製品は通常、資源グループが構成されるのを可能にするユーザ・インターフェースを提供し、ＸＭＬ（拡張マークアップ言語）言語は、類似のレベルで通信するのに使用され得る。
【００６３】
（ウェブ・サービスを介する）ＸＭＬが、本発明の一実施形態によればメタ言語として使用されるが、クラスタ間再配置に関する本発明の態様は、クラスタ間のメタ言語としてＸＭＬを使用することだけに限定されるものではなく、適切であれば如何なる言語でも使用されてよいことを理解されたい。
【００６４】
例えば、他の一般的な言語が、異なる製造元により提供された可用性監視製品間での通信を円滑にするために使用されてよく、あるいは同じ製造元の可用性監視製品によって両方のクラスタが管理されている場合には、独自仕様の通信プロトコルが、あるクラスタから別のクラスタへの再配置を円滑にするために使用されてよい。
【００６５】
資源が、あるクラスタ（例えば、図７の９００Ａ）から別のクラスタ（例えば、９００Ｂ）に移動された場合、２つのクラスタが一緒に作動して、両方のクラスタによってサポートされる少なくとも１つの資源グループの可用性を提供することから、少なくとも一部の限られた点では、その２つのクラスタがより大きなメタ・クラスタを形成すると考えられてよいことを理解されたい。本発明の一実施形態によれば、２つの（あるいはそれ以上の）クラスタが、上記で説明されたクラスタ・レベルのインフラストラクチャ通信と多くの点で類似するが、２つのクラスタによりサポートされる資源グループの可用性を確保するのに望ましい通信に限定される、メタ・クラスタ通信に携わる。本発明の一実施形態によれば、かかるメタ・クラスタ通信は、別のクラスタへの再配置を認証する再配置ポリシに従って資源グループの構成時に起動されるのでなく、資源グループが実際に別のクラスタに再配置されてメタ・クラスタを形成するときにアクティブにされる。
【００６６】
別のクラスタから資源が再配置される行き先クラスタに、再配置された資源の可用性をサポートする所望の振舞いに関して、再配置を導く構成情報が提供されなければならないこともさらに理解されたい。かかる構成情報は、初めに行き先クラスタが構成されるときに行き先クラスタ（例えば、上記の例のクラスタ９００Ｂ）に提供され、あるいは、資源が行き先クラスタに再配置されるときに提供される。
【００６７】
上記の説明では、メタ・クラスタが１つまたは複数の資源グループをサポートするために形成されると説明され、メタ・クラスタは２つのクラスタを含む。しかし、クラスタ間再配置およびメタ・クラスタの形成に関する本発明の態様は、２つのクラスタを含むメタ・クラスタの形成だけに限定されるものではなく、３つ以上のクラスタを含むメタ・クラスタが形成されてよいことを理解されたい。
【００６８】
以上から理解されるはずであるが、ウェブ・サービス通信、クラスタ間再配置、および仮想マシンの資源グループへの包含に関する態様を含む、互いに独立して使用され得る、本明細書に記載の本発明の態様が多数存在する。しかし、一部の実施形態では、上記で説明された特徴の全てが一緒に使用されてもよいし、あるいは上記で説明された特徴の任意の組合せあるいは一部が特定の実施態様で一緒に使用されてもよく、本発明の態様がこの点で限定されるものではないことも理解されたい。
【００６９】
上記で説明されたように、本発明の諸態様は、クラスタ内の資源グループを構成かつ／または監視するツールでの使用に関する。本明細書で用いられる資源グループの管理と監視への言及は、自動化された可用性監視およびマネージャを含む、管理と監視の機能を実施するソフトウェア・ツールへの当方の言及ということでは、同じ意味で用いられている。上記で説明されたように、本明細書に記載の本発明の諸態様は、任意な特定の構成を有するかかるツールだけに限定されるものではなく、資源グループを構成かつ監視するのであれば如何なるツールと使用されてもよい。
【００７０】
上記で説明された本発明の諸実施形態は、多数の方法のうち何れにおいて実施されてもよい。例えば、諸実施形態は、ハードウェア、ソフトウェア、あるいはそれらの組合せを使用して実施されてよい。ソフトウェアで実施される場合、ソフトウェア符号は、単一のコンピュータに備えられているか複数のコンピュータに分散されているかにかかわらず、適切であれば如何なるプロセッサまたはプロセッサ群で実施されてよい。上記で説明された諸機能を実施する如何なる構成要素または構成要素群も、総称的には、上記で説明された諸機能を制御する１つまたは複数の制御器として考えられてよいことを理解されたい。この１つまたは複数の制御器は、多数の方法で、例えば、専用ハードウェアで、あるいはマイクロコードまたはソフトウェアを使用して上記で述べられた機能を実施するようにプログラムされた汎用目的のハードウェア（例えば、１つまたは複数のプロセッサ）で実施されてよい。
【００７１】
本明細書で概説された様々な方法が、様々なオペレーティング・システムまたはプラットフォームの任意の１つを使用する１つまたは複数のプロセッサ上で実行可能なソフトウェアとして符号化されてよいことを理解されたい。さらに、かかるソフトウェアは、いくつかの適切なプログラミング言語、および／または従来のプログラミングまたはスクリプティング・ツールのうち何れを使って書かれてもよく、また実行可能なマシン言語符号としてコンパイルされてもよい。この点で、本発明の一実施形態は、実行されると１つまたは複数のコンピュータあるいは他のプロセッサ上で、上記で説明された本発明の様々な実施形態を実施する方法を実施する、１つまたは複数のプログラムを符号化されたコンピュータ可読媒体または複数のコンピュータ可読媒体（例えば、コンピュータ・メモリ、１枚または複数枚のフロッピーディスク、コンパクト・ディスク、光ディスク、磁気テープなど）を対象とすることを理解されたい。コンピュータ可読媒体あるいは複数のコンピュータ可読媒体は、その媒体に記憶されたプログラムまたはプログラムが、１つまたは複数の異なるコンピュータまたは他のプロセッサにロードされて上記で説明されたように本発明の様々な態様を実施し得るように、移送可能であってよい。
【００７２】
用語「プログラム」は、本明細書では一般的な意味で用いられ、コンピュータまたはその他のプロセッサをプログラムして、上記で述べられたように本発明の様々な態様を実施するのに使用され得る、任意のタイプのコンピュータ符号または一連の命令を指すことを理解されたい。さらに、この発明の一態様によれば、実行されると本発明の方法を実施する１つまたは複数のコンピュータ・プログラムは、本発明の様々な態様を実施するのに、単一のコンピュータまたはプロセッサに常駐する必要はなく、異なるいくつかのコンピュータまたはプロセッサにモジュール方式で分散されてよいことを理解されたい。
【００７３】
一実施形態は、複数の物理コンピュータ・ノードからなるコンピュータ・システム、複数の物理コンピュータ・ノード上で実行する複数の仮想マシン、およびコンピュータ・システム内の資源を監視する監視を操作する方法を提供する。複数の仮想マシンのそれぞれは、コンピュータ・システムの仮想表現からなる。この方法は、複数の仮想マシンの少なくとも１つが監視によって監視され得るように、複数の仮想マシンの少なくとも１つからなる少なくとも１つの資源グループの構成からなる。他の実施形態は、実行されるとこの方法を実施する複数の命令を符号化された少なくとも１つのコンピュータ可読媒体を対象とする。
【００７４】
他の実施形態によれば、少なくとも１つのコンピュータが、複数の物理コンピュータ・ノード、複数の物理コンピュータ・ノード上で実行する複数の仮想マシン、およびコンピュータ・システム内の資源を監視する監視からなるコンピュータ・システムでの使用に提供される。複数の仮想マシンのそれぞれは、コンピュータ・システムの仮想表現からなる。少なくとも１つのコンピュータは、複数の仮想マシンの少なくとも１つが監視によって監視され得るように、複数の仮想マシンの少なくとも１つからなる少なくとも１つの資源グループを構成するようにプログラムされた少なくとも１つのプロセッサからなる。
【００７５】
他の実施形態は、複数の物理コンピュータ・ノード、複数の物理コンピュータ・ノード上で実行する複数の仮想マシン、およびコンピュータ・システム内の資源を監視する監視からなるコンピュータ・システムを操作する方法を提供する。複数の仮想マシンのそれぞれは、コンピュータ・システムの仮想表現からなる。この方法は、資源グループ内の複数の仮想マシンの少なくとも１つの監視からなる。他の実施形態は、実行されると、この方法を実施する複数の命令を符号化された少なくとも１つのコンピュータ可読媒体を対象とする。
【００７６】
一実施形態によれば、少なくとも１つのコンピュータが、複数の物理コンピュータ・ノード、複数の物理コンピュータ・ノード上で実行する複数の仮想マシン、およびコンピュータ・システム内の資源を監視する監視からなるコンピュータ・システムの操作に使用するために提供される。複数の仮想マシンのそれぞれは、コンピュータ・システムの仮想表現からなる。少なくとも１つのコンピュータが、資源グループ内の複数の仮想マシンの少なくとも１つの監視を可能にするようにプログラムされた少なくとも１つのプロセッサからなる。
【００７７】
本発明の様々な態様は、単独でも、組み合わせても、あるいは上記で説明された諸実施形態で具体的に説明されなかった様々な構成でも使用されてよく、本明細書に記載の本発明の諸態様は、上記の記載で説明された、または図面に示された構成要素の詳細および構成へのその適用例だけに限定されるものではない。本発明の諸態様は、他の実施形態を有し、様々な方法で実践される、あるいは実現され得る。本発明の様々な態様は、如何なるタイプのネットワーク、クラスタ、あるいは構成と関連しても実装されてよい。このネットワーク実装に何ら制限が課されることはない。
【００７８】
したがって、上記の説明および図面は例示を目的としているに過ぎない。
また、本明細書で使用される表現および用語は、説明が目的であり、限定するものと見なされてはいけない。「含む」、「備える」あるいは「有する」、および本明細書におけるその変形形態の使用は、これらの語に続いて記載される項目およびその項目の均等物ならびに他の項目を包含するよう意図されている。
【図面の簡単な説明】
【００７９】
【図１】自動化された可用性ソフトウェアが実施される例示的なシステムを示す構成図。
【図２】クラスタ上に常駐する仮想マシンが、本発明の一実施形態による可用性監視によって構成、監視、かつ／または管理される例示的なシステムを示す構成図。
【図３】図２のシステムを示すが、仮想マシン上に常駐するいくつかの仮想マシンが、本発明の一実施形態による可用性監視によって異なるノードに再配置されている図。
【図４】クラスタ資源が、本発明の一実施形態に従って、第２のコンピュータからウェブ・サービス・インターフェイスを介して構成、監視、かつ／または管理される例示的なシステムを示す構成図。
【図５】コンソールおよびノードが本発明の一実施形態に従ってウェブ・サービス・インターフェイスを介して通信する、ユーザ・インターフェースをもつコンソールおよびシステム内のノード上の複数のエージェントからなる資源グループ構成ツールを有する例示的なシステムを示す構成図。
【図６】本発明の一実施形態に従って、資源が第１のクラスタから第２のクラスタへ再配置さる例示的なシステムを示す構成図。
【図７】図６の例示的なシステムを示す構成図であるが、本発明の一実施形態に従って、資源が第１のクラスタから第２のクラスタへ再配置されている図。
【図１】
2008517382.tif 000003
【図２】
2008517382.tif 000004
【図３】
2008517382.tif 000005
【図４】
2008517382.tif 000006
【図５】
2008517382.tif 000007
【図６】
2008517382.tif 000008
【図７】
2008517382.tif 000009
【国際調査報告】
2008517382.tif 000010
2008517382.tif 000011
2008517382.tif 000012