(57)【特許請求の範囲】
【請求項１】
バーチャルクラスタリング及びネットワーク制御のためのシステムであって、
階層ネットワークにおける複数の計算ノードを有し、
各ノードは、
（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関するノードの動作に基づき、前記階層ネットワークにおける現在のクラスタレベルから新たなクラスタレベルへの前記対応するノードの自律的な自己引き上げ及び引き下げのためのロジックと、
クラスタｋのクラスタヘッドに引き上げられたノードにおいて、前記クラスタｋのピアノードに管理及び制御サービス機能を提供するロジックと、
前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルの他のノードに管理及び制御サービス機能を提供するロジックと、
から構成され、
引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
前記階層ネットワークにおける自律的な自己引き上げ及び引き下げのためのロジックは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサの１つにおいて実行されるシステム。
【請求項２】
前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ  Ｍａｎａｇｅｍｅｎｔ  Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１記載のシステム。
【請求項３】
ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１記載のシステム。
【請求項４】
物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される、請求項１記載のシステム。
【請求項５】
クラスタｋの各ノードとクラスタｋのペアレントクラスタに係るクラスタヘッドとは、クラスタ動作の通信を受信及び応答するため前記クラスタアドレスを使用するよう構成され、
グローバルクラスタヘッドは、動作の通信並びにクラスタリング制御及び管理を送信するため前記クラスタアドレスを使用する、請求項４記載のシステム。
【請求項６】
前記クラスタｋのペアレントクラスタに係るクラスタヘッドは、同一のクラスタレベルにあるピアクラスタヘッドと通信する、請求項５記載のシステム。
【請求項７】
前記クラスタｋのペアレントクラスタに係るクラスタヘッドは、クラスタ状態の条件を受信し、前記クラスタヘッドに係る各クラスタ内で統合及び相関を実行し、
前記クラスタヘッドは、統計計算技術を介しクラスタ状態の解析を実行し、ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持する、請求項６記載のシステム。
【請求項８】
前記階層ネットワークは、集中ネットワークフレームワークと非集中ネットワークフレームワークの双方を合成したものであり、
クラスタレベルにおけるバーチャルクラスタ内のクラスタヘッドへのノードの自己引き上げにより実行される集中化と非集中化が、前記階層ネットワークの最下位クラスタレベルと共に、各ノードがピア・ツー・ピアのように通信する各クラスタ内に存在する、請求項１記載のシステム。
【請求項９】
複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための方法であって、
ノードが、前記ノードが前記階層ネットワークのネットワーク階層において新たなクラスタレベルに引き上げられるべきか若しくは引き下げられるべきか、又は現在のクラスタレベルに留まるべきか自律的に判断するステップと、
前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、
前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
を有し、
引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される方法。
【請求項１０】
自己引き上げ及び引き下げは、（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関するノードの動作に基づく、請求項９記載の方法。
【請求項１１】
前記ノードにより自律的に判断するステップは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサにおいて実行され、
前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ  Ｍａｎａｇｅｍｅｎｔ  Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１０記載の方法。
【請求項１２】
ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１０記載の方法。
【請求項１３】
クラスタｋの各ノードとクラスタｋのペアレントクラスタに係るクラスタヘッドとを、クラスタ動作の通信を受信及び応答するため前記クラスタアドレスを使用して構成するステップをさらに有し、
グローバルクラスタヘッドは、動作の通信並びにクラスタリング制御及び管理を送信するため前記クラスタアドレスを使用する、請求項９記載の方法。
【請求項１４】
前記ペアレントクラスタに係るクラスタヘッドが、同一のクラスタレベルにあるクラスタヘッドと通信するステップをさらに有する、請求項１３記載の方法。
【請求項１５】
前記ペアレントクラスタに係るクラスタヘッドが、クラスタ状態の条件を受信するステップと、
前記クラスタヘッドに係る各クラスタ内で統合及び相関を実行するステップと、
前記クラスタヘッドが、統計計算技術を介し解析を実行するステップと、
ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持するステップと、
をさらに有する、請求項１４記載の方法。
【請求項１６】
前記階層ネットワークは、集中ネットワークフレームワークと非集中ネットワークフレームワークの双方を合成したものであり、
クラスタレベルにおけるバーチャルクラスタ内のクラスタヘッドへのノードの自己引き上げにより実行される集中化と非集中化が、前記階層ネットワークの最下位クラスタレベルと共に、各ノードがピア・ツー・ピアのように通信する各クラスタ内に存在する、請求項９記載の方法。
【請求項１７】
複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための命令を有するマシーン可読記憶媒体であって、前記命令がマシーンにおいて実行されると、前記マシーンに、
ノードが、（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性に関する前記ノードの動作に基づき、前記階層ネットワークのネットワーク階層において前記ノードが新たなクラスタレベルに引き上げられるべきか若しくは引き下げられるべきか、又は現在のクラスタレベルに留まるべきか自律的に判断するステップと、
前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、
前記ノードが引き上げられた前記ノードの現在のクラスタレベルの下位のクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
を実行させ、
引き上げられたノードは、前のクラスタレベルの上位のクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上位のレベルにおいてバーチャルクラスタの一部となり、
引き下げられたノードは、前記前のクラスタレベルの下位のクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらず、
前記ノードにより自律的に判断するステップは、前記ノード上のセキュアな埋め込みパーティション、前記ノード上のバーチャルマシーン又は前記ノード上の第２プロセッサの１つにおいて実行されるマシーン可読記憶媒体。
【請求項１８】
前記第２プロセッサは、ＢＭＣ（Ｂａｓｅｂｏａｒｄ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）とＡＭＴ（Ａｃｔｉｖｅ  Ｍａｎａｇｅｍｅｎｔ  Ｔｅｃｈｎｏｌｏｇｙ）コントローラの１つである、請求項１７記載の記憶媒体。
【請求項１９】
ノードの安定性は、エントロピーベース統計モデルに基づき決定される、請求項１８記載の記憶媒体。
【請求項２０】
物理ネットワークレベル又は最下位レベルのクラスタレベルｎにあるクラスタは、クラスタＣ（ｎ，０）とラベル付けされ（ただし、０≦ｎ＜ｙであり、ｙは前記発生した階層におけるレベル数である）、次に上位レベルのクラスタは、Ｃ（ｎ−１，ｍ）とラベル付けされるように（ただし、０≦ｍ＜ｙであり、ｙは当該階層レベルにあるクラスタの個数に等しい）、各クラスタは、クラスタレベルとクラスタドメインとを特定するクラスタアドレスによって前記階層ネットワークにおいて識別される、請求項１７記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施例は、一般に複雑なコンピュータネットワークに関し、より詳細には、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化することに関する。
【背景技術】
【０００２】
複雑なネットワークを管理するための各種機構が存在する。ネットワーク制御及び管理に使用される２つの広範に使用される技術は、中央管理及び分権若しくは分散管理機構である。複雑なネットワークの制御及び管理の問題を観察すると、制御はしばしばポリシーに関連付けされ、又はコンフィギュレーション管理は状態評価若しくは状態特徴付けに関連付けされる。今日、多数のネットワーク管理ツールが存在し、各種の複雑なネットワークに使用されている。多くのツールは、通常は中央当局及び管理者が存在する集中システムのコンセプトに基づく。クライアントは、中央当局により状態又はポリシー決定に基づき中央システムに入る。
【０００３】
非集中ネットワークがまた、例えば、ピア・ツー・ピアモデルにおいて使用される。しかしながら、大部分のネットワーク管理システムは、集中モデルに基づく。ネットワーク管理及び制御に対して２つのサイドが存在する。自律的システムは、しばしば一方のサイドにおいてシステムの状態が決定され、他方サイドにおいてシステムがあるタイプのポリシー若しくはコンフィギュレーションを介し制御される制御システムモデルを表す。システムが自律的であるとき、ループはある意味において閉じられている。このため、状態サイドと制御サイドが存在する。
【０００４】
典型的には、ネットワーク管理システムは中央化又は分散化されている。しかしながら、今日実現されるように、集中モデルネットワークと非集中モデルネットワークの双方による問題点が存在する。例えば、集中モデルは、超大規模複合システムに対して良好にスケーリングできない。非集中ネットワークでは、例えば、ピア・ツー・ピア及びメッシュネットワーク、ノード又はクライアントシステムは、インフラストラクチャサーバ又はインフラストラクチャルータから独立に動作する。かなり複雑な環境が、しばしば制御及び管理に関してもたらされる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の課題は、上記問題点に鑑み、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一特徴は、バーチャルクラスタリング及びネットワーク制御のためのシステムであって、階層ネットワークにおける複数の計算ノードを有し、各ノードは、前記ネットワークにおける自律的な自己引き上げ及び引き下げのためのロジックと、クラスタｋのクラスタヘッドに引き上げられたノードにおいて、前記クラスタｋのピアノードに管理及び制御サービス機能を提供するロジックと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルの他のノードに管理及び制御サービス機能を提供するロジックとから構成され、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらないシステムに関する。
【０００７】
また、本発明の他の特徴は、複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための方法であって、ノードが、前記ノードが前記ネットワーク階層において引き上げられるべきか、引き下げられるべきか又は同一レベルに留まるべきか自律的に判断するステップと、前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップと、
を有し、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらない方法に関する。
【０００８】
さらに、本発明のさらなる他の特徴は、複数の計算ノードを有する階層ネットワークにおけるバーチャルクラスタリング及びネットワーク制御のための命令を有するマシーン可読記憶媒体であって、前記命令がマシーンにおいて実行されると、前記マシーンに、ノードが、前記ノードが前記ネットワーク階層において引き上げられるべきか、引き下げられるべきか又は同一レベルに留まるべきか自律的に判断するステップと、前記ノードがクラスタｋのクラスタヘッドに引き上げられると、クラスタｋのピアノードに管理及び制御サービス機能を提供するステップと、前記ノードが引き上げられた前記ノードの現在のクラスタレベルを下回るクラスタレベルにある他のノードに管理及び制御サービス機能を提供するステップとを実行させ、引き上げられたノードは、前のクラスタレベルを上回るクラスタレベルに引き上げられ、前記前のレベルのバーチャルクラスタに留まりながら前記上のレベルにおいてバーチャルクラスタの一部となり、引き下げられたノードは、前記前のクラスタレベルを下回るクラスタレベルに引き下げられ、もはや前記上位のレベルにおけるバーチャルクラスタには留まらないマシーン可読記憶媒体に関する。
【発明の効果】
【０００９】
本発明によると、ネットワークの制御及び管理のため、各ノードをネットワークのクラスタに自己組織化する技術を提供することができる。
【発明を実施するための最良の形態】
【００１０】
本発明の実施例は、新たなクラスのネットワーク制御（ポリシー）及び（状態）管理サービスを構成するための新規なフレームワークに関するシステム及び方法である。このフレームワークは、非集中（メッシュ）ネットワークをサポートするためのいくつかの自己管理サービスを構成するのに利用されるかもしれない。少なくとも１つの実施例では、本発明は、クラスタリングを用いてより安定的でロウバストなネットワーク環境を生成するための集中ネットワークモデルと非集中ネットワークモデルとを組み合わせるものである。
【００１１】
明細書における本発明の「一実施例」又は「実施例」という表現は、当該実施例に関して説明される特定の機能、構成又は特徴が本発明の少なくとも１つの実施例に含まれることを意味する。このため、明細書全体に現れる「一実施例では」という表現の出現は、必ずしもすべてが同一の実施例を参照しているとは限らない。
【００１２】
説明のため、具体的な構成及び詳細が本発明の完全な理解を提供するため与えられる。しかしながら、本発明の実施例がここに与えられた具体的な詳細なしに実現可能であることは当業者には明らかであろう。さらに、周知の機能は、本発明を不明りょうにしないため、省略又は簡単化される。本記載を通じて、各種具体例が与えられる。これらは単に、本発明の特定の実施例の説明にすぎない。本発明の範囲は、与えられた具体例に限定されるものでない。
【００１３】
本発明の実施例は、メッシュネットワークやピア・ツー・ピアネットワークなどの非集中ネットワークに適用可能である。これらのタイプのネットワークの複雑さのため、新たな制御及び管理アプローチが必要とされる。本発明の実施例は、より詳細に以下で説明されるように、集中モデルと非集中モデルの双方の長所を利用することによって、既存の大規模非集中ネットワークの管理問題のいくつかを解決する。
【００１４】
クラスタの概念は、ピア・ツー・ピア、センサベース及びワイヤレスメッシュネットワークにおいて以前から利用されている。センサネットワークは、ボディセンサ、環境センサ、施設センサなどの小型装置を利用して、情報を収集し、解析のため中央位置に情報を提供する。ワイヤレスメッシュネットワークは、典型的には、通信のためのインフラストラクチャを利用しない。ワイヤレスメッシュネットワークでは、各種クライアント装置は、ピア的に互いに通信するだけである。このとき、装置がネットワークから離れると、その他のネットワーク装置は互いに依然として通信するかもしれない。ピア・ツー・ピアネットワークは、通信ピア接続（ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｐｅｅｒｉｎｇ）に基づくものでなく、計算ピア接続（ｃｏｍｐｕｔｉｎｇ  ｐｅｅｒｉｎｇ）に基づくものである。しかしながら、本発明の実施例は、集中化された状態管理と非集中状態管理と共に、中央制御と分権制御の双方を利用して、集中フレームワークと非集中フレームワークの双方の特徴を組み合わせたモデルを改良する。実施例では、クラスタ階層の自己プロモーション、自律的プロモーション及び再構成が利用される。
【００１５】
本発明の実施例は、従来のネットワーク制御及び管理に対するバーチャルクラスタリングアプローチを利用する。これは、中央化及び分散化された管理及び制御のハイブリッドモデルである。図１に示されるように、論理階層の複数レベルにおいて、クラスタが形成及び統合される。図示されるように、物理的ネットワークノード１１０は、階層のボトムにあり、クラスタリングセマティックに参加しない（物理レベルでは）。物理ネットワークレイヤ１１０のノードは、非集中ノードとしてみなされるかもしれない。このレイヤ１１０では、集中システム又は制御なしにノードがピア接続される。
【００１６】
右側の矢印１０１は、状態又はネットワーク管理状態を表す。ネットワークにおいて動作が起こると、ノードの状態がノードのクラスタを介して発生及び統合する。左側の矢印１０３は、ポリシーを表す。例えば、システムが非効率的に動作している場合、システムをより効率的に動作させるようシステムを制御するため、より上位レベルのクラスタヘッドからノードに下って実施される。自律的システムはしばしば、状態や制御などの例示されるような表現を利用する。実際には、検知サイド１０１と起動サイド１０３が存在する。
【００１７】
ネットワークプロバイダは、階層的システムを構成する。しかしながら、これらのシステムは、物理的に階層的である。このため、システムが構成され統計的に規定されると、例えば、ノード又は装置の追加など、人間がネットワークを物理的に変更するまでそのままの状態に留まる。通信システム及び計算システムは、しばしば物理的な階層フレームワーク上に構成される。それらは物理的に方向付けされる。非集中システムでは、しばしば不安定であるが、制御又は当局は存在しない。さらに、今日使用されるクラスタリングは、ネットワーク階層の制御及び管理でなく、データの伝送に関するものであるかもしれない。
【００１８】
本発明の実施例では、システムの構成は、具体的にはバーチャルクラスタリングを利用して、物理モデルでなくバーチャルモデルを用いて生成される。バーチャルクラスタリングは、複数の方法により実現される。本発明の実施例は、オーバレイ（ｏｖｅｒｌａｙ）又は分散バーチャルマシーン（ＤＶＭ）を用いてバーチャルクラスタを実現する。クラスタリングは、非集中管理構成ストラテジーと純粋に集中化された構成ストラテジーの各長所の間をバランスするよう利用されるかもしれない。クラスタ階層上に状態管理及び制御ポリシーを構成することによって、ピア・ツー・ピアダイナミックス及びさら集中化されたダイナミックスの各長所が、クラスタ１５０の階層ツリーのルートに向かって進行することにより実現される。
【００１９】
図１を再び参照するに、クラスタレベル０（ルートレベル）１５０と、クラスタレベル１（１４０ａ〜ｂ）と、クラスタレベル２（１３０ａ〜ｃ）と、クラスタレベル３（１２０ａ〜ｃ）及び物理ネットワークレイヤと、クラスタレベルｎ＝４（１１０）との５つのクラスタレベルを有するネットワークの一例となる階層が示される。クラスタ内の各ノードはまた、上位に引き上げられるとき、下位のクラスタに論理的に属する。ノードが上位クラスタに引き上げられた場合であっても、それは依然として下位のクラスタ内の機能的責任を有している。例えば、クラスタ１４０ａは、１つのリーダ（クラスタヘッド１４１）と、１３１や１３３などの下位のクラスタからのリーダを有している。クラスタヘッド１４１はまた、他の下位レベルのクラスタ（図示せず）と共に、階層におけるそれより下位のクラスタ１３０ａのクラスタヘッドとなる。この例では、クラスタ１４０ａは、１３０ａ，１３０ｂ及び１３０ｃからのリーダ（それぞれ１４１，１３１及び１３３）を有する。ルートクラスタのリーダに引き上げられたノードは、ネットワークにおいて動作的に最も回復機能のあるノードとなるであろう。各クラスタは、非集中システム１１０のノードのサブセットを有し、このため、クラスタは容易に制御及び最適化可能となり、混乱は少ない。これらのコンセプトが以下でより十分に説明される。
【００２０】
各クラスタノードに係る独立性（発生）が存在し、各クラスタレベル及びクラスタバブルは、自律的であり、直接のピア、ペアレント及びチャイルドクラスタに対する動作を観察するが、複数レベルに引き上げられるノードを除いて、複数階層のコンテクストを有しない。例えば、クラスタヘッド１４１は、クラスタ１４０ａと１３０ａにおけるノードと通信可能であるが、クラスタ１４０ｂについて直接的には認識又は制御しない。クラスタヘッド１４１はまた、ルートクラスタ１５０に引き上げられなければ、ルートクラスタ１５０を見ることはできない。ノード１４１はクラスタ１３０ａと１４０ａの双方のクラスタヘッドであることがわかるかもしれない。ノード１３１及び１３３はそれぞれ、上位レベルのクラスタ１４０ａのピアノードのみによるクラスタ１３０ｂ及び１３０ｃのクラスタヘッドであり、ノード１４１に従属する。
【００２１】
クラスタは、引き上げられたクラスタヘッドによりプロキシー処理され、クラスタヘッドはクラスタのために動作する。クラスタヘッドは、先導的なものであり、それらがヘッドとなる深さ（ツリー）、幅（レベル）及び固有のクラスタに参加する。これは、クラスタヘッドのみがクラスタの外部の制御及び管理通信に関与すればよいため、ノード通信のコンプレクシティレベルを軽減する。クラスタヘッドは、あたかもそれが単一のノードであるかのように、クラスタを表現する。
【００２２】
状態管理及び制御ポリシーの上記分離を通じて、自己組織化性質は、階層の各レベルに導入され、このような動作は、ピア、ペアレント（グローバル）及びチャイルド（ローカル）クラスタからのポリシー及び状態の影響にもかかわらず、各クラスタに集約される。複数の論理レベル又はクラスタ処理の重複が存在するため、上位レベルのクラスタ及びクラスタヘッドは、物理ノードでなく基礎となるクラスタヘッドから構成される。ルートレベルにおけるクラスタヘッドと基礎となるすべてのレベルは特定の物理ノードに結び付けされないことに留意すべきである。動作効率の検知は、システム内のノードの引き上げと引き下げの起動及び変動をトリガーする。より回復機能のあるノードが引き上がられ、回復機能の弱いノードが階層において引き下げられる。
【００２３】
収集された状態に基づく変更を起動させるのに必要な情報は、１つの中央サーバの制御の下で１つのデータベースに常駐するのでなく、クラスタの各ノードに分散される。ノードのすべてが情報のすべてを有しているとは限らない。ノードは関連情報を受け取る。ノードｎがクラスタＣに参加する場合、ノードｎはクラスタＣに関連する情報を有することとなる。
【００２４】
クラスタリングマネージャ（ＣＭ）は、クラスタ階層の深さと幅とを管理する分散オーバレイ又は分散バーチャルマシーン（ＤＶＭ）サービスである。ＣＭは、ノードのサブセットに分散化されるかもしれないが、すべてのノードに参加機能が与えられる。一般に、信頼性が期待されるが、ＣＭについては、動作決定はコンセンサスでなくグローバル状態同調によって１つのエンティティとして処理される。クラスタアドレス処理、クラスタリング処理及びクラスタヘッド選択の具体的な機能が、ＣＭを介し管理される。ＣＭは、ネットワークノードの物理ドメインをサポートする論理的なクラスタリング階層のライフサイクル全体を実現する軽量なサービス機能である。このライフサイクルは、必要に応じて、クラスタアドレス処理の実現、クラスタノード間の（モバイル）移動又はクラスタの生成及び破壊を通じたネットワークノードのグループ化又は再グループ化の調整を含む。しかしながら、通常のインターネットサービス（ＤＮＳなど）と同様に、ＣＭは、クラスタリング処理及び管理の階層的組織化を主として調整するための制御管理機能を提供する。
［クラスタヘッド選択：動作優位性］
クラスタヘッドの選択は、動作優位性又はランクに基づくかもしれない。軍事又は企業ランクと同様に、上位にランク付けされたクラスタヘッドノードの基礎は行動にネットワーク化され、高い信頼性、安定性及び優位性を有する実行者となるようノードの機能によって確立される。すなわち、より高い（ａ）到達性、（ｂ）安定性及び（ｃ）実行効率性を示すノードが、クラスタヘッドに引き上げられる。この自己組織化された配置は、ネットワークのコアにあるノードが高い利用性（９９．９９９％など）を示し、高い到達性と極めて低い遅延を示す必要がある従来の階層的通信ネットワークにおけるネットワークノードの人手による組織化とは異なっていない。このため、ｉ）到達性状態、ｉｉ）安定性状態及びｉｉｉ）パフォーマンス状態が、動作ランクと優位性を決定するための数量的順序付けの基礎となることが予想される。
【００２５】
一実施例では、最も高いランクにおける最も高いアドレス結果など、他の人工的な基準を用いて、バーチャルクラスタを備えたネットワークがまず生成されるかもしれない。到達性、安定性及びパフォーマンス効率性を用いて引き上げ及び引き下げを決定する自然な進行は、少なくともこれらの基準について最適化されたネットワークを最終的にもたらすであろう。異なるタイプのネットワークについて他の基準が利用又は異なる重み付けがなされることが想定される。
【００２６】
いくつかの実施例では、システムはノードの信頼性に依拠する。例えば、ノードが自ら優位性を宣言すると、その他のノードは同意するであろう。他の実施例では、システムは、クラスタの他のノードのパフォーマンスを観察するノードに依拠する。この場合、他のノードはノードをランク付けすることを申し出るかもしれない。ノードは他のノードの到達性をランク付けすることができる。
【００２７】
クラスタ階層を上がるに従って、時間的及び空間的な状態の集約が行われ、上位レベルのクラスタヘッドの選択が変更され、動作寿命、より抽象的な状態管理及びポリシー制御を有する各ノードが区別される。企業又は軍事アナロジーを利用するため、経験のある又は「全体像」のスタッフが、引き上げられ、組織におけるリーダーシップと変化の影響の上位ランクにおいて動作する可能性が高い。
【００２８】
さらに、１０００個のノードがそれぞれ１つのノードを有した１０００のレベルのクラスタに引き上げられることに対する禁止又は反対するルールはない。しかしながら、本発明の実施例では、これは起こるべきでない。安定的システムは、多数のレベルを有し、非対称的であるかもしれない。ネットワークにより解決されるべき問題セットに応じて、各種階層又は可変的レベルが出現する可能性が想定される。例えば、故障管理を実行するシステムについては、より少ないレベルが効率的であるかもしれない。異なる管理及び制御システムについては、異なる戦略が利用可能である。大きなデータセンターが動作可能時間の９９．９９９％が引き上げのために安定性基準により大きな重み付けをされることを要求することが望ましいかもしれない。ＤＮＳサーバシステムについては、おそらく到達性が引き上げのためにより大きな重み付けをされるであろう。また、変数の重み付けに関係なく、上記クラスタリングが自然に行われることが想定される。このタイプのクラスタリングは、統計的システムにおいて自然であると証明されてきた。
［クラスタ識別］
一実施例では、シングルクラスタアドレッシングスキームがクラスタ階層において存在する。階層の最低レベルでは（図１、１１０）、物理ネットワークがクラスタレベルｎであるクラスタＣ（ｎ，０）としてラベル付けされる。ここで、０≦ｎ＜ｙであり、ｙは出現する階層のレベル数である。この説明のため、ツリーの最低レベルがクラスタリング管理動作に参加するが、完全性のため、このネットワークアドレッシングが維持され、例えば、物理ネットワークサービスの配信のためなどに利用可能である。ネットワーク化されたノードはクラスタレベルｎにおいてバーチャルに分割及びクラスタ化されるため、次のレベル（アップ）はクラスタレベルｎ−１となる。レベルｎ−１のクラスタ数に応じて、ｎ−１レベルクラスが、クラスタドメインｍに割り当てられる。ここで、０≦ｍ＜ｙであり、ｙは当該階層レベルにおけるクラスタ数に等しい。図１に示される例では、ｎ＝４であり、クラスタレベル２（１３０ａ〜ｃ）について、このレベルに示されるクラスタは３つであるため、ｍ＝３となる。従って、階層における任意のクラスタがＣ（ｎ，ｍ）とラベル付けされる。この処理が続けられ、最終的な最も高い又はルートクラスタがＣ（０，０）に割り当てられる。クラスタレベルの分割（及びアドレス処理）の継続される分離は、対照的なツリー階層に必ずしも従う又は反映するものでないかもしれない。すなわち、各クラスタレベルは、環境のシステムダイナミックに応じて、それのレベルの下位のクラスタの個数より少ないクラスタ数に収束するかもしれない。さらに、特定のクラスタに割り当てられるネットワークノード（最下位レベルｎにおける）又はクラスタヘッド（レベル＜ｎにおける）は、Ｃ（ｎ，ｍ）を用いてこのクラスタのノード（又はクラスタヘッド）と通信するか、又は具体的にはＣ（ｎ，ｍ）を管理するため割り当てられたクラスタヘッドと通信する。
【００２９】
ペアレントクラスタに係るクラスタノード又はクラスタヘッドは、クラスタ動作通信を受信及び応答するためのクラスタアドレスを利用するかもしれないが、グローバルクラスタヘッドしか、動作通信の発信又はクラスタリング制御若しくは管理のためのクラスタアドレスを利用するかもしれない。要約すると、グローバルクラスタヘッドのみが、クラスタ間及びクラスタ内通信に参加することができ、当該クラスタ、ピア又はチャイルドクラスタのグローバル動作に直接影響を及ぼしうる。他のノード又はクラスタヘッド（当該グローバルクラスタに係る）は、グローバルクラスタのメンバーとしてそれらのクラスタ内（ローカル）参加のみを介し間接的に影響を与えるかもしれない。
【００３０】
このアドレッシングスキームは、Ｃ（ｎ，−）通信がレベルｎのすべてのピアクラスタヘッドと通信するクラスタヘッドにおけるマルチキャストをサポートする。さらに、クラスタヘッドは、階層系統を認識しているクラスタのノードのみであり、このため、それらの系統とピアクラスタヘッドに沿って通信する。従って、それらは、それらのレベルと系統の外部のより広範なクラスタセットを認識していない。あるいは、出現した階層において動作的に支配し続け、ルートクラスタＣ（０，０）に割り当てられたクラスタヘッドは、階層のすべてのクラスタにおける状態又はポリシーと通信及びアクセスすることが可能である。このため、ノードは動作優位性を追求するだけでなく、寿命全体におけるそれらの配置を向上させるため、ピア及び配下との信頼性を示す明らかな効果及びインセンティブが存在する。
【００３１】
クラスタ間通信及びクラスタ内通信（すなわち、クラスタに固有の制御及び管理メッセージ処理）が、上述されるように、クラスタヘッドに割り当てられた特定のアドレスに従って行われる。クラスタバーチャルネットワーク化を実現するオーバレイ構成が任意数のスキームに基づくことは、本開示を参照した後に当業者により理解されるであろう。一般に、メッセージ処理はオーバレイではピア・ツーピアのように見えるが、論理的には、動作メッセージ処理は、状態及びポリシーベース通信をサポートし、クラスタリング構造に基づき階層的又はピア形式によりクラスタ内、クラスタ間で行われる。制御（ポリシー）及び管理（状態）メッセージは、非同期であり、以降のセクションにおいて説明されるように、協力的、集約及びピア処理アルゴリズムをサポートするであろう。
［クラスタリング処理］
上述されるように、クラスタの目的は、ピア・ツー・ピアと階層組織化制御とのバランスを介してネットワーク制御及び管理を実現することである。状態管理機能は、例えば、安定化、最適化及び接続性状態管理を含むかもしれない。クラスタヘッドノードは、クラスタ状態条件を受け取り、各自のクラスタ又はクラスタノード（すなわち、レベルｎを超えるクラスタヘッド）内の集約及び相関を実行する。クラスタヘッドは、統計的計算技術を介しクラスタ状態解析を実行し、ピアクラスタとの状態レベルの同化のためのクラスタ知識を保持する。クラスタ状態は、グローバルクラスタヘッドに上位に伝搬され、又はローカルクラスタ動作を制御又は影響を与えるため、ポリシーベース強化を用いたローカル及びグローバルポリシーの統合を介し作用する。
【００３２】
クラスタ化された階層の各レベルでは、制御及び管理動作の新規性は、実行される時間的及び空間的（状態、ポリシー）集約の双方を有するクラスタレベル間で独立に示される。空間的集約は、グローバルクラスタと提携する複数のローカルクラスタを表現又は説明し、時間的集約は、ローカルクラスタが従う周期期間を説明する。このため、クラスタ集約が行われると、クラスタ階層の上位エンドのクラスタによりゆっくりとした状態変化効果が観察でき、人間の知識の経験を通じて通常観察される動作又は階層的構成における意志決定を模倣する。
【００３３】
情報技術（ＩＴ）ネットワーク制御及び管理コミュニティにおける長く続いている設計選択は、ネットワーク管理又はポリシーベース管理ツールに設計される集中又は非集中制御又は管理のレベルである。双方のアーキテクチャ的な選択に対して長所と短所があるが、本発明の実施例は、ピア・ツー・ピア及びセンサベースネットワーク化システムに以前に適用されたバーチャルクラスタリング方法に基づく全く新たなアプローチを求める。このため、アーキテクチャ的な選択としてのクラスタリングが、状態管理とポリシーベース管理の双方の非集中構成戦略と純粋に集中的な構成戦略の長所の間のバランスをとるのに利用される。（図１を参照されたい。）ツリーのルートに向かって進行する間に、クラスタ、階層の下位部分の非集中ダイナミックス及びより集中化されたダイナミックの各階層に対する状態管理及び制御ポリシーの組織化は、ハイブリッドネットワークの長所を実現する。さらに、この階層及び分離を通じて、階層の各レベルにおいて、ペアレントからチルドへのクラスタ分離性質が生成され、自己組織化動作が、ピア、ペアレント又はチャイルドクラスタからのポリシー及び状態影響にもかかわらず、各自のクラスタに集約されるかもしれない。さらに、分散管理及び制御のオーバヘッドは、グローバルな分散制御及び管理の利益を失うことなくローカライズされる。クラスタヘッドは、各クラスタ内の集中管理を実現するための集中機能として動作する。
【００３４】
図２を参照するに、階層的ネットワークの他の表現が示される。この一例となるシステムは、４つのクラスタレベル０〜３を備え、レベル３クラスタがメッシュネットワークとなっている。クラスタレベル０のノードのクラスタは、２点鎖線２０１により包囲される。クラスタレベル１は、破線２０３により表される。クラスタレベル２は、グレイの破線２０５により表され、メッシュレベル３は、矢印付きの稲妻状の線２０７により表される。クラスタヘッド又はリーダが示される。クラスタ０のリーダ２１０はまた、クラスタ１（２２０と共に）とクラスタ２（２３０ａ，２２０，２３０ｂと共に）のリーダである。
【００３５】
他の実施例では、ネットワーク設計者は、自己引き上げを実行するため、到達性、安定性及びパフォーマンス効率性又はそれらの一部に加えて、さらなる基準を利用することを選択するかもしれない。各要因の他の組み合わせが、一部のネットワークについて最適であるか、又はコスト若しくはメンテナンスの理由のため好まれるかもしれない。
【００３６】
図３は、一例となるノードアーキテクチャ３００のブロック図である。プロセッサ３１０は、フロントサイドバス３０１を介しノースブリッジとしても知られるＭＣＨ（Ｍｅｍｏｒｙ  Ｃｏｎｔｒｏｌｌｅｒ  Ｈｕｂ）３１４と通信する。ＭＣＨ３１４は、システムメモリ３１２とメモリバス３０３を介し通信する。ＭＣＨ３１４はまた、グラフィックスバス３０５を介しＡＧＰ（Ａｄｖａｎｃｅｄ  Ｇｒａｐｈｉｃｓ  Ｐｏｒｔ）３１６と通信してもよい。ＭＣＨ３１４は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス３０７を介しサウスブリッジとしても知られているＩＣＨ（Ｉ／Ｏ  Ｃｏｎｔｒｏｌｌｅｒ  Ｈｕｂ）３２０と通信する。ＩＣＨ３２０は、ＰＣＩハードドライブ（図示せず）などの１以上のコンポーネント、ＩＤＥ３２２、ＵＳＢ３２４、ＬＡＮ３２６、オーディオ３２８などの従来のコンポーネント、及びＳＩＯ（Ｓｕｐｅｒ  Ｉ／Ｏ）コントローラ３５６とＬＰＣ（Ｌｏｗ  Ｐｉｎ  Ｃｏｕｎｔ）バス３５６を介し接続されるかもしれない。
【００３７】
プロセッサ３１０は、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどのソフトウェアを実行可能な何れかのタイプのプロセッサであるかもしれない。図３は１つのプロセッサ３１０しか示していないが、プラットフォームハードウェアには１以上のプロセッサが存在してもよく、プロセッサの１以上は、複数のスレッド、複数のコアなどを有してもよい。
【００３８】
メモリ３１２は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ又はプロセッサ３１０により可読な他の何れかのタイプの媒体であるかもしれない。メモリ３１２は、本発明の方法の実施例を実行するための命令を格納するかもしれない。
【００３９】
フラッシュメモリ３５２などの不揮発性メモリが、ＬＰＣバス３０９を介しＩＰコントローラに接続される。ＢＩＯＳファームウェア３５４は、典型的には、フラッシュメモリ３５２に常駐し、フラッシュ又はファームウェアからの命令をブートアップが実行する。
【００４０】
いくつかの実施例では、プラットフォーム３００は、サーバにより可能なサーバ管理タスクである。このプラットフォームの実施例は、ＬＰＣ３０９を介しＩＣＨ３２０に接続されるＢＭＣ（Ｂａｓｅｂｏａｒｄ  Ｍａｎａｇｅｍｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）３５０を有するかもしれない。他の実施例では、プラットフォーム３００は、ＩＣＨ３２０に接続されるマイクロプロセッサ又はＭＥ（Ｍａｎａｇｅａｂｉｌｉｔｙ  Ｅｎｇｉｎｅ）コントローラ３３０を有するかもしれない。このＭＥコントローラ３３０は、Ｉｎｔｅｌ（登録商標）Ａｃｔｉｖｅ  Ｍａｎａｇｅｍｅｎｔ  Ｔｅｃｈｎｏｌｏｇｙ（ｉＡＭＴ）アーキテクチャであるかもしれない。いくつかの実施例では、ＢＭＣ３５０又はｉＡＭＴ３３０が、ノードがクラスタヘッドに引き上げられるべきか、階層においてどの程度まで引き上げられるか特定するのに利用するため、プラットフォーム３００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、ネットワークサービスを実行するかもしれない。階層の各レベルは上位レベルから独立して動作し、上位レベルに対する可視性又は認識を有しないことに留意すべきである。従って、引き上げは１つのレベルのみに固有のものである。
【００４１】
図４は、本発明の一実施例によるバーチャル化技術（ＶＴ）アーキテクチャを有する一例となるノードのブロック図である。図４は、従来のハイパバイザＶＭＭ（Ｖｉｒｔｕａｌ  Ｍａｃｈｉｎｅ  Ｍｏｎｉｔｏｒ）アーキテクチャプラットフォーム４００を示すブロック図である。いくつかのゲストＶＭ（Ｖｉｒｔｕａｌ  Ｍａｃｈｉｎｅ）４０１、４０３、４０５及び４０７が同時にプラットフォーム４００上で実行されるかもしれない。ＶＭＭ４１０は、プロセッサ／プラットフォームバーチャル化レイヤ４１１を介しハードウェア４２０へのゲストＶＭのアクセスを制御する。いくつかのバーチャル装置モデル４１３及び４１５が、ＶＭＭ４１０内に存在するかもしれない。ＶＭＭ４１０は、最も高い優先レベルにおいて動作する。ＶＭＭ４１０は、後述されるように、ファイルシステム４１７、メモリ及びすべての装置へのアクセスを制御する。ＶＭＭ４１０は、典型的には、プラットフォーム上の各ハードウェア装置のためのデバイスドライバ４１９を有する。
【００４２】
ＶＭＭ４１０及びゲストＶＭ４０１、４０３、４０５及び４０７が、プラットフォームハードウェア４２０上で実行される。プラットフォームハードウェア４２０は、プロセッサ４２２、メモリ４２４並びに１以上のＩ／Ｏ装置４２６及び４２８を有するかもしれない。プラットフォームハードウェア４２０は、パーソナルコンピュータ（ＰＣ）、メインフレーム、携帯装置、ポータブルコンピュータ、セットトップボックス又は他の何れかの計算システムであるかもしれない。
【００４３】
プロセッサ４２２は、マイクロプロセッサ、デジタル信号プロセッサ、マイクロコントローラなどのソフトウェアを実行可能な何れかのタイプのプロセッサであるかもしれない。図４は１つのプロセッサ４２２しか示していないが、プラットフォームハードウェア４２０には１以上のプロセッサが存在するかもしれず、プロセッサの１以上は複数のスレッド、複数のコアなどを含むかもしれない。
【００４４】
メモリ４２４は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ又はプロセッサ４２２により可読な他の何れかのタイプの媒体であるかもしれない。メモリ４２４は、本発明の方法の実施例を実行するための命令を格納するかもしれない。
【００４５】
１以上のＩ／Ｏ装置４２６と４２８は、例えば、ネットワークインタフェースカード、通信ポート、ビデオコントローラ、システムバス（ＰＣＩ、ＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＡＧＰなど）上のディスクコントローラ、チップセットロジック若しくはプロセッサに統合されたデバイス（リアルタイムクロック、プログラマブルタイマー、パフォーマンスカウンタなど）又はプラットフォームハードウェア４２０上の他の何れかの装置であるかもしれない。１以上のＩ／Ｏ装置４２６と４２８は、Ｉ／Ｏ命令、メモリマッピングされたＩ／Ｏアクセス又は既知の他の何れかの手段を介しアクセスされるかもしれない。
【００４６】
本発明の一実施例では、プラットフォーム４００のバーチャルマシーン（ＶＭ）は、ノードがクラスタヘッドに引き上げられるべきか、階層のどの程度の高さに引き上げられるか特定するのに利用するため、プラットフォーム４００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するためのネットワークサービスを実行するかもしれない。いくつかの実施例では、このＶＭは、引き上げられたセキュリティレベルで実行されるバーチャルアプライアンスであってもよく、他の実施例では、ゲストＶＭで単に実行されるものであるかもしれない。
【００４７】
図５は、本発明の一実施例によるＰＲＬ（Ｐｌａｔｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌａｙｅｒ）又は埋め込みパーティションアーキテクチャを有する一例となるノードのブロック図である。ＰＲＬアーキテクチャ又は埋め込みパーティションアーキテクチャでは、プラットフォームの各種コンポーネントが、プロセッサ、メモリ及び他のリソースのパーティション化を可能にするためエンハンスされる。図５を参照するに、本発明の一実施例によるＰＲＬアーキテクチャの一例となるブロック図が示される。パーティション化をより良く示すため、メインパーティション５１０に利用可能なコンポーネントは実線のブロックにより示される。埋め込み又はシステムパーティション５２０に利用可能なコンポーネントは、太字の実線ブロックにより示される。双方のパーティションに利用可能なコンポーネントが、ドットとダッシュとの交互のブロックにより示される。
【００４８】
この実施例では、プラットフォーム又はノードはソケット０〜３に４つのマルチコアプロセッサ（５３１〜５３４）を有する。本例は４つのプロセッサソケットしか示していないが、本発明の実施例を実現するため、プロセッサとコアの各種コンフィギュレーションが利用可能であることが当業者に明らかであろう。例えば、ソケット０（５３１）は、４つの処理コア５３５ａ〜ｄを有するかもしれない。実質的に、本例では、図示された実施例はプラットフォーム上に１６個の有効なプロセッサを有している（各ソケットに４つのコアを有する４つのソケットなど）。本例では、ソケット０〜２（５３１〜５３３）は、メインパーティション５１０のみに利用可能である。ソケット３（５３４）は、メインパーティション５１０と埋め込みパーティション５２０の双方に利用可能である。ソケット３（５３４）の内部において、コア０はメインパーティション５１０のみに利用可能であり、コア１〜３は埋め込みパーティション５２０のみに利用可能である。埋め込みパーティション５２０は、上述及び後述されるように、プロモーションエージェント又はクラスタリングマネージャ５１２を有するかもしれない。一実施例では、埋め込みパーティションはまた、到達性、安定性及びパフォーマンス効率性を決定するため、他のエージェント又はサービスを有するかもしれない。これらのサービスは、同一の埋め込みパーティションの一部であるかもしれず、又は１以上の個別のパーティションに分離されるかもしれない。複数のバーチャルクラスタのメンバー又はクラスタヘッドであるノードについて、当該ノードがメンバーとなる各クラスタについて実行されるプロモーションエージェント又は他のサービスの複数のインスタンス（図示せず）が存在するかもしれない。
【００４９】
本実施例では、プラットフォームは、メモリ５０２に接続されるＭＣＨ５０１（ノースブリッジとしても知られる）を有する。メモリ５０２は、２つのパーティションＭＥＭ１（５０３）とＭＥＭ２（５０５）とを有するかもしれない。メモリパーティションＭＥＭ１（５０３）は埋め込みパーティションのみに利用可能であり、メモリパーティションＭＥＭ２（５０５）はメインパーティションのみに利用可能である。ＭＣＨを含むチップセットは、ソフトウェア構成を利用するＶＭＭソリューションと対照的に、ハードウェア構成を用いてメモリをパーティションするよう構成される。メモリ５０２は、ハードディスク、フロッピー（登録商標）ディスク、ＲＡＭ、ＲＯＭ、フラッシュメモリ又はプロセッサにより可読な他の何れかのタイプの媒体であるかもしれないということは理解されるであろう。メモリ５０２は、本発明の実施例を実行するための命令を格納するかもしれない。本例では２つのパーティションしか示されていないが、各自のパーティションにおいて実行される複数のゲストＯＳが存在してもよいことが理解されるであろう。
【００５０】
ＭＣＨ５０１は、ＰＣＩバスを介しサウスブリッジとしても知られているＩＣＨ５０７と通信するかもしれない。ＩＣＨ５０７は、ＰＣＩハードドライブなどの１以上のコンポーネント、ＩＤＥ、ＵＳＢ、ＬＡＮ及びＡｕｄｉｏなどの従来のコンポーネント、及びＬＰＣバス（図示せず）を介しＳＩＯコントローラに接続されてもよい。本例では、ハードディスクドライブ５０９とＮＩＣ（Ｎｅｔｗｏｒｋ  Ｉｎｔｅｒｆａｃｅ  Ｃｏｎｔｒｏｌｌｅｒ）５１１に接続されるＩＣＨ５０７が示される。
【００５１】
ＭＣＨ５０１は、メモリへのアクセスを制御するよう構成され、ＩＣＨ５０７は、Ｉ／Ｏアクセスを制御するよう構成される。埋め込みパーティションアーキテクチャでは、チップセットは、ブートされるとプラットフォーム上の各種リソースをパーティションするようファームウェアにより構成される。いくつかのケースでは、１つのパーティションしか存在せず、ほとんどの点についてプラットフォームは従来のプラットフォームと同様に動作する。図示された具体例では、メインパーティション５１０と埋め込みパーティション５２０の２つのパーティションが存在する。指定された各パーティションには、一意的なパーティション識別子（ＩＤ）が与えられる。
【００５２】
埋め込みパーティションコンフィギュレーションによって、装置がアラートを送信すると、この情報はブート時に符号化されているため、チップセットはアラートを適切なパーティションに適切にルーティングするかもしれない。ＶＭＭ対応システムでは、ハードウェアは装置アラートをＶＭＭ（バーチャル化された装置）にわたし、ソフトウェアが情報を各種バーチャルマシーンに適切にルーティングする。埋め込みパーティションは、ハードウェアにより支援されたバーチャル化として機能するかもしれない。
【００５３】
一実施例では、プロモーションエージェントは、プラットフォーム上で実行されるすべてのゲストオペレーティングシステム（ＯＳ）とゲストバーチャルマシーン（ＶＭ）とを制御するＶＭＭ内に実現される。他の実施例では、プロモーションエージェントは、各ＯＳに対するＩ／Ｏリクエストを制御する優先的なパーティション、プロセス又はハイパバイザに実現される。すべてのケースにおいて、プロモーションエージェントは、プラットフォーム５００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、各動作及びパフォーマンスデータを測定する。この決定は、上位クラスタレベルにノード５００を引き上げるか否か決定するため、ノード５００が自ら引き上げを行うか、又はそれの指標をおそらくクラスタヘッドである他のノードに少なくともわたすことを可能にする。
【００５４】
図６を参照するに、プロモーションエージェント６２１がＶＭＭに常駐する一例となるバーチャル化プラットフォームが示される。この実施例では、バーチャルマシーン（ＶＭ）６１０はゲストＯＤ６１１を有する。各種ユーザアプリケーション６１３がゲストＯＳ６１１の下で実行される。ＯＳは、ＶＭＭ６２０内にバーチャル化されるデバイスドライバ６１５を有する。プラットフォームハードウェア６３０へのアクセスは、ＶＭＭの使用を必要とする。上述されるようなクラスタ環境における階層的引き上げの場合、ＶＭＭ６２０内のプロモーションエージェント６２１は、プラットフォーム６００の（ａ）到達性、（ｂ）安定性及び（ｃ）パフォーマンス効率性を決定するため、各動作及びパフォーマンスデータを測定する。この決定は、上位クラスタレベルにノード６００を引き上げるか否か決定するため、ノード６００が自ら引き上げを行うか、又はそれの指標をおそらくクラスタヘッドである他のノードに少なくともわたすことを可能にする。
【００５５】
同様に、自らのＯＳ６４１、ユーザアプリケーション６４３、デバイスドライバ６４５を有するプラットフォームパーティション又はより優先度の高いパーティション６４０が示される。このプラットフォームパーティションはまた、ＶＭＭ６２０を介しバーチャル化されたデバイスを有するかもしれない。
【００５６】
図示された実施例では、ＶＭＭは、プロモーションエージェントを有するよう示される。他の実施例では、プロモーションエージェントは、プラットフォーム上のＶＭ内で実行される。ＶＭＭ又は個別のＶＭはまた、例えば、到達性、安定性及びパフォーマンス効率性を決定するため、他のエージェント又はサービスを有するかもしれない。これらのサービスは、同一のＶＭの一部であってもよく、又は１以上の個別のＶＭに分散化されてもよい。メンバー、クラスタヘッド又は複数のバーチャルクラスタであるノードについて、当該ノードがメンバーとなる各クラスタに対して実行される複数のプロモーションエージェントのインスタンス又は他のサービスが存在するかもしれない。
【００５７】
一実施例では、到達性、安定性及びパフォーマンス効率性サービスは、各種管理目的に使用される個別サービス又はプロモーションエージェントの一部であるかもしれない。図４を再び参照するに、例えば、ＶＭＭの実施例４００では、ノードはクラスタレベル０とクラスタレベル１の両方におけるクラスタの一部であるかもしれない。各クラスタレベル４５１及び４５３について、プロモーションエージェントの個別のインスタンスが存在するかもしれない。いくつかの実施例では、これらのインスタンスは異なるＶＭ又はパーティション４５１及び４５３において実行されるかもしれない。他の実施例では、複数のインスタンスが同一のＶＭ、パーティション又はＶＭＭにおいて実行されるかもしれない。プロモーションエージェントは、特定のサービス又はエージェントのユーザが到達性４５５、安定性４５７及びパフォーマンス効率性４５９のデータを提供することを要求するかもしれない。これらのエージェントは、同一のパーティション若しくはＶＭ又は異なるパーティション若しくはＶＭにおいて実行されるかもしれない。いくつかの実施例では、サービスはプロモーションエージェント又は当該サービスを要求する他のコンポーネント内に組み込まれてもよい。
【００５８】
図４に示されるように、到達性エージェント４５５、安定性エージェント４５７及びパフォーマンス効率性エージェント４５９が、同一のＶＭ４０３において実行される個別エージェントとして示される。ここでの記載を参照した後、開示された発明の範囲内で各種置換及び実施例が実現可能であることが当業者に理解されるであろう。一実施例では、バーチャル化プラットフォームは、バーチャルアプライアンス、セキュアＶＭ又はサービスオペレーティングシステム（ＳＯＳ）と、１以上のケイパビリティオペレーティングシステム（ＣＯＳ）又はユーザ環境を有してもよい。これらの実施例では、エージェントはすべて同一のバーチャルアプライアンス又はＳＯＳにおいて実行されてもよい。
【００５９】
上述されるように、クラスタリングフレームワークの範囲内では、安定性は２つの方法により実現されるかもしれない。Ｊｏｈｎ  Ｖｉｃｅｎｔｅによる同時に出願された同時係属中の出願（代理人整理番号Ｐ２６３９７）“ＥＮＴＲＯＰＹ−ＢＡＳＥＤ  （ＳＥＬＦ−ＯＲＧＡＮＩＺＩＮＧ）  ＳＴＡＢＩＬＩＴＹ  ＭＡＮＡＧＥＭＥＮＴ”が、バーチャルクラスタの自己管理的な階層的ネットワークを管理するため、安定性指標を確認する問題を解決するため適用されるかもしれない。まず、各クラスタは、１以上の測定周期の期間中にクラスタ全体における静的トポロジーコンフィギュレーション及び動作一様性を維持することによって、同一クラスタ内の他のノード又はクラスタヘッドとの相対的に一様なレベルの動作ディスパリティを保証することによって、ネットワークの広範な部分に対するあるレベルの安定に独立に到達可能である。あるいは、外部のノードダイナミクスは、不安定なノードの減少（出発）又はより安定したノードの増加（到着）を通じて、同一クラスタ内の他のノード又はクラスタヘッドに対する不安定性のレベルを低下させることが可能である。このため、エントロピーの策定は双方のダイナミックスを考慮し、熱力学系における孤立した（クラスタ内）システムとオープンシステム（クラスタ間）との双方の等化及び散逸動作を模倣することが不可欠である。図７及び８は、これらの影響を示す。
【００６０】
図７を参照するに、クラスタのサブネットワークがそれのトポロジーコンフィギュレーションの外部の影響を受けないクラスタ階層が示される。本実施例では、ノード７０３がクラスタヘッドであり、ノード７０１ａ〜ｇがクラスタ内の配下ノードである。このクラスタは、ほとんど静的であり、クラスタ内外へのノードの移動はない。図８は、メッシュが施されたノードがダブルのクロスハッチが施されたノードにより表される環境（８０１，８０３，８０５，８０７）に入り、シングルハッチが施されたノードにより表される環境（８１１，８１３）に出るクラスタ階層を示す。何れのケースでも、クラスタの合計エントリピーは、ノード間の統計的な利用性又は信頼性のそれらの相対的な指標に基づき、均衡レベルと均衡ノードとを反映することができる。
【００６１】
クラスタの安定性又はエントリピーを特徴付けするため、キーとなる指標はクラスタノード間の相対的な利用性又は信頼性である。「信頼性（ｄｅｐｅｎｄａｂｉｌｉｔｙ）」という一般的な用語は、以下の説明においてこれを説明するのに使用される。クラスタノード間の相対的な信頼性又はノード間サービスの信頼性を表すため、複数の指標が独立して又は組み合わせて利用されてもよい。
【００６２】
【表１】
0004981009.tif 000002
テーブル１に示されるように、サービス信頼性は、ローカルノード及びリンクインパクトによって、しかしながらより重要には複数のメッシュが施されたノードを探索するアプリケーション及びネットワークサービスに対する複数の安定性又は環境制約を有するかもしれない。自己組織化クラスタの観点から、このような制約が与えられた場合、クラスタ全体におけるダイナミックス又は安定性のレベルの特徴付けに関心がある。従って、ノード間のサービス信頼度を特徴付ける合成された指標を使用するか、又はクラスタ安定性又はエントリピーを特徴付けるのに最も重要な制約（ノード利用性など）に対して選択的となるよう選択することができる。
【００６３】
テーブル１は、関心がもたれる制約の具体例であるが、網羅的ではない。例えば、安定性の制約は高フェーディング条件であるかもしれない。この条件の１つの指標はロスレートであるが、他のものであってもよい。過剰なロード又は混雑の指標は、利用性であるが、他の指標もまた利用可能である。
【００６４】
クラスタエントロピーを構成するのに、エントロピー期間について、ΔＴとＤｍ，ｎ（ΔＴ）のｔ１とｔ２の間の期間が時点ｔ２におけるノードｎに関するノードｍの平均的な相対信頼性として定義される。ここで、ｍ及びｎは同じクラスタＣｉ，ｊのメンバーであり、これらのノードはエントリピー期間ΔＴの期間内の複数のΔτインターバルの期間中に相対信頼性サンプルｄｍ，ｎ（Δτ）をやりとりする。ノード間の相対信頼性の差分しか重要でないため、実際の信頼性指標と測定ユニットは無関係であることに留意すべきである。より詳細には、クラスタＣｉ，ｊのエントロピー情報を最終的に定義するため、両方の指標が以下に定義される。
【００６５】
インターバルΔｔの期間中のノードｎに関するノードｍにおけるサンプルの相対信頼性は、
【００６６】
【数１】
0004981009.tif 000003
として定義される。
【００６７】
図９において、ノード変更が示される。ここでは、変化Δτが変化のインターバルを反映し、サービス信頼性の相対的な変化が、当該インターバルの期間中のノードｍとｎの双方について反映される。
【００６８】
期間ΔＴ上で平均化されたノードｍとノードｎの間の絶対的な相対信頼性は、
【００６９】
【数２】
0004981009.tif 000004
として定義される。ここで、ＮはΔＴにおけるサンプルの個数に等しく、ｔｉは各サンプルΔτのエンドでの離散時点である。
【００７０】
これはまた図１０に示され、対象となるノードｎｉがハイライとされ、エントロピー評価の期間における１つのみのノード間信頼性関係を示している（１００１）。しかしながら、クラスタＣｉｊに属するその他のノードに対する同一の指標がまたやりとりされ、ノードｍｉに関して評価される（１００３）。Ｃｉｊのその他のノードの完全な（絶対的に相対的な）信頼性の表現は、ノードｍｉに関するイベントスペースを説明すべきである。
【００７１】
ここで、安定性を特徴付けるため、イベントスペースに適用されるシャノンの統計的エントロピーの一般化された形式が使用され、具体的には、
【００７２】
【数３】
0004981009.tif 000005
である。ここで、ｐｉはイベントスペースＥにおけるイベントｅｉの確率である。シャノンの情報理論に関するさらなる情報は、ＵＲＬ“ｅｎ＊ｗｉｋｉｐｅｄｉａ＊ｏｒｇ／ｗｉｋｉ／Ｉｎｆｏｒｍａｔｉｏｎ＿ｔｈｅｏｒｙ”においてパブリックインターネットを含む各種ソースから求められるかもしれない。本記載において、不意なハイパーリンクを回避するため、ＵＲＬにおけるピリオドはアスタリスクと置換されている。このコンセプトをノードｍの信頼性イベントスペースに適用することは、
【００７３】
【数４】
0004981009.tif 000006
を設定する。ここで、ｘは、クラスタＣｉｊのノードｍのすべてのピアノードについて評価され、このため、
【００７４】
【数５】
0004981009.tif 000007
となる。ここで、Ｃ（Ｃｉｊ）はクラスタの濃度である。
【００７５】
一般に、Ｈｍ（ｔ，ΔＴ）は、クラスタＣｉｊにおけるエントロピー指標ΔＴの特定期間におけるノードｍのエントロピーとして計算され、［０，１］の間で正規化される。このエントロピーの表現は、安定状態評価期間ΔＴの期間中の絶対的な相対信頼性についてのノードｍに関する所望される安定性の指標である。定義されるように、相対信頼性の変化がより大きな変動を示すときにエントロピーは小さく、大きなエントロピーの値はより大きな相対安定性を示す。
【００７６】
最後に、クラスタの１つのノードのエントロピーを計算すると、クラスタＣｉｊのその他のノードのエントロピーが同様に評価されるかもしれない。クラスタの全体的な安定性の指標を評価するため、γという用語が定義され、Ｃｉｊに係るクラスタヘッドにより取得される。
【００７７】
【数６】
0004981009.tif 000008
ここで、ＣＨはＣｉｊのクラスタヘッドであり、ｉ＝（（Ｃｉｊ−ＣＨ）のすべてのノード）である。
【００７８】
上述した式は実施例に対応するものであり、限定的なものとみなされるべきでないことに留意すべきである。開示及び図示された原理による他の実施例では、同様の又は関連するエントロピー式が適用可能である。
【００７９】
現在のネットワーク管理システムは、ユーザ管理及び人手による制御に大きく依存している。ダイナミックメッシュネットワークでは、自己組織化システムの商業的な利用性は今日ほとんどなく、おそらく、安定状態を管理するためのエントロピーベース技術を適用するものはない。さらに、新興国では、人手による制御及び管理を必要とすることは、情報技術（ＩＴ）ツール及び処理がしばしば十分でないため、有効でない。このため、自動エントロピーベース安定性管理エンジンを利用する自己組織化ネットワークの利用が効果的である。
【００８０】
クラスタは、バーチャルネットワークとしてみなされるかもしれない。一実施例では、クラスタＣ（ｎ，ｍ）のクラスタヘッドは、それが引き上げられた下位のクラスタのクラスタヘッドとして複数のクラスタを制御するかもしれない。この場合、各クラスタの管理及び制御サービスは、異なるバーチャルマシーン又は異なる埋め込みパーティションにおいて実行されるかもしれない。この実現形態は、新たなＶＭ又はパーティションを動的に生成する機能を有するプラットフォーム上で最も良好に機能する。クラスタヘッドが上位レベルクラスタに引き上げられるに従って、新たなＶＭ又はパーティションが、新たなクラスタの管理及び制御をするため生成されるかもしれない。これは、分散されたクラスタの制御及び管理が他のクラスタの動作との混同又は改善から隔離及び保護されることを可能にする。例えば、クラスタ管理が異なるスレッド又はコアに隔離されるマルチスレッド又はマルチコアアーキテクチャなどの他のアーキテクチャが所望されるかもしれない。
【００８１】
クラスタヘッドが降格される例では、上位クラスタの制御及び管理に使用されたＶＭ、パーティション又はスレッドが非アクティブ化又は削除されるかもしれない。
【００８２】
他の実施例では、信頼性、安定性及びパフォーマンスの各指標の検知がまた、個別のＶＭ、バーチャルアプライアンス、パーティション、コア又はスレッドにおいて実行されてもよい。このコンポーネントは、引き上げ／引き下げ決定をし、又はコレクションの結果及び／若しくはデータの評価がその後、引き上げ／引き下げについて最終的に決定する他のＶＭ、バーチャルアプライアンス、パーティション、コア又はスレッドに提供されるかもしれない。
【００８３】
ここに記載した技術は、何れか特定のハードウェア又はソフトウェアコンフィギュレーションに限定されるものでなく、任意の計算、家電又は処理環境における適用性を見出すかもしれない。これらの技術は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現可能である。
【００８４】
シミュレーションのため、プログラムコードは、設計されたハードウェアがどのように実行するか予想されるモデルを実質的に提供するハードウェア記述言語又は他の機能記述言語を用いたハードウェアを表すかもしれない。プログラムコードは、アセンブリ又は機械語であってもよく、又はコンパイル及び／若しくはインタープリットされるデータであってもよい。さらに、アクションを実行し、又は結果を生じさせるものとして一形式によるソフトウェアということは当業者に通常のことである。このような表現は、プロセッサにアクションを実行させ、又は結果を生成される処理システムによるプログラムコードの実行を説明する単なる簡略化された方法である。
【００８５】
各プログラムは、処理システムと通信するため、ハイレベル手続き型又はオブジェクト指向型プログラミング言語により実現されるかもしれない。しかしながら、プログラムは、所望される場合には、アセンブリ又は機械語により実現されてもよい。何れのケースでも、言語はコンパイル又はインタープリットされるかもしれない。
【００８６】
プログラム命令は、命令によりプログラムされる汎用又は特定用途処理システムにここに記載した処理を実行させるのに利用されるかもしれない。あるいは、これらの処理は、当該処理を実行するための配線論理を含む特定のハードウェアコンポーネントによって、又はプログラムされたコンピュータコンポーネントとカスタムハードウェアコンポーネントとの何れかの組み合わせによって実行されるかもしれない。ここに記載された方法は、本方法を実行するよう処理システム又は他の電子装置をプログラムするのに利用可能な命令を格納したマシーンアクセス可能媒体を含むコンピュータプログラムプロダクトとして提供されるかもしれない。
【００８７】
プログラムコード又は命令は、例えば、記憶装置などの揮発性及び／又は不揮発性メモリなどに格納されてもよく、及び／又はソリッドステートメモリ、ハードドライブ、フロッピー（登録商標）ディスク、光ストレージ、テープ、フラッシュメモリ、メモリスティック、デジタルビデオディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）などを含む付属のマシーン可読若しくはマシーンアクセス可能な媒体及びマシーンアクセス可能な生体状態保存ストレージなどのより特殊な媒体に格納されてもよい。マシーン可読媒体は、マシーンにより可読な形式による情報を格納、送信又は受信するための任意の機構を有してもよく、プログラムコードを符号化する電気、光、音響若しくは他の形式の伝搬信号若しくは搬送波が通過する、アンテナ、光ファイバ、通信インタフェースなどの有形な媒体を含んでもよい。プログラムコードは、パケット、シリアルデータ、パラレルデータ、伝搬信号などの形式により送信されてもよく、圧縮若しくは暗号化形式により利用されてもよい。
【００８８】
プログラムコードは、モバイル又は固定されたコンピュータ、携帯情報端末、セットトップボックス、携帯電話及びポケベル、家電機器（ＤＶＤプレーヤー、パーソナルビデオレコーダ、パーソナルビデオプレーヤー、衛星受信機、ステレオ受信機、ケーブルテレビ受信機を含む）、及びプロセッサ、プロセッサにより可読な揮発性及び／又は不揮発性メモリ、少なくとも１つの入力装置及び／又は１以上の出力装置を含む他の電子装置など、プログラム可能なマシーン上で実行されるプログラムにより実現されるかもしれない。プログラムコードは、記載された実施例を実行し、出力情報を生成するため、入力装置を用いて入力されたデータに適用されるかもしれない。出力情報は、１以上の出力装置に適用されてもよい。当業者は、開示された主題の実施例が、マルチプロセッサ若しくはマルチコアプロセッサシステム、ミニコンピュータ、メインフレームコンピュータ、実質的に任意の装置に埋め込み可能な汎用若しくはミニチュアコンピュータ若しくはプロセッサを含む各種コンピュータシステムコンフィギュレーションにより実現可能であることを理解するかもしれない。開示された主題の実施例は、通信ネットワークを介しリンクしたリモート処理装置によってタスク又はその一部が実行される分散計算環境において実現可能である。
【００８９】
各処理は逐次的プロセスとして説明されるが、これらの処理の一部は、シングル若しくはマルチプロセッサマシーンによりアクセスされるローカル及び／又はリモートに格納されたプログラムコードによって実際にはパラレルに、同時に及び／又は分散環境により実行されてもよい。さらに、いくつかの実施例では、各処理の順序は、開示された主題の趣旨から逸脱することなく再構成されるかもしれない。プログラムコードは、埋め込みコントローラによって又はそれと共に利用されてもよい。
【００９０】
本発明が例示的な実施例を参照して説明されたが、本記載は限定的な意味に解釈されるべきでない。これら例示的実施例の各種改良と共に、本発明の属する分野の当業者に明らかな他の実施例は、本発明の趣旨及び範囲内に属するとみなされる。
【図面の簡単な説明】
【００９１】
【図１】図１は、本発明の一実施例による論理階層の複数のレベルに構成及び統合されるクラスタを示すブロック図である。
【図２】図２は、本発明の一実施例による階層ネットワークの他の表示を示すブロック図である。
【図３】図３は、本発明の一実施例による一例となるノードアーキテクチャのブロック図である。
【図４】図４は、本発明の一実施例によるバーチャル化技術（ＶＴ）アーキテクチャを有する一例となるノードのブロック図である。
【図５】図５は、本発明の一実施例によるＰＲＬ（Ｐｌａｔｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌａｙｅｒ）又は埋め込みパーティションアーキテクチャを有する一例となるノードのブロック図である。
【図６】図６は、プロモーションエージェントがバーチャルマシーンモニタに常駐する一例となるバーチャル化プラットフォームのブロック図である。
【図７】図７は、本発明の一実施例によるクラスタのサブネットワークがそれのとポロ木カルコンフィギュレーションの外部の影響を受けないクラスタ階層の図である。
【図８】図８は、本発明の一実施例によるメッシュが施されたノードが環境に入退出するクラスタ階層を示す。
【図９】図９は、本発明の一実施例によるノードにおける相対依存性のサンプルを示す。
【図１０】図１０は、本発明の一実施例によるノード信頼性関係を示す。
【図１】
0004981009.tif 000009
【図２】
0004981009.tif 000010
【図３】
0004981009.tif 000011
【図４】
0004981009.tif 000012
【図５】
0004981009.tif 000013
【図６】
0004981009.tif 000014
【図７】
0004981009.tif 000015
【図８】
0004981009.tif 000016
【図９】
0004981009.tif 000017
【図１０】
0004981009.tif 000018