(57)【要約】  下位システム構造体は性能情報を上位システム構造体に通知する。上位システム構造体は、通知された性能情報に基づいてシステム構造体の性能劣化を検出すると、管理するシステム構造体の資源再配分の最適化処理を行う。管理するシステム構造体内の最適化処理で性能が改善される場合、最適化結果を下位のシステム構造体の資源制御に適用して、下位システム構造体は資源制御に基づいて資源再分配を行う。管理するシステム構造体内の最適化処理で性能が改善されない場合、更に上位システム構造体に性能情報を通知し、上位システム構造体で最適化処理を行う。
2007119329.tif 000002
【特許請求の範囲】
【請求項１】
階層化システムであって、
システム構造体がツリー構造に構成され、
下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段を有し、
上位のシステム構造体は、前記下位のシステム構造体から通知される性能情報と、管理するシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う資源最適化処理手段を有する
ことを特徴とする階層化システム。
【請求項２】
前記上位のシステム構造体の資源最適化処理手段による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体より上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体の資源最適化処理手段により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする請求項１に記載の階層化システム。
【請求項３】
前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段を有することを特徴とする請求項１に記載の階層化システム。
【請求項４】
前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源の最適化処理を行うことを特徴とする請求項１に記載の階層化システム。
【請求項５】
階層化システムであって、
管理単位となるシステム構造体がツリー構造に構成され、
各システム構造体は、親システム構造体との通信をおこなう資源管理情報インターフェース手段と、性能指標インターフェース手段と、資源と、資源割当の最適化及び性能管理を行う運用管理手段と、資源の割当を行う資源割当手段と、管理する子システム構造体とを有し、
親システム構造体と子システム構造体とは、前記資源管理情報インターフェース手段及び前記性能指標インターフェース手段とを介して、資源情報及び性能情報を通信することを特徴とする階層化システム。
【請求項６】
前記運用管理手段は、資源の管理を行う資源管理手段と、資源の割り当てを制御する資源割当制御手段と、システム構造体の性能を監視する性能監視手段と、前記資源管理手段からの資源に関する資源管理情報及び前記性能監視手段からの性能情報に基づいて、資源割り当て方法の最適化演算を行う最適化手段とを有し、管理する子システム構造体の性能情報及び資源管理情報に基づいて、資源割当の最適化を行うことを特徴とする請求項５に記載の階層化システム。
【請求項７】
前記性能監視手段は、取得した子システム構造体の性能情報を用いて、前記運用管理手段の属するシステム構造体の代表的性能指標を作成し、性能指標インターフェース手段を介して、前記代表的性能指標を参照するように構成されていることを特徴とする請求項５に記載の階層化システム。
【請求項８】
前記システム構造体は、内部の子システム構造体の詳細管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源割当管理を行うことを特徴とする請求項５に記載の階層化システム。
【請求項９】
前記資源管理手段は、前記資源管理情報インターフェース手段を用いて、親システム構造体と資源の設定を更新するように構成されていることを特徴とする請求項５に記載の階層化システム。
【請求項１０】
階層化システムの管理方法であって、
システム構造体をツリー構造に構成し、下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知し、前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行うことを特徴とする階層化システムの管理方法。
【請求項１１】
上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１２】
通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成し、上位のシステム構造体から下位のシステム構造体の性能を参照することを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１３】
上位のシステム構造体は、管理する下位のシステム構造体の管理情報を、外部から隠蔽し、各システム構造体は独立的に資源の最適化処理を行うことを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１４】
システム構造体がツリー構造に構成された階層化システムの資源管理を実行させるプログラムであって、
前記プログラムは、
下位のシステム構造体から上位のシステム構造体に、自システム構造体の性能情報を通知する処理と、
前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項１５】
前記プログラムは、
上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知する処理と、
通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行う処理と
を情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記プログラムは、
通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成する処理と、
上位のシステム構造体からの要求に応答して、前記代表的性能指標を参照させる処理と
を情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は階層化システム及びその管理方法と、プログラムに関し、特に、システム構造体がツリー構造に構成された階層化システムの資源管理を行う階層化システム及びその管理方法と、プログラムに関する。
【背景技術】
【０００２】
従来のコンピュータやネットワークシステムは、ディスクリートなコンピュータ機器や、ネットワーク機器に対し、必要なソフトウェアをインストールし、ハードウェアに対し、機能が決定されていた。そして、それらのハードウェア・ソフトウェア資源を組み合わせた図１に記載のいわゆるサイロ型システムを構成していた。【０００３】
しかし、この方法では、あるアプリケーションを実行する一部の資源の負荷は高い一方で、非常に使用率の低い資源も多数存在し、資源投資総量に対し、全体での資源利用効率は悪いことが問題となっていった。そのため、資源を論理的に仮想化し、あたかも所有する資源をプールに入れ、必要なシステムが必要なだけ資源を用いることができるようにする仮想化技術が提案された。【０００４】
仮想化技術の一例として非文献特許１に記載のXenや、非文献特許２に記載のUML、非文献特許３に記載のVMware、非文献特許４に記載のBochs、非文献特許５に記載のvirtual PCなどが挙げられ、システムに必要なコンピュータを仮想ネットワークで接続された論理的コンピュータ機器として提供することで、ディスクリートなコンピュータ機器をネットワーク機器で接続した場合と同じ動作環境を作り出している。【０００５】
これらの従来システムは、いずれもひとつのハードウェア資源を、それぞれのユーザプロセスから見ると、あたかも複数の独立した装置があるように見せる技術である。典型例として非特許文献１に記載のXenのアーキテクチャを例にとると、図２に記載のハードウェア資源１１と、仮想化手段１２と、仮想装置１３と仮想ネットワーク１４とゲストオペレーティングシステム１５とアプリケーション１６とで構成される。【０００６】
このような構成を有する従来のコンピュータシステムは次のように動作する。【０００７】
仮想化手段１２は、古くはメインフレームなどの大型コンピュータを複数のユーザが別々に使用することを目的に開発された技術であるVMM (Virtual Machine Monitor)に属し、近年の汎用コンピュータの性能向上に伴い、汎用コンピュータへの適用が進んでいるものである。従来ひとつのコンピュータ資源に対し、ひとつのOSが動作し、各種デバイスを管理する方式が主であり、複数のOSを同時に動作させることは困難であった。【０００８】
それに対し仮想化手段１２は、オペレーティングシステム１５とハードウェア資源１１との間のレイヤに位置し、ハードウェア資源を仮想化し、論理資源としてオペレーティングシステム１５に見せることにより、複数のオペレーティングシステム１５ひとつのハードウェア資源上で動作させることが可能な仮想化技術である。仮想化手段１２の上で動作するオペレーティングシステム１５の搭載された論理的なコンピュータマシンを仮想装置１３と呼び、仮想化手段１２はそれぞれの仮想装置１３からの資源の利用要求に対し、実際のハードウェア資源１１の利用を仲介する機能を持つ。このため、ひとつのハードウェア資源を複数のオペレーティングシステム１５が共有することが可能となり、資源利用効率を向上することができる。資源の割当比率なども指定することが可能であるため、実効的に各仮想装置に対し、設定量の資源を割り当てることができる。また、それらの仮想装置１３は仮想化手段１２の提供する仮想ネットワーク１４により、仮想化手段１２を通して相互に接続することも可能である。【０００９】
仮想装置１３の中では、アプリケーション１６がオペレーティングシステム１５の上で動作しており、計算などの資源を利用する要求をオペレーティングシステム１５に出すが、これは通常のハードウェア資源１１の上で直接オペレーティングシステム１５が動作する場合と変わらない。オペレーティングシステム１５は自分の管理する資源（論理資源）を複数のアプリケーション１６の間で共有するように動作する。【００１０】
一般にオペレーティングシステムは資源管理をする特権モードをもつが、オペレーティングシステム１５の管理できる資源は自分に与えられた論理資源である。ハードウェア資源の制御権限は仮想化手段１２が行っている。このため、たとえばある仮想装置１３内でセキュリティに問題のあるコードが実行されたとしても、その影響はその仮想装置１３の中で閉じており、他の仮想装置に及ばないため、仮想装置間のプロテクションを確保できる利点がある。このため、資源を共有しながらプロテクションレベルを保つことが可能である。【００１１】
この仮想化技術を用いれば、複数の仮想装置を一台の物理装置の上に構成し、それぞれを複数のシステムに割り当てることで、例えば、ひとつの組織の中で、さまざまな部門が資源を共有しながら、プロテクションレベルを確保することができる。
【非特許文献１】P. Barham et al. Xen and the art of virtualization. In Proc. SOSP 2003. Bolton Landing, New York, U.S.A. Oct 19-22, 2003
【非特許文献２】User Mode Linux http://user-mode-linux.sourceforge.net/
【非特許文献３】VMware社ホームページ、http://www.vmware.com/
【非特許文献４】Bochs、http://bochs.sourceforge.net/
【非特許文献５】VirtualPC、http://www.microsoft.com/japan/windows/virtualpc/default.mspx
【発明の開示】
【発明が解決しようとする課題】
【００１２】
第１の問題点は、システム全体のスケーラビリティが制限される点である。その理由は、従来の手法では図２に示す仮想装置１３に対するハードウェア資源１１の割り当てが仮想化手段１２の権限でしか行えないためであり、仮想装置１３の処理負荷の変動に対して、資源割り当ての最適化を行う必要があるが、その際に、システムが肥大化すると、指数関数的にそのコストがかかるためである。【００１３】
第２の問題点は、システムが複数存在する場合、それぞれのシステムにおける管理の独立性の確保が困難な点である。その理由は、それぞれのシステム管理者の性能管理と資源管理の権限の最適なバランスが取れておらず、個々のシステム管理者は自分の管理範囲の仮想装置の性能を向上させるために行う資源管理を自分の判断で行なうことができないためである。一般に、あるひとつの組織では、各種アプリケーションを提供する複数の仮想装置があり、さらにそれらをまとめてひとつのサービスを提供するシステムを作り、また、場合によってはそれらのサービス同士をまとめて、さらに上位のサービスを提供するシステムを構築されている。各仮想装置やシステムの管理者は規模によっては必ずしも同一人物ではなく、むしろそれぞれの権限、管理範囲が決められた独立の管理体系にある場合が多く、その場合には、互いにシステムの細部を把握する必要がない。しかし、従来システムでは、それぞれの管理者には自分の管理化の仮想装置や管理システム間での資源割り当てなどの権限がなく、全体システム管理者にその要求を出さねばならいからである。【００１４】
第３の問題点は、資源割当の再計算が効率的に行えない点である。その理由は、それぞれの仮想装置やシステムは必要資源量の変動のタイムスケールが異なるが、その違いが資源割当計算に取り入れられてないためである。【００１５】
そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は、階層的に存在する複数のコンピュータやネットワークシステムにおいて、それぞれの管理業務の独立性を保ちながら、資源を有効に再配分して資源効率を上げ、またその再配分のためのコストを低減することが可能なシステム及びその技術を提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決する第１の発明は、階層化システムであって、システム構造体がツリー構造に構成され、下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段を有し、上位のシステム構造体は、前記下位のシステム構造体から通知される性能情報と、管理するシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う資源最適化処理手段を有することを特徴とする。【００１７】
上記課題を解決する第２の発明は、上記第１の発明において、前記上位のシステム構造体の資源最適化処理手段による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体より上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体の資源最適化処理手段により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする。
上記課題を解決する第３の発明は、上記第１又は第２の発明において、前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段を有することを特徴とする。【００１８】
上記課題を解決する第４の発明は、上記第１から第３のいずれかの発明において、前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源の最適化処理を行うことを特徴とする。【００１９】
上記課題を解決する第５の発明は、階層化システムであって、管理単位となるシステム構造体がツリー構造に構成され、各システム構造体は、親システム構造体との通信をおこなう資源管理情報インターフェース手段と、性能指標インターフェース手段と、資源と、資源割当の最適化及び性能管理を行う運用管理手段と、資源の割当を行う資源割当手段と、管理する子システム構造体とを有し、親システム構造体と子システム構造体とは、前記資源管理情報インターフェース手段及び前記性能指標インターフェース手段とを介して、資源情報及び性能情報を通信することを特徴とする。【００２０】
上記課題を解決する第６の発明は、上記第５の発明において、前記運用管理手段は、資源の管理を行う資源管理手段と、資源の割り当てを制御する資源割当制御手段と、システム構造体の性能を監視する性能監視手段と、前記資源管理手段からの資源に関する資源管理情報及び前記性能監視手段からの性能情報に基づいて、資源割り当て方法の最適化演算を行う最適化手段とを有し、管理する子システム構造体の性能情報及び資源管理情報に基づいて、資源割当の最適化を行うことを特徴とする。【００２１】
上記課題を解決する第７の発明は、上記第５又は第６の発明において、前記性能監視手段は、取得した子システム構造体の性能情報を用いて、前記運用管理手段の属するシステム構造体の代表的性能指標を作成し、性能指標インターフェース手段を介して、前記代表的性能指標を参照するように構成されていることを特徴とする。【００２２】
上記課題を解決する第８の発明は、上記第５から第７のいずれかの発明において、前記システム構造体は、内部の子システム構造体の詳細管理情報を、外部から隠蔽し、システム全体の各システム構造体は独立的に資源割当管理を行うことを特徴とする。【００２３】
上記課題を解決する第９の発明は、上記第５から第８のいずれかの発明において、前記資源管理手段は、前記資源管理情報インターフェース手段を用いて、親システム構造体と資源の設定を更新するように構成されていることを特徴とする。【００２４】
上記課題を解決する第１０の発明は、システム構造体をツリー構造に構成し、下位のシステム構造体は、上位のシステム構造体に自システム構造体の性能情報を通知し、前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行うことを特徴とする。【００２５】
上記課題を解決する第１１の発明は、上記第１０の発明において、上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする＞
上記課題を解決する第１２の発明は、上記第１０又は第１１の発明において、通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成し、上位のシステム構造体から下位のシステム構造体の性能を参照することを特徴とする。【００２６】
上記課題を解決する第１３の発明は、上記第１０から第１２のいずれかの発明において、上位のシステム構造体は、管理する下位のシステム構造体の管理情報を、外部から隠蔽し、各システム構造体は独立的に資源の最適化処理を行うことを特徴とする。【００２７】
上記課題を解決する第１４の発明は、システム構造体がツリー構造に構成された階層化システムの資源管理を実行させるプログラムであって、前記プログラムは、下位のシステム構造体から上位のシステム構造体に、自システム構造体の性能情報を通知する処理と、前記上位のシステム構造体が、前記下位のシステム構造体から通知される性能情報と、管理する下位のシステム構造体の資源の管理情報とに基づいて、管理するシステム構造体の資源の最適化処理を行う処理とを情報処理装置に実行させることを特徴とする。【００２８】
上記課題を解決する第１５の発明は、上記第１４の発明において、前記プログラムは、上位のシステム構造体による資源の最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知する処理と、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行う処理とを情報処理装置に実行させることを特徴とする。【００２９】
上記課題を解決する第１６の発明は、上記第１４又は第１５の発明において、前記プログラムは、通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成する処理と、上位のシステム構造体からの要求に応答して、前記代表的性能指標を参照させる処理とを情報処理装置に実行させることを特徴とする。
【発明の効果】
【００３０】
本発明の第１の効果は、システム全体のスケーラビリティの向上が可能なことである。その理由は、本発明が、各仮想装置、システムの負荷変動に対する、資源再割当のための最適化演算のコストを低減するからである。【００３１】
本発明の第２の効果は、複数存在するシステム内の管理の独立性の確保が可能な点である。その理由は、本発明が、それぞれの管理者に、自分の管理システム範囲内での資源割りあて制御権限を付与する構成になっているためである。また、他の管理者の管理するシステムの細部を隠蔽しながら運用管理が可能であるためである。【００３２】
本発明の第３の効果は、資源割当の効率化が図れることにある。その理由は、最適化演算が階層化された各システムの管理者毎に独立に行え、またその変動のタイムスケールを考慮に入れた手法であるためである。
【図面の簡単な説明】
【００３３】
【図１】図１は従来技術を説明するための図である。
【図２】図２は従来技術を説明するための図である。
【図３】図３は第１の実施の形態を説明するための図である。
【図４】図４は第１の実施の形態のブロック図である。
【図５】図５は第１の実施の形態を説明するための図である。
【図６】図６は第１の実施の形態を説明するための図である。
【図７】図７は実施例１を説明するための図である。
【図８】図８は本発明の階層化システムを説明する為の図である。
【図９】図９は本発明の階層化システムの動作を説明する為の図である。
【図１０】図１０は各システム構造体の一部をインプリメントした情報処理システムの一般的ブロック構成図である。
【符号の説明】
【００３４】
２００        システム構造体
２０１        性能指標インターフェース手段
２０２        資源管理情報インターフェース手段
２１１        システム構造体群
２２０        資源空間
２２１        資源割当手段
２２２        資源割当制御手段
２２３        資源管理手段
２２４        性能監視手段
２２５        性能管理手段
２２６        最適化演算手段
２３０        資源
【発明を実施するための最良の形態】
【００３５】
本発明の階層化システムについて説明する。【００３６】
図８は本発明の階層化システムを説明する為の図である。【００３７】
図８を参照すると、複数のシステム構造体がツリー構造に構成されている。ここで、ツリー構造とは階層構造をなしているシステムであり、上位のシステム構造体（親システム構造体）が下位のシステム構造体（子システム構造体）を管理する構成である。例えば、システム構造体１００１１は下位のシステム構造体１０００１〜１０００ｌを管理し、また、システム構造体１００２１は下位のシステム構造体１００１１〜１０００ｎを管理する。【００３８】
各システム構造体は、自己の性能に関する性能情報を、上位のシステム構造体に通知する機能を有する。また、下位のシステム構造体から通知された性能情報に基づいて、システム構造体の性能の劣化を検出する機能を有し、この性能の劣化を検出すると、管理するシステム構造体（管理する下位のシステム構造体と自システム構造体）の資源の再配分の最適化処理を行う機能とを有する。但し、最下層に位置するシステム構造体（例えば、図８ではシステム構造体１０００１〜１０００ｎ）は、性能情報を上位のシステム構造体に通知する機能のみ有すれば良い。【００３９】
このような構成における動作を、図９のフローチャートを用いて説明する。【００４０】
まず、下位のシステム構造体は性能情報を上位のシステム構造体に通知する（Ｓｔｅｐ  １００）。【００４１】
上位のシステム構造体は、通知された性能情報に基づいて、システム構造体の性能の劣化を検出する（Ｓｔｅｐ  １０１）。システム構造体の性能の劣化を検出すると（Ｓｔｅｐ  １０２）、上位のシステム構造体は、通知された性能情報に基づいて、管理するシステム構造体の資源再配分の最適化処理を行う（Ｓｔｅｐ  １０３）。【００４２】
管理するシステム構造体内の最適化処理で、性能が改善される場合（Ｓｔｅｐ  １０４）、最適化結果を下位のシステム構造体の資源制御に適用する（Ｓｔｅｐ  １０５）。下位のシステム構造体は、上位のシステム構造体の資源制御に基づいて、資源の再分配を行う（Ｓｔｅｐ  １０６）。【００４３】
一方、管理するシステム構造体内の最適化処理で性能が改善されない場合（Ｓｔｅｐ  １０４）、Ｓｔｅｐ  １００に戻り、更に上位のシステム構造体に性能情報を通知する（Ｓｔｅｐ  １００）。通知された上位のシステム構造体は、上述したＳｔｅｐ  １０１からＳｔｅｐ  １０５の動作を行う。【００４４】
上述した動作の具体例を、図８を参照して説明すると、システム構造体１０００１の性能情報を上位のシステム構造体１００１１が受信し（図８中（１））、上位のシステム構造体１００１１がシステム構造体１０００１の性能劣化を検出すると、システム構造体１００１１が管理するシステム構造体１０００１〜システム構造体１０００ｌにおけるリソース配分の最適化処理を行う（図８中（２））。【００４５】
システム構造体１００１１の最適化によりシステム構造体１０００１の性能が改善しない場合には、システム構造体１００１１の性能が劣化している。従って、システム構造体１００１１は、システム構造体１００１１の性能情報を上位のシステム構造体１００２１に送信する（図８中（３））。【００４６】
上位のシステム構造体１００２１では、上述したシステム構造体１００１１と同様に、システム構造体１００２１が管理するシステム構造体１００１１〜システム構造体１００１ｎのリソース配分の最適化処理を行う（図８中（４））。そして、システム構造体１００２１の最適化処理により性能が改善する場合には、その最適化結果をシステム構造体１００１１〜システム構造体１００１ｎに適用する（図８中（５））。【００４７】
システム構造体１００１１〜システム構造体１００１ｎは、資源制御を受けて再度資源配分の最適化処理を行い（図８中（６））、最適化結果をシステム構造体１０００１〜システム構造体１０００ｎに適用する（図８中（７））。【００４８】
次に、本発明を実施するための最良の形態について図面を参照して詳細に説明する。【００４９】
まず、ツリー構造について説明する。【００５０】
図３を参照すると、本発明の第１の実施の形態は、図４に示すシステム構造体２００が階層構造をなしているシステムであり、ルートである階層l=0のシステム構造体１００はその内部に複数のシステム構造体１１０を管理し（階層l=1）、さらにその内部に複数のシステム構造体１２０を管理し（階層l=2）、・・・と、それ以上内部に管理するシステム構造体をもたない最後のシステム構造体１３０の階層までツリー構造をなしている。このシステム構造体１３０は、以後PE(Processing Entity)と呼ぶ。【００５１】
次に、パスについて説明する。【００５２】
このツリー構造の中に存在する各システム構造体を管理システム全体でユニークに決定できるように名前付けの手法として、階層lに属するシステム構造体をS(l)=/s1/s2/…/slのように、ツリー構造のルートである階層l=0のシステム構造体に属する階層l=1のs1番目のシステム構造体、階層l=1のs1番目のシステム構造体に属する階層l=2のs2番目のシステム構造体に属する、・・・のように、ルートからインデックス番号を/で区切って並べたパスで指定する。また、親システム構造体参照演算子として”/..”を定義する。例えば、S(l)/..=/s1/s2/…/sl-1/sl/..=/s1/s2/…/sl-1となる。【００５３】
図４を参照すると、階層l(l=0, 1, …)に属するシステム構造体２００（パスS(l)=/s1/s2/…/sl）と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２と、システム構造体２００に含まれる階層l+1に属し、システム構造体２００が管理する、システム構造体２００と同様の構造をもつ複数のシステム構造体２１０を有するシステム構造体群２１１と、資源割当手段２２１と、資源空間２２０と、資源空間２２０に含まれる複数の資源２３０と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と最適化演算手段２２６とで構成される。上述のPEに関しては、同様に性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２とを有するとする。【００５４】
これらの手段はそれぞれが次のように動作する。【００５５】
システム構造体２００やシステム構造体２１０は全て同様の構造をもち、ひとつの管理システムをあらわす。各システム構造体はその内部に含むシステム構造体を管理する。このシステム構造体は外部とのインターフェースとして性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２を有する。システム構造体内では、管理下にあるシステム構造体２１０の上記の資源管理情報インターフェース手段を通してその資源空間に属する資源情報を入力し、当該性能指標インターフェース手段を通してそのシステム構造体の性能指標を受け取ることで、システム構造体群２１１に属するシステム構造体２１０の管理を行う。【００５６】
性能指標インターフェース手段２０１は当該性能出力指標が付属するシステム構造体の性能指標を外部に出力するインターフェースであり、システム構造体２００は性能管理手段２２５によって管理されるシステム構造体２００の性能指標を外部に出力することができる。【００５７】
資源管理情報インターフェース手段２０２は当該資源管理情報インターフェース手段が付属するシステム構造体２００と外部のシステム構造体との資源管理情報のやり取りを行うインターフェースである。このインターフェースを通して資源の追加・削除・変更などが可能である。【００５８】
システム構造体群２１１は、システム構造体２００において管理されるシステム構造体２００の階層lよりひとつ上の階層l+1に属するシステム構造体２１０の集合であり、システム構造体s(l)に属するシステム構造体群をH s(l)のように表記し、その要素数（管理するシステム構造体２１０の数）をn s(l)で表記するとする。【００５９】
資源２３０はシステム構造体２００の有する資源をさし、riと表記するものとする。その値は、例えばその資源がＣＰＵである場合はクロック周波数である１ＧＨｚなど、その資源の代表的性能値を表すとする。一般に複数の種類を表すには例えばベクトルriで表現し、各成分はさまざまな同種の性能の加算が可能な資源を表現するとする（第一成分はCPU、第二成分はメモリ、など）。【００６０】
資源空間２２０は、システム構造体２００の有する資源２３０の集合であり、R s(l)と表記し、その要素数は資源２３０の個数であり、m s(l)とする。【００６１】
性能監視手段２２４は、システム構造体２１０の性能指標インターフェース手段を通してシステム構造体２１０S(l)/i (i=1, 2, …, n s(l))の性能指標Q S(l)/iを監視する手段である。また、それらの性能指標をまとめて、性能指標群{ Q S(l)/i }のように表記する。【００６２】
資源管理手段２２３は当該システム構造体２００に入力される資源管理情報から、上述の資源空間２２０を管理し、資源２３０を指示に従って追加・削除・変更などを行う手段である。なお追加した資源２３０は資源管理情報インターフェース手段２０２を通して追加支持をだしたシステム構造体の資源空間から追加された資源であり、逆に削除とは資源２３０の削除指示を出した管理されるシステム構造体の資源空間に追加することである。【００６３】
最適化演算手段２２６は、性能監視手段２２４および資源管理手段２２３からそれぞれ管理システム構造体群２１１の性能指標情報と割り当て資源情報をもとに、資源割り当て方法の最適化演算を行う。ここでいう最適化とは、システム構造体群の性能指標群の値が、管理ポリシーによってあらかじめ決めておいた値になるべく近くなるように、各システム構造体への割当資源を調節することである。【００６４】
資源割当制御手段２２２は、最適化演算手段２２６の指示をうけ、当該資源空間２２０の資源２３０を上述のシステム構造体２１０に割り当て方の指示を出す制御手段である。また資源の割当が終了したら、資源管理手段２２３に割当終了通知を出し、新しい設定を反映するよう指示をだす。【００６５】
資源割当手段２２１は資源割当制御手段２２２の指示を受け、資源空間２２０の資源２３０をシステム構造体群２１１に属するシステム構造体２１０に割り当てる手段である。資源割当とは、システム構造体２１０の資源管理情報インターフェースに資源管理情報を送り、追加・削除命令に対し、資源空間２２０の指定された資源２３０を追加/システム構造体２１０への割当解除を行う。【００６６】
性能管理手段２２５は、性能監視手段２２４で管理されたシステム構造体２１０の性能指標群の情報を基に、管理ポリシーに従ってシステム構造体２００全体での性能を決定し、性能指標インターフェース手段２０１を通して外部へ出力する手段である。【００６７】
PEは階層構造の末端に位置するシステム構造体であり、同様に性能指標インターフェース手段２０１と資源管理情報インターフェース手段２０２とを有し、当該資源管理情報インターフェース手段を通して設定された資源を用いて計算などのなんらかの処理を行い、上述の性能指標インターフェース手段を通してその計算に必要な資源量と設定された資源量とから決定する性能指標を外部に出力する。PEは内部にそれ以上の階層構造を持たない。PEは実システムにおいて例えばサーバなどのコンピュータなどや、またコンピュータ内のプロセスなどの最低管理単位などに対応する。【００６８】
次に、図５を参照して本実施の形態の全体の動作について詳細に説明する。【００６９】
まず、現在のルートであるシステム構造体S(0)の資源空間を
2007119329.tif 000003
のように表記する。ただし、Gs(l)はシステム構造体S(0)の資源インデックス空間であり、資源空間Rs(l)に属する資源のインデックス番号の集合である。【００７０】
今、簡単のために、資源割当には、システム構造体間での同じ一つの資源の共有を許さず、また、各資源rKはそれ以上分割できない最低単位であるとする。すると、システム構造体S(l)の資源空間R S(l)の資源を、システム構造体S(l)/i (i=1, 2, …, n s(l))に割り当てるということは、システム構造体S(l)の資源インデックス空間G(l)を、システム構造体群H s(l)={ S(l)/i }の各々のシステム構造体S(l)/i (i=1, 2, …, n s(l))に属する資源インデックス空間Gs(l)/iおよびリザーブ資源インデックス空間Gs(l)/0に部分集合分割することである（リザーブ資源インデックス空間とはどのシステム構造体にも割り当てられずストックしておく資源とする）。
2007119329.tif 000004
ここで、φとは空集合を現し、関数Q=f(G)は集合Gによって決まるある性能指標関数とし、maximize ( { QS(l)/i }|management policy )は性能指標群{ QS(l)/i }を管理ポリシーmanagement policyの下に最大化することを意味する。【００７１】
つまり、システム管理者の目指すところは、自分の管理するシステム（システム構造体S(l））の資源（資源空間R S(l）の資源）を、自分の管理するシステム内に存在するサブシステム（システム構造体S(l)/i (i=1, 2, …, n s(l))が最高性能をだせるように分配する手法（数式１）を探索しながら運用管理することと定式化する。【００７２】
以下、図６の状態遷移図を用いて、本発明の動作を説明する。【００７３】
図６はあるシステム構造体S(l)の状態遷移である。状態は大きく初期化４０１、監視４０２、最適化演算４０３、資源設定更新４０４の４つがある。【００７４】
初期化４０１はシステムの運用開始であり、システム構造体の運用プロセスが開始すると状態は最適化演算４０３に遷移する。【００７５】
監視４０２は、管理しているシステム構造体群からの性能指標群を読み込む、資源管理情報インターフェースを監視する、システム構造体S(l)の性能指標QS(l)を生成して出力する、などの動作を行う。【００７６】
最適化演算４０３はシステム構造体群HS(l)の性能指標をなるべくよくするように資源割当の最適化演算を行う。ここで最適化演算とは、上述のように現在の資源管理情報および性能指標群を参照し、資源空間RS(l)の資源の、システム構造体群HS(l)に属するシステム構造体S(l)/i (i=1, 2, …, n s(l))への資源割当方法が、あらかじめ決めておいた管理ポリシーに規定のシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標条件を満たすような設定（数式１）を探索する演算である。【００７７】
資源設定更新４０４とは、最適化演算で指定された資源割当指示に従って、実際にシステム構造体S(l)/i (i=1, 2, …, n s(l))に資源割当を行う、資源管理情報インターフェースからの入力を資源管理情報に反映する、などを行う。【００７８】
以下、運用開始から実際の運用までのシーケンスを詳細に説明する。【００７９】
まず、初期化４０１からシステムの運用が開始され、図４に記載の各種手段が全て実行状態になり、おのおのの手段の状態を最新の状態に更新する。また、初期設定された資源割当が反映される。【００８０】
資源割当は、まずルートであるシステム構造体S(0)は、システム全体で保持する資源全体である資源空間
2007119329.tif 000005
から、システム構造体S(0)/i (i=1, 2, …, n s(l))に対して
2007119329.tif 000006
なる資源割当を行う。
ただし、
2007119329.tif 000007
はリザーブ資源でありμS(0)/iはシステム構造体S(0)/i (i=1, 2, …, n s(l))の初期総資源使用量である。以下、同様に一般にシステム構造体S(l)はシステム構造体S(l)/i (i=1, 2, …, n s(l))に対して
2007119329.tif 000008
なる資源割当を最後のPEまで順次行う。【００８１】
初期化４０１が終了すると、すぐに最適化演算４０２状態へと遷移し、システムの最適化演算を開始する。最適化演算手段２２５は、その時点での最新の資源情報を資源管理手段２２２から取得し、各システム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標を性能監視手段２２４から取得し、最適資源配分の探索を行う。最適化の手法としては、例えば、まずはリザーブ資源から、性能指標の悪いシステム構造体S(l)/i (i=1, 2, …, n s(l))へ資源を割り当て、その後、より性能指標のよいシステム構造体S(l)/i (i=1, 2, …, n s(l))の資源を、より性能指標の悪いS(l)/i (i=1, 2, …, n s(l))に割り当てることで最適化を行うなどの手法がある。ここで、あらかじめ管理ポリシーを定めるにより、すべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))が同じ性能指標レベルになるように資源の再配分を行うことも、重みをつけて優先度を設定することも可能である。【００８２】
最適割当を見つけるには、上述のfの形がわかっている場合は、それに合わせればよいが、多くの場合未知なため、たとえば、単純には可能な限りの資源割当の組み合わせを探索してもよいし、制御理論的アプローチでフィードバック制御してもよいし、システム構造体同士であるルールに従って資源を奪い合い、自律的に均衡点に達するように制御する手法など、さまざまな手段がある。【００８３】
最適化演算が終了すると、状態は資源設定更新４０４に遷移し、設定の反映を行う。設定の反映には、資源割当制御手段２２２が最適化演算手段２２５からの設定指示を受け、その指示通りに資源割当手段２２１をコントロールすることで資源空間２２０RS(l)/iから資源を割り当てる。資源割当が成功したところで、資源割当制御手段２２２は資源管理手段２２３に設定した資源割当情報を送り、資源管理手段２２３は情報を更新する。【００８４】
資源設定の更新が終了すると、状態は資源設定更新４０４から監視４０４に遷移する。監視４０４では、性能監視手段２２４が性能指標群を監視し、性能管理手段２２５は性能監視手段２２４が保持する性能指標群からシステム構造体S(l)の性能指標QS(l)を作成、更新し、性能指標インターフェース手段２０１を通して外部に出力する。
ここで性能指標群からシステム構造体S(l)の性能指標QS(l)を作成のために、管理しているすべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標の管理において、あらかじめ規定した管理ポリシーに従ってアラーム発信管理を行う。【００８５】
ここでの管理ポリシーとは、たとえば、管理しているすべてのシステム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標のうち、ひとつでもあらかじめ管理ポリシーによって決めておいた閾値性能指標を下回る状態がある管理時間続いた場合に性能管理アラームをあげる（アラーム管理ポリシー１とする）、などである。【００８６】
性能管理アラームがあがったらシステム構造体S(l)の性能指標QS(l)を作成、更新する。【００８７】
監視４０４から最適化演算４０２への状態遷移も同様に最適化アラームが挙がったところで遷移するとする。最適化アラームも同様にたとえば上述のアラーム管理ポリシー１に従う、などとあらかじめ決めておく。最適化アラームが挙がると、最適化演算４０２に遷移し、システム構造体S(l)の最適化処理を開始する。【００８８】
また、例えば、システム構造体S(l)/i (i=1, 2, …, n s(l))の性能指標が著しく劣化し、最適化を行っても改善が見込まれそうにない状態が続いた場合（管理ポリシーで記述しておく）は、資源追加待ち用状態として、最適化演算４０２への遷移を禁止し、その状態が改善するか、資源追加などによる資源管理情報インターフェース手段２０２を通して資源管理手段２２３に新たな情報入力があった場合にもとの監視４０４状態に復帰する、などの指定も可能である。【００８９】
また、資源管理手段２２３は、資源管理情報インターフェース手段２０２からの新規入力がないかを常に監視し、資源の追加、削除・変更入力があれば、資源管理手段２２３は資源情報を更新し、資源空間２２０RS(l)/iを更新する。更新が終了すると、監視４０４に状態が遷移する。【００９０】
次に、資源利用量変動による最適化処理について詳細に説明する。【００９１】
今、あるシステム構造体S(l)が監視４０４状態にあるとする。そして、その管理するシステム構造体群HS(l)={ S(l)/i }において、例えば上述のアラーム管理ポリシー１で規定された管理ポリシーに従って最適化アラームが挙がったとする。【００９２】
この時、状態は監視４０４から最適化４０２に遷移し、システム構造体S(l)は最適化処理を行う。その後も品質劣化状態が続けば、上述の性能管理アラームが挙がり、さらに劣化したシステム構造体S(l)の性能指標QS(l)を作成、更新し、性能指標インターフェース手段２０１を通して外部に出力するが、システム構造体S(l)/iの性能指標が最適化演算によって改善されれば、最適化アラームが取り消され、通常通りの監視状態にもどる。このため、あるシステム構造体内のみでの最適化で改善が可能な場合はよりルートに近い階層での最適化処理は行われない。【００９３】
次、に資源管理情報インターフェースの更新があった場合について詳細に説明する。【００９４】
今、あるシステム構造体S(l)が監視４０４状態にあるとする。そして、資源管理情報インターフェース手段２０２を通して、資源情報の更新があったとする。更新の種類は追加・削除の二種類を考える。資源情報の更新があった場合、上述の通り、資源設定更新４０３に状態が遷移する。【００９５】
（資源追加の場合）
資源管理において、どのシステム構造体S(l)/iにも割り当てないリザーブ資源の中に、新規に追加された資源を登録し、監視４０４に状態遷移する。【００９６】
（資源削除の場合）
指定された資源を削除する。このとき、リザーブ資源に資源が存在すれば、リザーブ資源がある限り、資源が削除されたシステム構造体S(l)/iに新たに割当設定を行う。資源設定更新が終了すると、監視４０４に状態遷移する。ここで、運用中のシステム構造体S(l)/iから資源を削除することは運用を止めることもありうるため、なるべくリザーブ資源から削除することが望ましい。【００９７】
システム構造体S(l)/..からみると、システム構造体S(l)/iにどんな資源が割り当てられているかは関知しない場合が多いため、単に資源量のみが問題であれば、なるべくリザーブ資源から削除するように、リザーブ資源として登録されている資源をあらかじめシステム構造体S(l)/..に通知しておくことにより、なるべくそこから選ぶようにすることも可能である。【００９８】
以上が各システム構造体S(l)の動作である。これらのシステム構造体は、図３に示したようにツリー構造になっているため、ツリーの各枝の一番ルートから遠い階層にあるPE（S(l)とする）が運用開始とともに割り当てられた資源を用いて計算処理を行い、その性能指標を管理されている親システム構造体S(l)/..に出力し、そのシステム構造体S(l)/..は上述の状態遷移図に従ってシステム構造体群HS(l)/..の性能指標を管理し、そのシステム構造体S(l)/..における性能指標Q S(l)/..を、そのシステム構造体S(l)/..のさらに低階層のシステム構造体S(l)/.. /..に出力する。この階層的管理構造がルートであるS(0)まで続く。【００９９】
次に、上述した実施の形態に基づく本発明の効果について説明する。【０１００】
本発明を用いれば、PEの資源利用量の変動に対して、本発明を用いなかった場合に対して、スケーラビリティメリット、管理の独立性メリット、資源割当最適化の効率化があることを以下に示す。【０１０１】
まず、ある時刻tにおけるPEである、S(L)=/S1/S2/…/SLの資源利用量をXS(L)(t)と定義し、各PEには
2007119329.tif 000009
だけの資源が割り当てられ、
同様に一般のシステム構造体S(l)に
2007119329.tif 000010
だけ資源が割り当てられているとする。ここで、S(L)の性能指標QS(L)(t)として、資源利用量をXS(L)(t)と割当資源量
2007119329.tif 000011
によって決まると仮定でき、その差の絶対値がある一定以上になった場合に資源過剰もしくは資源不足状態であり、最適化が必要と判断する値
2007119329.tif 000012
になるとする。【０１０２】
特に、簡単のため以下
2007119329.tif 000013
はヘピサイトのステップ関数μ(x)を用いた、
2007119329.tif 000014
という関数系で記述するように、
2007119329.tif 000015
になった時に資源不足エラーとし、QS(L)(t)= -1を出力し、
2007119329.tif 000016
時は正常であるとする。【０１０３】
以下、システム構造体S(L)=/S1/S2/…/SL（PE）がどのような頻度で資源不足による最適化が必要な状態になるか見積もる。【０１０４】
まず、資源利用量XS(L)(t)のある単位管理時間あたりの変動は正規分布
2007119329.tif 000017
に従うとする。変数変換
2007119329.tif 000018
によって、ZS(L)はN(0, 1)に正規化できる。
ここで、
2007119329.tif 000019
となる資源利用量を
2007119329.tif 000020
とすると、
2007119329.tif 000021
となる確率
2007119329.tif 000022
は
2007119329.tif 000023
となる。ただし、
2007119329.tif 000024
は0でなく、閾値
2007119329.tif 000025
を
2007119329.tif 000026
とし、割当資源量
2007119329.tif 000027
のα%超過とした。【０１０５】
一方、このPEの属するシステム構造体S(L-1)=/S1/S2/…/SL-1はnS(L-1)個のPEを有しており、これらのPEの性能指標群は{ QS(L)(t) }となる。このPEの資源利用量変動XS(L)(t)は全て独立で同一分布に従うと仮定する。ここで、このシステム構造体S(L-1)の性能管理の管理ポリシーとして例えば、「性能指標群は{ QS(L)(t) }のうち、ひとつでも、QS(L)(t)= -1と性能劣化したら、再度資源割当の最適化処理を行い、
2007119329.tif 000028
をアップデートし、システム構造体群HS(L-1)での
2007119329.tif 000029
の標準偏差が最小になるように制御する」とする。
すべてのiに対して、QS(L-1)/i(t)= 0となれば、QS(L-1)/i(t)= 0とし、ひとつ以上QS(L)(t)= -1があった場合にはシステム構造体S(L-1)内での改善はできないとして、QS(L-1)(t)= -1とする。
2007119329.tif 000030
すると、システム構造体S(L-1)で最適化処理が行われる確率poS(l-1)は
2007119329.tif 000031
である。【０１０６】
また、システム構造体S(L-1)の性能指標がQS(L-1)(t)= -1となる確率pS(l-1)は、最適化による再割当によってもシステム構造体群HS(L-1)の中のどれかのシステム構造体（この場合はPE）S(L-1)/iで、QS(L-1)(t)= -1となる確率であり、システム構造体S(L-1)/iの資源利用量のシステム構造体群HS(L-1)での和
2007119329.tif 000032
が、システム構造体S(L-1)の持つ資源総量
2007119329.tif 000033
以上超過する確率である。【０１０７】
独立仮定より、XS(L-1)(t)は正規分布
2007119329.tif 000034
に従うので、確率pS(L-1)は同様の変数変換より
2007119329.tif 000035
となる。
2007119329.tif 000036
であるから、確率pS(L-1)はpS(L-1) < pS(L)となり、システム構造体S(L-1)の性能指標がQS(L)(t)= -1となる確率は、特に、nS(l-1)が大きい場合に、システム構造体S(L)のそれよりもかなり小さくなる。また、システム構造体S(L-1)が管理されるシステム構造体S(L-1)/.. = S(L-2)において最適化処理が行われる確率は同様に
2007119329.tif 000037
となる。
以下一般の階層lに属するシステム構造体S(l)についても、同様にその性能指標がQS(L-1)(t)= -1となる確率の間に
2007119329.tif 000038
の関係が成り立つため、ルートに近いより低階層のシステム構造体のほうが劣化する確率が低く、また、一般に
2007119329.tif 000039
であることから、単位管理時間あたりに最適化処理が行われる確率（頻度）はより低階層のシステム構造体のほうが小さいことが示された。【０１０８】
次に、一回の最適化演算にかかるコストをそのスケールに対する関数として見積もる。【０１０９】
上述のように、今、あるシステム構造体S(l)における資源割当の最適化とは、S(l)に属する資源空間R S(l)の資源をシステム構造体群H S(l)のnS(l)個のシステム構造体S(l)/i, (i=1, 2, …, nS(l))とリザーブ資源空間としてみなすS(l)/0へ割り当てるのに、
2007119329.tif 000040
の標準偏差が最小となるような資源インデックス空間GS(l)のn S(l)個の部分空間GS(l)/i, (i=1, 2, …, nS(l))への分割方法
2007119329.tif 000041
を見つけることとする。
2007119329.tif 000042
ただし、std(w)はwの標準偏差とする。【０１１０】
一般に、XS(l)/iは明にはわからず、性能指標QS(l)/iの値から推測することになる。この探索数ΛS(l)は資源インデックス空間のm S(l) = #(G S(l))個の元から（ここで、#(A)は集合Aの元の数とする）、i=0, 1, 2, …, nS(l)に対するそれぞれmS(l)/i = #(G S(l)/i)個の元をもつ、nS(l)+1個の資源インデックス部分空間へ割り当てる可能な分割
2007119329.tif 000043
の数になるため、最大ですべての可能性を探索すると、
2007119329.tif 000044
をみたす全ての
2007119329.tif 000045
についてとるとする。
（証明）
展開定理より、
となる。
2007119329.tif 000046
実際の場合は、すべての資源を探索しなおす必要はなく、例えば、資源不足のものと資源過剰のもののみの間で最適化し直す、など探索数を減らすことは可能であるが、ここでは比較のためワーストケースに統一して評価するとする。【０１１１】
一般に探索数に比例してコストがかかるとしてよく、この探索数Λを最適化演算一回あたりのコストと定義する。【０１１２】
以上より、システム構造体S(l)における単位管理時間あたりの探索コストCS(l)は
2007119329.tif 000047
と計算される。
そのため、システム全体での探索コストCallは概算値として、
2007119329.tif 000048
となる。ここで、和はすべてのシステム構造体S(l)でとるとする。【０１１３】
関数の形から明らかなように、CS(l)はmS(l)、nS(l)の増加に対して、爆発的に大きくなる。【０１１４】
一般に階層を多くとり、システム構造体S(l)を増やすと、システム全体での探索コストCallの計算式の和の数は増えるが、mS(l)、nS(l)は減るため、CS(l)の減少の速度はそれに比べて圧倒的に速く、Callは減少する。【０１１５】
上述のように、図４に記載のシステム構造体S(l)のように、システムを階層化、細分化し、それぞれのS(l)に閉じた形で資源管理および制御による資源割当や、その結果の管理している一つ上の階層のシステム構造体群の性能監視、およびその結果から自分の性能指標管理を行うことで、管理の細部を隠蔽し実際に資源を消費するPEを直接見ることなく、各システム構造体で自律的な最適化を繰り返すことで効率的な全体最適を行うことが可能である。例えば、ある資源群を複数のPEが消費する構成は、本発明では、ルートのシステム構造体S(0)が管理するシステム構造体群H S(0)の中のシステム構造体S(0)/iが全てPEである場合と同じ単位管理時間あたりの最適化コストをもち、
2007119329.tif 000049
となる。これは一般に本発明のように複数の階層に分けた場合に比べ、非常に大きなコストと言える。そのため、本発明は資源を多くの組織で共有して使う環境で特に効果を発揮する。【０１１６】
以下、以上の議論をもとにスケーラビリティメリット、独立性、資源割当最適化の効率化について詳細に説明する。【０１１７】
簡単のため、全体システムの中に、M個の資源があり、a個の部門があり、各部門にb個の課があり、それぞれの課がc個のコンピュータ（PE）によってある業務アプリケーションを稼動しているとする。それぞれに管理者が存在し、全体システム管理者は部門毎に提供するサービスを組み合わせて提供するサービス（例えば、ある会社の全社員向け、もしくは一般向けポータルサイトなど）を管理し、各部門の管理者はそれぞれのサービス（たとえば人事部では人事サービスなど）を提供し、そのサービスが正常に稼動するように管理し、各課では、やはりそれぞれのサービス（例えば、勤務管理サービスなど）を管理し、各コンピュータの管理者はそれぞれのサービス（例えば、データベースサーバなど）が正常に稼動するよう管理しているとする。【０１１８】
すると、この全体システムにおけるコンピュータ数は全部でN=a×b×cだけのコンピュータが存在する。もし、従来の仮想化技術により、N=a×b×cだけの仮想装置を構成し、それぞれの部門、課、PEの管理者に、必要なだけ仮想装置を与えたとする。ある時間が経過し、初期と比べて負荷が変動し、資源再割当が必要になった時、資源割当を管理しているのは全体管理者であるため、全体管理者は、それぞれの管理者からの性能情報から、再割り当て計算を行わなければならないが、この最適化zコストは管理時間当たり平均で
2007119329.tif 000050
となる。
これに対し本発明によれば、最適化コストは
2007119329.tif 000051
である。ただし、概算のため、資源を均等量だけ配分するとした。
両者を比べると、N, Mが大きい場合、明らかにCc>>Cnであることがわかる。このため、本発明によるスケーラビリティメリットが示された。【０１１９】
次に、独立性について説明する。【０１２０】
上述のように、資源割当権限は結局のところ全体システム管理者が有しており、これは単に権限を区切って各管理者に与えるだけでは十分ではない。本発明のような、複数に入り組んだ階層構造に対して、細部を隠蔽した管理システム全体の性能指標を管理することが重要であり、また、自システム内の配下の管理システムへの自由な資源割当権限とそれに対応するそれらの性能監視および、そこから自システムのアブストラクトされた性能管理手段によって、初めて階層の上下の細部を気にすることない独立した管理が可能となる。本発明により、従来構造ではできない独立性を保ちながらの性能管理が各システム構造体で自由に行うことで全体最適点に達することが可能である。【０１２１】
次に、最適化の効率化について説明する。【０１２２】
本来、最適化コストは規模とともに指数関数的に増大する。そのため、従来の方法では一部の性能劣化を改善するために、非常に大きな最適化コストを払う必要があった。【０１２３】
しかし、現実的には負荷変動のタイムスケールは規模により異なる。本発明はこのことを積極的に最適化に活用しており、各レベルでの管理者は全体の構造を意識することなく、必要な規模の構成変更を、変動のタイムスケールに適応した形で行うことができる。このため、全体で見たときに必要な部分のみを必要なタイミングで構成変更していくことが可能である。これは、（数式１２、１３）で示したように、システム構造体の階層がルートに近いほど最適化が必要な頻度が少なくなることから証明されるが、サブシステム内の資源やりくりで解決できるものを解決し、サブシステム単位で資源配分が設定値よりずれたときにサブシステム間での資源配分をやり直す、というものであり、変化のタイムスケールの違いという観点において現実の利用環境に適合した手法である。【０１２４】
第２の実施の形態について説明する。【０１２５】
本発明による各システム構造体は、以上の説明からも明らかなように、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。【０１２６】
図１０は、各システム構造体の一部をインプリメントした情報処理システムの一般的ブロック構成図である。【０１２７】
図１０に示す情報処理システムは、プロセッサ２０００、プログラムメモリ２００１、記憶媒体２００２からなる。記憶媒体２００２は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体としては、ＲＡＭや、ハードディスク等の磁気記憶媒体を用いることができる。【０１２８】
プログラムメモリ２００１には、上述した資源割当手段２２１と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と、最適化演算手段２２６と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２との各部の処理を、プロセッサ２０００に行わせるプログラムが格納されており、このプログラムによってプロセッサ２０００は動作する。【０１２９】
このように、コンピュータプログラムにより実現することも可能である。【０１３０】
尚、資源割当手段２２１と、資源割当制御手段２２２と、資源管理手段２２３と、性能監視手段２２４と、性能管理手段２２５と、最適化演算手段２２６と、性能指標インターフェース手段２０１と、資源管理情報インターフェース手段２０２との各部の処理の全てをプログラムで動作させる必要はなく、一部をハードウェアで構成してもかまわない。
【実施例１】
【０１３１】
実施例１として、図７に示すように、全体システム５００の中に、複数のサブシステム５０４が存在し、各サブシステム５０４の中に複数の仮想装置５１４（コンピュータサーバ）が存在し、各仮想装置５１４の中に複数のコンピュータプロセス５２４が存在する例を考える。【０１３２】
全体システム５００は、資源５０１とその資源５０１の集合である資源空間５０２と、ハードウェア接続分離手段５０３と運用管理手段５０５が存在する。資源５０１は、本例のシステムの全ての資源であり、モジュラーサービスカードが共通化された筐体上に複数存在するコンピュータ資源がスイッチなどのハードウェア接続分離手段によって接続されているとする。【０１３３】
ハードウェア接続分離手段５０３は、外部からの命令により、資源５０１を任意のサービスカード間で接続することでグループ化したり、グループ間で排他的に分離したりすることが可能である。一例としては、L2スイッチにおけるVLAN機能によってこれを実現可能である。【０１３４】
全体システム５００には、全体システム管理者が存在し、運用管理手段５０５によって、全体システム５００を管理する。運用管理手段５０５の中には、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有するとする。運用管理手段５０５はサブシステム５０４の性能指標を監視し、資源管理情報を収集し、資源５０１の各サブシステムへの割り当て方の最適化を行い、全体システム５００の性能指標を作成し、性能が劣化した場合に、アラームをあげることで、資源追加などの通知が可能である。【０１３５】
各サブシステム５０４内では、全体システム５００によって割り当てられた資源空間５１１に属する資源５１２のみが可視であり、自由な資源管理・割当設定が可能である。サブシステム５０４は全体システムと同様の構造をもち、内部に複数の仮想装置５１４を有し、運用管理手段５１５は、資源５１１を仮想化手段５１３によって割当て、仮想装置５１４の性能指標を収集する。【０１３６】
仮想化手段５１３は、運用管理手段５１５からの命令を受け、資源５１２を仮想装置５１４に割り当て実行を行う手段である。一例としてXenなどの仮想マシンモニター（VMM）などが挙げられる。仮想装置５１４は、実態は物理的な実態を持たないソフトウェアプロセスであり、論理的装置であるが、実際のコンピュータハードウェア資源と同様にOS（オペレーティングシステム）やソフトウェアアプリケーションをインストール・稼動することが可能である。【０１３７】
サブシステム管理者は、運用管理手段５１５を通してサブシステム５０４を管理する。運用管理手段５１５の内部には、同様に、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有する。これらにより、仮想装置５１４の性能指標を監視し、資源空間５１１に属する資源５１２を管理し、それらの情報から、必要に応じて、最適化処理を行い、その結果を仮想化手段へ送り、資源割当制御を行う。また、サブシステム５０４の性能指標を作成し、性能指標インターフェース手段５０７を通して、全体システム５００の運用管理手段５０５へ出力する。さらに、資源管理情報インターフェース手段５０６を通して入力された情報を基に、資源空間５１１の更新を行う。【０１３８】
仮想装置５１４の内部では、サブシステム５０４によって割り当てられた仮想資源空間５２１に属する仮想資源５２２のみが可視であり、自由な資源管理・割当設定が可能である。仮想装置５１４は全体システム５００やサブシステム５０４と同様の構造をもち、内部に複数のコンピュータプロセス５２４を有し、運用管理手段５２５は、資源５２２を資源割当手段５２３によって割り当て、コンピュータプロセス５２４の性能指標を収集する。【０１３９】
資源割当手段５２３は運用管理手段５２５からの命令を受け、仮想資源５２２をコンピュータプロセス５２４に割り当て実行を行う手段である。一例として資源割当手段５２３はオペレーティングシステムの機能として実装が可能である。【０１４０】
コンピュータプロセス５２４は、ソフトウェアプロセスであり、本システムでのPEであり、例えばWebサービスを提供するアプリケーションのプロセスなどとなる。【０１４１】
仮想装置の管理者は、運用管理手段５２５を通して仮想装置５１４を管理する。運用管理手段５２５の内部には、同様に、性能指標監視手段、資源管理手段、資源割当制御手段、性能管理手段などの、上述の本発明で必要な各管理手段を有する。これらにより、コンピュータプロセス５２４の性能指標を監視し、仮想資源空間５２１に属する仮想資源５２２を管理し、それらの情報から、必要に応じて、最適化処理を行い、その結果を仮想化手段へ送り、資源割当制御を行う。また、仮想装置５１４の性能指標を作成し、性能指標インターフェース手段５１７を通して、サブシステム５０４の運用管理手段５１５へ出力する。さらに、資源管理情報インターフェース手段５１６を通して入力された情報を基に、仮想資源空間５２１の更新を行う。【０１４２】
全体システム５００、サブシステム５０４、仮想装置５１４の状態は上述の状態遷移図に従って動き、必要に応じて資源割当の最適化処理を行う。本発明により、例えば、全体システムがある組織全体、サブシステムが各部門、仮想装置がコンピュータ装置、コンピュータプロセスがアプリケーションプロセスとし、組織全体で、あるWebポータルサービスを運営し、各サブシステムがそれぞれの業務サービス（たとえば人事部なら勤務管理サービス）を運営し、仮想装置がそれぞれのサーバ（たとえば勤務管理データベースサーバやWebサーバなど）を運営し、各コンピュータプロセスが必要なアプリケーションプロセス（例えばネットワーク機能を提供するためのxinetdやftpなどのvsftpdなどのデーモンなど）とする。それぞれの管理者がそれぞれの管理システム内のシステム構造体に対する性能管理指標と資源割当権限を有し、かつ管理システム全体の抽象化された性能指標を非管理システム構造体へ出力することで、高い独立性を保ちながら、効率的な資源割当の最適化によるシステム運営が可能となる。
【産業上の利用可能性】
【０１４３】
本発明によれば、複数のコンピュータ装置からなる、IT/NWシステム構成・管理や、特に資源の共有による、資源利用効率のよい仮想化環境でのIT/NWシステム構成・管理といった用途に適用できる。
【図１】
2007119329.tif 000052
【図２】
2007119329.tif 000053
【図３】
2007119329.tif 000054
【図４】
2007119329.tif 000055
【図５】
2007119329.tif 000056
【図６】
2007119329.tif 000057
【図７】
2007119329.tif 000058
【図８】
2007119329.tif 000059
【図９】
2007119329.tif 000060
【図１０】
2007119329.tif 000061
【手続補正書】
【提出日】平成20年1月10日(2008.1.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
階層化システムであって、
各階層の資源割り当て管理の基本単位となるシステム構造体がツリー構造に構成され、
下位のシステム構造体は、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知する性能情報通知手段を有し、かつ、前記上位のシステム構造体から、前記上位のシステム構造体が管理する資源を割り当てられ、
上位のシステム構造体は、前記下位のシステム構造体から通知される性能情報と、管理するシステム構造体の資源の管理情報とに基づいて、管理する下位のシステム構造体への資源割り当ての最適化処理を他のシステム構造体とは独立的に行い、前記上位のシステム構造体が管理する資源を前記管理する下位のシステム構造体に割り当てる資源最適化処理手段を有する
ことを特徴とする階層化システム。
【請求項２】
前記上位のシステム構造体の資源最適化処理手段による資源割り当ての最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体より更に上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体の資源最適化処理手段により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする請求項１に記載の階層化システム。
【請求項３】
前記資源最適化処理手段は、下位のシステム構造体の性能情報を用いて、システム構造体の代表的性能指標を作成することによって、上位のシステム構造体から下位のシステム構造体の性能を参照する手段を有することを特徴とする請求項１に記載の階層化システム。
【請求項４】
前記資源最適化処理手段は、下位のシステム構造体の管理情報を、外部から隠蔽することを特徴とする請求項１に記載の階層化システム。
【請求項５】
階層化システムであって、
各階層の資源割り当て管理の基本単位となるシステム構造体がツリー構造に構成され、
各システム構造体は、親システム構造体との通信をおこなう資源管理情報インターフェース手段と、性能指標インターフェース手段と、資源と、資源割当の最適化及び性能管理を行う運用管理手段と、資源の割当を行う資源割当手段と、管理する子システム構造体とを有し、
親システム構造体と子システム構造体とは、前記資源管理情報インターフェース手段及び前記性能指標インターフェース手段とを介して、資源情報及び性能情報を通信し、
前記親システム構造体は、管理する子システム構造体の資源情報及び性能情報に基づいて、管理する子システム構造体の資源割り当ての最適化を他のシステム構造体とは独立的に行い、前記親システム構造体が管理する資源を前記管理する子システム構造体に割り当てることを特徴とする階層化システム。
【請求項６】
前記運用管理手段は、資源の管理を行う資源管理手段と、資源の割り当てを制御する資源割当制御手段と、システム構造体の性能を監視する性能監視手段と、前記資源管理手段からの資源に関する資源管理情報及び前記性能監視手段からの性能情報に基づいて、資源割り当て方法の最適化演算を行う最適化手段とを有し、管理する子システム構造体の性能情報及び資源管理情報に基づいて、資源割当の最適化を行うことを特徴とする請求項５に記載の階層化システム。
【請求項７】
前記性能監視手段は、取得した子システム構造体の性能情報を用いて、前記運用管理手段の属するシステム構造体の代表的性能指標を作成し、性能指標インターフェース手段を介して、前記代表的性能指標を参照するように構成されていることを特徴とする請求項５に記載の階層化システム。
【請求項８】
前記システム構造体は、内部の子システム構造体の詳細管理情報を、外部から隠蔽することを特徴とする請求項５に記載の階層化システム。
【請求項９】
前記資源管理手段は、前記資源管理情報インターフェース手段を用いて、親システム構造体と資源の設定を更新するように構成されていることを特徴とする請求項５に記載の階層化システム。
【請求項１０】
階層化システムの管理方法であって、
各階層の資源割り当て管理の基本単位となるシステム構造体をツリー構造に構成し、
下位のシステム構造体は、自システム構造体を管理する上位のシステム構造体に自システム構造体の性能情報を通知し、また、前記上位のシステム構造体から、前記上位のシステム構造体が管理する資源を割り当てられ、
前記上位のシステム構造体は、管理する下位のシステム構造体から通知される性能情報と、前記管理する下位のシステム構造体の資源の管理情報とに基づいて、前記管理する下位のシステム構造体への資源の最適化処理を他のシステム構造体とは独立的に行い、前記上位のシステム構造体が管理する資源を前記下位のシステムに割り当てることを特徴とする階層化システムの管理方法。
【請求項１１】
上位のシステム構造体による資源割り当ての最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知し、通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行うことを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１２】
通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成し、上位のシステム構造体から下位のシステム構造体の性能を参照することを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１３】
上位のシステム構造体は、管理する下位のシステム構造体の管理情報を、外部から隠蔽することを特徴とする請求項１０に記載の階層化システムの管理方法。
【請求項１４】
各階層の資源割り当て管理の基本単位となるシステム構造体がツリー構造に構成された階層化システムの資源管理を実行させるプログラムであって、
前記プログラムは、
下位のシステム構造体から前記下位のシステム構造体を管理する上位のシステム構造体に、自システム構造体の性能情報を通知する処理と、
前記上位のシステム構造体が、管理する下位のシステム構造体から通知される性能情報と、前記管理する下位のシステム構造体の資源の管理情報とに基づいて、前記管理する下位のシステム構造体への資源割り当ての最適化処理を、他のシステム構造体とは独立的に行う処理と、
前記最適化処理に基づいて、前記上位のシステム構造体から、前記上位のシステム構造体が管理する資源を、前記下位のシステム構造体に割り当てる処理と
を情報処理装置に実行させることを特徴とするプログラム。
【請求項１５】
前記プログラムは、
上位のシステム構造体による資源割り当ての最適化処理では、システム構造体の性能が改善されない場合、前記上位のシステム構造体から更に上位のシステム構造体に、性能情報を通知する処理と、
通知された上位のシステム構造体により、その上位のシステム構造体が管理するシステム構造体の資源の最適化処理を行う処理と
を情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記プログラムは、
通知された性能情報を用いて、管理するシステム構造体の代表的性能指標を作成する処理と、
上位のシステム構造体からの要求に応答して、前記代表的性能指標を参照させる処理と
を情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【請求項１７】
前記プログラムは、
前記管理する下位のシステム構造体の詳細管理情報を、外部から隠蔽する処理を情報処理装置に実行させることを特徴とする請求項１４に記載のプログラム。
【国際調査報告】
2007119329.tif 000062
2007119329.tif 000063
2007119329.tif 000064
2007119329.tif 000065