(57)【要約】  仮想データセンタ上で動作する仮想システムに、リソースを効率よく配分する。リソース制御システムは、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段と、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御手段と、を備える。
2014119719.tif 000002
【特許請求の範囲】
【請求項１】
仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段と、
前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御手段と、
を備えたリソース制御システム。
【請求項２】
前記制御パターン生成手段は、クラウドプラットフォーム上に同居する複数の仮想データセンタの仮想システムについてそれぞれ制御パターンを複数作成し、
前記制御手段は、各仮想データセンタの仮想システムに対する制御パターンを選定して適用する請求項１のリソース制御システム。
【請求項３】
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、リソースの消費量の少ない制御パターンを選択する基準である請求項１又は２のリソース制御システム。
【請求項４】
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量が少ない方の制御パターンを選択する基準である請求項１又は２のリソース制御システム。
【請求項５】
前記制御パターン生成手段は、
前記仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバのそれぞれについて、割当済みリソース量と、前記割当済みリソース量による処理時間の測定結果とに基づいて、割り当てリソースを変更した場合の処理時間を予測する予測式を生成する予測式生成手段と、
前記仮想データセンタ上で動作する仮想システムの構成情報と、前記予測式生成手段にて生成された予測式とを用いて、前記仮想システムモデルを生成する仮想システムモデル生成手段と、
前記仮想システムモデル生成手段にて生成された仮想システムモデルに含まれる構成に適用可能なリソース割当変更ポリシーを組み合わせて、前記制御パターンを生成する制御パターン派生手段と、
を含む請求項１から４いずれか一のリソース制御システム。
【請求項６】
前記制御手段は、
前記複数の制御パターンを用いてサービスレベルを予測するシミュレーションを実行するシミュレーション実行手段と、
前記シミュレーション結果を元に、前記仮想システムのサービスレベルを満たし、かつ、前記所定の選択基準を満たす制御パターンを選定する制御パターン評価手段と、
前記選定した制御パターンに従い、ネットワークリソースとサーバリソースの割り当てを変更する制御パターン適用手段と、
を含む請求項１から５いずれか一のリソース制御システム。
【請求項７】
前記リソース割当変更ポリシーに、経路制御と流量制御を実行するリソース割当変更ポリシーが含まれている請求項１から６いずれか一のリソース制御システム。
【請求項８】
仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成装置。
【請求項９】
仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御装置。
【請求項１０】
仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成するステップと、
前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用するステップと、
を含むリソース制御方法。
【請求項１１】
リソース制御装置を構成するコンピュータに、
仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する処理と、
前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する処理と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願についての記載］
本発明は、日本国特許出願：特願２０１３−０１８２０２号（２０１３年２月１日出願）に基づくものであり、同出願の全記載内容は引用をもって本書に組み込み記載されているものとする。
本発明は、リソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムに関し、特に、仮想データセンタ上で動作する仮想システムに割り当てるリソースの制御を行うリソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムに関する。
【背景技術】
【０００２】
ＩａａＳ（Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）等のクラウドプラットフォーム上では、複数の利用者の仮想データセンタ（ｖｉｒｔｕａｌ  ＤａｔａＣｅｎｔｅｒ：以下、「ｖＤＣ」とも記す。）が同居（仮想データセンタがクラウドプラットフォームの物理資源を共有して動作している状態）し、そのｖＤＣ上でWebサーバや動画配信といった多様な仮想システムが稼働している。【０００３】
これらの仮想システムの利用状況は逐次変化しているため、その利用状況に合わせてリアルタイムに、仮想ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やメモリなどのサーバリソースの割当量を変更するサーバリソースやネットワークの自律制御技術が知られている。【０００４】
特許文献１に、各資源ノードに割り当てられた各サービスに応じた優先度を当該各資源ノードに対応付けて設定し、前記各資源ノードによる前記各サービスの処理時間の経過に応じて、当該各資源ノードについて設定された優先度を、より優先度の高いものに更新し、新たなサービスを割り当てる空きの資源ノードが存在しない場合に、サービスが既に割り当てられた第１の資源ノードと第２の資源ノードのうち、更新された優先度がより低い資源ノードに割り当てられているサービスを当該新たなサービスに切り替えるという資源ブローカリングシステムが開示されている。【０００５】
特許文献２に、転送優先度と呼損率とを組み合わせてサービスレベルを差別化することによって、通信サービスの品質レベルのマルチクラス化を実現する通信サービス制御システムが開示されている。同文献によると、この通信サービス制御システムは、上記ネットワークでの情報転送を転送優先度に基づき制御する転送制御手段と、予め複数定められた上記通信サービスの利用要求の受付優先度に対応付けて、当該受付優先度が高いほど多くなる上記リソース量の閾値を記憶装置に記憶するリソース管理手段と、上記通信サービスの利用要求があれば、要求されたリソース使用量と当該通信サービスに利用するリンクの現在のリソース使用量とを加算すると共に、上記記憶装置から当該利用要求の受付優先度に対応する上記リソース量の閾値を読み出し、該読み出した閾値と上記加算したリソース使用量とを比較して、該リソース使用量が上記閾値を超えなければ当該利用要求を受け付け、超えれば当該利用要求の受付を拒否する受付制御手段とを有する。そして、この通信サービス制御システムは、同じ転送優先度の通信サービスに対し、受付優先度に応じて受付を許可できる残りリソース量の基準を変えて、同じ転送優先度の通信サービスの通信品質レベルを差別化することで、上記転送優先度に基づく転送制御と上記受付優先度に基づく受付制御とを組み合わせた複数の通信品質レベルでの通信サービスを提供する、と記載されている。【０００６】
特許文献３に、業務処理の流れを複数のワークフロー実行装置にて行う分散ワークフローシステムにおけるリソース共有の影響を考慮したシミュレーションを実現できる分散ワークフローシミュレーションシステムが開示されている。【０００７】
非特許文献１、２には、ネットワークリソースの動的制御が可能なオープンフローという技術が紹介されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特許第４５５７９４９号公報
【特許文献２】特許第４６２７４６１号公報
【特許文献３】特許第４８７２７０２号公報
【非特許文献】
【０００９】
【非特許文献１】Ｎｉｃｋ  ＭｃＫｅｏｗｎほか７名、“ＯｐｅｎＦｌｏｗ：  Ｅｎａｂｌｉｎｇ  Ｉｎｎｏｖａｔｉｏｎ  ｉｎ  Ｃａｍｐｕｓ  Ｎｅｔｗｏｒｋｓ”、［ｏｎｌｉｎｅ］、［平成２５（２０１３）年１月９日検索］、インターネット〈URL:http://www.openflow.org/documents/openflow-wp-latest.pdf〉
【非特許文献２】“ＯｐｅｎＦｌｏｗ  Ｓｗｉｔｃｈ  Ｓｐｅｃｉｆｉｃａｔｉｏｎ”  Ｖｅｒｓｉｏｎ  １．３．１  （Ｗｉｒｅ  Ｐｒｏｔｏｃｏｌ  ０ｘ０４）、［ｏｎｌｉｎｅ］、［平成２５（２０１３）年１月９日検索］、インターネット〈URL: https://www.opennetworking.org/images/stories/downloads/specification/openflow-spec-v1.3.1.pdf〉
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以下の分析は、本発明によって与えられたものである。冒頭に述べた仮想データセンタ上で動作する仮想システムにおいては、パフォーマンスのサービスレベルを維持しつつリソース消費量をなるべく少なくするといった制御が求められている。そのためには、サーバリソースとネットワークリソースを何時・どれだけ割り当てればよいかを判断し、その判断結果を反映することが求められている。【００１１】
この点、上記した特許文献１、２は、ｖＤＣ上の仮想システムのリソース割り当てに適用しても、所望の結果が得られる保証がないという問題点がある。例えば、特許文献１の資源ブローカリングシステムでは、資源ノードの配分を行うことが可能となっているが、ネットワークリソースが考慮されていない。同様に、特許文献２のこの通信サービス制御システムでは、ネットワークリソースの最適化は可能だが、サーバリソースが考慮されていない。【００１２】
本発明は、仮想データセンタ上で動作する仮想システムへのリソースの効率配分に貢献できるリソース制御システム、制御パターン生成装置、制御装置、リソース制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
第１の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段と、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御手段と、を備えたリソース制御システムが提供される。【００１４】
第２の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成装置が提供される。【００１５】
第３の視点によれば、仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する制御装置が提供される。【００１６】
第４の視点によれば、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成するステップと、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用するステップと、を含むリソース制御方法が提供される。本方法は、仮想データセンタ上で動作する仮想システムに割り当てるリソースを制御するリソース制御システムという、特定の機械に結びつけられている。【００１７】
第５の視点によれば、リソース制御装置を構成するコンピュータに、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めたリソース割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する処理と、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の選択基準を満たす制御パターンを選定して適用する処理と、を実行させるプログラムが提供される。なお、このプログラムは、コンピュータが読み取り可能な（非トランジエントな）記憶媒体に記録することができる。即ち、本発明は、コンピュータプログラム製品として具現することも可能である。
【発明の効果】
【００１８】
本発明によれば、仮想データセンタ上で動作する仮想システムに、リソースを効率よく配分することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の一実施形態の構成を示す図である。
【図２】本発明の第１の実施形態のシステム構成を示す図である。
【図３】本発明の第１の実施形態の詳細構成を示す機能ブロック図である。
【図４】仮想データセンタ（ｖＤＣ）上で稼働する仮想システムの例を示す図である。
【図５】本発明の第１の実施形態のリソース制御システムの動作（制御パターン生成処理）を示す流れ図である。
【図６】本発明の第１の実施形態のリソース制御システムの動作（自律制御）を示す流れ図である。
【図７】仮想データセンタ（ｖＤＣ）上で稼働する仮想システムのモニタリング情報の例を示す図である。
【図８】図４の仮想システムをグラフで表した図である。
【図９】図８の仮想システムに対応する構成情報の例である。
【図１０】本発明の第１の実施形態のリソース制御システムが生成する予測式の一例を示す図である。
【図１１】本発明の第１の実施形態のリソース制御システムが生成する仮想システムモデルの一例を表した図である。
【図１２】リソース割当変更ポリシーの例を示す図である。
【図１３】図１２のリソース割当変更ポリシーに対応するマッチング用のリソース割当変更ポリシーを示す図である。
【図１４】図１１の仮想システムモデルに、図１２のリソース割当変更ポリシー（ロードバランサ切替）を適用して得られる制御パターンを示す図である。
【図１５】図１４の制御パターンをグラフで表した図である。
【図１６】図１１の仮想システムモデルに、図１２のリソース割当変更ポリシー（ＤＢ用サーバリソース追加）を適用して得られる制御パターンを示す図である。
【図１７】図１６の続図である。
【図１８】図１６及び図１７の制御パターンをグラフで表した図である。
【図１９】リソース割当変更ポリシーの別の一例を示す図である。
【図２０】リソース割当変更ポリシーの別の一例を示す図である。
【図２１】図１４、図１６−図１７の制御パターンを用いたシミュレーション結果の例を示す図である。
【図２２】仮想データセンタ（ｖＤＣ）上で稼働する仮想システムのサービスレベル指定の例を示す図である。
【図２３】評価済み（選定済み）の制御パターンの例を示す図である。
【図２４】制御パターンの選択を説明するための別の仮想システムの図である。
【図２５】図２４の仮想システムに適用可能なリソース割当変更ポリシーの候補を示す図である。
【図２６】図２５のリソース割当変更ポリシーを用いて生成した制御パターンによるシミュレーション結果と、選択される候補を説明するための図である。
【発明を実施するための形態】
【００２０】
はじめに本発明の一実施形態の概要について図面を参照して説明する。なお、この概要に付記した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
【００２１】
本発明は、その一実施形態において、図１に示すように、仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する制御パターン生成手段１１と、制御パターンの中から選定した制御パターンを用いて仮想システムを制御する制御手段１２と、を含む構成にて実現できる。
【００２２】
より具体的には、制御パターン生成手段１１は、仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバとの振る舞いをモデル化して生成した仮想システムモデルと、前記仮想システムへのリソースの割り当ての変更ポリシーを定めた資源割当変更ポリシーとから、前記仮想システムのネットワークリソースとサーバリソースとに対する制御指示の候補となる制御パターンを複数生成する。
【００２３】
制御手段１２は、前記複数の制御パターンを用いてサービスレベルの予測を実行し、前記予測結果に基づいて、前記複数の制御パターンの中から、前記仮想システムのサービスレベルを満たし、かつ、所定の基準を満たす制御パターンを選定して適用する。
【００２４】
前記所定の基準として、例えば、ネットワークリソースとサーバリソースの消費量が最も少ない制御パターンを採用する基準を用いれば、当該仮想システムのリソースの使用量を最小化することができる。これにより、他の仮想データセンタ（ｖＤＣ）や他の仮想システムに割当可能なリソースを増やすことが可能となる。
【００２５】
また、前記所定の基準としては、リソース消費量が最も少ないものを選択するものに限られない。例えば、全体的なリソースの逼迫状況を考慮して、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量を少なくする制御パターンを選択するようにしてもよい。また例えば、統計的に得られたサービス需要やネットワークトラヒックを考慮して、予測した将来時点の状況に適った制御パターンを選定するようにしてもよい。
【００２６】
以上のように、本実施形態によれば、ネットワークリソースとサーバリソースとを最適配分できるようになる。また、本実施形態によれば、仮想データセンタ（ｖＤＣ）上の仮想システムの運用コストを低減することも可能となる。その理由は、自動でサーバリソース・ネットワークリソース割り当て量を制御できるため、運用オペレータの作業量を削減できるからである。
【００２７】
［第１の実施形態］
続いて、本発明の第１の実施形態について図面を参照して詳細に説明する。図２は、本発明の第１の実施形態のシステム構成を示す図である。図２を参照すると、クラウドプラットフォーム上に同居する複数の仮想データセンタ４００と、仮想データセンタ４００上の仮想システムにリソースを割り当てる仮想リソース管理装置３００と、リソース制御システム１００と、をネットワークを介して接続した構成が示されている。
【００２８】
図３は、本発明の第１の実施形態の詳細構成を示す機能ブロック図である。仮想データセンタ（ｖＤＣ）４００は、複数の仮想データセンタ利用者に対し、仮想アプライアンスや仮想サーバによって構成された仮想システムを提供している。
【００２９】
図４は、仮想データセンタ（ｖＤＣ）４００が、仮想データセンタ利用者に提供する仮想システムの一例である。図４の例では、インターネットと仮想システムとの通信を制御するファイアウォールと、インターネット側からのアクセスを複数のＷｅｂサーバに振り分けるロードバランサと、Ｗｅｂサーバからの要求に応じてそれぞれサービスを提供するアプリケーションサーバ及びＤＢサーバ（データベースサーバ）とを含む構成が示されている。なお、これらの機器は、物理的に独立した機器で構成されている必要はなく、仮想的なエンティティによって構成されている。例えば、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバ（データベースサーバ）としては、サーバ仮想化技術による仮想サーバを利用することができる。また、ファイアウォールやロードバランサは、非特許文献１、２を用いて、特定のスイッチを、ファイアウォールやロードバランサ同様に振舞わせることで実現できる。
【００３０】
仮想リソース管理装置３００は、仮想データセンタ４００上の仮想システムに割り当てるリソース量を管理し、また仮想システムの利用状況をモニタリングする機能を提供する機器である。具体的には、仮想リソース管理装置３００は、上記Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバ等の仮想サーバのリソースを管理する仮想サーバリソース管理手段３０１と、ネットワークリソースを管理する仮想ネットワークリソース管理手段３０２と、所定の時間間隔でｖＤＣモニタリング情報記憶装置３０４に仮想システムの利用状況を出力し、仮想システムのモニタリング機能を提供する仮想データセンタ（ｖＤＣ）モニタリング手段３０３とを備える。
【００３１】
リソース制御システム１００は、制御パターン生成手段１１０と、自律制御手段１２０とを備え、制御指示の候補となる制御パターンの生成と、仮想システムの稼働状況に合わせた制御パターンを選定して仮想リソース管理装置を通じてリソース割り当てを変更する機能を提供する。
【００３２】
ｖＤＣ構成記憶装置２０１は、リソース制御システム１００の制御対象となる仮想データセンタ（ｖＤＣ）上で稼動する仮想システムの構成情報（例えば、図７、図８参照）を記憶する。
【００３３】
リソース割当変更ポリシー記憶装置２０３は、仮想システムの構成コンポーネントについて適用可能なリソース割当変更ポリシー（例えば、図１３、図１５、図１６参照）を記憶する。なお、リソース割当変更ポリシーには、それぞれ制御に必要となる追加リソース量を定量化したリソース消費量の値が設定されているものとする（例えば、図１４のリソース消費量フィールド参照。）。
【００３４】
制御パターン生成手段１１０は、予測式生成手段１１１と、モデル生成手段１１２と、制御パターン派生手段１１３とを備える。
【００３５】
予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１に格納された仮想システムの構成情報から仮想システムの仮想アプライアンスや仮想サーバ等の予測対象のコンポーネント情報を取り出し、各コンポーネントへの割当リソース量を変更したときの処理時間を求める予測式を生成する。このような予測式は、例えば、各仮想アプライアンスや仮想サーバの実際の単位リクエストあたりの処理時間と、割当済みリソース量のモニタリング情報等を元にして多変量解析を用いて生成することができる。そして、この予測式に、予測時点に見込まれる同時処理リクエスト数と割当リソース量とを入力することで、予測結果として処理時間を得ることができる。
【００３６】
モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１に格納された仮想システムの構成情報に、予測式を合成することにより、仮想データセンタ（ｖＤＣ）内で稼働する仮想システムの振る舞いを抽象化した仮想システムモデルを生成する。
【００３７】
制御パターン派生手段１１３は、仮想システムモデルに適用可能なリソース割当変更ポリシーを選定し、そのリソース割当変更ポリシーを組み合わせることにより制御指示内容の候補となる複数の制御パターンを生成する。制御パターン派生手段１１３は、生成した制御パターンを制御パターン記憶手段１０１に格納する。
【００３８】
自律制御手段１２０は、シミュレーション実行手段１２１と、制御パターン評価手段１２２と、制御パターン適用手段１２３を備え、制御パターンと仮想データセンタ（ｖＤＣ）上の仮想システムのモニタリング情報及び仮想システムのサービスレベル情報から、最適なサーバリソースとネットワークリソースの制御パターンを選定して適用する。この制御パターンには、必要となるリソース消費量の情報を付随させてもよい。
【００３９】
シミュレーション実行手段１２１は、制御パターン記憶手段１０１からシミュレーション対象の仮想システムの制御パターンを取り出し、ｖＤＣモニタリング情報の内容を入力して、各制御パターンの振る舞いをシミュレートし、平均の処理時間を予測する。シミュレートした結果は、シミュレーション結果記憶手段１２４に保存される。
【００４０】
制御パターン評価手段１２２は、所定の制御パターン選択規則を用いて、シミュレーション実行手段１２１にて予測された各制御パターンの中から、適用する制御パターンを選定する。本実施形態では、平均処理時間がサービスレベル記憶手段２０２に記憶されたサービスレベルを満たし、かつ、リソース消費量が最小となる制御パターンを選択するとの制御パターン選択規則が設定されているものとする。制御パターン評価手段１２２による評価の結果は、評価済み制御パターン記憶手段１２５に保存される。
【００４１】
制御パターン適用手段１２３は、制御パターン評価手段１２２にて選定された制御パターンをサーバリソース制御指示とネットワークリソース制御指示に分解し、仮想リソース管理装置３００に通知することで、リソース割り当てを変更する。
【００４２】
なお、図１に示したリソース制御装置の各部（処理手段）は、リソース制御装置を構成するコンピュータに、そのハードウェアを用いて、上記した各処理を実行させるコンピュータプログラムにより実現することもできる。また、上記した構成中、「手段」と表示した構成要素は、「部」ないし「ユニット」とも表示することができ、いずれもハードウェア又はコンピュータプログラムによる構成要素の単位ないしシステムの構成単位を表すものである。
【００４３】
続いて、本実施形態の動作について図面を参照して詳細に説明する。はじめに、図５の流れ図を参照して、第１の実施形態のリソース制御システムによる制御パターン生成処理について説明する。
【００４４】
［制御パターン生成手順］
図５は、本発明の第１の実施形態のリソース制御システムの動作（制御パターン生成処理）を示す流れ図である。図５を参照すると、まず、制御パターン生成手段１１０の予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、仮想データセンタ（ｖＤＣ）上で稼働する仮想システムを構成する仮想サーバ及び仮想アプライアンス情報を取り出し、仮想サーバ及び仮想アプライアンスそれぞれについて、処理時間を求めるための予測式を生成する（ステップＡ１〜Ａ４のループ）。
【００４５】
具体的には、予測式生成手段１１１は、ｖＤＣモニタリング情報記憶装置３０４より対象仮想システムのモニタリング情報を取り出し、予測式の作成対象の仮想サーバ又は仮想アプライアンスへのリクエスト毎の処理時間と、その時間内の平均リクエスト数を得る。また、予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、予測式の作成対象の仮想サーバ又は仮想アプライアンスに割り当てられたＣＰＵコア数、メモリリソース量等を取得する（ステップＡ２）。
【００４６】
そして、予測式生成手段１１１は、リクエスト毎の処理時間と、その時間内の平均同時リクエスト数及びリソース量の関係を定式化し、予測式として予測式記憶手段１１４に格納する（ステップＡ３）。
【００４７】
この予測式の生成方法としては、例えば、特許文献３の方法を用いることができる。Ｔを予測式の作成対象の仮想サーバ又は仮想アプライアンスの処理時間、Ｍを平均同時リクエスト数、γ、δを定式化による係数及び定数とすると、次式のような予測式が生成される。
Ｔ＝γＭ＋δ
【００４８】
次に、モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１より取り出した仮想システムの構成情報と、前述の予測式とを用いて、仮想システムモデルの生成対象となる仮想システムそれぞれについて、仮想システムモデルを生成する（ステップＡ５〜Ａ７のループ）。
【００４９】
具体的には、モデル生成手段１１２は、予測式記憶手段１１４から予測式を取り出して、仮想システムモデルの生成対象となる仮想システムの構成情報に追加することにより仮想システムモデルを生成し、モデル記憶手段１１５に格納する（ステップＡ６）。
【００５０】
次に、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルと、リソース割当変更ポリシー記憶装置２０３より取り出したリソース割り当ての変更方法を記載したリソース割当変更ポリシーとを照合し、各仮想システムに適用可能なリソース割当変更ポリシーを選定する（ステップＡ８〜Ａ１０のループ）。
【００５１】
具体的には、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルに、リソース割当変更ポリシーをパターンマッチングし、適合するリソース割当変更ポリシーを選定する（ステップＡ９）。
【００５２】
次に、制御パターン派生手段１１３は、モデル記憶手段１１５より取り出した仮想システムモデルについて、適用可能なリソース割当変更ポリシー同士を組み合わせて、該当システムに対する制御指示内容の候補となる制御パターンを生成し、制御パターン記憶手段１０１に格納する（ステップＡ１１〜Ａ１３のループ）。前記制御パターン記憶手段１０１に格納される制御パターンには、各制御パターンのリソース消費量も対応付けて格納される。本実施形態では、制御パターンのリソース消費量として、組み合わせられたリソース割当変更ポリシーのリソース消費量の和を用いるものとする。
【００５３】
続いて、図６の流れ図を参照して、第１の実施形態のリソース制御システムによる自律制御動作について説明する。
【００５４】
［制御パターン生成手順］
図６は、本発明の第１の実施形態のリソース制御システムの動作（自律制御）を示す流れ図である。図６を参照すると、まず、自律制御手段１２０のシミュレーション実行手段１２１は、制御パターン記憶手段１０１から、ある仮想データセンタ（ｖＤＣ）上で稼働する仮想システムに関する制御パターンの集合を読み出し、さらに、ｖＤＣモニタリング情報記憶装置３０４より、当該仮想システムの直近のモニタリング情報を取り出し、すべての制御パターンをシミュレートして制御パターン毎の平均処理時間を予測し、シミュレーション結果記憶手段１２４に格納する（ステップＢ１）。
【００５５】
次に、制御パターン評価手段１２２は、シミュレーション結果記憶手段１２４よりシミュレーション結果を取り出し、さらにサービスレベル記憶装置２０２より、当該仮想システムのサービスレベル指定を取り出し、平均処理時間がサービスレベル以下かどうかを判定する（ステップＢ２）。
【００５６】
前記判定の結果、平均処理時間がサービスレベルを超えている場合（サービスレベルを満たしていない）、制御パターン評価手段１２２は、制御パターンを適用候補から除外する（ステップＢ３）。
【００５７】
制御パターン評価手段１２２は、平均処理時間がサービスレベル以下の制御パターンを相互比較し、例えば、リソース消費量が最小の制御パターンを選択して、評価済み制御パターン記憶手段１２５に格納する（ステップＢ４）。これにより、仮想システムの直近の稼働状況に適した制御パターンが選定される。
【００５８】
その後、制御パターン適用手段１２３は、評価済み制御パターン記憶装置１２５の情報に基づき、制御パターン記憶手段１０１より選定済みの制御パターンを取り出す。そして、制御パターン適用手段１２３は、当該制御パターンをサーバリソース制御指示とネットワークリソース制御指示に分解し、仮想リソース管理装置３００の仮想サーバリソース管理手段３０１と、仮想ネットワークリソース管理手段３０２に制御指示を出す。これにより、仮想データセンタ（ｖＤＣ）上の仮想システムのリソース割り当てが変更される。
【００５９】
以上のように、本実施形態によれば、自律制御手段１２０が仮想データセンタ（ｖＤＣ）上の仮想システムの直近の稼働状況に合わせて、最適な制御パターンを選定して適用するというように構成されているため、仮想システムのリソース割当が最適化される。
【００６０】
続いて、具体的な例を用いて、本発明の第１の実施形態の動作を補足的に説明する。以下の説明では、図４に示すように、仮想データセンタ（ｖＤＣ）上でファイアウォール、ロードバランサ、Ｗｅｂサーバ、アプリケーションサーバ、ＤＢサーバといった仮想アプライアンス及び仮想サーバをコンポーネントとした仮想システムが稼働しているものとする。ここで、仮想アプライアンスとは、ファイアウォールやロードバランサといったネットワークアプライアンスとして動作する仮想マシンを指す。このシステムの稼働状況は、ｖＤＣモニタリング手段３０３がコンポーネント毎にモニタリングを行い、ｖＤＣモニタリング情報記憶装置３０４に格納する。
【００６１】
図７は、ｖＤＣモニタリング情報記憶装置３０４に格納されたモニタリング情報の例を示す図である。図７の例では、仮想データセンタＩＤ（ｖＤＣＩＤ）が１である仮想データセンタにおいて、Ｗｅｂサーバ（Ｗｅｂ１）と、ファイアウォール（ＦＷ１）のモニタリング情報が格納されている。また、図７の例では、あるコンポーネントにおいて同時に処理しているリクエストがある場合は、その数が平均同時リクエスト数として記録されている。
【００６２】
また、この仮想システムは、Ｐｅｔｒｉ  Ｎｅｔに代表されるモデル化手法を用いると、図８のような、コンポーネントをトランジションで表し、対有するメッセージをプレース（円形）で表した有向２部グラフで表現できる。ｖＤＣ構成記憶装置２０１には、この有向２部グラフと等価の構成情報を格納すればよい。
【００６３】
図９は、ｖＤＣ構成記憶装置２０１に格納される仮想システムの構成情報である。図９の例では、プレースの定義の後、仮想データセンタ（ｖＤＣ）の仮想システムのコンポーネントがトランジションとして記述され、その次に、これらの連携（接続関係）を示す情報が格納されている。
【００６４】
［制御パターン生成処理］
以上の前提を元に、先の制御パターン生成処理について説明する。まず、制御パターン生成手段１１０の予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、図９に示す仮想システムの構成情報を取り出す。次に、予測式生成手段１１１は、その中でトランジションとして記述された仮想サーバ・仮想アプライアンス名（例：ＦＷ１、Ｗｅｂ１）をキーとして、ｖＤＣモニタリング情報記憶装置３０４から該当するコンポーネントのモニタリング情報を取り出し、これらコンポーネントのリクエストの処理時間と、その時間内の平均リクエスト数を得る。さらに、予測式生成手段１１１は、ｖＤＣ構成記憶装置２０１より、仮想サーバ・仮想アプライアンスに割り当てられたＣＰＵコア数やメモリ量等の割当済みリソース量を取得する。そして、多変量解析を用いて、リクエスト毎の処理時間と、その時間内の平均同時リクエスト数及びリソース量の関係を予測式として定式化する。
【００６５】
図１０は、予測式生成手段１１１により生成され、予測式記憶手段１１４に格納される予測式の例である。図１０の例では、Ｗｅｂサーバ“Ｗｅｂ１”について、次のような予測式が生成されている。
Ｔ＿ｗｅｂ１＝α３＊Ｘ＿ｐ０４／（γ３＊ｃｐｕ３＋δ３＊ｒａｍ３）＋β３
ここで、Ｘ＿ｐ０４はＷｅｂ１における同時リクエスト数、ｃｐｕ３は割り当てられた仮想ＣＰＵコア数、ｒａｍ３は、割り当てられたＲＡＭメモリ量を示すパラメータである。また、α3、γ3、δ3、β3は、多変量解析により求められた係数と切片である。なお、Ｗｅｂサーバ“Ｗｅｂ１”等のコンポーネントが、種類の異なるリクエストを受ける場合がある。この場合、これらのリクエストの処理時間を別々に計算して加重平均等を行う予測式を生成してもよいし、種類が異なるが処理時間に差異のないものは同種のリクエストとして取り扱ってもよい。
【００６６】
モデル生成手段１１２は、ｖＤＣ構成記憶装置２０１より、図９に示したような仮想システムの構成情報に、予測式記憶手段１１４から取り出した予測式を追加することにより仮想システムモデルを生成し、モデル記憶手段１１５に格納する。
【００６７】
図１１は、モデル生成手段１１２により生成され、モデル記憶手段１１５に格納される仮想システムモデルの例である。図１１の例では、図９に示したような仮想システムの構成情報の各コンポーネントについて、それぞれ予測式が追加されている。
【００６８】
次に、制御パターン派生手段１１３は、図１１に示す仮想システムモデルと、リソース割当変更ポリシーとを照合して、当該仮想システムモデルに適用可能なリソース割当変更ポリシーを抽出する。
【００６９】
図１２は、仮想システム上のロードバランサに適用可能なリソース割当変更ポリシーを上述のＰｅｔｒｉ  Ｎｅｔと同様の方法で表した図である。図１２のリソース割当変更ポリシーＡは、あるロードバランサを、１つのフローコントローラ（ＦＣ１）と、２つのロードバランサに切り替えるリソース割当変更ポリシーを示す。図１２のリソース割当変更ポリシーＢは、あるロードバランサにリソース（ＣＰＵコア数及びメモリ）を追加するリソース割当変更ポリシーを示す。
【００７０】
図１３は、図１２に示したリソース割当変更ポリシーと等価のリソース割当変更ポリシーを示す図である。図１３の例では、ポリシーＩＤと、ポリシー名に加えて、図１２の各リソース割当変更ポリシーを採用した場合のリソース消費量と、仮想システムとのマッチングに用いる適用パターン情報と、リソース割当変更ポリシーの詳細内容とを対応付けた、エントリが示されている。
【００７１】
図１３のようなリソース割当変更ポリシーの適用パターンと、図１１に示す仮想システムモデルとをマッチングすることで、当該仮想システムモデルに適用可能なリソース割当変更ポリシーを抽出することができる。例えば、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）の場合、図１１に示す仮想システムモデル中のロードバランサに関する構成情報がマッチングすることになる。同様に、図１２、図１３に示すリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）も、図１１に示す仮想システムモデル中のＤＢサーバに関する構成情報がマッチングすることになる。
【００７２】
制御パターン派生手段１１３は、上記のようにして得られたリソース割当変更ポリシーを組み合わせて、制御パターンを生成する。図１４は、図１１に示す仮想システムモデルに、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）のみを適用した例である。図１５は、図１４と等価のグラフである。
【００７３】
同様に、図１６、図１７は、図１１に示す仮想システムモデルに、図１２、図１３に示すリソース割当変更ポリシーＡ（ロードバランサ切替）とリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）との双方を適用した例である。図１８は、図１６及び図１７と等価のグラフである。なお、図１６の例では、リソース割当変更ポリシーＡ（ロードバランサ切替）とリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）との双方が適用されているため、リソース消費量は、それぞれリソース割当変更ポリシーのリソース消費量の和になり、“６”となる。
【００７４】
このほか、制御パターン派生手段１１３は、図１１に示す仮想システムモデルに、図１２、図１３のリソース割当変更ポリシーＢ（ＤＢ用サーバリソース追加）のみを適用した制御パターンを作成する。
【００７５】
なお、上記の例では、説明を簡単にするために、リソース割当変更ポリシーは２つであるものとして説明したが、リソース割当変更ポリシーは、図１９、図２０に示すように、さまざまなパターンに類型化することができる。例えば、図１９は、図１２と同様に、１つのコンポーネントに対し、クローンを追加し、スケールアウトを行うリソース割当変更ポリシーと、１つのコンポーネントにリソースを追加するリソース割当変更ポリシーを表している。また、図２０の上段は、１つのコンポーネントに対し、クローンを追加するだけでなく、フローコントローラを追加して、経路制御も実行するリソース割当変更ポリシーを示している。また、図２０の下段は、１つのコンポーネントの前段に、フローコントローラを追加して、流量制御も実行するリソース割当変更ポリシーを示している。制御パターン派生手段１１３は、このようなリソース割当変更ポリシーを組み合わせて制御パターンを生成することになる。
【００７６】
［自律制御手順］
続いて、先の自律制御処理について説明する。まず、自律制御手段１２０のシミュレーション実行手段１２１は、制御パターン記憶手段１０１より、図１４、図１６−図１７に示すような、自律制御対象の仮想システムの制御パターンの集合を読み出す。さらに、シミュレーション実行手段１２１は、ｖＤＣモニタリング情報記憶装置３０４から、該当仮想システムのモニタリング情報のうち、直近（例えば、３０分間）の仮想システムへの入力となるファイアウォール部分のモニタリング情報を取り出し、前記各制御パターンに入力して、各制御パターンの平均処理時間を予測する。図２１は、シミュレーション実行手段１２１による図１４、図１６−図１７の制御パターンのシミュレーション実行結果を示している。
【００７７】
制御パターン評価手段１２２は、シミュレーション結果記憶手段１２４よりシミュレーション結果を取り出し、さらにサービスレベル記憶手段２０２より、図２２に示すような仮想システムのサービスレベル指定を取り出し、各制御パターンを採用したときに予測される平均処理時間がサービスレベル以下かどうかを判定する。
【００７８】
前記判定の結果、平均処理時間がサービスレベルを超えている場合、制御パターン評価手段１２２は、当該制御パターンを適用候補から除外する。そして、制御パターン評価手段１２２は、平均処理時間がサービスレベル以下の制御パターンを相互比較し、リソース消費量が最小の制御パターンを選択する。
【００７９】
例えば、図２２に示すように、サービスレベルとして５０（秒）が設定されている場合、図２１の制御パターンは、いずれもサービスレベルを満たしているといえる。そこで、制御パターン評価手段１２２は、図２１のシミュレーション実行結果を比較し、リソース消費量の少ない制御パターンＩＤがｐａｔｔｒｅｎ１の制御パターンを選択する。
【００８０】
図２３は、評価済み制御パターン記憶手段１２５に格納された評価済制御パターン情報の例である。制御パターン適用手段１２３は、評価済制御パターン情報に対応する制御パターンを制御パターン記憶手段１０１から取り出し、仮想リソース管理装置３００の仮想サーバリソース管理手段３０１と、仮想ネットワークリソース管理手段３０２に制御指示を出す。この結果、図８に示すようにリソースが割り当てられていた仮想システムは、図１５に示すようなリソース割当に切り替えられる。また、この変更後のリソース割当は、シミュレーション実行手段１２１にて予測された結果に基づいて選択されたものであるため、該当仮想システムに求められるサービスレベルを満たし、かつ、リソース消費量を最小にするものとなっている。
【００８１】
上記制御パターンの選択について別の仮想システムの例を用いて説明する。図２４は、ある仮想システムの有向２部グラフで表した図である。図２５は、上記仮想システムに適用可能なリソース割当変更ポリシーの例である。候補１は、仮想システム中のＷｅｂサーバに対し、ロードバランサとクローンＷｅｂサーバを追加するリソース割当変更ポリシーの例である。候補２は、仮想システム中のＷｅｂサーバの性能を強化するリソース割当変更ポリシーの例である。候補３は、仮想システム中のＷｅｂサーバの前段にフローコントローラを配置し、接続数に制限を加えるリソース割当変更ポリシーの例である。
【００８２】
図２６の上段は、各候補をそれぞれ１つ用いて生成した制御パターンを適用して、シミュレーション実行手段１２１にてサービスレベルを予測した結果を示している。例えば、サービスレベルとして５（秒）が設定されている場合、候補３は、サービスレベルを満たすことができない制御パターンであるため、採用対象から除外される。そして、制御パターン評価手段１２２は、候補１と候補２とを比較して、リソース消費量の少ない候補２を選択する。この結果、図２４に示すようにリソースが割り当てられていた仮想システムは、図２６の下段に示すようなリソース割当（Ｗｅｂサーバの性能強化）に切り替えられる。
【００８３】
以上、本発明の実施形態を説明したが、本発明は、上記した実施形態に限定されるものではなく、本発明の基本的技術的思想を逸脱しない範囲で、更なる変形・置換・調整を加えることができる。例えば、上記した実施形態で用いたネットワーク構成や、要素の数に制約は無い。
【００８４】
また例えば、上記した実施形態では、サービスレベルを満たす制御パターンのうち、リソース消費量が最小の制御パターンを選択するものとして説明したが、その他の基準で制御パターンを選択してもよい。例えば、リソース消費量が最小の制御パターンであっても、予測されるサービスレベルが要求サービスレベルに極めて近い値である場合には、当該制御パターンを選択しないようにすることができる。このようにすることで、直近モニタリング値よりもリクエストが増大してしまった場合にもサービスレベルを満たすことができる制御パターンを選択することができる。
【００８５】
また、システム全体の余力に応じて、サーバリソースとネットワークリソースのいずれかを優先し、制御パターンを選択することもできる。例えば、リソース消費量を“２”増大させる制御パターンが２つあった場合、サーバリソースの方に余裕があるならば、サーバリソースを“２”増大させる制御パターンを選択するといった制御パターン選択基準も採用可能である。また例えば、同じくリソース消費量を“３”増大させる制御パターンと、リソース消費量を“２”増大させる制御パターンとがあった場合、リソース消費量が大きい方であっても、ネットワークリソースの消費量を増大させない方の制御パターンを選択するといった制御パターン選択基準も採用可能である。
【００８６】
また例えば、上記した実施形態では、直近のモニタリング情報を入力値として用いてシミュレーションを実行するものとして説明したが、例えば、統計情報や各種補正値を用いて、より精度の高いシミュレーションを実行することもできる。
【００８７】
また例えば、上記した実施形態では、リソースの割当を増やす方向で変更を加えるリソース割当変更ポリシーを用いる例を挙げて説明したが、リソースの割当を減らす方向で変更を加えるリソース割当変更ポリシーを用いることもできる。この場合、リソース割当変更ポリシーは、例えば、図１２の右側に記載されているグラフが適用パターンとなり、図１２の左側のグラフがリソース割当変更ポリシーとなる。また、この場合のリソース消費量は、負の値を持つことになる。
【００８８】
最後に、本発明の好ましい形態を要約する。
［第１の形態］
（上記第１の視点によるリソース制御システム参照）
［第２の形態］
第１の形態のリソース制御システムにおいて、
前記制御パターン生成手段は、クラウドプラットフォーム上に同居する複数の仮想データセンタの仮想システムについてそれぞれ制御パターンを複数作成し、
前記制御手段は、各仮想データセンタの仮想システムに対する制御パターンを選定して適用するリソース制御システム。
［第３の形態］
第１又は第２の形態のリソース制御システムにおいて、
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、リソースの消費量の少ない制御パターンを選択する基準であるリソース制御システム。
［第４の形態］
第１から第３いずれか一の形態のリソース制御システムにおいて、
前記所定の選択基準は、前記サービスレベルを満たす複数の制御パターンのうち、サーバリソース又はネットワークリソースのいずれか優先度の高い方のリソース消費量が少ない方の制御パターンを選択する基準であるリソース制御システム。
［第５の形態］
第１から第４いずれか一の形態のリソース制御システムにおいて、
前記制御パターン生成手段は、
前記仮想データセンタ上で動作する仮想システムのネットワーク要素とサーバのそれぞれについて、割当済みリソース量と、前記割当済みリソース量による処理時間の測定結果とに基づいて、割り当てリソースを変更した場合の処理時間を予測する予測式を生成する予測式生成手段と、
前記仮想データセンタ上で動作する仮想システムの構成情報と、前記予測式生成手段にて生成された予測式とを用いて、前記仮想システムモデルを生成する仮想システムモデル生成手段と、
前記仮想システムモデル生成手段にて生成された仮想システムモデルに含まれる構成に適用可能なリソース割当変更ポリシーを組み合わせて、前記制御パターンを生成する制御パターン派生手段と、
を含むリソース制御システム。
［第６の形態］
第１から第５いずれか一の形態のリソース制御システムにおいて、
前記制御手段は、
前記複数の制御パターンを用いてサービスレベルを予測するシミュレーションを実行するシミュレーション実行手段と、
前記シミュレーション結果を元に、前記仮想システムのサービスレベルを満たし、かつ、リソースの消費量が前記所定の選択基準を満たす制御パターンを選定する制御パターン評価手段と、
前記選定した制御パターンに従い、ネットワークリソースとサーバリソースの割り当てを変更する制御パターン適用手段と、
を含むリソース制御システム。
［第７の形態］
第１から第６いずれか一の形態のリソース制御システムにおいて、
前記リソース割当変更ポリシーに、経路制御と流量制御を実行するリソース割当変更ポリシーが含まれているリソース制御システム。
［第８の形態］
（上記第２の視点による制御パターン生成装置参照）
［第９の形態］
（上記第３の視点による制御装置参照）
［第１０の形態］
（上記第４の視点によるリソース制御方法参照）
［第１１の形態］
（上記第５の視点によるプログラム参照）
なお、上記第８〜第１１の形態は、第１の形態と同様に、第２〜第７の形態に展開することが可能である。
【００８９】
なお、上記の特許文献および非特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。
【符号の説明】
【００９０】
１１、１１０  制御パターン生成手段
１２  制御手段
１００  リソース制御システム
１０１  制御パターン記憶手段
１１１  予測式生成手段
１１２  モデル生成手段
１１３  制御パターン派生手段
１１４  予測式記憶手段
１１５  モデル記憶手段
１２０  自律制御手段
１２１  シミュレーション実行手段
１２２  制御パターン評価手段
１２３  制御パターン適用手段
１２４  シミュレーション結果記憶手段
１２５  評価済み制御パターン記憶手段
２０１  仮想データセンタ（ｖＤＣ）構成記憶装置
２０２  サービスレベル記憶手段
２０３  リソース割当変更ポリシー記憶装置
３００  仮想リソース管理装置
３０１  仮想サーバリソース管理手段
３０２  仮想ネットワークリソース管理手段
３０３  仮想データセンタ（ｖＤＣ）モニタリング手段
３０４  仮想データセンタ（ｖＤＣ）モニタリング情報記憶装置
４００  仮想データセンタ（ｖＤＣ）
【図１】
2014119719.tif 000003
【図２】
2014119719.tif 000004
【図３】
2014119719.tif 000005
【図４】
2014119719.tif 000006
【図５】
2014119719.tif 000007
【図６】
2014119719.tif 000008
【図７】
2014119719.tif 000009
【図８】
2014119719.tif 000010
【図９】
2014119719.tif 000011
【図１０】
2014119719.tif 000012
【図１１】
2014119719.tif 000013
【図１２】
2014119719.tif 000014
【図１３】
2014119719.tif 000015
【図１４】
2014119719.tif 000016
【図１５】
2014119719.tif 000017
【図１６】
2014119719.tif 000018
【図１７】
2014119719.tif 000019
【図１８】
2014119719.tif 000020
【図１９】
2014119719.tif 000021
【図２０】
2014119719.tif 000022
【図２１】
2014119719.tif 000023
【図２２】
2014119719.tif 000024
【図２３】
2014119719.tif 000025
【図２４】
2014119719.tif 000026
【図２５】
2014119719.tif 000027
【図２６】
2014119719.tif 000028
【国際調査報告】
2014119719.tif 000029
2014119719.tif 000030
2014119719.tif 000031
2014119719.tif 000032