(57)【要約】【課題】物理サーバのリソースが不足している場合には、仮想サーバが必要とするリソース使用量を抑制すること。【解決手段】  リソース制御機能部は、仮想サーバのリソース使用量を監視する機能と、仮想サーバに割り当てるリソースを自動で最適化する機能を備える。物理サーバのリソースが不足している場合には、仮想サーバ上で稼働中の主機能に対して一部機能を制限することによりリソース使用量を抑制するリソース制御処理、又は、リソースの使用率に応じて仮想サーバのリソース量を増加又は減少させるスケールダウン処理又はスケールアップ処理を実行する。【選択図】  図７Ａ
2017028563.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークコントローラであって、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
ネットワークコントローラ。
【請求項２】
請求項１に記載されたネットワークコントローラにおいて、
前記パラメータ定義情報テーブルは、デバッグログ保存量の現在値及び下限設定値、をさらに保持し、
前記リソース抑制処理において、前記リソース制御機能部は、さらに、
前記パラメータ定義情報テーブルからデバッグログ保存量の現在値及び下限設定値を取得し、
取得したデバッグログ保存量の現在値と下限設定値の間の値を、削減したデバッグログ保存量として、前記パラメータ定義情報テーブルのデバッグログ保存量の現在値に設定し、予め定められた装置管理機能により、設定後のデバッグログ保存量の現在値に従い、リソース抑制対象の前記仮想サーバが出力するデバッグログを削減してディスク使用量を低減させる
ことを特徴とするネットワークコントローラ。
【請求項３】
請求項２に記載されたネットワークコントローラにおいて、
前記パラメータ定義情報テーブルは、抑制対象出力周期の現在値及び上限設定値をさらに保持し、
前記リソース制御機能部は、
前記リソース抑制処理を実行後の前記仮想サーバについて、ディスク使用率を求めて、前記ディスク使用率を予め定められたディスク使用率上限閾値と比較し、
前記比較の結果、前記ディスク使用率が前記ディスク使用率上限閾値未満となった場合には、前記リソース抑制処理を終了し、
前記ディスク使用率が前記ディスク使用率上限閾値以上である場合には、
前記パラメータ定義情報テーブルから、前記仮想サーバの抑制対象出力周期の現在値及び上限設定値を取得し、
取得した抑制対象出力周期の現在値と上限設定値の間の値を、増加した抑制対象出力周期として、前記パラメータ定義情報テーブルの抑制対象出力周期の現在値に設定し、予め定められた装置管理機能により、設定後のデバッグログ保存量の現在値に従い、リソース抑制対象の前記仮想サーバが出力するデバッグログを増加してディスク使用量を増加させる
ことを特徴とするネットワークコントローラ。
【請求項４】
請求項３に記載されたネットワークコントローラにおいて、
装置管理機能部をさらに備え、
前記装置管理機能部は、
前記リソース抑制処理が開始されると、前記仮想サーバの稼働監視を行い、予め定められた期間起動状態が正常な状態であれば抑制状態警報を保守装置に通知し、予め定められた期間に仮想サーバの異常を検知したら異常警報を前記保守装置に通知することを特徴とするネットワークコントローラ。
【請求項５】
請求項１に記載されたネットワークコントローラにおいて、
前記リソース制御機能部は、
前記物理サーバリソース管理テーブルに記憶された各リソース種別の余剰リソースが、いずれも、各リソース種別の予め定められたスケールアップ値より多い場合には、物理サーバに余剰リソースが有りと判断して、各リソース種別の使用率を、予め定められたそれぞれの上限閾値と比較し、リソース使用率が上限閾値を超えているひとつ又は複数のリソース種別について、前記仮想サーバに予め定められたスケールアップ値分のリソース量をそれぞれ追加するスケールアップ処理を実行することを特徴とするネットワークコントローラ。
【請求項６】
請求項５に記載されたネットワークコントローラにおいて、
前記物理サーバリソースは、各リソース種別について、予め定められた余剰リソース閾値をさらに含み、
前記スケールアップ処理において、前記リソース制御機能部は、
予め定められた上限閾値を超過したひとつ又は複数のリソース種別について、それぞれに予め定められたスケールアップ値を取得し、
前記物理サーバリソース管理テーブルの余剰リソースを、スケールアップ処理を行ったひとつ又は複数のリソース種別について、スケールアップ値分減算して更新し、
スケールアップ処理を行ったひとつ又は複数のリソース種別について、更新後の余剰リソース値が前記物理サーバリソース管理テーブルの前記余剰リソース閾値未満となった場合、警報により保守装置に通知する
ことを特徴とするネットワークコントローラ。
【請求項７】
請求項１に記載されたネットワークコントローラにおいて、
前記リソース制御機能部は、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも各リソース種別の予め定められた上限閾値未満で、ひとつ以上が予め定められた下限閾値未満の場合、
各リソース種別の使用率を、予め定められたそれぞれの下限閾値と比較し、リソース使用率が前記下限閾値未満のひとつ又は複数のリソース種別について、前記仮想サーバに予め定められたスケールダウン値分のリソース量をそれぞれ追加するスケールダウン処理を実行する
ことを特徴とするネットワークコントローラ。
【請求項８】
請求項１に記載されたネットワークコントローラにおいて、
各リソース種別について、仮想サーバ起動時の仮想サーバリソース量となるリソース初期値、スケールアップ値、スケールダウン値、上限閾値、下限閾値を保持するリソース制御管理テーブルをさらに備え、
前記物理サーバリソース管理テーブルは、各リソース種別について、仮想サーバへの割り当て済みリソース量をさらに含み、
前記リソース制御機能部は、
前記仮想サーバの起動が指示されると、前記リソース制御管理テーブルを参照し、予め定められた前記仮想サーバの各リソース種別のリソース初期値を取得し、
前記物理サーバリソース管理テーブルから物理サーバの各リソース種別の前記余剰リソース量を取得し、
各リソース種別のそれぞれについて、取得した前記余剰リソース量から前記リソース初期値を減算し、
前記減算の結果、各リソース種別の余剰リソースがすべて０以上の場合には、前記仮想サーバの起動が可能であると判定し、前記リソース制御管理テーブルを参照し、前記物理サーバリソース管理テーブルの各リソース種別について、前記割り当て済みリソース量を前記仮想サーバに割り当てたリソース初期値分だけ加算し、前記余剰リソース量を仮想サーバに割り当てたリソース初期値分だけ減算し、前記仮想サーバを起動する
ことを特徴とするネットワークコントローラ。
【請求項９】
請求項８に記載されたネットワークコントローラにおいて、
前記リソース制御機能部は、
仮想サーバ起動後は起動状態を確認し、
仮想サーバの起動に失敗した場合には、各リソース種別について、前記リソース制御管理テーブルの各リソース初期値に、それぞれ予め定められたスケールアップ値を加算して、前記リソース制御管理テーブルの各リソース初期値を更新し、
スケールアップ後の前記各リソース初期値を用いて、前記仮想サーバの起動処理を再度行う
ことを特徴とするネットワークコントローラ。
【請求項１０】
請求項９に記載されたネットワークコントローラにおいて、
前記リソース制御機能部は、
前記減算の結果、各リソース種別のいずれか一つでも、余剰リソースが０を下回った場合には、前記仮想サーバの起動不可と判定し、警報により保守装置に通知することを特徴とするネットワークコントローラ。
【請求項１１】
請求項１に記載されたネットワークコントローラにおいて、
前記リソース種別は、物理サーバの物理コア数又は仮想ＣＰＵ数、ディスク容量、及び、メモリ容量を含むことを特徴とするネットワークコントローラ。
【請求項１２】
請求項１１に記載されたネットワークコントローラにおいて、
各仮想サーバに割り当てられた各リソース種別を保持する仮想サーバリソース管理テーブルをさらに備え、
前記リソース制御機能部は、
リソース制御機能を実現するソフトウェアのコマンドを実行することで、仮想ＣＰＵについては仮想ＣＰＵのＣＰＵ使用率、ディスク容量及びメモリ容量については、ディスク容量及びメモリ容量それぞれの全体容量及び使用中の容量を、それぞれ取得し、
前記リソース制御機能部は、ディスク容量及びメモリ容量のそれぞれについて、取得した前記仮想サーバの使用中のディスク容量、使用中のメモリ容量を、前記仮想サーバリソース管理テーブルに格納された前記仮想サーバへの割り当てたディスク容量、メモリ容量で除算し、ディスク容量、メモリ容量のリソース使用率を算出する
ことを特徴とするネットワークコントローラ。
【請求項１３】
ネットワークシステムであって、
複数の仮想サーバと、
前記リソース制御機能部を有し、複数の仮想サーバの管理・制御を行うネットワークコントロ−ラと
を備え、
前記ネットワークコントローラは、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
ネットワークシステム。
【請求項１４】
請求項１３に記載されたネットワークシステムにおいて、
前記仮想サーバは、
モビリティ管理やセッション管理用の信号を処理するひとつ又は複数の仮想サーバ（ｖｉｒｔｕａｌｉｚｅｄ  ＭＭＥ）と、
ユーザ・パケットのルーティング・転送機能を提供するひとつ又は複数のｖＳＧＷ（Ｖｉｒｔｕａｌｉｚｅｄ  ＳＧＷ）と、
各前記ｖＰＤＮとの接続点の役割を担いユーザ・パケットを前記各ｖＰＤＮとの間で転送するひとつ又は複数のｖＰＧＷ（Ｖｉｒｔｕａｌｉｚｅｄ  ＰＧＷ）と、
を含み、
ＮＦＶアーキテクチャをベースとしたネットワークシステム。
【請求項１５】
ネットワークコントローラにおける仮想サーバリソース制御方法であって、
前記ネットワークコントローラは、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
仮想サーバリソース制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークコントローラ、ネットワークシステム、仮想サーバリソース制御方法に係り、特に、ネットワーク機能仮想化（ＮＦＶ：Ｎｅｔｗｏｒｋ  Ｆｕｎｃｔｉｏｎｓ  Ｖｉｒｔｕａｌｉｚａｔｉｏｎ）アーキテクチャをベースとした仮想化モバイルコアネットワーク（ｖＥＰＣ：Ｖｉｒｔｕａｌｉｚｅｄ  Ｅｖｏｌｖｅｄ  Ｐａｃｋｅｔ  Ｃｏｒｅ）システムにおける、ネットワークコントローラ、ネットワークシステム、仮想サーバリソース制御に関する。
【背景技術】
【０００２】
ネットワーク及びそれを構成する設備の運用コスト増加により、運用管理の負担を軽減したり柔軟に扱うため、専用装置により実現されてきたネットワーク機能を仮想化技術により汎用サーバ上で実現するＮＦＶが注目されている。このＮＦＶに使われる仮想化技術では、汎用サーバのディスクやメモリなどを、仮想サーバのリソースとして割り当てる。例えば、携帯コア網ではＥＰＣ（Ｅｖｏｌｖｅｄ  Ｐａｃｋｅｔ  Ｃｏｒｅ）の主機能であるモビリティマネジメントエンティティ（ＭＭＥ：Ｍｏｂｉｌｉｔｙ  Ｍａｎａｇｅｍｅｎｔ  Ｅｎｔｉｔｙ）、サービングゲートウェイ（Ｓ−ＧＷ：Ｓｅｒｖｉｎｇ  Ｇａｔｅｗａｙ）、パケットデータネットワークゲートウェイ（Ｐ−ＧＷ：Ｐａｃｋｅｔ  ｄａｔａ  ｎｅｔｗｏｒｋ  Ｇａｔｅｗａｙ）を仮想サーバ上で動作させる。
汎用サーバのリソースを余分に消費させないため、仮想サーバには予め動作させる機能及び負荷に応じた適切なリソースを割り当てる必要がある。また、サービスエリア拡大又はサービス追加によるユーザ数の増加により仮想サーバの負荷が増大する場合には、仮想サーバへのリソースの割り当てを増やす必要があり、汎用サーバのディスク、メモリなどのリソースが枯渇することがないように予め汎用サーバのリソースを増強する必要がある。
本技術分野の背景技術として、特開２０１４−２２５０８１号公報（特許文献１）がある。この公報には、１日当たりのメモリ及びディスクの予測増加量に基づいて物理サーバのメモリ利用率及びディスクの閾値を超過する日付を求めることで、適切な時期に適切なリソース増強を行うリソース制御の技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２５０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に記載の技術は、過去のリソース情報から将来のリソース予測情報を得る技術であり、過去のリソース情報が蓄積されない導入初期においては予測情報を得ることができないという課題がある。また、同技術は、物理サーバのリソース予測情報を参照する操作端末から保守者がリソース量を最適化することを前提とした技術であり、予測情報を超える状況においては、物理サーバのリソース不足により主機能を維持するために必要とするリソースを仮想サーバに割り当てることができないことからシステムダウンに至る場合が想定されるという課題もある。
【０００５】
本発明は、以上の点に鑑み、物理サーバのリソースが不足している場合には、仮想サーバが必要とするリソース使用量を抑制することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の解決手段によると、
ネットワークコントローラであって、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
ネットワークコントローラが提供される。
【０００７】
本発明の第２の解決手段によると、
ネットワークシステムであって、
複数の仮想サーバと、
前記リソース制御機能部を有し、複数の仮想サーバの管理・制御を行うネットワークコントロ−ラと
を備え、
前記ネットワークコントローラは、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
ネットワークシステムが提供される。
【０００８】
本発明の第３の解決手段によると、
ネットワークコントローラにおける仮想サーバリソース制御方法であって、
前記ネットワークコントローラは、
仮想サーバに割り当てる各リソース種別について、仮想サーバに割り当て可能な物理サーバの余剰リソース量を保持する物理サーバリソース管理テーブルと、
無線端末から仮想サーバへの登録又は接続の受付数である最大アタッチ数の現在値及び下限設定値を保持するパラメータ定義情報テーブルと、
前記リソース制御機能部と
を備え、
前記リソース制御機能部は、
起動指示された仮想サーバが正常起動した場合には、
前記仮想サーバの各リソース種別についての使用率を取得及び／又は算出し、
前記取得及び／又は算出した各リソース種別の使用率が、いずれも、各リソース種別の予め定められた上限閾値未満且つ予め定められた下限閾値以上の場合は、前記仮想サーバのリソース割り当て量の制御を実施せず、
前記取得及び／又は算出した各リソース種別の使用率のいずれかひとつ以上が、各リソース種別の前記上限閾値を超えた場合には、さらに、各リソース種別のいずれかひとつ以上について、前記物理サーバリソース管理テーブルに記憶された各リソース種別の前記余剰リソース量が、各リソース種別の予め定められたスケールアップ値を下回っている場合には、物理サーバに余剰リソースが無いと判断して、リソース抑制処理を実行し、
前記リソース抑制処理において、前記リソース制御機能部は、
前記パラメータ定義情報テーブルから、前記仮想サーバの最大アタッチ数の現在値及び下限設定値を取得し、
前記最大アタッチ数の現在値と下限設定値の間の値を、抑制後の最大アタッチ数として、前記パラメータ定義情報テーブルの最大アタッチ数の現在値に設定し、予め定められた装置管理機能により、設定後の最大アタッチ数の前記現在値に従い、無線端末から仮想サーバへの登録又は接続の受付数を制御させる
仮想サーバリソース制御方法が提供される。
【発明の効果】
【０００９】
本発明によると、物理サーバのリソースが不足している場合には、仮想サーバが必要とするリソース使用量を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】ｖＥＰＣシステムの構成図。
【図２】機能ブロック図。
【図３】リソース制御機能の機能構成ブロックを示す図。
【図４】リソース制御機能部のリソース監視・制御のフローチャート。
【図５】物理サーバリソース管理テーブルの説明図。
【図６】仮想サーバリソース管理テーブルの説明図。
【図７Ａ】リソース制御機能部のリソース監視・制御のフローチャート（１）。
【図７Ｂ】リソース制御機能部のリソース監視・制御のフローチャート（２）。
【図８Ａ】スケールアップ処理のフローチャート。
【図８Ｂ】スケールダウン処理のフローチャート。
【図９】リソース抑制処理によるディスク使用量の抑制処理のフローチャート。
【図１０】リソース抑制処理によるCPU・メモリ使用量の抑制処理のフローチャート。
【図１１】リソース抑制期間中のvEPC装置の稼働監視処理のフローチャート。
【図１２】パラメータ定義情報テーブルの説明図。
【発明を実施するための形態】
【００１１】
Ａ．概要
本実施例では、例えば、仮想化システムにおいて、導入開始時点より保守者の操作を介在させず仮想サーバのリソースを最適化するリソース制御機能を備え、物理サーバのリソースが不足している場合には、仮想サーバが必要とするリソース使用量を抑制する機能により、仮想サーバの主機能を停止させることなくシステムダウンを回避することができるリソース制御システム及びリソース制御方法を提供することができる。
また、本実施例では、例えば、仮想化基盤上でのリソース配分の変更が容易なＮＦＶが導入された仮想化システムにおいて、仮想サーバのリソース使用量を監視する機能と、仮想サーバに割り当てるリソースを自動で最適化する機能を備え、物理サーバのリソースが不足している場合には、仮想サーバ上で稼働中の主機能に対して一部機能を制限することによりリソース使用量を抑制する機能を有する。
【００１２】
Ｂ．実施例
以下、実施例を図面を用いて説明する。
本実施例では、一例として、ＮＦＶアーキテクチャをベースとしたｖＥＰＣシステムを例にとって説明するがこれに限らず、他の適宜のアーキテクチャをベースとした適宜のシステムを用いることができる。本実施例においては、ｖＥＰＣシステムとは、携帯コア網（ＥＰＣ）に含まれる構成のいくつかを仮想化基盤上で実現したＥＰＣシステムである。以下で説明する実施例においては、ＥＰＣの主な構成であるＭＭＥ、Ｓ−ＧＷ、Ｐ−ＧＷを仮想レイヤ及び仮想ネットワーク上の仮想サーバで実現し、ｖＭＭＥ（ｖｉｒｔｕａｌｉｚｅｄ  ＭＭＥ）、ｖＳＧＷ（Ｖｉｒｔｕａｌｉｚｅｄ  ＳＧＷ）、ｖＰＧＷ（Ｖｉｒｔｕａｌｉｚｅｄ  ＰＧＷ）と呼び、さらに、これらを総称してｖＥＰＣ装置と呼ぶ。
【００１３】
図１は、本実施例のｖＥＰＣシステムを含むシステムの構成図である。本システムは、ｖＥＰＣシステム及びインフラストラクチャーの管理・制御を行うソフトウェアデファインドネットワーキング（ＳＤＮ：Ｓｏｆｔｗａｒｅ  ｄｅｆｉｎｅｄ  Ｎｅｔｗｏｒｋｉｎｇ）／ＮＦＶコントロ−ラ（１０１）と、モビリティ管理やセッション管理用の信号を処理するひとつ又は複数のｖＭＭＥ（１０２）と、ユーザ・パケットのルーティング・転送機能を提供するひとつ又は複数のｖＳＧＷ（１０３）と、ＰＤＮ（１０８）との接続点の役割を担いユーザ・パケットをＰＤＮとの間で転送するひとつ又は複数のｖＰＧＷ（１０４）と、ユーザ無線端末であるＵＥ（Ｕｓｅｒ  Ｅｑｕｉｐｍｅｎｔ）（１０５）と、コア・ネットワークと接続してユーザ・パケットを転送するひとつ又は複数の基地局（ｅＮＢ：ｅｖｏｌｖｅｄ  Ｎｏｄe  Ｂ）（１０６）と、ポリシー管理機能、オフライン課金機能を提供する通信ポリシー管理ノード（ＰＣＲＦ：Ｐｏｌｉｃｙ  ａｎｄ  Ｃｈａｒｇｉｎｇ  Ｒｕｌｅ  Ｆｕｎｃｔｉｏｎ）（１０７）と、ＬＴＥシステムが接続する外部パケットデータネットワークであるパケットデータネットワーク（ＰＤＮ：Ｐａｃｋｅｔ  Ｄａｔａ  Ｎｅｔｗｏｒｋ）（１０８）と、ＬＴＥ加入者情報を管理してＡＡＡ（Ａｕｔｈｅｎｔｉｃａｔｉｏｎ（認証）、Ａｕｔｈｏｒｉｚａｔｉｏｎ（認可）、Ａｃｃｏｕｔｉｎｇ（アカウンティング））機能を提供する加入者情報管理サーバ（ＨＳＳ：Ｈｏｍｅ  Ｓｕｂｓｃｒｉｂｅｒ  Ｓｅｒｖｅｒ）（１０９）と、ｖＰＧＷ（１０４）と、ｖＳＧＷ（１０３）のＩＰアドレスとドメイン情報の対応関係を保持するドメインネームシステム（ＤＮＳ：Ｄｏｍａｉｎ  Ｎａｍｅ  Ｓｙｓｔｅｍ）（１１０）とを備える。
【００１４】
図２は、本実施例のｖＥＰＣシステムの機能ブロック図である。図２の機能ブロックは、バーチャルネットワークファンクション（ＶＮＦ：Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｆｕｎｃｔｉｏｎ）（２０５）と、仮想化基盤（ＮＦＶＩ：Ｎｅｔｗｏｒｋ  Ｆｕｎｃｔｉｏｎｓ  Ｖｉｒｔｕａｌｉｓａｔｉｏｎ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）（２０３）と、ＶＮＦ（２０５）及びＮＦＶＩ（２０３）を管理・制御するＳＤＮ／ＮＦＶコントローラ（１０１）を示している。ＶＮＦ（２０５）は、ｖＥＰＣ用ネットワーク（２１１）上で動作するソフトウェアであるひとつ又は複数のｖＭＭＥアプリケーション（２０８）、ひとつ又は複数のｖＳＧＷアプリケーション（２０９）、ひとつ又は複数のｖＰＧＷアプリケーション（２１０）を含む。ＮＦＶＩ（２０３）は、サーバやスイッチを有する物理リソース群（２１２）と、物理ハードウェアへ直接インストールしハードウェアを直接制御して仮想マシンを稼働させる制御プログラムであるハイパーバイザ（Ｈｙｐｅｒｖｉｓｅｒ）（２１３）と、ハイパーバイザにより実現される仮想レイヤ(２１４)、仮想ネットワーク（２１５）と、ひとつ又は複数の仮想マシン（ＶＭ：Ｖｉｒｔｕａｌ  Ｍａｃｈｉｎｅ）（２１６）とを含む。ＳＤＮ／ＮＦＶコントローラ（１０１）は、仮想化基盤管理（ＶＩＭ：Ｖｉｒｔｕａｌｉｚｅｄ  Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ  Ｍａｎａｇｅｍｅｎｔ）（２０２）により仮想化インフラストラクチャーであるＮＦＶＩ（２０３）を管理し、バーチャルネットワークファンクション管理（ＶＮＦＭ：Ｖｉｒｔｕａｌ  Ｎｅｔｗｏｒｋ  Ｆｕｎｃｔｉｏｎ  Ｍａｎａｇｅｍｅｎｔ）（２０４）により仮想化インフラストラクチャー上で動作するｖＥＰＣアプライアンス（図２の点線で示す）（２０６）を管理する。ＶＮＦＭ（２０４）には管理・制御対象となるｖＥＰＣアプライアンスで実現されるｖＥＰＣ装置を識別するための管理情報を保持する装置管理機能（２１７）を具備する。
ＮＦＶＩ（２０３）及びＶＮＦ（２０５）を統括して管理するオーケストレータ（２０６）にリソース制御機能部（２０７）を具備することで、ｖＭＭＥアプリケーション（２０８）、ｖＳＧＷアプリケーション（２０９）、ｖＰＧＷアプリケーション（２１０）のリソース情報の取得と制御を可能とする。
【００１５】
図３は、本実施例のＳＤＮ／ＮＦＶコントローラのオーケストレータのリソース制御機能部の機能構成ブロックを示す図である。リソース制御機能部（２０７）は、ＶＮＦＭ（２０４）を介してｖＥＰＣ装置のリソース情報を収集する仮想サーバリソース監視機能部（３０４）と、ＶＩＭ（２０２）を介して物理サーバのリソース情報を収集する物理サーバリソース監視機能部（３０３）と、ＶＮＦＭ（２０４）を介してｖＥＰＣ装置のリソースを制御する仮想サーバリソース制御機能部（３０５）と、スケールアップ処理（３０８）、スケールダウン処理（３０９）、リソース抑制処理（３１０）を具備するリソース制御処理部（３０２）と、ｖＥＰＣのシステムパラメータ情報を保持するパラメータ定義情報データベース（ＤＢ：ＤａｔａＢａｓｅ）（３０６）と、仮想サーバ及び物理サーバのリソース情報（後述の図４、図５）及びリソース制御情報（後述の図６）を保持するリソース情報ＤＢ（３０７）を備える。
以下に、リソース情報ＤＢ（３０７）に登録される各テーブルについて説明する。これらの例では、各リソース種別として、物理コア数又は仮想ＣＰＵ数、ディスク容量、メモリ容量を用いる場合を説明するが、これに限らず、適宜のリソース種別を用いることだができる。
【００１６】
図４は、リソース情報ＤＢ（３０７）に登録される物理サーバリソース管理テーブル（４００）である。物理サーバリソース管理テーブル（４００）は、仮想サーバに割り当てる物理サーバの物理コア数（４０１）、ディスク容量（４０２）、メモリ容量（４０３）が管理しており、それぞれについて、物理サーバ全体のリソース量（４０４）、仮想サーバに割り当て済みのリソース量（４０５）、仮想サーバに割り当て可能な余剰リソース（４０６）、物理サーバの余剰リソースが少なくなった場合に保守者に通知を行うための閾値（４０７）を保持する。
【００１７】
図５は、リソース情報ＤＢ（３０７）に登録される仮想サーバリソース管理テーブル（５００）である。仮想サーバリソース管理テーブル（５００）は、装置ＩＤ（５０１）、装置種別（５０２）単位に、各ｖＥＰＣ装置の仮想サーバに割り当てされた仮想ＣＰＵ数（５０３）、ディスク容量（５０４）、メモリ容量（５０５）を保持する。
【００１８】
図６は、リソース情報ＤＢ（３０７）に登録されるリソース制御管理テーブル（６００）である。リソース制御管理テーブル（６００）は、仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３）のそれぞれについて、ｖＥＰＣ装置起動時の仮想サーバリソース量となるリソース初期値（６０４）、スケールアップ処理時の増加リソース量であるスケールアップ値（６０５）、スケールダウン処理時の減少リソース量であるスケールダウン値（６０６）、仮想サーバリソース監視機能部（３０４）がリソース監視を行う時の判定基準となる上限閾値（６０７）、下限閾値（６０８）の値を保持する。図６のリソース制御管理テーブル（６００）は、ｖＥＰＣ装置種別毎に異なる値を設定したテーブルを用意しておいてもよい。
ｖＥＰＣ装置の起動時、スケールアップ処理時及びスケールダウン処理時には、仮想サーバリソース制御機能部（３０５）が仮想サーバに割り当てるリソース量をリソース情報ＤＢ（３０７）のリソース制御管理テーブル（６００）等より取得する。
【００１９】
リソース制御機能部（２０７）による仮想サーバのリソース監視、制御の実施例について、図７ないし図１１のリソース制御機能部のリソース監視・制御のフローチャートにより説明する。
まず、ｖＥＰＣ装置起動時のリソース制御機能部の制御フローを説明する。
図７Ａは、リソース制御機能部のｖＥＰＣ装置起動時の処理を説明するフローチャートである。
まず、ＳＤＮ／ＮＦＶコントローラ（１０１）からｖＥＰＣ装置の起動が指示される（Ｓ７０１）。例えば、オペレータ、保守者、管理者等により、手動で、又は予め定められたｖＭＭＦ、ｖＳＧＷ、ｖＰＧＷ等の装置種別及び装置ＩＤが起動とともに指示される。起動の指示により、オーケストレータ（２０６）に具備されたリソース制御機能部（２０７）は、リソース制御管理テーブル（６００）から仮想サーバの仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３）のリソース初期値（６０４）を取得する（Ｓ７０２）。次に、リソース制御機能部（２０７）は、物理サーバリソース管理テーブル（４００）から、物理サーバの仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３）の余剰リソース（４０６）を取得する（Ｓ７０３）。リソース制御機能部（２０７）は、仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３）のそれぞれについて、取得した余剰リソース（４０６）値からリソース初期値（６０４）を減算し、仮想サーバにｖＥＰＣ装置の起動に必要なリソース初期値以上の余剰リソースがあり、仮想サーバにリソースを割り当て可能か計算する（Ｓ７０４）。ここで、仮想サーバに割り当てる仮想ＣＰＵは、ハイパーバイザが割り当てを行うものであり、論理的に割り当てられるため、必ずしも物理コア数と1対１に対応するものではないが、本実施例においては、説明を簡単にするために、図４の物理サーバリソース管理テーブル（４００）の物理コア（４０１）と、図５の仮想サーバリソース管理テーブル（５００）及び図６のリソース制御管理テーブル（６００）の仮想ＣＰＵ（５０３，６０１）は１対１に対応するものとして、図４の物理サーバリソース管理テーブル（４００）の物理コア数（４０１）の余剰リソース値から、図６のリソース制御管理テーブル（６００）の仮想ＣＰＵ数（６０１）のリソース初期値の値を減算する。
【００２０】
減算の結果、物理コア数（仮想ＣＰＵ数）、ディスク容量、メモリ容量のいずれか一つでも、余剰リソースが０を下回った場合には、ｖＥＰＣ装置の起動に必要なリソース初期値分の仮想サーバのリソースを、物理サーバから割り当てることができないため、リソース制御機能部（２０７）は、ｖＥＰＣ装置起動不可と判定する（Ｓ７１１）。ｖＥＰＣ装置を起動するために必要なリソース初期値分のリソースが物理サーバに残っていない場合には、物理サーバへの物理リソースの追加を保守者に促す必要があるため、リソース制御機能部（２０７）は、判定後は警報により保守者（保守装置）に通知する（Ｓ７１２）。
【００２１】
一方、減算の結果、物理コア数（仮想ＣＰＵ数）、ディスク容量、メモリ容量がすべて０以上の場合には、ｖＥＰＣ装置の起動に必要な仮想サーバのリソースを、物理サーバから割り当てることが可能であるため、リソース制御機能部（２０７）は、ｖＥＰＣ装置の起動が可能であると判定する。ｖＥＰＣ装置にリソース初期値分のリソースを割り当てることで、物理サーバリソース管理テーブル（４００）の余剰リソース値物理サーバの余剰リソース量が減少するため、リソース制御機能部（２０７）は、物理サーバリソース管理テーブル（４００）における、物理コア数（４０１）、ディスク容量（４０２）、メモリ容量（４０３）の割り当て済み（４０５）の値を、ｖＥＰＣ装置に割り当てたリソース初期値（６０４）のそれぞれの値分だけ加算する。（Ｓ７０５）
また、リソース制御機能部（２０７）は、余剰リソース値（４０６）に対しては、物理コア数（４０１）、ディスク容量（４０２）、メモリ容量（４０３）に対して、ｖＥＰＣ装置に割り当てた図６のリソース初期値（６０４）のそれぞれの分を減算する（Ｓ７０５）。さらに、リソース制御機能部（２０７）は、図５の仮想サーバリソース管理テーブル（５００）に、起動の指示の際に指示された装置ＩＤ及び装置種別と、リソース初期値（６０４）に従い、起動するｖＥＰＣ装置のレコード（５０６）を作成して管理対象として追加し（Ｓ７０６）、ｖＥＰＣ装置を起動する（Ｓ７０７）。
【００２２】
つぎに、リソース制御機能部（２０７）は、ｖＥＰＣ装置起動後は起動状態を確認する（Ｓ７０８）。なお、オペレータ等がマニュアルで起動状態を確認してもよい。
ｖＥＰＣ装置の起動に失敗した場合には、リソース制御機能部（２０７）は、図６のリソース制御管理テーブル６００に設定されていたリソース初期値６０４が、ｖＥＰＣ装置の起動に必要なリソース値よりも不足していたと判断して、リソース初期値を増加させるスケールアップ処理を行う（Ｓ７０９）。スケールアップ処理では、リソース制御機能部（２０７）は、図６のリソース制御管理テーブル（６００）における、仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３）のリソース初期値（６０４）に、スケールアップ値（６０５）のそれぞれの値を加算する。リソース制御機能部（２０７）は、仮想サーバに割り当てるリソース初期値を増加するスケールアップ処理を実行後、リソース制御管理テーブル（６００）の各リソースのリソース初期値（６０４）をスケールアップ後のリソース量に更新することで（Ｓ７１０）、リソース初期値の最適化を行う。リソース制御機能部（２０７）は、スケールアップ後のリソース初期値を用いて、再びｖＥＰＣ装置の起動処理（Ｓ７０４〜Ｓ７０８）を行う。
【００２３】
図７Ｂは、ｖＥＰＣ装置が正常に起動した後の、リソース制御機能部の仮想サーバのリソース監視、制御処理を説明するフローチャートである。
ステップ７０８でｖＥＰＣ装置が正常起動した場合には、リソース制御機能部（２０７）は、リソース制御管理テーブル（６００）のリソース初期値（６０４）を変更せず、仮想サーバの仮想ＣＰＵ数、ディスク容量、メモリ容量についてリソース使用量を取得する（Ｓ７１３）。仮想サーバの仮想ＣＰＵ数、ディスク容量、メモリ容量のリソース使用量は、リソース制御機能部（２０７）がリアルタイムで測定及び／又は取得しており、例えば、リソース制御機能を実現するソフトウェアのコマンドを実行することで取得できる。但し、取得できる情報は、仮想ＣＰＵについては、例えば、仮想ＣＰＵのＣＰＵ使用率、ディスク容量及びメモリ容量については、ディスク容量及びメモリ容量それぞれの全体容量及び使用中の容量である。リソース制御機能部（２０７）は、取得したリソース使用量の仮想サーバの使用中のディスク容量、同使用中のメモリ容量を、それぞれ図５の仮想サーバリソース管理テーブル（５００）に格納された仮想サーバへの割り当てたディスク容量（５０４）、メモリ容量（５０５）で除算し、ディスク容量、メモリ容量の各リソース使用率をそれぞれ算出する（Ｓ７１４）。
【００２４】
リソース制御機能部（２０７）は、コマンドにより取得した仮想ＣＰＵのＣＰＵ使用率と、算出したディスク容量のリソース使用率、メモリ容量のリソース使用率を、図６のリソース制御管理テーブル（６００）に保持している、仮想ＣＰＵのＣＰＵ使用率、ディスク容量リソース使用率、メモリ容量のリソース使用率の各上限閾値（６０７）とそれぞれ比較する（Ｓ７１５）。すべて閾値未満の場合には、リソース制御機能部（２０７）は、仮想ＣＰＵ、ディスク容量、メモリ容量の各使用率について、それぞれ、仮想ＣＰＵ、ディスク容量、メモリ容量の各使用率の下限閾値（６０８）との比較を行う（Ｓ７１７）。すべての値がそれぞれの下限閾値（６０８）を下回っていない場合には、リソース制御機能部（２０７）は、リソース情報取得処理に戻る（Ｓ７１３）。仮想ＣＰＵ、ディスク容量、メモリ容量について、各使用率が、それぞれ、上限閾値未満で下限閾値以上の範囲内の場合は、仮想サーバは適切なリソース量で稼働中であり、仮想サーバのリソース割り当て量の制御は実施しない。一方、スッテプＳ７１７で各使用率のいずれかひとつ以上が各下限閾値未満の場合、リソース制御機能部（２０７）は、スケールダウン処理を実行する（７２０）。スケールダウン処理については、図８Ｂを用いて後述する。
【００２５】
一方、ステップＳ７１５で、リソース制御機能部（２０７）が算出した仮想ＣＰＵ、ディスク容量、メモリ容量の各使用率のいずれかひとつ以上が、図６のリソース制御管理テーブル（６００）に保持している仮想ＣＰＵ数、ディスク容量、メモリ容量の各上限閾値（６０７）を超えた場合には、リソース制御機能部（２０７）は、仮想サーバに割り当てたリソース量が不足していると判断して、仮想ＣＰＵ数、ディスク容量、メモリ容量について、仮想サーバに図６のリソース制御管理テーブル（６００）のスケールアップ値（６０５）分のリソース量を追加するスケールアップ処理により、適切なリソース割り当て量に自動で制御する（リソース制御）。
【００２６】
以下、このリソース制御の実施例について説明する。
リソース制御に先立ち、リソース制御機能部（２０７）は、仮想ＣＰＵ数、ディスク容量、メモリ容量について、物理サーバの余剰リソース（４０６）の有無を確認する（Ｓ７１６）。これはスケールアップ時に必ずしも物理リソースに余剰リソースが確保されている保証はないためである。余剰リソースの有無は、物理サーバリソース管理テーブル（４００）に保持された余剰リソース（４０６）と、リソース制御管理テーブル（６００）に保持されたスケールアップ値（６０５）により判定する。
リソース制御機能部（２０７）は、判定の結果、仮想ＣＰＵ数、ディスク容量、メモリ容量の全ての値について、図４の物理サーバリソース管理テーブル（４００）の余剰リソース（４０６）が、図６のリソース制御管理テーブル（６００）のスケールアップ値（６０５）より多い場合には、物理サーバに余剰リソースが有りと判断して、スケールアップ処理（Ｓ７１９）を実行して、仮想サーバへのリソース割り当て量の最適化を行うことで、リソース不足の状態を解消する。スケールアップ処理については、図８Ａを用いて後述する。
リソース制御機能部（２０７）は、判定の結果、仮想ＣＰＵ数、ディスク容量、メモリ容量のいずれかひとつ以上について、図４の物理サーバリソース管理テーブル（４００）の余剰リソース（４０６）が、図６のリソース制御管理テーブル（６００）のスケールアップ値（６０５）を下回っている場合には、物理サーバに余剰リソースが無いと判断して、仮想サーバへのリソース割り当て量はそのままで、リソース抑制処理を実行する（Ｓ７１８）。リソース抑制処理については、図９を用いて後述する。リソース抑制処理により、物理サーバのリソースを増強せずとも現状のリソース割り当て量でｖＥＰＣ装置は稼働を継続することが可能となる。
【００２７】
スケールアップ処理の詳細について、図８Ａにより実施例を説明する。
図８Ａは、スケールアップ処理（Ｓ７１９）の動作を示すフローチャートである。
リソース制御機能部は各リソース種別（仮想ＣＰＵ数、ディスク容量、メモリ容量）の使用率を、図６のリソース制御管理テーブル（６００）の各リソース種別（仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３））のそれぞれの上限閾値（６０７）と比較し、各使用率が各上限閾値を超えているひとつ又は複数のリソース種別について、スケールアップを行う。
リソース制御機能部（２０７）は、スケールアップによるリソース増量を決定するため、リソース制御管理テーブル（６００）に保持された上限閾値（６０７）を超過したひとつ又は複数のリソース種別についてのスケールアップ値（６０５）を取得する（Ｓ８０１）。このスケールアップ値（６０５）は保守者等により事前に設定しておくことを前提とする。次に、リソース制御機能部（２０７）は、取得したスケールアップ値に基づき、仮想サーバのリソース量を増加させるスケールアップを実行する（Ｓ８０２）。このスケールアップについては手段を問わない。本実施例では、ＮＦＶアーキテクチャにより、ＮＦＶ/ＳＤＮコントローラ（２０１）からＶＮＦＭ（２０４）によりｖＥＰＣ装置のリソースを設定することを前提とする。
スケールアップ実行によりスケールアップを行ったひとつ又は複数のリソース種別の物理サーバのリソースが消費されることで、そのひとつ又は複数のリソース種別の余剰リソースが減少する。スケールアップ後は物理サーバリソース管理テーブル（４００）の余剰リソース（４０６）を、スケールアップを行ったひとつ又は複数のリソース種別について、スケールアップ値分減算し、物理サーバリソース管理テーブル（４００）を更新する（Ｓ８０３）。
スケールアップを行ったひとつ又は複数のリソース種別について、物理サーバの余剰リソースを更新後、リソース制御機能部（２０７）は、更新後の余剰リソース値を閾値（４０７）と比較する（８０４）。比較の結果余剰リソースが、閾値（４０７）未満となった場合、物理サーバの余剰リソースが不足した状態になったと判断し、警報により保守者（保守装置）に通知することで、物理サーバのリソース増強を保守者に促す。
【００２８】
スケールダウン処理の詳細について、図８Ｂにより実施例を説明する。
図８Ｂは、スケールダウン処理（Ｓ７２０）の動作を示すフローチャートである。
リソース制御機能部（２０７）は、各リソース種別（仮想ＣＰＵ数、ディスク容量、メモリ容量）の使用率を、図６のリソース制御管理テーブル（６００）の各リソース種別（仮想ＣＰＵ数（６０１）、ディスク容量（６０２）、メモリ容量（６０３））のそれぞれの下限閾値（６０７）と比較し、各使用率が各下限閾値未満のひとつ又は複数のリソース種別について、スケールダウンを行う。
リソース制御機能部（２０７）は、スケールダウンによるリソース減量を決定するため、リソース制御管理テーブル（６００）に保持された下限閾値（６０８）未満のひとつ又は複数のリソース種別についてのスケールダウン値（６０５）を取得する（Ｓ８５１）。このスケールダウン値（６０８）は保守者等により事前に設定しておくことを前提とする。次に、リソース制御機能部（２０７）は、取得したスケールダウン値に基づき、仮想サーバのリソース量を減少させるスケールダウンを実行する（Ｓ８５２）。このスケールダウンについては手段を問わない。本実施例では、ＮＦＶアーキテクチャにより、ＮＦＶ/ＳＤＮコントローラ（２０１）からＶＮＦＭ（２０４）によりｖＥＰＣ装置のリソースを設定することを前提とする。
スケールダウン実行によりスケールダウンを行ったひとつ又は複数のリソース種別の物理サーバのリソースが消費されることで、そのひとつ又は複数のリソース種別の余剰リソースが増加する。スケールダウン後は物理サーバリソース管理テーブル（４００）の余剰リソース（４０６）を、スケールダウンを行ったひとつ又は複数のリソース種別について、スケールダウン値分加算し、物理サーバリソース管理テーブル（４００）を更新する（Ｓ８５３）。
【００２９】
次にリソース抑制処理について説明する。リソース抑制処理は、ディスク容量のリソース使用率が上限閾値を超えるがディスク容量のスケールアップができない場合に行うディスク使用量の抑制処理と、仮想ＣＰＵ数又はメモリ容量のリソース使用率が上限閾値を超えるが、仮想ＣＰＵ数又はメモリ容量のスケールアップができない場合に行うＣＰＵ、メモリ使用量の抑制処理の二つに大別される。これら二つの抑制処理は、予め定めた一方のみを実行したり、予め両方を実行するよう定めることができる。
まず、リソース抑制処理の対象がディスク容量であるケースを説明する。仮想サーバのハードディスクには、ｖＥＰＣ装置としての機能を実現するためのプログラムファイル、解析用のデバッグログ、保守運用に必要となる統計情報ファイルなどが格納されている。ディスクに一定の空き領域がないとデバッグログ、統計情報を出力することができず、ｖＥＰＣ装置は安定した稼働が保証できない場合が想定される。そこで、ディスク使用量を対象としたリソース抑制処理においては、デバッグログ、統計情報など、ｖＥＰＣ装置の機能維持に必要としないファイルを削除したり出力を制限することで、ディスクに一定の空き容量を確保して安定した動作を維持する。
【００３０】
ディスク使用量を対象とした抑制処理について、以下に詳細を説明をする。
ｖＥＰＣ装置では、デバッグログの保存量はパラメータで定義されており増減が可能であることが一般的である。
図１２は、パラメータ定義情報テーブルの説明図である。
パラメータ定義情報テーブル(１２００)は、デバッグログ保存量、統計情報出力周期、最大アタッチ数について、それぞれ、予め定められた下限設定値（１２０１）及び上限設定値（１２０２）と、現在値（１２０３）が記憶されている。
【００３１】
図９は、リソース抑制処理によるディスク使用量の抑制処理のフローチャートである。
まず、リソース制御機能部（２０７）は、パラメータ定義情報データベース（３０６）のパラメータ定義情報テーブル(図１２  １２００)からデバッグログの保存量のパラメータの現在値（１２０３）を取得する（Ｓ９０１）。次に、リソース制御機能部（２０７）は、パラメータ定義情報データベース（３０６）のパラメータ定義情報テーブル（１２００）より、デバッグログ保存量の下限設定値（１２０１）を取得する（Ｓ９０２）。本実施例では、取得したデバッグログ保存量の現在値（１２０３）とデバッグログ保存量の下限設定値（１２０１）の間の値に減少した値を現在値のパラメータとしてパラメータ定義情報テーブル(１２００)に設定する。例えば、両者の値の差分のうち予め定めた割合（例えば、２分の１）の値を削減量として、現在値から削減量を減算することができる。減算した結果をＶＮＦＭの装置管理機能（２１７）により、リソース抑制対象のｖＥＰＣ装置に設定して、リソース抑制対象のｖＥＰＣ装置が出力するデバッグログを削減してディスク使用量を低減させる（Ｓ９０４）。リソース制御機能部（２０７）は、リソース抑制処理を実施後のステップＳ７０１等で予め指示されたｖＥＰＣ装置について、上述のように、リアルタイムのディスク使用量を測定及び／又は取得し、ディスク容量の使用率を求めてリソース制御管理テーブルの上限閾値（６０７）とディスク使用率を比較する（９０５）。
比較の結果、使用率が上限閾値未満となった場合には、リソース制御機能部（２０７）は、リソース抑制処理により、ディスク容量に空き領域が確保されたと判断して、リソース抑制処理を終了する。リソース抑止処理をおこなってもなおディスク使用率が上限閾値以上である場合には、リソース制御機能部（２０７）は、更なるリソース抑制処理が必要と判断して次の抑制処理を実行する。
【００３２】
本実施例では、更なる抑制処理としては、統計情報の出力を制限する例を以下で説明するする。抑制処理の対象は、統計情報以外でもよい。
統計情報の出力を制限する抑制処理では、まず、リソース制御機能部（２０７）のパラメータ定義情報データベース３０６のパラメータ定義情報テーブル(図１２  １２００)から、リソース制御機能部（２０７）はｖＥＰＣ装置の統計情報の出力間隔を決定するパラメータ（統計情報出力周期）の現在値（１２０５）と上限設定値（１２０６）を取得する（Ｓ９０６）。図１２の例を示すｖＥＰＣ装置では、統計情報の出力周期の現在値（１２０５）は５分、上限設定値（１２０６）は１０分である。取得した統計情報出力間隔の上限設定値と現在値の間の値に増加した値を現在値のパラメータとしてパラメータ定義情報テーブル(１２００)に設定する。例えば両者の差分のうち予め定めた割合（この例では、２分の１）の値を変更値として算出した後、現在値に加算することで変更後の出力周期を算出する（Ｓ９０７）。本実施例では、上限設定最大値を１５分とすると、変更値は５分となり、現在値５分に変更値５分を加算した１０分が変更後の統計情報出力間隔の現在値（１２０３）となる（Ｓ９０８）。統計情報の出力周期を長くなることで、出力量は、例えば、２分の１となりディスク使用量を抑制する効果が得られる。
【００３３】
次に仮想ＣＰＵ、メモリの使用率が上限閾値を超える場合の抑制処理について説明する。ＣＰＵ数、メモリ使用量を抑制する処理として、本実施例では、ｖＭＭＥを例にとり、ＵＥ（１０５）からＭＭＥ（１０２）へのアタッチ数を制限することでｖＭＭＥの処理量を低減させる場合を説明する。
ここで、アタッチ処理について説明する。ＵＥ（１０５）はｖＥＰＣシステムにアクセスすると、ネットワークへの登録処理であるアタッチ要求をＭＭＥに対して行う。アタッチ要求を受けたｖＭＭＥ（１０２）はＵＥ（１０５）の待ち受け時の位置管理、着信時の呼出、基地局間ハンドオーバ制御などの機能を有し、アタッチ数が多くなるほど、ｖＭＭＥ（１０２）の負荷は増大して、ＣＰＵ数及びメモリ使用量が増大する。本実施例では、ＵＥからのアタッチ数を意図的に制限することにより、ｖＭＭＥの負荷を低減させて、ＣＰＵ及びメモリ使用率を抑制する。
【００３４】
図１０は、ＣＰＵ及びメモリ使用量の抑制処理を説明するフローチャートである。まず、リソース制御機能部は、リソース制御機能部のパラメータ定義情報データベース３０６のパラメータ定義情報テーブル(図１２  １２００)から、ｖＭＭＥ装置の最大アタッチ数の現在値を取得する（Ｓ１００１）。次に、リソース制御機能部（２０７）は、パラメータ定義情報ＤＢ（３０６）から最大アタッチ数の下限設定値を取得する（Ｓ１００２）。リソース制御機能部（２０７）は、取得したアタッチ数の現在値と下限設定値の間の値に、抑制後の最大アタッチ数を算出して（Ｓ１００３）、算出したアタッチ数をｖＭＭＥ装置のパラメータ値（最大アタッチ数の現在値（１２０３）として設定する（Ｓ１００４）。現在値（１２０３）は、この例では、ｖＭＭＥは冗長構成となっており、各基地局は複数のｖＭＭＥと接続可能である。ＵＥは、ｖＭＭＥを識別する情報を保持しており、ｖＭＭＥへのアタッチ要求に対してＭＭＥからアタッチ拒否応答を受信した場合、他のｖＭＭＥに再アタッチを行う。
本抑制処理により、パラメータが変更された抑制対象のＭＭＥにアタッチしていたＵＥは他のｖＭＭＥに再接続されて、パラメータが設定された抑制対象のｖＭＭＥ装置の負荷は低減されて、ＣＰＵ及びメモリ使用量の抑制効果が見込める。
なお、リソース抑制処理を行っている状態は一部の機能を縮退した状態であるとも言える。そこでリソース抑制処理中は、リソース抑制中であることを保守者に通知して、リソース抑制状態を解消するための物理サーバのリソース増強を促すとともに、異常な状態が発生した場合には速やかに保守者に通知して復旧作業を行う必要があることが想定される。そのため、本実施例では装置管理機能部２１７に、リソース抑制処理中に稼働監視処理を実行させる機能も具備することができる。
【００３５】
図１１は、リソース抑制中に実行されるｖＥＰＣ装置の稼働監視処理のフローチャートである。リソース制御機能部（２０７）は、本処理をリソース抑制処理が開始されると実行し、一定の時間を監視期間とするため、経過監視タイマを持ち監視を一定期間継続することとする（Ｓ１１０１）。なお、この経過タイマは一定期間と定めず、無期限とすることも許容する。次に、リソース制御機能部（２０７）は、ＶＮＦＭ（２０４）の装置管理機能（２１７）を用いてｖＥＰＣ装置のアプリケーションの起動状態を確認することで、ｖＥＰＣ装置の稼働監視を行う（Ｓ１１０２）。リソース制御機能部（２０７）は、起動状態が正常な状態であれば、リソース抑制状態での稼働継続に問題ないと判断し、経過監視タイマに従い、繰返し実行して監視を継続する。経過監視タイマが満了すると、抑制状態警報を発出して保守者に通知する。また、経過監視タイマ満了前に稼働監視の結果、アプリケーションからの応答がない等、ｖＥＰＣ装置の異常を検知した場合は、リソース制御機能部（２０７）は、異常警報を発出して保守者（保守装置）に通知する（Ｓ１００６）。
【００３６】
Ｃ．実施例の効果
本発明によると、仮想サーバのリソース監視、制御機能の提供により、保守者の操作を介在させずとも、サーバ導入時からサービス規模に応じた適切なリソース量を仮想サーバに配分することが可能となる。また、リソース配分時に物理サーバのリソースが枯渇した状態であった場合には、仮想サーバ上で動作している主機能を自動で制限することによりリソース消費量を抑えることで、仮想サーバのリソース枯渇の状態を解消して、物理サーバのリソースを追加せずともシステムダウンの回避が可能となる。
【００３７】
また、本実施例により、リソース初期値を割り当てたｖＥＰＣを起動するだけで、以降は自動でリソース割り当て量が最適化されるため、保守者がｖＥＰＣに割り当てるリソース量を意識する必要はなく、サービス規模に応じたリソース割り当てを行う必要もない。
【００３８】
Ｄ．付記
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれている。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【００３９】
１０１  ｖＥＰＣシステムのＳＤＮ／ＮＦＶコントロ−ラ
１０２  ｖＥＰＣシステムのｖＭＭＥ
１０３  ｖＥＰＣシステムのｖＳＧＷ
１０４  ｖＥＰＣシステムのｖＰＧＷ
１０５  ＥＰＣコア網に接続するＵＥ
１０６  ＥＰＣコア網に接続するｅＮＢ
１０７  ＥＰＣコア網のＰＣＲＦ
１０８  ＥＰＣコア網と接続されるＰＤＮ
１０９、ＥＰＣコア網のＨＳＳ
１１０  ＥＰＣコア網のＤＮＳ
２０１  ＳＤＮ／ＮＦＶコントローラ
２０２  ＶＮＦＭ
２０３  ＮＦＶＩ
２０４  ＶＩＭ
２０５  ＶＮＦ
２０６  オーケストレータ
２０７  リソース制御監視
２０８  ｖＭＭＥアプリ
２０９  ｖＳＧＷ
２１０  ｖＰＧＷ
２１１  ｖＥＰＣ用ネットワーク
２１２  物理リソース群（サーバ・ＳＷ）
２１３  Ｈｙｐｅｒｖｉｓｏｒ
２１４  仮想レイヤ
２１５  仮想ネットワーク
２１６  ＶＭ
３０１  ＶＮＦＭ
３０２  リソース制御処理部
３０３  物理サーバリソース監視機能部
３０４  仮想サーバリソース監視機能部
３０５  仮想サーバリソース制御機能部
３０６  パラメータ定義情報ＤＢ
３０７  リソース情報ＤＢ
３０８  スケールアップ処理
３０９  スケールダウン処理
３１０  リソース抑制処理
３１１  ＮＦＶＭ
３１２  ＶＩＭ
４０１  物理サーバリソース管理テーブルが管理する物理コア数
４０２  物理サーバリソース管理テーブルが管理するディスク容量
４０３  物理サーバリソース管理テーブルが管理するメモリ容量
４０４  物理サーバが具備する全体のリソース量
４０５  仮想サーバに割り当て済みの物理サーバのリソース量
４０６  物理サーバの余剰リソース量
４０７  物理サーバのリソース不足を判断するための閾値
５０１  仮想サーバリソース管理テーブルが管理する装置ＩＤ
５０２  仮想サーバリソース管理テーブルが管理する装置種別
５０３  仮想サーバの仮想ＣＰＵ数
５０４  仮想サーバの仮想ディスク容量
５０５  仮想サーバのメモリ容量
６０１  リソース制御管理テーブルが管理する仮想ＣＰＵ数
６０２  リソース制御管理テーブルが管理するディスク容量
６０３  リソース制御管理テーブルが管理するメモリ容量
６０４  仮想サーバのリソース初期値
６０５  スケールアップ時のリソース増量
６０６  スケールダウン時のリソース減量
６０７  リソース監視における上限閾値
６０８  リソース監視における下限閾値
７０１  ｖＥＰＣ装置の起動指示
７０２  仮想サーバのリソース初期値を取得するステップ
７０３  物理サーバの余剰リソース情報を取得するステップ
７０４  仮想サーバへのリソース割り当て可否を判断するステップ
７０５  物理サーバ管理テーブルを更新するステップ
７０６  仮想サーバリソース管理テーブルに起動装置情報を追加するステップ
７０７  ｖＥＰＣ起動のステップ
７０８  起動状態を確認するステップ
７０９  起動失敗時にスケールアップ処理を実行するステップ
７１０  リソース制御管理テーブルのリソース初期値を更新するステップ
７１１  リソース割り当て不可を判定するステップ
７１２  警報により保守者に通知するステップ
７１３  仮想サーバのリソース使用量を取得するステップ
７１４  リソース使用率を算出するステップ
７１５  使用量算出結果と上限閾値を比較するステップ
７１６  物理サーバの余剰リソースを確認するステップ
７１７  算出値と下限閾値を比較するステップ
７１８  リソース抑止処理の実行するステップ
７１９  スケールアップ処理を実行するステップ
７２０  スケールダウン処理を実行するステップ
８０１  スケールアップ値を取得するステップ
８０２  仮想サーバのスケールアップを実行するステップ
８０３  物理サーバのリソース管理テーブルを更新するステップ
８０４  物理サーバの余剰リソースと閾値を比較するステップ
８０５  物理サーバの余剰リソース不足を警報により保守者に通知するステップ
９０１  ログファイル保存容量パラメータを取得するステップ
９０２  パラメータ定義情報から値域の最小値を取得するステップ
９０３  保存容量変更値を算出するステップ
９０４  ｖＥＰＣ装置にパラメータを設定するステップ
９０５  ディスク容量と仮想リソース上限閾値を比較するステップ
９０６  値域の最大値を取得するステップ
９０７  最大値をｖＥＰＣ装置のパラメータに設定するステップ
１００１  ｖＭＭＥ装置のアタッチ最大数パラメータを取得するステップ
１００２  パラメータ定義情報から値域の最小値を取得するステップ
１００３  最大アタッチ数を算出するステップ
１００４  算出した値をｖＥＰＣ装置のパラメータに設定するステップ
１１０１  稼働監視処理のループ開始
１１０２  ｖＥＰＣ装置の監視ステップ
１１０３  稼働状態監視の結果による分岐
１１０４  ループ終了
１１０５  抑制状態警報を発出するステップ
１１０６  異常警報を発出するステップ
【図１】
2017028563.tif 000003
【図２】
2017028563.tif 000004
【図３】
2017028563.tif 000005
【図４】
2017028563.tif 000006
【図５】
2017028563.tif 000007
【図６】
2017028563.tif 000008
【図７Ａ】
2017028563.tif 000009
【図７Ｂ】
2017028563.tif 000010
【図８Ａ】
2017028563.tif 000011
【図８Ｂ】
2017028563.tif 000012
【図９】
2017028563.tif 000013
【図１０】
2017028563.tif 000014
【図１１】
2017028563.tif 000015
【図１２】
2017028563.tif 000016