(57)【要約】【課題】精度の高いソフトウェアの検証により、ソフトウェア変更に伴う運用環境へのリスク発生を低減する。【解決手段】計算機システムは、パケットを転送するための運用アプリケーションを実装する仮想マシン、及び、前記運用アプリケーションによる処理と連携して処理を実行する運用対向アプリケーションを実装するための仮想マシンを有するネットワークシステムと、制御サーバとを含み、前記制御サーバは、前記運用アプリケーションが更新された結果である検証対象アプリケーションを実装する検証用仮想マシンと、前記検証対象アプリケーションによる処理と連携して処理を実行する検証対向アプリケーションを実装する対向仮想マシンと、の生成を前記ネットワークシステムに向けて指示し、前記検証対象アプリケーションの検証を、前記ネットワークシステムに向けて指示し、前記検証の結果を取得する。【選択図】図２
2017016392.tif 000002
【特許請求の範囲】
【請求項１】
計算機システムであって、
パケットを転送するための運用アプリケーションを実装する仮想マシン、及び、前記運用アプリケーションによる処理と連携して処理を実行する運用対向アプリケーションを実装するための仮想マシンを有するネットワークシステムと、制御サーバとを含み、
前記制御サーバは、
前記運用アプリケーションが更新された結果である検証対象アプリケーションを実装する検証用仮想マシンと、前記検証対象アプリケーションによる処理と連携して処理を実行する検証対向アプリケーションを実装する対向仮想マシンと、の生成を前記ネットワークシステムに向けて指示し、
前記検証対象アプリケーションの検証を、前記ネットワークシステムに向けて指示し、
前記検証の結果を取得することを特徴とする計算機システム。
【請求項２】
請求項１に記載の計算機システムであって、
前記制御サーバは、
前記運用対向アプリケーションを実装する仮想マシンの生成を前記ネットワークシステムに指示するための仮想マシン情報を保持し、
前記仮想マシン情報を用いて、前記対向仮想マシンの生成を前記ネットワークシステムに向けて指示することを特徴とする計算機システム。
【請求項３】
請求項１に記載の計算機システムであって、
前記制御サーバは、前記検証を管理するための管理用仮想マシンの生成を、前記ネットワークシステムに向けて指示し、
前記管理用仮想マシンは、
前記制御サーバから前記検証対象アプリケーションの検証を指示された場合、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に、前記検証対象アプリケーションを検証するための検証処理を指示し、
前記検証用仮想マシン及び対向仮想マシンのいずれか一方から取得した検証処理の結果を前記検証の結果として、前記制御サーバに送信することを特徴とする計算機システム。
【請求項４】
請求項３に記載の計算機システムであって、
前記管理用仮想マシンが前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に指示する前記検証処理は、所定の入力を与えた場合の前記検証対象アプリケーションの実行可否を検証する機能検証、及び、前記検証用仮想マシンに所定の負荷値が与えられた場合の前記検証対象アプリケーションの実行可否を検証する性能検証の少なくとも一つを含むことを特徴とする計算機システム。
【請求項５】
請求項４に記載の計算機システムであって、
前記ネットワークシステムは、前記運用アプリケーションを実装する仮想マシンから、前記運用アプリケーションが前記検証処理と同じ処理を実行する際に、前記運用アプリケーションが実装された仮想マシンに与えられる負荷の値を収集する運用仮想マシンを有し、
前記管理用仮想マシンは、
前記運用アプリケーションが実装された仮想マシンに与えられた負荷の値を、前記運用仮想マシンを介して取得し、
前記運用仮想マシンを介して取得した負荷の値に基づいて、前記性能検証において前記検証用仮想マシンに与えられる負荷の値を決定し、
前記決定した負荷の値を用いて前記性能検証を、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に指示することを特徴とする計算機システム。
【請求項６】
請求項４に記載の計算機システムであって、
前記制御サーバは、前記管理用仮想マシンが前記検証処理として性能検証を指示し、かつ、前記制御サーバが取得した検証の結果が異常を示す場合、前記検証用仮想マシンの設定値を変更する指示を、前記ネットワークシステムに向けて送ることを特徴とする計算機システム。
【請求項７】
制御サーバであって、
パケットを転送するための運用アプリケーションを実装する仮想マシン、及び、前記運用アプリケーションによる処理と連携して処理を実行する運用対向アプリケーションを実装するための仮想マシンを有するネットワークシステムと通信し、
前記運用アプリケーションが更新された結果である検証対象アプリケーションを実装する検証用仮想マシンと、前記検証対象アプリケーションによる処理と連携して処理を実行する検証対向アプリケーションを実装する対向仮想マシンと、の生成を前記ネットワークシステムに向けて指示し、
前記検証対象アプリケーションの検証を、前記ネットワークシステムに向けて指示し、
前記検証の結果を取得することを特徴とする制御サーバ。
【請求項８】
請求項７に記載の制御サーバであって、
前記運用対向アプリケーションを実装する仮想マシンの生成を前記ネットワークシステムに指示するための仮想マシン情報を保持し、
前記仮想マシン情報を用いて、前記対向仮想マシンの生成を前記ネットワークシステムに向けて指示することを特徴とする制御サーバ。
【請求項９】
請求項７に記載の制御サーバであって、
前記制御サーバは、前記検証を管理するための管理用仮想マシンの生成を、前記ネットワークシステムに指示し、
前記管理用仮想マシンを介して、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に前記検証対象アプリケーションの検証を指示し、
前記検証用仮想マシン及び対向仮想マシンのいずれか一方から取得した検証の結果を、前記管理用仮想マシンを介して取得することを特徴とする制御サーバ。
【請求項１０】
請求項９に記載の制御サーバであって、
前記管理用仮想マシンを介して前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に指示する検証は、前記検証用仮想マシンに所定の負荷値が与えられた場合の前記検証対象アプリケーションの実行可否を検証する性能検証を含み、
前記制御サーバは、前記制御サーバが取得した検証の結果が異常を示す場合、前記検証用仮想マシンの設定値を変更する指示を、前記ネットワークシステムに向けて送ることを特徴とする制御サーバ。
【請求項１１】
計算機システムによる検証方法であって、
前記計算機システムは、パケットを転送するための運用アプリケーションを実装する仮想マシン、及び、前記運用アプリケーションによる処理と連携して処理を実行する運用対向アプリケーションを実装するための仮想マシンを有するネットワークシステムと、制御サーバとを含み、
前記検証方法は、
前記制御サーバが、前記運用アプリケーションが更新された結果である検証対象アプリケーションを実装する検証用仮想マシンと、前記検証対象アプリケーションによる処理と連携して処理を実行する検証対向アプリケーションを実装する対向仮想マシンと、の生成を前記ネットワークシステムに向けて指示する手順と、
前記制御サーバが、前記検証対象アプリケーションの検証を、前記ネットワークシステムに向けて指示する手順と、
前記制御サーバが、前記検証の結果を取得する手順と、を含むことを特徴とする検証方法。
【請求項１２】
請求項１１に記載の検証方法であって、
前記制御サーバは、前記運用対向アプリケーションを実装する仮想マシンの生成を前記ネットワークシステムに指示するための仮想マシン情報を保持し、
前記検証方法は、前記制御サーバが、前記仮想マシン情報を用いて、前記対向仮想マシンの生成を前記ネットワークシステムに向けて指示する手順を含むことを特徴とする検証方法。
【請求項１３】
請求項１１に記載の検証方法であって、
前記制御サーバが、前記検証を管理するための管理用仮想マシンの生成を、前記ネットワークシステムに向けて指示する手順と、
前記管理用仮想マシンが、前記制御サーバから前記検証対象アプリケーションの検証を指示された場合、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に、前記検証対象アプリケーションを検証するための検証処理を指示する手順と、
前記管理用仮想マシンが、前記検証用仮想マシン及び対向仮想マシンのいずれか一方から取得した検証処理の結果を前記検証の結果として、前記制御サーバに送信する手順と、を含むことを特徴とする検証方法。
【請求項１４】
請求項１３に記載の検証方法であって、
前記管理用仮想マシンが、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に指示する前記検証処理として、所定の入力を与えた場合の前記検証対象アプリケーションの実行可否を検証する機能検証、及び、前記検証用仮想マシンに所定の負荷値が与えられた場合の前記検証対象アプリケーションの実行可否を検証する性能検証の少なくとも一つを指示する手順を含むことを特徴とする検証方法。
【請求項１５】
請求項１４に記載の検証方法であって、
前記ネットワークシステムは、前記運用アプリケーションを実装する仮想マシンから、前記運用アプリケーションが前記検証処理と同じ処理を実行する際に、前記運用アプリケーションが実装された仮想マシンに与えられる負荷の値を収集する運用仮想マシンを有し、
前記検証方法は、
前記管理用仮想マシンが、前記運用アプリケーションが実装された仮想マシンに与えられた負荷の値を、前記運用仮想マシンを介して取得する手順と、
前記管理用仮想マシンが、前記運用仮想マシンを介して取得した負荷の値に基づいて、前記性能検証において前記検証用仮想マシンに与えられる負荷の値を決定する手順と、
前記管理用仮想マシンが、前記決定した負荷の値を用いて前記性能検証を、前記検証用仮想マシン及び前記対向仮想マシンのいずれか一方に指示する手順と、を含むことを特徴とする検証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、計算機システム、制御サーバ、及び、検証方法に関する。
【背景技術】
【０００２】
今日、インターネットプロトコルを用いる多くのネットワーク又は通信システムが存在する。特に、移動端末がインターネット網を利用して何らかのサービス提供を受けることを可能にするネットワークシステムが広く運用されている。
【０００３】
さらに、重要な社会基盤として使用されているネットワークでは、高い信頼性が求められている。このようなネットワークにおいて、サービス機能の追加のためにソフトウェア更新、及び、コンフィグレーション変更を行う際には、それまでに提供している既存サービスに影響を与えることなく新規サービスの追加を行うことが望まれている。
【０００４】
このように既存サービスに影響を与えないようにソフトウェアを更新する方法が、従来提案されている（例えば、特許文献１参照）。
【０００５】
特許文献１には、運用系および予備系の２重化冗長構成を有して電話系の交換サービスを行う交換システムのファイル更新処理を行うファイル更新処理方式において、ソフトウェアファイル更新時に、旧ファイル上で運転している運用系においては現在処理中の呼サービスが全て終了するまで処理を継続し、かつ新ファイル上で運転される予備系においては新しい呼サービスに対しての処理を開始することによって、全ての呼サービスを中断するフェーズ再開を伴うことなくソフトウェアファイル更新するという技術が記載されている。
【０００６】
一方で、昨今、ネットワーク機能のアプリケーションソフトウェアを仮想マシン上で動作させるサーバ仮想化技術、並びに、複数の仮想マシン間及び仮想マシンと物理的な通信機器との間のネットワークを動的に接続するネットワーク仮想化技術が高い注目を浴びている。
【０００７】
このようなサーバ仮想化技術、及び、ネットワーク仮想化技術の導入により、システム導入時のコスト（ＣＡＰＥＸ）低減、時々刻々と変化するビジネス需要の変動に応じた柔軟なリソースの確保及びネットワーク構成変更、並びに、保守管理コスト（ＯＰＥＸ）の低減などのメリットを享受できる。
【０００８】
仮想ネットワーク技術を用いた検証システムが、従来提案されている（例えば、特許文献２参照）。特許文献２には、本番環境と技術的に同等な検証用の仮想ネットワーク環境を構築し、これを用いて本番環境におけるネットワーク構成の妥当性を事前検証することを可能とする方法が開示されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平７−１７７５４３号公報
【特許文献２】特開２０１４−１５４９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ネットワークシステムにおいて機能変更があり、ソフトウェア及びコンフィグレーションが更新された結果、更新後のソフトウェア及びコンフィグレーション自体に欠陥がある場合、更新後のネットワークシステムで重大な問題が発生してしまい、問題である。
【００１１】
そのため、ネットワークシステムにおいてソフトウェア及びコンフィグレーションを更新する場合、事前にサービス提供中の本番環境とは異なる検証環境を使用して、ソフトウェア更新による問題が発生しないことを検証しておく必要があった。この場合、検証環境は本番環境にできるだけ近い条件であることが望ましい。
【００１２】
特許文献１には、サービスの連続性を確保する技術が開示されているものの、新ファイル導入又は切り替え前に本番環境と同じ環境で検証することについては記載されていない。
【００１３】
そして、特に大規模ネットワークシステムでは、本番環境と同じネットワーク構成の検証環境を用意することは難しい。さらには、検証環境で構築した環境を本番環境に再構築するためには多くの構築手順が存在し、このような構築手順は、作業者の誤操作及び設定誤りを誘発する可能性がある。
【００１４】
そのため、本番環境構築に多くの時間が費やされる一方で、構築手順に誤りがあった場合には、本番環境のサービスに甚大な影響を与える場合も少なくない。また、検証環境と本番環境とに生じる想定し得ない差により、検証環境では発生しなかった問題が本番環境で発生する場合がある。
【００１５】
例えば、検証対象装置の対向装置（検証対象装置と連携して処理を行う装置であり、ソフトウェア及びコンフィグレーション等が更新されていない装置）が他ベンダ製装置であった場合、検証環境では、自社で独自のシミュレータを準備して検証を実施する場合も多い。この場合、シミュレータと本番環境の対向装置との動作の違いにより、検証環境では発生しない問題が本番環境で発生する場合がある。
【００１６】
一方、特許文献２では、仮想ネットワークシステムでのネットワーク構築方法及び検証方法の一般的方法については記載されているが、ＥＰＣシステムなどの機能間で処理の連携がある複雑なネットワークアプリケーションにおいて、アプリケーションごとの差を吸収した検証方法、及び、実運用環境のトラフィック負荷の値を考慮したシステム検証方法については記載されていない。
【００１７】
前述の課題を鑑み、本発明は、機能間での処理の連携があるネットワークアプリケーションを検証する際に、検証環境を構築するための保守作業負荷を低減し、かつ本番環境での精度の高いソフトウェアの検証を目的とする。そしてこれにより、本番環境へのサービス影響リスクの低減を図るものである。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明は、計算機システムであって、パケットを転送するための運用アプリケーションを実装する仮想マシン、及び、前記運用アプリケーションによる処理と連携して処理を実行する運用対向アプリケーションを実装するための仮想マシンを有するネットワークシステムと、制御サーバとを含み、前記制御サーバは、前記運用アプリケーションが更新された結果である検証対象アプリケーションを実装する検証用仮想マシンと、前記検証対象アプリケーションによる処理と連携して処理を実行する検証対向アプリケーションを実装する対向仮想マシンと、の生成を前記ネットワークシステムに向けて指示し、前記検証対象アプリケーションの検証を、前記ネットワークシステムに向けて指示し、前記検証の結果を取得することを特徴とする計算機システムを有する。
【発明の効果】
【００１９】
本発明によれば、オーケストレータ検証手段により、保守作業負荷を低減し、かつ本番環境での精度の高いソフトウェア検証が可能となる。これにより、運用中の本番環境へのサービス影響リスクの低減を図るものである。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００２０】
【図１】本実施例のＥＰＣシステムの論理構成（サービス網）の例を示すブロック図である。
【図２】本実施例の仮想化ＥＰＣシステムを含む計算機システムの論理構成（管理網、制御網、保守網）例を示すブロック図である。
【図３】本実施例の仮想化ＥＰＣシステムを含む計算機システムの物理構成の例を示すブロック図である。
【図４】本実施例のオーケストレータサーバの機能を示すブロック図である。
【図５】本実施例の検証用ＥＭＳの機能を示すブロック図である。
【図６】本実施例の運用ＥＭＳの機能を示すブロック図である。
【図７】本実施例のソフトウェア更新時に新版のアプリケーションを検証するため、オーケストレータサーバが保持するＶＮＦパッケージ情報を示す説明図である。
【図８】本実施例のソフトウェア更新時に新版のアプリケーションを検証するため、検証用ＥＭＳが保持するデータを示す説明図である。
【図９】本実施例のＥＰＣシステムにおける検証環境構築時の処理を示すシーケンス図である。
【図１０】本実施例のＥＰＣシステムにおける機能検証時の処理を示すシーケンス図である。
【図１１】本実施例のＥＰＣシステムにおける性能検証時の処理を示すシーケンス図である。
【図１２】本実施例のオーケストレータサーバの検証における処理を示すフローチャートである。
【図１３】本実施例の検証用ＥＭＳの機能検証における処理を示すフローチャートである。
【図１４】本実施例の検証用ＥＭＳの性能検証における処理を示すフローチャートである。
【発明を実施するための形態】
【００２１】
以下、実施例について図面を用いて説明する。本実施例においてネットワークシステムとしてＥＰＣシステムを説明するが、本実施例における検証対象は、パケットを転送するネットワークシステムであれば、いかなるプロトコル及び規格によるネットワークシステムであってもよい。
【００２２】
図１は、本実施例のＥＰＣシステムの論理構成（サービス網）の例を示すブロック図である。
【００２３】
図１に示すＥＰＣシステムは、本実施例のネットワークシステムの例を示す。しかし、本実施例のネットワークシステムは、パケットを転送するための複数の機能を有するネットワークシステムであればいかなるネットワークシステムであってもよい。また、特にＥＰＣシステムのような無線通信におけるコアネットワークに本実施例を適用することによって、コアネットワークの複数の機能間で制御データの送受信が行われるような複雑なネットワークシステムにおいてソフトウェアを検証できる。
【００２４】
本実施例のＥＰＣシステムは、モビリティ管理エンティティ（ＭＭＥ）Ａ０１、サービングゲートウェイ（ＳＧＷ）Ａ０２、パケットデータネットワークゲートウェイ（ＰＧＷ）Ａ０３、及び、加入者管理サーバ（ＨＳＳ）Ａ０４を含む。そして、図１に示すＥＰＣシステムは、無線アクセスネットワーク（ＲＡＮ）Ａ１１、Ａ１２による無線通信を実現するための運用環境である。
【００２５】
モビリティ管理エンティティＡ０１は、無線アクセスネットワーク（ＲＡＮ）Ａ１１、Ａ１２と制御プレーンに関する信号を送受信する。サービングゲートウェイＡ０２は、主にデータプレーンに関する信号を無線アクセスネットワークＡ１１、Ａ１２と送受信する。
【００２６】
パケットデータネットワークゲートウェイＡ０３は、データプレーンに関する信号をパケットデータネットワーク（ＰＤＮ）Ａ２１、Ａ２２、Ａ２３と送受信する。これにより、本実施例のＥＰＣシステムは、無線アクセスネットワークＡ１１に接続される加入者無線端末にＥＰＣサービスを提供できる。
【００２７】
図２は、本実施例の仮想化ＥＰＣシステムを含む計算機システムの論理構成（管理網、制御網及び保守網）例を示すブロック図である。
【００２８】
本実施例の仮想化ＥＰＣシステムは、仮想化機構（ハイパーバイザ）Ｃ０３が提供する複数の仮想マシンＣ０４を有する。仮想マシンＣ０４は、図１に示すモビリティ管理エンティティＡ０１、サービングゲートウェイＡ０２、パケットデータネットワークゲートウェイＡ０３、及び、加入者管理サーバＡ０４等を含む運用環境（本番環境）を、アプリケーションを実行することによって提供する。
【００２９】
仮想化機構Ｃ０３は、ＯＳ（Ｃ０２）によって実装され、ＯＳ（Ｃ０２）は、物理サーバＣ０１によって実装される。
【００３０】
図２に示す複数の仮想マシンＣ０４は、運用ＭＭＥ（旧版）Ａ１１、運用ＨＳＳ（Ａ４１）、ＭＭＥ（新版）Ａ１２、及び、ＨＳＳスタブアプリＡ０４２等のアプリケーションを実装する。また、仮想マシンＣ０４は、運用ＥＭＳ（Ｂ３１１）及び検証用ＥＭＳ（Ｂ３１２）等のアプリケーションを実装する。仮想マシンＣ０４は、仮想化機構Ｃ０３によって提供される。
【００３１】
モビリティ管理エンティティＡ０１は、運用ＭＭＥ（旧版）Ａ１１の機能によって実装され、加入者管理サーバＡ０４は、運用ＨＳＳ（Ａ０４１）によって実装される。
【００３２】
仮想化管理制御エージェントＢ２２は、仮想化機構Ｃ０３と連携して、仮想マシンＣ０４を生成し、さらに、削除する。仮想化管理制御サーバＢ２１は、仮想化管理制御エージェントＢ２２を管理する。
【００３３】
オーケストレータサーバＢ１１は、オーケストレータクライアントＢ１２を介して保守者の要求を受け付ける。そして、オーケストレータサーバＢ１１は、保守者の要求に従い、運用ＥＭＳ（Ｂ３１１）、検証用ＥＭＳ（Ｂ３１２）、及び、仮想化管理制御サーバＢ２１と通信し、さらに、仮想マシンＣ０４、及び、仮想マシンＣ０４上で動作するネットワーク機能を設定し、削除する。
【００３４】
仮想化管理制御サーバＢ２１、オーケストレータサーバＢ１１及びオーケストレータクライアントＢ１２は、物理サーバＣ０１とは異なる物理的な計算機によって実装されてもよい。
【００３５】
運用ＥＭＳ（Ｂ３１１）は、運用ＭＭＥ（旧版）Ａ１１及び運用ＨＳＳ（Ａ０４１）のネットワーク機能のアプリケーションを管理する機能を有する、ネットワーク機能アプリケーション管理システム（ＥＭＳ：Ｅｌｅｍｅｎｔ  Ｍａｎａｇｅｍｅｎｔ  Ｓｙｓｔｅｍ）である。運用ＥＭＳ（Ｂ３１１）は、運用ＭＭＥ（旧版）Ａ１１及び運用ＨＳＳ（Ａ０４１）と通信する。
【００３６】
また、検証用ＥＭＳ（Ｂ３１２）は、ＭＭＥ（新版）Ａ１２及びＨＳＳ検証用対向アプリケーション（以下、ＨＳＳスタブアプリ）Ａ０４２のネットワーク機能のアプリケーションを管理し、検証処理を管理する機能を有する。検証用ＥＭＳ（Ｂ３１２）は、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２と通信する。
【００３７】
以下に示す実施例において、運用ＭＭＥ（旧版）Ａ１１は、運用環境において運用されており、ＭＭＥ（新版）Ａ１２は、運用ＭＭＥ（旧版）Ａ１１のソフトウェアを更新した結果のアプリケーションであり、運用ＭＭＥ（旧版）Ａ１１と同等の目的のネットワーク機能を有する。ＭＭＥ（新版）Ａ１２は、本実施例の検証対象である。
【００３８】
また、運用ＨＳＳ（Ａ０４１）は、運用ＭＭＥ（旧版）Ａ１１と連携して処理を実行するアプリケーション（対向アプリケーション、スタブアプリケーション）であり、運用環境において運用される。ＨＳＳスタブアプリＡ０４２は、運用ＨＳＳ（Ａ０４１）と同じネットワーク機能を有する、検証対象であるＭＭＥ（新版）Ａ１２の対向アプリケーションである。
【００３９】
しかし、検証対象のアプリケーション及びその対向アプリケーションは、ネットワークシステムにおける機能を実行するアプリケーションであればいかなるアプリケーションでもよい。例えば、検証対象はＳＧＷ（Ａ０２）の機能を実行するアプリケーションであってもよく、検証対象の対向アプリケーションはＰＧＷ（Ａ０３）の機能を実行するアプリケーションであってもよい。
【００４０】
図３は、本実施例の仮想化ＥＰＣシステムを含む計算機システムの物理構成の例を示すブロック図である。
【００４１】
本実施例の計算機システムは、一つの計算機によって実装されてもよいし、複数の計算機によって実装されてもよい。以下において、複数の計算機に本実施例の計算機システムの機能が分割されて実装される例を示す。
【００４２】
図３に示す計算機システムは、Ｌ３ＳＷ（Ｃ０６１）、Ｌ２ＳＷ（Ｃ０５１）、物理サーバＣ０１１、物理サーバＣ０１２、物理サーバＣ０１３、Ｌ２ＳＷ（Ｃ０５２）、オーケストレータクライアントＢ１２、オーケストレータサーバＢ１１、及び、仮想化管理制御サーバＢ２１の各々を実装する物理的な計算機を有する。
【００４３】
オーケストレータクライアントＢ１２、オーケストレータサーバＢ１１、及び、仮想化管理制御サーバＢ２１は、Ｌ２ＳＷ（Ｃ０５２）に接続される。Ｌ２ＳＷ（Ｃ０５２）は、管理ネットワークに設置される。
【００４４】
物理サーバＣ０１１〜Ｃ０１３は、管理ネットワーク向けインタフェースを有し、このインタフェースを介してＬ２ＳＷ（Ｃ０５２）と接続する。また、物理サーバＣ０１１〜Ｃ０１３は、データネットワーク向けインタフェースを有し、このインタフェースを介してＬ２ＳＷ（データネットワーク）Ｃ０５１と接続する。
【００４５】
Ｌ２ＳＷ（Ｃ０５１）は、データネットワークに設置される。Ｌ３ＳＷ（Ｃ０６１）は、Ｌ２ＳＷ（Ｃ０５１）と外部ネットワークＣ０７１との通信を中継する。
【００４６】
オーケストレータサーバＢ１１は、保守者がオーケストレータクライアントＢ１２を操作することによって入力した指示に従って、仮想化ネットワーク機能（以下、ＶＮＦ）の生成及び起動、並びに、削除等の要求を、仮想化管理制御サーバＢ２１に指示する。そして、仮想化管理制御サーバＢ２１は、仮想化管理制御エージェントＢ２２１〜Ｂ２２３と通信し、物理サーバＣ０１１〜Ｃ０１３にＶＮＦを生成したり、削除したりする。
【００４７】
図３に示す運用ＭＭＥ（旧版）Ａ１１、運用ＨＳＳ（Ａ０４１）、運用ＥＭＳ（Ｂ３１１）、検証用ＥＭＳ（Ｂ３１２）、ＭＭＥ（新版）Ａ１２、及び、ＨＳＳスタブアプリＡ０４２は、ＶＮＦとして物理サーバＣ０１１〜Ｃ０１３上に配置される。各ＶＮＦの配置は、図３に示す限りではなく、任意の物理サーバに任意に配置されてもよい。
【００４８】
運用ＭＭＥ（旧版）Ａ１１、運用ＨＳＳ（Ａ０４１）及び運用ＥＭＳ（Ｂ３１１）は、仮想ＳＷ（Ｃ０４１）を介してＬ２ＳＷ（Ｃ０５１）と通信し、検証用ＥＭＳ（Ｂ３１２）、ＭＭＥ（新版）Ａ１２、及び、ＨＳＳスタブアプリＡ０４２は、仮想ＳＷ（Ｃ０４２）を介して、Ｌ２ＳＷ（Ｃ０５１）と通信する。図３に示す物理サーバＣ０１３には、ＶＮＦが設置されない。
【００４９】
図４は、本実施例のオーケストレータサーバＢ１１の機能を示すブロック図である。
【００５０】
オーケストレータサーバＢ１１は、クライアント向けインタフェースＦ１０１、ＶＮＦパッケージ管理部Ｆ１１０、ＶＮＦ構成管理部Ｆ１２０、運用ＥＭＳ向けインタフェースＦ１０２、検証用ＥＭＳ向けインタフェースＦ１０３、及び、仮想化管理制御サーバ向けインタフェースＦ１０４を有する。
【００５１】
クライアント向けインタフェースＦ１０１は、オーケストレータクライアントＢ１２と通信するためのインタフェースである。運用ＥＭＳ向けインタフェースＦ１０２は、運用ＥＭＳ（Ｂ３１１）と通信するためのインタフェースである。
【００５２】
検証用ＥＭＳ向けインタフェースＦ１０３は、検証用ＥＭＳ（Ｂ３１２）と通信するためのインタフェースである。仮想化管理制御サーバ向けインタフェースＦ１０４は、仮想化管理制御サーバＢ２１と通信するためのインタフェースである。
【００５３】
ＶＮＦパッケージ管理部Ｆ１１０は、ＶＮＦのＶＮＦパッケージ情報を管理する機能群である。ここで、ＶＮＦパッケージ情報とは、ＶＮＦの仮想マシンＣ０４を生成及び起動するために必要な情報である。本実施例におけるＶＮＦは、運用ＭＭＥ（旧版）Ａ１１、ＭＭＥ（新版）Ａ１２、運用ＥＭＳ（Ｂ３１１）、検証用ＥＭＳ（Ｂ３１２）、及び、ＨＳＳスタブアプリＡ０４２が相当する。
【００５４】
ＶＮＦパッケージ管理部Ｆ１１０は、イメージ管理部Ｆ１１、フレーバ管理部Ｆ１１２、テンプレート管理部Ｆ１１３、シナリオ管理部Ｆ１１４及び検証情報管理部Ｆ１１５を有する。これらの機能部は、ＶＮＦパッケージを分割して管理する。
【００５５】
イメージ管理部Ｆ１１１は、各ＶＮＦが起動時に利用するイメージ情報を管理する。フレーバ管理部Ｆ１１２は、各ＶＮＦが動作可能な仮想マシンＣ０４の仮想ＣＰＵ、及び、仮想メモリ等の仮想マシンスペック情報（以下、フレーバ）を管理する。
【００５６】
テンプレート管理部Ｆ１１３は、各ＶＮＦが起動時に利用する起動テンプレート情報を管理する。ここで起動テンプレート情報は、ＶＮＦが利用するフレーバ名及びイメージ名、並びに、仮想マシンのポート数、及び、各ポートが接続するネットワーク等の情報を含む。
【００５７】
シナリオ管理部Ｆ１１４は、各ＶＮＦを生成及び起動、並びに、削除するための処理のシナリオを示す各シナリオワークフロー情報を管理する。たとえば、本実施例においては、ソフトウェアの更新及び検証のワークフロー情報を管理する。
【００５８】
検証情報管理部Ｆ１１５は、本実施例の検証対象のアプリケーションを実装する仮想マシンＣ０４を生成及び起動するために、いずれのＶＮＦパッケージを用いるか等を示す。本実施例の検証情報管理部Ｆ１１５は、具体的には、ＭＭＥ（新版）Ａ１２を実装する仮想マシンＣ０４を生成及び起動するためのＶＮＦパッケージ情報を示す。
【００５９】
ＶＮＦ構成管理部Ｆ１２０は、ＥＰＣシステムにおいて実装され、起動した後の各ＶＮＦの構成情報を管理する機能群である。ＶＮＦ構成管理部Ｆ１２０は、ＥＰＣシステムにおけるＨＳＳ（Ａ０４）、ＭＭＥ（Ａ０１）、及び、ＳＧＷ（Ａ０２）等の仮想マシンＣ０４が起動後に、起動した各仮想マシンＣ０４から構成情報を収集してもよい。
【００６０】
ＶＮＦ構成管理部Ｆ１２０は、ＭＭＥ構成管理部Ｆ１２１、ＨＳＳ構成管理部Ｆ１２２、ＥＭＳ構成管理部Ｆ１２３、検証用ＥＭＳ構成管理部Ｆ１２４、スタブアプリ構成管理部Ｆ１２５、及び、検証実行部Ｆ１２６を含む。
【００６１】
ＭＭＥ構成管理部Ｆ１２１は、運用ＭＭＥ（旧版）Ａ１１の構成情報を管理する。ＨＳＳ構成管理部Ｆ１２２は、運用ＨＳＳ（Ａ０４１）の構成情報を管理する。
【００６２】
ＥＭＳ構成管理部Ｆ１２３は、運用ＥＭＳ（Ｂ３１１）の構成情報を管理する。検証用ＥＭＳ構成管理部Ｆ１２４は、検証用ＥＭＳ（Ｂ３１２）の構成情報を管理する。スタブアプリ構成管理部Ｆ１２５は、検証時に利用するスタブアプリケーションの構成情報を管理する。
【００６３】
ここで、スタブアプリ構成管理部Ｆ１２５は、検証時に利用するスタブアプリケーションが、オーケストレータサーバＢ１１が管理しているいずれかの既存の構成情報と同じ情報に従って実装される場合、オーケストレータクライアントＢ１２から新規にスタブアプリケーションの構成情報を取得せず、既存の構成情報（例えば、ＨＳＳ構成管理部Ｆ１２２が保持する構成情報）を取得し、管理してもよい。
【００６４】
本実施例のスタブアプリ構成管理部Ｆ１２５は、ＨＳＳスタブアプリＡ０４２の仮想マシンＣ０４の構成情報を管理する。さらに、ＨＳＳ構成管理部Ｆ１２２は、運用ＨＳＳ（Ａ０４１）の構成情報を保持するため、スタブアプリ構成管理部Ｆ１２５は、ＨＳＳ構成管理部Ｆ１２２が保持する構成情報を取得し、ＨＳＳスタブアプリＡ０４２の仮想マシンＣ０４の構成情報として保持する。
【００６５】
検証実行部Ｆ１２６は、検証処理を指示し、検証結果を特定する機能部である。
【００６６】
図５は、本実施例の検証用ＥＭＳ（Ｂ３１２）の機能を示すブロック図である。
【００６７】
検証用ＥＭＳ（Ｂ３１２）は、運用ＥＭＳ向けインタフェースＦ２０１、オーケストレータサーバ向けインタフェースＦ２０２、アプリケーション管理部Ｆ２１０、検証機能部Ｆ２２０、ＭＭＥ向けインタフェースＦ２０３、及び、ＨＳＳスタブアプリ向けインタフェースＦ２０４を有する。
【００６８】
運用ＥＭＳ向けインタフェースＦ２０１は、運用ＥＭＳ（Ｂ３１１）と通信するためのインタフェースである。オーケストレータサーバ向けインタフェースＦ２０２は、オーケストレータサーバＢ１１と通信するためのインタフェースである。
【００６９】
ＭＭＥ向けインタフェースＦ２０３は、ＭＭＥ（新版）Ａ１２と通信するためのインタフェースである。ＨＳＳスタブアプリ向けインタフェースＦ２０４は、ＨＳＳスタブアプリＡ０４２と通信するためのインタフェースである。
【００７０】
アプリケーション管理部Ｆ２１０は、ネットワーク機能のアプリケーション情報を管理する機能群である。ＭＭＥアプリ管理部Ｆ２１１及びスタブアプリ管理部Ｆ２１２を有する。
【００７１】
ＭＭＥアプリ管理部Ｆ２１１は、ＭＭＥ（新版）Ａ１２のアプリケーション情報を管理する。スタブアプリ管理部Ｆ２１２は、ＨＳＳスタブアプリＡ０４２のアプリケーション情報を管理する。
【００７２】
検証機能部Ｆ２２０は、検証対象であるＭＭＥ（新版）Ａ１２を検証する機能部群である。運用性能情報取得部Ｆ２２１は、運用ＥＭＳ（Ｂ３１１）からＥＰＣシステムが運用中に、運用ＭＭＥ（旧版）Ａ１１から性能負荷情報を取得する。
【００７３】
検証実行部Ｆ２２２は、検証対象であるＭＭＥ（新版）Ａ１２を検証するため、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２の少なくとも一つに検証処理を指示する。そして、検証実行部Ｆ２２２は、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２の少なくとも一つから検証結果を取得し、オーケストレータサーバＢ１１へ検証結果を通知する。
【００７４】
図６は、本実施例の運用ＥＭＳ（Ｂ３１１）の機能を示すブロック図である。
【００７５】
運用ＥＭＳ（３１１）は、オーケストレータサーバ向けインタフェースＦ３０１、アプリケーション管理部Ｆ３１０、性能管理部Ｆ３２０、ＭＭＥ向けインタフェースＦ３０２、及び、ＨＳＳスタブアプリ向けインタフェースＦ３０３を有する。
【００７６】
オーケストレータサーバ向けインタフェースＦ３０１は、オーケストレータサーバＢ１１及び検証用ＥＭＳ（Ｂ３１２）と通信するためのインタフェースである。ＭＭＥ向けインタフェースＦ３０２は、運用ＭＭＥ（旧版）Ａ１１と通信するためのインタフェースである。ＨＳＳスタブアプリ向けインタフェースＦ３０３は、運用ＨＳＳ（Ａ０４１）と通信するためのインタフェースである。
【００７７】
アプリケーション管理部Ｆ３１０は、ネットワーク機能のアプリケーション情報を管理する機能群であり、ＭＭＥアプリ管理部Ｆ３１１及びＨＳＳアプリ管理部Ｆ３１２を有する。
【００７８】
ＭＭＥアプリ管理部Ｆ３１１は、運用ＭＭＥ（旧版）Ａ１１のアプリケーション情報を管理する。ＨＳＳアプリ管理部Ｆ３１２は、運用ＨＳＳ（Ａ０４１）のアプリケーション情報を管理する。
【００７９】
性能管理部Ｆ３２０は、ネットワーク機能の性能情報を管理する機能群である。性能管理部Ｆ３２０は、ＭＭＥ性能情報管理部Ｆ３２１を有する。
【００８０】
ＭＭＥ性能情報管理部Ｆ３２１は、ＭＭＥ（新版）Ａ１２の性能情報を管理する。また、ＭＭＥ性能情報管理部Ｆ３２１は、ＭＭＥ（新版）Ａ１２を実装する仮想マシンＣ０４に与えられる負荷の値（負荷値）を、処理ごとに取得する。本実施例のＭＭＥ性能情報管理部Ｆ３２１は、検証用ＥＭＳ（Ｂ３１２）からの指示に従って、検証処理と同じ処理をＭＭＥ（新版）Ａ１２が実行した時に仮想マシンＣ０４に与えられる負荷値を取得する。
【００８１】
図７は、本実施例のソフトウェア更新時に新版のアプリケーションを検証するため、オーケストレータサーバＢ１１が保持するＶＮＦパッケージ情報を示す説明図である。
【００８２】
オーケストレータサーバＢ１１のＶＮＦパッケージ管理部Ｆ１１０は、物理サーバＣ０１１及びＣ０１２等にＶＮＦを生成及び起動するため、ＶＮＦパッケージ情報を有する。ＶＮＦパッケージ情報は、本実施例の仮想化ＥＰＣシステムに設定される仮想マシン（ＶＮＦ）の仮想マシン情報である。
【００８３】
本実施例のオーケストレータサーバＢ１１は、ＶＮＦパッケージ一覧Ｄ１１０、検証用ＥＭＳパッケージ一覧Ｄ１２０、及び、スタブアプリパッケージ一覧Ｄ１３０を有する。
【００８４】
図７に示すＶＮＦパッケージ一覧Ｄ１１０は、検証対象のＭＭＥ（新版）Ａ１２を生成及び起動させるためのＶＮＦパッケージ情報を、特定するための情報を示す。図７に示すＶＮＦパッケージ一覧Ｄ１１０は、検証情報管理部Ｆ１１５が管理してもよい。
【００８５】
ＶＮＦパッケージ一覧Ｄ１１０は、ＶＮＦパッケージ名Ｄ１１１、ＶＮＦイメージＤ１１２、ＶＮＦフレーバリストＤ１１３、ＶＮＦ起動テンプレートＤ１１４、自動検証有無Ｄ１１５、及び、検証用ＥＭＳパッケージＤ１１６を含む。なお、ＶＮＦパッケージ一覧Ｄ１１０は、図７に示す情報以外の情報を含んでもよい。
【００８６】
ＶＮＦパッケージ名Ｄ１１１は、ＭＭＥ（新版）Ａ０１のＶＮＦパッケージ情報を一意に特定するための識別子である。ＶＮＦイメージＤ１１２は、イメージ管理部Ｆ１１１に格納されるＭＭＥ（新版）Ａ０１のＶＮＦパッケージ情報を示す。
【００８７】
ＶＮＦフレーバリストＤ１１３は、フレーバ管理部Ｆ１１２に格納されるＭＭＥ（新版）Ａ０１のＶＮＦパッケージ情報を示す。ＶＮＦ起動テンプレートＤ１１４は、テンプレート管理部Ｆ１１３に格納されるＭＭＥ（新版）Ａ０１のＶＮＦパッケージ情報を示す。
【００８８】
自動検証有無Ｄ１１５は、検証を所定のタイミングにおいて開始するかを示す。検証用ＥＭＳパッケージＤ１１６は、検証において用いられる検証用ＥＭＳ（Ｂ３１２）を特定するための情報である。図７に示す検証用ＥＭＳパッケージＤ１１６は、検証用ＥＭＳ（Ｂ３１２）の検証用ＥＭＳパッケージを示す。
【００８９】
検証用ＥＭＳパッケージ一覧Ｄ１２０は、検証用ＥＭＳ（Ｂ３１２）を生成及び起動させるためのＶＮＦパッケージ情報を、特定するための情報である。検証用ＥＭＳパッケージ一覧Ｄ１２０は、検証用ＥＭＳ構成管理部Ｆ１２４が管理してもよい。
【００９０】
検証用ＥＭＳパッケージ一覧Ｄ１２０は、検証用ＥＭＳパッケージ名Ｄ１２１、検証用ＥＭＳイメージＤ１２２、検証用ＥＭＳフレーバＤ１２３、検証用ＥＭＳ起動テンプレートＤ１２４、スタブアプリパッケージ一覧Ｄ１２５、機能検証一覧Ｄ１２６、及び、性能検証一覧Ｄ１２７を含む。なお、検証用ＥＭＳパッケージ一覧Ｄ１２０は、図７に示す情報以外の情報を含んでもよい。
【００９１】
検証用ＥＭＳパッケージ名Ｄ１２１は、検証用ＥＭＳ（Ｂ３１２）のＶＮＦパッケージ情報を一意に特定するための識別子である。本実施例において、検証用ＥＭＳパッケージＤ１１６と検証用ＥＭＳパッケージ名Ｄ１２１とは対応する。
【００９２】
検証用ＥＭＳイメージＤ１２２は、イメージ管理部Ｆ１１１に格納される検証用ＥＭＳ（Ｂ３１２）のＶＮＦパッケージ情報を特定する。検証用ＥＭＳフレーバＤ１２３は、フレーバ管理部Ｆ１１２に格納される検証用ＥＭＳ（Ｂ３１２）のＶＮＦパッケージ情報を特定する。検証用ＥＭＳ起動テンプレートＤ１２４は、テンプレート管理部Ｆ１１３に格納される検証用ＥＭＳ（Ｂ３１２）のＶＮＦパッケージ情報を特定する。
【００９３】
スタブアプリパッケージ一覧Ｄ１２５は、スタブアプリケーションのＶＮＦパッケージ情報を示す。本実施例におけるスタブアプリパッケージ一覧Ｄ１２５は、ＨＳＳスタブアプリＡ０４２のＶＮＦパッケージ情報を示す。スタブアプリパッケージ一覧Ｄ１２５は、スタブアプリ構成管理部Ｆ１２５が管理し、ＨＳＳ構成管理部Ｆ１２２から取得した構成情報に基づいて生成されてもよい。
【００９４】
機能検証一覧Ｄ１２６は、ＭＭＥ（新版）Ａ１２に対する機能検証の内容を示す。
【００９５】
性能検証一覧Ｄ１２７は、ＭＭＥ（新版）Ａ１２に対する性能検証の内容を示す。
【００９６】
スタブアプリパッケージ一覧Ｄ１３０は、ＨＳＳスタブアプリＡ０４２を生成及び起動させるためのＶＮＦパッケージ情報を、特定するための情報である。スタブアプリパッケージ一覧Ｄ１３０は、スタブアプリパッケージ名Ｄ１３１、スタブアプリイメージＤ１３２、スタブアプリフレーバＤ１３３、及び、スタブアプリ起動テンプレートＤ１３４を含む。なお、スタブアプリパッケージ一覧Ｄ１３０は、図７に示す情報以外の情報を含んでもよい。
【００９７】
スタブアプリパッケージ名Ｄ１３１は、ＨＳＳスタブアプリＡ０４２のＶＮＦパッケージ情報を一意に特定するための識別子である。スタブアプリイメージＤ１３２は、イメージ管理部Ｆ１１１に格納されるＨＳＳスタブアプリＡ０４２のＶＮＦパッケージ情報を特定する。
【００９８】
スタブアプリフレーバＤ１３３は、フレーバ管理部Ｆ１１２に格納されるＨＳＳスタブアプリＡ０４２のＶＮＦパッケージ情報を特定する。スタブアプリ起動テンプレートＤ１３４は、テンプレート管理部Ｆ１１３に格納されるＨＳＳスタブアプリＡ０４２のＶＮＦパッケージ情報を特定する。
【００９９】
図８は、本実施例のソフトウェア更新時に新版のアプリケーションを検証するため、検証用ＥＭＳ（Ｂ３１２）が保持するデータを示す説明図である。
【０１００】
オーケストレータサーバＢ１１及び検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、機能検証一覧Ｄ２１０及び性能検証一覧Ｄ２２０を保持する。オーケストレータサーバＢ１１は、検証用ＥＭＳ（Ｂ３１２）を生成する指示に、機能検証一覧Ｄ２１０及び性能検証一覧Ｄ２２０を、検証用ＥＭＳ（Ｂ３１２）に設定される情報として含める。
【０１０１】
機能検証一覧Ｄ２１０は、検証名Ｄ２１１、検証内容Ｄ２１２、検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２１３、及び、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２１４を含む。
【０１０２】
ここで、機能検証とは、検証対象が所定の入力に対して正常に処理を実行し、終了するかを特定するための検証である。たとえば、ＭＭＥ（Ａ０１）が、無線アクセスネットワークＡ１１、Ａ１２から無線端末の接続要求を受け付けた（所定の入力に該当）場合に、ＭＭＥ（Ａ０１）がＨＳＳ（Ａ０４）に対して認証を要求し、その応答を受け付ける処理を正常に実行及び終了するかを特定するための検証である。
【０１０３】
この検証内容は、検証対象のＶＮＦ（本実施例においてＭＭＥ（新版）Ａ１２）及び対向装置のスタブアプリケーション（本実施例においてＨＳＳスタブアプリＡ０４２）ごとに定義される。
【０１０４】
検証名Ｄ２１１は、機能検証を一意に識別する識別子を示す。検証名Ｄ２１１は、検証用ＥＭＳパッケージ一覧Ｄ１２０の機能検証一覧Ｄ１２６に対応する。
【０１０５】
検証内容Ｄ２１２は、機能検証の検証内容を示す。検証契機装置Ｄ２１３は、機能検証において処理を開始する装置を示す。検証対向装置Ｄ２１４は、検証契機装置Ｄ２１３が示す装置の処理に対して、処理を実行する装置を示す。
【０１０６】
性能検証一覧Ｄ２２０は、検証名Ｄ２２１、検証内容Ｄ２２２、検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２２３、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２２４、及び、性能負荷値Ｄ２２５を含む。
【０１０７】
ここで、性能検証とは、検証対象の仮想マシンＣ０４に、検証対象の処理において所定の量の負荷を与えられた場合に、検証対象の処理が正常に実行及び終了するかを特定することによって、検証対象の性能を検証するものである。性能検証には、たとえば、ＭＭＥ（Ａ０１）が、無線アクセスネットワークＡ１１、Ａ１２から所定の量（負荷値）の無線端末の接続要求を受け付けた場合に、ＭＭＥ（Ａ０１）がＨＳＳ（Ａ０４）に対して所定の量（負荷値）の認証要求を送信し、その応答を受け付けることができるか検証する検証等がある。
【０１０８】
この検証内容は、検証対象ＶＮＦ（本実施例においてＭＭＥ（新版）Ａ１２）及び対向装置のスタブアプリケーション（本実施例においてＨＳＳスタブアプリＡ０４２）ごとに定義されるものである。
【０１０９】
検証名Ｄ２２１は、性能検証を一意に識別する識別子を示す。検証名Ｄ２２１は、検証用ＥＭＳパッケージ一覧Ｄ１２０の性能検証一覧Ｄ１２７に対応する。
【０１１０】
検証内容Ｄ２２２は、性能検証の検証処理の内容を示す。検証契機装置Ｄ２２３は、性能検証において処理を最初に開始する装置を示す。検証対向装置Ｄ２２４は、検証契機装置Ｄ２２３が示す装置の処理に連携して、処理を実行する装置を示す。
【０１１１】
性能負荷値Ｄ２２５は、検証内容Ｄ２２２が示す検証処理を実行する際に、ＭＭＥ（新版）Ａ１２の仮想マシンＣ０４に与えられる負荷の種類（ＣＰＵ使用率、トラフィック量等）を示す。また、性能負荷値Ｄ２２５は、負荷値を示してもよいし、ＭＭＥ（旧版）Ａ１１の仮想マシンＣ０４に実際に与えられる負荷値に基づいて検証時に必要な負荷値を決定する方法を示してもよい。
【０１１２】
図９は、本実施例のＥＰＣシステムにおける検証環境構築時の処理を示すシーケンス図である。
【０１１３】
図９に示す処理によって、オーケストレータサーバＢ１１は、検証用ＥＭＳ（Ｂ３１２）を実装する仮想マシンＣ０４、ＭＭＥ（新版）Ａ１２を実装する仮想マシンＣ０４、及び、ＨＳＳスタブアプリＡ０４２を実装する仮想マシンＣ０４を、仮想化ＥＰＣシステムに生成及び起動する。
【０１１４】
以下に示す各アプリケーション（検証用ＥＭＳ（Ｂ３１２）、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２）の名称は、各アプリケーションと各アプリケーションが実装される仮想マシンＣ０４とを表現するものとする。例えば、検証用ＥＭＳ（Ｂ３１２）を生成する、と記載した場合、検証用ＥＭＳ（Ｂ３１２）を実装する仮想マシンを生成するという意味を示す。
【０１１５】
例えば、オーケストレータクライアントＢ１２から検証対象としてＭＭＥ（新版）Ａ１２を指定された場合、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、仮想化管理制御サーバＢ２１に、検証用ＥＭＳ（Ｂ３１２）の生成及び起動を要求（指示）する（Ｓ１０１）。
【０１１６】
ここで、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２のＶＮＦパッケージ一覧Ｄ１１０の検証用ＥＭＳパッケージＤ１１６を参照し、生成する検証用ＥＭＳ（Ｂ３１２）の検証用ＥＭＳパッケージ一覧Ｄ１２０を、検証用ＥＭＳ構成管理部Ｆ１２４を介して取得する。
【０１１７】
そして、検証実行部Ｆ１２６は、取得した検証用ＥＭＳパッケージ一覧Ｄ１２０が示すＶＮＦパッケージ情報に従って、仮想化管理制御サーバＢ２１に検証用ＥＭＳ（Ｂ３１２）の生成及び起動を要求する。検証用ＥＭＳ（Ｂ３１２）を生成し、以後の検証処理において検証用ＥＭＳ（Ｂ３１２）を介して検証処理を行うことによって、運用環境である仮想化ＥＰＣシステム内に検証用の仮想化システムを生成することができる。
【０１１８】
仮想化管理制御サーバＢ２１は、要求に従って検証用ＥＭＳ（Ｂ３１２）を物理サーバＣ０１２に生成し、起動する（Ｓ１０２）。オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、シーケンスＳ１０１及びＳ１０２によって、ＭＭＥ（新版）Ａ１２の機能検証一覧Ｄ２１０及び性能検証一覧Ｄ２２０を、仮想化管理制御サーバＢ２１を介して、検証用ＥＭＳ（Ｂ３１２）に設定する。
【０１１９】
次にオーケストレータサーバＢ１１の検証実行部Ｆ１２６は、仮想化管理制御サーバＢ２１に、ＭＭＥ（新版）Ａ１２の生成及び起動を要求（指示）する（Ｓ１１１）。この要求において、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２のＶＮＦパッケージ一覧Ｄ１１０をＶＮＦパッケージ管理部Ｆ１１０から取得し、取得したＶＮＦパッケージ一覧Ｄ１１０が示すＶＮＦパッケージ情報に従って、仮想化管理制御サーバＢ２１にＭＭＥ（新版）Ａ１２の生成及び起動を要求する。
【０１２０】
仮想化管理制御サーバＢ２１は、要求に従ってＭＭＥ（新版）Ａ１２を生成し、起動する（Ｓ１１２）。次にオーケストレータサーバＢ１１の検証実行部Ｆ１２６は、検証用ＥＭＳ（Ｂ３１２）に、ＭＭＥ（新版）Ａ１２の検証用ＥＭＳ（Ｂ３１２）への登録を要求する（Ｓ１２１）。検証用ＥＭＳ（Ｂ３１２）のＭＭＥアプリ管理部Ｆ２１１は、要求に従い、ＭＭＥ（新版）Ａ１２を登録する（Ｓ１２２）。
【０１２１】
次にオーケストレータサーバＢ１１の検証実行部Ｆ１２６は、検証用ＥＭＳパッケージ一覧Ｄ１２０のスタブアプリパッケージ一覧Ｄ１２５を参照し、ＭＭＥ（新版）Ａ１２の検証のために生成する必要があるスタブアプリケーションのスタブアプリパッケージ一覧Ｄ１３０を、スタブアプリ構成管理部Ｆ１２５を介して取得する。
【０１２２】
そして、検証実行部Ｆ１２６は、取得したスタブアプリパッケージ一覧Ｄ１３０が示すＶＮＦパッケージ情報に従って、仮想化管理制御サーバＢ２１にＨＳＳスタブアプリＡ０４２の生成及び起動を要求（指示）する（Ｓ１３１）。
【０１２３】
ここで生成するＨＳＳスタブアプリＡ０４２は、運用ＨＳＳ（Ａ０４１）の構成情報を用いたＶＮＦパッケージ情報に従って生成されてもよいため、オーケストレータサーバＢ１１は、運用環境の運用ＨＳＳ（Ａ０４１）と同じ機能を有するＨＳＳスタブアプリＡ０４２を生成可能である。このため、より運用環境に近い状態で検証対象を検証できるため、精度のよい検証が可能である。
【０１２４】
仮想化管理制御サーバＢ２１は、要求に従って、スタブアプリケーション（本実施例においてＨＳＳスタブアプリＡ０４２）を生成し、起動する（Ｓ１３２）。
【０１２５】
次に、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、検証用ＥＭＳ（Ｂ３１２）に、生成したスタブアプリケーションの検証用ＥＭＳ（Ｂ３１２）への登録を要求する（Ｓ１４１）。検証用ＥＭＳ（Ｂ３１２）のスタブアプリ管理部Ｆ２１２は、ＨＳＳスタブアプリＡ０４２を登録する（Ｓ１４２）。
【０１２６】
オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、シーケンスＳ１３１〜Ｓ１４２を、検証用ＥＭＳパッケージ一覧Ｄ１２０が示すスタブアプリパッケージ一覧Ｄ１３０のスタブアプリケーション数分繰り返すことによって、検証に必要なスタブアプリケーションをすべて生成及び起動し、検証用ＥＭＳ（Ｂ３１２）へ登録する。
【０１２７】
図９に示す処理の後、検証実行部Ｆ１２６は、検証用ＥＭＳパッケージ一覧Ｄ１２０に機能検証一覧Ｄ１２６が格納されている場合、図１０に示す処理を実行し、検証用ＥＭＳパッケージ一覧Ｄ１２０に性能検証一覧Ｄ１２７が格納されている場合、図１１に示す処理を実行する。検証用ＥＭＳパッケージ一覧Ｄ１２０は、機能検証一覧Ｄ１２６及び性能検証一覧Ｄ１２７の少なくとも一方を格納してもよい。
【０１２８】
本実施例の検証処理が機能検証及び性能検証の少なくとも一つであることにより、オーケストレータサーバＢ１１及び検証用ＥＭＳ（Ｂ３１２）は、検証対象を様々な内容によって検証することができる。
【０１２９】
図１０は、本実施例のＥＰＣシステムにおける機能検証時の処理を示すシーケンス図である。
【０１３０】
図９に示す処理の後、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、検証用ＥＭＳ（Ｂ３１２）に、ＭＭＥ（新版）Ａ１２の機能検証を要求（指示）する（Ｓ２０１）。検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＭＭＥ（新版）Ａ１２の機能検証を要求された場合、ＭＭＥ（新版）Ａ１２の機能検証一覧Ｄ２１０をメモリから取得する（Ｓ２０２）。
【０１３１】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、取得した機能検証一覧Ｄ２１０に基づいて、ＭＭＥ（新版）Ａ１２の機能検証を実行する。実行する機能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２１３がＭＭＥ（新版）Ａ１２を示す場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＭＭＥ（新版）Ａ１２に、検証内容Ｄ２１２と検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２１４との情報を含む機能検証の実行要求を送信する（Ｓ２１１）。
【０１３２】
そして、ＭＭＥ（新版）Ａ１２は、要求された機能検証を実行し（Ｓ２１２）、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２１４が示すスタブアプリケーション（本実施例においてＨＳＳスタブアプリＡ０４２）と通信し、検証を実行する（Ｓ２１３）。
【０１３３】
実行する機能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２１３がＨＳＳスタブアプリＡ０４２を示す場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＨＳＳスタブアプリＡ０４２に、検証内容Ｄ２１２と検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２１４との情報を含む機能検証の実行要求を送信する（Ｓ２２１）。
【０１３４】
ＨＳＳスタブアプリＡ０４２は、要求された機能検証を実行し（Ｓ２２２）、ＭＭＥ（新版）Ａ１２と機能検証におけるデータ通信を行う（Ｓ２２３）。
【０１３５】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、シーケンスＳ２１１及びＳ２２１を、機能検証一覧Ｄ２１０に記載される機能検証数分繰り返す。
【０１３６】
検証実行部Ｆ２２２は、機能検証の検証結果を、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２のいずれか一方から収集する。そして、機能検証一覧Ｄ２１０が示す機能検証がすべて実行されたことを検知した場合、検証実行部Ｆ２２２は、機能検証の検証結果を、オーケストレータサーバＢ１１に送信する（Ｓ２０３）。
【０１３７】
オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、機能検証の検証結果を受信した場合、機能検証における処理が正常終了又は異常終了かを特定する。
【０１３８】
図１１は、本実施例のＥＰＣシステムにおける性能検証時の処理を示すシーケンス図である。
【０１３９】
図９に示す処理の後、オーケストレータサーバＢ１１は、検証用ＥＭＳ（Ｂ３１２）に、ＭＭＥ（新版）Ａ１２の性能検証を要求（指示）する（Ｓ３０１）。なお、図１１に示す処理は、図１０に示す処理の後に実行されても、前に実行されてもよい。
【０１４０】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＭＭＥ（新版）Ａ１２の性能検証を要求された場合、ＭＭＥ（新版）Ａ１２の性能検証一覧Ｄ２２０を検証用ＥＭＳ（Ｂ３１２）自身に割り当てられたメモリ等から取得する（Ｓ３０２）。
【０１４１】
検証用ＥＭＳ（Ｂ３１２）の運用性能情報取得部Ｆ２２１は、取得した性能検証一覧Ｄ２２０の性能負荷値Ｄ２２５が示す性能について、運用中の最大負荷情報を運用ＥＭＳ（Ｂ３１１）に要求し、取得する（Ｓ３０３）。
【０１４２】
運用ＥＭＳ（Ｂ３１１）のＭＭＥ性能情報管理部Ｆ３２１は、検証用ＥＭＳ（Ｂ３１２）の要求に従い、性能検証における処理と同じ処理をＭＭＥ（旧版）Ａ１１が実行した時の運用ＭＭＥ（旧版）Ａ１１に与えられる最大の負荷情報（例えば、所定の期間において処理したパケット数の最大値）を取得し、検証用ＥＭＳ（Ｂ３１２）に送る。
【０１４３】
検証用ＥＭＳ（Ｂ３１２）の運用性能情報取得部Ｆ２２１は、例えば、取得した負荷情報に必要に応じてマージンを加えることによって、性能検証において用いる負荷値を決定する（Ｓ３０４）。
【０１４４】
運用性能情報取得部Ｆ２２１が、運用ＭＭＥ（旧版）Ａ１１から取得した性能負荷情報に基づいて性能検証負荷値を決定することによって、検証実行部Ｆ２２２は、運用ＭＭＥ（旧版）Ａ１１において実際に運用されている性能負荷とその負荷値とに基づいて性能検証を行うことができる。
【０１４５】
これは、例えば、仮に検証環境を本実施例のＥＰＣシステムとは別に構築した場合、検証環境で想定していなかった性能負荷値及び複数の性能負荷値の組み合わせにおいて、運用環境と検証環境とに差が発生する場合がある。そして、この差により、検証環境では発生しない問題が本番環境で発生する場合がある。本実施例は、運用環境から取得した負荷情報に基づいて、性能検証に用いる負荷値を決定することにより、運用環境と検証環境とに差が発生することを回避できる。
【０１４６】
なお、検証用ＥＭＳ（Ｂ３１２）は、前述のステップＳ３０３において最大負荷情報を取得したが、取得する負荷情報は、いかなる負荷値を含んでも良く、負荷値の平均値を含んでもよいし、最低値を含んでもよいし、中間値を含んでもよい。
【０１４７】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、性能検証一覧Ｄ２２０に基づいて、ＭＭＥ（新版）Ａ１２の性能検証を実行する。実行する性能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２２３がＭＭＥ（新版）Ａ１２である場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＭＭＥ（新版）Ａ１２に、検証内容Ｄ２２２と、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２２４と、ステップＳ３０４において決定した負荷値との情報を含む性能検証の実行要求を送信する（Ｓ３１１）。
【０１４８】
そして、ＭＭＥ（新版）Ａ１２は、要求された性能検証を決定された負荷値を用いて実行し（Ｓ３１２）、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２２４が示すスタブアプリケーション（本実施例においてＨＳＳスタブアプリＡ０４２）と通信し、性能検証を実行する（Ｓ３１３）。
【０１４９】
実行する性能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２２３がＨＳＳスタブアプリＡ０４２である場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、ＨＳＳスタブアプリＡ０４２に、検証内容Ｄ２２２と、検証対向装置（Ｄｅｓｔｉｎａｔｉｏｎ  ＩＰ）Ｄ２２４と、ステップＳ３０４において決定した負荷値との情報を含む性能検証の実行要求を送信する（Ｓ３２１）。
【０１５０】
ＨＳＳスタブアプリＡ０４２は、要求された性能検証を決定された負荷値を用いて実行し（Ｓ３２２）、ＭＭＥ（新版）Ａ１２と性能検証におけるデータ通信を行う（Ｓ３２３）。
【０１５１】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、シーケンスＳ３１１及びＳ３２１を、性能検証一覧Ｄ２２０に記載される性能検証数分繰り返す。
【０１５２】
検証実行部Ｆ２２２は、性能検証の検証結果を、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２のいずれか一方から収集する。そして、性能検証一覧Ｄ２２０が示す性能検証がすべて実行されたことを検知した場合、検証実行部Ｆ２２２は、性能検証の検証結果を、オーケストレータサーバＢ１１に送信する（Ｓ３０５）。
【０１５３】
オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、性能検証の検証結果を受信した場合、性能検証における処理が正常終了又は異常終了かを特定する。
【０１５４】
図１２は、本実施例のオーケストレータサーバＢ１１の検証における処理を示すフローチャートである。
【０１５５】
ＭＭＥ（新版）Ａ１２の検証が開始された場合、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、仮想化管理制御サーバＢ２１に検証用ＥＭＳ（Ｂ３１２）の生成及び起動を指示する（Ｐ１０１）。ステップＰ１０１は、シーケンスＳ１０１に対応する。
【０１５６】
次に、検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２のＶＮＦパッケージ一覧Ｄ１１０を参照し、ＭＭＥ（新版）Ａ１２の初期フレーバを選択し（Ｐ１０２）、選択したフレーバを仮想化管理制御サーバＢ２１に送信することによって、仮想化管理制御サーバＢ２１にＭＭＥ（新版）Ａ１２の生成及び起動を指示する（Ｐ１０３）。ステップＰ１０２及びＰ１０３は、シーケンスＳ１１１に対応する。
【０１５７】
次に、検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２を検証用ＥＭＳ（Ｂ３１２）へ登録するように検証用ＥＭＳ（Ｂ３１２）に指示する（Ｐ１０４）。ステップＰ１０４は、シーケンスＳ１２１に対応する。
【０１５８】
次に、検証実行部Ｆ１２６は、検証用ＥＭＳパッケージ一覧Ｄ１２０及びスタブアプリパッケージ一覧Ｄ１２５を参照し（Ｐ１０５）、スタブアプリパッケージ一覧Ｄ１２５が示すスタブアプリケーションのＶＮＦの中に未起動のＶＮＦがあるかを判定する。
【０１５９】
そして、未起動のスタブアプリケーションのＶＮＦがある場合（Ｐ１０６）、検証実行部Ｆ１２６は、スタブアプリパッケージ一覧Ｄ１２５が示すスタブアプリケーション（ＨＳＳスタブアプリＡ０４２）を生成及び起動するよう、仮想化管理制御サーバＢ２１に指示する（Ｐ１０８）。ステップＰ１０８は、シーケンスＳ１３１に対応する。
【０１６０】
そして、検証実行部Ｆ１２６は、ＨＳＳスタブアプリＡ０４２を検証用ＥＭＳ（Ｂ３１２）へ登録するように仮想化管理制御サーバＢ２１に指示する（Ｐ１０９）。ステップＰ１０９は、シーケンスＳ１４１に対応する。
【０１６１】
検証実行部Ｆ１２６は、スタブアプリパッケージ一覧Ｄ１２５が示すスタブアプリケーションに未起動スタブアプリケーションが存在しなくなるまで、Ｐ１０５、Ｐ１０６、Ｐ１０８、及び、Ｐ１０９を繰り返す。
【０１６２】
未起動スタブアプリケーションが存在しない場合（Ｐ１０７）、検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２の機能検証を、検証用ＥＭＳ（Ｂ３１２）に指示し、さらに検証結果を取得する（Ｐ１１０）。ステップＰ１１０は、シーケンスＳ２０１に対応する。
【０１６３】
なお、検証実行部Ｆ１２６は、検証用ＥＭＳパッケージ一覧Ｄ１２０に機能検証一覧Ｄ１２６が含まれない場合、ステップＰ１１０を実行せず、ステップＰ１１３を実行してもよい。
【０１６４】
検証実行部Ｆ１２６は、検収用ＥＭＳ（Ｂ３１２）から検証結果を取得した場合、ＭＭＥ（新版）Ａ１２の機能検証が正常終了したかを判定する。異常終了した場合（Ｐ１１２）、検証実行部Ｆ１２６は、オーケストレータクライアントＢ１２を介して保守者に異常を通知し（Ｐ１２２）、処理を終了する。
【０１６５】
機能検証が正常終了した場合（Ｐ１１１）、検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２の性能検証を、検証用ＥＭＳ（Ｂ３１２）に指示し、検証結果を取得する（Ｐ１１３）。ステップＰ１１３は、シーケンスＳ３０１に対応する。
【０１６６】
検証実行部Ｆ１２６は、検収用ＥＭＳ（Ｂ３１２）から検証結果を取得した場合、ＭＭＥ（新版）Ａ１２の性能検証が正常終了したかを検証結果に基づいて判定する。性能検証が正常終了した場合（Ｐ１１４）、検証実行部Ｆ１２６は、機能検証及び性能検証の結果を保守者に通知し、処理を終了する（Ｐ１１６）。
【０１６７】
ＭＭＥ（新版）Ａ１２の性能検証が異常終了した場合、オーケストレータサーバＢ１１の検証実行部Ｆ１２６は、ＭＭＥ（新版）Ａ１２のＶＮＦパッケージ一覧Ｄ１１０のＶＮＦフレーバリストＤ１１３を参照し（Ｐ１１７）、初期フレーバ以外に適用すべきフレーバの候補が存在するかを判定する。
【０１６８】
適用すべきフレーバの候補が存在する場合（Ｐ１１８）、検証実行部Ｆ１２６は、適用するフレーバをフレーバの候補に変更することを決定し（Ｐ１２０）、ＭＭＥ（新版）Ａ１２を、決定したフレーバにリサイズして起動するよう、仮想化管理制御サーバＢ２１に指示する（Ｐ１２１）。なお、ＭＭＥ（新版）Ａ１２のリサイズはいかなる方法を用いてもよい。
【０１６９】
オーケストレータサーバＢ１１は、ステップＰ１１０〜Ｐ１１３、Ｐ１１７、Ｐ１１８、Ｐ１２０、Ｐ１２１を、適用すべきフレーバの候補がなくなるまで繰り返す。これによって、オーケストレータサーバＢ１１は、性能検証が正常終了となるような、ＭＭＥ（新版）Ａ１２のフレーバを選択でき、さらに、ＭＭＥ（新版）Ａ１２が正常に稼働する仮想マシンＣ０４の設定を特定することができる。
【０１７０】
フレーバの候補がない場合（Ｐ１１９）、検証実行部Ｆ１２６は、ステップＰ１２２を実行し、処理を終了する。
【０１７１】
図１３は、本実施例の検証用ＥＭＳ（Ｂ３１２）の機能検証における処理を示すフローチャートである。
【０１７２】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、オーケストレータサーバＢ１１からの機能検証実行要求を受け付けた場合（Ｐ２０１）、機能検証一覧Ｄ２１０から、ＭＭＥ（新版）Ａ１２の機能検証一覧Ｄ２１０を参照する（Ｐ２０２）。
【０１７３】
検証実行部Ｆ２２２は、機能検証一覧Ｄ２１０が示す機能検証に未実行の機能検証があるかを判定し、未実行の機能検証がある場合（Ｐ２０３）、未実行の機能検証の検証内容Ｄ２１２を実行する検証内容に決定する（Ｐ２０４）。
【０１７４】
そして、検証実行部Ｆ２２２は、実行する機能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２１３を特定する（Ｐ２０６）。ここで特定される検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２１３は、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２のいずれか一方である。
【０１７５】
検証実行部Ｆ２２２は、特定した検証契機装置に検証内容を送り、機能検証の実行を指示する（Ｐ２０７）。ステップＰ２０７は、シーケンスＳ２１１及びＳ２２１に対応する。
【０１７６】
機能検証が終了した場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、機能検証の実行を指示した装置から検証結果を取得する（Ｐ２０８）。そして、検証用ＥＭＳ（Ｂ３１２）は、Ｐ２０２〜Ｐ２０８を未実施の機能検証が存在しなくなるまで繰り返す。
【０１７７】
機能検証一覧Ｄ２１０が示す機能検証をすべて実行した場合（Ｐ２０４）、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、オーケストレータサーバＢ１１へ機能検証結果を通知し（Ｐ２０９）、処理を終了する。
【０１７８】
図１４は、本実施例の検証用ＥＭＳ（Ｂ３１２）の性能検証における処理を示すフローチャートである。
【０１７９】
検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２が、オーケストレータサーバＢ１１からの性能検証実行要求を受け付けた場合（Ｐ３０１）、運用性能情報取得部Ｆ２２１は、運用ＥＭＳ（Ｂ３１１）から運用ＭＭＥ（旧版）Ａ１１が収集した性能負荷情報を取得する（Ｐ３０２）。ステップＰ３０１は、シーケンスＳ３０１に対応する。ステップＰ３０２は、シーケンスＳ３０３に対応する。
【０１８０】
検証用ＥＭＳ（Ｂ３１２）の運用性能情報取得部２２１は、運用ＥＭＳ（Ｂ３１１）から取得した性能負荷情報に基づいて、性能検証の負荷値を決定する（Ｐ３０３）。そして、運用性能情報取得部２２１は、決定した負荷値を、性能検証一覧Ｄ２２０に格納する。
【０１８１】
ステップＰ３０３の後、検証実行部Ｆ２２２は、性能検証一覧Ｄ２２０から、ＭＭＥ（新版）Ａ１２の性能検証一覧Ｄ２２０を参照する（Ｐ３０４）。
【０１８２】
検証実行部Ｆ２２２は、性能検証一覧Ｄ２２０が示す性能検証に未実行の性能検証があるかを判定し、未実行の性能検証がある場合（Ｐ３０５）、未実行の性能検証の検証内容Ｄ２２２を、検証内容に決定する（Ｐ３０６）。
【０１８３】
そして、検証実行部Ｆ２２２は、実行する性能検証の検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２２３を特定する（Ｐ３０７）。ここで特定される検証契機装置（Ｓｏｕｒｃｅ  ＩＰ）Ｄ２２３は、ＭＭＥ（新版）Ａ１２及びＨＳＳスタブアプリＡ０４２のいずれか一方である。
【０１８４】
検証実行部Ｆ２２２は、特定した検証契機装置に検証内容、及び決定した負荷値等を含む情報を送り、性能検証の実行を指示する（Ｐ３０８）。ステップＰ３０８は、シーケンスＳ３１１及びＳ３２１に対応する。
【０１８５】
性能検証が終了した場合、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、性能検証の実行を指示した装置から検証結果を取得する（Ｐ３０９）。検証用ＥＭＳ（Ｂ３１２）は、ステップＰ２０２〜Ｐ２０８を未実施の性能検証が存在しなくなるまで繰り返す。
【０１８６】
性能検証一覧Ｄ２２０が示す性能検証をすべて実行した場合（Ｐ３１０）、検証用ＥＭＳ（Ｂ３１２）の検証実行部Ｆ２２２は、オーケストレータサーバＢ１１へ性能検証結果の通知し（Ｐ３１１）、処理を終了する。
【０１８７】
本実施例によれば、検証対象のＭＭＥ（新版）Ａ１２とＨＳＳスタブアプリＡ０４２の両方を運用環境（本番環境）である仮想化ＥＰＣシステムに構築し検証する。このため、機能間での処理の連携があるネットワークアプリケーション（本実施例のＭＭＥ（新版）Ａ１２）を検証する際に、検証環境を運用環境とは別に構築する必要がなく、保守作業負荷を低減できる。また、運用環境における精度の高い検証が可能であるため、ソフトウェア更新時も運用環境の安定稼働を実現できる。
【０１８８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細を説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
【０１８９】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。
【０１９０】
また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル又はファイル等の情報は、メモリ、ハードディスク、若しくは、Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ（ＳＳＤ）等の記録装置、又は、ＩＣカード、ＳＤカード、若しくはＤＶＤ等の記憶媒体に置くことができる。
【符号の説明】
【０１９１】
Ａ０１  ＭＭＥ（モビリティ管理エンティティ）
Ａ１１  運用ＭＭＥ（旧版）
Ａ１２  ＭＭＥ（新版）
Ａ０２  ＳＧＷ（サービングゲートウェイ）
Ａ０３  ＰＧＷ（パケットデータゲートウェイ）
Ａ０４  ＨＳＳ（加入者管理サーバ）
Ａ０４１  運用ＨＳＳ
Ａ０４２  ＨＳＳスタブアプリ
Ｂ１１  オーケストレータサーバ
Ｂ１２  オーケストレータクライアント
Ｂ２１  仮想化管理制御サーバ
Ｂ２２  仮想化管理制御エージェント
Ｂ３１１  運用ＥＭＳ
Ｂ３１２  検証用ＥＭＳ
【図１】
2017016392.tif 000003
【図２】
2017016392.tif 000004
【図３】
2017016392.tif 000005
【図４】
2017016392.tif 000006
【図５】
2017016392.tif 000007
【図６】
2017016392.tif 000008
【図７】
2017016392.tif 000009
【図８】
2017016392.tif 000010
【図９】
2017016392.tif 000011
【図１０】
2017016392.tif 000012
【図１１】
2017016392.tif 000013
【図１２】
2017016392.tif 000014
【図１３】
2017016392.tif 000015
【図１４】
2017016392.tif 000016