(57)【要約】  ＮＦＶ環境にてサービス影響の少ないシームレスな仮想マシンの移行を行うことを目的とする。ＶＩＭ１６は、仮想化された通信機能であるＶＮＦ１２を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成されるＮＦＶ環境１に含まれる、仮想化資源各々を管理するＶＩＭ１６であって、移行元の仮想マシンから移行先の仮想マシンへのネットワークフローの切り替えを行う、又は、移行元のＡＣＴ（Ａｃｔｉｖｅ）系仮想マシンと移行先のＳＢＹ（Ｓｔａｎｄｂｙ）系仮想マシンとの系の切り替えを行う、切替部２３を備える。ＶＩＭ１６は、移行先の仮想マシンを増設する増設部２１をさらに備え、切替部２３は、移行元の仮想マシンから、増設部２１によって増設された移行先の仮想マシンへのネットワークフローの切り替えを行ってもよい。
2015146374.tif 000002
【特許請求の範囲】
【請求項１】
仮想化された通信機能である仮想通信機能を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成される通信システムに含まれる、仮想化資源各々を管理する仮想化資源管理ノードであって、
移行元の仮想マシンから移行先の仮想マシンへのネットワークフローの切り替えを行う、又は、移行元のＡＣＴ（Ａｃｔｉｖｅ）系仮想マシンと移行先のＳＢＹ（Ｓｔａｎｄｂｙ）系仮想マシンとの系の切り替えを行う、切替手段、
を備える仮想化資源管理ノード。
【請求項２】
移行先の仮想マシンを増設する増設手段をさらに備え、
前記切替手段は、移行元の仮想マシンから、前記増設手段によって増設された移行先の仮想マシンへのネットワークフローの切り替えを行う、
請求項１に記載の仮想化資源管理ノード。
【請求項３】
移行先のＳＢＹ系仮想マシンを増設する増設手段をさらに備え、
前記切替手段は、移行元のＡＣＴ系仮想マシンと、前記増設手段によって増設された移行先のＳＢＹ系仮想マシンとの系の切り替えを行う、
請求項１に記載の仮想化資源管理ノード。
【請求項４】
移行元のＳＢＹ系仮想マシンを移行先のＳＢＹ系仮想マシンへライブマイグレーションにより移行する移行手段をさらに備え、
前記切替手段は、移行元のＡＣＴ系仮想マシンと、前記移行手段によって移行された移行先のＳＢＹ系仮想マシンとの系の切り替えを行う、
請求項１に記載の仮想化資源管理ノード。
【請求項５】
前記通信システムは、仮想化資源全体の管理を行う全体管理ノードをさらに含み、
当該仮想化資源管理ノードは、
仮想マシンの移行を要求する移行要求を前記全体管理ノードに送信し、その応答として、前記全体管理ノードにて所定の判定基準に基づいて判定された当該仮想マシンの移行の可否を示す移行可否を当該全体管理ノードから受信する移行可否取得手段をさらに備え、
前記切替手段は、前記移行可否取得手段によって受信された移行可否が移行可を示す場合に、前記切り替えを行う、
請求項１〜４の何れか一項に記載の仮想化資源管理ノード。
【請求項６】
前記通信システムは、仮想化資源全体の管理を行う全体管理ノードをさらに含み、
前記切替手段は、当該仮想化資源管理ノードが仮想マシンの移行を要求する移行要求を前記全体管理ノードに送信し、当該移行要求を受信した前記全体管理ノードが移行元の仮想マシンのサービス状態を確認した後に移行元の仮想マシンのサービス状態を変更する要求を行い、当該要求に基づいてサービス状態を変更した移行元の仮想マシンからの応答を当該仮想化資源管理ノードが受信した後に、前記切り替えを行う、
請求項１〜４の何れか一項に記載の仮想化資源管理ノード。
【請求項７】
仮想化された通信機能である仮想通信機能を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成される通信システムに含まれる、仮想化資源各々を管理する仮想化資源管理ノードにより実行される仮想マシン移行方法であって、
移行元の仮想マシンから移行先の仮想マシンへの、ネットワークフローの切り替えを行う、又は、移行元のＡＣＴ（Ａｃｔｉｖｅ）系仮想マシンと移行先のＳＢＹ（Ｓｔａｎｄｂｙ）系仮想マシンとの、系の切り替えを行う、切替ステップ、
を含む仮想マシン移行方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想マシンの移行に関する仮想化資源管理ノード及び仮想マシン移行方法に関する。
【背景技術】
【０００２】
従来から、様々な目的で、サーバ仮想化技術によってコンピュータを仮想マシン（ＶＭ：Virtual  Machine）とすることが行われている。また、この技術によって、移動体通信網（移動通信ネットワーク）のコアネットワークにおけるノード（コアノード）を仮想マシンとすることが検討されている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ETSI  Group  Specification  (ETSI  GS  NFV  002  v1.1.1  (2013.10))  Network  Functions  Virtualisation  (NFV);  Architectural  Framework
【発明の概要】
【発明が解決しようとする課題】
【０００４】
移動体通信網のコアノードは、上記非特許文献１に開示されているＮＦＶ（Network  Functions  Virtualisation）環境において、仮想マシン上の仮想化された通信機能であるＶＮＦ（Virtual  Network  Function）によって実現される。また、移動体通信網の管理を、ＶＮＦＭ（ＶＮＦ  Manager）、ＶＩＭ（Virtualised  Infrastructure  Manager）及びオーケストレータ（Orchestrator）の３つの機能エンティティで行う。ＶＮＦＭは、ＶＮＦの管理機能を有する。ＶＩＭは、仮想マシンが実現される物理サーバ（物理的なサーバ、仮想化資源）の状況を監視し、ＶＮＦＭ又はオーケストレータからの制御によって物理サーバ上に仮想マシン及びＶＮＦを生成、削除する。オーケストレータは、複数のＶＩＭにまたがる全体の資源管理を行う。【０００５】
ここで、一般的なクラウドサービスでは、仮想化リソース利用効率化のための仮想マシン片寄せやハードウェア軽度故障時の仮想マシン退避、リソースプールキャパシティアップ、ハードウェア更改等を目的として仮想マシンの移行が行われる。仮想マシンの移行はスケールアウト／インや再起動、ライブマイグレーションなどによって行われるが、仮想マシンの起動・停止、ライブマイグレーションによる一時的な高負荷や瞬断が発生するなどサービスに影響が出る場合がある。【０００６】
上述のＮＦＶ環境によって実現される通信事業の仮想化においても、通信事業者が前述の理由により仮想マシンの移行を実施することが想定される。しかしながら、通信事業者によって提供されるサービスは２４時間３６５日サービス無中断が基本であるため、仮想マシンの停止や高負荷状態、瞬断など仮想マシン上で提供されるサービスのエンドユーザに影響が出るオペレーションは回避する必要がある。【０００７】
そこで、本発明は、かかる課題に鑑みて為されたものであり、ＮＦＶ環境にてサービス影響の少ないシームレスな仮想マシンの移行を行うことができる仮想化資源管理ノード及び仮想マシン移行方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一側面の仮想化資源管理ノードは、仮想化された通信機能である仮想通信機能を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成される通信システムに含まれる、仮想化資源各々を管理する仮想化資源管理ノードであって、移行元の仮想マシンから移行先の仮想マシンへのネットワークフローの切り替えを行う、又は、移行元のＡＣＴ（Ａｃｔｉｖｅ）系仮想マシンと移行先のＳＢＹ（Ｓｔａｎｄｂｙ）系仮想マシンとの系の切り替えを行う、切替手段、を備える。【０００９】
このような装置によれば、切替手段により、移行元の仮想マシンから移行先の仮想マシンへのネットワークフローの切り替えが行われる、又は、移行元のＡＣＴ系仮想マシンと移行先のＳＢＹ系仮想マシンとの系の切り替えが行われる。かかる構成を採れば、移行元の仮想マシンから移行先の仮想マシンへの切り替え、又は、移行元のＡＣＴ系仮想マシンと移行先のＳＢＹ系仮想マシンとの系の切り替えが、サービス影響が少なく、シームレスに行うことができる。すなわち、ＮＦＶ環境にてサービス影響の少ないシームレスな仮想マシンの移行を行うことができる。【００１０】
また、本発明の一側面の仮想化資源管理ノードにおいて、移行先の仮想マシンを増設する増設手段をさらに備え、切替手段は、移行元の仮想マシンから、増設手段によって増設された移行先の仮想マシンへのネットワークフローの切り替えを行うこととしてもよい。かかる構成を採れば、例えば、ネットワークフローの切り替えによるスケールアウト／インが確実に実現できる。【００１１】
また、本発明の一側面の仮想化資源管理ノードにおいて、移行先のＳＢＹ系仮想マシンを増設する増設手段をさらに備え、切替手段は、移行元のＡＣＴ系仮想マシンと、増設手段によって増設された移行先のＳＢＹ系仮想マシンとの系の切り替えを行うこととしてもよい。かかる構成を採れば、例えば、ＡＣＴ系／ＳＢＹ系間の系切り替えによるスケールアウト／インが確実に実現できる。【００１２】
また、本発明の一側面の仮想化資源管理ノードにおいて、移行元のＳＢＹ系仮想マシンを移行先のＳＢＹ系仮想マシンへライブマイグレーションにより移行する移行手段をさらに備え、切替手段は、移行元のＡＣＴ系仮想マシンと、移行手段によって移行された移行先のＳＢＹ系仮想マシンとの系の切り替えを行うこととしてもよい。かかる構成を採れば、例えば、ＡＣＴ系／ＳＢＹ系間の系切り替えによるライブマイグレーションが確実に実現できる。【００１３】
また、本発明の一側面の仮想化資源管理ノードにおいて、通信システムは、仮想化資源全体の管理を行う全体管理ノードをさらに含み、当該仮想化資源管理ノードは、仮想マシンの移行を要求する移行要求を全体管理ノードに送信し、その応答として、全体管理ノードにて所定の判定基準に基づいて判定された当該仮想マシンの移行の可否を示す移行可否を当該全体管理ノードから受信する移行可否取得手段をさらに備え、切替手段は、移行可否取得手段によって受信された移行可否が移行可を示す場合に、切り替えを行うこととしてもよい。かかる構成を採れば、仮想化資源全体の管理を行う全体管理ノードにて仮想マシンの移行可否が判定され、移行可の場合に切り替えを行うため、ＮＦＶ環境にてより安全かつ確実に仮想マシンの移行を行うことができる。【００１４】
ところで、本発明は、上記のように仮想化資源管理ノードの発明として記述できる他に、以下のように仮想マシン移行方法の発明としても記述することができる。これはカテゴリが異なるだけで、実質的に同一の発明であり、同様の作用及び効果を奏する。【００１５】
即ち、本発明の一側面に係る仮想マシン移行方法は、仮想化された通信機能である仮想通信機能を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成される通信システムに含まれる、仮想化資源各々を管理する仮想化資源管理ノードにより実行される仮想マシン移行方法であって、移行元の仮想マシンから移行先の仮想マシンへの、ネットワークフローの切り替えを行う、又は、移行元のＡＣＴ（Ａｃｔｉｖｅ）系仮想マシンと移行先のＳＢＹ（Ｓｔａｎｄｂｙ）系仮想マシンとの、系の切り替えを行う、切替ステップ、を含む。
【発明の効果】
【００１６】
本発明によれば、ＮＦＶ環境にてサービス影響の少ないシームレスな仮想マシンの移行を行うことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態に係る移動体通信システムのシステム概要図である。
【図２】本発明の実施形態に係る仮想化資源管理ノードの機能ブロック図である。
【図３】本発明の実施形態に係る仮想化資源管理ノードのハードウェア構成を示す図である。
【図４】仮想マシン移行可否状態管理テーブルのテーブル例を示す図である。
【図５】判定条件の例を示すテーブル図である。
【図６】本実施形態のＮＦＶ環境における移行可否判定時の処理（仮想マシン移行要求共通シーケンス）を示すシーケンス図である。
【図７】本実施形態のＮＦＶ環境における仮想マシン移行処理（シーケンス１）を示すシーケンス図である。
【図８】本実施形態のＮＦＶ環境における移行可否判定時の別の処理（状態変更可共通シーケンス）を示すシーケンス図である。
【図９】本実施形態のＮＦＶ環境における移行不可時の処理（移行不可共通シーケンス）を示すシーケンス図である。
【図１０】移行手法１による処理におけるＮＦＶ環境の第１状態（初期状態）を示す図である。
【図１１】移行手法１による処理におけるＮＦＶ環境の第２状態を示す図である。
【図１２】移行手法１による処理におけるＮＦＶ環境の第３状態を示す図である。
【図１３】移行手法１による処理におけるＮＦＶ環境の第４状態を示す図である。
【図１４】本実施形態のＮＦＶ環境における系切替時の処理（シーケンス２）を示すシーケンス図である。
【図１５】移行手法２による処理におけるＮＦＶ環境の第１状態（初期状態）を示す図である。
【図１６】移行手法２による処理におけるＮＦＶ環境の第２状態を示す図である。
【図１７】移行手法２による処理におけるＮＦＶ環境の第３状態を示す図である。
【図１８】移行手法２による処理におけるＮＦＶ環境の第４状態を示す図である。
【図１９】移行手法２による処理におけるＮＦＶ環境の第５状態を示す図である。
【図２０】移行手法２による処理におけるＮＦＶ環境の第６状態を示す図である。
【図２１】本実施形態のＮＦＶ環境におけるライブマイグレーションと合わせた系切替時の処理（シーケンス３）を示すシーケンス図である。
【図２２】移行手法３による処理におけるＮＦＶ環境の第１状態（初期状態）を示す図である。
【図２３】移行手法３による処理におけるＮＦＶ環境の第２状態を示す図である。
【図２４】移行手法３による処理におけるＮＦＶ環境の第３状態を示す図である。
【図２５】移行手法３による処理におけるＮＦＶ環境の第４状態を示す図である。
【図２６】本実施形態に係るＶＩＭにおける仮想マシン移行処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面とともに装置、方法及びプログラムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１９】
図１は、本発明の実施形態に係るＶＩＭ１６を含むＮＦＶ環境１（通信システム）のシステム概要図である。ＮＦＶ環境１は、上記非特許文献１に開示されたＮＦＶ（Network  Functions  Virtualisation）に準じた環境（アーキテクチャ）であり、移動体通信網のコアネットワークを構成する。また、ＮＦＶ環境１は、仮想化された通信機能である後述のＶＮＦ１２を有する仮想マシンが実現される物理マシンを含む仮想化資源を含んで構成される。図１に示す通り、ＮＦＶ環境１は、ＯＳＳ／ＢＳＳ１０と、ＮＦＶＩ１１と、ＶＮＦ１２（仮想通信機能）と、ＥＭＳ１３と、オーケストレータ１４（全体管理ノード）と、ＶＮＦＭ１５と、ＶＩＭ１６（仮想化資源管理ノード）とを含んで構成される。なお、互いに情報の送受信が必要な構成要素間は、有線等で接続されており、情報の送受信が可能となっている。
【００２０】
ＮＦＶ環境１は、図示しない移動通信端末（移動機）に移動体通信の機能を提供するシステムである。移動通信端末は、ユーザにより用いられて移動体通信システム（移動体通信網）に無線通信によって接続して移動体通信を行う装置である。具体的には、移動通信端末は、携帯電話機等に相当する。移動通信端末は、例えば、ＮＦＶ環境１を介して対向ノードとの間で呼接続を確立して通信を行う。移動通信端末は、例えば、移動通信端末のユーザがＮＦＶ環境１の通信事業者と契約することによって移動体通信を行うことが可能になる。なお、移動通信端末は、従来の移動通信端末と同様のものでよい。
【００２１】
ＮＦＶＩ１１は、仮想化環境を構成する物理資源、仮想化層、仮想化資源である。物理資源には、計算資源、記憶資源、伝送資源が含まれる。仮想化層は、物理資源を仮想化しＶＮＦ１２（ＡＰＬ）に提供する（例えば、ハイパーバイザー）。仮想化資源は、ＶＮＦ１２に提供される仮想化されたインフラ資源である。即ち、ＮＦＶＩ１１は、ＮＦＶ環境１において通信処理を行う物理的なサーバ装置である物理サーバを含んで構成されている仮想化資源である。物理サーバは、ＣＰＵ（コア、プロセッサ）、メモリ、及びハードディスク等の記憶手段を備えて構成される。通常、ＮＦＶＩ１１を構成する物理サーバは、複数まとめてデータセンタ（ＤＣ）等の拠点に配置される。データセンタでは、配置された物理サーバがデータセンタ内部のネットワークによって接続されており、互いに情報の送受信を行うことができるようになっている。また、ＮＦＶ環境１には、複数のデータセンタが設けられている。データセンタ間はネットワークで接続されており、異なるデータセンタに設けられた物理サーバはそのネットワークを介して互いに情報の送受信を行うことができる。
【００２２】
ＶＮＦ１２は、通信処理を実行する仮想的な通信処理ノードである仮想サーバ（が有する通信処理を実行する機能）である。ＶＮＦ１２は、ＮＦＶＩ１１において実現される。ＶＮＦ１２は、例えば、仮想マシン（ＶＭ）技術が利用されて、ＮＦＶＩ１１が備えるＣＰＵがＶＮＦ１２用に割り当てられて、割り当てられたＣＰＵ上において仮想マシンが実現され、仮想マシン上でプログラムが実行されることにより実現される。ＶＮＦ１２は、通常、実行する通信処理に応じて生成（実現）される。また、ＶＮＦ１２は、その構成要素であるＶＮＦＣ（Virtual  Network  Function  Components）を複数含むものとして構成されていてもよい。
【００２３】
ＮＦＶ環境１には、１以上（あるいは複数）のＶＮＦ１２が含まれる。ＶＮＦ１２は、ＩＭＳでは、ＣＳＣＦ（Call  Session  Control  Function）、ＡＳ（ApplicationServer）等のノードに相当する。あるいは、ＶＮＦ１２は、移動体通信システムの一つであるＧＰＲＳ（GeneralPacket  Radio  Service）システムでは例えば、ＳＧＳＮ（Serving  GPRS  SupportNode）、ＬＴＥ／ＥＰＣ（Long  Term  Evolution/Evolved  Packet  Core）システムでは、ＭＭＥ（Mobility  Management  Entity）やＳ−ＧＷ（Serving  Gateway）等のノードに相当する。
【００２４】
ＥＭＳ１３は、ＶＮＦ１２を監視及び制御するノードである。ＥＭＳ１３も、ＶＮＦ１２と同様にＮＦＶＩ１１において仮想的に実現される。ＥＭＳ１３は、ＶＮＦ１２に対応付けられて（例えば、図１に示すようにＶＮＦ１２と一対一の関係で）生成される。ＥＭＳ１３は、対応付けられたＶＮＦ１２の監視及び制御を行う。ＥＭＳ１３は、ＶＮＦ１２のＦＣＡＰＳ（障害、構成、課金、性能、セキュリティ）管理を行う。ＥＭＳ１３は、前述の説明のように仮想的に実現しても良いし、ＦＣＡＰＳ管理を行う上で管理の複雑性を避けるために物理的に実現しても良い。
【００２５】
ＯＳＳ／ＢＳＳ１０は、ＮＦＶ環境１におけるサービス管理を行い、オーケストレータ１４等にＮＦＶ環境１での通信機能に係る指示を行うノードである。例えば、ＯＳＳ／ＢＳＳ１０は、オーケストレータ１４等に対して、新たな通信機能（通信サービス）を起動するように指示を行う。また、ＯＳＳ／ＢＳＳ１０は、ＥＭＳ１３から情報を受け取り、その情報に基づいてオーケストレータ１４等又はＥＭＳ１３に対して指示を行う。また、ＯＳＳ／ＢＳＳ１０は、ＮＦＶ環境１に係る通信事業者によって操作されえる。
【００２６】
オーケストレータ１４は、仮想化資源であるＮＦＶＩ１１全体の管理を行う全体管理ノード（機能エンティティ）である。オーケストレータ１４は、ＯＳＳ／ＢＳＳ１０（のうちのＯＳＳ）からの指示を受信し、当該指示に応じた処理を行う。オーケストレータ１４は、インフラと通信サービスの移動体通信網の仮想化資源全体にわたる管理を行う。オーケストレータ１４は、複数のＶＮＦ１２から構成される通信サービスをＶＮＦＭ１５及びＶＩＭ１６を経由して適切な場所に実現する。例えば、サービスのライフサイクル管理（具体的には例えば、生成、更新、スケール制御、イベント収集）、移動体通信網内全体にわたる資源の分散・予約・割当管理、サービス・インスタンス管理、及びポリシー管理（具体的には例えば、リソースの予約・割当、地理・法令等に基づく最適配置）を行う。
【００２７】
ＶＮＦＭ１５は、ＶＮＦ１２を管理する仮想通信機能管理ノード（機能エンティティ）である。ＶＮＦＭ１５は、ＮＦＶ環境１に複数、設けられていてもよい。その場合、ＶＮＦ１２毎に管理されるＶＮＦＭ１５が予め定められていてもよい。ＶＮＦＭ１５は、ＶＮＦ１２（ＡＰＬ）のライフサイクル管理を行う。ＶＮＦＭ１５は、ＶＮＦ１２の仮想化に関わる制御全般を行う。例えば、ＶＮＦ１２インスンタスの生成、更新、スケール制御、終了、オートヒーリング（自動ヒーリング）を行う。
【００２８】
ＶＩＭ１６は、ＮＦＶＩ１１におけるＶＮＦ１２が実現される単位の仮想化資源（インフラリソース）各々を管理する仮想化資源管理ノード（機能エンティティ）である。具体的には、資源の割当・更新・回収の管理、仮想資源と物理との関連付け、ハードウェア資源とＳＷ資源（ハイパーバイザー）一覧の管理を行う。通常、ＶＩＭ１６は、データセンタ（局舎）毎に管理を行う。仮想化資源の管理は、データセンタに応じた方式で行われえる。データセンタの管理方式（管理資源の実装方式）は、ＯＰＥＮＳＴＡＣＫやｖＣｅｎｔｅｒ等の種類がある。通常、ＶＩＭ１６は、データセンタの管理方式毎に設けられる。即ち、ＮＦＶ環境１には、互いに異なる方式で、ＮＦＶＩ１１におけるＶＮＦ１２が実現される単位の仮想化資源各々を管理する複数のＶＩＭ１６が含まれる。なお、異なる管理方式で管理される仮想化資源の単位は、必ずしもデータセンタ単位でなくてもよい。
【００２９】
なお、オーケストレータ１４、ＶＮＦＭ１５及びＶＩＭ１６は、物理的なサーバ装置上でプログラムが実行されることにより実現される（但し仮想化上で実現されることを制限するものでは無く、管理系統を分離した上で、仮想化上で実現してもよい）。オーケストレータ１４、ＶＮＦＭ１５及びＶＩＭ１６は、それぞれ別々の物理的なサーバ装置で実現されていてもよいし、同じサーバ装置で実現されていてもよい。オーケストレータ１４、ＶＮＦＭ１５及びＶＩＭ１６（を実現するためのプログラム）は、別々のベンダから提供されていてもよい。
【００３０】
なお、上記アーキテクチャは、上記非特許文献１に記載されたものに準じたものである。また、ＮＦＶ環境１には、移動体通信機能を実現するために、上記以外の構成要素が含まれていてもよい、例えば、ＮＦＶ環境１には、基地局の装置及びオープンフローネットワーク（上記のような仮想化されたものも含む）等が含まれていてもよい。
【００３１】
図２は、ＶＩＭ１６の機能ブロック図である。図２に示す通り、ＶＩＭ１６は、移行可否取得部２０（移行可否取得手段）、増設部２１（増設手段）、移行部２２（移行手段）及び切替部２３（切替手段）を含んで構成される。
【００３２】
ＶＩＭ１６は、ＣＰＵ等のハードウェアから構成されているものである。図３は、ＶＩＭ１６のハードウェア構成の一例を示す図である。図２に示されるＶＩＭ１６は、物理的には、図３に示すように、ＣＰＵ１００、主記憶装置であるＲＡＭ１０１及びＲＯＭ１０２、ディスプレイ等の入出力装置１０３、通信モジュール１０４、及び補助記憶装置１０５などを含むコンピュータシステムとして構成されている。
【００３３】
図２に示すＶＩＭ１６の各機能ブロックの機能は、図３に示すＣＰＵ１００、ＲＡＭ１０１等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１００の制御のもとで入出力装置１０３、通信モジュール１０４、及び補助記憶装置１０５を動作させるとともに、ＲＡＭ１０１におけるデータの読み出し及び書き込みを行うことで実現される。
【００３４】
以下、図２に示すＶＩＭ１６の各機能ブロックについて説明する。
【００３５】
増設部２１は、移行元の仮想マシン及び移行先の仮想マシンを増設する。より具体的には、増設部２１は、移行元のＳＢＹ系仮想マシン、移行元のＡＣＴ系仮想マシン、移行先のＳＢＹ系仮想マシン及び移行先のＡＣＴ系仮想マシンを増設する。
【００３６】
ここで、ＡＣＴ系及びＳＢＹ系とは、仮想マシン内部で動作するアプリケーションのサービス状態を表す用語である。ＡＣＴ系は、サービスを提供中であることを示す。一方、ＳＢＹ系は、ＡＣＴの予備系として動作していることを示す。保守者のオペレーションや故障契機でＡＣＴ系からサービス状態を引き継ぎ、自身（ＳＢＹ系）がＡＣＴ系に遷移することが可能である。
【００３７】
移行部２２は、移行元のＳＢＹ系仮想マシンを移行先のＳＢＹ系仮想マシンへライブマイグレーションにより移行する。また、移行部２２は、移行元のＡＣＴ系仮想マシンを移行先のＡＣＴ系仮想マシンへライブマイグレーションにより移行してもよい。
【００３８】
移行可否取得部２０は、仮想マシンの移行を要求する移行要求をオーケストレータ１４に送信し、その応答として、オーケストレータ１４にて所定の判定基準に基づいて判定された当該仮想マシンの移行の可否を示す移行可否を当該オーケストレータ１４から受信する。図４は、オーケストレータ１４にて格納された仮想マシン移行可否状態管理テーブルのテーブル例を示す図である。図４に示す通り、仮想マシン移行可否状態管理テーブルでは、仮想マシンの識別情報である仮想マシンＩＤごとに、移行可否状態（「可」が移行可を示し、「不可」が移行不可を示す）が対応付いている。オーケストレータ１４は、オーケストレータ１４に格納された仮想マシン移行可否状態管理テーブルに基づいて、仮想マシンの移行の可否を判定してもよい。
【００３９】
仮想マシン移行可否状態管理テーブルの移行可否状態は、ＯＳＳ／ＢＳＳ１０及びオーケストレータ１４間で判定条件を決めて設定する。図５は、判定条件の例を示すテーブル図である。オーケストレータ１４は、図５に示す判定条件を、ａｎｄ条件もしくはｏｒ条件で使用し、仮想マシンの移行の可否を判定してもよい。
【００４０】
切替部２３は、移行元の仮想マシンから移行先の仮想マシンへのネットワークフローの切り替えを行う、又は、移行元のＡＣＴ系仮想マシンと移行先のＳＢＹ系仮想マシンとの系の切り替えを行う。より具体的には、切替部２３は、移行元の仮想マシンから、増設部２１によって増設された移行先の仮想マシンへのネットワークフローの切り替えを行う。また、切替部２３は、移行元のＡＣＴ系仮想マシンと、増設部２１によって増設された移行先のＳＢＹ系仮想マシンとの系の切り替えを行ってもよい。また、切替部２３は、移行元のＡＣＴ系仮想マシンと、移行部２２によって移行された移行先のＳＢＹ系仮想マシンとの系の切り替えを行ってもよい。また、切替部２３は、移行可否取得部２０によって受信された移行可否が移行可を示す場合に、切り替えを行ってもよい。
【００４１】
［移行手法１：スケールアウト／イン＋ネットワーク切替］
以下では、図６〜９のシーケンス図及び図１０〜１３のシステム状態図を利用して、仮想化機能によるスケールイン／アウトと、ＯｐｅｎＦｌｏｗ（登録商標）又はアプリケーションによるネットワーク経路切り替えとを組み合わせた、移行手法について説明する。
【００４２】
図６は、本実施形態のＮＦＶ環境１における移行可否判定時の処理（仮想マシン移行要求共通シーケンス）を示すシーケンス図である。まず、Ｓ１にて、ＶＩＭ１６からオーケストレータ１４へ、仮想マシンの移行要求が送信される。次に、Ｓ２にて、オーケストレータ１４からＯＳＳ／ＢＳＳ１０へ、サービス状態を問い合わせるサービス状態要求が送信される。次に、Ｓ３にて、ＯＳＳ／ＢＳＳ１０からＥＭＳ１３へ、サービス状態要求が送信される。次に、Ｓ４にて、ＥＭＳ１３からＯＳＳ／ＢＳＳ１０へ、対象のＶＮＦ１２のサービス状態を含むサービス状態応答が送信される。次に、Ｓ５にて、ＯＳＳ／ＢＳＳ１０からオーケストレータ１４へ、サービス状態応答が返信される。なお、Ｓ２〜Ｓ５の処理は定期的に行われても（収集されても）よい。
【００４３】
次に、Ｓ６にて、オーケストレータ１４により、Ｓ５にて受信したサービス状態応答に基づき、移行可否が判定される。次に、Ｓ７にて、オーケストレータ１４からＶＩＭ１６へ、移行可否の判定結果が送信される。
【００４４】
図７は、本実施形態のＮＦＶ環境１における仮想マシン移行処理（シーケンス１、仮想マシン移行方法）を示すシーケンス図である。本処理は、図６のＳ７の直後など、ＶＩＭ１６にて移行可の判定が得られた際に続く処理である。まず、Ｓ２０にて、ＶＩＭ１６が移行先となる仮想マシンＶＮＦ１２を増設する。次に、Ｓ２１にて、ＶＮＦ１２の増設が完了すると、移行先のＶＮＦ１２からＶＩＭ１６へ、仮想マシン増設完了通知が送信される。
【００４５】
Ｓ２１に続き、Ｓ２２及びＳ２３にて、ＶＩＭ１６から移行元ＶＮＦ１２及び移行先ＶＮＦ１２に対してネットワーク切り替えが実施される（切替ステップ）。なお、Ｓ２２及びＳ２３の処理を含む処理群Ｌ１は、ＶＩＭ１６（仮想化基盤レベル）でネットワーク切り替えが行われる場合の処理である。
【００４６】
また、Ｓ２１に続き、Ｓ２４にて、ＶＩＭ１６からＯＳＳ／ＢＳＳ１０へ、ネットワーク切替の要求が送信される。次に、Ｓ２５にて、ＯＳＳ／ＢＳＳ１０から対象のＶＮＦ１２を管理するＥＭＳ１３へ、ネットワーク切替の要求が送信される。次に、Ｓ２６及びＳ２７にて、ＥＭＳ１３から対象である移行元ＶＮＦ１２及び移行先ＶＮＦ１２へ、ネットワーク切替の要求が送信される（切替ステップ）。ネットワーク切り替えが完了すると、Ｓ２８にて、ＥＭＳ１３からＯＳＳ／ＢＳＳ１０へ、ネットワーク切替完了通知が送信される。次に、Ｓ２９にて、ＯＳＳ／ＢＳＳ１０からＶＩＭ１６へ、ネットワーク切替完了通知が送信される。なお、Ｓ２４〜Ｓ２９の処理を含む処理群Ｌ２は、ＥＭＳ１３（アプリケーションレベル）でネットワーク切り替えが行われる場合の処理である。処理群Ｌ１及びＬ２は択一的にどちらかが実施される。
【００４７】
処理群Ｌ１又はＬ２の処理が完了すると、Ｓ３０にて、ＶＩＭ１６から移行元ＶＮＦ１２に対して、仮想マシン減設の処理が実行される。減設の処理が完了すると、移行元ＶＮＦ１２からＶＩＭ１６へ、仮想マシン減設完了通知が送信される。
【００４８】
図８は、本実施形態のＮＦＶ環境１における移行可否判定時の別の処理（状態変更可共通シーケンス）を示すシーケンス図である。図８のＳ１〜Ｓ６の処理は図６と同様のため、説明を省略する。Ｓ６に続き、Ｓ８にて、オーケストレータ１４からＯＳＳ／ＢＳＳ１０へ、サービス状態変更要求が送信される。次に、Ｓ９にて、ＯＳＳ／ＢＳＳ１０により、サービス状態変更可否の判定が行われる。Ｓ９にて変更可と判定されると、Ｓ１０にて、ＯＳＳ／ＢＳＳ１０から対象のＶＮＦ１２を管理するＥＭＳ１３へ、サービス状態変更指示が送信される。次に、Ｓ１１にて、ＥＭＳ１３から対象である移行元ＶＮＦ１２へ、サービス状態変更指示が送信される。
【００４９】
次に、Ｓ１２にて、移行元ＶＮＦ１２からＥＭＳ１３へ、サービス状態変更通知が送信される。次に、Ｓ１３にて、ＥＭＳ１３からＯＳＳ／ＢＳＳ１０へ、サービス状態変更通知が送信される。次に、Ｓ１４にて、ＯＳＳ／ＢＳＳ１０からオーケストレータ１４へ、サービス状態変更通知が送信される。次に、Ｓ１５にて、オーケストレータ１４からＶＩＭ１６へ、移行可である仮想マシン移行応答が送信される。図６に示す仮想マシン移行要求共通シーケンスと同様に、図８に示す状態変更可共通シーケンスに続いて図７に示すシーケンス１が実行される。
【００５０】
図９は、本実施形態のＮＦＶ環境１における移行不可時の処理（移行不可共通シーケンス）を示すシーケンス図である。図９のＳ１〜Ｓ６、Ｓ８及びＳ９の処理は図６及び図８と同様のため、説明を省略する。Ｓ９にて変更不可と判定されると、Ｓ１６にて、ＯＳＳ／ＢＳＳ１０からオーケストレータ１４へ、サービス状態変更不可応答が送信される。次に、Ｓ１７にて、オーケストレータ１４からＶＩＭ１６へ、サービス状態変更不可応答が送信される。なお、移行不可共通シーケンスは、後述の移行手法２及び３も同様である。また、Ｎ＋Ｍ  ＡＣＴ構成の場合も、移行不可共通シーケンスを実行可能である。
【００５１】
図１０は、移行手法１による処理における、ＮＦＶ環境１の初期状態を示す状態図である。図１０に示す通り、初期状態では、移行元ＨＷ（ハードウェア）にてＡＣＴ系ＶＮＦ１２及びＳＢＹ系ＶＮＦ１２が稼働している。なお、移行手法１並びに後述の移行手法２及び３において、処理開始前に、移行先ＨＷを設置し（ネットワーク配線等を含む）、移行先ＨＷにＯＳ（Operating  System）やミドルウェアやアプリケーションをインストールし、組み込む処理を行う。また、処理開始後には、移行元ＨＷを撤去する。また、移行手法１並びに後述の移行手法２及び３を説明するための状態図である図１０〜１３、１５〜２０及び２２〜２５において、ＡＣＴ系ＶＮＦ１２とＳＢＹ系ＶＮＦ１２とを同じ移行元ＨＷ又は同じ移行先ＨＷに含めて示しているが、これに限るものではない。例えば、可用性の観点から、異なる２つの移行元ＨＷにＡＣＴ系ＶＮＦ１２とＳＢＹ系ＶＮＦ１２とがそれぞれ別々に含まれていてもよいし、異なる２つの移行先ＨＷにＡＣＴ系ＶＮＦ１２とＳＢＹ系ＶＮＦ１２とがそれぞれ別々に含まれていてもよい。
【００５２】
次に、図１０に示す状態において、ＶＩＭ１６の増設部２１が、移行先ＨＷにＡＣＴ系ＶＮＦ１２及びＳＢＹ系ＶＮＦ１２を（移行元ＨＷ上のＡＣＴ系ＶＮＦ１２及びＳＢＹ系ＶＮＦ１２と同等の構成にて）増設した状態を示すのが図１１である。次に、図１１に示す状態において、ＶＩＭ１６の切替部２３が、移行元ＨＷ上のＶＮＦ１２から移行先ＨＷ上のＶＮＦ１２へ（ＯｐｅｎＦｌｏｗの機能又はアプリケーションの機能にて）ネットワーク切り替えを行った状態を示すのが図１２である。次に、図１２に示す状態において、ＶＩＭ１６の減設部（不図示）が、移行元ＨＷ上のＶＮＦ１２を減設（グレースフルシャットダウン）した状態を示すのが図１３である。
【００５３】
なお、Ｎ＋Ｍ  ＡＣＴ構成の場合、図１０〜図１３の状態図において、移行元ＨＷ上及び移行先ＨＷ上にＳＢＹ系ＶＮＦ１２が無くてもよい（もしくは空転している予備系）。また、図７の処理群Ｌ１又はＬ２にて説明した通り、ネットワーク切り替えには２手法（基盤レベル又はアプリケーションレベル）あり、手法によって制御シーケンスが異なる。
【００５４】
［移行手法２：スケールアウト／イン＋系切替］
以下では、図１４のシーケンス図及び図１５〜２０のシステム状態図を利用して、仮想化機能によるスケールイン／アウトと、アプリケーション（ミドルウェア）による系切り替えとを組み合わせた、移行手法について説明する。
【００５５】
図１４は、本実施形態のＮＦＶ環境１における系切替時の処理（シーケンス２、仮想マシン移行方法）を示すシーケンス図である。本処理は、図６に示す仮想マシン移行要求共通シーケンスに続いて行われる。図６のＳ６に続き、Ｓ４０にて、ＶＩＭ１６から移行元ＶＮＦ１２に対して、仮想マシン減設が行われる。減設が完了すると、Ｓ４１にて、移行元ＶＮＦ１２からＶＩＭ１６へ、仮想マシン減設完了通知が送信される。次に、Ｓ４２にて、ＶＩＭ１６が、仮想マシン増設を行い、移行先ＶＮＦ１２が増設される。増設が完了すると、Ｓ４３にて、ＶＮＦ１２からＶＩＭ１６へ、仮想マシン増設完了通知が送信される。
【００５６】
なお、上記の順には限られず、Ｓ４２、Ｓ４３、Ｓ４０及びＳ４１の順にて、ＳＢＹ系又は予備サーバを増設してから仮想サーバを減設してもよい。また、本シーケンス２は、図８に示す状態変更可共通シーケンスの直後に実施されてもよい。
【００５７】
図１５は、移行手法２による処理における、ＮＦＶ環境１の初期状態を示す状態図である。図１５に示す通り、初期状態では、移行元ＨＷにてＡＣＴ系ＶＮＦ１２及びＳＢＹ系ＶＮＦ１２が稼働している。
【００５８】
次に、図１５に示す状態において、ＶＩＭ１６の減設部が、移行元ＨＷのＳＢＹ系ＶＮＦ１２を減設した状態を示すのが図１６である。次に、図１６に示す状態において、ＶＩＭ１６の増設部２１が、移行先ＨＷのＳＢＹ系ＶＮＦ１２を増設した状態を示すのが図１７である。次に、図１７に示す状態において、ＶＩＭ１６の切替部２３が、移行元ＨＷ上のＡＣＴ系ＶＮＦ１２と移行先ＨＷ上のＳＢＹ系ＶＮＦ１２との系切り替えを行った状態を示すのが図１８である。
【００５９】
次に、図１８に示す状態において、ＶＩＭ１６の減設部が、移行元ＨＷ上のＳＢＹ系ＶＮＦ１２を減設した状態を示すのが図１９である。次に、図１９に示す状態において、ＶＩＭ１６の増設部２１が、移行先ＨＷのＳＢＹ系ＶＮＦ１２を増設した状態を示すのが図２０である。
【００６０】
［移行手法３：ライブマイグレーション＋系切替］
以下では、図２１のシーケンス図及び図２２〜２５のシステム状態図を利用して、仮想化機能によるライブマイグレーションと、系切り替えとを組み合わせた、移行手法について説明する。本移行手法では、共有ストレージがなくてもLive  Block  MigrationやGlusterFSを使った手法で実現可能である。
【００６１】
図２１は、本実施形態のＮＦＶ環境１におけるライブマイグレーションと合わせた系切替時の処理（シーケンス３、仮想マシン移行方法）を示すシーケンス図である。本処理は、図６に示す仮想マシン移行要求共通シーケンスに続いて行われる。図６のＳ６に続き、Ｓ５０にて、ＶＩＭ１６から移行元ＶＮＦ１２及び移行先ＶＮＦ１２に対して、ライブマイグレーション指示が送信される。ライブマイグレーションが完了すると、Ｓ５１にて、移行元ＶＮＦ１２及び移行先ＶＮＦ１２からＶＩＭ１６へ、ライブマイグレーション完了通知が送信される。
【００６２】
図２２は、移行手法２による処理における、ＮＦＶ環境１の初期状態を示す状態図である。図２２に示す通り、初期状態では、移行元ＨＷにてＡＣＴ系ＶＮＦ１２及びＳＢＹ系ＶＮＦ１２が稼働している。
【００６３】
次に、図２２に示す状態において、ＶＩＭ１６の移行部２２が、移行元ＨＷ上のＳＢＹ系ＶＮＦ１２を、移行先ＨＷ上のＳＢＹ系ＶＮＦ１２へライブマイグレーションした状態を示すのが図２３である。次に、図２３に示す状態において、ＶＩＭ１６の切替部２３が、移行元ＨＷ上のＡＣＴ系ＶＮＦ１２と移行先ＨＷ上のＳＢＹ系ＶＮＦ１２との系切り替えを行った状態を示すのが図２４である。図２４の状態において、ＶＩＭ１６の移行部２２が、移行元ＨＷ上のＳＢＹ系ＶＮＦ１２を、移行先ＨＷ上のＳＢＹ系ＶＮＦ１２へライブマイグレーションした状態を示すのが図２５である。
【００６４】
なお、Ｎ−ＡＣＴの場合にはライブマイグレーションは１回実施される。その場合、プロセッサ互換機能が必要である。また、ライブマイグレーションを行うのはＳＢＹ系ＶＮＦ１２である。
【００６５】
続いて、図２６に示すフローチャート図を用いて、本実施形態に係るＶＩＭ１６における仮想マシン移行処理について説明する。まず、Ｓ６０にて、ＶＩＭ１６においてＶＭ移行要求が発生する。次に、Ｓ６１にて、ＶＩＭ１６において対象仮想マシンがＡＣＴ系か否かが判定される。Ｓ６１にてＡＣＴ系と判定されると、Ｓ６２にて、ＶＩＭ１６は、ＳＢＹ系又は予備系を、移行先ＨＷ上に用意する（増減設やライブマイグレーション等）。次に、Ｓ６３にて、ＶＩＭ１６は、ＳＢＹ系又は予備系に処理を切り替える（系切替やネットワーク切替等）。Ｓ６３に続き、又はＳ６１にてＡＣＴ系でないと判定されると、Ｓ６４にて、ＶＩＭ１６は、仮想マシン移行処理を行う（増減設やライブマイグレーション等）。次に、Ｓ６５にて、仮想マシン移行が完了する。
【００６６】
次に、本実施形態のように構成されたＶＩＭ１６の作用効果について説明する。
【００６７】
本実施形態のＶＩＭ１６によれば、移行元の仮想マシンから移行先の仮想マシンへの切り替え、又は、移行元のＡＣＴ系仮想マシンと移行先のＳＢＹ系仮想マシンとの系の切り替えが、サービス影響が少なく、シームレスに行うことができる。すなわち、ＮＦＶ環境１にてサービス影響の少ないシームレスな仮想マシンの移行を行うことができる。
【００６８】
また、本実施形態のＶＩＭ１６によれば、例えば、ネットワークフローの切り替えによるスケールアウト／インが確実に実現できる。
【００６９】
また、本実施形態のＶＩＭ１６によれば、例えば、ＡＣＴ系／ＳＢＹ系間の系切り替えによるスケールアウト／インが確実に実現できる。
【００７０】
また、本実施形態のＶＩＭ１６によれば、例えば、ＡＣＴ系／ＳＢＹ系間の系切り替えによるライブマイグレーションが確実に実現できる。
【００７１】
また、本実施形態のＶＩＭ１６によれば、仮想化資源全体の管理を行うオーケストレータ１４にて仮想マシンの移行可否が判定され、移行可の場合に切り替えを行うため、ＮＦＶ環境１にてより安全かつ確実に仮想マシンの移行を行うことができる。
【００７２】
以上の通り、本実施形態のＶＩＭ１６によれば、通信事業の仮想化においてシームレスな仮想マシン移行を実現することができる。
【符号の説明】
【００７３】
１…ＮＦＶ環境、１０…ＯＳＳ／ＢＳＳ、１１…ＮＦＶＩ、１２…ＶＮＦ、１３…ＥＭＳ、１４…オーケストレータ、１５…ＶＮＦＭ、１６…ＶＩＭ、２０…移行可否取得部、２１…増設部、２２…移行部、２３…切替部。
【図１】
2015146374.tif 000003
【図２】
2015146374.tif 000004
【図３】
2015146374.tif 000005
【図４】
2015146374.tif 000006
【図５】
2015146374.tif 000007
【図６】
2015146374.tif 000008
【図７】
2015146374.tif 000009
【図８】
2015146374.tif 000010
【図９】
2015146374.tif 000011
【図１０】
2015146374.tif 000012
【図１１】
2015146374.tif 000013
【図１２】
2015146374.tif 000014
【図１３】
2015146374.tif 000015
【図１４】
2015146374.tif 000016
【図１５】
2015146374.tif 000017
【図１６】
2015146374.tif 000018
【図１７】
2015146374.tif 000019
【図１８】
2015146374.tif 000020
【図１９】
2015146374.tif 000021
【図２０】
2015146374.tif 000022
【図２１】
2015146374.tif 000023
【図２２】
2015146374.tif 000024
【図２３】
2015146374.tif 000025
【図２４】
2015146374.tif 000026
【図２５】
2015146374.tif 000027
【図２６】
2015146374.tif 000028
【国際調査報告】
2015146374.tif 000029
2015146374.tif 000030
2015146374.tif 000031
2015146374.tif 000032