(57)【要約】【課題】大規模ネットワークにおけるサービス制御サーバのバックアップデータのＲＰＯを保証するバックアップ制御サーバ、およびサービス制御サーバのアプリケーションデータバックアップ方法を提供する。【解決手段】バックアップ制御サーバ１００は、バックアップ対象のサービス制御サーバを管理するバックアップ対象サーバ管理部１１０と、バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理部１２０と、バックアップ実行管理テーブル１６０を用いて、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理部１３０と、ネットワーク内の負荷状況により代替の仮想化ホストサーバや転送ルートを探索して切替るとともに、転送ルート切替パターン毎の平均切替時間、転送ルート毎の空き帯域を管理するバックアップ輻輳制御部１４０と、を備える。【選択図】図１
2017215872.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバであって、
バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理部と、
バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理部と、
バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理部と、
ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御部と、を備える
ことを特徴とするバックアップ制御サーバ。
【請求項２】
前記バックアップ制御サーバ実行管理部は、前記サービス制御サーバ毎に最新バックアップ完了時刻およびバックアップ開始時刻、バックアップ実行時間、バックアップデータ収集状況、ＲＰＯ時間、未転送データサイズ、またはバックアップ実行スケジュールを管理する
ことを特徴とする請求項１に記載のバックアップ制御サーバ。
【請求項３】
前記バックアップ輻輳制御部は、前記ネットワーク内の負荷状況により代替の仮想化ホストサーバおよび転送ルートを探索して切替るとともに、転送ルート切替パターン毎の平均切替時間、または転送ルート毎の空き帯域を管理する
ことを特徴とする請求項１に記載のバックアップ制御サーバ。
【請求項４】
ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバのアプリケーションデータバックアップ方法であって、
バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理工程と、
バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理工程と、
バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理工程と、
前記ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御工程と、
を有することを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法。
【請求項５】
ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバが、各前記データセンタに備えられた、サービス制御サーバのアプリケーションデータバックアップ方法であって、
バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理工程と、
バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理工程と、
バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理工程と、
前記ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御工程と、を有し、
前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別の前記データセンタの前記物理サーバに移動した場合、
移動元の前記データセンタの前記バックアップ制御サーバの前記管理リストから移動した前記サービス制御サーバを削除する工程と、
移動先の前記データセンタの前記バックアップ制御サーバの前記管理リストから移動した前記サービス制御サーバを追加する工程と、
移動先の前記データセンタで移動した前記サービス制御サーバに対して最初のバックアップ収集が完了した時点で移行元の前記データセンタで前記バックアップ制御サーバが保持していたバックアップデータを消去する工程と、を含む
ことを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法。
【請求項６】
前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、
バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、
転送遅延要因が移動先の前記データセンタの前記物理サーバの高い負荷状態にある場合に、同一前記データセンタ内の低い負荷状態にある別の前記物理サーバを選択する工程と、
別の前記物理サーバに前記サービス制御サーバにおいて再度ライブマイグレーションを実行する工程と、を含む
ことを特徴とする請求項４または請求項５に記載のサービス制御サーバのアプリケーションデータバックアップ方法。
【請求項７】
前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、
バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、
転送遅延要因が移動元の前記データセンタと移動先の前記データセンタ間を結ぶ転送ルートが高い負荷状態にある場合に低い負荷状態にある別の転送ルートを選択する工程と、
別の前記転送ルートに切替る工程と、を含む
ことを特徴とする請求項４または請求項５に記載のサービス制御サーバのアプリケーションデータバックアップ方法。
【請求項８】
前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、
バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、
転送遅延要因として移動先の前記データセンタの前記物理サーバ、または移動元の前記データセンタと移動先の前記データセンタ間を結ぶ転送ルートが高い負荷状態にある場合に代替先の前記物理サーバ、または前記転送ルートが見つからなかった場合に移動先の前記データセンタの前記物理サーバに帰属するストレージにアプリケーションデータを一時的にバックアップする工程と、
一時保存されたバックアップデータを前記バックアップ制御サーバがバックアップ実行スケジュールの同時実行収集サーバ数が少ないタイミングを見計らって回収する工程と、を含む
ことを特徴とする請求項４に記載のサービス制御サーバのアプリケーションデータバックアップ方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バックアップ制御サーバ、およびサービス制御サーバのアプリケーションデータバックアップ方法に関する。
【背景技術】
【０００２】
近年、特に広域ネットワーク（以下、適宜ＮＷという）において多様なＮＷサービスを動的に利用するため、ＮＦＶ（Network Function Virtualization）によるＮＷサービスの仮想化が検討されている。ＮＦＶでは、イーサネット（登録商標）転送のみのＬ２ＮＷ（レイヤ２ネットワーク）でユーザ・サービス間を接続する必要のあるサービスも存在することが知られている。
一方、大規模な広域ＮＷは、スケール性や耐障害性の観点からＩＰルーチングを用いたＬ３ＮＷ（レイヤ３ネットワーク）で構築されることが多い。そこで、ＮＦＶにおいて、Ｌ３ＮＷ上に仮想的なＬ２トンネルを構築することでＬ２転送を実現するＮＶＯ３（Network Virtualization Over Ｌ３）が検討されている。
【０００３】
例えば、ＶＸＬＡＮは、「VXLAN Network Identifier（ＶＮＩ）」と呼ばれる２４ビットのＶＸＬＡＮ ＩＤを活用して、Ｌ２の通信をＬ３でトンネリングすることで、Ｌ３経由でＬ２の通信（ブロードキャストドメイン）を延長する。ＶＸＬＡＮでは、ハイパーバイザの仮想スイッチあるいは物理サーバ単位でＶＴＥＰ（Virtual Tunnel End Point：トンネル終端ポイント）を設置する。ＶＴＥＰは、物理Ｌ３ＮＷとＬ２ＮＷの接続点に実装される。ＶＴＥＰが各仮想マシンのＭＡＣアドレスと、その仮想マシンのＶＮＩの対応関係をテーブルで管理する。
【０００４】
ネットワーク事業者においては、ネットワーク全体の資源を有効に利用し、転送品質の維持、ネットワークコストの低減を図ることが重要である。将来のサービスの多様化に伴うネットワークの突発的かつ不規則な変化に柔軟に対応し、ネットワーク資源の有効利用を実現する技術としてネットワーク仮想化技術が提案されている。
【０００５】
また、例えば、ハイパーバイザと呼ばれるソフトウェア（例えばＶＭ管理制御用プログラム）で、一台の物理サーバ上に複数の仮想的な計算機となる仮想マシンＶＭ（Virtual Machine）を実現する技術が知られている。この仮想マシンは、それぞれが独立にオペレーティングシステムを動作させることができる。複数の仮想マシンが動作する物理サーバである仮想マシンサーバは、ワークステーションやパーソナルコンピュータ等のコンピュータである。また、仮想マシンサーバがネットワークを介して複数台接続された環境においては、仮想マシンサーバ上に実現された仮想マシンもネットワークを介して通信することができる。
【０００６】
物理サーバ（物理マシン）は、例えば、少なくとも一つの仮想マシンと、仮想スイッチと、ハイパーバイザとが含まれる。また、物理サーバは、障害検知用監視機能が物理マシンと、物理マシンに接続されたスイッチやルータ等のネットワーク機器との間の導通確認のための制御メッセージを送信する。かかる制御メッセージの送信では、接続される仮想スイッチの仮想ポート、仮想スイッチ、物理マシンのＮＩＣ（Network Interface Card）、Ｌ２（Layer2）スイッチ、Ｌ３スイッチ、物理ルータ等を介する。また、制御メッセージの送信では、一つの様態として、ｐｉｎｇ（Packet Internet Groper）等が実行される。
仮想マシン化の利点として、異なる物理サーバ間で仮想マシンを移動させるマイグレーション（Migration）の技術により、ポータビリティを確保し、柔軟な運用が行える点が挙げられる。
【０００７】
上記マイグレーションを実現するには、仮想マシンの切替の際に、仮想マシンへアクセスするためのネットワークの情報（ＶＬＡＮ（Virtual Local Area Network）情報、ルーティング情報）も追随して切替る必要がある。
ネットワークの再設定を自動化する従来技術としてＩＥＥＥ８０２．１Ｑｂｇが存在する（非特許文献１参照）。ＩＥＥＥ８０２．１Ｑｂｇは、仮想スイッチの外部オフロードの実現、ライブマイグレーション（Live Migration）に連動したポートプロトコル自動設定を目的としている。ＩＥＥＥ８０２．１Ｑｂｇは、仮想スイッチの情報を物理スイッチに透過させ、仮想マシンの切替を契機に別の物理スイッチに設定を移動させることができる。
【０００８】
非特許文献１〜３には、同一データセンタ（ＤＣ：Data Center）内において、バックアップデータのＲＰＯ（Recovery Point Objective：目標復旧時点）を保証する技術が記載されている。ＲＰＯは、システム障害などでデータが損壊した際に、復旧するバックアップデータの古さの目標である。ＲＰＯは、バックアップデータが最低でもどの程度新しくなければならないかを定めた指標であり、これに基づいてバックアップの方法や頻度が決定される。
【０００９】
図１５は、データセンタ（ＤＣ）内におけるデータのバックアップ構成を示す図である。
図１５に示すように、データセンタ（以下、ＤＣと称する場合がある）１は、物理サーバからなる仮想化ホストサーバ１０（仮想化ホストサーバ＃１）と、仮想化ホストサーバ２０（仮想化ホストサーバ＃２）と、ストレージ３０と、を備える。
仮想化ホストサーバ１０（仮想化ホストサーバ＃１）は、仮想化サーバとしてサービス制御サーバ１１〜１３（＃１〜＃Ｍ）を有する。仮想化ホストサーバ２０（仮想化ホストサーバ＃２）は、仮想化サーバとしてバックアップ制御サーバ２１〜２３（＃１〜＃Ｎ）を有する。
ＤＣ１は、サービス制御サーバ１１〜１３（＃１〜＃Ｍ）と、バックアップ制御サーバ２１〜２３（＃１〜＃Ｎ）と、ストレージ３０と、を備え、それらをＬＡＮ（図示省略）を介して相互に接続し、それらを複数収容することで、通信ネットワーク内で一つの通信拠点を形成する。
サービス制御サーバ１１〜１３（＃１〜＃Ｍ）は、各種ＮＷサービスを提供するために、ユーザ側のＮＷ機器とＬＡＮを介して接続し、それらの制御を司っている仮想化サーバである。
【００１０】
従来は、同一ＤＣ内でのマイグレーションが主でありデータの転送時間は大きく変動しなかった。近年ＤＣが広域分散化が進んだことで、ネットワーク経由でデータ転送が実行されるために、ネットワークの負荷状況により転送時間が大きく変動する可能性が出てきた。
バックアップ制御サーバ２１〜２３（＃１〜＃Ｎ）は、 各サービス制御サーバ１１〜１３（＃１〜＃Ｍ）に対してアプリケーションデータのバックアップデータを定期的に収集し、ＲＰＯを保証するように適応制御を行う仮想化サーバである。具体的には、バックアップ制御サーバ２１〜２３（＃１〜＃Ｎ）は、ある時点でバックアップ対象サーバ数が集中した場合、負荷に応じて必要な数だけ仮想サーバ（バックアップ制御サーバ）を動的に新規生成して対応する。また、バックアップ制御サーバ２１〜２３（＃１〜＃Ｎ）は、バックアップスケジュールの同時収集予定サーバ数を見て山谷が有る場合、数がなるべく均等になるようにスケジュールを組み替えて平準化させる。このバックアップ負荷の平準化用いることで、リアルタイムで動作することが要求されるサービスへの影響を低減できる。
【００１１】
仮想化ホストサーバ１０，２０（＃１，＃２）は、複数の仮想化サーバの異なるＯＳを実行するための仮想ハードウェアをエミュレートする物理サーバである。
ストレージ３０は、サービス制御サーバのバックアップデータを格納する。
【００１２】
以上、同一ＤＣ内におけるバックアップデータのＲＰＯを保証について述べた。
また、複数のＤＣ拠点が存在したり、物理サーバが分散配置された広域エリアにおいても、仮想化サーバ（仮想化されたサービス制御サーバ）は、他のＤＣ拠点にライブマイグレーションによりサービスを中断せずに自由に移動することができる。
【００１３】
図１６は、データセンタ間を自由に移動する仮想化サーバのバックアップサービス実行方法を説明する図である。
図１６に示すように、大規模ネットワーク内に分散するＤＣ１〜４（＃１〜＃４）間を、仮想化されたサービス制御サーバ１１は自由に移動することができる。図１６の符号ａ，ｂに示すように、バックアップ制御サーバ２１は、サービス制御サーバ１１に対してアプリケーションデータのバックアップデータを定期的に収集する。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】MAGONIA  API仕様書（分散処理基盤編）  概説,［online］,［平成２８年５月２５日検索］,インターネット  〈 URL : http://www. ntt.co.jp/news2015/1502/pdf/150219a_1.pdf〉
【非特許文献２】MAGONIA  API仕様書（分散処理基盤編）  仕様書,［online］,［平成２８年５月２５日検索］,インターネット  〈 URL : http://www. ntt.co.jp/news2015/1502/pdf/150219a_2.pdf〉
【非特許文献３】詳解VMware vSphere 4.1 ITpro  容易なスケールアウトとスケールアップ,［online］,［平成２８年５月２５日検索］,インターネット  〈 URL : http://itpro.nikkeibp.co.jp/article/COLUMN/20110726/362843/〉
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、ＤＣの広域分散化が進んだことで、データセンタ間を自由に移動する仮想化サーバをバックアップする場合、以下の課題がある。すなわち、バックアップデータを転送するルート上の疎通障害や輻輳等が発生してバックアップ時間が著しく長くなると、対象サーバで障害が発生した場合に復旧すべきＲＰＯを保障できなくなる。例えば、図１６の符号ｂに示すように、バックアップデータ転送時間がネットワーク負荷状況により大きく変動する可能性がある。この場合、バックアップ制御サーバ２１は、ＲＰＯを保証できなくなることがある。ＲＰＯが保証できないと、ＮＷの信頼性が大幅に低下する。
【００１６】
このような背景に鑑みて本発明がなされたのであり、本発明は、大規模ネットワークにおけるサービス制御サーバのバックアップデータのＲＰＯを保証するバックアップ制御サーバ、およびサービス制御サーバのアプリケーションデータバックアップ方法を提供することを課題とする。
【課題を解決するための手段】
【００１７】
前記した課題を解決するため、請求項１に記載の発明は、ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバであって、バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理部と、バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理部と、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理部と、ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御部と、を備えることを特徴とするバックアップ制御サーバとした。
【００１８】
また、請求項４に記載の発明は、ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバのアプリケーションデータバックアップ方法であって、バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理工程と、バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理工程と、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理工程と、前記ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御工程と、を有することを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法とした。
【００１９】
このようにすることで、広域分散した複数のデータセンタから構成される大規模ネットワークにおいて、仮想化されたサービス制御サーバがライブマイグレーションによりサービスを中断しないで自由に任意のデータセンタに移動した場合に、アプリケーションデータをバックアップする時間が転送ネットワークや各仮想化サービス制御サーバを実行させる物理サーバ（仮想化ホストサーバ）の負荷状況によって大きく変動してもＲＰＯを保証することができる。ＲＰＯを保証することでユーザにトラブル発生時の通信品質を保証できる。
【００２０】
また、請求項２に記載の発明は、前記バックアップ制御サーバ実行管理部が、前記サービス制御サーバ毎に最新バックアップ完了時刻およびバックアップ開始時刻、バックアップ実行時間、バックアップデータ収集状況、ＲＰＯ時間、未転送データサイズ、またはバックアップ実行スケジュールを管理することを特徴とするバックアップ制御サーバとした。
【００２１】
このようにすることで、バックアップ制御サーバ実行管理部が、これら管理情報を格納したバックアップ実行管理テーブルを参照して、再度のライブマイグレーション実行、転送ルート切替、仮想ストレージへの緊急バックアップのいずれかを判定することができる。
【００２２】
また、請求項３に記載の発明は、前記バックアップ輻輳制御部が、前記ネットワーク内の負荷状況により代替の仮想化ホストサーバおよび転送ルートを探索して切替るとともに、転送ルート切替パターン毎の平均切替時間、または転送ルート毎の空き帯域を管理することを特徴とするバックアップ制御サーバとした。
【００２３】
このようにすることで、バックアップ輻輳制御部が、転送ルート切替パターン毎の平均切替時間、転送ルート毎の空き帯域に基づいて、最適な転送ルート切替、または仮想ストレージへの緊急バックアップを実行することができる。
【００２４】
また、請求項５に記載の発明は、ネットワーク内に分散するデータセンタ間を移動する仮想化されたサービス制御サーバのアプリケーションデータをバックアップするバックアップ制御サーバが、各前記データセンタに備えられた、サービス制御サーバのアプリケーションデータバックアップ方法であって、バックアップ対象の前記サービス制御サーバの管理リストを管理するバックアップ対象サーバ管理工程と、バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理工程と、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理工程と、前記ネットワーク内リソースの負荷状況に基づいて、代替の物理サーバおよび転送ルートを探索し、代替の前記物理サーバおよび前記転送ルートの切替を制御するバックアップ輻輳制御工程と、を有し、前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別の前記データセンタの前記物理サーバに移動した場合、移動元の前記データセンタの前記バックアップ制御サーバの前記管理リストから移動した前記サービス制御サーバを削除する工程と、移動先の前記データセンタの前記バックアップ制御サーバの前記管理リストから移動した前記サービス制御サーバを追加する工程と、移動先の前記データセンタで移動した前記サービス制御サーバに対して最初のバックアップ収集が完了した時点で移行元の前記データセンタで前記バックアップ制御サーバが保持していたバックアップデータを消去する工程と、を含むことを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法とした。
【００２５】
このようにすることで、広域分散した複数のデータセンタから構成される大規模ネットワークにおいて、仮想化されたサービス制御サーバがライブマイグレーションによりサービスを中断しないで自由に任意のデータセンタに移動した場合に、アプリケーションデータをバックアップする時間が転送ネットワークや各仮想化サービス制御サーバを実行させる物理サーバ（仮想化ホストサーバ）の負荷状況によって大きく変動してもＲＰＯを保証することができる。また、保守者を介在することなく、ネットワーク側で自動的に物理サーバの収容替えや転送ルート切替を実行するので、保守者の負担が軽減される。また、ネットワーク内の局所的なトラフィック負荷を平滑化することで、ネットワークの安定運用を促進することができる。
【００２６】
また、請求項６に記載の発明は、前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、転送遅延要因が移動先の前記データセンタの前記物理サーバの高い負荷状態にある場合に、同一前記データセンタ内の低い負荷状態にある別の前記物理サーバを選択する工程と、別の前記物理サーバに前記サービス制御サーバにおいて再度ライブマイグレーションを実行する工程と、を含むことを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法とした。
【００２７】
このようにすることで、同一ＤＣ内の低い負荷状態にある別の物理サーバに再度ライブマイグレーションを実行することで、ＤＣ内の局所的なトラフィック負荷を平滑化することができ、ネットワークの安定運用を促進することができる。
【００２８】
また、請求項７に記載の発明は、前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、転送遅延要因が移動元の前記データセンタと移動先の前記データセンタ間を結ぶ転送ルートが高い負荷状態にある場合に低い負荷状態にある別の転送ルートを選択する工程と、別の前記転送ルートに切替る工程と、を含むことを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法とした。
【００２９】
このようにすることで、移動先のＤＣ間を結ぶ転送ルートが高い負荷状態にある場合に低い負荷状態にある別の転送ルートに切替ることで、ネットワーク内の局所的なトラフィック負荷を平滑化することができ、ネットワークの安定運用を促進することができる。
【００３０】
また、請求項８に記載の発明は、前記サービス制御サーバがライブマイグレーションにより前記ネットワークを経由して別のデータセンタの物理サーバに移動した場合、バックアップ収集状態の監視タイマが満了した場合にバックアップ実行状況から転送遅延要因を判定する工程と、転送遅延要因として移動先の前記データセンタの前記物理サーバ、または移動元の前記データセンタと移動先の前記データセンタ間を結ぶ転送ルートが高い負荷状態にある場合に代替先の前記物理サーバ、または前記転送ルートが見つからなかった場合に移動先の前記データセンタの前記物理サーバに帰属するストレージにアプリケーションデータを一時的にバックアップする工程と、一時保存されたバックアップデータを前記バックアップ制御サーバがバックアップ実行スケジュールの同時実行収集サーバ数が少ないタイミングを見計らって回収する工程と、を含むことを特徴とするサービス制御サーバのアプリケーションデータバックアップ方法とした。
【００３１】
このようにすることで、バックアップ制御サーバがＤＣ外部にある場合において、仮想化されたサービス制御サーバで問題が発生しても、ＲＰＯに状態を戻すことができるので、複数のデータセンタが広域分散配置される大規模ネットワークの信頼性を向上することができる。また、バックアップ制御サーバは、ＤＣ内の仮想ストレージのバックアップデータを回収して自身のストレージに保存することができ、緊急バックアップ時の信頼性を向上させることができる。
【発明の効果】
【００３２】
本発明によれば、大規模ネットワークにおけるサービス制御サーバのバックアップデータのＲＰＯを保証するバックアップ制御サーバ、およびサービス制御サーバのアプリケーションデータバックアップ方法を提供することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態に係るバックアップ制御サーバを備える広域大規模ネットワークおよびＤＣの構成を示す図である。
【図２】本発明の実施形態に係るバックアップ制御サーバの機能ブロック図である。
【図３】本発明の実施形態に係るバックアップ制御サーバのバックアップ制御サーバ実行管理部が備えるバックアップ実行管理テーブルの一例を示す図である。
【図４】本発明の実施形態に係るバックアップ制御サーバのバックアップ対象サーバ管理部が備えるバックアップ対象サーバ管理リストの一例を示す図である。
【図５】本発明の実施形態に係るバックアップ制御サーバの転送ネットワークを経由しないでバックアップデータ収集を実行可能な場合（<動作パターン１>）の説明図である。
【図６】図５の制御シーケンスを示す図である。
【図７】本発明の実施形態に係るバックアップ制御サーバの転送ネットワークを経由してバックアップデータ収集を実行する必要がある場合（<動作パターン２>）の説明図である。
【図８】図７の制御シーケンスを示す図である。
【図９】本発明の実施形態に係るバックアップ制御サーバの転送ネットワークを経由してバックアップデータ収集を実行する必要がある場合（<動作パターン３>）の説明図である。
【図１０】図９の制御シーケンスを示す図である。
【図１１】本発明の実施形態に係るバックアップ制御サーバの転送ネットワークを経由してバックアップデータ収集を実行する必要がある場合（<動作パターン４>）の制御シーケンスを示す図である。
【図１２】本発明の実施形態に係るバックアップ制御サーバの転送ネットワークを経由してバックアップデータ収集を実行する必要がある場合の説明図である。
【図１３】本発明の実施形態に係るバックアップ制御サーバが切替先の仮想化ホストサーバや転送ルートを見つけられなかった場合の動作の説明図である。
【図１４】本発明の実施形態に係るバックアップ制御サーバの切替先の仮想化ホストサーバ、あるいは転送ルートが存在しない場合の緊急バックアップ収集の制御シーケンスを示す図である。
【図１５】従来技術に係るネットワークシステムのＤＣ内におけるデータのバックアップ構成を示す図である。
【図１６】従来技術に係るネットワークシステムのデータセンタ間を自由に移動する仮想化サーバのバックアップサービス実行方法を説明する図である。
【発明を実施するための形態】
【００３４】
以下、図面を参照して本発明を実施するための形態（以下、「本実施形態」という）におけるネットワークシステム等について説明する。
サービス制御サーバで問題が発生した場合にＲＰＯ時間内の前の状態に戻すことを可能にするサービス制御サーバのアプリケーションデータバックアップ方法に適用した例である。
図１は、本発明の実施形態に係るバックアップ制御サーバを備える広域大規模ネットワークおよびＤＣの構成を示す図である。
図１に示すように、ネットワークシステムは、バックアップ制御サーバ１００が、転送ネットワーク５を介してＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）に接続される。
ネットワークシステムは、転送ネットワーク５上に広域分散ＤＣ向けＬ２トンネル（例えばＶＸＬＡＮ）を構築して、転送ネットワーク５上に接続されるバックアップ制御サーバ１００と、広域分散ＤＣ向けＬ２トンネルに接続されたＤＣ３００（ＤＣ＃２）内の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）との間でパケットを送受信するものである。図１の例では、バックアップ制御サーバ１００が、ＤＣ３００（ＤＣ＃２）内の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に接続されている。
【００３５】
ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）は、サーバやネットワーク機器などのＩＴ（Information Technology）機器を設置、運用する施設・建物の総称であり、どのような名称でも構わない。ＤＣ２００（ＤＣ＃１）とＤＣ３００（ＤＣ＃２）とは、地域や国をまたいで存在可能である。例えば、ＤＣ２００（ＤＣ＃１）は東京を拠点とし、ＤＣ３００（ＤＣ＃２）は大阪を拠点とする。ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）内には、複数（複数台）の処理サーバが収容されており、各処理サーバは、ＤＣ内ネットワーク（図示省略）で接続されている。
【００３６】
ＤＣ２００（ＤＣ＃１）は、仮想化されたサービス制御サーバ２１１（サービス制御サーバ＃１）、サービス制御サーバ２１２（サービス制御サーバ＃２）を備える。サービス制御サーバ２１１（サービス制御サーバ＃１）は、例えばサービスＡのための転送機能、サービス制御サーバ２１２（サービス制御サーバ＃２）は、サービスＢのための転送機能を有する。なお、サービス制御サーバ＃１，＃２（仮想化）は、共にサービスＡのための転送機能を有するものとし、サービス制御サーバ＃１を現用系、サービス制御サーバ＃２を予備系とする例でもよい。
【００３７】
ＤＣ３００（ＤＣ＃２）は、物理サーバからなる仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）と、仮想化ホストサーバ３４２（仮想化ホストサーバ＃２）と、仮想ストレージ３２３と、を備える。
仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）（物理）は、仮想化されたサービス制御サーバ２１２（サービス制御サーバ＃２）を有する。
仮想化ホストサーバ３４２（仮想化ホストサーバ＃２）（物理）は、仮想化されたサービス制御サーバ２１２（サービス制御サーバ＃２）を有する。
【００３８】
後記するように、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）のサービス制御サーバ２１２（サービス制御サーバ＃２）（仮想化）は、ＤＣ２００（ＤＣ＃１）のサービス制御サーバ２１２（サービス制御サーバ＃２）（仮想化）がライブマイグレーション（図１の符号ｏ参照）によりＤＣ３００（ＤＣ＃２）に移動したものである。さらに、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４２（仮想化ホストサーバ＃２）のサービス制御サーバ２１２（サービス制御サーバ＃２）（仮想化）は、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）（物理）によって仮想化されたサービス制御サーバ２１２（サービス制御サーバ＃２）（仮想化）が、ライブマイグレーション（図１の符号ｒ参照）によりＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に移動したものである。
なお、本実施形態では、Ｌ２ over Ｌ３接続技術として、ＶＸＬＡＮを例に採っているが、ＮＶＧＲＥ（Network Virtualization using Generic Routing Encapsulation）等であってもよい。
【００３９】
図２は、バックアップ制御サーバ１００の機能ブロック図である。
図２に示すように、バックアップ制御サーバ１００は、バックアップ対象サーバ管理部１１０、バックアップデータ管理部１２０、バックアップ制御サーバ実行管理部１３０、バックアップ輻輳制御部１４０、およびネットワーク・トポロジＤＢ１５０を備える。
バックアップ対象サーバ管理部１１０は、バックアップ対象のサービス制御サーバのバックアップ対象サーバ管理リスト２３１（図４参照）を管理する。具体的には、バックアップ対象サーバ管理部１１０は、自バックアップ制御サーバ１００がバックアップデータを収集するバックアップ対象サーバ管理リスト２３１（図４参照）から対象サーバをライブマイグレーションにより追加・削除する。
【００４０】
バックアップ制御サーバデータ管理部１２０は、バックアップ収集したアプリケーションデータを格納または消去する。具体的には、バックアップデータ管理部１２０は、各サービス制御サーバのバックアップデータを世代管理し、古くなったり、対象外になったサーバのデータを順次削除する。
【００４１】
バックアップ実行管理部１３０は、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視する。具体的には、バックアップ制御サーバ実行管理部１３０は、バックアップ実行管理テーブル１６０（図３参照）を用いて、対象サービス制御サーバ毎に最新バックアップ完了時刻やバックアップ開始時刻、バックアップ実行時間、バックアップデータ収集状況、ＲＰＯ時間、未転送データサイズ、バックアップ実行スケジュールを管理する。
【００４２】
バックアップ輻輳制御部１４０は、ネットワーク内の負荷状況により代替の仮想化ホストサーバや転送ルートを探索して切替る。また、バックアップ輻輳制御部１４０は、転送ルート切替パターン毎の平均切替時間、転送ルート毎の空き帯域を管理する。
【００４３】
ネットワーク・トポロジＤＢ１５０は、各データセンタを結ぶ転送ネットワーク情報、データセンタ毎に仮想化ホストサーバやバックアップ制御サーバ、仮想ストレージの構成情報を管理するデータデースである。
【００４４】
図３は、バックアップ制御サーバ実行管理部１３０が備えるバックアップ実行管理テーブル１６０の一例を示す図である。
図３に示すように、バックアップ実行管理テーブル１６０は、対象サービス制御サーバＩＤ１６１毎に、ＲＰＯ時間１６２、最終バックアップ完了時刻１６３、最新Ｎ（Ｎは任意の自然数）回分の平均バックアップ実行時間１６４、バックアップ開始予定時刻１６５、実際のバックアップ開始時刻１６６、バックアップ開始してからの経過時間１６７、バックアップデータ収集状況１６８、および未転送データサイズ１６９を格納する。
【００４５】
図４は、バックアップ対象サーバ管理部１１０が備えるバックアップ対象サーバ管理リスト２３１，３３１（図５参照）の一例を示す図である。
図４に示すように、バックアップ対象サーバ管理リスト２３１，３３１は、バックアップ制御サーバが管轄するサービス制御サーバを格納する。例えば、バックアップ対象サーバ管理部１１０は、バックアップ対象サーバ管理リスト２３１，３３１参照することで、バックアップ制御サーバ＃１は、サービス制御サーバ１〜１０のうち、サービス制御サーバ１〜５のバックアップを取らなければならないことが分かる。
【００４６】
以下、上述のように構成されたバックアップ制御サーバ１００のアプリケーションデータバックアップ方法について説明する。
バックアップ制御サーバ１００は、バックアップ対象のサービス制御サーバと同じＤＣ内であっても、ＤＣ外にあってもよい。以下、バックアップ制御サーバ１００が当該ＤＣの外にある場合について説明する。
［バックアップ制御サーバ１００がＤＣの外にある場合］
まず、バックアップ制御サーバ１００がＤＣの外にある場合の動作例について説明する。
図５〜図１０は、バックアップ制御サーバ１００がＤＣの外にある場合の説明図である。
バックアップ制御サーバ１００がＤＣの外にある場合は、さらに、転送ネットワークを経由しないでバックアップデータ収集を実行可能な場合（<動作パターン１>：図５および図６）と、転送ネットワークを経由してバックアップデータ収集を実行可能な場合（<動作パターン２>：図８〜図１０）と、に分けられる。以下、順に説明する。
【００４７】
<動作パターン１>（図５および図６参照）
<動作パターン１>は、転送ネットワーク５を経由しないで（すなわち、図１のバックアップ制御サーバ１００を動作させないで）バックアップデータ収集を実行可能な場合の動作例である。
図５は、転送ネットワーク５を経由しないでバックアップデータ収集を実行可能な場合（<動作パターン１>）の説明図である。図６は、図５の制御シーケンスを示す図である。
図５に示すように、ＤＣ２００（ＤＣ＃１）は、仮想化されたバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）、移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）、バックアップ対象サーバ管理リスト２３１（図４）を格納する仮想ストレージ２３０を備える。また、ＤＣ３００（ＤＣ＃２）は、仮想化されたバックアップ制御サーバ２２２（バックアップ制御サーバ＃２）、移動対象のサービス制御サーバ２１１（サービス制御サーバ＃２）、バックアップ対象サーバ管理リスト３３１（図４）を格納する仮想ストレージ３３０を備える。
上記バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）およびバックアップ制御サーバ２２２（バックアップ制御サーバ＃２）は、いずれも図１に示すバックアップ制御サーバ１００とは別個のものであり、ＤＣ拠点毎に備えられるものである。ＤＣ拠点毎にバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）およびバックアップ制御サーバ２２２（バックアップ制御サーバ＃２）が存在する場合、図１に示すバックアップ制御サーバ１００は、使用されない。なお、図５の例は、形式的には図１６に示す従来技術に対応する。
【００４８】
図５に示すように、ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）拠点毎にバックアップ制御サーバ２２１，３２２が存在する場合、図５の符号ｃに示すように、ライブマイグレーション実行前に移動前ＤＣ２００（ＤＣ＃１）側のバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）のバックアップ対象サーバ管理リスト２３１から移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）を削除する。そして、ライブマイグレーション実行後（図５の符号ｄ参照）にバックアップ制御サーバ２２２（バックアップ制御サーバ＃２）のバックアップ対象サーバ管理リスト３３１に移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）を追加する。
図５の符号ｅに示すように、ＤＣ３００（ＤＣ＃２）のバックアップ制御サーバ２２２（バックアップ制御サーバ＃２）は、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）が移動した移動対象のサービス制御サーバ３１１（サービス制御サーバ＃１）に対してバックアップデータを収集する。
本<動作パターン１>では、バックアップデータ転送時間は、転送ネットワーク５の負荷状況に左右されない。バックアップ制御サーバ２２１，２２２は、ＲＰＯを保証することができる。
【００４９】
上記図５の<動作パターン１>を、図６の制御シーケンスを参照して説明する。
ＤＣ２００（ＤＣ＃１）側の移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）は、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）にライブマイグレーション（移動先ＤＣ＃２）を通知する（ステップＳ１０１）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、移動先ＤＣを管理するバックアップ制御サーバの有無を確認する（ステップＳ１０２）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、移動先ＤＣを管理するバックアップ制御サーバがない場合、<動作パターン２>（後記）に移行し、当該バックアップ制御サーバがある場合、以下に移行する（ステップＳ１０３）。
【００５０】
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）に対して移動先ＤＣのバックアップ制御サーバ３１２（バックアップ制御サーバ＃２）を指示する（ステップＳ１０４）。
移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）は、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）にバックアップ対象サーバ管理リスト２３１（図４）からの削除を要求する（ステップＳ１０５）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、この削除要求を受けてバックアップ対象サーバ管理リスト２３１（図４）から削除する（ステップＳ１０６）。
【００５１】
ＤＣ２００（ＤＣ＃１）側の移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）は、ＤＣ３００（ＤＣ＃２）側の移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）にライブマイグレーションする（ステップＳ１０７）。
ライブマイグレーションしたＤＣ３００（ＤＣ＃２）側の移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）は、バックアップ制御サーバ３１２（バックアップ制御サーバ＃２）にバックアップ対象サーバ管理リスト３３１（図４）に追加要求する（ステップＳ１０８）。
バックアップ制御サーバ３１２（バックアップ制御サーバ＃２）は、次周期のバックアップデータ収集を行う（ステップＳ１０９）。
バックアップ制御サーバ３１２（バックアップ制御サーバ＃２）は、バックアップ制御サーバ２２１（（サービス制御サーバ＃１）にサービス制御サーバ＃１のバックアップデータ消去を要求する（ステップＳ１１０）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、この削除要求を受けて仮想ストレージ２３０（仮想ストレージ＃１）にサービス制御サーバ＃１のバックアップデータ消去を指示する（ステップＳ１１１）。
仮想ストレージ２３０（仮想ストレージ＃１）は、サービス制御サーバ＃１のバックアップデータを消去する（ステップＳ１１２）。
【００５２】
<動作パターン２>（図７および図８参照）
<動作パターン２>は、転送ネットワーク５を経由して（ただし、図１のバックアップ制御サーバ１００を動作させないで）バックアップデータ収集を実行する必要がある場合の動作例である。
図７は、転送ネットワーク５を経由してバックアップデータ収集を実行する必要がある場合（<動作パターン２>）の説明図である。図８は、図７の制御シーケンスを示す図である。
【００５３】
図７に示すように、ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）拠点にバックアップ制御サーバが存在せず、ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）拠点以外の別拠点のＤＣ４００に仮想化されたバックアップ制御サーバ４２１（バックアップ制御サーバ＃１）が存在するものとする。
図７に示すように、ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）拠点毎にバックアップ制御サーバが存在しない場合、図５の符号ｆに示すように、ＤＣ２００（ＤＣ＃１）の移動対象のサービス制御サーバ２１１（サービス制御サーバ＃１）がライブマイグレーションしてＤＣ３００（ＤＣ＃２）に移動したとする（図７の符号ｆ参照）。
ライブマイグレーションしてＤＣ３００（ＤＣ＃２）に移動した後に、別拠点のＤＣ４００に仮想化されたバックアップ制御サーバ４２１（バックアップ制御サーバ＃１）がバックアップデータ収集する。このとき、図７の符号ｇに示すようにＲＰＯ内で完了するバックアップデータ収集の場合と、図７の符号ｈに示すようにＲＰＯ内で完了しない可能性があるバックアップデータ収集の場合とがある。ＲＰＯ内で完了しない可能性があるバックアップデータ収集の場合、一定時間が経過してもバックアップが完了しないことになる。
このように、転送ネットワーク５を経由してバックアップデータ収集を実行する必要がある場合、転送ネットワーク５内のバックアップデータの転送ルートが長くなると転送ネットワーク５の負荷状況に影響される可能性がある。
【００５４】
上記図７の<動作パターン２>を、図８の制御シーケンスを参照して説明する。図８の制御シーケンスは、バックアップデータ収集の遅延検出と遅延要因判定の処理を含んでいる。なお、<動作パターン２>は、図６の制御シーケンスのステップＳ１０３において、ＤＣ２００，３００（ＤＣ＃１，ＤＣ＃２）拠点にバックアップ制御サーバが存在しない場合に移行する。
図７に示すように、別拠点のＤＣ４００には仮想化されたバックアップ制御サーバ４２１（バックアップ制御サーバ＃１）が存在するものとする。
別拠点のＤＣ４００のバックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、ＤＣ２００（ＤＣ＃１）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）で仮想化されたサービス制御サーバ３１１（サービス制御サーバ＃１）に対して、転送ネットワーク５内のバックアップデータの転送ルート＃１を経由してバックアップデータ収集を実行する（ステップＳ２０１）。
バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、監視タイマを設定する（ステップＳ２０２）。
バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、監視タイマによる経時が満了してもバックアップデータ収集が完了しないことを確認する（ステップＳ２０３）。
【００５５】
バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、バックアップ実行管理テーブル１６０（図３参照）を見て（参照して）、上記転送ルート＃１を使用する他の仮想化ホストサーバ内のサービス制御サーバのバックアップは正常に完了しているかを確認する（ステップＳ２０４）。
バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、上記サービス制御サーバのバックアップは正常に完了しているか未完了かを判定する（ステップＳ２０５）。
正常完了の場合、バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、該当する仮想化ホストサーバ＃１が高負荷状態と判断して<動作パターン３>に移行する（ステップＳ２０６）。
未完了の場合、バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、上記転送ルート＃１が高負荷状態と判断して<動作パターン４>に移行する（ステップＳ２０７）。
【００５６】
このように、バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、バックアップデータ収集が完了しない場合、上記転送ルート＃１を使用する他の仮想化ホストサーバ内のサービス制御サーバのバックアップは正常に完了しているか否かを確認することで、バックアップデータ収集の未完了の原因が、仮想化ホストサーバ＃１の高負荷状態または転送ルート＃１の高負荷状態のいずれかであるかを判定するようにしている。
【００５７】
<動作パターン３>（図９および図１０参照）
<動作パターン３>は、転送ネットワーク５を経由して（ただし、図１のバックアップ制御サーバ１００を動作させないで）バックアップデータ収集を実行する必要がある場合において、遅延要因が仮想化ホストサーバにあるときの動作例である。
図９は、転送ネットワーク５を経由してバックアップデータ収集を実行する必要がある場合（<動作パターン３>）の説明図である。図１０は、図９の制御シーケンスを示す図である。
【００５８】
図９に示すように、ＤＣ３００（ＤＣ＃２）拠点以外の別拠点のＤＣ４００に仮想化されたバックアップ制御サーバ４２１（バックアップ制御サーバ＃１）が存在する。
図９の符号ｉに示すように、バックアップ制御サーバ４２１（バックアップ制御サーバ＃１）は、バックアップデータ収集が完了しない。
ただし、同一転送ルートを使用する他のホストサーバ内のサービス制御サーバのバックアップは正常に完了しているので（図８のステップＳ２０４，Ｓ２０５参照）、仮想化ホストサーバ＃１は輻輳状態の可能性があると判定できる。この場合、対象のサービス制御サーバを別のホストサーバ＃２に再度ライブマイグレーションする。詳細には、図９の符号ｉに示すように、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ＃１のサービス制御サーバ２１１を、別の仮想化ホストサーバ＃２に再度ライブマイグレーションする。
【００５９】
上記図９の<動作パターン３>を、図１０の制御シーケンスを参照して説明する。図９の制御シーケンスは、遅延要因が仮想化ホストサーバの場合の対処例である。なお、<動作パターン３>は、図８の制御シーケンスのステップＳ２０６で該当する仮想化ホストサーバ＃１が高負荷状態と判断した場合に移行する。
図１０に示すように、ＤＣ２００（ＤＣ＃１）には仮想化されたバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）が存在するものとする。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、仮想化ホストサーバ＃１が高負荷状態と判断する（ステップＳ３０１）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、バックアップ実行管理テーブル１６０（図３参照）を見て、上記転送ルート＃１を使用するＤＣ３００（ＤＣ＃２）内の他の各仮想化ホストサーバについて、サービス制御サーバ＃１のＲＰＯまでの残り時間とライブマイグレーションに掛かる平均時間とＤＣ＃２内の他の仮想化ホストサーバ毎の平均バックアップ時間との和を比較して、最も負荷が低い（比較値差が大きい）他の仮想化ホストサーバを探索する（ステップＳ３０２）。
最も負荷が低い（比較値差が大きい）他の仮想化ホストサーバがあるか否かを判定する（ステップＳ３０３）。
最も負荷が低い他の仮想化ホストサーバがない場合、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、他の仮想化ホストサーバにライブマイグレーションを実行することはできないと判断して<動作パターン５>に移行する（ステップＳ３０３）。
【００６０】
最も負荷が低い他の仮想化ホストサーバがある場合、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、他の仮想化ホストサーバ＃２にライブマイグレーションをするようにサービス制御サーバ＃１に指示する（ステップＳ３０４）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、ＤＣ２００（ＤＣ＃１）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に対して、サービス制御サーバ＃１を仮想化ホストサーバ３４２（仮想化ホストサーバ＃２）に移動するようにライブマイグレーション指示を行う（ステップＳ３０５）。
【００６１】
ＤＣ２００（ＤＣ＃１）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）は、仮想化ホストサーバ３４２（仮想化ホストサーバ＃２）にサービス制御サーバ２１１（サービス制御サーバ＃１）をライブマイグレーションする（ステップＳ３０６）。すなわち、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ＃１のサービス制御サーバ２１１（サービス制御サーバ＃１）を、別の仮想化ホストサーバ＃２に再度ライブマイグレーションする。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、再度ライブマイグレーションしたＤＣ３００（ＤＣ＃２）のサービス制御サーバ２１１（サービス制御サーバ＃１）に対して、転送ネットワーク５内のバックアップデータの転送ルート＃１を経由してバックアップデータ収集を実行する（ステップＳ３０７）。
【００６２】
<動作パターン４>（図１１参照）
<動作パターン４>は、転送ネットワーク５を経由して（ただし、図１のバックアップ制御サーバ１００を動作させないで）バックアップデータ収集を実行する必要がある場合において、遅延要因が転送ルートにあるときの動作例である。
図１１は、転送ネットワーク５を経由してバックアップデータ収集を実行する必要がある場合（<動作パターン４>）の制御シーケンスを示す図である。図１１の制御シーケンスは、遅延要因が転送ルートの場合の対処例である。なお、<動作パターン４>は、図８の制御シーケンスのステップＳ２０７で転送ルート＃１が高負荷状態と判断した場合に移行する。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、仮想化ホストサーバ＃１が高負荷状態と判断する（ステップＳ４０１）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、バックアップ実行管理テーブル１６０（図３参照）を見て、サービス制御サーバ＃１のＲＰＯまでの残り時間と（転送ルート切替に掛かる平均時間と転送ルート毎の空き帯域から算出したバックアップ時間）との和を比較して、最も負荷が低い（比較値差が大きい）他の転送ルートを探索する（ステップＳ４０２）。
最も負荷が低い他の転送ルートがない場合、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、他の転送ルートでライブマイグレーションを実行することはできないと判断して<動作パターン５>に移行する（ステップＳ４０３）。
【００６３】
最も負荷が低い他の転送ルートがある場合、バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、他の転送ルート（例えば転送ルート＃２）に切替を実行する（ステップＳ４０４）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、他の転送ルート（例えば転送ルート＃２）に転送ルートを変更するようにＤＣ２００（ＤＣ＃１）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に指示する（ステップＳ４０５）。
【００６４】
ＤＣ２００（ＤＣ＃１）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）のサービス制御サーバ２１１（サービス制御サーバ＃１）は、カプセル化の時に転送ルート識別子として転送ルート＃２を指定してバックアップデータを送信する（ステップＳ４０６）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、ＤＣ３００（ＤＣ＃２）のサービス制御サーバ２１１（サービス制御サーバ＃１）に対して、転送ルートを変更した転送ルート＃２を経由してバックアップデータ収集を実行する（ステップＳ４０７）。
以上、図１に示すバックアップ制御サーバ１００がＤＣの外にある場合の<動作パターン１>〜<動作パターン４>について説明した。
【００６５】
次に、バックアップ制御サーバ１００の動作について説明する。
［バックアップ制御サーバ１００の動作］
バックアップ制御サーバ１００は、広域大規模ネットワークにおいて、サービス制御サーバ（仮想化サーバ）に対してアプリケーションデータを自動的にバックアップを行う。
<動作パターン５>（図１２参照）
<動作パターン５>は、転送ネットワーク５を経由し、図１のバックアップ制御サーバ１００を動作させてバックアップデータ収集を実行する必要がある場合の動作例である。
なお、<動作パターン５>は、図１１の制御シーケンスのステップＳ３０３で最も負荷が低い他の仮想化ホストサーバがない場合、または、図１２の制御シーケンスのステップＳ４０３で最も負荷が低い他の転送ルートがない場合から移行する。
【００６６】
図１２は、転送ネットワーク５を経由し、図１のバックアップ制御サーバ１００を動作させてバックアップデータ収集を実行する必要がある場合の説明図である。
図１２に示すように、バックアップ制御サーバ１００は、転送ネットワーク５を介してＤＣ３００（ＤＣ＃２）に接続される。図１２の符号ｋに示すように、バックアップ制御サーバ１００は、転送ネットワーク５内のバックアップデータの転送ルート＃１を経由してバックアップデータ収集を実行する。
いま、同一の転送ルートを使用する複数の仮想化ホストサーバ内のサービス制御サーバにおいて、一律バックアップデータ収集完了が遅延しているとする。この場合、転送ルート＃１が輻輳している可能性がある。図１２の符号ｌに示すように、バックアップ制御サーバ１００は、転送ネットワーク５内のバックアップデータの転送ルート＃１を、空き帯域の大きい別の転送ルート＃２に切替る。
このように、バックアップ制御サーバ１００は、バックアップ収集が一定時間を経過しても完了しない場合、バックアップ実行管理テーブル１６０（図２）を分析して転送ルート＃１が輻輳状態と判定する。そして、バックアップ制御サーバ１００は、空き帯域の大きい転送ルート＃２への切替を実行して、サービス制御サーバ＃１のバックアップ収集を続行する。
【００６７】
次に、バックアップ制御サーバ１００が、切替先の仮想化ホストサーバや転送ルートを見つけられなかった場合の動作について説明する。
図１３は、バックアップ制御サーバ１００が、切替先の仮想化ホストサーバや転送ルートを見つけられなかった場合の動作の説明図である。
図１３の符号ｍに示すように、バックアップ制御サーバ１００は、バックアップデータ収集を実行している。
ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）は、ＲＰＯまでの残り時間が短い場合、帰属の仮想ストレージ３２３（仮想ストレージ＃１）に緊急バックアップ（後記）を実行する。
図１３の符号ｎに示すように、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）は、緊急バックアップ後に転送ルートが空いているタイミングを見計らって、バックアップ制御サーバ１００の仮想ストレージにデータ移行する。
【００６８】
バックアップ制御サーバ１００が、切替先の仮想化ホストサーバや転送ルートを見つけられなかった場合、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）は、当該仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に帰属（付随）する仮想ストレージ３２３（仮想ストレージ＃１）に、サービス制御サーバ＃１のバックアップデータを収集する。
バックアップ制御サーバ１００は、バックアップ実行管理テーブル１６０（図２参照）を参照して、同時バックアップ収集サーバ数が少ないタイミングを見計らって、緊急バックアップデータをＤＣ３００（ＤＣ＃２）の仮想ストレージ３２３（仮想ストレージ＃１）から回収する。
【００６９】
次に、緊急バックアップについて説明する。
［緊急バックアップ］
図１４は、切替先の仮想化ホストサーバ、あるいは転送ルートが存在しない場合の緊急バックアップ収集の制御シーケンスを示す図である。図１４の制御シーケンスは、転送ネットワーク５を経由してバックアップデータ収集を実行する必要がある場合の一例である。
図１４に示すように、ＤＣ２００（ＤＣ＃１）のバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、切替先の仮想化ホストサーバや転送ルートが存在しない場合、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）に帰属する仮想ストレージ＃１（図１３参照）にバックアップデータを緊急転送する（ステップＳ５０１）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、ＤＣ３００（ＤＣ＃２）の仮想化ホストサーバ３４１（仮想化ホストサーバ＃１）のサービス制御サーバ３１１（サービス制御サーバ＃１）に対して仮想ストレージ＃１に緊急バックアップを指示する（ステップＳ５０２）。
ＤＣ３００（ＤＣ＃２）のサービス制御サーバ３１１（サービス制御サーバ＃１）は、仮想ストレージ３２３（仮想ストレージ＃１）バックアップデータを緊急転送する（ステップＳ５０３）。
ＤＣ３００（ＤＣ＃２）のサービス制御サーバ３１１（サービス制御サーバ＃１）は、ＤＣ３００（ＤＣ＃２）のバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）に緊急バックアップ完了応答を行う（ステップＳ５０４）。
【００７０】
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、バックアップ実行管理テーブル１６０（図３参照）を参照して同時バックアップ収集サーバ数が少ないタイミングを抽出する（ステップＳ５０５）。
ＤＣ２００（ＤＣ＃１）のバックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、抽出したタイミングで緊急バックアップデータを回収する（ステップＳ５０６）。
バックアップ制御サーバ２２１（バックアップ制御サーバ＃１）は、ＤＣ３００（ＤＣ＃２）のサービス制御サーバ２１１（サービス制御サーバ＃１）に対して、転送ルートを変更した転送ルート＃１を経由してバックアップデータ回収を実行する（ステップＳ５０７）。
【００７１】
以下、再び図１の全体構成図を参照して、バックアップ制御サーバ１００のアプリケーションデータバックアップ方法について説明する。
図１の符号ｏに示すように、仮想化されたサービス制御サーバは、ライブマイグレーションにより、サービスを中断しないで自由に任意のＤＣに移動できる。図１の例では、ＤＣ２００（ＤＣ＃１）のサービス制御サーバ３１１（サービス制御サーバ＃２）は、ライブマイグレーションにより、ＤＣ３００（ＤＣ＃２）のサービス制御サーバ２１２（サービス制御サーバ＃１）のサービス制御サーバ２１２（サービス制御サーバ＃１）に移動できる。バックアップデータ転送時間が転送ネットワーク５内の負荷状況に影響されて変動が大きいという特徴がある。バックアップデータを転送するルート上の疎通障害や輻輳等が発生してバックアップ時間が著しく長くなると、対象サーバで障害が発生した場合に復旧すべきＲＰＯを保障できなくなる。
【００７２】
図１の符号ｐに示すように、バックアップ制御サーバ１００は、転送ネットワーク５内のバックアップデータの転送ルート＃１を経由してバックアップデータ収集を実行している。
図１の符号ｑに示すように、一定時間経過してもバックアップが完了しなかった場合、遅延要因を分析して要因毎に対処（対処パターン(1)、(2)、(3)参照）してＲＰＯを保証できるようにする。
【００７３】
<対処パターン(1)>
図１の符号ｒに示すように、仮想化ホストサーバが輻輳の場合、別の負負荷の低い仮想化ホストサーバへ再度ライブマイグレーションする（<動作パターン３>（図９および図１０参照））。
【００７４】
<対処パターン(2)>
図１の符号ｓに示すように、バックアップデータ転送ルート（ここでは転送ルート＃１）が輻輳の場合、別の空き帯域の大きい転送ルート（ここでは転送ルート＃２）に切替る（<動作パターン５>（図１２参照））。
【００７５】
<対処パターン(3)>
図１の符号ｔに示すように、ＲＰＯまでの残り時間が短い場合、帰属の仮想ストレージに緊急バックアップを実行する（<緊急バックアップ>（図１４参照））。
図１の符号ｕに示すように、緊急バックアップ後、転送ルートが空いているタイミングを見計らってバックアップ制御サーバ１００の仮想ストレージにデータ移行する。
【００７６】
以上説明したように、バックアップ制御サーバ１００は、バックアップ対象のサービス制御サーバのバックアップ対象サーバ管理リスト２３１（図４参照）を管理するバックアップ対象サーバ管理部１１０と、バックアップ収集したアプリケーションデータを格納または消去するバックアップデータ管理部１２０と、バックアップ実行管理テーブル１６０（図３参照）を用いて、バックアップ収集を所定スケジュールに従って実行し、実行状況を監視するバックアップ制御サーバ実行管理部１３０と、ネットワーク内の負荷状況により代替の仮想化ホストサーバや転送ルートを探索して切替るとともに、転送ルート切替パターン毎の平均切替時間、転送ルート毎の空き帯域を管理するバックアップ輻輳制御部１４０と、各データセンタを結ぶ転送ネットワーク情報、データセンタ毎に仮想化ホストサーバやバックアップ制御サーバ、仮想ストレージの構成情報を管理するネットワーク・トポロジＤＢ１５０と、を備える。
【００７７】
これにより、広域分散した複数のデータセンタから構成される大規模ネットワークにおいて、仮想化されたサービス制御サーバがライブマイグレーションによりサービスを中断しないで自由に任意のデータセンタに移動した場合に、アプリケーションデータをバックアップする時間が転送ネットワークや各仮想化サービス制御サーバを実行させる物理サーバ（仮想化ホストサーバ）の負荷状況によって大きく変動してもＲＰＯを保証することができる。ＲＰＯを保証することでユーザにトラブル発生時の通信品質を保証できる。
また、保守者を介在することなく、ネットワーク側で自動的に物理サーバの収容替えや転送ルート切替を実行するので、保守者の負担が軽減される。また、ネットワーク内の局所的なトラフィック負荷を平滑化することで、ネットワークの安定運用を促進することができる。
また、本実施形態では、バックアップ制御サーバ１００（図１参照）は、ＤＣ内の仮想ストレージのバックアップデータを回収して自身のストレージに保存することができ、緊急バックアップ時の信頼性を向上させることができる。
【００７８】
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中に示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【００７９】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣ（Integrated Circuit）カード、ＳＤ（Secure Digital）カード、光ディスク等の記録媒体に保持することができる。また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。
【符号の説明】
【００８０】
５  転送ネットワーク
１００，２２１，３２２，４２１  バックアップ制御サーバ
１１０  バックアップ対象サーバ管理部
１２０  バックアップデータ管理部
１３０  バックアップ制御サーバ実行管理部
１４０  バックアップ輻輳制御部
１５０  ネットワーク・トポロジＤＢ
１６０  バックアップ実行管理テーブル
２００，３００，４００  データセンタ（ＤＣ）
２１１，２１２，３１２  仮想化されたサービス制御サーバ
２３０，３３０  仮想ストレージ
２３１，３３１  バックアップ対象サーバ管理リスト
３１３  仮想スイッチ
３４１，３４２  物理サーバからなる仮想化ホストサーバ
３２３  仮想ストレージ
【図１】
2017215872.tif 000003
【図２】
2017215872.tif 000004
【図３】
2017215872.tif 000005
【図４】
2017215872.tif 000006
【図５】
2017215872.tif 000007
【図６】
2017215872.tif 000008
【図７】
2017215872.tif 000009
【図８】
2017215872.tif 000010
【図９】
2017215872.tif 000011
【図１０】
2017215872.tif 000012
【図１１】
2017215872.tif 000013
【図１２】
2017215872.tif 000014
【図１３】
2017215872.tif 000015
【図１４】
2017215872.tif 000016
【図１５】
2017215872.tif 000017
【図１６】
2017215872.tif 000018