(57)【要約】【課題】プログラム可能論理回路がＶＮＦのインフラストラクチャとして含まれるネットワークにおいて、ＶＮＦのマイグレーションを含むネットワーク管理を可能にする管理方法、管理装置、サーバならびにネットワークシステムを提供する。【解決手段】管理装置（１０）は、サーバ上で動作している少なくとも一つの仮想ネットワーク機能（ＶＮＦ）と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路（ＦＰＧＡ）と、を対応付けて記憶する記憶手段（１０３）と、対応づけられた情報に基づいて第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる制御手段（１０６）と、を有する。【選択図】図５
2017170309.tif 000002
【特許請求の範囲】
【請求項１】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶する記憶手段と、
前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる制御手段と、
を有することを特徴とする管理装置。
【請求項２】
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項１に記載の管理装置。
【請求項３】
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項１または２に記載の管理装置。
【請求項４】
前記制御手段が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする請求項１または２に記載の管理装置。
【請求項５】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理方法であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納し、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる、
ことを特徴とする管理方法。
【請求項６】
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項５に記載の管理方法。
【請求項７】
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項５または６に記載の管理方法。
【請求項８】
前記制御手段が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする請求項５または６に記載の管理方法。
【請求項９】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
【請求項１０】
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項９に記載のサーバ。
【請求項１１】
前記制御手段が、前記プログラム可能論理回路を用いて動作している前記仮想ネットワーク機能の処理を前記ＣＰＵへ切り替えた後、ライブマイグレーション機能により前記仮想ネットワーク機能を前記他のサーバへ移動させることを特徴とする請求項９に記載のサーバ。
【請求項１２】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
【請求項１３】
前記制御手段が、自己のサーバの前記プログラム可能論理回路を前記他のサーバのプログラム可能論理回路と同様に設定し、前記仮想ネットワーク機能の少なくとも一部を自己のサーバの前記プログラム可能論理回路上で動作させることを特徴とする請求項１２に記載のサーバ。
【請求項１４】
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項１２または１３に記載のサーバ。
【請求項１５】
前記制御手段が、ライブマイグレーション機能により前記仮想ネットワーク機能を前記他のサーバから受け入れた後、前記自己のサーバのプログラム可能論理回路上で動作させることを特徴とする請求項１２または１３に記載のサーバ。
【請求項１６】
仮想ネットワーク機能が動作するサーバを含むネットワークシステムであって、
少なくとも一つのプログラム可能論理回路をそれぞれ含む複数のサーバが接続された下位レイヤネットワークと、
前記複数のサーバのいずれかで動作する少なくとも一つの仮想ネットワーク機能からなる上位レイヤネットワークと、
前記下位レイヤネットワークおよび前記上位レイヤネットワークを管理する管理装置と、
を有し、
前記管理装置が、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる、
ことを特徴とするネットワークシステム。
【請求項１７】
前記管理装置が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項１６に記載のネットワークシステム。
【請求項１８】
前記管理装置が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項１６または１７に記載のネットワークシステム。
【請求項１９】
前記管理装置が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする請求項１６または１７に記載のネットワークシステム。
【請求項２０】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置としてコンピュータを機能させるプログラムであって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納する機能と、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる機能と、
を前記コンピュータで実現することを特徴とするプログラム。
【請求項２１】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、を有するサーバとしてコンピュータを機能させるプログラムであって、
制御手段が、前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する機能を前記コンピュータで実現することを特徴とするプログラム。
【請求項２２】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、を有するサーバとしてコンピュータを機能させるプログラムであって、
制御手段が、他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する機能を前記コンピュータで実現することを特徴とするプログラム。
【請求項２３】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのＣＰＵ(Central Processing Unit)およびプログラム可能論理回路の各々と、を対応付けた構成情報を記憶する記憶手段と、
前記構成情報に基づいて、少なくとも一方がプログラム可能論理回路を有する第一サーバと第二サーバとの間で仮想ネットワーク機能を移動させる制御手段と、
を有することを特徴とする管理装置。
【請求項２４】
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項２３に記載の管理装置。
【請求項２５】
前記ネットワーク内の少なくとも一つのサーバに設定された複数の仮想ネットワーク機能が属するフォワーディンググラフの状態を表示するユーザインタフェースを更に有し、
前記ユーザインタフェースを通して前記第一サーバで動作している一つの仮想ネットワーク機能が指定されると、前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ前記一つの仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項２３に記載の管理装置。
【請求項２６】
請求項２３−２５のいずれかに記載の管理装置により管理される複数のサーバからなるネットワーク。
【請求項２７】
請求項２３−２５のいずれかに記載の管理装置により管理される、プログラム可能論理回路を有するサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想ネットワーク機能が動作しうるサーバを含むネットワークシステムに係り、特にその管理方法および管理装置ならびにサーバに関する。
【背景技術】
【０００２】
現在の通信システムでは、ＢＲＡＳ(Broadband Remote Access Server)、ＮＡＴ(Network Address Translation)、ルータ(Router)、ファイアウォール（ＦＷ：Firewall）、ＤＰＩ（Deep Packet Inspection)などの様々なネットワーク機能（Network Function：ＮＦ）を専用のハードウェア機器（アプライアンス）により実現している。このために、ネットワークオペレータは、新たなネットワークサービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術（ネットワーク機能の仮想化：Network Function Virtualization）が検討されている（非特許文献１）。ネットワークサービスの仮想化の一例として、特許文献１に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。【０００３】
また、複数の仮想ネットワーク機能(Virtual Network Function：ＶＮＦ)を組み合わせた通信経路に通信フローを伝送することにより種々のネットワークサービスを提供する技術も検討されている（たとえば、非特許文献２を参照）。【０００４】
図１に例示するように、ネットワーク機能の仮想化では、仮想ネットワーク機能ＶＮＦの論理的つながり（フォワーディンググラフ：Forwarding Graph）によりネットワークサービスが構成され管理される。ここでは、オーバレイネットワークに５つの仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５からなるネットワークサービスが例示されている。【０００５】
このフォワーディンググラフの仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５は、NFVインフラストラクチャ（NFV Infrastructure:ＮＦＶＩ）における汎用サーバＳＶ１〜ＳＶ４上で動作する。専用サーバでなく汎用サーバ上でキャリアグレードの機能を仮想的に動作させることにより、低価格化および運用の容易化を達成することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１７５４１８号公報
【非特許文献】
【０００７】
【非特許文献１】Network Functions Virtualization - Update White Paper, October 15-17, 2013 at the “SDN and OpenFlow World Congress”, Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)
【０００８】
【非特許文献２】ETSI GS NFV 001 v1.1.1 (2013-10)“Network Functions Virtualisation (NFV); Use Cases”(http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases.pdf)
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、汎用サーバでＮＦＶを構築しようとすると、サーバのＣＰＵ(Central Processing Unit)処理、サーバ間の通信などにボトルネックが起こる可能性があり、このボトルネックを回避するには各サーバの高速化が不可欠である。ＣＰＵの高速化技術としては、ＣＰＵコア数を増加させる他に、ＣＰＵにＦＰＧＡ（Field-Programmable Gate Array）を結合するアクセラレータ技術が知られている（たとえば、”Xeon+FPGA Platform for the Data Center”ISCA/CARL 2015 <http://www.ece.cmu.edu/~calcm/carl/lib/exe/fetch.php?media=carl15-gupta.pdf>）。【００１０】
ところが、このようなＦＰＧＡを付加したサーバを用いてＮＦＶを構築すると、ＣＰＵだけなくＦＰＧＡ上でもＶＮＦが動作するので、ネットワーク内のＦＰＧＡとＶＮＦとの対応についても管理する必要がある。たとえば、どのサーバがＦＰＧＡ対応なのか、どのＶＮＦがどのＦＰＧＡを使っているのか、さらにＶＮＦとＮＦＶＩ（ＣＯＴＳ(Commercial Off-The-Shelf)サーバ／ＶＭ／ＦＰＧＡ）との対応関係が変化したときに、ＦＰＧＡに対して、何を、どのように、いつ設定するか、という問題を解決することが必要となる。【００１１】
さらに、たとえば、ＶＮＦが稼働するサーバをメンテナンスするとき、あるいはパフォーマンスが劣化したＶＮＦをより高速なサーバで処理させたいときなどには、稼働しているＶＮＦを他のサーバへ移動させるマイグレーションの実行が必要となる場合がある。通常の仮想マシン（ＶＭ）であれば、例えば同一ネットワーク内のサーバにＶＭを移動させる技術が知られている（たとえば、ＶＭｗａｒｅ社のライブマイグレーションソフトｖＭｏｔｉｏｎ（登録商標）など）。これを用いて、そのＶＭを、利用する側になんら意識させることなく、他のサーバに移動させることができる。【００１２】
しかしながら、ＦＰＧＡを付加したサーバを用いてＮＦＶを構築した場合、各サーバを制御する中央のコントローラは、各サーバがＦＰＧＡコアを含むことを考慮して全体を管理する必要がある。このような管理技術はこれまで提案されていない。【００１３】
このように、サーバのＣＰＵだけでなく、ＦＰＧＡのようなプログラム可能論理回路がＶＮＦのインフラストラクチャとして含まれるネットワークでは、プログラム可能論理回路を考慮した特別の管理手法が必要である。【００１４】
そこで、本発明の目的は、プログラム可能論理回路がＶＮＦのインフラストラクチャとして含まれるネットワークにおいて、ＶＮＦのマイグレーションを含むネットワーク管理を可能にするネットワークシステム、その管理方法、管理装置ならびにサーバを提供することにある。
【課題を解決するための手段】
【００１５】
本発明によるネットワーク管理装置は、仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶する記憶手段と、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる制御手段と、を有することを特徴とする。
本発明によるネットワーク管理方法は、仮想ネットワーク機能が動作するサーバを含むネットワークの管理方法であって、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納し、制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる、ことを特徴とする。
本発明によるサーバは、少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する制御手段と、を有することを特徴とする。
本発明によるサーバは、少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する制御手段と、を有することを特徴とする。
本発明によるネットワークシステムは、仮想ネットワーク機能が動作するサーバを含むネットワークシステムであって、少なくとも一つのプログラム可能論理回路をそれぞれ含む複数のサーバが接続された下位レイヤネットワークと、前記複数のサーバのいずれかで動作する少なくとも一つの仮想ネットワーク機能からなる上位レイヤネットワークと、前記下位レイヤネットワークおよび前記上位レイヤネットワークを管理する管理装置と、を有し、前記管理装置が、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる、ことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、プログラム可能論理回路がＶＮＦのインフラストラクチャとして含まれるネットワークにおいてＶＮＦを別のサーバにマイグレーションすることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】図１はネットワーク機能の仮想化の一例を示す概略的ネットワーク図である。
【図２】図２は本発明を適用するネットワークシステムの一例を示す模式的なネットワーク図である。
【図３】図３は本発明を適用するネットワークシステムにおける物理サーバと仮想ネットワーク機能との対応関係の一例を示す模式的なネットワーク図である。
【図４】図４は図３に示すサーバの構成を模式的に示すブロック図である。
【図５】図５は本発明の一実施形態による管理装置の概略的構成を示すブロック図である。
【図６】図６は図５に示す管理装置における構成情報データベースの静的構成情報一例を示す模式図である。
【図７】図７は図５に示す管理装置における構成情報データベースの動的構成情報一例を示す模式図である。
【図８】図８は本発明の第１実施例による管理方法におけるユーザインタフェースの一例を示す模式図である。
【図９】図９は第１実施例による管理方法におけるマイグレーションの一例を説明するための模式的なネットワーク図である。
【図１０】図１０は第１実施例による管理方法におけるコールドマイグレーションを示すシーケンス図である。
【図１１】図１１は第１実施例による管理方法におけるホットマイグレーションを示すシーケンス図である。
【図１２】図１２は第１実施例によるマイグレーション後の構成情報データベースの動的構成情報一例を示す模式図である。
【図１３】図１３は本発明の第２実施例による管理方法におけるユーザインタフェースの一例を示す模式図である。
【図１４】図１４は第２実施例による管理方法におけるメンテナンス時の動作を示すシーケンス図である。
【図１５】図１５は本発明の他の実施形態によるネットワークシステムの一例を示す模式的なネットワーク図である。
【発明を実施するための形態】
【００１８】
＜実施形態の概要＞
本発明の実施形態によれば、サーバ上で仮想化ネットワーク機能（ＶＮＦ）が動作しうるネットワークシステムにおいて、サーバと、サーバに含まれるプログラム可能論理回路と、サーバ上で動作するＶＮＦと、の対応関係を参照して、サーバ上でプログラム可能論理回路を用いて動作しているＶＮＦのマイグレーションを実行する。より詳しくは、第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を第二サーバに設定し、第一サーバと同じＶＮＦを第二サーバ上で動作させる。このように、各サーバのプログラム可能論理回路を考慮しながらＶＮＦのマイグレーションを実行することができ、ＶＮＦのマイグレーションを含む種々のネットワーク管理が可能となる。
【００１９】
まず、図２〜図４を参照して、本発明の各実施形態を説明するためのシステム構成の一例を示す。このシステム構成は、説明の複雑化を回避するための簡略化された例であり、本発明を限定するものではない。
【００２０】
＜システム＞
図２に例示するように、管理装置１０は、複数のサーバからなる下位レイヤネットワーク２０と、複数のＶＮＦからなる上位レイヤネットワーク３０とを管理する。ここでは、図の簡略化のために、下位レイヤネットワーク２０がサーバＡ、Ｂ、ＣおよびＤからなり、上位レイヤネットワーク３０が仮想ネットワーク機能ＶＮＦ−１〜ＶＮＦ−５からなるものとする。
【００２１】
下位レイヤネットワーク２０における複数のサーバのうち少なくとも一つはプログラム可能論理回路を含むサーバである。プログラム可能論理回路は、後述するように、プログラム可能な定型的な処理を高速で実行可能なハードウェア回路であり、結合したＣＰＵのアクセラレータとして動作可能である。また、プログラム可能論理回路は、ユーザが希望する論理機能を短期間で実現できるとともに、書き換え可能という利点も有する。以下、プログラム可能論理回路としてＦＰＧＡを例示し、ＣＰＵとＦＰＧＡとが結合したサーバをＦＰＧＡ対応サーバ、ＦＰＧＡを有さないサーバをＦＰＧＡ非対応サーバと呼ぶ。
【００２２】
上位レイヤネットワーク３０における各ＶＮＦは下位レイヤネットワーク２０の物理サーバ上に設定される。たとえば、図２に例示したシステムでは、ＶＮＦ−１およびＶＮＦ−２がサーバＡ上に設定され、ＶＮＦ−３、ＶＮＦ−４およびＶＮＦ−５がそれぞれサーバＢ、ＣおよびＤ上にそれぞれ設定されている。管理装置１０は、ＦＰＧＡ対応サーバおよび非対応サーバにおけるＶＮＦの管理だけでなく、あるＶＮＦを別のサーバへ移動させるマイグレーションも制御する。サーバの構成およびＶＮＦの配置例を図３に示す。
【００２３】
＜ＦＰＧＡ対応サーバ＞
図３に示すように、下位レイヤネットワーク２０におけるＦＰＧＡ対応サーバＡは、ＣＰＵ２１Ａ、ＦＰＧＡ２２Ａおよびメモリ２３Ａを有し、オペレーティングシステム上でハイパバイザ２４Ａが動作し、ハイパバイザ２４Ａが複数の仮想マシンを生成しうる。ここでは、ハイパバイザ２４Ａが２つの仮想マシンＶＭ１およびＶＭ２を生成し、それぞれがＶＮＦ−１およびＶＮＦ−２のプログラムを実行するものとする。同様に、ＦＰＧＡ対応サーバＢは、ＣＰＵ２１Ｂ、ＦＰＧＡ２２Ｂおよびメモリ２３Ｂを有し、オペレーティングシステム上でハイパバイザ２４Ｂが動作し、ハイパバイザ２４Ｂが複数の仮想マシンを生成しうる。ここでは、ハイパバイザ２４Ｂが一つの仮想マシンＶＭ３を生成し、それがＶＮＦ−３のプログラムを実行するものとする。
【００２４】
図４は、ネットワークシステムにおけるＦＰＧＡ対応サーバの一般的な構成を示す。ＦＰＧＡ対応サーバＸは、ＣＰＵ２１と接続したＦＰＧＡ２２を有し、ＣＰＵ２１がオペレーティングシステムの上にハイパバイザ２４、仮想マシンＶＭ２５およびＶＮＦを実行し、ＦＰＧＡ２２がコンフィグレーションデータによりＶＮＦが利用可能な構成２２ａに設定される。すなわち、ＶＮＦは、メモリ２３を介してＦＰＧＡとの間でデータのやりとりを行い、ＶＮＦの処理の少なくとも一部をＦＰＧＡへ委譲することができる。より詳細には以下の通りである。
【００２５】
仮想マシンＶＭは、所定のアドレスのメモリを介してパケットデータを入力し、コンフィギュレーションで実現されたロジックで受信パケットのデータ処理を実行し、所定のアドレスのメモリを介してパケットデータを出力する。ＦＰＧＡ２２は、所定アドレスのメモリを通してパケットデータを入力すると、ＦＰＧＡコンフィグレーションに従ったロジックでデータ処理を実行し、所定のアドレスのメモリを介して処理結果を出力する。このように、ＶＮＦプログラムが所定のアドレスにデータを書き込めば、ＦＰＧＡ２２はそれを自動的に読み取って処理し、出力すべきアドレスにデータを書き込む。したがって、ＶＮＦは、所定の処理をＦＰＧＡ２２に任せることができ、全体として処理の高速化が達成される。なお、ＦＰＧＡ２２は複数のＦＰＧＡコアを含んでもよく、それぞれのＦＰＧＡコアで異なるＶＮＦの処理を実行することもできる。
【００２６】
上述したようなサーバＸで実行されているＶＮＦを他のサーバＸへ移動させる場合、ＦＰＧＡ２２でのコンフィグレーションも同様に移動させる必要がある。従って、管理装置１０は、下位レイヤネットワーク２０における各サーバのＦＰＧＡに関する情報を管理しながらサーバＸを制御し、ＶＮＦマイグレーションを実行させる必要がある。
【００２７】
なお、上述したように管理装置１０がネットワークシステムを一括管理することもできるが、上位レイヤネットワーク３０（ＶＮＦレイヤ）を管理する管理装置、下位レイヤネットワーク２０（ＶＮＦＩレイヤ）を管理する管理装置、というように、レイヤごとに管理装置を設ける構成であってもよい。以下、本発明の一実施形態による管理装置１０および管理方法について図面を参照しながら詳細に説明する。
【００２８】
１．一実施形態
＜管理装置＞
本発明の一実施形態による管理装置１０は、下位レイヤネットワーク２０および上位レイヤネットワーク３０におけるサーバ、ＣＰＵ、ＦＰＧＡおよびＶＮＦの対応管理、経路管理およびＶＮＦマイグレーション管理を実行することで、サーバの処理およびサーバ間通信でのボトルネックが発生しないように所望のフォワーディンググラフを高い信頼度で構成することができる。
【００２９】
図５において、管理装置１０は、サーバ管理部１０１、ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２、構成情報データベース１０３を有し、さらに上述した下位レイヤネットワーク２０および上位レイヤネットワーク３０における各サーバと接続するネットワークインタフェース１０４を有する。また、オペレータは、ユーザインタフェース１０５を通して、後述する管理のための各種設定および手動操作を行うことができる。管理装置１０の制御部１０６は、プログラムメモリ１０７に格納されたプログラムを実行することで、後述するように、ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２および構成情報データベース１０３の参照、登録あるいは更新を行い、サーバ／ＣＰＵ／ＦＰＧＡ／ＶＮＦの対応管理およびＶＮＦマイグレーション管理を行う。
【００３０】
ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２は、サーバで実行させるＶＮＦおよびＶＭのイメージデータ、ＦＰＧＡにロードする回路情報であるＦＰＧＡコンフィグレーションデータ等を格納する。構成情報データベース１０３は、図６および図７にそれぞれ示す静的および動的構成情報を格納する。
【００３１】
＜構成情報＞
図６において、静的構成情報はＶＮＦ、サーバおよびＦＰＧＡに関する情報からなり、それぞれの固定情報である。ＶＮＦについては、ＶＮＦ名、ＶＮＦ機能、ＦＰＧＡ対応可否、ＶＮＦイメージファイルおよびＦＰＧＡ互換性の情報が格納され、ここでは、３つのＶＮＦ（ファイアウォール、インスペクション、ルーティング）が定義されている。サーバについては、複数のＦＰＧＡ対応サーバの情報が格納され、ここでは２つのサーバ（Ｈｏｓｔ１，Ｈｏｓｔ２）が定義されている。ＦＰＧＡについては、上記３つのＶＮＦ（ファイアウォール、インスペクション、ルーティング）にそれぞれ対応したＦＰＧＡの情報が格納されている。なお、ＶＮＦ構成情報におけるマスタイメージファイルとＦＰＧＡ構成情報におけるコンフィグレーションデータは、上記ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２に格納されている。
【００３２】
図７において、動的構成情報はＶＮＦ、サービス配置およびＦＰＧＡに関する情報からなり、それぞれの現在の設定情報である。ＶＮＦについては、ＶＮＦインスタンス名、ＶＮＦ名、ホスト名、ＦＰＧＡ使用の有無、使用中のＦＰＧＡ、および性能メトリックの情報が格納されている。ここでは、ＶＮＦインスタンスＶＮＦ−１がファイアウォール機能、ＶＮＦ−２がインスペクション機能、ＶＮＦ−３がルーティング機能、ＶＮＦ−２が「ビジー状態」で性能が低下しているものとする。サービス配置については、フォワーディンググラフＳｅｒｖｉｃｅ１が３つのＶＮＦインスタンスＶＮＦ−１〜ＶＮＦ−３からなるものとする。ＦＰＧＡについては、Ｈｏｓｔ１のＦＰＧＡコア１にはファイアウォールコンフィグレーションデータが、ＦＰＧＡコア２にはインスペクションコンフィグレーションデータがそれぞれロードされ、現在、ＦＰＧＡコア２の性能が低下しているものとする。また、Ｈｏｓｔ２のＦＰＧＡコア１にはルーティングコンフィグレーションデータがロードされているものとする。
【００３３】
オペレータは管理装置１０のユーザインタフェース１０５を通してネットワークの状態をモニタすることができ、構成情報データベース１０３の動的構成情報から各サーバで稼働しているＶＮＦのパフォーマンスを知ることができる。
【００３４】
２．第１実施例
以下、図６および図７に示す構成情報を一例として、本発明の実施例による管理方法について詳細に説明する。
【００３５】
図７の動的構成情報に例示するように、サーバ（Ｈｏｓｔ１）は、ＦＰＧＡコア１がＶＮＦ−１（ファイアウォール）を、ＦＰＧＡコア２がＶＮＦ−２（インスペクション）を処理しており、そのうちＦＰＧＡコア２の負荷が高くなって性能が低下している。このとき、オペレータは、次のようにユーザインタフェース１０５を通してＶＮＦ−２を負荷の小さいＨｏｓｔ２へ移動することができる。
【００３６】
図８に例示するように、管理装置１０のユーザインタフェース１０５のモニタには、Ｓｅｒｖｉｃｅ１を構成するＶＮＦ−１〜ＶＮＦ−３がそれぞれ稼働しているサーバ（Ｈｏｓｔ）とそれらの稼働状況とが表示され、オペレータはその中から対象となるＶＮＦ−２のマイグレーションを選択する。管理装置１０の制御部１０６は、ＶＮＦ−２のマイグレーション先として、同じＦＰＧＡ対応で負荷の小さいＨｏｓｔ２を検索したものとする。
【００３７】
図９において、サーバＡからサーバＢへのＶＮＦマイグレーションには、フォワーディンググラフのＶＮＦ処理を一旦停止してから実行するコールドマイグレーション（第１例）と、各サーバのハイパバイザのライブマイグレーション機能を利用したホットマイグレーション（第２例）とがある。
【００３８】
２．１）コールドマイグレーション
図１０において、オペレータが、サーバＨｏｓｔ１からＨｏｓｔ２へのＶＮＦ−２のマイグレーションを指示すると、管理装置１０の制御部１０６は、対象ＶＮＦ−２が属するフォワーディンググラフＦＧ（ＶＮＦ−１〜ＶＮＦ−３）の処理を一時的に停止する指示を各サーバへ送信し（動作２０１）、この一時停止指示に従って、各サーバは対応するＶＮＦの処理を停止する（動作２０２）。これによって、ＶＮＦ−２のパケット受信が一時中断する。
【００３９】
続いて、制御部１０６は、ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２からＨｏｓｔ１のＦＰＧＡと同じＦＰＧＡコンフィグレーションデータを読み出して、マイグレーション先のＨｏｓｔ２へ当該ＦＰＧＡコンフィグレーションの適用指示を送信し（動作２０３）、これによってＨｏｓｔ２のＦＰＧＡに当該ＦＰＧＡコンフィグレーションデータが適用される（動作２０４）。
【００４０】
Ｈｏｓｔ２のＦＰＧＡコンフィグレーションが適用されると、管理装置１０の制御部１０６は、ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２からＨｏｓｔ１と同じＶＮＦ−２のイメージデータを読み出して、マイグレーション先のＨｏｓｔ２へ当該ＶＮＦ−２の起動指示を当該ＶＮＦ−２とＦＰＧＡとのリンク指示と共に送信する（動作２０５）。これによってＨｏｓｔ２は、ＶＮＦ−２を起動し、先に設定されたＦＰＧＡをＶＮＦ−２が利用できるように設定する（動作２０６）。
【００４１】
続いて、制御部１０６は、Ｈｏｓｔ２で起動したＶＮＦ−２をフォワーディンググラフＦＧに組み込み、Ｈｏｓｔ１のＶＮＦ−２を削除する指示を送信する（動作２０７）。これによって、Ｈｏｓｔ２のＶＮＦ−２がフォワーディンググラフＦＧに組み込まれ、Ｈｏｓｔ１のＶＮＦ−２が削除される（動作２０８、２０９）。
【００４２】
こうして、制御部１０６がＶＮＦ−２以外のＶＮＦを再設定してフォワーディンググラフ処理の再開を指示することで（動作２１０）、Ｈｏｓｔ１上のＶＮＦ−１とＨｏｓｔ２上のＶＮＦ−２およびＶＮＦ−３とからなるフォワーディンググラフＦＧの処理が再開される（動作２１１）。
【００４３】
２．２）ホットマイグレーション
図１１において、オペレータが、サーバＨｏｓｔ１からＨｏｓｔ２へのＶＮＦ−２のマイグレーションを指示すると、管理装置１０の制御部１０６は、ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース１０２からＨｏｓｔ１のＦＰＧＡと同じＦＰＧＡコンフィグレーションデータを読み出して、マイグレーション先のＨｏｓｔ２へ当該ＦＰＧＡコンフィグレーションの適用指示を送信し（動作３０１）、これによってＨｏｓｔ２のＦＰＧＡに当該ＦＰＧＡコンフィグレーションデータが適用される（動作３０２）。
【００４４】
Ｈｏｓｔ２のＦＰＧＡコンフィグレーションが適用されると、管理装置１０の制御部１０６は、Ｈｏｓｔ１に対してＶＮＦ−２の処理モードをＦＰＧＡからＣＰＵへ切り替えるように指示する（動作３０３）。この指示に従ってＨｏｓｔ１がＶＮＦ−２の処理をＣＰＵへ切り替えると（動作３０４）、制御部１０６は、Ｈｏｓｔ１およびＨｏｓｔ２に対して、ハイパバイザによるＶＮＦ−２の移動（ライブマイグレーション）を指示し（動作３０５）、Ｈｏｓｔ１からＨｏｓｔ２へのＶＮＦ−２のライブマイグレーションが実行される（動作３０６）。
【００４５】
マイグレーションが完了すると、管理装置１０の制御部１０６は、Ｈｏｓｔ２へ当該ＶＮＦ−２とＦＰＧＡとのリンク指示を送信する（動作３０７）。このリンク指示に従って、Ｈｏｓｔ２は、先に設定されたＦＰＧＡをＶＮＦ−２が利用できるように設定し、ＶＮＦ−２の処理モードをＣＰＵからＦＰＧＡへ切り替える（動作３０８）。
【００４６】
なお、制御部１０６は、必要であれば、Ｈｏｓｔ２で動作しているＶＮＦ−２をフォワーディンググラフＦＧに組み込み、ＶＮＦ−２以外のＶＮＦを再設定してフォワーディンググラフ処理の再開を指示する（動作３０９〜３１１）。こうして、Ｈｏｓｔ１上のＶＮＦ−１とＨｏｓｔ２上のＶＮＦ−２およびＶＮＦ−３とからなるフォワーディンググラフＦＧの処理が続行される。
【００４７】
図１２は、上述した対象ＶＮＦ−２のＨｏｓｔ１からＨｏｓｔ２へのマイグレーションによる動的構成情報の変化を示す。ＶＮＦ−２がＨｏｓｔ２のＦＰＧＡコア２により実行されることで、ＶＮＦ−２の性能メトリックの”Ｂｕｓｙ”がなくなり、Ｈｏｓｔ１のＦＰＧＡコア２がコンフィグレーションされていない状態となり、そのかわりにＨｏｓｔ２のＦＰＧＡコア２がＶＮＦ−２の動作主体となっている。
【００４８】
３．第２実施例
次に、図１２に示す動的構成情報、すなわち、上述したＨｏｓｔ１上のＶＮＦ−１とＨｏｓｔ２上のＶＮＦ−２およびＶＮＦ−３とからなるフォワーディンググラフＦＧを一例として、本発明の第２実施例による管理方法について詳細に説明する。
【００４９】
図１３に例示するように、サーバ（Ｈｏｓｔ１）のＦＰＧＡコア１がＶＮＦ−１（ファイアウォール）を処理し、サーバ（Ｈｏｓｔ２）のＦＰＧＡコア１がＶＮＦ−３を、ＦＰＧＡコア２がＶＮＦ−２（インスペクション）を処理している状態で、オペレータがサーバ（Ｈｏｓｔ２）のメンテナンスを指示したとする。
【００５０】
図１４において、オペレータが、ＶＮＦ−２およびＶＮＦ−３が稼働中のサーバＨｏｓｔ２のメンテナンスを指示すると、管理装置１０の制御部１０６は、動的構成情報を参照してＨｏｓｔ２で稼働中のＶＮＦ（ここではＶＮＦ−２およびＶＮＦ−３）を特定する（動作４０１）。
【００５１】
続いて、制御部１０６は、移動対象のＶＮＦの移動先Ｈｏｓｔサーバをサーバ管理部１０１からのサーバ情報（負荷状況等）に基づいて決定し、対象ＶＮＦを移動先Ｈｏｓｔへ移動するように指示する（動作４０２）。移動先のＨｏｓｔは特定されたＶＮＦを稼働できる余裕があるサーバであればよく、ここではＶＮＦを稼働していないＨｏｓｔ３が移動先として決定されたものとする。なお、特定された複数のＶＮＦをすべて一つのＨｏｓｔに移動する必要はなく、移動先の負荷状態に応じて、複数のＨｏｓｔに分けて移動してもよい。
【００５２】
移動元のＨｏｓｔ２および移動先のＨｏｓｔ３は、管理装置１０からの移動指示に従って対象ＶＮＦをＨｏｓｔ２からＨｏｓｔ３へ移動させる（動作４０３）。このＶＮＦ移動は、上述したマイグレーションにより実行することができるので、詳細は省略する。
【００５３】
こうして、ＶＮＦ−２およびＶＮＦ−３がＨｏｓｔ３へ移動してフォワーディンググラフＦＧが再開されると、Ｈｏｓｔ２のサーバがシャットダウンされ、メンテナンスが実行される（動作４０４）。
【００５４】
４．他の実施形態
上述した実施形態では、管理装置１０がネットワークシステムを一括管理する場合を例示したが、本発明はこの一括管理に限定されるものではなく、マルチレイヤシステムの各レイヤを別々の管理部が協調して管理する構成であってもよい。このような分散管理システムの一例を図１５に示す。
【００５５】
図１５に例示するように、ネットワークシステムは、下位レイヤネットワーク２０（ＶＮＦＩレイヤ）を管理する管理部１０ａと、上位レイヤネットワーク３０（ＶＮＦレイヤ）を管理する管理部１０ｂとを有し、管理部１０ａおよび１０ｂが協調して下位レイヤネットワーク２０および上位レイヤネットワーク３０を管理する。管理方法は上述した実施形態および実施例の通りであるから、説明は省略する。
【００５６】
なお、各レイヤを管理する管理部１０ａおよび１０ｂは、通信可能に接続された別個の装置が互いに協調して上記各実施形態の管理動作を実行してもよいし、それらの上位装置の管理により管理動作を実行してもよい。また、一つの管理装置内に各レイヤを管理する管理部１０ａおよび１０ｂ、あるいはそれらを管理する上位管理部が機能的に分離して設けられた構成であってもよい。
【産業上の利用可能性】
【００５７】
本発明は、仮想ネットワーク機能（ＶＮＦ）をネットワーク上に配置するシステムで利用可能である。
【符号の説明】
【００５８】
１０  管理装置
２０  下位レイヤネットワーク
２１、２１Ａ、２１Ｂ  ＣＰＵ
２２、２２Ａ、２２Ｂ  ＦＰＧＡ
２２ａ  ＦＰＧＡコンフィグレーション
２３、２３Ａ、２３Ｂ  メモリ
２４、２４Ａ、２４Ｂ  ハイパバイザ
２５  ＶＭ
３０  上位レイヤネットワーク
１０１  サーバ管理部
１０２  ＶＮＦ／ＶＭ／ＦＰＧＡイメージデータベース
１０３  構成情報データベース
１０４  ネットワークインタフェース
１０５  ユーザインタフェース
１０６  制御部
１０７  プログラムメモリ
【図１】
2017170309.tif 000003
【図２】
2017170309.tif 000004
【図３】
2017170309.tif 000005
【図４】
2017170309.tif 000006
【図５】
2017170309.tif 000007
【図６】
2017170309.tif 000008
【図７】
2017170309.tif 000009
【図８】
2017170309.tif 000010
【図９】
2017170309.tif 000011
【図１０】
2017170309.tif 000012
【図１１】
2017170309.tif 000013
【図１２】
2017170309.tif 000014
【図１３】
2017170309.tif 000015
【図１４】
2017170309.tif 000016
【図１５】
2017170309.tif 000017
【手続補正書】
【提出日】平成30年9月20日(2018.9.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶する記憶手段と、
前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる制御手段と、
を有することを特徴とする管理装置。
【請求項２】
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする請求項１に記載の管理装置。
【請求項３】
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする請求項１または２に記載の管理装置。
【請求項４】
前記制御手段が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする請求項１または２に記載の管理装置。
【請求項５】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理方法であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納し、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる、
ことを特徴とする管理方法。
【請求項６】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
【請求項７】
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
【請求項８】
仮想ネットワーク機能が動作するサーバを含むネットワークシステムであって、
少なくとも一つのプログラム可能論理回路をそれぞれ含む複数のサーバが接続された下位レイヤネットワークと、
前記複数のサーバのいずれかで動作する少なくとも一つの仮想ネットワーク機能からなる上位レイヤネットワークと、
前記下位レイヤネットワークおよび前記上位レイヤネットワークを管理する管理装置と、
を有し、
前記管理装置が、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる、
ことを特徴とするネットワークシステム。
【請求項９】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置としてコンピュータを機能させるプログラムであって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納する機能と、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる機能と、
を前記コンピュータで実現することを特徴とするプログラム。
【請求項１０】
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのＣＰＵ(Central Processing Unit)およびプログラム可能論理回路の各々と、を対応付けた構成情報を記憶する記憶手段と、
前記構成情報に基づいて、少なくとも一方がプログラム可能論理回路を有する第一サーバと第二サーバとの間で仮想ネットワーク機能を移動させる制御手段と、
を有することを特徴とする管理装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
なお、各レイヤを管理する管理部１０ａおよび１０ｂは、通信可能に接続された別個の装置が互いに協調して上記各実施形態の管理動作を実行してもよいし、それらの上位装置の管理により管理動作を実行してもよい。また、一つの管理装置内に各レイヤを管理する管理部１０ａおよび１０ｂ、あるいはそれらを管理する上位管理部が機能的に分離して設けられた構成であってもよい。
５．付記
上述した実施形態および実施例の一部あるいは全部は、以下の付記のようにも記載されうるが、これらに限定されるものではない。
（付記１）
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶する記憶手段と、
前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる制御手段と、
を有することを特徴とする管理装置。
（付記２）
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする付記１に記載の管理装置。
（付記３）
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする付記１または２に記載の管理装置。
（付記４）
前記制御手段が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする付記１または２に記載の管理装置。
（付記５）
仮想ネットワーク機能が動作するサーバを含むネットワークの管理方法であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納し、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる、
ことを特徴とする管理方法。
（付記６）
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする付記５に記載の管理方法。
（付記７）
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする付記５または６に記載の管理方法。
（付記８）
前記制御手段が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする付記５または６に記載の管理方法。
（付記９）
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
（付記１０）
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする付記９に記載のサーバ。
（付記１１）
前記制御手段が、前記プログラム可能論理回路を用いて動作している前記仮想ネットワーク機能の処理を前記ＣＰＵへ切り替えた後、ライブマイグレーション機能により前記仮想ネットワーク機能を前記他のサーバへ移動させることを特徴とする付記９に記載のサーバ。
（付記１２）
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、
少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、
他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する制御手段と、
を有することを特徴とするサーバ。
（付記１３）
前記制御手段が、自己のサーバの前記プログラム可能論理回路を前記他のサーバのプログラム可能論理回路と同様に設定し、前記仮想ネットワーク機能の少なくとも一部を自己のサーバの前記プログラム可能論理回路上で動作させることを特徴とする付記１２に記載のサーバ。
（付記１４）
前記制御手段が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする付記１２または１３に記載のサーバ。
（付記１５）
前記制御手段が、ライブマイグレーション機能により前記仮想ネットワーク機能を前記他のサーバから受け入れた後、前記自己のサーバのプログラム可能論理回路上で動作させることを特徴とする付記１２または１３に記載のサーバ。
（付記１６）
仮想ネットワーク機能が動作するサーバを含むネットワークシステムであって、
少なくとも一つのプログラム可能論理回路をそれぞれ含む複数のサーバが接続された下位レイヤネットワークと、
前記複数のサーバのいずれかで動作する少なくとも一つの仮想ネットワーク機能からなる上位レイヤネットワークと、
前記下位レイヤネットワークおよび前記上位レイヤネットワークを管理する管理装置と、
を有し、
前記管理装置が、サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記第一サーバおよび前記第二サーバに実行させる、
ことを特徴とするネットワークシステム。
（付記１７）
前記管理装置が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする付記１６に記載のネットワークシステム。
（付記１８）
前記管理装置が、前記仮想ネットワーク機能が属するフォワーディンググラフの処理を停止した後で前記マイグレーションを実行し、前記マイグレーション完了後に前記フォワーディンググラフの処理を再開することを特徴とする付記１６または１７に記載のネットワークシステム。
（付記１９）
前記管理装置が、前記第一サーバにおける前記仮想ネットワーク機能の処理をＣＰＵ(Central Processing Unit)へ切り替えた後、ライブマイグレーション機能により前記第一サーバから前記第二サーバへ前記仮想ネットワーク機能を移動させることを特徴とする付記１６または１７に記載のネットワークシステム。
（付記２０）
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置としてコンピュータを機能させるプログラムであって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのプログラム可能論理回路と、を対応付けて記憶手段に格納する機能と、
制御手段が、前記対応づけられた情報に基づいて、第一サーバ上でプログラム可能論理回路を用いて動作している仮想ネットワーク機能を第二サーバへ移動させるマイグレーションを前記サーバおよび前記他のサーバに実行させる機能と、
を前記コンピュータで実現することを特徴とするプログラム。
（付記２１）
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、を有するサーバとしてコンピュータを機能させるプログラムであって、
制御手段が、前記プログラム可能論理回路を用いて動作している仮想ネットワーク機能を他のサーバへ移動させるマイグレーションを前記他のサーバとの間で実行する機能を前記コンピュータで実現することを特徴とするプログラム。
（付記２２）
少なくとも１つの仮想ネットワーク機能の動作主体となり得るＣＰＵ(Central Processing Unit)と、少なくとも１つの仮想ネットワーク機能の動作主体となり得るプログラム可能論理回路と、を有するサーバとしてコンピュータを機能させるプログラムであって、
制御手段が、他のサーバのプログラム可能論理回路で動作している仮想ネットワーク機能を受け入れるマイグレーションを前記他のサーバとの間で実行する機能を前記コンピュータで実現することを特徴とするプログラム。
（付記２３）
仮想ネットワーク機能が動作するサーバを含むネットワークの管理装置であって、
サーバ上で動作している少なくとも一つの仮想ネットワーク機能と、仮想ネットワーク機能の少なくとも一部の動作主体としてのＣＰＵ(Central Processing Unit)およびプログラム可能論理回路の各々と、を対応付けた構成情報を記憶する記憶手段と、
前記構成情報に基づいて、少なくとも一方がプログラム可能論理回路を有する第一サーバと第二サーバとの間で仮想ネットワーク機能を移動させる制御手段と、
を有することを特徴とする管理装置。
（付記２４）
前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする付記２３に記載の管理装置。
（付記２５）
前記ネットワーク内の少なくとも一つのサーバに設定された複数の仮想ネットワーク機能が属するフォワーディンググラフの状態を表示するユーザインタフェースを更に有し、
前記ユーザインタフェースを通して前記第一サーバで動作している一つの仮想ネットワーク機能が指定されると、前記制御手段が、前記第一サーバのプログラム可能論理回路と同様に構成されたプログラム可能論理回路を前記第二サーバに設定し、前記第一サーバと同じ前記一つの仮想ネットワーク機能の少なくとも一部を前記第二サーバのプログラム可能論理回路上で動作させることを特徴とする付記２３に記載の管理装置。
（付記２６）
付記２３−２５のいずれかに記載の管理装置により管理される複数のサーバからなるネットワーク。
（付記２７）
付記２３−２５のいずれかに記載の管理装置により管理される、プログラム可能論理回路を有するサーバ。
【国際調査報告】
2017170309.tif 000018
2017170309.tif 000019
2017170309.tif 000020