(57)【要約】【課題】各機器からの観測情報収集がネットワークにかける負荷を抑制しつつ、ネットワークの制御を可能とする。【解決手段】収集した観測情報に基づいて、経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置において、過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成するモジュールと、前記確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するモジュールと、前記達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する。【選択図】図６
2017220840.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、
通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、
前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、
前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、
前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
ことを特徴とするネットワーク監視・制御装置。
【請求項２】
前記観測制御モジュールは、
前記推定・予測モジュールから得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御モジュールから得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定する
ことを特徴とする請求項１に記載のネットワーク監視・制御装置。
【請求項３】
前記観測制御モジュールは、
将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測モジュールにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行する
ことを特徴とする請求項２に記載のネットワーク監視・制御装置。
【請求項４】
ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置が実行するネットワーク監視・制御方法であって、
通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測ステップと、
前記推定・予測ステップにおいて生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布を計算するネットワーク制御ステップと、
前記ネットワーク制御ステップにおける計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御ステップと、を備え、
前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
ことを特徴とするネットワーク監視・制御方法。
【請求項５】
前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、
前記推定・予測ステップにより得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御ステップにより得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定する
ことを特徴とする請求項４に記載のネットワーク監視・制御方法。
【請求項６】
前記観測制御ステップにおいて、前記ネットワーク監視・制御装置は、
将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測ステップにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行する
ことを特徴とする請求項５に記載のネットワーク監視・制御方法。
【請求項７】
コンピュータを、請求項１乃至３のうちいずれか１項に記載のネットワーク監視・制御装置の各モジュールとして機能させるためのネットワーク監視・制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワーク監視・制御技術に係るものであり、特に、ネットワーク内の各機器で、当該機器を経由した通信需要の統計情報を観測可能で、また、状況に応じて、ネットワーク内の経路や機能配置の制御が可能なネットワークにおいて、各機器からの統計情報収集がネットワークにかける負荷を抑制しつつ、収集した統計情報に基づいてネットワークを制御するネットワーク監視・制御技術に関する。
【背景技術】
【０００２】
ネットワーク仮想化技術の研究開発が進められており、中でも、ソフトウェアによりネットワーク内の機器を制御するSDN(Software Defined Network)（非特許文献１参照）、ネットワーク機能をソフトウェアとして実装し汎用サーバ上の仮想マシンとして動作させるNFV(Network Function Virtualization（非特許文献２参照）に関する議論が進められている。これらの仮想化技術を用いることにより、ユーザの需要等の時々刻々変化する環境に合わせて、ネットワーク内の経路とともに、仮想化されたネットワーク機能(vNF)の配置制御をするといった柔軟な制御が可能となる。これらの仮想化技術の進展に伴い、需要が少ない時間帯のネットワーク機能を集約することにより、電力効率の高める制御など、仮想化技術を用いたネットワーク制御手法に関する研究も進められている（非特許文献３参照）。
【０００３】
これらのネットワーク制御を動かすためには、トラヒック需要を正確に把握することが必要とされる。従来トラヒック需要は、各ネットワーク機器で、パケットの送信元・宛先アドレスにより定義されるフローごとにカウンタを準備し、パケットを一定確率でサンプリングすることにより観測を行い、ネットワークを経由して当該観測結果を収集することにより得られていた（特許特許１参照）。あるいは、各機器に投入されたルールに従い、カウントした値を収集することにより得られていた（非特許文献４参照）。
【０００４】
しかしながら、大規模ネットワークに、頻繁にネットワーク制御を行う際に、制御のためのトラヒック情報収集に、これらの既存技術を用いると、これらのカウント値を短い頻度で収集することが求められ、制御のためのトラヒック情報収集がネットワークに大きな負荷をかけてしまう。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】Kapoor, Ruchi D., et al. "Sample netflow for network traffic data collection." U.S. Patent No. 7,193,968. 20 Mar. 2007.
【非特許文献】
【０００６】
【非特許文献１】Bo Han, et al. "Network function virtualization: Challenges and opportunities for innovations." Communications Magazine, IEEE 53.2 (2015): 90-97.
【非特許文献２】Mijumbi, Rashid, et al. "Network function virtualization: State-of-the-art and research challenges." (2015).
【非特許文献３】Raffaele Bolla, et al. "DROPv2: energy efficiency through network function virtualization." Network, IEEE 28.2 (2014): 26-32.
【非特許文献４】Hu, Zhiming, and Jun Luo. "Cracking Network Monitoring in DCNs with SDN." Proc. IEEE INFOCOM. 2015.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記のように、近年のネットワーク仮想化技術の進展により、ネットワークを柔軟に制御する基盤となる技術が整いつつある。また、その技術をもとに、ネットワークを頻繁に制御し、需要の変動に追随することにより、電力効率の高めることができることも示されつつある。このような制御を行うためには、制御を行う時刻のトラヒック状況を把握することが必要となる。しかしながら、ネットワークが大規模になると、多数の機器からトラヒック情報を収集することが必要となり、その頻度が高くなると、制御のためのトラヒック情報の収集が、ネットワークへ大きな負荷をかける。
【０００８】
本発明は上記の点に鑑みてなされたものであり、各機器からの観測情報収集がネットワークにかける負荷を抑制しつつ、収集した観測情報に基づいてネットワークの制御を可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施の形態によれば、ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、
通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、
前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、
前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、
前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する
ことを特徴とするネットワーク監視・制御装置が提供される。
【発明の効果】
【００１０】
本発明の実施の形態により、大規模ネットワークにおいて、例えば、各時刻において観測情報の収集を行う対象を絞ることにより、制御に必要な観測情報の収集がネットワークにかける負荷を抑制しつつ、必要な性能を満たすようにネットワークを制御することが可能となる。その結果、頻繁なネットワーク制御が可能となり、環境変動への追随性を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係るシステムの全体構成図である。
【図２】従来技術における各時刻での情報収集の概要を示す図である。
【図３】本発明の実施の形態における各時刻での情報収集の概要を示す図である。
【図４】従来技術において観測情報が収集されるタイミングの例を示す図である。
【図５】本発明の実施の形態において観測情報が収集されるタイミングの例を示す図である。
【図６】ネットワーク監視・制御装置１００の機能構成図である。
【図７】動作概要を示す図である。
【図８】ネットワーク監視・制御装置１００のハードウェア構成図である。
【図９】リンクとパスを説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。
【００１３】
（実施の形態の概要）
本実施の形態では、後述するネットワーク監視・制御装置１００において、将来の予測される需要の確率分布と、それを入力として制御を行った際に得られるネットワーク性能の確率分布に基づいて、観測対象の選択、それにより予測される需要の確率分布の変化、及び需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布の関係をモデル化し、ネットワーク性能に関する指標を最適化するように、将来の観測対象を決定する。これにより、観測情報収集にかかる負荷を抑えながら、目標となるネットワーク性能を達成するようなネットワーク制御を実現する。
【００１４】
すなわち、本実施の形態では、各ネットワーク機器から当該機器で観測された観測情報を収集し、当該ネットワーク内の経路の決定や当該ネットワーク内に配置する仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置において、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置の将来にわたる設定変更手順と、その設定により達成されるネットワーク性能の確率分布を計算するネットワーク制御モジュールと、ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、今後の観測情報の収集対象を決める観測制御モジュールとを配備する。
【００１５】
そして、観測制御モジュールにおいて、観測対象の選択、それによる予測される需要の確率分布の変化、需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布との関係をモデル化し、ネットワーク性能に関する指標を最適化するように、将来の各時刻における情報収集対象を決定する。
【００１６】
これにより、正確な観測情報を取得しないと制御への影響が大きくなる箇所を優先的に観測情報の収集対象とすることができ、情報収集がネットワークへかける負荷を抑制しつつ、性能目標を達成するようなネットワーク制御を実現することができる。
【００１７】
また、観測情報収集対象を決定するにあたり、各時刻の状況のみを考慮した情報収集対象の決定では、特定の情報収集対象の優先度が低くなり、結果として当該情報収集対象で発生した環境変動を検出できなくなる可能性がある。そこで、本実施の形態では、将来にわたる需要の予測分布を用い、上述の環境変動を検出できなくなる問題を考慮して、将来の各時刻における情報の収集対象を決定する。ただし、将来の需要の予測には誤差が含まれるため、本実施の形態では、次の時刻の情報収集の設定のみをネットワークに投入し、新たな観測情報が収集され、予測分布が修正されたのちに、再度、将来の各時刻における情報の収集対象を決定する。これにより、将来の需要変動を考慮しつつも、予測の修正を行うことにより、予測の誤差にも対応して、情報の収集対象を決めることができる。
【００１８】
以下、本実施の形態におけるシステム構成、及び処理内容を詳細に説明する。
【００１９】
（システム構成、動作概要）
図１に、本実施の形態におけるシステムの構成例を示す。図１に示すように、本実施の形態のシステムは、ネットワーク監視・制御装置１００、及び制御対象のネットワーク（以下、単に"ネットワーク"と呼ぶ場合がある）を有する。
【００２０】
制御対象のネットワークは、複数のノード１０、２０が転送装置３０、５０に接続され、また、転送装置３０〜５０同士が接続された構成を有する。各転送装置は、例えば、ルータやスイッチ等の装置である。各ノードは、例えば汎用サーバ（コンピュータ）であり、当該ノードにおいて、単一、あるいは、複数の仮想化されたネットワーク機能を動作させることができる。
【００２１】
すなわち、本実施の形態に係るシステムでは、ネットワーク機能をソフトウェアとして実装し汎用サーバ上の仮想マシンとして動作させ、ユーザの需要等の時々刻々変化する環境に合わせて、ネットワーク内の経路とともに、仮想化されたネットワーク機能の配置制御をするといった柔軟な制御が可能となっている。
【００２２】
ネットワーク監視・制御装置１００は、上記のような制御を行う装置であり、ネットワークにおける各ノード及び各転送装置と通信可能である。また、ネットワーク監視・制御装置１００は、ネットワークにおけるノードや転送装置で観測された需要の統計情報（これを"観測情報"又は"トラヒック情報"と呼ぶ）を収集し、ノードに対してネットワーク内の経路を設定したり、ノードに対して仮想化されたネットワーク機能の配置の設定を行ったりすることができる。なお、ここでの「経路（パス）」とは、「仮想化されたネットワーク機能」間の物理的経路（どのリンクを経由するか等）であり、後述する経路Rとは異なる。後述する経路Rは、「仮想化されたネットワーク機能」間の物理的経路と、仮想化されたネットワーク機能の配置の両方を含む概念である。
【００２３】
なお、上記の需要の統計情報（観測情報）は、例えば、パケットの送信元・宛先アドレスにより定義されるフローごとにカウンタを準備し、パケットを一定確率でサンプリングすることにより観測されたカウント値である。
【００２４】
上記の経路設定、及び配置設定を行うにあたり、例えば図２に示すように、短い間隔で全転送装置及び全ノードから観測情報を収集することは、ネットワークが大規模になると、収集を行う情報量が多くなり、ネットワークに大きな負荷をかける。
【００２５】
そこで、本実施の形態におけるネットワーク監視・制御装置１００は、将来の需要の予測の確率分布に基づいて、正確な観測情報を取得しないと制御への影響が大きくなる箇所を優先的に観測情報取得の対象とし、各時刻においては、例えば図３に示すように、一部の転送装置やノードからのみ観測情報を取得するように制御する。これにより、観測情報の取得がネットワークにかける負荷を抑制しつつ、必要なネットワーク性能を得る制御を実現する。また、限られた観測リソースをうまく使用して、ネットワークの性能劣化を防ぐ制御に必要な情報を収集することが可能となる。
【００２６】
次に、本実施の形態における観測情報収集のタイミングの例について説明する。比較のために、まず、図４に、従来技術における観測情報収集のタイミングのイメージを示す。図４（図５も同様）において、観測情報はトラヒック量として示されている。また、図４（図５も同様）においてグラフ上の連続する波線が実トラヒック量を示し、グラフ上で上下の幅を持って示される区間は、収集された観測情報から予測される需要の信頼区間（確率分布）であり、その中の横線は期待値を示す。信頼区間と期待値はいずれも区間推定値の例である。図４に示すように、従来技術では、予め定められた固定の周期で全ての機器の観測情報を収集している。
【００２７】
図５に、本実施の形態における観測情報収集のタイミングのイメージを示す。図５（ａ）は、機器Ａから収集可能な観測情報を用いて需要予測を行う場合の例を示し、図５（ｂ）は、機器Ｂから収集可能な観測情報を用いて需要予測を行う場合の例を示す。図５（ａ）のＡに示すように、機器Ａから収集可能な観測情報を用いて需要予測を行う場合、信頼区間の上下幅が広く、予測精度が低い。このような場合、本実施の形態では、機器Ａからの観測情報の収集は頻繁に行うように決定される。一方、図５（ｂ）のＢに示すように、機器Ｂから収集可能な観測情報を用いて需要予測を行う場合、信頼区間の上下幅が狭く、予測精度が高い。このような場合、機器Ｂからの観測情報の収集は、図５（ａ）のように頻繁に行う必要はなく、所定期間毎に収集が行われるように決定される。
【００２８】
（ネットワーク監視・制御装置１００の構成）
図６に、本実施の形態におけるネットワーク監視・制御装置１００の構成例を示す。図６に示すように、ネットワーク監視・制御装置１００は、推定・予測モジュール１１０、ネットワーク制御モジュール１２０、観測制御モジュール１３０を有する。図６には、各モジュールにおける処理の概要も示されている。なお、各モジュール間において、自身の処理に必要な情報であって、他のモジュールで生成される情報は、適宜、当該他のモジュールから取得される。
【００２９】
推定・予測モジュール１１０は、通信需要に関する過去に収集された観測情報を基に、制御時から将来に至る需要の予測値の確率分布を生成する。すなわち、過去の需要（観測情報）から制御時（現在）の需要（未観測の需要）の予測を行い、更に、それ以降の将来の需要の予測を行う。需要の予測値は確率分布として得られる。
【００３０】
ネットワーク制御モジュール１２０は、推定・予測モジュール１１０で生成された将来の需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定（設定変更手順）を計算し、当該計算結果に基づいて、その次の時刻におけるネットワークの設定をネットワークを構成する装置に投入する。なお、その次の時刻とは、現在の次の時刻である。例えば、５分毎に制御を行っている場合に、現在の５分間の次の５分間に設定すべき設定情報をネットワークを構成する装置に投入する。ネットワーク制御モジュール１２０は、更に、その設定により達成されるネットワーク性能の確率分布を計算する。
【００３１】
観測制御モジュール１３０は、観測対象の選択と、それによる予測される需要の確率分布の変化と、需要の予測を用いたネットワーク制御を行った結果のネットワーク性能の確率分布の関係とをモデル化し、ネットワーク性能に関する指標を最適化するように、将来の各時刻における観測情報収集の対象を決定する。観測情報収集の対象とは、例えば、特定の機器（ノード、転送装置等）である。ネットワーク性能に関する指標とは、例えば、後述するネットワークの性能損失の期待値である。
【００３２】
図７は、図６に示したネットワーク監視・制御装置１００の全体動作概要を示した図である。図７に示すように、観測制御モジュール１３０により決定した観測箇所における需要の観測結果が観測制御モジュール１３０により得られると（ステップＳ１）、推定・予測モジュール１１０は、過去の観測結果に基づいて、現在の需要の推定（ステップＳ２）及び将来の需要の予測を行う（ステップＳ３）。そして、ネットワーク制御モジュール１２０が、制御方法（設定内容）を決定するとともに（ステップＳ４）、当該決定に基づいてネットワーク設定を行い（ステップＳ５）、ネットワーク性能の予測値を算出する（ステップＳ６）。ネットワーク性能の予測値に基づいて、再び観測制御モジュール１３０により観測箇所が決定され、上記処理が繰り返される。
【００３３】
本実施の形態に係るネットワーク監視・制御装置１００は、例えば、１つ又は複数のコンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、ネットワーク監視・制御装置１００が有する機能は、当該コンピュータに内蔵されるＣＰＵやメモリ、ハードディスクなどのハードウェア資源を用いて、ネットワーク監視・制御装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００３４】
図８は、本発明の実施の形態におけるネットワーク監視・制御装置１００のハードウェア構成例を示す図である。図８のネットワーク監視・制御装置１００は、それぞれバスＢで相互に接続されているドライブ装置１５０、補助記憶装置１５２、メモリ装置１５３、ＣＰＵ１５４、インタフェース装置１５５、表示装置１５６、及び入力装置１５７等を有する。
【００３５】
ネットワーク監視・制御装置１００での処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ又はメモリカード等の記録媒体１５１によって提供される。プログラムを記憶した記録媒体１５１がドライブ装置１５０にセットされると、プログラムが記録媒体１５１からドライブ装置１５０を介して補助記憶装置１５２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１５１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１５２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
【００３６】
メモリ装置１５３は、プログラムの起動指示があった場合に、補助記憶装置１５２からプログラムを読み出して格納する。ＣＰＵ１５４は、メモリ装置１５３に格納されたプログラムに従ってネットワーク監視・制御装置１００に係る機能を実現する。インタフェース装置１５５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１５６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１５７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。
【００３７】
（観測情報の収集対象決定処理の具体例）
本実施の形態における観測制御モジュール１３０は、最適化問題を解くことにより将来の各時刻における観測情報の収集対象を決定する。以下、当該最適化問題の一例を説明する。なお、最適化問題を解くこと自体は既存技術である。例えば、市販されている最適化ソフトウェア、あるいはフリーの最適化ソフトウェアをネットワーク監視・制御装置１００（コンピュータ）に実行させ、以下で説明する定式化の式、パラメータ等を入力し、最適化ソフトウェアが有する最適化アルゴリズムを当該コンピュータが実行することにより最適化問題を解くことができる。
【００３８】
本最適化問題において、観測制御モジュール１３０は、制御を行う現在時刻を0とし、時刻1から時刻Hまでの各時刻の観測対象の集合を決定する。
【００３９】
本最適化問題では、ネットワーク監視・制御装置１００への入力となるネットワークの情報として、ネットワーク内のノードの集合N、リンクの集合L、パスの集合Pが与えられる。これらの情報は、例えば、ネットワーク構成管理システム等からネットワーク監視・制御装置１００に提供されるものである。
【００４０】
図９は、パスとリンクの例を示す図である。図９に示すように、パスは、「仮想化されたネットワーク機能」間を結ぶ物理的通信路（経路）である。リンクは、転送装置間の物理的接続である。パスは、ノード間を結ぶ経路が経由するリンクの集合で表される。
【００４１】
以降、集合Aの要素数を|A|で表すこととする。上記のとおり、パスの集合Pの各要素pは当該パスが経由するリンクの集合として表されるものとし、そのパスとリンクの対応を|L|×|P|行列Gで表す。行列要素G(l,p)はパスpがリンクlを経由する場合に1、それ以外は0となるように定義する。
【００４２】
また、ネットワーク内で収集可能な観測情報の集合Sと、各観測情報s∈Sを転送するために必要な帯域C(s)、及び、観測情報収集に利用可能なネットワークの帯域Wが与えられる。また、各観測情報について、その観測情報の収集間隔の上限値T(s)が与えられる。「観測情報s」は、例えば、特定の機器（ノード、又は転送装置）から収集するトラヒック量である。そして、例えば、別の「観測情報s」は、別の特定の機器から収集するトラヒック量である。つまり、「観測情報s」は収集対象を表す情報である。
【００４３】
前述したように、推定・予測モジュール１１０は、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成するが、より具体的には、各時刻kの通信需要Xkの確率分布P(Xk)を生成する。
【００４４】
観測制御モジュール１３０には、当該推定・予測モジュール１１０が生成した各時刻kの通信需要Xkの確率分布P(Xk)が与えられる。通信需要Xkは全|N|2通りのノードペア間のフローの通信需要を表す|N|2次元のベクトルであり、各要素は一つのフローの通信需要を表す。「一つのフロー」は、あるノードから他のノードへの通信である。例えば、一つのフローには、「ある"仮想化されたネットワーク機能"から他の"仮想化されたネットワーク機能"への通信」が複数個、含まれ得る。
【００４５】
更に、観測制御モジュール１３０には、他のモジュールの動作に関する情報として、推定・予測モジュール１１０が行う予測動作のモデル、ネットワーク制御モジュール１２０の経路（R）設定動作のモデルが与えられる。推定・予測モジュール１１０は、当該予測動作のモデルを用いて予測動作を実行し、ネットワーク制御モジュール１２０は、当該経路設定動作のモデルを用いて経路設定動作を行う。
【００４６】
推定・予測モジュール１１０の予測動作のモデルは、時刻iにおいて新たに観測値が得られた時のkステップ先の通信需要Xi+kの確率分布P(Xi+k|xi,Oi,Ri)を、時刻iでの観測対象の集合Oiと、その観測値xi及び、その時の経路Riの条件付き確率として計算する、というモデルである。
【００４７】
上記の観測対象の集合Oiは、観測可能な情報の集合Sの部分集合であり、時刻iにおいて観測制御モジュール１３０が収集する対象となる観測情報の集合を表す。xiは|Oi|次元のベクトルであり、各要素は一つの収集された実際の観測値を表す。観測値は例えば時系列トラヒック量（時刻×トラヒック量の行列）である。
【００４８】
経路Rは発着ノードペア間のフローとそのフロー上の通信需要を収容するパスの対応関係を表す|P|×|N|2行列であり、行列要素R(p,f)はf番目のフローの通信需要のうち、パスpに割り当てられる需要の割合を0から1の範囲で表す。なお、経路Rは、「仮想化されたネットワーク機能」の収容ノード、及び「仮想化されたネットワーク機能」間の経路に対応するものであり、経路Rをネットワークに投入することは、「仮想化されたネットワーク機能」の配置設定、「仮想化されたネットワーク機能」間の経路設定を行うことに相当する。
【００４９】
ネットワーク制御モジュール１２０のモデルは、現在を時刻0としたときに、h時刻先まで（つまり、時刻1〜hの各時刻）の経路を求める最適化問題の形式で与えられるモデルである。本実施の形態の最適化問題の目的関数として、ネットワークの性能損失f(R1,…,Rh,X1,…Xh)を経路と通信需要の関数として与え、また、その際に満たすべき制約条件の集合を与える。
【００５０】
ここで、ネットワークの性能損失とは、例えば、ノード間の遅延量等である。例えば、観測情報収集が多くの機器から頻繁に行われれば、ネットワークにかかる負荷が過大となり、遅延量等が増加する。よって、ネットワークの性能損失を小さくするような最適化問題を解くことで、ネットワークにかける負荷を抑制できる。
【００５１】
制約条件は、等式制約と不等式制約に分けられ、等式制約の集合をEeq、不等式制約の集合をEineqとして表し、各制約
【００５２】
【数１】
2017220840.tif 000003
は、制約関数
【００５３】
【数２】
2017220840.tif 000004
として与えられる。なお、制約条件を設けて、最適化問題を解くことによりネットワークの設定内容（例：「仮想化されたネットワーク機能」のノードへの配置、経路等）を求めること自体は既存技術であるため、制約条件の詳細は省略するが、一例として、等式制約は、例えば、"全ての「仮想化されたネットワーク機能」がいずれかのノードに収容される"、といった制約である。不等式制約は、例えば、"各フローの通信需要は、ネットワークで提供可能な帯域より小さい"、といった制約である。
【００５４】
また、観測誤差のモデルとして、設定された経路、情報収集対象の下で、通信需要Xkに対して、観測値xkを得る確率の分布P(xk|Xk,Ok,Rk) が観測制御モジュール１３０に与えられる。また、制御時に既に設定されている経路R0及び、収集対象の集合O0も合わせて観測制御モジュール１３０に与えられているものとする。
【００５５】
観測制御モジュール１３０により解かれる本最適化問題では、上記の入力を用い、各時刻kにおける収集対象の集合Okを決定する。
【００５６】
当該最適化問題において、収集対象Okから、観測値xkを得ることの損失関数F(xk, Ok)を、その観測値を用いて需要を予測し、その予測需要を用いて経路を設定するという一連のプロセスの結果として得られるネットワーク性能の損失 f(Rk,Xk) の期待値として定義する。また、以下では、EP(X)[X]は確率分布P(X)の下での確率変数Xの期待値を表し、AΔBは集合A,Bの対象差(A＼B)∪(B＼A)を表すものとする。
【００５７】
本最適化問題では目的関数として、以下の関数を与える。
【００５８】
【数３】
2017220840.tif 000005
本目的関数では、第一項が全時刻における性能損失の期待値の総和を表し、第二項は収集対象の変更数の総和、wは重みパラメータである。確率分布P(xk│Ok,Rk)は各時点での経路R、収集対象の下で、観測値を収集した場合に得られる観測値の分布を表しており、入力されたP(xk│Xk,Ok,Rk)、及び、P(Xk)を用いてP(xk│Ok,Rk)=∫P(Xk)P(xk│Xk,Ok,Rk)dXkで定義される。
【００５９】
本目的関数に合わせて観測情報の収集対象を設定することにより、観測値を得た際の一連の制御プロセスで得られるネットワーク性能の損失の期待値を最小化するような情報収集対象を求めつつ、重みパラメータの大小によって収集対象の変更数を調整できる。重みパラメータの値の設定は、例えば、環境変動が頻発する状況では、wを負の値として、積極的に情報収集対象の変更を促し、広範な情報収集対象の候補から観測値の収集を行うことができる。一方、環境変動がほとんど生じない状況では、wを正の値として、継続的な情報収集を実行することで、予測分布の修正に必要な連続した時系列の情報を収集し、より精度の高い予測、及び制御を行うことができる。
【００６０】
また、本最適化問題では、以下の制約条件を満たす範囲内での解の探索を行う。以下では、τ(s,k)を、時刻kにおいて、観測情報sの観測値が最後に収集されてからの経過時間を表すものとする。また、時刻kにおいて、ネットワーク制御モジュール１２０が計算によって求める時刻k+iにおける最適な経路をRk+i(k)と表すものとする。
【００６１】
制約条件１: 観測値の収集に必要となる帯域の総和は、情報収集のために与えられた帯域よりも小さい。
【００６２】
【数４】
2017220840.tif 000006
制約条件２: 全ての情報収集対象の候補は、収集間隔の上限値までの間に収集される。
【００６３】
【数５】
2017220840.tif 000007
制約条件３: 観測値が収集された時、経過時間を0にリセットする。
【００６４】
【数６】
2017220840.tif 000008
制約条件４: 観測値が収集されなかった時、経過時間が1増加する。
【００６５】
【数７】
2017220840.tif 000009
制約条件５: 経路の設定は、観測値を得た時、その観測値の下で修正された需要の予測分布（下記のP(Xk+1,... , Xk+h|xk,Ok,Rk)）に基づいて、経路設定の目的関数（下記のf(Rk+1(k),…, Rk+h(k),Xk+1,…, Xk+h)）の期待値を最小化するように決定され、得られる性能の期待値はその最小値に一致する。,
【００６６】
【数８】
2017220840.tif 000010
制約条件６: 各時刻において、直前の制御時にネットワーク制御モジュール１２０が計算した、その時刻の経路Rが実際にネットワークに投入される。
【００６７】
【数９】
2017220840.tif 000011
制約条件７: ネットワーク制御モジュール１２０において計算される経路は、経路制御の等式制約条件を満たす。
【００６８】
【数１０】
2017220840.tif 000012
制約条件８: ネットワーク制御モジュール１２０において計算される経路は、経路制御の不等式制約条件を満たす。
【００６９】
【数１１】
2017220840.tif 000013
上記の最適化問題を解くことにより、時刻1から時刻Hまでの情報の収集対象の集合を計算することができる。そして、観測制御モジュール１３０は、計算された時刻1の収集対象の観測値を該当ネットワーク機器（ノード、転送装置等）から収集し、得られた観測値を推定・予測モジュール１１０に通知し、新たな観測値の下で需要の予測を再度行う。時刻2以降は、この新たな需要予測の下で、観測制御モジュール１３０において情報収集対象を再度計算する。これにより、将来の予測に基づいて情報収集対象を決定しながらも、予測の修正を行うことで、予測誤差にも対応可能となる。
【００７０】
（実施の形態のまとめ）
（１）以上、説明したように、本実施の形態によれば、ネットワークを構成するネットワーク機器から当該ネットワーク機器で観測された観測情報を収集し、当該観測情報に基づいて、当該ネットワーク内の経路の決定、及び仮想化されたネットワーク機能の配置を行うネットワーク監視・制御装置であって、通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する推定・予測モジュールと、前記推定・予測モジュールにより生成された、制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算するネットワーク制御モジュールと、前記ネットワーク制御モジュールの計算結果である達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する観測制御モジュールと、を備え、前記観測制御モジュールは、将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定することを特徴とするネットワーク監視・制御装置が提供される。
【００７１】
推定・予測モジュールが、「通信需要に関する過去に収集された観測情報に基づいて、制御時から将来に至る需要の予測値の確率分布を生成する」ことは、例えば、本実施の形態において、推定・予測モジュール１１０が、時刻iにおいて得られた観測値に基づいて、通信需要Xi+kの確率分布P(Xi+k|xi,Oi,Ri)を、各kについて算出することに対応する。
【００７２】
ネットワーク制御モジュールが、「制御時から将来に至る需要の予測値の確率分布に基づいて、ネットワーク内の経路、及び仮想化されたネットワーク機能の配置の将来にわたる設定内容と、当該設定により達成されるネットワーク性能の確率分布とを計算する」ことは、例えば、本実施の形態において、ネットワーク制御モジュール１２０が、上述した制約条件５を用いて、各時刻（時刻k+1〜時刻k+h）の経路（R）を算出するとともに、f(Rk+1(k),…, Rk+h(k),Xk+1,…, Xk+h)を算出することに対応する。つまり、f(Rk+1(k),…, Rk+h(k),Xk+1,…, Xk+h)は、"設定により達成されるネットワーク性能の確率分布"に対応する。
【００７３】
観測制御モジュールが、「達成されるネットワーク性能の確率分布に基づいて、将来の観測情報の収集対象を決定する」こと、及び、「将来の達成されるネットワーク性能に関する指標を最適化するように前記将来の観測情報の収集対象を決定する」ことは、いずれも、例えば、本実施の形態において、観測制御モジュール１３０が、［数３］に示される目的関数の最適化問題を解くことに対応する。
【００７４】
（２）前記観測制御モジュールは、前記推定・予測モジュールから得られる制御時から将来に至る需要の予測値の確率分布と、前記ネットワーク制御モジュールから得られるネットワーク性能の確率分布とに基づいて、将来の各時刻のネットワーク性能に関する指標と、各時刻における観測対象の変更の大きさに関する指標との重み付けの和を最適化する最適化問題を解くことにより、前記将来の各時刻における観測情報の収集対象を決定することとしてもよい。
【００７５】
上記の構成は、例えば、本実施の形態において、制約条件５に示されるように、P(Xk+1,…, Xk+h|xk,Ok,Rk)（制御時から将来に至る需要の予測値の確率分布）の下でのf(Rk+1(k),…, Rk+h(k),Xk+1,…, Xk+h)（ネットワーク性能の確率分布）の期待値から求められたF(xk,Ok,)を用いて、［数３］に示される目的関数の最適化問題を解くことに対応する。
【００７６】
（３）前記観測制御モジュールは、将来の各時刻における観測情報の収集対象を決定した後に、新たな観測結果を取得し、前記推定・予測モジュールにおいて、当該新たな観測結果に基づいて、制御時から将来に至る需要の予測値の確率分布を再計算した後、当該再計算後の需要の予測値の確率分布に基づいて、前記最適化問題を解いて収集対象を決定する、という手順を繰り返し実行することとしてもよい。
【００７７】
上記の構成は、例えば、本実施の形態において、観測制御モジュール１３０が、計算された時刻1の収集対象の観測値を該当ネットワーク機器（ノード、転送装置等）から収集し、得られた観測値を推定・予測モジュール１１０に通知し、新たな観測値の下で需要の予測を再度行い、時刻2以降は、この新たな需要予測の下で、観測制御モジュール１３０において情報収集対象を再度計算することに対応する。
【００７８】
本発明は上記実施形態に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が本発明に包含される。
【符号の説明】
【００７９】
１０、２０  ノード
３０〜５０  転送装置
１００  ネットワーク監視・制御装置
１１０  推定・予測モジュール
１２０  ネットワーク制御モジュール
１３０  観測制御モジュール
【図１】
2017220840.tif 000014
【図２】
2017220840.tif 000015
【図３】
2017220840.tif 000016
【図４】
2017220840.tif 000017
【図５】
2017220840.tif 000018
【図６】
2017220840.tif 000019
【図７】
2017220840.tif 000020
【図８】
2017220840.tif 000021
【図９】
2017220840.tif 000022