(57)【要約】【課題】仮想ネットワーク機能の配置を最適化できるネットワークシステム、ネットワーク制御方法、制御装置および運用管理装置を提供することにある。【解決手段】ネットワーク制御装置（１１）は、物理サーバ上の仮想コンポーネント（ＶＭＭ、ＶＭ、ＶＮＦ）およびネットワークの物理コンポーネント（ＳＶ、２１Ａ、２１Ｂ、２１Ｃ）を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能（ＶＮＦ）を管理し、制御条件が設定された運用ポリシを格納し、運用ポリシの制御条件に従って物理サーバ（３１，３２）上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、仮想コンポーネントおよび物理コンポーネントの少なくとも一方に対して問題を解決する設定制御を実行する。【選択図】図１８
2016192660.tif 000002
【特許請求の範囲】
【請求項１】
ネットワークを制御する装置であって、
前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、
制御条件が設定された運用ポリシを格納する格納手段と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、
を有することを特徴とするネットワーク制御装置。
【請求項２】
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項１に記載のネットワーク制御装置。
【請求項３】
前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項１または２に記載のネットワーク制御装置。
【請求項４】
前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項１−３のいずれか１項に記載のネットワーク制御装置。
【請求項５】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項１−４のいずれか１項に記載のネットワーク制御装置。
【請求項６】
前記物理サーバより上流側に位置するコンポーネントが前記トラフィックに対するパケット廃棄、帯域制限および／またはパス切替を実行することを特徴とする請求項５に記載のネットワーク制御装置。
【請求項７】
前記物理サーバより上流側に位置するコンポーネントは当該物理サーバの前段に位置する物理スイッチまたは前記ネットワークのエッジに位置する物理スイッチであることを特徴とする請求項５または６に記載のネットワーク制御装置。
【請求項８】
前記物理サーバより上流側に位置するコンポーネントにはロードバランサが設けられ、前記制御手段が前記ロードバランサに対して前記設定制御を実行することを特徴とする請求項５−７のいずれか１項に記載のネットワーク制御装置。
【請求項９】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項１−４のいずれか１項に記載のネットワーク制御装置。
【請求項１０】
当該問題が発生したレイヤのコンポーネントと同じ機能のコンポーネントを新規に起動することを特徴とする請求項９に記載のネットワーク制御装置。
【請求項１１】
当該問題が発生したレイヤのコンポーネントに対する割り当てリソースを増大させることを特徴とする請求項９に記載のネットワーク制御装置。
【請求項１２】
前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項１−１１のいずれか１項に記載のネットワーク制御装置。
【請求項１３】
前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項１２に記載のネットワーク制御装置。
【請求項１４】
ネットワークを制御する方法であって、
管理手段が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、
制御条件が設定された運用ポリシを格納手段に格納し、
制御手段が、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する、
ことを特徴とするネットワーク制御方法。
【請求項１５】
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項１４に記載のネットワーク制御方法。
【請求項１６】
前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項１４または１５に記載のネットワーク制御方法。
【請求項１７】
前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項１６に記載のネットワーク制御方法。
【請求項１８】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項１６または１７に記載のネットワーク制御方法。
【請求項１９】
前記物理サーバより上流側に位置するコンポーネントが前記トラフィックに対するパケット廃棄、帯域制限および／またはパス切替を実行することを特徴とする請求項１８に記載のネットワーク制御方法。
【請求項２０】
前記物理サーバより上流側に位置するコンポーネントは当該物理サーバの前段に位置する物理スイッチまたは前記ネットワークのエッジに位置する物理スイッチであることを特徴とする請求項１８または１９に記載のネットワーク制御方法。
【請求項２１】
前記物理サーバより上流側に位置するコンポーネントにはロードバランサが設けられ、前記制御手段が前記ロードバランサに対して前記設定制御を実行することを特徴とする請求項１８−２０のいずれか１項に記載のネットワーク制御方法。
【請求項２２】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項１６または１７に記載のネットワーク制御方法。
【請求項２３】
当該問題が発生したレイヤのコンポーネントと同じ機能のコンポーネントを新規に起動することを特徴とする請求項２２に記載のネットワーク制御方法。
【請求項２４】
当該問題が発生したレイヤのコンポーネントに対する割り当てリソースを増大させることを特徴とする請求項２２に記載のネットワーク制御方法。
【請求項２５】
前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項１６−２４のいずれか１項に記載のネットワーク制御方法。
【請求項２６】
前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項２５に記載のネットワーク制御方法。
【請求項２７】
ネットワークを制御する制御装置と、
前記制御装置を介して前記ネットワークを管理する運用管理装置と、
を有し、
前記運用管理装置が前記制御装置に運用ポリシを設定し、
前記制御装置が、
前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、
を有することを特徴とするネットワークシステム。
【請求項２８】
前記管理手段が、前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項２７に記載のネットワークシステム。
【請求項２９】
前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項２７または２８に記載のネットワークシステム。
【請求項３０】
前記制御手段が、前記問題が発生したレイヤと同じレイヤまたは別のレイヤのコンポーネントに対して前記設定制御を実行することを特徴とする請求項２９に記載のネットワークシステム。
【請求項３１】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したコンポーネントへのトラフィックを制御するように、前記物理サーバより上流側に位置するコンポーネントに対して前記設定制御を実行することを特徴とする請求項２９または３０に記載のネットワークシステム。
【請求項３２】
前記物理サーバのいずれかのレイヤにおいて前記問題が発生した場合、前記制御手段が、当該問題が発生したレイヤのコンポーネントの処理能力を増大させるように前記設定制御を実行することを特徴とする請求項２９または３０に記載のネットワークシステム。
【請求項３３】
前記ネットワークトポロジ情報が前記仮想ネットワーク機能のレイヤおよびその下位レイヤの仮想コンポーネントからなる拡張パスに関する情報であることを特徴とする請求項２９−３２のいずれか１項に記載のネットワークシステム。
【請求項３４】
前記管理手段が、前記拡張パスに基づいて、前記仮想ネットワーク機能からなるネットワークサービスを管理することを特徴とする請求項３３に記載のネットワークシステム。
【請求項３５】
ネットワークを制御する制御装置が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行するシステムにおける、前記制御装置に運用ポリシを設定し前記制御装置を介して前記ネットワークを管理する運用管理装置であって、
前記物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定する手段と、
前記制御装置により設定された、前記仮想ネットワーク機能、前記仮想コンポーネントおよび前記物理コンポーネントからなる拡張パスを表示部に表示する手段と、
を有することを特徴とする運用管理装置。
【請求項３６】
前記物理サーバ上のレイヤごとの仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定し、前記制御装置が前記物理サーバ上のレイヤごとの仮想コンポーネントの状態を監視することを特徴とする請求項３５に記載の運用管理装置。
【請求項３７】
前記制御条件は前記ネットワークにおけるコンポーネントの負荷パラメータが所定値を超えているか否かを判断するための条件であることを特徴とする請求項３５または３６に記載の運用管理装置。
【請求項３８】
ネットワーク制御装置としてコンピュータを機能させるプログラムであって、
ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する機能と、
制御条件が設定された運用ポリシを格納手段に格納する機能と、
前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する機能と、
を前記コンピュータに実現することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は仮想ネットワーク機能を含むネットワークシステムに係り、特にネットワークの制御方法、制御装置および運用管理装置に関する。
【背景技術】
【０００２】
現在の通信システムでは、ＢＲＡＳ(Broadband Remote Access Server)、ＮＡＴ(Network Address Translation)、ルータ、ファイヤウォールなどの様々なネットワーク機能（Network Function：ＮＦ）を専用のハードウェア機器（アプライアンス）により実現している。このために、ネットワークオペレータは、新たなネットワークサービスを立ち上げる場合、新たな専用のハートウェア機器の導入を強いられ、機器の購入費用や設置スペース等の多大なコストを必要とする。このような状況に鑑み、近年、ハードウェア機器で実行されるネットワーク機能をソフトウェアにより仮想的に実行する技術（ネットワーク機能の仮想化：Network Function Virtualization）が検討されている（非特許文献１）。ネットワークサービスの仮想化の一例として、特許文献１に、通信ノード装置上に複数の仮想ルータを構築し、これらの仮想ルータの資源を通信品質に応じて動的に配分する方法が開示されている。
【０００３】
また、複数の仮想ネットワーク機能(Virtual Network Function：ＶＮＦ)を組み合わせた通信経路に通信フローを伝送することにより種々のネットワークサービスを提供する技術も検討されている（たとえば、非特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１７５４１８号公報
【非特許文献】
【０００５】
【非特許文献１】Network Functions Virtualization - Update White Paper, October 15-17, 2013 at the “SDN and OpenFlow World Congress”, Frankfurt-Germany (http://portal.etsi.org/NFV/NFV_White_Pater2.pdf)
【０００６】
【非特許文献２】ETSI GS NFV 001 v1.1.1 (2013-10)“Network Functions Virtualisation (NFV); Use Cases”(http://docbox.etsi.org/ISG/NFV/Open/Published/gs_NFV001v010101p%20-%20Use%20Cases.pd
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述した特許文献および非特許文献では、ＶＮＦの配置およびＶＮＦ間のパスを管理しているが、このようにして決定されたＶＮＦ配置がシステム全体のスループットを最適化するとは限らない。たとえば、ＶＮＦが動作する物理サーバ自体が過負荷状態にあれば、当該ＶＮＦのパフォーマンスは低下する。このように、各ＶＮＦが動作する下位レイヤを考慮しなければ、システム全体のスループットを最適化することはできない。
【０００８】
たとえば、実際のＶＮＦは仮想マシン（Virtual Machine：ＶＭ）上で起動され、ＶＭは仮想マシンモニタ（Virtual Machine Monitor：ＶＭＭ）上で生成、管理され、さらにＶＭＭは物理サーバ上に実装される。したがって、実際のネットワークサービスは、ＶＮＦだけでなく、その下位レイヤである物理レイヤ、ＶＭ、ＶＭＭ等を経由している。ＶＮＦおよびその下位レイヤの少なくとも一つのレイヤで、たとえば障害あるいは過負荷状態が発生すれば、ネットワークサービスのパフォーマンス低下を招来し、システム全体の性能を低下させる。
【０００９】
そこで、本発明の目的は、仮想ネットワーク機能の配置を最適化できるネットワークシステム、ネットワーク制御方法および制御装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明によるネットワーク制御装置は、ネットワークを制御する装置であって、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、制御条件が設定された運用ポリシを格納する格納手段と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、を有することを特徴とする。
本発明によるネットワーク制御方法は、ネットワークを制御する方法であって、管理手段が、前記ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理し、制御条件が設定された運用ポリシを格納手段に格納し、制御手段が、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する、ことを特徴とする。
本発明によるネットワークシステムは、ネットワークを制御する制御装置と、前記制御装置を介して前記ネットワークを管理する運用管理装置と、を有し、前記運用管理装置が前記制御装置に運用ポリシを設定し、前記制御装置が、ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの状態を監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する管理手段と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する制御手段と、を有することを特徴とする。
本発明によるネットワーク運用管理装置は、上記ネットワークシステムにおける運用管理装置であって、前記物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントの要求条件と前記運用ポリシとを前記制御装置に設定する手段と、前記制御装置により設定された、前記仮想ネットワーク機能、前記仮想コンポーネントおよび前記物理コンポーネントからなる拡張サービスチェインを表示部に表示する手段と、を有することを特徴とする。
本発明によるプログラムは、ネットワーク制御装置としてコンピュータを機能させるプログラムであって、ネットワークに含まれる物理サーバ上の仮想コンポーネントおよび前記ネットワークの物理コンポーネントを監視し、これらのコンポーネントに関するネットワークトポロジ情報に基づいて前記物理サーバ上で動作する少なくとも一つの仮想ネットワーク機能を管理する機能と、制御条件が設定された運用ポリシを格納手段に格納する機能と、前記運用ポリシの制御条件に従って前記物理サーバ上で動作する少なくとも一つのレイヤにおける少なくとも一つのコンポーネントで問題が発生したと判断された場合、前記仮想コンポーネントおよび前記物理コンポーネントの少なくとも一方に対して前記問題を解決する設定制御を実行する機能と、を前記コンピュータに実現することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、ネットワーク上での仮想ネットワーク機能の最適な配置を実現できる。
【図面の簡単な説明】
【００１２】
【図１】図１は本発明の実施形態を実装するネットワークの一例を示すシステム構成図である。
【図２】図２は本発明の第１実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図３】図３は本発明の第１実施形態による制御装置の概略的構成を示すブロック図である。
【図４】図４は第１実施形態による制御装置に設けられたデータベースのデータ構成例を示す図である。
【図５】図５は第１実施形態におけるサーバの概略的構成を示すブロック図である。
【図６】図６は本発明の第２実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図７】図７は第２実施形態による制御装置に設けられたデータベースのデータ構成例を示す図である。
【図８】図８は第２実施形態によるネットワークシステムの動作を示すシーケンス図である。
【図９】図９は本発明の実施例２−１よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１０】図１０は本発明の実施例２−２よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１１】図１１は本発明の実施例２−３よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１２】図１２は本発明の実施例２−４よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１３】図１３は本発明の第３実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１４】図１４は本発明の実施例３−１よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１５】図１５は本発明の実施例３−２よるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１６】図１６は本発明の第４実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１７】図１７は第４実施形態によるネットワークシステムの動作を示すシーケンス図である。
【図１８】図１８は本発明の第５実施形態によるネットワークシステムの概略的動作を説明するための模式的なネットワーク図である。
【図１９】図１９は第５実施形態によるネットワークシステムにおける運用管理装置の概略的構成を示すブロック図である。
【図２０】図２０は第５実施形態における運用管理装置によるネットワーク可視化の一例である表示画面を模式的に示す図である。
【図２１】図２１は第５実施形態における運用管理装置によるサービスチェイン可視化の一例である表示画面を模式的に示す図である。
【図２２】図２２は第５実施形態における運用管理装置によるサービスチェイン可視化の他の例である表示画面を模式的に示す図である。
【図２３】図２３は本発明の第６実施形態による制御装置の概略的構成を示すブロック図である。
【図２４】図２４は第６実施形態における物理スイッチの概略的構成を示すブロック図である。
【図２５】図２５は第６実施形態におけるサーバの概略的構成を示すブロック図である。
【図２６】図２６は第６実施形態において採用されるオープンフロー技術について説明するための模式的なシステム構成図である。
【図２７】図２７は図２６におけるフローテーブルに格納されるエントリの構成を模式的に示すフォーマット図である。
【発明を実施するための形態】
【００１３】
Ａ．実施形態の概要
本発明の実施形態によれば、仮想ネットワーク機能（ＶＮＦ）だけでなく、その下位レイヤの各コンポーネントもネットワークサービスを構成する一つの「ノード」として捉える。したがって、ＶＮＦおよびその下位レイヤのノードを含めたネットワークサービスを提供するパス（以下、拡張パスという。）に基づいてネットワークサービスを管理することができる。ＶＮＦとは異なるレイヤのリソースをも考慮して管理することにより、現実に即したネットワークサービスの最適化が可能となる。以下、図１に示すネットワークシステムを参照しながら本発明の実施形態の概要を説明する。
【００１４】
＜システム構成＞
図１に示すように、制御装置１０は、物理スイッチ等の物理ノードとＶＮＦを提供可能なサーバとを含むネットワーク２０を制御し、後述する拡張パスに基づいてＶＮＦの配置および設定を制御する。ネットワーク２０は複数の物理ノードおよびｎ個（ｎ：１以上の整数）の物理サーバＳＶ１〜ＳＶｎを含み、それらが隣接する物理ノードあるいは物理サーバと物理リンクにより接続されている。なお、制御装置１０はネットワークの運用管理装置内に設けられてもよい。尚、以後の記載では、物理サーバＳＶ１〜ＳＶｎを指して単に「サーバ」と記載することもある。
【００１５】
各サーバは、仮想ネットワーク機能（ＶＮＦ）レイヤ、ＶＮＦを起動するＶＭレイヤ、ＶＭの生成および管理を行うＶＭ管理レイヤ、およびＶＭ管理機能を実装する物理レイヤからなるマルチレイヤ構成を有し、することができる。ここではネットワークサービスを構成する１以上のＶＮＦをそれぞれ物理サーバＳＶ１〜ＳＶｎに配置可能であるものとする。
【００１６】
＜拡張パス＞
上述したように、各サーバがマルチレイヤ構成を有する場合、たとえば１種類以上のＶＮＦからなるネットワークサービスは、実際には、各サーバのＶＮＦだけでなく、下位レイヤである物理レイヤ、ＶＭレイヤ、ＶＭ管理レイヤ等を経由した拡張パスとしてとらえることができる。制御装置１０は、このような拡張パスに基づいてＶＮＦを含む全てのレイヤのコンポーネントリソースを管理する。
【００１７】
たとえば、ＶＮＦおよびその下位レイヤの少なくとも一つのレイヤで障害あるいは過負荷状態が発生すれば、制御装置１０は、拡張パスのノードにおける障害あるいは過負荷状態として識別することができ、当該ノードの障害あるいは過負荷状態に対する適切な対策をとることができる。
【００１８】
より詳しくは、あるレイヤで障害、過負荷状態等の問題が発生した場合、同一レイヤあるいは下位レイヤにおいて当該問題を解決するための制御を行うことができる。たとえば、あるサーバのＶＮＦあるいはＶＭで障害あるいは過負荷状態が発生した場合には、新たなＶＭを起動する、あるいは上流側のノードにおける物理レイヤで帯域制限を行う等の対処が可能である。また、ある物理リンクあるいは物理サーバで障害あるいは過負荷状態が発生すれば、障害あるいは過負荷状態の箇所を回避するようにネットワークサービスのパスを変更し、別のサーバで同じＶＮＦを起動して対処することができる。また、このような問題解決制御を管理ツールを用いてポリシベースで行うこともできる。
【００１９】
このように拡張パスを用いて管理することでシステム全体のスループットを最適化することが可能となる。以下、図１に示すマルチレイヤ構成を一例として、本発明の実施形態について具体的に説明する。なお、ＶＭ管理レイヤノードは仮想マシンマネージャＶＭＭ（Virtual Machine Manager）、あるいはハイパバイザ(Hypervisor)とも呼ばれる。
【００２０】
１．第１実施形態
１．１）システム構成
図２に示すように、本発明の第１実施形態によるネットワークシステムは制御装置１０と制御装置１０が制御するネットワーク２０とからなり、記載を簡単にするために、ネットワーク２０は、２つの物理ノードＮ１およびＮ２と、その間に配置されたサーバ３０と、を含むものとする。
【００２１】
サーバ３０は、隣接ノードと物理リンクで接続するための物理レイヤのコンポーネントＳＶと、ＶＭ管理レイヤのコンポーネントＶＭＭと、ＶＭレイヤのコンポーネントＶＭと、ネットワーク機能であるＶＮＦレイヤのコンポーネントＶＮＦと、からなるマルチレイヤ構成を有する。すなわち、サーバ３０では、物理レイヤのコンポーネントＳＶ上に複数の仮想ソフトウェア（ＶＭＭ、ＶＭ、ＶＮＦ）が階層的に起動している。したがって、この例における仮想ネットワーク機能ＶＮＦは、上述したように、物理ノードＮ１、Ｎ２、物理リンク、サーバ３０のレイヤコンポーネントＳＶ、ＶＭＭおよびＶＭをそれぞれノードとする一つの拡張パスとして扱われる。
【００２２】
＜制御装置＞
図３に例示するように、本実施形態による制御装置１０は、拡張パス設定部１０１、ノード管理部１０２、データベース１０３、制御部１０４、および図示されていない記録装置を有し、ネットワーク２０のネットワークリソース情報およびノード情報を収集すると共に、拡張パスに基づいてネットワーク２０におけるネットワークサービスを最適化するようにパスおよびノード設定を制御する。
【００２３】
拡張パス設定部１０１は、データベース１０３を参照して、特定のネットワークサービスを構成するために必要なノードを繋ぐ拡張パスの設定を行う。ノード管理部１０２は、拡張パスを構成する各ノード、すなわち物理スイッチ、仮想アプライアンス、仮想マシン等の物理リソースおよび仮想リソースを管理する。データベース１０３は、コンポーネントに関するネットワークトポロジ情報と各コンポーネントの使用状態、要求条件等のパラメータ情報とを格納する。
【００２４】
制御部１０４は、ネットワーク２０の物理リンク、物理ノードおよび上述した各コンポーネントノードの監視情報を取得してデータベース１０３を構成するとともに、上述した拡張パス設定部１０１、ノード管理部１０２およびデータベース１０３によるネットワークサービス管理動作を制御する。ここで、各コンポーネントノードの監視情報は各ノードの状態を示すリソース情報であり、たとえば通信量、ＣＰＵ使用率、帯域占有率などの負荷情報、使用可能か否かの可用性情報などである。
【００２５】
なお、拡張パス設定部１０１、ノード管理部１０２および制御部１０４と同じ機能は、ＣＰＵ(Central Processing Unit)あるいはコンピュータ上で、図示しないメモリに格納されたプログラムを実行することにより実現することもできる。
【００２６】
＜データベース＞
図４に示すように、データベース１０３は、各レイヤのコンポーネントに関する情報、すなわち管理対象となる物理ノードおよび仮想ノードに関する情報を格納する。格納情報はネットワークトポロジ情報（コンポーネントおよびコンポーネント情報）とそのパラメータ情報とからなる。パラメータ情報は、各コンポーネントの使用状態、使用可否あるいは要求条件等を示す情報であり、監視情報を取得するごとに更新されうる。各コンポーネントに対応するコンポーネント情報とパラメータ情報との一例は以下の通りである。
【００２７】
・コンポーネントが物理リンクであれば、その接続関係がコンポーネント情報であり、当該ノードのリソース情報（たとえば通信帯域、使用帯域あるいは空き帯域等）がパラメータ情報である。
・コンポーネントが物理スイッチであれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報（たとえば使用可否情報など）がパラメータ情報である。
・コンポーネントがサーバであれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報（たとえばＣＰＵ使用率、メモリ使用率、あるいはメモリ空き容量などの負荷情報）がパラメータ情報である。
・コンポーネントが仮想マシンＶＭであれば、そのノード識別情報がコンポーネント情報であり、当該ノードのリソース情報（通信帯域、使用帯域あるいは空き帯域等）がパラメータ情報である。
・コンポーネントが仮想マシンモニタ（ハイパバイザ）であれば、ノード識別情報がコンポーネント情報であり、そのノードのリソース情報（たとえばＣＰＵ使用率、メモリ使用率、あるいはメモリ空き容量などの負荷情報）がパラメータ情報である。
・コンポーネントが仮想ネットワーク機能（ＶＮＦ）であれば、当該ノード識別情報がコンポーネント情報であり、そのノードのリソース情報（たとえば必要なネットワーク通信帯域、必要なサーバあるいはＶＭのＣＰＵ能力等の要求情報）がパラメータ情報である。
【００２８】
＜サーバ＞
図５に示すように、サーバ３０は、制御部１３１、ＶＭＭ１３２、ノード状態モニタ１３３、および図示しないメモリを提供する記憶装置を有する。ＶＭＭ１３２は、複数のＶＮＦを実行可能な複数の仮想マシンＶＭ１、ＶＭ２、・・・を生成し管理する。ノード状態モニタ１３３は、ＶＮＦレイヤ、ＶＭレイヤ、ＶＭＭレイヤおよび物理サーバレイヤにおけるそれぞれのコンポーネント状態（ノード状態）を監視し、これらの監視情報を格納する。制御部１３１は、周期的にあるいは制御装置１０からの要求に応じて、監視情報を制御装置１０へ送信する。その際、監視情報に何らかの差異が生じたときだけに監視情報あるいはその差分を制御装置１０へ送信してもよい。また、サーバ３０内で各ノードの障害あるいは過負荷情報等の問題の有無を検知し、検知情報と共に監視情報を通知することもできる。ただし、サーバ３０が制御装置１０に受信パケットを転送し、制御装置１０がそれを分析してコンポーネント状態を監視するシステムでは、サーバ３０にノード状態モニタ１３３は不要である。
【００２９】
なお、制御部１３１、ＶＭＭ１３２、ＶＭ、ＶＮＦおよびノード状態モニタ１３３と同じ機能は、サーバ３０のＣＰＵ(Central Processing Unit)あるいはコンピュータ上で、図示しないメモリに格納されたプログラムを実行することにより実現することもできる。
【００３０】
１．２）動作
制御装置１０の制御部１０４は、物理ノードＮ１、Ｎ２および物理リンクだけでなく、サーバ３０のレイヤコンポーネントＳＶ、ＶＭＭ、ＶＭおよびＶＮＦのそれぞれの状態を監視情報としてモニタし、取得した監視情報をデータベース１０３に図４に例示する形式で格納する。
【００３１】
制御装置１０の拡張パス設定部１０１は、データベース１０３を参照して、特定のネットワークサービスを構成するために必要なノードを繋ぐパス（拡張パス）を設定する。ノード管理部１０２は、複数レイヤのそれぞれのノードからなる拡張パスの物理リソースおよび仮想リソースをデータベース１０３を参照しながら管理する。制御部１０４は、ノード管理部１０２の管理結果に従って、あるノードに障害あるいは過負荷状態等の問題発生が検知されると、当該ノードの問題を解消するようにノード単位で対処することができる。
【００３２】
１．３）効果
上述したように、本発明の第１実施形態によれば、ＶＮＦの下位レイヤリソースを考慮した拡張パスに基づいてネットワークサービスを管理することにより、ネットワークサービスを最適経路で実現できる。さらに、制御装置１０は、拡張パスの各ノードの監視情報に基づいて、ネットワークサービスが最適化されるようにノードあるいはサーバの設定を変更することが可能となる。
【００３３】
２．第２実施形態
本発明の第２実施形態によるネットワークシステムは、上述した第１実施形態と同様に、ＶＮＦの下位レイヤリソースを考慮した拡張パスに基づく管理に加えて、あるレイヤで発生した問題を解消するために、同一レイヤあるいは別のレイヤのノードに対して設定変更等を行うことができる。
【００３４】
たとえば、拡張パスを構成する上位ノード（たとえばＶＮＦレイヤノード）で障害あるいは過負荷状態等の問題が発生すると、当該ノードのレイヤより下位のノード（たとえばＶＭレイヤノード、物理レイヤノード）を制御することにより当該問題を解決することができる。以下、図６〜図１２を参照しながら第２実施形態について詳述する。
【００３５】
２．１）システム構成
図６に示すように、本発明の第２実施形態によるネットワークシステムは制御装置１０と制御装置１０が制御するネットワーク２０とからなり、ネットワーク２０は、物理スイッチ２１Ａ、２１Ｂおよび２１Ｃと、物理スイッチ２１Ａと２１Ｃの間に配置されたサーバ３１と、物理スイッチ２１Ｃと２１Ｂの間に配置されたサーバ３２と、を含むものとする。なお、ネットワーク２０において、物理スイッチ２１Ａがエッジスイッチであるとする。
【００３６】
サーバ３１は、物理レイヤのコンポーネントＳＶ１と、ＶＭ管理レイヤのコンポーネントＶＭＭ１と、ＶＭレイヤのコンポーネントＶＭ１と、ＶＮＦレイヤのコンポーネントＶＮＦ１と、からなるマルチレイヤ構成を有する。すなわち、サーバ３１では、物理レイヤのコンポーネントＳＶ１上に複数の仮想ソフトウェア（ＶＭＭ１、ＶＭ１、ＶＮＦ１）が階層的に起動している。サーバ３２も同様に、物理レイヤのコンポーネントＳＶ２と、ＶＭ管理レイヤのコンポーネントＶＭＭ２と、ＶＭレイヤのコンポーネントＶＭ２と、ＶＮＦレイヤのコンポーネントＶＮＦ２と、からなるマルチレイヤ構成を有し、物理レイヤのコンポーネントＳＶ２上に複数の仮想ソフトウェア（ＶＭＭ２、ＶＭ２、ＶＮＦ２）が階層的に起動している。
【００３７】
この例における仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２の各々は、物理スイッチ２１Ａ、物理リンク、サーバ３１の各レイヤコンポーネント（ＳＶ１／ＶＭＭ１／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｃ、物理リンク、サーバ３２の各レイヤコンポーネント（ＳＶ２／ＶＭＭ２／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張パスに含まれるノードとして扱われる。
【００３８】
制御装置１０は、図３に示す第１実施形態と同様の構成および機能を有する。すなわち、制御部１０４は、各ノードから監視情報を取得してデータベース１０３へ格納し、ノード管理部１０２があるノードでの問題発生を検出すると、当該問題を解消するために同一レイヤあるいは別のレイヤのノードに対して設定変更を行う。
【００３９】
図７に示すように、本実施形態におけるデータベース１０３には、図６に示すシステム構成に対応するネットワークトポロジ情報（コンポーネントおよびコンポーネント情報）とそのパラメータ情報とが格納される。データ構造は、図４に示す第１実施形態と同様であるから説明は省略する。
【００４０】
また、サーバ３１および３２も、図５に示すサーバ３０と同様の構成を有するので、説明は省略する。
【００４１】
２．２）動作
図８に示すように、サーバ３１および３２のノード状態モニタ１３３は、各コンポーネント（ノード）の状態を監視し（動作Ｓ２０１）、各ノードの監視情報を制御装置１０へ送信する（動作Ｓ２０２）。なお、上述したように、監視情報に何らかの差異が生じたときだけに監視情報あるいはその差分を制御装置１０へ送信してもよいし、また、サーバ３１、３２内で各ノードの問題の有無を検知し、問題の有無を示す情報と共に監視情報を通知してもよい。
【００４２】
監視情報を取得した制御装置１０は、監視情報によりデータベース１０３を更新すると共に、あるノードで障害あるいは過負荷状態等の何らかの問題が発生したときには、当該問題を解消するためのノード設定を決定し（動作Ｓ２０３）、設定処理が実行される（動作Ｓ２０４あるいはＳ２０５）。
【００４３】
たとえば、制御装置１０が設定情報を物理スイッチへ通知する場合には、当該物理スイッチにおいて、パケット廃棄、帯域制限、経路切替等の処理が実行される（動作Ｓ２０４）。また、制御装置１０が設定情報をサーバ３１あるいは３２へ通知する場合には、当該サーバにおいて、新規ＶＮＦ起動、ＶＮＦのためのメモリ増加等の処理が実行される（動作Ｓ２０５）。以下、図６に示すシステムを一例として、本実施形態の具体例について詳述する。
【００４４】
＜実施例２−１＞
本発明の実施例２−１によれば、あるレイヤのノードで発生した問題を当該問題発生ノードより上流側にあるエッジノードで解消する。たとえば、あるサーバのＶＮＦノードで過負荷状態になれば、エッジノードで当該ＶＮＦへのトラフィックを制限することで過負荷状態を解消することができる。
【００４５】
図９に示すように、制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ２０２）、上述したように拡張パスに基づいてＶＮＦ２ノードで障害あるいは過負荷状態等の問題が発生したことを検知したとする。この状態のままだと、パケットがＶＮＦ２ノードに到達してから廃棄等の処理がされる。そこで、制御装置１０は、当該ＶＮＦ２へのトラフィックのエッジノードとなる物理スイッチ２１Ａに対して、障害あるいは過負荷状態等の問題を解決するための設定を送信する（動作Ｓ２０３）。これにより、物理スイッチ２１Ａにおいて、当該ＶＮＦ２へのトラフィックに対するパケット廃棄、帯域制限、経路切替等のトラフィック制御が実行される（動作Ｓ２０４）。エッジスイッチ２１Ａでトラフィックが減少するので、ＶＮＦ１およびＶＮＦ２ノードの負荷を軽減することができる。
【００４６】
＜実施例２−２＞
本発明の実施例２−２によれば、あるレイヤのノードで過負荷問題が発生すると、当該レイヤに同一機能のノードを新規に起動することにより、過負荷問題を解消する。
【００４７】
図１０に示すように、制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ２０２）、上述したように拡張パスに基づいてＶＮＦ２ノードで過負荷状態の問題が発生したことを検知したとする。この場合、制御装置１０は、ＶＭ２ノードの処理能力に影響しないかぎり、当該ＶＮＦ２を起動しているサーバ３２に対して、同一機能を有する新規のＶＮＦ２の起動を指示する（動作Ｓ２０３、Ｓ２０５）。これにより、ＶＮＦ２ノードの処理能力が増大し、ＶＮＦ２レイヤの過負荷状態を解消することができる。
【００４８】
同様に、ＶＭ２ノードが過負荷状態であれば、制御装置１０は、ＶＭＭ２ノードの処理能力に影響しない限り、当該ＶＭ２を起動しているサーバ３２に対してＶＭＭ２レイヤの上に同一機能を有する新規のＶＭ２およびＶＮＦ２を起動することで、元のＶＭ２ノードの負荷を軽減することができる。
【００４９】
＜実施例２−３＞
本発明の実施例２−３によれば、あるレイヤのノードで過負荷問題が発生すると、当該ノードの割り当てメモリを増加させることで処理能力を向上させ、過負荷問題を解消する。
【００５０】
図１１に示すように、制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ２０２）、上述したように拡張パスに基づいてＶＮＦ２ノードで過負荷状態の問題が発生したことを検知したとする。この場合、制御装置１０は、ＶＭ２ノードの処理能力に影響しない限り、サーバ３２に対して、当該ＶＮＦ２に割り当てるメモリあるいは容量を増加させるように指示する（動作Ｓ２０３、Ｓ２０５）。これにより、ＶＮＦ２ノードの処理能力が増大し、ＶＮＦ２レイヤの過負荷状態を解消することができる。
【００５１】
同様に、ＶＭ２ノードが過負荷状態であれば、制御装置１０は、ＶＭＭ２ノードの処理能力に影響しない限り、当該ＶＭ２に割り当てるメモリあるいは容量を増加させるように指示する（動作Ｓ２０３、Ｓ２０５）。これにより、ＶＭ２ノードの処理能力が増大し、ＶＭ２レイヤの過負荷状態を解消することができる。
【００５２】
＜実施例２−４＞
本発明の実施例２−４は、上述した第１実施例の変形例であり、あるレイヤのノードで発生した問題を当該問題発生ノードの上流側にある直近の物理ノードで解消する。
【００５３】
図１２において、上述したように拡張パスに基づいてサーバ３２のＶＮＦ２ノードで障害あるいは過負荷状態の発生が検知された場合、制御装置１０は、当該サーバ３２の直近の物理スイッチ２１Ｃに対して、当該ＶＮＦ２へのトラフィックを制限することで過負荷状態を解消することができる（動作Ｓ２０３）。
【００５４】
３．第３実施形態
本発明の第３実施形態によるネットワークシステムは、上述した第１実施形態と同様に、ＶＮＦの下位レイヤリソースを考慮した拡張パスに基づく管理に加えて、あるレイヤで発生した問題を解消するために、当該問題が発生したノードの上流側にある物理スイッチに対して設定変更することで、当該ノードを回避するようにネットワークサービスのパスを変更する。以下、図１３〜図１７を参照しながら第３実施形態について詳述する。
【００５５】
３．１）システム構成
図１３に示すように、本発明の第３実施形態によるネットワークシステムは制御装置１０と制御装置１０が制御するネットワーク２０とからなり、ネットワーク２０は、物理ノードＮ１〜Ｎ３、物理ノードＮ１とＮ２の間に配置された現在使用されているサーバ３１と、物理ノードＮ１とＮ３の間に配置された他のサーバ３３と、を含むものとする。なお、サーバ３１および３３は上述した実施形態と同様のマルチレイヤ構成を有し、少なくともＶＮＦレイヤとＶＭレイヤには同一機能のＶＮＦ１ノードとＶＭ１ノードとが起動するものとする。
【００５６】
３．２）動作
図１３において、ＶＮＦ１のトラフィックがサーバ３１のＶＮＦ１で処理されており、当該ＶＮＦ１ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする（動作Ｓ３０１）。制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ３０２）、上述したように、拡張パスに基づいてサーバ３１のＶＮＦ１レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置１０は、当該ＶＮＦ１ノードへのトラフィックのパスをサーバ３３へ変更するように上流側の物理ノードＮ１に対して設定変更を行う（動作Ｓ３０３）。これにより、物理ノードＮ１において、当該ＶＮＦ２へのトラフィックに対するパス切替が実行され（動作Ｓ３０４）、サーバ３１と同一機能のＶＮＦ１が起動したサーバ３３を通して同一のネットワークサービスが提供される。
【００５７】
なお、サーバ３３に現用のサーバ３１と同じＶＮＦ１およびＶＭ１を生成するために、たとえばマイグレーション技術を用いることもできる。また、物理ノードＮ１でのトラフィックパスの切替は物理ノードＮ１のロードバランサにより実現されてもよい。この場合、制御装置１０からの設定変更指示はロードバランサに対して行われる。以下、図１４〜図１７を参照しながら、本実施形態の具体例について説明する。
【００５８】
＜実施例３−１＞
図１４に示すように、本発明の実施例３−１によるネットワークシステムは制御装置１０と制御装置１０が制御するネットワーク２０とからなり、ネットワーク２０は、物理スイッチ２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ、２１Ｅと、物理スイッチ２１Ａと２１Ｃの間に配置されたサーバ３１と、物理スイッチ２１Ｃと２１Ｂの間に配置されたサーバ３２と、物理スイッチ２１Ａと２１Ｄの間に配置されたサーバ３３と、物理スイッチ２１Ｄと２１Ｅの間に配置されたサーバ３４と、を含むものとする。さらに、ネットワーク２０において、物理スイッチ２１Ａがエッジスイッチであり、この物理スイッチ２１Ａに物理的あるいは仮想的にロードバランサＬＢが設けられているものとする。
【００５９】
サーバ３１〜３４は上述した実施形態と同様のマルチレイヤ構成を有し、サーバ３１および３３において、少なくともＶＮＦレイヤとＶＭレイヤには同一機能のＶＮＦ１ノードとＶＭ１ノードとが起動し、サーバ３２および３４において、少なくともＶＮＦレイヤとＶＭレイヤには同一機能のＶＮＦ２ノードとＶＭ２ノードとが起動するものとする。
【００６０】
この例における仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２の各々は、物理スイッチ２１Ａ、物理リンク、サーバ３１の各レイヤコンポーネント（ＳＶ１／ＶＭＭ１／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｃ、物理リンク、サーバ３２の各レイヤコンポーネント（ＳＶ２／ＶＭＭ２／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張パスに含まれるノードとして扱われる。同様に、パス切替後の仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２の各々は、物理スイッチ２１Ａ、物理リンク、サーバ３３の各レイヤコンポーネント（ＳＶ３／ＶＭＭ３／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｄ、物理リンク、サーバ３４の各レイヤコンポーネント（ＳＶ４／ＶＭＭ４／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張パスに含まれるノードとして扱われる。
【００６１】
制御装置１０は、図３に示す第１実施形態と同様の構成および機能を有する。すなわち、制御部１０４は、ネットワーク２０の各ノードから監視情報を取得してデータベース１０３へ格納し、ノード管理部１０２があるノードでの問題発生を検出すると、当該問題を解消するためにエッジノードのロードバランサに対してパス切替の設定変更を行う。
【００６２】
図１４において、ＶＮＦ２のトラフィックがサーバ３２のＶＮＦ２で処理されており、当該ＶＮＦ２ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする（動作Ｓ３０１）。制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ３０２）、上述したように拡張パスに基づいてサーバ３２のＶＮＦ２レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置１０は、当該ＶＮＦ２ノードへのトラフィックの全部あるいは一部をサーバ３３および３４側のパスへ変更するようにエッジスイッチ２１ＡのロードバランサＬＢに対して設定変更を行う（動作Ｓ３０３）。これにより、エッジスイッチ２１Ａにおいて、当該ＶＮＦ２へのトラフィックに対する少なくとも一部の経路切替が実行され（動作Ｓ３０４）、サーバ３１および３２と同一機能のＶＮＦ１およびＶＮＦ２が生成されたサーバ３３および３４を通して問題発生前と同一のネットワークサービスを構成することができる。
【００６３】
＜実施例３−２＞
図１５に示すように、本発明の実施例３−２によるネットワークシステムは、上述した実施例３−１と同様の構成を有するが、エッジスイッチ以外の物理スイッチ２１にも物理的あるいは仮想的にロードバランサＬＢが設けられているものとする。また、サーバ３１〜３４は上述した実施形態と同様のマルチレイヤ構成を有し、サーバ３２および３４において、少なくともＶＮＦレイヤとＶＭレイヤには同一機能のＶＮＦ２ノードとＶＭ２ノードとが起動するものとする。
【００６４】
この例における仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２の各々は、物理スイッチ２１Ａ、物理リンク、サーバ３１の各レイヤコンポーネント（ＳＶ１／ＶＭＭ１／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｃ、物理リンク、サーバ３２の各レイヤコンポーネント（ＳＶ２／ＶＭＭ２／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張パスに含まれるノードとして扱われる。同様に、パス切替後の仮想ネットワーク機能ＶＮＦ１およびＶＮＦ２の各々は、物理スイッチ２１Ａ、物理リンク、サーバ３１の各レイヤコンポーネント（ＳＶ１／ＶＭＭ１／ＶＭ１／ＶＮＦ１）、物理リンク、物理スイッチ２１Ｃ、物理リンク、サーバ３４の各レイヤコンポーネント（ＳＶ４／ＶＭＭ４／ＶＭ２／ＶＮＦ２）をそれぞれノードとする拡張パスに含まれるノードとして扱われる。
【００６５】
制御装置１０は、図３に示す第１実施形態と同様の構成および機能を有する。すなわち、制御部１０４は、ネットワーク２０の各ノードから監視情報を取得してデータベース１０３へ格納し、ノード管理部１０２があるノードでの問題発生を検出すると、当該問題を解消するために、当該ノードの前段にある物理スイッチのロードバランサに対してパス切替の設定変更を行う。
【００６６】
図１５において、ＶＮＦ２のトラフィックがサーバ３２のＶＮＦ２で処理されており、当該ＶＮＦ２ノードおよびその下位ノードにおいて障害あるいは過負荷状態等の問題が発生したものとする（動作Ｓ３０１）。制御装置１０はネットワーク２０から各ノードの監視情報を取得し（動作Ｓ３０２）、上述したように拡張パスに基づいてサーバ３２のＶＮＦ２レイヤおよびその下位レイヤでの障害あるいは過負荷状態等の問題発生を検知する。この場合、制御装置１０は、当該ＶＮＦ２ノードへのトラフィックの全部あるいは一部をサーバ３４側のパスへ変更するようにサーバ３２の前段に位置する物理スイッチ２１ＣのロードバランサＬＢに対して設定変更を行う（動作Ｓ３０３）。これにより、物理スイッチ２１Ｃにおいて、当該ＶＮＦ２へのトラフィックの全部あるいは一部に対するパス切替が実行され（動作Ｓ３０４）、サーバ３２と同一機能のＶＮＦ１およびＶＮＦ２が生成されたサーバ３３および３４を通して問題発生前と同一のネットワークサービスを構成することができる。
【００６７】
４．第４実施形態
本発明の第４実施形態によるシステムは３ＧＰＰシステムに適用可能である。
【００６８】
図１６に示すように、本実施形態によれば、上述した制御装置１０がＭＭＥ(Mobile Management Entity)に対応し、上述したＶＮＦがＰ−ＧＷ(Packet Data Network Gateway)に対応する。すなわち、図示するように、サーバ３１および３２がＶＮＦレイヤにＰ−ＧＷの機能を生成し、Ｐ−ＧＷ／ＶＭ／ＶＭＭ／ＳＶの各レイヤのノードの繋がりが拡張パスを構成する。
【００６９】
図１６において、ユーザ端末ＵＥは基地局ｅＮＢと無線接続し、基地局ｅＮＢとＳ−ＧＷ(Serving Gateway)との間およびＳ−ＧＷとＰ−ＧＷとの間に設定されたトンネル（ＧＴＰ(GPRS Tunneling Protocol)トンネル）を通して外部ネットワーク(Packet Data Network)との間でパケット通信を行うことができる。既に説明したように、ＭＭＥの制御装置１０は、ネットワークシステムから監視情報を収集してデータベース１０３に格納し、拡張パスに基づいて、あるレイヤのノードで障害あるいは過負荷状態等の問題が検知されると、Ｓ−ＧＷに対してトンネルの変更を指示する。以下、現在使用しているＰ−ＧＷ（１）において障害あるいは過負荷状態等の問題が発生し、ユーザ端末ＵＥのトラフィックのパスを変更する場合について説明する。
【００７０】
図１７において、Ｓ−ＧＷとＰ−ＧＷ（１）との間にトンネル（１）が設定され、サーバ３１により仮想ネットワーク機能ＶＮＦとしてＰ−ＧＷ（１）が提供されている状態において、Ｐ−ＧＷ（１）およびその下位レイヤのノードで障害あるいは過負荷状態が検出され（動作Ｓ３０１）、障害／過負荷情報がＭＭＥへ通知されたものとする（動作Ｓ３０２）。
【００７１】
ＭＭＥは、サーバ３１から障害／過負荷情報を受信すると、制御装置１０のデータベース１０３を参照して、Ｐ−ＧＷのリロケーションを実行する（動作Ｓ３０３）。ＭＭＥはＰ−ＧＷリロケーション設定情報をＳ−ＧＷへ通知し、これに従ってＳ−ＧＷがトンネルのＴＥＩＤ(Tunnel Endpoint Identifier)あるいはＩＰアドレスをサーバ３１のＰ−ＧＷ（１）からサーバ３２のＰ−ＧＷ（２）へ変更する（動作Ｓ３０４）。こうして、Ｓ−ＧＷとＰ−ＧＷ（２）との間のトンネル（２）が設定され、ユーザ端末ＵＥのトラフィックがＰ−ＧＷ（２）を通したパスへ変更される。
【００７２】
上述したように、本実施例によれば、３ＧＰＰシステムにおいて、ＶＮＦ（Ｐ−ＧＷ）の下位レイヤリソースを考慮した拡張パスに基づく管理を行うことができる。あるレイヤで問題が発生した場合、当該問題が発生したサーバ３１の前段にあるスイッチ（Ｓ−ＧＷ）に対してトンネル設定を変更することで、当該サーバ３１を回避するように仮想ネットワーク機能のパスを変更することが可能となる。
【００７３】
５．第５実施形態
本発明の第５実施形態によれば、ネットワーク２０を制御する制御装置に運用ポリシを設定しておき、制御装置が運用ポリシに従って、上述した第１〜第４実施形態と同様のネットワーク制御を実行する。たとえば、拡張パスにおける所定レイヤのノードが所定値以上の負荷であれば、当該ノードを通るトラフィックの帯域制限、当該ノードを回避する経路変更等の処理を実行する、という運用ポリシを制御装置に設定できる。
【００７４】
５．１）システム構成
図１８に示すように、本発明の第５実施形態によるネットワークシステムでは、運用管理装置４０が制御装置１１に対して運用ポリシを設定し、制御装置１１は運用ポリシに従ってネットワーク２０を制御する。制御装置１１は、図３に示す制御装置１０と基本的に同じ構成および機能を有するが、図示しない記憶装置に運用ポリシが格納され、制御部１０４が運用ポリシを参照して制御を実行する点が第１〜第４実施形態とは異なっている。その他の構成および機能は上述した第１〜第４実施形態と同様であるから、図９と同じ参照番号を使用して説明は省略する。なお、制御装置１１は運用管理装置４０内に設けられてもよい。
【００７５】
図１８において、オペレータが運用管理装置４０に運用ポリシを設定すると、制御装置１１は運用管理装置４０に設定された運用ポリシに従ってネットワーク２０の制御を行う。上述したように、制御装置１１は、ネットワーク２０の各ノードから監視情報を収集してデータベース１０３を更新する。あるノードにおいて障害あるいは過負荷状態等の問題が生じたことを運用ポリシに従って検出すると、制御装置１１は、問題が発生したノードとは別のノードに対して問題を解決する処理を設定する。制御装置１１によって対処設定されたノードは、該当するパケットに対して設定された処理を実行することで、問題を解決する。
【００７６】
運用ポリシの制御対象パラメータの例は以下の通りである。
・ＶＮＦ、ＶＭ、ＶＭＭおよび物理サーバの稼働率（ＣＰＵおよび／またはメモリの稼働率、使用量、使用率、消費電力等）。
・物理リンクおよび仮想リンクの通信帯域、使用帯域、使用率、トラフィック量等。
・ネットワークサービスの通信帯域、使用帯域、使用率、トラフィック量等。
これらのパラメータが所定の閾値を超えた場合あるいは下回った場合、制御装置１１は当該ノードで問題が発生したものと判断し、ネットワーク２０に対して問題を解決する処理を実行する。
【００７７】
５．２）運用管理装置
図１９において、運用管理装置４０は、仮想リンク設定部４０１、要求条件およびポリシ設定部４０２、インターフェース４０３、およびユーザインターフェース４０４を有し、その他、図示しない制御部や記憶部を有する。ユーザインターフェース４０４はキーボード等の情報入力部とモニタ等の情報表示部とを含み、オペレータによる仮想リンク設定、要求条件設定および運用ポリシ設定、制御装置１１により決定されたネットワーク上の拡張ノード配置の可視化、などを可能にする。
【００７８】
仮想リンク設定部４０１は、オペレータがユーザインターフェース４０４を通して入力したネットワークサービス(本実施形態では「サービスチェイン」ともいう。)から仮想リンクを生成する。要求条件およびポリシ設定部４０２は、要求条件設定部４０５およびポリシ設定部４０６を有し、オペレータの入力に基づいてサービスチェインを構成する際の要求条件および運用ポリシを生成する。以下、本実施形態による運用管理装置４０の動作について図２０〜図２２を参照しながら説明する。
【００７９】
４．３）拡張パスの可視化
図２０に例示するように、ユーザインターフェース４０４に表示された運用管理画面５００は、入力ウィンドウ５００ａとネットワーク表示ウィンドウ５００ｂとに分割されている。入力ウィンドウ５００ａにはサービスチェイン入力欄５０１と、複数の要求条件入力欄５０２と、運用ポリシ入力欄５０３が表示され、ネットワーク表示ウィンドウ５００ｂには運用管理対象であるネットワークの物理的なトポロジと仮想ノードとが表示される。たとえば、運用管理装置４０は、制御装置１１のデータベース１０３からトポロジ情報および仮想ノード情報を取得し、取得した情報に基づいてネットワークの物理的構成および仮想ノードの構成を表示する。
【００８０】
図２０において、ネットワーク表示ウィンドウ５００ｂに例示されるネットワークトポロジでは、ネットワークノードＡおよびＢの各々がサーバＡ、Ｂ、Ｃに物理リンクで接続されている。また、各サーバは３つ仮想ネットワーク機能ＶＮＦ＿Ａ、ＶＮＦ＿ＢおよびＶＮＦ＿Ｃを配置可能であり、各ＶＮＦの下位レイヤのＶＭおよびＶＭＭがそれぞれ仮想ノードとして表示されている。以下、説明を簡略化するために、サーバ（Ａ）上にＶＮＦ＿Ａが、サーバ（Ｂ）および（Ｃ）の上にそれぞれ同じＶＭ（Ｂ）およびＶＮＦ＿Ｂが起動しているものとする。
【００８１】
図２１に示すように、オペレータがユーザインターフェース４０４を通してサービスチェイン入力欄５０１に次のようなサービスチェインを入力したとする：
Ａ  ⇔  ＶＮＦ＿Ａ  ⇔  ＶＮＦ＿Ｂ  ⇔  Ｂ。
さらに、要求条件入力欄４０２に、ネットワークに要求される通信帯域、サーバおよびＶＭにそれぞれ要求されるＣＰＵ／メモリ能力が入力され、運用ポリシ入力欄５０３に次のような運用ポリシが入力されたとする：「サーバのＣＰＵ使用率＞８０％ならば、サービスチェインの設定変更あるいは経路変更を行う。」
【００８２】
要求条件およびポリシ設定部４０２は、上記要求条件および運用ポリシを制御装置１１へ送信して設定する。制御装置１１は、運用管理装置４０により設定された要求条件および運用ポリシに基づいて、たとえば次のような拡張パスの仮想リンクＶＬ１、ＶＬ２およびＶＬ３を生成して運用管理装置４０へ送信する。
ＶＬ１：始点＝NWノード(A)     ；    終点＝VNF_A
ＶＬ２：始点＝VNF_A           ；    終点＝VNF_B（サーバB）
ＶＬ３：始点＝VNF_B（サーバB）；    終点＝NWノード(B)
【００８３】
運用管理装置４０は、図２１に示すように、上記拡張パスの仮想リンクＶＬ１、ＶＬ２およびＶＬ３をネットワーク表示ウィンドウ５００ｂに表示する。この状態で、ＶＮＦ＿Ｂノードが過負荷状態となり、そのサーバ（Ｂ）のＣＰＵ使用率が８０％を超えたとする。
【００８４】
制御装置１１は、ＶＮＦ＿Ｂノード、ＶＭ（Ｂ）ノード、ＶＭＭ（Ｂ）ノードおよび物理サーバ（Ｂ）ノードからの監視情報により、サーバ（Ｂ）のＣＰＵ使用率が８０％を超えたことを検知すると、ＶＮＦ＿Ｂノードの障害発生情報を運用管理装置４０へ通知し、運用管理装置４０はネットワーク表示ウィンドウ５００ｂにＶＮＦ＿Ｂノードの障害発生を表示する。
【００８５】
続いて、制御装置１１は、データベース１０３を参照しながら、サーバ（Ｂ）の前段のノード（Ａ）のスイッチの設定を変更し、たとえば図２２に示すように、次のような新たな仮想リンクＶＬ１、ＶＬ４およびＶＬ５を生成して運用管理装置４０へ送信する。
ＶＬ１：始点＝NWノード(A)     ；    終点＝VNF_A
ＶＬ２：始点＝VNF_A           ；    終点＝VNF_B（サーバC）
ＶＬ３：始点＝VNF_B（サーバC）；    終点＝NWノード(B)
【００８６】
こうして、サーバ（Ｂ）上のＶＮＦ＿Ｂノードおよびその下位ノードに障害が発生しても、サーバ（Ｂ）の前段のノード（Ａ）の設定を変更することで、拡張パスの経路を問題を解決するように変更することができる。
【００８７】
なお、運用管理装置４０の仮想リンク設定部４０１および要求条件およびポリシ設定部４０２と同じ機能は、プログラムを実行するプロセッサ（ＣＰＵ：Central Processing Unit）と、プログラムを保持するＲＯＭ(Read Only Memory)および情報を保持するＲＡＭ(Random Access Memory)等の記憶装置と、により実現することもできる。
【００８８】
６．第６実施形態
本発明の第６実施形態による制御装置は、上述した各実施形態による拡張パスに基づいて、ネットワークにおけるネットワークサービスの経路を決定し、当該経路に沿って通信フローが転送されるように物理スイッチおよびサーバを制御する。以下、図２３〜図２７を参照しながら第６実施形態について詳述する。
【００８９】
６．１）システム構成
図２３に示すように、本発明の第６実施形態による制御装置１２は、図２に示す制御装置１１の制御部１０４にスイッチ制御部１０５の機能が追加されている。その他の基本的な構成および機能は上記実施形態と同様であるから説明は省略する。
【００９０】
図２４に示すように、第６実施形態におけるネットワークノードである物理スイッチ２１ａは、データ転送部２１１、経路情報データベース２１２、および制御装置１２と通信を行うためのインターフェース２１３を有する。物理スイッチ２１ａは、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置１２から受信し、経路情報データベース２１２に格納する。データ転送部２１１は、経路情報データベース２１２に格納された条件および転送先情報に従って、ネットワークサービスに属するフローのパケットを識別し、対応する転送先（ノードあるいはサーバ）へ転送する。
【００９１】
図２５に示すように、第６実施形態におけるサーバ３０ａは、複数のＶＮＦをそれぞれ実行するための複数の仮想マシンＶＭと、複数の仮想マシンＶＭおよび隣接するネットワークノードの間の通信フローの切り替えを行う仮想スイッチ３１０とを有する。
【００９２】
仮想スイッチ３１０は、本実施形態におけるネットワークトポロジの一つのスイッチと見なすことができ、データ転送部３１１と、経路情報データベース３１２と、制御装置１２と通信を行うためのインターフェース３１３とを有する。仮想スイッチ３１０は、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含むデータを制御装置１２から受信し、経路情報データベース３１２に格納する。データ転送部３１１は、経路情報データベース３１２に格納された条件および転送先情報に従って、隣接するネットワークサーバあるいは一つの仮想マシンＶＭから受信したパケットがネットワークサービスに属するフローであるか否かを識別し、対応する転送先（仮想マシンＶＭあるいはネットワークサーバ）へ転送する。したがって、一つのサーバ内にある仮想マシンＶＭ間のパケット転送であれば、外部のネットワークノードへ転送することなくネットワークサービスを構成できる。
【００９３】
なお、制御装置１２、物理スイッチ２１ａおよびサーバ３０ａは、既に述べたようにそれぞれの動作を制御するプログラムを実行するプロセッサ（ＣＰＵ：Central Processing Unit）と、プログラムを保持するＲＯＭ(Read Only Memory)および情報を保持するＲＡＭ(Random Access Memory)等の記憶装置と、により実現することもできる。
【００９４】
上述したように、ネットワークサービスに属するフローを識別するための条件と当該フローのパケットの転送先とを含む情報を制御装置１２が設定する集中制御型のネットワークアーキテクチャシステムは、たとえばオープンフロー（OpenFlow）、I2RS(Interface to the Routing System)、ForCES（Forwarding and Control Element Separation）等により実現することが可能である。以下、制御装置１２および物理スイッチ２１ａ／サーバ３０ａの実装例としてオープンフローを用いたものを示す。
【００９５】
６．２）オープンフロー
オープンフローは、通信をエンドツーエンドのフローとして認識し、フロー単位で経路制御、障害回復、負荷分散等を実行する。ここで、フローとは、例えば所定の属性を有する一連の通信パケット群のことであり、本実施形態においては設定されたネットワークサービスに属するフローをいう。以下、図２６に示すネットワークを一例としてオープンフローについて説明する。
【００９６】
図２６において、オープンフロースイッチ(OpenFlow Switch)６０１、６０２、６０３はオープンフロー技術を採用したネットワークスイッチであり、本実施形態では物理スイッチ２１ａあるいはサーバ３０ａの仮想スイッチ３１０に相当する。オープンフローコントローラ(OpenFlow Controller)６０４はオープンフロースイッチ６０１、６０２、６０３を制御する情報処理装置であり、本実施形態では制御装置１２に相当する。
【００９７】
各オープンフロースイッチ６０１、６０２、６０３は、オープンフローコントローラ６０４との間にセキュアチャネル(Secure Channel)６０５が設定されており、セキュアチャネル６０５を通してオープンフローコントローラ６０４と通信する。オープンフローコントローラ６０４は、セキュアチャネル６０５を介して、オープンフロースイッチ６０１、６０２、６０３のフローテーブル(Flow Table)６０６の設定を行う。なお、セキュアチャネル６０５は、各オープンフロースイッチ６０１、６０２、６０３とコントローラ６０４との間の通信経路であって、通信の盗聴や改ざん等を防止するための処置がなされたものである。
【００９８】
図２７は、各オープンフロースイッチ６０１、６０２、６０３に設けられたフローテーブル６０６の各エントリ（フローエントリ）の構成例を示す。フローエントリは、スイッチが受信したパケットのヘッダに含まれる情報（例えば、宛先ＩＰアドレスやＶＬＡＮ  ＩＤ等）と照合するためのマッチングルールを規定するマッチフィールド(Match Fields)と、パケットフロー毎の統計情報を示すフィールド（Counters）と、マッチングルールにマッチするパケットの処理方法を規定するアクションフィールド（Action）とで構成される。
【００９９】
オープンフロースイッチ６０１、６０２、６０３は、パケットを受信すると、フローテーブル６０６を参照する。オープンフロースイッチ６０１、６０２、６０３は、受信したパケットのヘッダ情報にマッチするフローエントリを検索する。受信パケットのヘッダ情報にマッチするエントリが検索された場合、オープンフロースイッチ６０１、６０２、６０３は、検索されたエントリのアクションフィールドに定義された処理方法に従って、受信パケットを処理する。処理方法は、例えば、「受信パケットを所定のポートから転送する」、「受信したパケットを廃棄する」、「受信パケットのヘッダの一部を書き換えて、所定のポートへ転送する」といったことが規定されている。
【０１００】
一方、受信パケットのヘッダ情報にマッチするエントリが見つからない場合、オープンフロースイッチ６０１、６０２、６０３は、例えば、セキュアチャネル６０５を通してオープンフローコントローラ６０４へ受信パケットを転送し、オープンフローコントローラ６０４に対して受信パケットの処理方法を規定したフローエントリの設定を要求する。
【０１０１】
オープンフローコントローラ６０４は、受信パケットの処理方法を決定し、決定した処理方法を含むフローエントリをフローテーブル６０６に設定する。その後、オープンフロースイッチ６０１、６０２、６０３は、設定されたフローエントリにより、受信パケットと同一のフローに属する後続のパケットを処理する。
【０１０２】
６．３）効果
本発明の第６実施形態によれば、第１〜第５実施形態と同様に拡張パスに基づいて、ネットワークサービスのパスを決定し、当該パスに沿って通信フローが転送されるようにネットワークのノードあるいはサーバを制御するので、アンダーレイネットワークの通信特性および通信性能を考慮した最適なＶＮＦ配置が可能となる。
【０１０３】
特に、サーバ３０ａ内に複数のＶＮＦをそれぞれ実行する複数の仮想マシンを仮想スイッチにより切り替え可能に構成することで、ネットワークノードのパス切替とサーバ内での仮想マシンの切替とを同等に制御することができ、たとえばオープンフロー技術を用いた一括制御が可能となる。
【産業上の利用可能性】
【０１０４】
本発明は、仮想ネットワーク機能（ＶＮＦ）をネットワーク上に配置するシステムで利用可能である。
【符号の説明】
【０１０５】
１０、１１、１２  制御装置
２０  ネットワーク
２１，２１Ａ〜２１Ｅ  物理スイッチ
３０、３０ａ、３１〜３４  サーバ
４０  運用管理装置
１０１  拡張パス設定部
１０２  ノード管理部
１０４  制御部
１０５  スイッチ制御部
１３１  制御部
１３２  ＶＭＭ
１３３  ノード状態モニタ
２１１  データ転送部
２１２  経路情報データベース
２１３  インターフェース
４０１  仮想リンク設定部
４０２  要求条件およびポリシ設定部
４０３  インターフェース
４０４  ユーザインターフェース
４０５  要求条件設定部
４０６  ポリシ設定部
【図１】
2016192660.tif 000003
【図２】
2016192660.tif 000004
【図３】
2016192660.tif 000005
【図４】
2016192660.tif 000006
【図５】
2016192660.tif 000007
【図６】
2016192660.tif 000008
【図７】
2016192660.tif 000009
【図８】
2016192660.tif 000010
【図９】
2016192660.tif 000011
【図１０】
2016192660.tif 000012
【図１１】
2016192660.tif 000013
【図１２】
2016192660.tif 000014
【図１３】
2016192660.tif 000015
【図１４】
2016192660.tif 000016
【図１５】
2016192660.tif 000017
【図１６】
2016192660.tif 000018
【図１７】
2016192660.tif 000019
【図１８】
2016192660.tif 000020
【図１９】
2016192660.tif 000021
【図２０】
2016192660.tif 000022
【図２１】
2016192660.tif 000023
【図２２】
2016192660.tif 000024
【図２３】
2016192660.tif 000025
【図２４】
2016192660.tif 000026
【図２５】
2016192660.tif 000027
【図２６】
2016192660.tif 000028
【図２７】
2016192660.tif 000029