(57)【要約】【課題】マルチドメインを跨ぐ通信において障害が発生した場合に、時間を短縮して被疑箇所を特定する。【解決手段】マルチドメインネットワーク管理システム１００のマルチドメインネットワーク管理装置１０１は、通信経路をドメイン（１７１、１７２）ごとに分割して、ドメインごとに通信経路の障害箇所を特定する。マルチドメインネットワーク管理装置１０１は、通信経路上のリンクのリンク転送遅延、通信経路上のノード（１６１〜１６８）のノード内転送遅延、および、ノード内フレーム廃棄率を測定して、通常時とは異なる値が測定された場合に当該リンクまたはノードを障害箇所と特定する。【選択図】図１４
2018207335.tif 000002
【特許請求の範囲】
【請求項１】
複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置を備えるマルチドメインネットワーク管理システムであって、
前記ノードは、
当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つを所定のタイミングで測定しており、
前記マルチドメインネットワーク管理装置は、
前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割し、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得し、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得し、
前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するインフラマネージャ部を備えること
を特徴とするマルチドメインネットワーク管理システム。
【請求項２】
前記インフラマネージャ部は、
前記ドメインごとに、前記通常時測定結果および前記障害時測定結果を並列して取得すること
を特徴とする請求項１に記載のマルチドメインネットワーク管理システム。
【請求項３】
前記所定の判定ルールは、前記通常時測定結果を基準として、前記障害時測定結果が所定値以上に大きい値または所定比率以上に大きい値である場合に、前記ノードまたは前記リンクが前記障害箇所であると判定すること
を特徴とする請求項１または請求項２に記載のマルチドメインネットワーク管理システム。
【請求項４】
前記通信経路は、前記マルチドメインネットワーク上の仮想ネットワークを構成する通信経路であり、
前記マルチドメインネットワーク管理装置は、さらに、オーケストレータ部を備え、
前記オーケストレータ部は、
前記仮想ネットワークに障害が発生した場合に、前記仮想ネットワークを構成する前記通信経路の前記障害箇所を迂回する新たな通信経路である復旧経路を探索し、
前記通信経路に替えて前記復旧経路を含めて前記仮想ネットワークを構成することにより、前記仮想ネットワークを復旧すること
を特徴とする請求項１乃至請求項３のいずれか１項に記載のマルチドメインネットワーク管理システム。
【請求項５】
前記オーケストレータ部は、
複数の前記仮想ネットワークに障害が発生した場合に、その１つを故障復旧専用仮想ネットワークとして設定し、設定した前記故障復旧専用仮想ネットワークを構成する前記通信経路の前記障害箇所を迂回する前記復旧経路を探索し、
前記故障復旧専用仮想ネットワークとして設定した仮想ネットワーク以外の他の仮想ネットワークについて、前記他の仮想ネットワークを構成する通信経路であって障害が発生した通信経路の端点が、前記故障復旧専用仮想ネットワークの障害のある通信経路の端点と同じであるならば、前記通信経路に替えて前記探索した復旧経路を含めて当該仮想ネットワークを構成することにより、前記他の仮想ネットワークを復旧する
ことを特徴とする請求項４に記載のマルチドメインネットワーク管理システム。
【請求項６】
複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置であって、
前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割し、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得し、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得し、
前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するインフラマネージャ部を備えること
を特徴とするマルチドメインネットワーク管理装置。
【請求項７】
複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置を備えるマルチドメインネットワーク管理システムのマルチドメインネットワーク管理方法であって、
前記ノードは、
当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つを所定のタイミングで測定するステップを実行し、
前記マルチドメインネットワーク管理装置は、
前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割するステップと、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得するステップと、
前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得するステップと、
前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するステップと
を実行することを特徴とするマルチドメインネットワーク管理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチドメインから構成されるネットワークにおいて障害が発生した場合に、被疑箇所を特定して復旧措置を実行することができるマルチドメインネットワーク管理システム、マルチドメインネットワーク管理装置およびマルチドメインネットワーク管理方法に関する。
【背景技術】
【０００２】
パソコンやスマートフォンの他に、クルマや住宅、ウェアラブルデバイスなどのＩｏＴ機器がネットワークに接続されるようになり、通信事業者には、遅延、信頼性、帯域などに関する多様な要件を満たすネットワークサービスを安価に提供することが求められている。このような要求を満たすために、ＳＤＮ（Software-Defined Network）や仮想化の技術を用いて、物理的なネットワークの上に、ネットワークスライスと呼ばれる様々な要件を満たす複数の論理的（仮想的）なネットワーク（仮想ネットワーク）を実現して管理する技術（ネットワークスライシング）が検討されている（非特許文献１参照）。
【０００３】
一方、ネットワークを運用、維持するのに必要な機能として、イーサネット（登録商標）ＯＡＭ（Operations, Administration and Maintenance）の通信フレーム（ＯＡＭフレームとも記す）を用いた運用管理機能がある（非特許文献２参照）。イーサネットＯＡＭは、レイヤ２でのノード間の接続性チェック、ループバック検査、経路探索、および、遅延測定の機能を含む。
【０００４】
図１７は、ＯＡＭフレームを用いた既存の経路探索と遅延測定の対象となるネットワークの構成図である。ネットワーク９１０は４つのノード（ノード＃１１〜＃１４）からなり、４つのノードは１つのドメイン＃１１１に属している。ノード＃１１とノード＃１２とはリンク９１１で接続され、ノード＃１２とノード＃１３とはリンク９１２で接続されて、ノード＃１３とノード＃１４とはリンク９１３で接続されている。
【０００５】
図１８は、既存の経路探索におけるＯＡＭフレームの流れを示すシーケンス図である。ノード＃１１に対してノード＃１４への経路探索が指示されると、ノード＃１１は、ノード＃１４へとつながる隣接ノード＃１２へＯＡＭフレームの１つである経路探索要求Ｆ９１を送信する。経路探索要求Ｆ９１には、経路探索の最終目標であるノード＃１４のアドレスと要求元であるノード＃１１のアドレスとが含まれる。
【０００６】
ノード＃１２が経路探索要求Ｆ９１を受信すると、ノード＃１４へとつながる隣接ノード＃１３へ経路探索要求Ｆ９２を送信する。経路探索要求Ｆ９２にも、経路探索の最終目標であるノード＃１４のアドレスと要求元であるノード＃１１のアドレスとが含まれる。また、ノード＃１２は、経路探索の要求元であるノード＃１１にＯＡＭフレームの１つである経路探索応答Ｆ９３を送信する。
【０００７】
ノード＃１３が経路探索要求Ｆ９２を受信すると、最終目標であり隣接ノードであるノード＃１４へ経路探索要求Ｆ９４を送信する。経路探索要求Ｆ９４にも、経路探索の最終目標であるノード＃１４のアドレスと要求元であるノード＃１１のアドレスとが含まれる。また、ノード＃１３は、経路探索の要求元であるノード＃１１に経路探索応答Ｆ９５を送信する。
【０００８】
ノード＃１４が経路探索要求Ｆ９４を受信すると、自身が最終目標であるため、経路探索要求のＯＡＭフレームを送信することはなく、要求元であるノード＃１１に経路探索応答Ｆ９６を送信する。
経路探索の要求元であるノード＃１１は、ノード＃１２、ノード＃１３、ノード＃１４のそれぞれから経路探索応答（Ｆ９３、Ｆ９５、Ｆ９６）を受信することで、最終目標のノード＃１４までの通信経路を取得することができる。また、経路探索が途中で途切れることで、ノード＃１１は、障害箇所を特定することができる。
【０００９】
図１９は、既存の遅延測定におけるＯＡＭフレームの流れを示すシーケンス図である。ノード＃１２に対してノード＃１３への遅延測定が指示されると、ノード＃１２は、ノード＃１３にＯＡＭフレームの１つである遅延測定要求Ｆ９７を送信する。遅延測定要求Ｆ９７には、遅延測定要求Ｆ９７の送信時刻が含まれる。
【００１０】
ノード＃１３が遅延測定要求Ｆ９７を受信すると、ＯＡＭフレームの１つである遅延測定応答Ｆ９８を送信する。遅延測定応答Ｆ９８には、遅延測定要求Ｆ９７に含まれていた送信時刻、遅延測定要求Ｆ９７の受信時刻、および、遅延測定応答Ｆ９８の送信時刻が含まれる。
【００１１】
ノード＃１２は、遅延測定応答Ｆ９８の受信時刻と遅延測定応答Ｆ９８に含まれている遅延測定要求Ｆ９７の送信時刻との差からリンクの遅延時間を取得することができる。
障害が発生したときには、ネットワークの管理者は、最終目標ノードまでの通信経路を経路探索で求め、経路上の各リンクの遅延を測定して比較することで、遅延が最大のリンクないしは当該リンクに接続されているノードが障害の被疑箇所（障害箇所）であると特定することができる。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】下城拓也他, ５Ｇ時代に将来コアネットワーク, NTT DOCOMOテクニカル・ジャーナル, Vol.23, No.4, pp.49-58, 2016年1月.
【非特許文献２】社団法人情報通信技術委員会, イーサネットのＯＡＭ機能とメカニズム 第1版, JT-Y1731, 2010年2月24日制定.
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ＯＡＭフレームを用いて経路探索や遅延測定を行うことで、リンクやノードに障害が発生したときに、その被疑箇所を特定することができる。しかしながら、ネットワークがマルチドメインから構成されて、通信経路のノード数が増加すると、上記に示した被疑箇所の特定には問題が生じる。なお、ドメインとは、例えば、１つの地域のネットワークや１つの通信事業者のネットワークであり、マルチドメインのネットワークは、複数の地域のネットワークや複数の通信事業者のネットワークなどから構成される規模の大きいネットワークである。
【００１４】
図２０は、マルチドメインのネットワークにおける従来のＯＡＭフレームを用いて被疑箇所を特定する場合に生じる問題を説明するための図である。ネットワーク９２０は、ドメイン＃２１１とドメイン＃２２２とドメイン＃２２３との３つのドメインからなり、ノード＃２１とノード＃２７との間の通信は、ノード＃２２、ノード＃２３、ノード＃２４、ノード＃２５、および、ノード＃２６を経由する。従来技術を用いてノード＃２１とノード＃２７との通信経路における障害を検知するには、ノード＃２２〜ノード＃２６を経由する経路探索やノード＃２１〜ノード＃２７の間にある６つのリンクの遅延測定を順々に行う必要がある。このために、障害の被疑箇所を特定するのに時間がかかり、迅速な復旧ができないという問題が生じる。
【００１５】
また、マルチドメインの場合には、ドメイン間で遅延時間のばらつきが大きく、転送遅延（時間）が最大のリンクが、被疑箇所とは限らず、被疑箇所を特定できないという問題も生じる。例えば、ノード＃２５とノード＃２６との間にあるリンクで障害が発生しているのにもかかわらず、ノード間の距離が大きいドメイン＃２１１での遅延ΔＴ２１が、遅延ΔＴ２５より大きくなってしまい、ノード＃２１とノード＃２２との間にあるリンクが障害箇所であると、間違って障害箇所を特定してしまう問題が生じる。
【００１６】
さらに、マルチドメインの場合には、通信経路が長く、多くのノードとリンクを含んでいて、複数の箇所で障害が発生する場合がある。従来の方法では、１つの障害箇所が特定できたとしても、そこから先の通信経路にはＯＡＭフレームが送信できず、別の障害箇所があったとしても検知できないという問題が生じる。
【００１７】
障害または輻輳が生じている状態で、断続的にＯＡＭフレームが通信できている場合には、被疑箇所が特定できない問題も生じる。
ネットワークスライシングを導入している場合には、ネットワークスライスごとに被疑箇所の特定や復旧の措置を行う。しかしながら、障害（故障）の原因が下位のレイヤに存在した場合には、複数のネットワークスライスでそれぞれに被疑箇所の特定や復旧の措置を行うのは、非効率である。
【００１８】
このような背景を鑑みて本発明がなされたのである。本発明は、マルチドメインを跨ぐ通信において障害が発生した場合に、時間を短縮して被疑箇所を特定することができる、マルチドメインネットワーク管理システム、マルチドメインネットワーク管理装置およびマルチドメインネットワーク管理方法を提供することを課題とする。
【課題を解決するための手段】
【００１９】
前記した課題を解決するため、請求項１に記載の発明は、複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置を備えるマルチドメインネットワーク管理システムであって、前記ノードが、当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つを所定のタイミングで測定しており、前記マルチドメインネットワーク管理装置が、前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割し、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得し、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得し、前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するインフラマネージャ部を備えることを特徴とするマルチドメインネットワーク管理システムとした。
【００２０】
請求項６に記載の発明は、複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置であって、前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割し、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得し、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得し、前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するインフラマネージャ部を備えることを特徴とするマルチドメインネットワーク管理装置とした。
【００２１】
また、請求項７に記載の発明は、複数のドメインからなり、ノードとリンクから構成されるネットワークである、マルチドメインネットワークを管理するマルチドメインネットワーク管理装置を備えるマルチドメインネットワーク管理システムのマルチドメインネットワーク管理方法であって、前記ノードが、当該ノードに接続されるリンク上でのデータフレームの転送遅延時間を示すリンク転送遅延、当該ノード内での前記データフレームの転送遅延時間を示すノード内転送遅延、および、当該ノード内での前記データフレームの廃棄率を示すノード内フレーム廃棄率のうちの少なくとも１つを所定のタイミングで測定するステップを実行し、前記マルチドメインネットワーク管理装置が、前記マルチドメインネットワーク上の通信経路に障害が発生したときに、当該通信経路を前記複数のドメインそれぞれの通信経路を示すドメイン内通信経路に分割するステップと、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生前に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である通常時測定結果を取得するステップと、前記ドメイン内通信経路に含まれる前記ノードが前記障害の発生後に測定した、前記リンク転送遅延、前記ノード内転送遅延、および、前記ノード内フレーム廃棄率のうちの少なくとも１つの測定値である障害時測定結果を取得するステップと、前記通常時測定結果と前記障害時測定結果とを、前記ノードと前記リンクごとに所定の判定ルールに従って比較することにより、前記ノードまたは前記リンクが障害箇所であると判定するステップとを実行することを特徴とするマルチドメインネットワーク管理方法とした。
【００２２】
このように、マルチドメインネットワーク管理装置は、障害が発生した通信経路をドメイン単位に分割して、リンク転送遅延、ノード内転送遅延、および、ノード内フレーム廃棄率の測定値を取得し、通常時の測定値と現在の測定値とを比較する。こうすることで、マルチドメインネットワーク管理装置は、従来技術と比べて時間を短縮させて障害箇所を特定することができる。また、マルチドメインネットワーク管理装置は、複数の障害箇所があった場合でも、その障害箇所を特定することが可能となる。
また、障害箇所の探索には、リンク転送遅延、ノード内転送遅延、および、ノード内フレーム廃棄率を用いる。これによって、単一の指標で探索するより、障害箇所の検出率を向上させることができる。
【００２３】
請求項２に記載の発明は、前記インフラマネージャ部が、前記ドメインごとに、前記通常時測定結果および前記障害時測定結果を並列して取得することを特徴とする請求項１に記載のマルチドメインネットワーク管理システムとした。
【００２４】
このように、マルチドメインネットワーク管理装置は、障害が発生した通信経路をドメイン単位に分割し、分割された通信経路上のリンク転送遅延、ノード内転送遅延、および、ノード内フレーム廃棄率を並列して取得する。こうすることで、マルチドメインネットワーク管理装置は、分割しない場合に比べて迅速に測定値を取得して障害箇所を特定することが可能となる。
【００２５】
また、請求項３に記載の発明は、前記所定の判定ルールが、前記通常時測定結果を基準として、前記障害時測定結果が所定値以上に大きい値または所定比率以上に大きい値である場合に、前記ノードまたは前記リンクが前記障害箇所であると判定することを特徴とする請求項１または請求項２に記載のマルチドメインネットワーク管理システムとした。
【００２６】
このように、マルチドメインネットワーク管理装置は、リンク転送遅延、ノード内転送遅延、および、ノード内フレーム廃棄率を、通常時の測定値と比較して、異常が発生しているか否かを判断する。こうすることで、マルチドメインネットワーク管理装置は、ドメインやリンクの種別、ノードの機種によって測定値にばらつきがあっても、これに影響を受けることがなく、障害箇所を特定することが可能となる。
【００２７】
請求項４に記載の発明は、前記通信経路が、前記マルチドメインネットワーク上の仮想ネットワークを構成する通信経路であり、前記マルチドメインネットワーク管理装置が、さらに、オーケストレータ部を備え、前記オーケストレータ部が、前記仮想ネットワークに障害が発生した場合に、前記仮想ネットワークを構成する前記通信経路の前記障害箇所を迂回する新たな通信経路である復旧経路を探索し、前記通信経路に替えて前記復旧経路を含めて前記仮想ネットワークを構成することにより、前記仮想ネットワークを復旧することを特徴とする請求項１乃至請求項３のいずれか１項に記載のマルチドメインネットワーク管理システムとした。
【００２８】
このように、マルチドメインネットワーク管理装置は、障害が発生した仮想ネットワークについて、障害箇所を迂回した正常な通信経路を探索して、復旧経路とし、この復旧経路を含めて仮想ネットワークを再構成する。こうすることで、複数の障害箇所があった場合でも仮想ネットワークは障害から復旧することが可能となる。また、マルチドメインに分割しない場合と比較して、仮想ネットワークは、より迅速に障害から復旧することが可能となる。
【００２９】
また、請求項５に記載の発明は、前記オーケストレータ部が、複数の前記仮想ネットワークに障害が発生した場合に、その１つを故障復旧専用仮想ネットワークとして設定し、設定した前記故障復旧専用仮想ネットワークを構成する前記通信経路の前記障害箇所を迂回する前記復旧経路を探索し、前記故障復旧専用仮想ネットワークとして設定した仮想ネットワーク以外の他の仮想ネットワークについて、前記他の仮想ネットワークを構成する通信経路であって障害が発生した通信経路の端点が、前記故障復旧専用仮想ネットワークの障害のある通信経路の端点と同じであるならば、前記通信経路に替えて前記探索した復旧経路を含めて当該仮想ネットワークを構成することにより、前記他の仮想ネットワークを復旧することを特徴とする請求項４に記載のマルチドメインネットワーク管理システムとした。
【００３０】
このように、マルチドメインネットワーク管理装置は、障害が発生した複数の仮想ネットワークについて、故障復旧専用仮想ネットワークで探索した結果の復旧経路を含めて仮想ネットワークを再構成する。こうすることで、復旧経路の探索回数を削減することができ、削減しない場合と比較して迅速に、仮想ネットワークは障害から復旧することが可能となる。
【発明の効果】
【００３１】
本発明によれば、マルチドメインを跨ぐ通信において障害が発生した場合に、時間を短縮して被疑箇所を特定することができる、マルチドメインネットワーク管理システム、マルチドメインネットワーク管理装置およびマルチドメインネットワーク管理方法を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本実施形態に係るマルチドメインネットワークの構成とリンク転送遅延の通常時の測定処理を説明するための図である。
【図２】本実施形態に係る隣接ノード間のリンク転送遅延の通常時における測定指示と測定要求と測定応答との送受信を示すシーケンス図である。
【図３】本実施形態に係るリンク転送遅延の通常時における測定に用いられるフレームの構成を示す図である。
【図４】本実施形態に係る各ノードの記憶部に記憶されるリンク転送遅延データベースのデータ構成を例示する図である。
【図５】本実施形態に係るマルチドメインネットワークにおけるリンク転送遅延の異常時における測定処理を説明するための図である。
【図６】本実施形態に係るリンク転送遅延の異常時における測定に用いられるフレームの構成を示す図である。
【図７】本実施形態に係るマルチドメインネットワークにおけるリンク転送遅延の異常時の測定結果を伝送品質測定装置へ報告する処理を説明するための図である。
【図８】本実施形態に係るマルチドメインネットワークにおけるノード内転送遅延の通常時の測定処理を説明するための図である。
【図９】本実施形態に係るノード内の構成の一部を例示した図である。
【図１０】本実施形態に係る各ノードの記憶部に記憶されるノード内転送遅延データベースのデータ構成を例示する図である。
【図１１】本実施形態に係るマルチドメインネットワークにおけるノード内転送遅延の異常時の測定処理を説明するための図である。
【図１２】本実施形態に係るマルチドメインネットワークにおけるノード内転送遅延の異常時の測定結果を伝送品質測定装置へ報告する処理を説明するための図である。
【図１３】本実施形態に係る各ノードの記憶部に記憶されるノード内フレーム廃棄率データベースのデータ構成を例示する図である。
【図１４】本実施形態に係るマルチドメインネットワーク管理システムの全体構成を例示する図である。
【図１５】本実施形態に係るマルチドメインネットワーク管理装置が実行する障害箇所特定処理を説明するための図である。
【図１６】本実施形態に係る同時多発障害発生時の障害復旧措置の処理を説明するための図である。
【図１７】ＯＡＭフレームを用いた既存の経路探索と遅延測定の対象となるネットワークの構成図である。
【図１８】既存の経路探索におけるＯＡＭフレームの流れを示すシーケンス図である。
【図１９】既存の遅延測定におけるＯＡＭフレームの流れを示すシーケンス図である。
【図２０】マルチドメインのネットワークにおける従来のＯＡＭフレームを用いる場合の被疑箇所の特定するときに生じる問題を説明するための図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照しながら、本発明を実施する形態（以下、本実施形態と記す）であるマルチドメインネットワーク管理システム１００（後述する図１４参照）を説明する。
≪概要≫
まず、本実施形態に係るマルチドメインネットワーク管理システム１００の概要を説明する。図１４に示すように、マルチドメインネットワーク管理システム１００の管理対象となるマルチドメインネットワーク１９９は、ドメイン１７１と、ドメイン１７２と、ＤＣ（Data Center）１４１と、ＤＣ１４２とを含んで構成されるネットワークである。複数のドメインとＤＣとは、インフラマネージャ部１０２とオーケストレータ部１０３とを含んで構成されるマルチドメインネットワーク管理装置１０１により監視されており、障害が発生した場合には、障害箇所が特定され、復旧措置が実行される。
本発明の特徴は、マルチドメインネットワーク管理装置１０１が、管理対象のネットワークを複数のドメインに分割し、ドメインごとに障害箇所を検出することである。こうすることにより、ドメインを分割しない場合と比較して、より短時間に障害箇所を検出することができる。
マルチドメインネットワーク管理システム１００の詳細な構成や処理を説明する前に、マルチドメインネットワーク管理装置１０１の管理対象であるマルチドメインネットワークでの障害箇所を検出する手法を、図１〜図１３を参照しながら説明する。
【００３４】
≪障害検知手法≫
障害検知の手法としては、ノード間のリンクにおけるフレーム（データフレーム）の転送遅延の増加を検知する手法、ノード内でのフレーム転送遅延の増加を検知する手法、および、ノード内でのフレーム廃棄率の増加を検知する手法がある。以下、順番に説明する。なお、ノード間のリンクでのフレーム転送遅延（リンク転送遅延とも記す）、ノード内でのフレーム転送遅延（ノード内転送遅延とも記す）、および、ノード内でのフレーム廃棄率（ノード内フレーム廃棄率、ノード内廃棄率とも記す）を総称して伝送品質と記す場合がある。以下、図１〜図１３を参照して、ノードとリンクからなる物理的なネットワークでの伝送品質の測定を説明するが、仮想ノードと仮想リンクからなる仮想的（論理的）なネットワークにおいても同様に測定できる。
【００３５】
ノード間のリンクでのフレーム転送遅延の増加を検知する手法は、（１）通常時のリンクでのフレーム転送遅延の測定、（２）異常時（障害発生時）におけるフレーム転送遅延の測定と遅延増加の検知からなる。（１）と（２）を順に説明する。
【００３６】
≪リンク転送遅延通常時測定≫
図１は、本実施形態に係るマルチドメインネットワーク１９９Ａの構成とリンク転送遅延の通常時の測定処理を説明するための図である。なお、マルチドメインネットワークを単にネットワークとも記す。マルチドメインネットワーク１９９Ａは、ドメイン＃Ａとドメイン＃Ｂとドメイン＃Ｃとの３つのドメインから構成される。ドメイン＃Ａはノード＃１とノード＃２とを含み、ドメイン＃Ｂはノード＃２とノード＃３とノード＃４とを含み、ドメイン＃Ｃはノード＃４とノード＃５とノード＃６とノード＃７とを含む。ノード＃２はドメイン＃Ａとドメイン＃Ｂの両方に属し、ノード＃４はドメイン＃Ｂとドメイン＃Ｃの両方に属する。
【００３７】
ノード＃１とノード＃２とは隣接するノードであり、リンクで直接に接続されている。ノード＃２とノード＃３、ノード＃３とノード＃４、ノード＃４とノード＃５、ノード＃５とノード＃６、および、ノード＃６とノード＃７についても同様であり、それぞれリンクで直接に接続されている。他にノードやリンクが存在するが図示していない。例えば、ドメイン＃Ｃのノード＃４には、ノード＃５の他に隣接するノードが存在する。
【００３８】
ノード＃１とノード＃２とノード＃４とノード＃７とは、ドメインの入口となる入口ノード（ingressノード）であり、複数のドメインに属したり、アクセスネットワークとの接続点になっていたりする。
伝送品質測定装置１９８は、入口ノードと通信を行い、各ノードにリンク転送遅延、ノード内転送遅延、および、ノード内フレーム廃棄率の測定を指示したり、測定結果を収集したりする装置である。後述するように、図１４においては、ＳＤＮマネージャ１３２とＷＩＭ（WAN (Wide Area Network) Infrastructure Manager）１３４とが連携して、伝送品質測定装置１９８の処理を実行する。また、ＶＮＦＭ（Virtual Network Function Manager）１２２とＶＩＭ（Virtualized Infrastructure Manager）１２４とが連携して、仮想ネットワークに対する伝送品質測定装置１９８の処理を実行する。
測定の最初のステップとして、伝送品質測定装置１９８が、各入口ノードに対してリンク転送遅延の通常時の測定（通常時測定）を指示する。伝送品質測定装置１９８は、所定のタイミング、例えば定期的に通常時測定を指示する。なお、説明を簡明にするために、ノード＃７への測定指示は記載していない。
【００３９】
測定指示を受信した入口ノードは、隣接するノード（隣接ノード）に測定要求を送信する。測定要求を受信した隣接ノードは、次の隣接ノードに測定要求を送信するとともに、測定要求を送信したノードに測定要求に対する測定応答を送信する。以下、この隣接ノード間の測定要求と測定応答のやりとりを説明する。
【００４０】
図２は、本実施形態に係る隣接ノード間のリンク転送遅延の通常時における測定指示と測定要求と測定応答との送受信を示すシーケンス図である。図３は、本実施形態に係るリンク転送遅延の通常時における測定に用いられるフレームの構成を示す図である。図１〜図３を参照して、ドメイン＃Ｃのノード＃４〜ノード＃７のリンク転送遅延の通常時測定を説明する。
【００４１】
ステップＳ１０１において、伝送品質測定装置１９８が入口ノードであるノード＃４にリンク転送遅延通常時測定指示フレーム２１０（図１ではリンク転送遅延通常時測定指示と記載、図２では測定指示と記載、後述する図３（ａ）参照）を送信して、ドメイン＃Ｃ内のリンクの通常時におけるリンク転送遅延の測定を指示する。
【００４２】
図３（ａ）は、リンク転送遅延通常時測定指示フレーム２１０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は通常時リンク転送遅延測定指示２１１である。次のフィールドには測定要求番号２１２が含まれる。測定要求番号２１２は、リンク転送遅延通常時測定指示を識別するための番号であり、例えば指示があるたびに１ずつ増える番号である。図示はしていないが、当該フレームには送信者である伝送品質測定装置１９８と受信者であるノード＃４のアドレスが含まれる。
【００４３】
図２に戻り、ステップＳ１０２において、リンク転送遅延通常時測定指示フレーム２１０を受信したノード＃４は、隣接するノード＃５にリンク転送遅延通常時測定要求フレーム２２０（図１と図２では測定要求と記載、後述する図３（ｂ）参照）を送信して、ノード＃４とノード＃５との間にあるリンクの転送遅延の測定を要求する。なお、ノード＃４は、ノード＃５以外の隣接ノードにも、リンク転送遅延通常時測定要求フレーム２２０を送信する。
【００４４】
図３（ｂ）にリンク転送遅延通常時測定要求フレーム２２０の構成を示す。当該フレームの先頭フィールドはフレームの種別を示し、その値は通常時リンク転送遅延測定要求２２１である。次のフィールドには測定要求番号２２２が含まれ、測定要求番号２２２はリンク転送遅延通常時測定指示フレーム２１０の測定要求番号２１２と同じ番号である。続くフィールドには、当該フレームの送信時刻である要求送信時刻２２３が含まれる。図示はしていないが、当該フレームには送信者であるノードと受信者であるノードのアドレスが含まれる。
【００４５】
図２に戻り、ステップＳ１０３において、リンク転送遅延通常時測定要求フレーム２２０を受信したノード＃５は、隣接するノード＃６にリンク転送遅延通常時測定要求フレーム２２０を送信して、ノード＃５とノード＃６との間にあるリンクの転送遅延測定を要求する。なお、ノード＃５は、ノード＃４とノード＃６以外の隣接ノードにも、リンク転送遅延通常時測定要求フレーム２２０を送信する。
ステップＳ１０４において、ノード＃５は、リンク転送遅延通常時測定要求フレーム２２０への応答としてノード＃４にリンク転送遅延通常時測定応答フレーム２３０（図１と図２では測定応答と記載、後述する図３（ｃ）参照）を送信する。
【００４６】
図３（ｃ）にリンク転送遅延通常時測定応答フレーム２３０の構成を示す。当該フレームの先頭フィールドはフレームの種別を示し、その値は通常時リンク転送遅延測定応答２３１である。次のフィールドには測定要求番号２３２が含まれ、測定要求番号２３２はリンク転送遅延通常時測定要求フレーム２２０の測定要求番号２２２と同じ番号である。続くフィールドには、要求送信時刻２３３が含まれ、この要求送信時刻２３３はリンク転送遅延通常時測定要求フレーム２２０の要求送信時刻２２３と同じ時刻である。続く２つのフィールドには、リンク転送遅延通常時測定要求フレーム２２０の受信時刻である要求受信時刻２３４とリンク転送遅延通常時測定応答フレーム２３０の送信時刻である応答送信時刻２３５とがそれぞれ含まれる。図示はしていないが、当該フレームには送信者であるノードと受信者であるノードのアドレスが含まれる。
【００４７】
図２に戻り、ステップＳ１０５において、リンク転送遅延通常時測定応答フレーム２３０を受信したノード＃４は、ノード＃５とのリンクの転送遅延を測定する。転送遅延は、（リンク転送遅延通常時測定応答フレーム２３０の受信時刻）−（リンク転送遅延通常時測定応答フレーム２３０の要求送信時刻２３３）により計算する。計算結果の転送遅延は、ノード＃４の記憶部（不図示）に記憶されるリンク転送遅延データベース４２０（後述する図４参照）に格納される。
【００４８】
図４は、本実施形態に係る各ノードの記憶部（不図示）に記憶されるリンク転送遅延データベース４２０のデータ構成を例示する図である。リンク転送遅延データベース４２０は、例えば表形式のデータベースであって、１つの行（レコード）はリンクの遅延の測定結果を示し、隣接ノード４２１、測定要求番号４２２、測定時刻４２３、および、遅延４２４の属性（列）を含む。
【００４９】
隣接ノード４２１は、当該リンクの接続先のノードを示す。
測定要求番号４２２は、当該遅延を測定したときのリンク転送遅延通常時測定指示フレーム２１０やリンク転送遅延通常時測定要求フレーム２２０、リンク転送遅延通常時測定応答フレーム２３０に含まれている測定要求番号（２１２、２２２、２３２）である。
測定時刻４２３は、測定した時刻である。
遅延４２４は、計算結果の遅延時間であり、単位はマイクロ秒である。
図４に記載のレコード４２９の測定結果は、隣接するノードが「ノード＃５」であり、測定要求番号が「３４５８４６４８」であり、測定時刻が「２０１７年５月１１日１０時３４分３３秒」であり、遅延が「１２３４マイクロ秒」であることを示している。
【００５０】
図２に戻り、ステップＳ１０５において、ノード＃４は、隣接ノード４２１をノード＃５、測定要求番号４２２をリンク転送遅延通常時測定応答フレーム２３０の測定要求番号２３２、測定時刻４２３を現在時刻、遅延４２４を計算した転送遅延とする新規レコードを追加して、測定結果をリンク転送遅延データベース４２０に格納する。
ステップＳ１０６において、リンク転送遅延通常時測定要求フレーム２２０を受信したノード＃６は、隣接するノード＃７にリンク転送遅延通常時測定要求フレーム２２０を送信して、ノード＃６とノード＃７との間にあるリンクの転送遅延測定を要求する。なお、ノード＃６は、ノード＃５とノード＃７以外の隣接ノードにも、リンク転送遅延通常時測定要求フレーム２２０を送信する。
【００５１】
ステップＳ１０７において、ノード＃６は、リンク転送遅延通常時測定要求フレーム２２０への応答としてノード＃５にリンク転送遅延通常時測定応答フレーム２３０を送信する。
ステップＳ１０８において、リンク転送遅延通常時測定応答フレーム２３０を受信したノード＃５は、ノード＃６とのリンクの転送遅延を計算して、ノード＃５の記憶部（不図示）に記憶されるリンク転送遅延データベース４２０に格納する。この処理は、ステップＳ１０５のノード＃４が実行する処理と同様である。
【００５２】
ステップＳ１０９において、ノード＃７は、リンク転送遅延通常時測定要求フレーム２２０への応答としてノード＃６にリンク転送遅延通常時測定応答フレーム２３０を送信する。
ステップＳ１１０において、リンク転送遅延通常時測定応答フレーム２３０を受信したノード＃６は、ノード＃７とのリンクの転送遅延を計算して、ノード＃６の記憶部（不図示）に記憶されるリンク転送遅延データベース４２０に格納する。この処理は、ステップＳ１０８の処理と同様である。
【００５３】
以上の処理により、ドメイン内にあるリンクごとにリンク転送遅延が測定され、その測定結果がノードのリンク転送遅延データベース４２０に格納される。
なお、ノードが、複数の隣接ノードから同じ測定要求番号２２２をもつリンク転送遅延通常時測定要求フレーム２２０を２回以上受信した場合には、当該フレームに対するリンク転送遅延通常時測定応答フレーム２３０は送信するが、他の隣接ノードへのリンク転送遅延通常時測定要求フレーム２２０は送信しない。これは、同じリンク転送遅延通常時測定指示フレーム２１０に対する測定を同じリンクに対して繰り返し行わないようにするためである。
【００５４】
続いて、（２）異常時におけるフレーム転送遅延の測定と遅延増加を検知する処理を説明する。
【００５５】
≪リンク転送遅延異常時測定≫
図５は、本実施形態に係るマルチドメインネットワーク１９９Ａにおけるリンク転送遅延の異常時における測定処理を説明するための図である。図６は、本実施形態に係るリンク転送遅延の異常時における測定に用いられるフレームの構成を示す図である。
【００５６】
通信経路の異常（障害）が検知されると、伝送品質測定装置１９８が、各入口ノードに対してリンク転送遅延の異常時における測定（異常時測定）を指示する。詳しくは、伝送品質測定装置１９８は、通信経路をドメインごとに分割して、分割された通信経路上のドメインの入口ノードに異常時測定を指示する。ここでは、ノード＃１とノード＃７との間の通信経路に異常が発生したとして説明する。伝送品質測定装置１９８は、ノード＃１〜ノード＃７の通信経路をドメイン＃Ａのノード＃１〜ノード＃２、ドメイン＃Ｂのノード＃２〜ノード＃４、および、ドメイン＃Ｃのノード＃４〜ノード＃７に分割して、各ドメインの入口ノードであるノード＃１とノード＃２とノード＃４とにリンク転送遅延異常時測定指示フレーム２４０（図５ではリンク転送遅延異常時測定指示と記載、後述する図６（ａ）参照）を送信して、測定を指示する。
【００５７】
図６（ａ）は、リンク転送遅延異常時測定指示フレーム２４０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時リンク転送遅延測定指示２４１である。次のフィールドには測定要求番号２４２が含まれる。測定要求番号２４２は、リンク転送遅延異常時測定指示を識別するための番号であり、例えば指示があるたびに１ずつ増える番号である。
続くフィールドには始点ノード２４３が含まれる。始点ノード２４３は、ノード＃１からノード＃７へ到る経路上の各ドメインにおける始点となるノードであり、各ドメインの入口ノードとなる。例えば、ドメイン＃Ｃにおけるノード＃１〜ノード＃７の経路の始点となるノードは、ドメイン＃Ｃの入口ノードであるノード＃４である。
【００５８】
次のフィールドには終点ノード２４４が含まれる。終点ノード２４４は、ノード＃１からノード＃７へ到る経路上の各ドメインにおける終点となるノードであり、各ドメインの入口ノードとなる。例えば、ドメイン＃Ｂにおけるノード＃１〜ノード＃７の経路の終点となるノードは、ノード＃４である。
図示はしていないが、当該フレームには送信者である伝送品質測定装置１９８と受信者である入口ノードのアドレスが含まれる。
【００５９】
図５に戻り、リンク転送遅延異常時測定指示フレーム２４０を受信した入口ノードは、終点ノード２４４に到る通信経路上の隣接ノードにリンク転送遅延異常時測定要求フレーム２５０（図５では測定要求と記載、後述する図６（ｂ）参照）を送信する。例えば、ドメイン＃Ｃにおいては、入口ノードであるノード＃４は、終点ノードであるノード＃７へ到るノード＃５、ノード＃６という経路上で隣接ノードであるノード＃５にリンク転送遅延異常時測定要求フレーム２５０を送信する。
【００６０】
図６（ｂ）は、リンク転送遅延異常時測定要求フレーム２５０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時リンク転送遅延測定要求２５１である。続く、測定要求番号２５２、始点ノード２５３、終点ノード２５４は、リンク転送遅延異常時測定指示フレーム２４０の測定要求番号２４２、始点ノード２４３、終点ノード２４４とそれぞれ同じである。
要求送信時刻２５５は、当該フレームを送信した時刻である。
図示はしていないが、当該フレームには送信者であるノードのアドレスと受信者であるノードのアドレスが含まれる。
【００６１】
図５に戻り、リンク転送遅延異常時測定要求フレーム２５０を受信した隣接ノードは、終点ノード２５４に向かう通信経路上の次の隣接ノードにリンク転送遅延異常時測定要求フレーム２５０を送信する。以下、終点ノード２５４に到達するまで、各ノードは隣接ノードにリンク転送遅延異常時測定要求フレーム２５０を送信する。例えば、ドメイン＃Ｃにおいて、ノード＃５からノード＃６、ノード＃６からノード＃７へと、次々とリンク転送遅延異常時測定要求フレーム２５０が送信される。
隣接ノードは、リンク転送遅延異常時測定要求フレーム２５０を送信した隣接ノードにリンク転送遅延異常時測定応答フレーム２６０（図５では測定応答と記載、後述する図６（ｃ）参照）を送信する。
【００６２】
図６（ｃ）は、リンク転送遅延異常時測定応答フレーム２６０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時リンク転送遅延測定応答２６１である。次のフィールドには測定要求番号２６２が含まれ、測定要求番号２６２はリンク転送遅延異常時測定要求フレーム２５０の測定要求番号２５２と同じ番号である。続くフィールドには、要求送信時刻２６３が含まれ、リンク転送遅延異常時測定要求フレーム２５０の要求送信時刻２５５と同じ時刻である。続く２つのフィールドには、リンク転送遅延異常時測定要求フレーム２５０の受信時刻である要求受信時刻２６４とリンク転送遅延異常時測定応答フレーム２６０の送信時刻である応答送信時刻２６５とがそれぞれ含まれる。図示はしていないが、当該フレームには送信者のノードのアドレスと受信者のノードのアドレスが含まれる。
【００６３】
図５に戻り、リンク転送遅延異常時測定応答フレーム２６０を受信したノードは、現時点での遅延時間を、（リンク転送遅延異常時測定応答フレーム２６０の受信時刻）−（リンク転送遅延異常時測定応答フレーム２６０の要求送信時刻２６３）により計算する。
【００６４】
続いて、上記で計算した各リンクの遅延を伝送品質測定装置１９８に報告するまでの処理を説明する。図７は、本実施形態に係るマルチドメインネットワーク１９９Ａにおけるリンク転送遅延の異常時の測定結果を伝送品質測定装置１９８へ報告する処理を説明するための図である。図７（ａ）は、測定結果を報告するフレームの流れを示す図であり、この図を参照しながら報告処理を説明する。
【００６５】
図５で説明したように、リンク転送遅延異常時測定応答フレーム２６０を受信して、遅延を計算した各ノードは、計算結果の遅延をリンク転送遅延異常時測定要求フレーム２５０の始点ノード２５３である入口ノードに、リンク転送遅延異常時測定結果応答フレーム２７０（図７（ａ）では測定結果応答と記載、後述する図７（ｂ）参照）を用いて報告する。なお、各ドメインの終点ノードは、リンク転送遅延異常時測定応答フレーム２６０を受信しておらず、遅延を計算していないので、リンク転送遅延異常時測定結果応答フレーム２７０を送信しない。例えば、ドメイン＃Ｂの終点ノードであるノード＃４は、リンク転送遅延異常時測定結果応答フレーム２７０を送信しない。
【００６６】
図７（ｂ）は、リンク転送遅延異常時測定結果応答フレーム２７０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時リンク転送遅延測定結果応答２７１である。次のフィールドには測定要求番号２７２が含まれる。測定要求番号２７２は、リンク転送遅延異常時測定応答フレーム２６０の測定要求番号２６２と同じである。
【００６７】
続くフィールドには隣接ノード２７３が含まれる。隣接ノード２７３は、リンク転送遅延異常時測定応答フレーム２６０を送信したノードのアドレスである。例えば、ドメイン＃Ｃのノード＃６が送信するリンク転送遅延異常時測定結果応答フレーム２７０の隣接ノード２７３には、ノード＃６にリンク転送遅延異常時測定応答フレーム２６０を送信してきたノード＃７のアドレスが含まれる。
【００６８】
続くフィールドは、通常遅延２７４である。自ノードと隣接ノード２７３との通常時の遅延時間が含まれる。通常時の遅延時間は、リンク転送遅延データベース４２０（図４参照）に格納される情報から計算される。リンク転送遅延データベース４２０の中で隣接ノード４２１が隣接ノード２７３と同じであるレコードを検索して、測定時刻４２３が直近の所定時間内にあるレコードの遅延４２４の平均値を通常時の遅延時間とする。または、測定時刻４２３が直近の所定時間内にあるレコードであり、遅延４２４が小さい方から所定件数のレコードにある遅延４２４の平均値を通常時の遅延時間としてもよい。または、平均値の替わりに中央値であってもよい。これは、障害が始まってからの指示されたリンク転送遅延測定の影響を除いて遅延時間を求めるためである。
次のフィールドは、現遅延２７５であり、（リンク転送遅延異常時測定応答フレーム２６０の受信時刻）−（リンク転送遅延異常時測定応答フレーム２６０の要求送信時刻２６３）により計算された遅延時間である。
【００６９】
図７（ａ）に戻り、リンク転送遅延異常時測定結果応答フレーム２７０を受信した各ドメインの入口ノードは、ドメイン内の経路上の各リンクの通常時の遅延と現時点での遅延とをリンク転送遅延異常時測定結果フレーム２８０（図７（ａ）ではリンク転送遅延異常時測定結果と記載、後述する図７（ｃ）参照）を用いて伝送品質測定装置１９８に報告する。
【００７０】
図７（ｃ）は、リンク転送遅延異常時測定結果フレーム２８０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時リンク転送遅延測定結果２８１である。次のフィールドには測定要求番号２８２が含まれる。測定要求番号２８２は、リンク転送遅延異常時測定結果応答フレーム２７０の測定要求番号２７２と同じである。
【００７１】
次のフィールドには測定対象のリンクの隣接ノード対２８３が含まれる。隣接ノード対２８３は、入口ノードである自ノードのアドレスとその隣接ノードのアドレスの対である。通常遅延２８４は、自ノードと隣接ノードとの通常時のリンク転送遅延であり、上記に示したリンク転送遅延異常時測定結果応答フレーム２７０の通常遅延２７４と同様に計算する。現遅延２８５は、現在の遅延時間であり、上記に示したリンク転送遅延異常時測定結果応答フレーム２７０の現遅延２７５と同様に計算する。
【００７２】
続くフィールドは、隣接ノード対２８６、通常遅延２８７、現遅延２８８であり、受信したリンク転送遅延異常時測定結果応答フレーム２７０を参照して値が決まる。隣接ノード対２８６は、リンク転送遅延異常時測定結果応答フレーム２７０を送信したノードのアドレスと当該フレームの隣接ノード２７３にあるノードのアドレスとの対である。通常遅延２８７と現遅延２８８は、リンク転送遅延異常時測定結果応答フレーム２７０の通常遅延２７４と現遅延２７５である。以下、受信したリンク転送遅延異常時測定結果応答フレーム２７０にある情報が続くが、図７（ｃ）では図示していない。
【００７３】
例えば、ドメイン＃Ｃの入口ノードであるノード＃４が送信するリンク転送遅延異常時測定結果フレーム２８０の場合には、隣接ノード対と通常遅延と現遅延の組が３つ含まれる。最初の組はノード＃４とノード＃５であり、次の組はノード＃５とノード＃６であり、３つの目の組はノード＃６とノード＃７である。リンク転送遅延異常時測定結果フレーム２８０には、それぞれの組に対応するリンクの通常遅延と現遅延が含まれる。
【００７４】
図７（ａ）に戻り、各入口ノードは、伝送品質測定装置１９８にリンク転送遅延異常時測定結果フレーム２８０を送信する。以上の処理により、伝送品質測定装置１９８は、各ドメイン内の経路上の各リンクの通常遅延と現遅延を取得することができる。
伝送品質測定装置１９８は、各ドメインの各リンクの通常遅延と現遅延を比較することで、どのリンクの遅延が増大しているか検知することができ、障害が発生しているリンクを検出することができる。遅延増大の判定方法としては、通常遅延より所定の時間以上現遅延が大きいならば、遅延が増大したと判断する。また、通常遅延より所定の比率以上現遅延が大きいならば、遅延が増大したと判断してもよい。
【００７５】
以上に説明したリンクでのフレーム転送遅延測定の特徴を説明する。第１の特徴として、伝送品質測定装置１９８は、通信経路をドメインに分割して、ドメインごとの通信経路について測定している。このためにマルチドメインネットワークのような、大規模ネットワークで通信経路上のノード数が多い場合でも、伝送品質測定装置１９８は、複数のドメインごとに並列して測定するので、分割しない場合と比較して迅速に測定できる。第２の特徴として、伝送品質測定装置１９８は、リンクごとに通常時の遅延と障害発生時の遅延を比較して遅延の増大を判定している。通常時であっても、リンクの長さやリンクの種別（光、メタルなど）によりリンクのフレーム転送遅延は異なり、単に遅延が大きいだけで障害が発生しているとは判断できない。伝送品質測定装置１９８は、それぞれのリンクにおいて、通常時の遅延と比較することで、遅延が増大しているか否かを判断して、障害や輻輳が発生しているリンクを特定できるようになる。
【００７６】
≪ノード内転送遅延通常時測定≫
リンク転送遅延に続いて、ノード内転送遅延の測定について説明する。リンク転送遅延と同様に、通常時測定と異常時測定の順に説明する。
図８は、本実施形態に係るマルチドメインネットワーク１９９Ａにおけるノード内転送遅延の通常時の測定処理を説明するための図である。図８（ａ）は、測定を指示または要求するフレームの流れを示す図であり、この図を参照しながら測定指示または測定要求の処理を説明する。処理の流れは、測定指示と測定要求に用いられるフレームの構成を除き、図１で説明したリンク転送遅延の通常時測定とほぼ同様である。
【００７７】
測定の最初のステップとして、伝送品質測定装置１９８が、各入口ノードに対してノード内転送遅延の通常時測定を指示する。伝送品質測定装置１９８は、所定のタイミング、例えば定期的に通常時測定を指示する。なお、説明を簡明にするために、ノード＃７への測定指示は記載していない。伝送品質測定装置１９８は、ノード内転送遅延通常時測定指示フレーム３１０（図８（ａ）ではノード内転送遅延通常時測定指示と記載、後述する図８（ｂ）参照）を入口ノードに送信することで、測定を指示する。
【００７８】
図８（ｂ）は、ノード内転送遅延通常時測定指示フレーム３１０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は通常時ノード内転送遅延測定指示３１１である。次のフィールドには測定要求番号３１２が含まれる。測定要求番号３１２は、ノード内転送遅延通常時測定指示を識別するための番号であり、例えば指示があるたびに１ずつ増える番号である。図示はしていないが、当該フレームには送信者である伝送品質測定装置１９８と受信者である入口ノードのアドレスが含まれる。
【００７９】
図８（ａ）に戻り、測定指示を受信した入口ノードは、隣接する各ノードにノード内転送遅延通常時測定要求フレーム３２０（図８（ａ）では測定要求と記載、後述する図８（ｃ）参照）を送信して、測定を要求する。
【００８０】
図８（ｃ）は、ノード内転送遅延通常時測定要求フレーム３２０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は通常時ノード内転送遅延測定要求３２１である。次のフィールドには測定要求番号３２２が含まれる。測定要求番号３２２は、ノード内転送遅延通常時測定指示フレーム３１０の測定要求番号３１２と同じである。
【００８１】
図８（ａ）に戻り、ノード内転送遅延通常時測定要求フレーム３２０を受信した隣接ノードは、次の隣接ノードにノード内転送遅延通常時測定要求フレーム３２０を送信して、測定を要求することを繰り返す。但し、ノード内転送遅延通常時測定要求フレーム３２０の測定要求番号３２２が同じであるノード内転送遅延通常時測定要求フレーム３２０を２回以上受信した場合には、ノードは隣接ノードにノード内転送遅延通常時測定要求フレーム３２０を送信しない。これは、同じノード内転送遅延通常時測定指示フレーム３１０に対する測定要求を繰り返し行わないようにするためである。
ノード内転送遅延通常時測定指示フレーム３１０を受信した入口ノード、および、ノード内転送遅延通常時測定要求フレーム３２０を受信した隣接ノードは、ノード内転送遅延測定を実行する。図９は、本実施形態に係るノード内の構成の一部を例示した図である。図９を参照してノード内転送遅延の測定を説明する。
【００８２】
内部転送ルート４１１は、ノード内で１つのポートで受信したフレームを別のポートから送信するときに、ノード内部でフレームが転送される経路である。内部転送ルート４１１は、１つとは限らず、複数存在する場合もある。ＩＭＥＰＡ（Internal Maintenance End Point A）４１３ＡとＩＭＥＰＢ４１３Ｂとは、内部転送ルート４１１の両端にある内部監視ポイントである。ノードは、ＩＭＥＰＡ４１３ＡからＩＭＥＰＢ４１３Ｂへ遅延測定用のフレームであるＩＤＦ（Internal Delay measurement Frame）４１２を送り、ＩＭＥＰＢ４１３Ｂでの受信時刻とＩＭＥＰＡ４１３Ａでの送信時刻との差を測定することで、内部転送ルート４１１の転送遅延時間を測定することができる。
ノード内転送遅延を測定した結果は、ノードの記憶部（不図示）に存在するノード内転送遅延データベース４３０（後述する図１０参照）に格納される。
【００８３】
図１０は、本実施形態に係る各ノードの記憶部（不図示）に記憶されるノード内転送遅延データベース４３０のデータ構成を例示する図である。ノード内転送遅延データベース４３０は、例えば表形式のデータベースであって、１つの行（レコード）は内部転送ルート４１１の遅延の測定結果を示し、始点４３１、終点４３２、測定要求番号４３３、測定時刻４３４、および、遅延４３５の属性（列）を含む。
【００８４】
始点４３１と終点４３２とは、内部転送ルートの端点に設置された内部監視ポイントを示す。当該レコードが始点４３１から終点４３２への転送遅延の測定結果であることを示す。
測定要求番号４３３は、ノード内転送遅延通常時測定指示フレーム３１０の測定要求番号３１２またはノード内転送遅延通常時測定要求フレーム３２０の測定要求番号３２２である。
測定時刻４３４は、測定した時刻である。
遅延４３５は、測定した結果の遅延時間であり、単位はマイクロ秒である。
【００８５】
図１０のレコード４３９の測定結果は、ＩＭＥＰＡからＩＭＥＰＢへの内部転送ルート４１１の遅延情報であり、測定要求番号は「３４５８６８９８」であり、測定時刻は「２０１７年５月１１日１０時３６分４３秒」であり、遅延は「１０３マイクロ秒」であることを示している。
【００８６】
≪ノード内転送遅延異常時測定≫
図１１は、本実施形態に係るマルチドメインネットワーク１９９Ａにおけるノード内転送遅延の異常時の測定処理を説明するための図である。図１１（ａ）は、測定を指示または要求するフレームの流れを示す図である。リンク転送遅延の異常時の測定指示を示した図５と比較して、リンク転送遅延異常時測定指示フレーム２４０が、ノード内転送遅延異常時測定指示フレーム３４０（図１１（ａ）ではノード内転送遅延異常時測定指示と記載、後述する図１１（ｂ）参照）に変更になり、リンク転送遅延異常時測定要求フレーム２５０が、ノード内転送遅延異常時測定要求フレーム３５０（図１１（ａ）では測定要求と記載、後述する図１１（ｃ）参照）に変更になり、リンク転送遅延異常時測定応答フレーム２６０がないが、フレームの流れはリンク転送遅延異常時測定と同様である。
【００８７】
図１１（ｂ）に示すノード内転送遅延異常時測定指示フレーム３４０は、リンク転送遅延異常時測定のリンク転送遅延異常時測定指示フレーム２４０（図６（ａ）参照）と比較して、フィールド種別が、異常時ノード内転送遅延測定指示３４１に変更になった点を除いて同様である。
【００８８】
図１１（ｃ）に示すノード内転送遅延異常時測定要求フレーム３５０は、リンク転送遅延異常時測定のリンク転送遅延異常時測定要求フレーム２５０（図６（ｂ）参照）と比較して、フィールド種別が、異常時ノード内転送遅延測定要求３５１に変更になり、要求送信時刻２５５のフィールドが無い点を除いて同様である。
【００８９】
通信経路の異常が検知されると、伝送品質測定装置１９８は、通信経路をドメインごとに分割して、分割された通信経路の上のドメインの入口ノードに、当該ドメイン内の通信経路の始点ノード３４３と終点ノード３４４を含むノード内転送遅延異常時測定指示フレーム３４０を送信して、通信経路上にあるノードのノード内転送遅延の測定を指示する。始点ノード３４３である入口ノードは、当該経路上の隣接ノードにノード内転送遅延異常時測定要求フレーム３５０を送信する。当該フレームを受信した隣接ノードは、当該経路上の次の隣接ノードにノード内転送遅延異常時測定要求フレーム３５０を送信し、以下これを終点ノード（３４４、３５４）まで繰り返す。
ノード内転送遅延の測定方法は、通常時のノード内転送遅延測定と同様である。
【００９０】
続いて、上記で測定した各ノードのノード内転送遅延を伝送品質測定装置１９８に報告するまでの処理を説明する。図１２は、本実施形態に係るマルチドメインネットワーク１９９Ａにおけるノード内転送遅延の異常時の測定結果を伝送品質測定装置１９８へ報告する処理を説明するための図である。図１２（ａ）は、測定結果を報告するフレームの流れを示す図であり、この図を参照しながら報告処理を説明する。
【００９１】
図１１で説明した、ノード内転送遅延異常時測定要求フレーム３５０を受信して、遅延を測定した各ノードは、測定結果の遅延および通常時の遅延をノード内転送遅延異常時測定要求フレーム３５０（図１１（ｃ）参照）の始点ノード３５３である入口ノードにノード内転送遅延異常時測定結果応答フレーム３６０（図１２（ａ）では測定結果応答と記載、後述する図１２（ｂ）参照）を用いて報告する。
【００９２】
図１２（ｂ）は、ノード内転送遅延異常時測定結果応答フレーム３６０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時ノード内転送遅延測定結果応答３６１である。次のフィールドには測定要求番号３６２が含まれる。測定要求番号３６２は、ノード内転送遅延異常時測定要求フレーム３５０の測定要求番号３５２と同じである。
【００９３】
続くフィールドは、通常遅延３６３であり、通信経路上の内部転送ルート４１１（図９参照）における通常時の遅延時間が含まれる。通常時の遅延時間は、ノード内転送遅延データベース４３０（図１０参照）に格納される情報から計算される。ノード内転送遅延データベース４３０の中で始点４３１と終点４３２が当該通信経路の内部転送ルート４１１に対応するレコードを検索して、測定時刻４３４が直近の所定時間内にあるレコードの遅延４３５の平均値を通常時の遅延時間とする。または、測定時刻４３４が直近の所定時間内にあるレコードであり、遅延４３５が小さい方から所定件数のレコードにある遅延４３５の平均値を通常時の遅延時間としてもよい。または、平均値の替わりに中央値であってもよい。これは、障害が始まってからの指示されたノード内転送遅延測定の影響を除いて遅延時間を求めるためである。
次のフィールドは、現遅延３６４であり、ノード内転送遅延異常時測定要求フレーム３５０を受信した時点で測定された、当該経路の内部転送ルート４１１のノード内転送遅延時間である。
【００９４】
図１２（ａ）に戻り、ノード内転送遅延異常時測定結果応答フレーム３６０を受信した各ドメインの入口ノードは、ドメイン内の通信経路上の各ノードの通常時のノード内遅延と現時点でのノード内遅延とをノード内転送遅延異常時測定結果フレーム３７０（図１２（ａ）ではノード内転送遅延異常時測定結果と記載、後述する図１２（ｃ）参照）を用いて伝送品質測定装置１９８に報告する。
【００９５】
図１２（ｃ）は、ノード内転送遅延異常時測定結果フレーム３７０の構成を示す図である。当該フレームの先頭フィールドはフレームの種別を示し、その値は異常時ノード内転送遅延測定結果３７１である。次のフィールドには測定要求番号３７２が含まれる。測定要求番号３７２は、ノード内転送遅延異常時測定結果応答フレーム３６０の測定要求番号３６２と同じである。
【００９６】
次のフィールドには測定対象のノード３７３が含まれる。ノード３７３は、入口ノードである自ノードのアドレスである。通常遅延３７４は、自ノードの通常時のノード内転送遅延であり、上記に示したノード内転送遅延異常時測定結果応答フレーム３６０の通常遅延３６３と同様に計算する。現遅延３７５は、ノード内転送遅延異常時測定指示フレーム３４０を受信した時点での遅延時間であり、上記に示したノード内転送遅延異常時測定結果応答フレーム３６０の現遅延３６４と同様に計算する。
【００９７】
続くフィールドは、ノード３７６、通常遅延３７７、現遅延３７８であり、入口ノードが受信したノード内転送遅延異常時測定結果応答フレーム３６０を参照して値が決まる。ノード３７６は、ノード内転送遅延異常時測定結果応答フレーム３６０を送信したノードのアドレスである。通常遅延３７７と現遅延３７８は、ノード内転送遅延異常時測定結果応答フレーム３６０の通常遅延３６３と現遅延３６４である。以下、受信したノード内転送遅延異常時測定結果応答フレーム３６０にある情報が続くが、図１２（ｃ）では図示していない。
【００９８】
例えば、ドメイン＃Ｃの入口ノードであるノード＃４が送信するノード内転送遅延異常時測定結果フレーム３７０の場合には、ノードと通常遅延と現遅延の組が４つ含まれ、それぞれは、ノード＃４、ノード＃５、ノード＃６、ノード＃７の通常遅延と現遅延である。
【００９９】
図１２（ａ）に戻り、各入口ノードは、伝送品質測定装置１９８にノード内転送遅延異常時測定結果フレーム３７０を送信する。以上の処理により、伝送品質測定装置１９８は、各ドメイン内の通信経路上の各ノード内の内部転送ルートにおける通常遅延と現遅延を取得することができる。
伝送品質測定装置１９８は、各ドメインにおける当該通信経路上の各ノードの通常遅延と現遅延を比較することで、どのノードの内部転送の遅延が増大しているか検知することができ、障害が発生しているノードを検出することができる。遅延の増大の検知方法としては、通常遅延より所定の時間以上に現遅延が大きいならば、遅延が増大したと判断する。また、通常遅延より所定の比率以上に現遅延が大きいならば、遅延が増大したと判断してもよい。
【０１００】
以上に説明したノード内でのフレーム転送遅延測定の特徴を説明する。第１の特徴として、伝送品質測定装置１９８は、ドメインに分割して、ドメインごとに測定している。このためにマルチドメインネットワークのような、大規模ネットワークで通信経路上のノード数が多いネットワークにおいても、伝送品質測定装置１９８は、複数のドメインごとに並列して測定するので、分割しない場合と比較して迅速に測定できる。第２の特徴として、伝送品質測定装置１９８は、ノードごとに通常時の遅延と障害発生時の遅延を比較して遅延の増大を検知している。通常時であっても、ノードの機種やリンクの種別により内部転送ルート４１１（図９参照）のフレーム転送遅延は異なり、単に遅延が大きいだけで障害が発生しているとは判断できない。伝送品質測定装置１９８は、通常時の遅延と比較することで、遅延が増大しているか否か判断して、障害や輻輳が発生しているノードを特定できるようになる。
【０１０１】
≪ノード内フレーム廃棄率測定≫
以上に示したノード内転送遅延と同様にして、各ノードでのフレーム破棄率を測定することができる。詳しくは、伝送品質測定装置１９８が、所定のタイミング、例えば定期的に、各入口ノードにノード内フレーム廃棄率通常時測定指示フレーム（不図示）を送信し、各ノードが、入口ノードから順々に隣接ノードにノード内フレーム廃棄率通常時測定要求フレーム（不図示）を送信する。ノード内フレーム廃棄率通常時測定指示フレーム、または、ノード内フレーム廃棄率通常時測定要求フレームを受信したノードが、フレーム廃棄率を測定して、各ノードがノード内フレーム廃棄率データベース（後述する図１３）に格納する。
【０１０２】
図１３は、本実施形態に係る各ノードの記憶部（不図示）に記憶されるノード内フレーム廃棄率データベース４４０のデータ構成を例示する図である。ノード内フレーム廃棄率データベースは、例えば表形式のデータベースであって、１つの行（レコード）はノードのフレーム廃棄率の測定結果を示し、測定要求番号４４１、測定時刻４４２、および、廃棄率４４３の属性（列）を含む。
測定要求番号４４１は、ノード内フレーム廃棄率通常時測定指示フレームまたはノード内フレーム廃棄率通常時測定要求フレームに含まれている測定要求番号であり、測定時刻４４２は廃棄率４４３を測定した時刻である。フレームの廃棄率４４３の測定方法としては、ノード内フレーム廃棄率通常時測定指示フレームまたはノード内フレーム廃棄率通常時測定要求フレームを受信した時点での、所定の直近の期間におけるフレーム廃棄率を測定する。前回の測定から今回の測定までの廃棄率を測定してもよいし、他の方法でも良い。
図１３のレコード４４９の測定要求番号４４１は「３４５８４８９８」であり、測定時刻は「２０１７年５月１１日１０時６分４３秒」であり、廃棄率４４３は「０．１パーセント」である。
【０１０３】
通信経路に異常が発生すると、伝送品質測定装置１９８が、通信経路をドメインごとに分割して各ドメインの入口ノードに異常が発生した通信経路の始点と終点を含んだノード内フレーム廃棄率異常時測定指示フレーム（不図示）を送信し、当該経路に沿ってノード内フレーム廃棄率異常時測定要求フレーム（不図示）が送信される。続いて、ノード内フレーム廃棄率異常時測定要求フレームを受信したノードが、始点である入口ノードにノード内フレーム廃棄率異常時測定結果応答フレーム（不図示）を送信して、通常時のノード内フレーム廃棄率と現時点でのノード内フレーム廃棄率を報告する。入口ノードが受信したノード内フレーム廃棄率異常時測定結果応答フレームの情報を、ノード内フレーム廃棄率異常時測定結果フレーム（不図示）に集約して、伝送品質測定装置１９８に送信する。伝送品質測定装置１９８は、各ノードにおける通常時の廃棄率と現時点での廃棄率とを取得し比較して、障害や輻輳が発生しているノードを特定できる。
【０１０４】
以上説明したノード内でのフレーム廃棄率測定の特徴として、通信経路をドメインに分割しての測定と、通常時との比較による廃棄率増大の検知がある。伝送品質測定装置１９８が、ノード内フレーム廃棄率を迅速に測定できる、ノードの種別による廃棄率の違いを吸収できるという効果がある。
【０１０５】
≪全体構成≫
以上、マルチドメインネットワークにおける障害検知として、ノード間のリンクでのフレーム転送遅延増加の検知、ノード内でのフレーム転送遅延増加の検知、および、ノード内でのフレーム廃棄率増加の検知を説明した。オーケストレータ部、インフラマネージャ部により管理されるマルチドメインネットワークにおける、これらの検知方法を用いたネットワーク障害箇所を特定する処理と、復旧措置を実行する処理とを以下に説明する。
【０１０６】
図１４は、本実施形態に係るマルチドメインネットワーク管理システム１００の全体構成を例示する図である。マルチドメインネットワーク管理システム１００は、マルチドメインネットワーク１９９とマルチドメインネットワーク管理装置１０１からなる。マルチドメインネットワーク管理装置１０１は、インフラマネージャ部１０２とオーケストレータ部１０３を含んで構成される。
マルチドメインネットワーク１９９は、図示しない汎用物理サーバ、コアルータ、ＳＤＮ−Ｌ２ＳＷ（SDN Layer 2 Switch）、Ｌ２ＳＷ（Layer 2 Switch）、ＰＴＳ（Packet Transport System）を含んだ装置、リンクを構成するケーブルなどから構成され、通信サービスやネットワークを介したアプリケーションサービスを提供する。インフラマネージャ部１０２は、マルチドメインネットワーク１９９を構成する機器を監視する機能部である。オーケストレータ部１０３は、装置、ミドルウェア、アプリケーション、サービスの管理を行う機能部である。
【０１０７】
マルチドメインネットワーク１９９は、ＤＣ（１４１、１４２）とドメイン（１７１、１７２）とを含んで構成される。ドメイン１７１はコアネットワークであり、ノード（１６１〜１６４）を含んでいる。ドメイン１７２はコアネットワークであり、ノード（１６４〜１６８）を含んでいる。ノード（１６１〜１６８）は、コアネットワーク内を流れるフレーム（通信データ、データフレーム）を中継する装置であり、ＳＤＮ−Ｌ２ＳＷ、Ｌ２ＳＷ、ＰＴＳなどの総称である。ノード（１６１〜１６８）と後述するＶＳＷ（Virtual Switch）（１４７、１４８）とは、後述する仮想マシン（不図示）や利用者に対して仮想ネットワーク（論理ネットワーク、ネットワークスライス）の機能を提供する。
【０１０８】
ＤＣ（１４１、１４２）には、汎用物理サーバ（不図示）が設置される。汎用物理サーバ上では、仮想マシン（不図示）が稼働しており、仮想マシン上のＡＰＬ（Application）（１４４、１４５）がアプリケーションサービスを利用者に提供する。ＡＰＬ（１４４、１４５）は、仮想マシンに接続されたＶＳＷ（１４７、１４８）を経由して通信を行う。ＶＳＷ１４７はドメイン１７１の入口ノードであるノード１６１と接続しており、ＶＳＷ１４８はドメイン１７２の入口ノードであるノード１６８と接続している。ノード１６４は、ドメイン１７１とドメイン１７２の両方の入口ノードであり、２つのドメインを跨る通信データを中継している。
【０１０９】
オーケストレータ部１０３とインフラマネージャ部１０２は、入出力用のインターフェイスなどで構成される入出力部、ハードディスク、フラッシュメモリ、ＲＡＭ（Random Access Memory）などで構成される記憶部、および、ＣＰＵ（Central Processing Unit）で構成される制御部を備えるコンピュータ上で動作する。制御部は、例えばハードディスクに記憶されているプログラム（マルチドメインネットワーク管理プログラム）を記憶部の記憶領域に展開して実行することにより、障害箇所特定処理（後述する図１５参照）や障害復旧措置（後述する図１６参照）を実行する。
【０１１０】
インフラマネージャ部１０２は、ＯＳＳ（Operation Support System）１１３、ＡＰＬ用ＥＭＳ（Element Management System）１１４、ＶＮＦＭ１２２、仮想リンク管理ＤＢ（Database）１２３、ＶＩＭ１２４、ＳＤＮマネージャ１３２、物理リンク管理ＤＢ１３３、および、ＷＩＭ１３４を含んで構成される。
【０１１１】
ＯＳＳ１１３は、後述するＯＴ（Operation Terminal）１１２からの指示に応じて、インフラマネージャ部１０２を動作させるミドルウェアである。ＡＰＬ用ＥＭＳ１１４は、ＯＳＳ１１３を介したＯＴ１１２からの指示に応じて、ＡＰＬ（１４４、１４５）を管理、制御する機能部である。
【０１１２】
ＶＮＦＭ１２２は、汎用物理サーバ上に生成された仮想マシンで稼働するＡＰＬ（１４４、１４５）を管理、制御する機能部であって、ＡＰＬ（１４４、１４５）の障害管理を行うＶＮＦｔＭ（Virtual Network Fault Manager）を含んで構成される。仮想リンク管理ＤＢ１２３は、ノード（１６１〜１６８）とＶＳＷ（１４７、１４８）とが提供する仮想ネットワークの仮想リンクに関する情報を格納するデータベースである。ＶＩＭ１２４は、汎用物理サーバを管理、制御する機能部であり、仮想マシンやＶＳＷ（１４７、１４８）も管理、制御する。
ＶＮＦＭ１２２とＶＩＭ１２４とは、連携して仮想ネットワークの、伝送品質（リンク転送遅延、ノード内転送遅延、ノード内フレーム廃棄率）測定による仮想リンクと仮想ノードとの障害特定処理を実行する。ＶＮＦＭ１２２とＶＩＭ１２４とは、マルチドメインネットワーク１９９上の仮想的なネットワークにおける、図１〜図１３で説明した伝送品質測定装置１９８に相当する。
【０１１３】
ＳＤＮマネージャ１３２は、コアネットワークに対する管理、制御する機能部であって、コアネットワークの障害管理を行うＮＦｔＭ（Network Fault Manager）を含んで構成される。ＷＩＭ１３４は、コアネットワークを構成するドメイン（１７１、１７２）内のノード（１６１〜１６８）を管理制御する機能部である。
ＳＤＮマネージャ１３２とＷＩＭ１３４とは、連携してドメイン（１７１、１７２）内の、伝送品質（リンク転送遅延、ノード内転送遅延、ノード内フレーム廃棄率）測定による通信経路の障害特定処理を実行する。ＳＤＮマネージャ１３２とＷＩＭ１３４とは、マルチドメインネットワーク１９９における、図１〜図１３で説明した伝送品質測定装置１９８に相当する。
【０１１４】
オーケストレータ部１０３は、Ｅ２ＥＯ（End to End Orchestrator）１１１と、ＳＶＲＯ（Server Resource Orchestrator）１２１と、ＮＷＲＯ（Network Resource Orchestrator）１３１とを備える。Ｅ２ＥＯ１１１は、ネットワークサービスの管理を行う機能部である。ＳＶＲＯ１２１は、ＤＣ（１４１、１４２）に設置されている汎用物理サーバのリソース、および、汎用物理サーバ上に生成されている仮想マシンのリソースの管理を行う機能部である。ＮＷＲＯ１３１は、コアネットワークのリソースの管理を行う機能部である。
ＯＴ１１２は、マルチドメインネットワーク管理システム１００のオペレータが操作する端末装置である。オペレータは、ＯＴ１１２を用いて、ネットワークサービスの生成や障害管理などを行う。
【０１１５】
マルチドメインネットワーク１９９は、コアネットワークと利用者を接続するアクセスネットワークを含むが図示していない。オーケストレータ部１０３とインフラマネージャ部１０２は、アクセスネットワークを含んでマルチドメインネットワーク１９９全体を管理する。
【０１１６】
≪障害箇所特定処理≫
図１５は、本実施形態に係るマルチドメインネットワーク管理システム１００が実行する障害箇所特定処理を説明するための図である。ＡＰＬ１４４とＡＰＬ１４５とが、仮想ネットワークを介して接続されており、連携してアプリケーションサービスを提供している最中に通信障害（故障）が発生し、オーケストレータ部１０３とインフラマネージャ部１０２とマルチドメインネットワーク１９９とが連携して、障害箇所を特定する処理を、図１５のステップＳ２０１〜Ｓ２２７に沿って説明する。
【０１１７】
なお、図１と図８に説明したように、マルチドメインネットワーク１９９やその上の仮想ネットワークにおいて、通常時のリンク転送遅延、ノード内転送遅延、ノード内フレーム廃棄率の測定が、所定のタイミング、例えば定期的に行われており、ノード（１６１〜１６８）の記憶部（不図示）に記憶されるリンク転送遅延データベース４２０（図４参照）、ノード内転送遅延データベース４３０（図１０参照）、および、ノード内フレーム廃棄率データベース４４０（図１３参照）に測定結果が格納される。
【０１１８】
ステップＳ２０１において、通信障害を検知したＡＰＬ１４５が、ＡＰＬ用ＥＭＳ１１４に故障を申告する。
ステップＳ２０２において、ＡＰＬ用ＥＭＳ１１４が、上位のＯＳＳ１１３に故障を申告する。
ステップＳ２０３において、ＯＳＳ１１３が、オペレータが操作するＯＴ１１２に故障を申告する。
ステップＳ２０４において、オペレータからの故障箇所を特定する旨の指示情報を受付けたＯＴ１１２が、Ｅ２ＥＯ１１１に故障区間の切り分けを指示する。
【０１１９】
ステップＳ２０５において、Ｅ２ＥＯ１１１が、ＳＶＲＯ１２１に故障している仮想リンク区間の切り分けを指示する。
ステップＳ２０６において、ＳＶＲＯ１２１が、ＶＮＦＭ１２２に故障している仮想リンク区間の切り分けを指示する。
ステップＳ２０７において、ＶＮＦＭ１２２のＶＮＦｔＭが、仮想リンク管理ＤＢ１２３から、ＡＰＬ１４５が利用している仮想ネットワークの仮想リンクの情報を取得する。この仮想リンクには、ＡＰＬ１４５が稼働する仮想マシンとＡＰＬ１４４が稼働する仮想マシンとを接続する仮想リンクの情報が含まれる。
【０１２０】
ステップＳ２０８において、ＶＮＦＭ１２２のＶＮＦｔＭが、ステップＳ２０７で取得した仮想リンク（通信経路）の伝送品質試験をＶＩＭ１２４に指示する。
ステップＳ２０９において、ＶＩＭ１２４が、仮想リンク（通信経路）の入口ノードであるＶＳＷ１４８に伝送品質測定を指示する。
ステップＳ２１０において、ＶＳＷ１４８が、ＶＳＷ１４７との間の仮想リンク（通信経路）の伝送品質測定を実行する。仮想リンクは、１つまたは複数の仮想リンクから構成され、それぞれの仮想リンクと、仮想リンクを接続する仮想ノードに対して、異常時のリンク転送遅延測定や異常時のノード内転送遅延測定、異常時のノード内フレーム廃棄率測定を行う。
【０１２１】
ステップＳ２１１において、ＶＳＷ１４８が、測定結果をＶＩＭ１２４に報告する。
ステップＳ２１２において、ＶＩＭ１２４が、測定結果をＶＮＦＭ１２２に報告する。
ステップＳ２１３において、ＶＮＦＭ１２２のＶＭＦｔＭが障害箇所を判断する。詳しくは、ＶＭＦｔＭは、取得した、仮想リンクや仮想ノードのリンク転送遅延やノード内転送遅延、ノード内フレーム廃棄率の現在値と通常値とを比較し、遅延や廃棄率が増加した仮想リンクや仮想ノードを特定して、障害箇所とする。増加したか否かの判断は、現在値と通常値との差が所定の値以上か否かで判断する。現在値と通常値との比が所定の比率以上か否かで判断してもよいし、他の方法を用いてもよい。
【０１２２】
ステップＳ２１４において、ＶＮＦＭ１２２のＶＭＦｔＭが、ＳＶＲＯ１２１に障害発生の有無、障害箇所（障害が発生している仮想リンクまたは仮想ノード）を報告する。
ステップＳ２１５において、ＳＶＲＯ１２１が、Ｅ２ＥＯ１１１に障害発生の有無、障害箇所を報告する。
ステップＳ２１６において、Ｅ２ＥＯ１１１が、障害が発生した仮想リンクまたは仮想ノードに対応する物理リンク区間（通信経路）の切り分けをＮＷＲＯ１３１に指示する。
ステップＳ２１７において、ＮＷＲＯ１３１が、物理リンク区間の切り分けをＳＤＮマネージャ１３２に指示する。
【０１２３】
ステップＳ２１８において、ＳＤＮマネージャ１３２のＮＦｔＭが、物理リンク管理ＤＢ１３３から、障害が発生した仮想リンクまたは仮想ノードに対応する物理リンク（障害が発生している通信経路）の情報を取得する。この物理リンクには、仮想リンクの端点に対応するコアネットワークのノードの情報を含む。また、複数のドメイン（１７１、１７２）を跨ぐ場合には、通信経路をドメインごとに分割して、ドメインの入口ノードを求める。
ステップＳ２１９において、ＳＤＮマネージャ１３２のＮＦｔＭが、ステップＳ２１８で取得した物理リンクの伝送品質試験をＷＩＭ１３４に指示する。
【０１２４】
ステップＳ２２０において、ＷＩＭ１３４が、各入口ノードに伝送品質測定を指示する。詳しくは、ＷＩＭ１３４は物理リンク（障害が発生している通信経路）をドメインごとの通信経路の始点ノード２４３（図６（ａ）参照）と終点ノード２４４とが含まれるリンク転送遅延異常時測定指示をそれぞれのドメインの入口ノードに送信する。ＷＩＭ１３４は、ノード内転送遅延異常時測定指示とノード内廃棄率異常時測定指示とについても、同様に入口ノードに送信する。なお、図１５では、ノード１６４だけに指示を送信しているが、他の入口ノードにも送信する。
【０１２５】
ステップＳ２２１において、入口ノードを含むノードが、障害が発生している通信経路の伝送品質測定を実行する。詳しくは、各ノードは、通信経路上の異常時のリンク転送遅延と、ノード内転送遅延と、ノード内フレーム廃棄率との測定を行う。
ステップＳ２２２において、入口ノードが、測定結果をＷＩＭ１３４に報告する。
ステップＳ２２３において、ＷＩＭ１３４が、測定結果をＳＤＮマネージャ１３２に報告する。
【０１２６】
ステップＳ２２４において、ＳＤＮマネージャ１３２のＮＦｔＭが障害箇所を判断する。詳しくは、ＳＤＮマネージャ１３２のＮＦｔＭが、取得した、リンク転送遅延やノード内転送遅延、ノード内フレーム廃棄率の現在値と通常値とを比較し、増加したリンクやノードを特定して、障害箇所とする。増加したか否かの判断は、現在値と通常値との差が所定の値以上か否かで判断する。現在値と通常値との比が所定の比率以上か否かで判断してもよいし、他の方法を用いてもよい。
ステップＳ２２５において、ＳＤＮマネージャ１３２のＮＦｔＭが、ＮＷＲＯ１３１に障害発生の有無、障害箇所（障害が発生しているリンクまたはノード）を報告する。
【０１２７】
ステップＳ２２６において、ＮＷＲＯ１３１が、Ｅ２ＥＯ１１１に障害発生の有無、障害箇所を報告する。
ステップＳ２２７において、Ｅ２ＥＯ１１１が、ＯＴ１１２に障害発生の有無、障害箇所を報告する。
以上に説明した処理により、マルチドメインネットワーク管理装置１０１は、ＡＰＬ１４５が検知した障害が、コアネットワークや仮想ネットワークのどのノードまたはどのリンクに原因があるのかを特定することができる。マルチドメインネットワーク管理装置１０１は、ドメインに分割して、並列して伝送品質試験を行っているので、分割しない場合と比べて迅速に伝送品質試験（リンク転送遅延、ノード内転送遅延およびノード内フレーム廃棄率の測定と取得）を行うことができるようになる。また、マルチドメインネットワーク管理装置１０１は、通常時の測定値と比較して測定値が悪化しているか判断しており、リンクやノードの種別、リンクの長さの影響を受けることなく、正確に障害箇所が検出できるようになる。
【０１２８】
図１５の説明では、１つの仮想ネットワークに障害が発生した場合を説明した。コアネットワークにおいて障害箇所が１箇所であったとしても、多数の仮想ネットワークに影響が出て、複数のＡＰＬが同時多発的に障害申告することになる。仮想ネットワークごとに、Ｅ２ＥＯ１１１が物理リンクの障害箇所を特定する処理（ステップＳ２１６〜ステップＳ２２６）を繰り返すのではなく、ＳＤＮマネージャ１３２が伝送品質試験（ステップＳ２１９〜ステップＳ２２３）を省略するようにしてもよい。詳しくは、ＳＤＮマネージャ１３２が、伝送品質試験の結果を記憶しておき、切り分け指示（ステップＳ２１７）のある仮想リンクの障害が、以前の伝送品質試験によって判明済みの障害箇所によるものならば、伝送品質試験を省略して、障害箇所を報告する（ステップＳ２２５）。こうすることで、障害申告のたびに伝送品質試験を繰り返す場合と比べて迅速に、マルチドメインネットワーク１９９に負担をかけることなく、障害箇所を特定することができる。
【０１２９】
≪同時多発障害発生時の障害復旧措置≫
障害箇所を特定した後には、ＮＷＲＯ１３１は、障害箇所のノードまたはリンクを回避して通信可能な通信経路を探索し、当該通信経路を復旧経路として仮想ネットワーク（仮想リンク、ネットワークスライス）に割り当てる復旧措置を行う。仮想ネットワークの障害が同時に多発した場合に、この復旧措置を効率的に行う処理を以下に説明する。
【０１３０】
図１６は、本実施形態に係る同時多発障害発生時の障害復旧措置の処理を説明するための図である。以下、障害が多発して、ＮＷＲＯ１３１が、複数の障害箇所報告（図１５のステップＳ２２５）を受信したとして説明する。
ステップＳ２３１において、ＮＷＲＯ１３１が、複数のネットワークスライス（仮想リンク、仮想ネットワーク）＃１〜ネットワークスライス＃Ｎに係る障害箇所報告（図１５のステップＳ２２５）を受信する。
【０１３１】
ステップＳ２３２において、ＮＷＲＯ１３１が、大規模障害か否か判定する。ＮＷＲＯ１３１は、所定の時間内に、所定の数以上の障害箇所報告を受信した場合には、大規模障害と判断する。または、所定の時間内に、所定の数以上の同じ障害箇所の障害箇所報告を受信した場合には、大規模障害と判断してもよいし、他の基準を用いてもよい。以下、大規模障害が発生したとして、説明を続ける。
【０１３２】
ステップＳ２３３において、ＮＷＲＯ１３１は、１つのネットワークスライスを選択して、故障復旧専用ネットワークスライス（故障復旧専用仮想ネットワーク）として指定する。図１６では、ＮＷＲＯ１３１は、故障復旧専用ネットワークスライスとしてネットワークスライス＃Ｎを選択する。
ステップＳ２３４において、ＮＷＲＯ１３１は、ネットワークスライス＃Ｎについて復旧ルート探索を実行する。詳しくは、ＮＷＲＯ１３１は、障害箇所のノードまたはリンクを回避して通信可能な通信経路を探索し、当該通信経路を復旧経路としてネットワークスライス＃Ｎに割り当てる。探索結果の復旧経路が複数ある場合には、そのうちの１つを選択して、ネットワークスライス＃Ｎに割り当てる。
【０１３３】
ステップＳ２３５において、ＮＷＲＯ１３１は、他のネットワークスライス＃１〜ネットワークスライス＃Ｎ−１に対しての復旧措置を実行する。詳しくは、ＮＷＲＯ１３１は、ステップＳ２３４で探索した復旧経路が他のネットワークスライス＃１〜ネットワークスライス＃Ｎ−１に割当可能か判断して、可能ならば割り当てる。割当可能か否かの判断は、障害が発生した通信経路の端点が、当該ネットワークスライスとネットワークスライス＃Ｎとが同じであるならば可能と判断する。また、ドメイン単位に分割された通信経路を単位として、障害が発生した通信経路の端点が同じならば、割当可能と判断してもよい。さらに、ドメイン内部で通信経路を分割して、判断してもよい。
ステップＳ２３４で探索した復旧経路がネットワークスライスに割当可能でない場合には、ＮＷＲＯ１３１は、当該ネットワークについては、その障害箇所を迂回する復旧経路を探索し割り当て、復旧措置を実行する。
以上の処理により、同時多発的に障害発生した場合に、個々のネットワークスライスごとに復旧経路を探索する場合と比較して、迅速に復旧措置を実行することができる。
【０１３４】
≪変形例≫
図１で説明したように、伝送品質測定装置１９８がリンク転送遅延通常時測定指示フレーム２１０を入口ノードに送信し、ノードがリンク転送遅延通常時測定要求フレーム２２０を次々に隣接ノードに送信することを契機として、通常時のリンク転送遅延が測定されていた。これに対し、リンク転送遅延通常時測定指示フレーム２１０やリンク転送遅延通常時測定要求フレーム２２０を用いることなく、各ノードが各隣接ノードとの転送遅延を、所定のタイミング、例えば定期的に、測定するようにしてもよい。この場合には、標準規格（非特許文献１）に定められるＯＡＭフレームを用いてもよい。ノード内転送遅延測定、ノード内廃棄率測定についても同様に、各ノードが、測定指示や測定要求なしに所定のタイミングで測定してもよい。
【０１３５】
図２のステップＳ１０５で説明したように、転送遅延は、（リンク転送遅延通常時測定応答フレーム２３０（図３（ｃ）参照）の受信時刻）−（リンク転送遅延通常時測定応答フレーム２３０の要求送信時刻２３３）により計算している。この遅延時間には、リンク転送遅延通常時測定要求フレーム２２０を受信してからリンク転送遅延通常時測定応答フレーム２３０を送信するまでの時間が含まれており、相手のノード（リンク転送遅延通常時測定応答フレーム２３０を送信したノード）の負荷が高い場合には、リンク転送に要する時間とは大きく異なることが考えられる。これを防ぐために、遅延時間を（リンク転送遅延通常時測定応答フレーム２３０の受信時刻）−（リンク転送遅延通常時測定応答フレーム２３０の要求送信時刻２３３）−（（リンク転送遅延通常時測定応答フレーム２３０の応答送信時刻２３５）−（リンク転送遅延通常時測定応答フレーム２３０の要求受信時刻２３４））としてもよい。異常時の測定でも同様である。
【０１３６】
図１５のステップＳ２０１とＳ２０２において、障害を検知したＡＰＬ１４５が、ＡＰＬ用ＥＭＳ１１４に故障を申告し、ＡＰＬ用ＥＭＳ１１４がＯＳＳ１１３に故障を申告していた。ＡＰＬ用ＥＭＳ１１４がＡＰＬ１４５を監視して、障害を検知し、ＯＳＳ１１３に故障を申告するようにしてもよい。
【０１３７】
≪効果≫
マルチドメインネットワーク管理システム１００のマルチドメインネットワーク管理装置１０１は、ネットワークスライス（仮想ネットワーク）やマルチドメインネットワークを構成しているリンクやノードでの伝送品質を測定することで障害箇所を特定することができる。詳しくは、マルチドメインネットワーク管理装置１０１は、通信経路に含まれるリンク転送遅延、ノード内転送遅延、ノード内フレーム廃棄率の増加を検出して、障害箇所を特定する。
【０１３８】
障害箇所を特定するときには、マルチドメインネットワーク管理装置１０１は、ネットワークを構成するドメインに分割して、複数のドメインごとに通信経路上にあるリンクとノードで遅延や廃棄率を測定する。複数のドメインに対して並列して測定が実行されるので、ドメインに分割せずに通信経路上のノードとリンクに対して逐次的に測定する場合に比べて迅速に測定可能である。
【０１３９】
また、マルチドメインネットワーク管理装置１０１が、遅延や廃棄率が増加しているか否か判断するときは、他のリンクやノードと比較して判断するのではなく、通常時の同一リンクや同一ノードの遅延や廃棄率と比較して判断する。このために、リンクやノードの種別、リンクの長さの影響を受けることなく判断することできて、障害箇所を特定することが可能となる。
【０１４０】
マルチドメインネットワーク管理装置１０１は、障害箇所を特定した後に、そのノードまたはリンクを迂回する通信経路（復旧経路）を探索して、ネットワークスライスに割り当てることで、障害から復旧させることができる。また、複数のネットワークスライスで障害が発生した場合には、マルチドメインネットワーク管理装置１０１は、１つのネットワークスライスの復旧経路を他のネットワークスライスにも割り当てるようにしている。このために、マルチドメインネットワーク管理装置１０１は、ネットワークスライスを迅速に障害から復旧することができるようになり、ネットワークスライスに割り当てるネットワークリソースの利用率を向上させることができる。
【符号の説明】
【０１４１】
１００  マルチドメインネットワーク管理システム
１０１  マルチドメインネットワーク管理装置
１０２  インフラマネージャ部
１０３  オーケストレータ部
１１１  Ｅ２ＥＯ
１２１  ＳＶＲＯ
１２２  ＶＮＦＭ（ＶＮｔＦＭ）
１２４  ＶＩＭ
１３１  ＮＷＲＯ
１３２  ＳＤＮマネージャ（ＮＦｔＭ）
１３４  ＷＩＭ
１４１，１４２  ＤＣ（データセンタ）
１４４，１４５  ＡＰＬ（アプリケーション）
１４７，１４８  ＶＳＷ
１６１〜１６８  ノード
１７１，１７２  ドメイン
１９８  伝送品質測定装置
１９９  マルチドメインネットワーク
【図１】
2018207335.tif 000003
【図２】
2018207335.tif 000004
【図３】
2018207335.tif 000005
【図４】
2018207335.tif 000006
【図５】
2018207335.tif 000007
【図６】
2018207335.tif 000008
【図７】
2018207335.tif 000009
【図８】
2018207335.tif 000010
【図９】
2018207335.tif 000011
【図１０】
2018207335.tif 000012
【図１１】
2018207335.tif 000013
【図１２】
2018207335.tif 000014
【図１３】
2018207335.tif 000015
【図１４】
2018207335.tif 000016
【図１５】
2018207335.tif 000017
【図１６】
2018207335.tif 000018
【図１７】
2018207335.tif 000019
【図１８】
2018207335.tif 000020
【図１９】
2018207335.tif 000021
【図２０】
2018207335.tif 000022