(57)【要約】【課題】制御チャネルの切断が生じた際に、最適な経路で通信を継続することができる通信制御装置を得る。【解決手段】通信制御装置を、通信手段１と、接続状態確認手段２と、ネットワーク管理手段３を備える構成とする。通信手段１は、フローエントリ情報として設定される処理基準に基づいて処理を行う複数の通信装置と、通信装置ごとの制御チャネルを介して通信を行う。接続状態確認手段２は、制御チャネルが切断された際に、制御チャネルが切断された通信装置と接続している他の通信装置の制御チャネルを介して、制御チャネルが切断された通信装置と他の通信装置との接続の可否を確認する。ネットワーク管理手段３は、制御チャネルが切断された通信装置と他の通信装置との通信が可能な場合に、制御チャネルが切断された通信装置を含めてフローの経路計算を行ってフローエントリ情報を生成して通信装置を制御する。【選択図】      図１
2018011153.tif 000002
【特許請求の範囲】
【請求項１】
フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う複数の通信装置と、前記通信装置ごとにそれぞれ設定されている制御チャネルを介して通信を行う通信手段と、
いずれかの前記制御チャネルが切断された際に、前記制御チャネルが切断された前記通信装置と接続している他の前記通信装置の前記制御チャネルを介して、前記制御チャネルが切断された前記通信装置と他の前記通信装置との接続の可否を確認する接続状態確認手段と、
前記制御チャネルが切断された前記通信装置と他の前記通信装置との通信が可能な場合に、前記制御チャネルが切断された前記通信装置を含めてフローの経路計算を行って前記フローエントリ情報を生成し、生成した前記フローエントリ情報を基に前記通信装置を制御するネットワーク管理手段と、
を備えることを特徴とする通信制御装置。
【請求項２】
前記制御チャネルの切断が生じた際に、切断された前記制御チャネルを介して通信を行っている前記通信装置に設定されている前記処理基準を、切断保護フローエントリ情報として保持するフローエントリ情報保持手段と、
切断された前記制御チャネルを介して通信を行っている前記通信装置と、他の前記通信装置との接続関係を示す情報を、切断保護トポロジ情報として保持するトポロジ情報保持手段と、
をさらに備え、
前記接続状態確認手段は、前記接続関係が変化したときに、変化後の前記接続関係の情報に基づいて前記切断保護トポロジ情報を更新することを特徴とする請求項１に記載の通信制御装置。
【請求項３】
前記ネットワーク管理手段は、前記経路計算を行った際に、前記制御チャネルが切断された前記通信装置を通る経路が最適な経路である場合に、前記制御チャネルが切断された前記通信装置が経路に含まれるように前記フローエントリ情報を生成することを特徴とする請求項１または２いずれかに記載の通信制御装置。
【請求項４】
前記ネットワーク管理手段は、前記制御チャネルが切断された前記通信装置を通過する以外に迂回経路が無い場合のみ、前記制御チャネルが切断された前記通信装置が経路に含まれるように前記フローエントリ情報を生成することを特徴とする請求項１から３いずれかに記載の通信制御装置。
【請求項５】
フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う手段を有する複数の通信装置と、
請求項１から４いずれかに記載の通信制御装置と、
を備え、
前記通信制御装置は、前記ネットワーク管理手段で生成した前記フローエントリ情報を、前記通信装置とそれぞれ接続されている前記制御チャネルを介して、前記通信装置にそれぞれ送ることで前記通信装置を制御することを特徴とする通信システム。
【請求項６】
フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う複数の通信装置と、前記通信装置ごとにそれぞれ設定されている制御チャネルを介して通信を行い、
いずれかの前記制御チャネルが切断された際に、前記制御チャネルが切断された前記通信装置と接続している他の前記通信装置の前記制御チャネルを介して、前記制御チャネルが切断された前記通信装置と他の前記通信装置との接続の可否を確認し、
前記制御チャネルが切断された前記通信装置と他の前記通信装置との通信が可能な場合に、前記制御チャネルが切断された前記通信装置を含めてフローの経路計算を行って前記フローエントリ情報を生成し、生成した前記フローエントリ情報を基に前記通信装置を制御することを特徴とする通信制御方法。
【請求項７】
前記制御チャネルの切断が生じた際に、切断された前記制御チャネルを介して通信を行っている前記通信装置に設定されている前記処理基準を、切断保護フローエントリ情報として保持し、
切断された前記制御チャネルを介して通信を行っている前記通信装置と、他の前記通信装置との接続関係を示す情報を、切断保護トポロジ情報として保持し、
前記接続関係が変化したときに、変化後の前記接続関係の情報に基づいて前記切断保護トポロジ情報を更新することを特徴とする請求項６に記載の通信制御方法。
【請求項８】
前記経路計算を行った際に、前記制御チャネルが切断された前記通信装置を通る経路が最適な経路である場合に、前記制御チャネルが切断された前記通信装置が経路に含まれるように前記フローエントリ情報を生成することを特徴とする請求項６または７いずれかに記載の通信制御方法。
【請求項９】
前記制御チャネルが切断された前記通信装置を通過する以外に迂回経路が無い場合のみ、前記制御チャネルが切断された前記通信装置が経路に含まれるように前記フローエントリ情報を生成することを特徴とする請求項６から８いずれかに記載の通信制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通信システムの制御技術に関するものであり、特に、障害が発生した際のフローの制御技術に関するものである。
【背景技術】
【０００２】
通信システムにおいてフレームの伝送を行う際に、通信をエンドツーエンドのフローとして捉えた通信方法が用いられることがある。そのような方法で通信を行う通信システムは、フローを処理する複数のフロー処理装置と、フロー処理装置におけるフローの処理内容を設定するフロー制御装置とを備えている。フロー制御装置は、各フロー処理装置におけるフローの処理基準を示すフローエントリを各フロー処理装置に送ることでフローを制御する。また、フロー制御装置は、フロー処理装置ごとに設定された制御チャネルを介して、各フロー処理装置の監視や制御を行う。
【０００３】
フロー制御装置の制御によってフロー処理装置がフローの処理を行う通信システムでは、フロー制御装置とフロー処理装置間の制御チャネルが切断された場合、フロー制御装置はフロー処理装置を制御することができない。制御チャネルの切断が生じたとき、フロー制御装置は、制御チャネルの切断が生じて制御ができなくなったフロー処理装置を、経路の計算対象から除外して、フローの経路の再計算を行うことでフローを再設定する。フロー制御装置は、制御チャネルが切断されたフロー処理装置に代えて、制御チャネルが正常なフロー処理装置のみを経由する迂回経路にフローを設定することで通信を継続させる。
【０００４】
しかし、制御チャネルが切断されたフロー処理装置を迂回する経路が無いような場合、例えば、制御チャネルが切断されたフロー処理装置が外部ノードと接続しているエッジのフロー処理装置であった場合には、通信できないフローが生じる。また、同様に制御チャネルが切断されたフロー処理装置が、コアのフロー処理装置で迂回経路が無い場合には通信できないフローが生じる。また、迂回経路の帯域が狭いなど、最適なフローが設定できない恐れもある。しかし、通信システムには高い信頼性が要求されることも多く、制御チャネルの切断が生じた場合にも出来るだけ安定した通信を行えることが望ましい。そのため、制御チャネルに切断が生じたような場合にも、制御チャネルが切断したフロー処理装置を動作させて、最適な経路で通信を継続する技術の開発が行われている。そのような、制御チャネルが切断した際に、最適な経路で通信を継続する技術としては、例えば、特許文献１のような技術が開示されている。
【０００５】
特許文献１は、複数の通信ノードを制御装置によって制御して通信を行う通信システムに関するものである。特許文献１の通信システムの各通信ノードは、制御装置が設定した制御情報に基づいて、入力されたフレームの転送等の処理を行う。また、特許文献１の各通信ノードは、制御装置による制御が行えないことを検知したときに、入力されたフレームを、自装置へ転送してきた通信ノード以外の全てに転送する処理を行う。特許文献１は、制御装置による制御を行えないときにそのようにフレームを処理することで、通信を継続することができるとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１５−１２８２１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術は次のような点で十分ではない。特許文献１の通信システムでは、通信ノードが制御装置による制御に障害が生じたことを検知したときに、通信ノード側で入力フレームを、自装置への送信元以外の他の通信ノード全てに送ることで対応している。そのため、特許文献１の通信システムでは制御装置と通信ノードの間の制御用の通信に障害が生じたときに、通信量が増大する。また、特許文献１の通信システムでは障害が生じた際に通信ノード側で判断して動作するため、制御装置は、制御チャネルが切断された通信ノートを経由するフローの制御を行うことはできない。よって、特許文献１の通信システムでは、制御装置は、障害が生じた際にフローの経路の最適化を十分に行うことはできない。そのため、特許文献１の技術は、障害が生じた際に通信品質の低下が生じるおそれがあり、制御チャネルが切断した際に、最適な経路で通信を継続するための技術としては十分ではない。
【０００８】
本発明は、上記の課題を解決するため、制御チャネルの切断が生じた際に、最適な経路で通信を継続することができる通信制御装置を得ることを目的としている。
【課題を解決するための手段】
【０００９】
上記の課題を解決するため、本発明の通信制御装置は、通信手段と、接続状態確認手段と、ネットワーク管理手段を備えている。通信手段は、フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う複数の通信装置と、通信装置ごとにそれぞれ設定されている制御チャネルを介して通信を行う。接続状態確認手段は、いずれかの制御チャネルが切断された際に、制御チャネルが切断された通信装置と接続している他の通信装置の制御チャネルを介して、制御チャネルが切断された通信装置と他の通信装置との接続の可否を確認する。ネットワーク管理手段は、制御チャネルが切断された通信装置と他の通信装置との通信が可能な場合に、制御チャネルが切断された通信装置を含めてフローの経路計算を行ってフローエントリ情報を生成し、生成したフローエントリ情報を基に通信装置を制御する。
【００１０】
本発明の通信方法は、フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う複数の通信装置と、通信装置ごとにそれぞれ設定されている制御チャネルを介して通信を行う。本発明の通信制御方法は、いずれかの制御チャネルが切断された際に、制御チャネルが切断された通信装置と接続している他の通信装置の制御チャネルを介して、制御チャネルが切断された通信装置と他の通信装置との接続の可否を確認する。本発明の通信制御方法は、制御チャネルが切断された通信装置と他の通信装置との通信が可能な場合に、制御チャネルが切断された通信装置を含めてフローの経路計算を行ってフローエントリ情報を生成し、生成したフローエントリ情報を基に通信装置を制御する。
【発明の効果】
【００１１】
本発明によると、制御チャネルの切断が生じた際に、最適な経路で通信を継続することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態の構成の概要を示す図である。
【図２】本発明の第２の実施形態の構成の概要を示す図である。
【図３】本発明の第２の実施形態のフロー制御装置の構成の概要を示す図である。
【図４】本発明の第２の実施形態におけるフローネットワークの構成の例を示した図である。
【図５】本発明の第２の実施形態において、障害が生じた際のフローネットワークの構成の例を示した図である。
【図６】本発明の第２の実施形態の切断保護トポロジ情報を模式的に示した図である。
【図７】本発明の第２の実施形態の切断保護トポロジ情報を模式的に示した図である。
【図８】本発明の第２の実施形態のフローエントリ情報を模式的に示した図である。
【図９】本発明の第２の実施形態の切断保護フローエントリ情報を模式的に示した図である。
【図１０】本発明の第２の実施形態において、障害が生じた際のフローエントリ情報を模式的に示した図である。
【図１１】本発明の第２の実施形態において、障害が生じた後にフローの経路が変更された際のフローエントリ情報を模式的に示した図である。
【図１２】本発明の第２の実施形態のフロー制御装置の動作フローの概要を示した図である。
【図１３】本発明の第２の実施形態のフロー制御装置の動作フローの概要を示した図である。
【図１４】本発明の第２の実施形態のフロー制御装置の動作フローの概要を示した図である。
【図１５】本発明の第２の実施形態のフロー制御装置の動作フローの概要を示した図である。
【発明を実施するための形態】
【００１３】
（第１の実施形態）
本発明の第１の実施形態について図を参照して詳細に説明する。図１は、本実施形態の通信制御装置の構成の概要を示したものである。通信制御装置は、通信手段１と、接続状態確認手段２と、ネットワーク管理手段３を備えている。通信手段１は、フローエントリ情報として設定される処理基準に基づいて入力フレームの処理を行う複数の通信装置と、通信装置ごとにそれぞれ設定されている制御チャネルを介して通信を行う。接続状態確認手段２は、いずれかの制御チャネルが切断された際に、制御チャネルが切断された通信装置と接続している他の通信装置の制御チャネルを介して、制御チャネルが切断された通信装置と他の通信装置との接続の可否を確認する。ネットワーク管理手段３は、制御チャネルが切断された通信装置と他の通信装置が通信可能な場合に、制御チャネルが切断された通信装置を含めてフローの経路計算を行ってフローエントリ情報を生成し、生成したフローエントリ情報を基に通信装置を制御する。
【００１４】
本実施形態の通信制御装置では、制御チャネルが切断された際に、接続状態確認手段２が、制御チャネルが切断された通信装置と接続している他の通信装置の制御チャネルを介して接続の可否を確認している。制御チャネルが切断された通信装置と他の通信装置が接続できる場合は、通信を継続することが可能であるため、ネットワーク管理手段３は、制御チャネルが切断された通信装置を含めてフローの経路計算を行ってフローエントリ情報を生成している。このように制御チャネルが切断された通信装置が通信可能な場合に、制御チャネルが切断された通信装置も含めてフローの経路計算を行うことで、制御チャネルが切断された通信装置が生じた場合にも、通信を継続できる可能性が高くなる。また、制御チャネルが切断された通信装置を含めフローの経路計算を行うことで、本実施形態の通信装置では、制御チャネルの切断が生じた際に、最適な経路で通信を継続することができる。
【００１５】
（第２の実施形態）
本発明の第２の実施形態について図を参照して詳細に説明する。図２は、本実施形態の通信システムの構成の概要を示したものである。本実施形態の通信システムは、フロー制御装置１０と、複数のフロー処理装置２０を備えている。また、一部のフロー処理装置２０には、外部ノード３０が接続されている。
【００１６】
本実施形態の通信システムは、フレームの伝送を行う際に、通信をエンドツーエンドのフローとして捉えた通信を行う。本実施形態の通信システムでは、各フロー処理装置２０がフロー制御装置１０の制御に基づいて、入力されるフレームの転送等の処理が行われる。各フロー処理装置２０は、自装置内に処理基準の情報を保存していないヘッダ情報を有するフレームを受信したとき、フロー制御装置１０にフレームの処理基準の情報を要求する。フロー制御装置１０は、フレームの処理基準の情報を要求されたときに、経路計算結果に基づいて、フロー処理装置２０における処理基準をフローエントリ情報としてフロー処理装置２０に制御チャネルを介して送ることで通信を制御する。また、フロー制御装置１０は、フロー処理装置２０間の接続関係の変化を検知した場合などにもフローの経路計算を行って通信を制御する。また、作業者や上位の管理システムによってフロー設定情報が設定されたときに、フロー制御装置１０がフローの経路計算を行って通信を制御するようにしてもよい。
【００１７】
フロー制御装置１０と、各フロー処理装置２０は、それぞれ通信路を介して接続されている。フロー処理装置２０は、他のフロー処理装置２０と通信路を介して接続され、通信ネットワークを形成している。また、フロー制御装置１０と、各フロー処理装置２０を接続する制御用の通信路と、フロー処理装置２０間を接続するデータ伝送用の通信路は、独立した通信路であってもよいし、制御用とデータ伝送用の通信路が同一の通信路として形成されていてもよい。各通信路には、光通信回線や無線通信回線などが用いられる。また、本実施形態では、フロー制御装置１０と、各フロー処理装置２０を接続する制御用の通信路に設定される制御用の通信チャネルを制御チャネルとよぶ。
【００１８】
フロー制御装置１０と各フロー処理装置２０を接続する各通信路には、Ｌ２スイッチ、Ｌ３スイッチおよびルータなどの通信機器が備えられていてもよい。また、フロー処理装置２０は、互いにＬ２スイッチなどを介して接続していてもよい。また、外部ノード３０は、フロー処理装置２０とＬ２スイッチなどを介して接続していてもよい。外部ノード３０は、Ｌ３スイッチやルータとして設置され、さらに外部の他のノードと接続していてもよい。
【００１９】
フロー制御装置１０の構成について説明する。図３は、本実施形態のフロー制御装置１０の構成の概要を示したものである。本実施形態のフロー制御装置１０は、通信部１１と、フローネットワーク管理部１２と、フロー処理装置情報記憶部１３と、トポロジ情報記憶部１４と、切断保護トポロジ情報記憶部１５と、切断保護フローエントリ情報記憶部１６を備えている。また、フロー制御装置１０は、フローエントリ情報記憶部１７と、フロー情報記憶部１８をさらに備えている。
【００２０】
通信部１１は、各フロー処理装置２０と、フロー処理装置２０ごとに設定されている制御チャネルを介して通信を行う機能を有する。通信部１１は、各フロー処理装置２０から送られてくるフロー処理装置情報を、フロー処理装置情報記憶部１３に保存する。フロー処理装置情報は、フロー処理装置２０の装置構成やアドレス等の情報のことをいう。フロー処理装置情報は、例えば、フロー処理装置２０のポート情報、ＶＬＡＮ（Virtual Local Area Network）の設定情報、処理能力および他の装置からアクセスする際のアドレスによって構成されている。フロー処理装置情報には、フレームの処理量や通信量などの統計情報が含まれていてもよい。
【００２１】
通信部１１は、各フロー処理装置２０から送られてくるフロー処理装置情報や入力フレームの情報をフローネットワーク管理部１２に送る。また、通信部１１は、フローネットワーク管理部１２から送られてくるフローエントリ情報などを、フロー処理装置情報記憶部１３に保存されているフロー処理装置情報を参照して、フロー処理装置２０に送る。
【００２２】
通信部１１は、信号の送受信ユニットおよび信号の符号化や復号を行う制御コントローラ等によって構成されている。また、本実施形態の通信部１１は、第１の実施形態の通信手段１に相当する。
【００２３】
フローネットワーク管理部１２は、通信システムにおけるフローの制御およびフロー制御装置１０の動作の制御を行う機能を有する。
【００２４】
フローネットワーク管理部１２は、通信部１１を介してフロー処理装置トポロジ情報を生成するために必要な情報を取得するためのフレームをフロー処理装置２０に送る。フローネットワーク管理部１２は、フロー処理装置情報記憶部１３に保存されているフロー処理装置情報と、入力フレームの情報を基に、制御チャネルが接続しているフロー処理装置２００間の接続関係を示す情報を、フロー処理装置トポロジ情報として生成する。フローネットワーク管理部１２は、生成したフロー処理装置トポロジ情報を、トポロジ情報記憶部１４に保存する。フロー処理装置トポロジ情報は、あらかじめ設定されフロー処理装置情報記憶部１３に保存されていてもよい。
【００２５】
フローネットワーク管理部１２は、フロー処理装置２０との制御チャネルが切断した際に、制御チャネルが切断されたフロー処理装置２０と、他のフロー処理装置２０との間の接続関係の情報を、切断保護トポロジ情報として生成する。フローネットワーク管理部１２は、生成した切断保護トポロジ情報を、切断保護トポロジ情報記憶部１５に保存する。
【００２６】
フローネットワーク管理部１２は、切断していたフロー処理装置２０との間の制御チャネルが再接続した際に、再接続したフロー処理装置２００に関する切断保護トポロジ情報を、切断保護トポロジ情報記憶部１５から削除する。
【００２７】
フローネットワーク管理部１２は、制御チャネルが切断されたフロー処理装置２０に関するフロー処理装置２０間の接続関係の変化情報を取得したときに、切断保護トポロジ情報記憶部１５の切断保護トポロジ情報を更新する。接続関係の変化情報は、例えば、接続されているフロー処理装置２０のポートダウン、ポートアップ、物理リンク障害の発生、物理リンク障害の復旧、論理リンク障害の発生および論理リンク障害の復旧などのことをいう。フローネットワーク管理部１２は、接続関係の変化情報を、互いに接続関係にあるフロー処理装置２０に関するフロー処理装置情報、入力フレームの情報およびフロー処理装置トポロジ情報から取得する。
【００２８】
フローネットワーク管理部１２は、トポロジ情報記憶部１４のフロー処理装置トポロジ情報と、切断保護トポロジ情報記憶部１５の切断保護トポロジ情報からフロー処理装置２０間の接続関係を認識する。
【００２９】
フローネットワーク管理部１２は、制御チャネルが切断した際に、制御チャネルが切断したフロー処理装置２０に関するフローエントリ情報を、フローエントリ情報記憶部１７を参照して切断保護フローエントリ情報として生成する。フローネットワーク管理部１２は、生成した切断保護フローエントリ情報を、切断保護フローエントリ情報記憶部１６に保存する。
【００３０】
切断保護フローエントリ情報は、フローネットワーク管理部１２がフローの経路計算を行う際に、制御チャネルが切断されているフロー処理装置２０が経路に含まれるように切断保護トポロジ情報記憶部１５の切断保護トポロジ情報とともに用いられる。
【００３１】
フローネットワーク管理部１２は、制御チャネルが切断していたフロー処理装置２０の制御チャネルが再接続した際に、再接続したフロー処理装置２０に関する切断保護フローエントリ情報を、切断保護フローエントリ情報記憶部１６から削除する。また、フローネットワーク管理部１２は、制御チャネルが再接続したフロー処理装置２０のフローエントリ情報を、通信部１１を介して取得し、フロー処理装置２０とのフローエントリ情報の合わせこみを行う。
【００３２】
フローネットワーク管理部１２は、フローエントリ情報の合わせこみを、制御チャネルが再接続したフロー処理装置２０から取得したフローエントリ情報と、切断保護フローエントリ情報記憶部１６の切断保護フローエントリ情報を比較することによって行う。フロー処理装置２０側において不足しているフローエントリが存在する場合は、フローネットワーク管理部１２は、不足しているフローエントリの情報を、通信部１１を介してフロー処理装置２０に送信する。フロー処理装置２０側に余分なフローエントリが存在する場合は、フローネットワーク管理部１２は、余分なフローエントリを削除する指示を、通信部１１を介してフロー処理装置２０に送る。また、フロー処理装置２０側において間違っているフローエントリがある場合は、フローネットワーク管理部１２は、フローエントリの更新情報を、通信部１１を介してフロー処理装置２０に送る。
【００３３】
フロー処理装置２０側のフローエントリ情報に、フローエントリ情報記憶部１７のフローエントリ情報に設定されていないものがある場合は、フローネットワーク管理部１２は、未設定のフローエントリを削除する指示を、通信部１１を介して送る。制御チャネルが再接続したフロー処理装置２０との間のフローエントリ情報の合わせこみは、切断保護フローエントリ情報のうち、フローエントリ情報記憶部１７に未設定のフローエントリを最初に確認した後に行ってもよい。先に未設定の情報を確認することで、フローネットワーク管理部１２は、フロー処理装置２０との間で不要なフローエントリの設定や削除の動作を抑制することができる。
【００３４】
フローネットワーク管理部１２は、新たに情報を取得した場合や、情報に変更があった場合に、各情報を基にフローの経路計算を実施し、フロー処理装置２０ごとのフローエントリ情報を設定する。フローネットワーク管理部１２は、フロー計算を基にしたフロー設定情報を、フロー情報記憶部１８に保存し、フローエントリ情報を、フローエントリ情報記憶部１７にそれぞれ保存する。
【００３５】
フローネットワーク管理部１２は、例えば、外部ノード３０間のユニキャスト通信、ブロードキャスト通信およびマルチキャスト通信等のためのフロー設定情報が入力された場合にフローの経路の算出等を行う。フロー設定情報には、例えば、Ｉｎｇｒｅｓｓ情報として入力エッジとなるフロー処理装置２０の情報、入力ポートの情報およびマッチするフレームの条件などが該当する。また、フロー設定情報は、Ｅｇｒｅｓｓ情報として、出力エッジとなるフロー処理装置２０の情報、出力ポートの情報および出力時のアクションなどが該当する。また、フローネットワーク管理部１２は、フロー処理装置情報記憶部１３のフロー処理装置情報、トポロジ情報記憶部１４のフロー処理装置トポロジ情報および切断保護トポロジ情報記憶部１５の切断保護トポロジ情報の変更時などに、フローの経路の算出等を行う。また、フローネットワーク管理部１２は、入力されたフロー設定情報、フロー情報記憶部１８のフロー設定情報、フロー処理装置トポロジ情報、切断保護トポロジ情報および切断時護切断保護フローエントリ情報等を基にフローの経路計算等を実施する。
【００３６】
フローネットワーク管理部１２は、制御チャネルが切断されたフロー処理装置２０がコアのフロー処理装置２０で、経由しないと通信不可の場合に、切断保護トポロジ情報および切断保護フローエントリ情報等をフローの経路計算に使用する構成としてもよい。また、フローネットワーク管理部１２は、コアのフロー処理装置２０の切断保護トポロジ情報に障害がある場合は、障害のある切断保時トポロジ情報および切断保護フローエントリ情報等を使用しない構成としてもよい。切断保護トポロジ情報の障害とは、例えば、接続関係にあるフロー処理装置２０のポートダウン、物理リンク障害および論理リンク障害のことをいう。フロー設定情報は、切断保時トポロジ情報および切断保護フローエントリ情報等の使用の有無に関わらず、フロー処理装置２０に処理基準を保持していないフレームが入力された際に、接続関係の情報等に基づいて動的に生成されるようにしてもよい。また、フロー設定情報は、切断保時トポロジ情報および切断保護フローエントリ情報等の使用の有無に関わらず、作業者や上位の管理システムによって設定されてもよい。
【００３７】
本実施形態のフローネットワーク管理部１２は、複数または単数の半導体装置によって構成されている。また、本実施形態のフローネットワーク管理部１２の機能は、第１の実施形態の接続状態確認手段と、ネットワーク管理手段３に相当する。
【００３８】
フロー処理装置情報記憶部１３は、フロー処理装置２０のフロー処理装置情報を保持する機能を有する。フロー処理装置情報記憶部１３は、フロー処理装置２０ごとのフロー処理装置情報を保持している。フロー処理装置情報は、フロー処理装置２０がフレームの送受信を行う際の設定情報と、他の装置がフロー処理装置２０と通信を行う際に用いるアドレス等の情報によって構成されている。フロー処理装置情報は、例えば、フロー処理装置２０のポート情報、ＶＬＡＮ設定情報、フロー処理装置の能力、フロー処理装置へアクセスする際に用いるアドレスなどによって構成されている。フロー処理装置情報には、フロー処理装置２０が処理したフレーム数や通信速度などの統計情報などが含まれていてもよい。
【００３９】
トポロジ情報記憶部１４は、フロー処理装置２０間の接続関係情報をフロー処理装置トポロジ情報として保持する機能を有する。トポロジ情報記憶部１４は、制御チャネルが接続しているフロー処理装置２０間の接続関係情報をフロー処理装置トポロジ情報として保持する。トポロジ情報記憶部１４は、例えば、図４に示すフロー処理装置２０間の接続情報を保持する。図４は、本実施形態の通信システムのトポロジ、すなわち、フロー処理装置等がどのように接続しているのかを示している。
【００４０】
図４は、通信システムがフロー処理装置Ａ、フロー処理装置Ｂ、フロー処理装置Ｃ、フロー処理装置Ｄおよびフロー処理装置Ｅの５台のフロー処理装置２０によって構成されている例を示している。また、図４の例では、フロー処理装置Ａ、フロー処理装置Ｄおよびフロー処理装置Ｅに、外部ノードＡ、外部ノードＢおよび外部ノードＣがそれぞれ接続されている。また、図４の例では、フロー制御装置１０およびフロー処理装置２０との間の制御チャネル用の通信路は、省略されているが、フロー制御装置１０と各フロー処理装置２０の間にはそれぞれ制御チャネルが設定されている。
【００４１】
トポロジ情報記憶部１４は、例えば、互いに接続しているフロー処理装置２０の識別子の組み合わせによってどのフロー処理装置２０が互いに接続しているかの情報を保持する。識別子としては、例えば、各フロー処理装置２０のアドレスが用いられる。また、図４のような構成においてフロー処理装置Ｃとの間の制御チャネルが切断された場合には、図５に示すような構成に基づいた接続関係情報が、フローネットワーク管理部１２によってトポロジ情報記憶部１４に保存される。図５は、フロー処理装置Ｃとの間の制御チャネルが切断された場合のトポロジ情報によって示される通信システムの構成の例を示している。
【００４２】
切断保護トポロジ情報記憶部１５は、制御チャネルが切断されたフロー処理装置２０間の接続関係情報を、切断保護トポロジ情報として保持する機能を有する。切断保護トポロジ情報記憶部１５は、制御チャネルが切断されたフロー処理装置２０と、他のフロー処理装置２０との間の接続関係情報を、切断保護トポロジ情報として保存する。例えば、図４に示すような構成において、フロー処理装置Ｃの制御チャネルが切断されたときに、切断保護トポロジ情報記憶部１５には、フローネットワーク管理部１２によって図６に示すような構成に基づく接続関係情報が保存される。
【００４３】
図６は、フロー処理装置Ｃの制御チャネルが切断される直前の、フロー処理装置Ｃと他のフロー処理装置との接続関係を示したものである。フロー処理装置Ｃの制御チャネルが切断されたとき、切断保護トポロジ情報記憶部１５には、図６に示す接続関係に基づいた情報が、フローネットワーク管理部１２によって切断保護トポロジ情報として保存される。
【００４４】
また、図５の状態からさらにフロー処理装置Ｄと接続しているポートの切断が検知されると、切断保護トポロジ情報記憶部１５には、図７のような接続関係に基づいた切断保護トポロジ情報がフローネットワーク管理部１２によって保存される。図７は、フロー処理装置Ｃとフロー処理装置Ｄの間に障害が生じる直前の、フロー処理装置Ｃと他のフロー処理装置との接続関係を示したものである。図７は、出力ポートの障害等によってフロー処理装置Ｃとフロー処理装置Ｄの間の通信が行えない状態の例を示している。切断保護トポロジ情報記憶部１５は、例えば、互いに接続しているフロー処理装置２０の識別子の情報の組み合わせと、ポートの異常の有無等の情報を関連づけた情報を切断保護トポロジ情報として保持する。
【００４５】
本実施形態のフロー制御装置１０では、制御チャネルの切断が生じた際に、制御チャネルが切断されたフロー処理装置２０に関する直前の接続関係の情報が切断保護トポロジ情報として保存される。その後、制御チャネルの切断後に接続関係に変化があった場合には、切断保護トポロジ情報の更新が行われる。すなわち、本実施形態の通信システムでは、制御チャネルの切断のみで隣接するフロー処理装置２０との間の通信に障害が無い場合には、切断保護トポロジ情報として保存されている切断時のトポロジ情報に基づいたフローの制御が行われる。また、ポートの不具合等で隣接するフロー処理装置２０との間の通信に障害が生じた場合には、障害によって通信断となったリンクを除外した情報によって更新された切断保護トポロジ情報に基づいたフローの制御が行われる。本実施形態の通信システムは、そのような制御を行うことで、障害の状態に応じてフローの適切な経路を設定することができる。また、通信断となったリンクが１つでも生じた場合に、通信断の元となる障害が発生したフロー処理装置２０を除外して経路計算を行うようにしてもよい。
【００４６】
切断保護フローエントリ情報記憶部１６は、制御チャネルが切断されたフロー処理装置２０に設定されているフローエントリ情報を、切断保護フローエントリ情報として保持する機能を有する。切断保護フローエントリ情報記憶部１６には、例えば、図８のような構成のときにフロー処理装置Ｃの制御チャネルが切断されると、図９に示すようなフロー処理装置Ｃのフローエントリ情報が、切断保護フローエントリ情報として保存される。
【００４７】
図８および図９の矢印は、設定されているフローに対応するフローエントリ情報をそれぞれ模式的に示したものである。図８および図９の例では、外部ノードＡから外部ノードＣへのフローと、外部ノードＡから外部ノードＢへのフローが設定されている例を示している。外部ノードＡから外部ノードＣへのフローでは、各フロー処理装置においてフローエントリ情報Ａ、フローエントリ情報Ｂおよびフローエントリ情報Ｃに基づいた処理が行われる。また、外部ノードＡから外部ノードＢへのフローでは、各フロー処理装置においてフローエントリ情報Ｄ、フローエントリ情報Ｅおよびフローエントリ情報Ｆに基づいた処理が行われる。
【００４８】
フローエントリ情報記憶部１７は、フロー処理装置２０ごとのフローエントリ情報を保持する機能を有する。フローエントリ情報記憶部１７は、フローを構成するフロー処理装置２０ごとに、フローエントリ情報を保存している。フローエントリ情報記憶部１７に保存されている。フローエントリ情報は、例えば、入力されたフレームのうちフローとしてマッチさせる条件、出力する際の出力フレームの状態、フレームが入力されるポート情報、フレームを出力するポート情報等によって構成されている。また、フローエントリ情報には、関連するフロー情報が含まれていてもよい。
【００４９】
フロー情報記憶部１８は、フロー設定情報を保持する機能を有する。フロー情報記憶部１８に保存されるフロー設定情報は、本実施形態の通信システム上のフローネットワークで伝送されるフレームの処理基準を示す情報として設定されている。フロー設定情報には、例えば、フローネットワークに入力される入力フレームうちフローとしてマッチさせる条件や、フローネットワークから出力する際の出力フレームの状態が含まれる。また、例えば、フロー設定情報には、入力フレームがフローネットワークに入力される際のフロー処理装置２０のポート情報や、出力の際のフロー処理装置２０のポート情報および関連するフローエントリ情報などが含まれる。
【００５０】
図８に示すようなノードＡからノードＣに示すようなフローネットワークでは、フロー処理装置２０間のフローについての情報は、フローエントリ情報としてフローエントリ情報記憶部１７に保存される。また、ノードＡからノードＣへのフロー全体についての情報とフローエントリ情報の関連を示す情報などは、フロー情報記憶部１８にフロー設定情報として保存される。
【００５１】
同様に、図８のノードＡからノードＢに示すようなフローネットワークでは、フロー処理装置２０間のフローについての情報は、フローエントリ情報としてフローエントリ情報記憶部１７に保存される。また、ノードＡからノードＢへのフロー全体についての情報とフローエントリ情報の関連を示す情報などは、フロー情報記憶部１８にフロー設定情報として保存される。
【００５２】
図８のような構成において、フロー処理装置Ｃの制御チャネルが切断された場合に、フローの経路計算をした結果、図１０のような構成であるとすると、フローエントリ情報等は、図７の場合のフローエントリ情報と同様に保存される。各フローにおいて通過するフロー処理装置２０と、各フロー処理装置２０におけるフレームの処理内容に変化は無いからである。
【００５３】
図１０のような構成からさらにフロー処理装置Ｄにおいてフロー処理装置Ｃと接続しているポートのダウンを検知した場合に、フローの経路計算をした結果が、図１１のような構成であるとすると、ノードＡからノードＣへフローは、図１０と同様になる。ノードＡからノードＣへフローでは、通過するフロー処理装置２０と、各フロー処理装置２０におけるフレームの処理内容に変化は無いからである。
【００５４】
一方で、ノードＡからノードＢのフローに関しては、フロー処理装置Ｃを介して通信できないのでフロー処理装置Ａとフロー処理装置Ｄのフローエントリ情報がフローエントリ情報記憶部１７に保存される。また、ノードＡからノードＢへのフローとフローエントリ情報の関連を示す情報などは、フロー情報記憶部１８のフロー設定情報として保存される。
【００５５】
本実施形態のフロー処理装置情報記憶部１３、トポロジ情報記憶部１４、切断保護トポロジ情報記憶部１５、切断保護フローエントリ情報記憶部１６、フローエントリ情報記憶部１７およびフロー情報記憶部１８は、記憶装置によって構成される。記憶装置としては、例えば、不揮発性の半導体記憶装置を用いることができる。記憶装置は、ハードディスクドライブ等の他の記憶装置であってもよく、複数の種類の記憶装置が組み合わせて形成されていてもよい。また、各部位は、それぞれ独立した記憶装置を用いて形成されていてもよく、複数または全ての部位が１つの記憶装置を用いて形成されていてもよい。また、複数の記憶装置が、１つの部位を形成するために用いられていてもよい。
【００５６】
フロー処理装置２０は、フローエントリ情報に基づいて受信したフレームの転送等の処理を行う機能を有する。フロー処理装置２０は、フレームを受信すると、受信したフレームが自装置の保持しているフローエントリ情報にマッチするかを確認する。受信したフレームがフローエントリ情報にマッチするときは、フローエントリ情報に基づいて、転送や廃棄等の処理を行う。また、フロー処理装置２０は、フローエントリ情報が保存されていないヘッダ情報を有するフレームを受け取ると、制御チャネルを介してフロー制御装置１０にフローエントリ情報を要求する。フローエントリ情報を受け取ると、フロー処理装置２０は、受け取ったフローエントリ情報に基づいて受信したフレームの処理を行う。
【００５７】
フロー処理装置２０は、フロー制御装置１０からフローエントリ情報や装置構成の情報等を要求されると、要求された情報を、制御チャネルを介してフロー制御装置１０に送る。また、フロー処理装置２０は、フロー制御装置１０から隣接するフロー処理装置２０との間の通信可否の情報の要求を受けたとき、隣接するフロー処理装置２０との通信状態の情報を、制御チャネルを介してフロー制御装置１０に送る。
【００５８】
外部ノード３０は、通信装置や情報処理装置によって構成されている。外部ノード３０は、フローネットワークを介して他の外部ノード３０とフレームの送受信を行う。
【００５９】
本実施形態の通信システムの動作について説明する。外部ノード３０からフローネットワークにフレームが入力されると、各フロー処理装置２０は、フローエントリ情報に基づいて、受信したフレームの転送等の処理を行う。また、受信したフレームに対応するフローエントリ情報を保存していないときは、各フロー処理装置２０は、制御チャネルを介してフロー制御装置１０にフローエントリ情報を要求する。フロー制御装置１０は、フローエントリ情報の要求を受け取ると、各フロー処理装置２０に応じたフローエントリ情報を、制御チャネルを介してフロー処理装置２０に送る。
【００６０】
次に制御チャネルが切断されたフロー処理装置２０が生じた場合の動作について説明する。始めに制御チャネルの切断が生じた際に、フロー制御装置１０が切断保護トポロジ情報および切断保護フローエントリ情報を生成する際の動作について説明する。図１２は、本実施形態の通信システムにおいて制御チャネルの切断が生じた際に、フロー制御装置１０が切断保護トポロジ情報および切断保護フローエントリ情報を生成する際の動作フローの概要を示した図である。
【００６１】
フロー制御装置１０のフローネットワーク管理部１２は、制御チャネルの切断が生じたことを検知すると、制御チャネルが切断されたフロー処理装置２０に関する切断保護トポロジ情報および切断保護フローエントリ情報の生成を開始する。切断保護トポロジ情報および切断保護フローエントリ情報の生成を開始すると、トポロジ情報記憶部１４を参照して、制御チャネルが切断されたフロー処理装置２０の接続関係情報を抽出する（ステップ１０１）。フローネットワーク管理部１２は、例えば、制御信号への応答がなかったときや、通信部１１が制御チャネル用の通信回線の異常を検知したときに、制御チャネルが切断されたと判断する。
【００６２】
接続関係情報を抽出すると、フローネットワーク管理部１２は、制御チャネルが切断されたフロー処理装置２０の接続関係情報を、切断保護トポロジ情報として切断保護トポロジ情報記憶部１５に保存する（ステップ１０２）。
【００６３】
切断保護トポロジ情報を保存すると、フローネットワーク管理部１２は、フローエントリ情報記憶部１７を参照して、制御チャネルが切断したフロー処理装置２０のフローエントリ情報を抽出する（ステップ１０３）。
【００６４】
フローエントリ情報を抽出すると、フローネットワーク管理部１２は、制御チャネルが切断したフロー処理装置２０のフローエントリ情報を、切断保護フローエントリ情報として切断保護フローエントリ情報記憶部１６に保存する（ステップ１０４）。切断保護トポロジ情報と、切断保護フローエントリ情報を保存する順番は、逆であってもよく、また、同時であってもよい。
【００６５】
次に、フロー制御装置１０が、フロー処理装置２０の接続関係の変化についての情報を収集する際の動作について説明する。図１３は、フロー制御装置１０が、フロー処理装置２０の接続関係の変化についての情報を収集する際の動作フローについて示したものである。
【００６６】
切断保護トポロジ情報および切断保護フローエントリ情報を保存すると、フロー制御装置１０のフローネットワーク管理部１２は、制御チャネルが切断されたフロー処理装置２０と接続しているフロー処理装置２０との接続関係の変化情報を収集する。フローネットワーク管理部１２は、制御チャネルが切断されたフロー処理装置２０と隣接するフロー処理装置２０から、制御チャネルが切断されたフロー処理装置２０の接続関係の変化情報を取得する（ステップ１１１）。フローネットワーク管理部１２は、例えば、接続関係の変化情報を、制御チャネルが切断されたフロー処理装置２０と接続しているフロー処理装置２０のフロー処理装置情報、入力フレーム情報およびフロー処理装置トポロジ情報等を基に取得する。
【００６７】
接続関係の変化情報を取得すると、フローネットワーク管理部１２は、取得した変化情報を基に、切断保護トポロジ情報記憶部１５に保存されている切断保護トポロジ情報を更新する（ステップ１１２）。切断保護トポロジ情報を更新すると、フローネットワーク管理部１２は、フローの経路の再計算等を行い、再計算を行った結果に基づいてフローの制御を行う。
【００６８】
図１４は、フロー制御装置１０が、フローの経路の再計算を行って、再計算した経路に基づくフローエントリ情報を更新する際の動作フローを示したものである。フロー制御装置１０のフローネットワーク管理部１２は、切断保護トポロジ情報等の変更を検知するとフローエントリ情報の更新の動作を開始する。フローネットワーク管理部１２は、例えば、フロー設定情報が入力された場合、フロー処理装置情報に変更があった場合、フロー処理装置トポロジ情報に変更があった場合および切断保護トポロジ情報に変更があった場合等に、フローエントリ情報を更新する。
【００６９】
フローエントリ情報の更新の動作を開始すると、フローネットワーク管理部１２は、更新に必要な各情報を取得する。フローネットワーク管理部１２は、更新に必要な情報として、入力されたフロー設定情報、フロー情報記憶部１９のフロー設定情報、フロー処理装置トポロジ情報、切断保護トポロジ情報および切断保護フローエントリ情報を取得する（ステップ１２１）。
【００７０】
フローネットワーク管理部１２は、各情報を取得すると、取得した情報を基に、フローの経路計算を実施する（ステップ１２２）。フローの経路計算を行うと、フローネットワーク管理部１２は、算出した経路の情報を基に、フロー処理装置２０ごとのフローエントリ情報を生成する。フローエントリ情報を生成すると、フローネットワーク管理部１２は、経路情報に基づくフロー設定情報をフロー情報記憶部１８に保存し、フローエントリ情報をフローエントリ情報記憶部１７にそれぞれ保存する。
【００７１】
フローエントリ情報等を保存すると、フローネットワーク管理部１２は、通信部１１を介して、各フロー処理装置２０にフローエントリ情報を送信し、フロー処理装置２０のフローエントリ情報を設定する（ステップ１２３）。フローエントリ情報を受け取った各フロー処理装置２０は、受け取ったフローエントリ情報を基に、入力フレームの処理等を行う。
【００７２】
次に、制御チャネルが切断されていたフロー処理装置２０の制御チャネルが再接続した場合の動作について説明する。図１５は、制御チャネルが切断されていたフロー処理装置２０の制御チャネルが再接続した際のフロー制御装置１０の動作フローを示した図である。
【００７３】
フロー制御装置１０のフローネットワーク管理部１２は、切断していた制御チャネルが再接続した場合に再接続を検知する（ステップ１３１）。フロー制御装置１０のフローネットワーク管理部１２は、制御チャネルの再接続を検知すると、制御チャネルが再接続したフロー処理装置２０に関する切断保護トポロジ情報を、切断保護トポロジ情報記憶部１５から削除する（ステップ１３２）。
【００７４】
切断保護トポロジ情報を削除すると、フローネットワーク管理部１２は、制御チャネルが再接続したフロー処理装置２０との間で、フローエントリ情報の合わせこみを行う（ステップ１３３）。フローエントリ情報の合わせこみを開始すると、フローネットワーク管理部１２は、通信部１１を介して、制御チャネルが再接続したフロー処理装置２０のフローエントリ情報を取得する。
【００７５】
フローエントリ情報を取得すると、フローネットワーク管理部１２は、フロー処理装置２０から取得したフローエントリ情報を、フローエントリ情報記憶部１７に保存されているフローエントリ情報を基に修正する。フローエントリ情報を修正すると、フローネットワーク管理部１２は、修正したフローエントリ情報を、通信部１１を介して制御チャネルが再接続したフロー処理装置２０に送る。修正したフローエントリ情報を受け取ったフロー処理装置２０は、受け取ったフローエントリ情報に基づいて入力フレームの処理を行う。
【００７６】
フロー制御装置１０のフローネットワーク管理部１２は、修正したフローエントリ情報を送信すると、制御チャネルが再接続したフロー処理装置２０の切断保護フローエントリ情報を、切断保護フローエントリ情報記憶部１６から削除する（ステップ１３４）。また、切断保護トポロジ情報の削除、フローエントリ情報の合わせこみ、および、切断保護フローエントリ情報の削除は、順番が逆に行われてもよく、また、同時に行われてもよい。
【００７７】
フローエントリ情報の合わせこみが行われると、合わせこみ後のフローエントリ情報に基づいて、各フロー処理装置２０におけてフレームの転送等の処理が行われる。
【００７８】
本実施形態の通信システムでは、フロー制御装置１０がフロー処理装置２０との間の制御チャネルの切断を検知した際に、制御チャネルが切断されたフロー処理装置２０に関する切断保護トポロジ情報および切断保護フローエントリ情報を生成している。本実施形態の通信システムでは、制御チャネルの切断が生じたときまでに用いられていたトポロジ情報およびフローエントリ情報を保存することで、制御チャネルが切断しただけで通信は可能なフロー処理装置２０を継続して用いることができる。本実施形態の通信システムでは、フロー制御装置１０において制御チャネルが切断しただけで通信は可能なフロー処理装置２０を含めてフローの経路計算を行うことでフローに最適な経路を選択することが可能になり得る。また、制御チャネルが切断したフロー処理装置２０がエッジやコアの通信装置であった場合に、フロー処理装置２０と接続された外部のノード等やフロー処理装置２０と通信を継続できる可能性が高くなる。その結果、本実施形態の通信システムは、制御チャネルの切断が生じた際に、最適な経路で通信を継続することができる。
【００７９】
第２の実施形態の通信システムは、フロー制御装置１０の制御に基づいて各フロー処理装置２０がフローの制御を行っている。そのような構成に代えて、各フロー処理装置はあらかじめ設定された条件に基づいて動作し、フロー制御装置は、障害が発生した際などに経路の再設定を行う通信管理装置として備えられている構成としてもよい。
【００８０】
また、第２の実施形態の通信システムにおいて、切断保護トポロジ情報記憶部１５の切断保護トポロジ情報に、制御チャネルが接続しているフロー処理装置２０と、他のフロー処理装置２０間の接続関係情報が含まれていてもよい。そのような構成とした場合、フローネットワーク管理部１２は、制御チャネルが接続しているフロー処理装置２０に関するフロー処理装置トポロジ情報を基に、切断保護トポロジ情報記憶部１５の切断保護トポロジ情報を更新する。フローネットワーク管理部１２は、フロー処理装置２０との制御チャネルが切断した際に、切断保護トポロジ情報として保存されている制御チャネルが切断したフロー処理装置２０の接続関係情報を、変更不可の状態に設定する。
【００８１】
フローネットワーク管理部１２は、制御チャネルが切断していたフロー処理装置２０の制御チャネルが再接続した際に、再接続したフロー処理装置２０の接続関係情報の変更不可の設定を解除し、トポロジ情報記憶部１４のフロー処理装置トポロジ情報を更新する。フローネットワーク管理部１２は、切断保護トポロジ情報記憶部１５の切断保護トポロジ情報を基にフロー処理装置２０間の接続関係を認識する。
【符号の説明】
【００８２】
１    通信手段
２    接続状態確認手段
３    ネットワーク管理手段
１０    フロー制御装置
１１    通信部
１２    フローネットワーク管理部
１３    フロー処理装置情報記憶部
１４    トポロジ情報記憶部
１５    切断保護トポロジ情報記憶部
１６    切断保護フローエントリ情報記憶部
１７    フローエントリ情報記憶部
１８    フロー情報記憶部
２０    フロー処理装置
３０    外部ノード
【図１】
2018011153.tif 000003
【図２】
2018011153.tif 000004
【図３】
2018011153.tif 000005
【図４】
2018011153.tif 000006
【図５】
2018011153.tif 000007
【図６】
2018011153.tif 000008
【図７】
2018011153.tif 000009
【図８】
2018011153.tif 000010
【図９】
2018011153.tif 000011
【図１０】
2018011153.tif 000012
【図１１】
2018011153.tif 000013
【図１２】
2018011153.tif 000014
【図１３】
2018011153.tif 000015
【図１４】
2018011153.tif 000016
【図１５】
2018011153.tif 000017