(57)【要約】  通信ネットワーク内で使用される分散ルーティングシステムが記載されている。前記分散ルーティングシステムが、ルーティングエンジン及び／又は管理エンジンとして構成される少なくとも１つのプロセッサと、到着する帯域外トラフィックを制御するように構成された少なくとも１つのスイッチ・ファブリック・コントローラと、各々が、前記分散ルーティングシステムの転送プレーン内でのスイッチング及び／又はルーティング能力を提供する為の少なくとも１つのラインカード及び／又は少なくとも１つのファブリック・スイッチング・ユニットを含む、スタンドアロン・ハードウェアである複数のホワイトボックスと、を有し、少なくとも１つの制御スイッチが、前記複数のホワイトボックスを前記少なくとも１つのプロセッサに接続することが可能であり、それにより、前記少なくとも１つのプロセッサが、前記複数のホワイトボックスへの/からのトラフィックのルーティングを管理することを可能にする。【選択図】図１
2020537854.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワーク内で使用される分散ルーティングシステムであって、前記分散ルーティングシステムが、
ルーティングエンジン及び／又は管理エンジンとして構成される少なくとも１つのプロセッサと、
到着する帯域外トラフィックを制御するように構成された少なくとも１つのスイッチ・ファブリック・コントローラと、
各々が、前記分散ルーティングシステムの転送プレーン内でのスイッチング及び／又はルーティング能力を提供する為の少なくとも１つのラインカード及び／又は少なくとも１つのファブリック・スイッチング・ユニットを含む、スタンドアロン・ハードウェアである複数のホワイトボックスと、
を有し、
少なくとも１つの制御スイッチが、前記複数のホワイトボックスを前記少なくとも１つのプロセッサに接続するように構成され、それにより、前記少なくとも１つのプロセッサが、前記複数のホワイトボックスへの/からのトラフィックのルーティングを管理することを可能にすることを特徴とする分散ルーティングシステム。
【請求項２】
前記少なくとも１つのプロセッサが、全ての帯域内でのトラフィック制御及び管理の為の焦点として機能するように構成されることを特徴とする請求項１に記載の分散ルーティングシステム。
【請求項３】
少なくとも１つのプロセッサが、複数のファブリック・スイッチング・ユニット及び複数のラインカードの為のルーティングテーブルをプログラミングするように構成されたＳＤＮコントローラとして機能するように構成されることを特徴とする請求項１に記載の分散ルーティングシステム。
【請求項４】
前記分散ルーティングシステム内で実行されるキューイングポリシーが、ａ）端末間仮想出力キューイング（ＶＯＱ）、及びｂ）複合入出力キューイング（ＣＩＯＱ）から成る群から選択される１つのメンバーであることを特徴とする請求項１に記載の分散ルーティングシステム。
【請求項５】
各ラインカードは、全ての前記ファブリック・スイッチング・ユニットのそれぞれを通って、他の前記ラインカードのいずれかに接続することができることを特徴とする請求項１に記載の分散ルーティングシステム。
【請求項６】
前記ファブリック・スイッチング・ユニットを介して、イングレスラインカードからイグレスラインカードへトラフィックを搬送する為のルーティングポリシーは、等価コストマルチパス（ＥＣＭＰ）ポリシーを実行することを含むことを特徴とする請求項５に記載の分散ルーティングシステム。
【請求項７】
各ラインカード及び各ファブリック・スイッチング・ユニットが、独自のシャーシ内ループバック・インタフェース・アドレスを有し、各ラインカード及び各ファブリック・スイッチング・ユニットが、前記分散ルーティングシステム内に備えられた他のラインカード及びファブリック・スイッチング・ユニットと、ＩＧＰ隣接性を確立し、前記シャーシ内ループバック・インタフェース・アドレスを他のラインカード及びファブリック・スイッチング・ユニットに提供するように構成されることを特徴とする請求項１に記載の分散ルーティングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、包括的には、通信システムの分野に関する。特に、本開示は、ソフトウェア定義ネットワーク(software-defined networking)（ＳＤＮ）を実行するシステムに関する。
【背景技術】
【０００２】
今日のコンピュータネットワークにおいて搬送されているデータトラフィックの容量は成長し続けており、そのようなコンピュータネットワーク間でデータパケットを十分に転送することができるビッグルータへの需要も伸びている。ルータは、通常、最終宛先ノードにデータパケットが到達するまで、ネットワークに沿って１つのルータから他のルータへ各データパケットを転送することにより、トラフィック指向機能を実行する。
【０００３】
ルータは、通常、異なるネットワークからの２つ以上のデータラインに接続される。これらのデータラインの１つに沿ってデータパケットが到着すると、最終目的地を決定する為に、データパケット内に埋め込まれているネットワークアドレス情報を読出する。その後、ルーティングテーブル内に含まれている情報を使用して、又は、事前に定義されたルーティングポリシーに従うことにより、ルータは、データパケットを次のネットワークノードに向かって転送する。
【０００４】
また、ルータは、通常、複数のプレーン、即ち制御プレーン及び転送プレーンと呼ばれる動作の２つのステージを有する。ルータは、特定の目的地に向かってデータパケットを転送する為にどのルートを使用するべきか、そして、どの物理インタフェース接続を介して実行するべきか、をリストアップしているルーティングテーブルを維持する。このことは、内部に事前構成されたスタティックルートを使用することにより、又は、ダイナミック・ルーティング・プロトコルを実行している間にルートを学習することにより、達成される。スタティックルート及びダイナミックルートは、ルータのルーティング情報ベース(Routing Information Base)（ＲＩＢ）に記憶されている。その後、制御プレーンロジックが、ＲＩＢから必須ではない指令を取り除き、転送プレーンにより使用される転送情報ベース(Forwarding Information Base)（ＦＩＢ）を構築する。
【０００５】
転送プレーンは、ルータが入出力インタフェース接続間でデータパケットを転送することを可能にする為に使用される。転送プレーンは、データパケットのヘッダに埋め込まれた情報を使用することにより、そして、ルーティングテーブル制御プレーン内に記録されているデータを使用することにより、データパケットを正しいネットワークに搬送することを可能にする。
【０００６】
異なるサイズのルータを設置することができる。最もパワフルなルータは、通常、インターネット・サービス・プロバイダ（ＩＳＰ）、大学及び研究施設に設置される。また、イントラネット・データ・トラフィックへの増え続けている要求に対処する為に、大企業もパワフルなルータを使用することがある。
【０００７】
通常、ルータは、全てのルータ・ハードウェア・コンポーネントを収容する剛性シート金属構造のシャーシを有する。従来、ルータは、ラインカードを保持する為のラインカードシャーシ、ファブリック・スイッチング・ユニット及びルーティングプロセッサを有し、ルーティングプロセッサが、ラインカード及びラインカード間を搬送されるトラフィックを管理する。ラインカードは、物理インタフェースカード及びモジュラーサービスカードから成る。異なるラインカード間に伸びている光ファイバ又はツイストペアケーブルを使用することにより、物理的接続性が得られる。ルーティングプロセッサによりルーティング決定がなされ、ルーティングプロセッサから受信した入力に基づいて、スイッチングファブリックがデータパケットのルーティングを処理する。
【０００８】
また、近年、ホワイトボックスの使用が増加している。ホワイトボックスは、転送プレーン内でスイッチング及び/又はルーティングする為のオープン又は業界標準対応ハードウェアである、スタンドアロン・コモディティである。ホワイトボックスは、通信ネットワークの基本的なハードウェア要素をユーザに提供する。しかしながら、そのようなホワイトボックスが多数使用されると、従来の解決法においては、このタスクを実行する為にパワフルなルータを使用する必要があり、そして、これらのパワフルなルータと共に上述のように多数のホワイトボックスを使用すると、全体の動作がかなり煩雑な動作となるので、それらの動作を管理することが問題となる。
【０００９】
本発明は、この問題の解決策を提供することを目的としている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本開示は、特許請求の範囲を参照することによって要約できる。
【００１１】
本開示の目的は、同じルーティングエンティティに関連するラインカード間を搬送されるトラフィックを管理する為に、パワフルなルータの一部としてバックプレーンを有する物理的シャーシを使用することなく、パワフルなルータの機能性を得る為のシステム及び方法を提供することである。
【００１２】
本開示の他の目的は、提供される新規なシステムを実施することにより達成される機能性を有するパワフルなルータの一部として使用される複数のラインカードの代わりに複数のスタンドアロン・ホワイトボックスを使用して、パワフルなルータの機能性を得る為のシステム及び方法を提供することである。
【００１３】
本開示の他の目的は、以下の説明から明らかになる。
【課題を解決するための手段】
【００１４】
本開示の第１の実施形態によれば、通信ネットワーク内で使用される分散ルーティングシステムであって、前記分散ルーティングシステムが、ルーティングエンジン及び／又は管理エンジンとして構成される少なくとも１つのプロセッサと、到着する帯域外トラフィックを制御するように構成された少なくとも１つのスイッチング・ファブリック・コントローラと、各々が、前記分散ルーティングシステムの転送プレーン内でのスイッチング及び／又はルーティング能力を提供する為の少なくとも１つのラインカード及び／又は少なくとも１つのファブリック・スイッチング・ユニットを含む、スタンドアロン・ハードウェアである複数のホワイトボックスと、を有し、少なくとも１つの制御スイッチが、前記複数のホワイトボックス及び前記少なくとも１つのプロセッサ間の接続を確立するように構成され、それにより、前記少なくとも１つのプロセッサが、前記複数のホワイトボックスへの/からのトラフィックのルーティングを管理することを可能にすることを特徴とする分散ルーティングシステムを提供する。
【００１５】
本明細書及び特許請求の範囲を通して使用されている用語「ホワイトボックス」は、著名なブランド名を有していないサーバ又はパーソナルコンピュータのような、オープン又は業界標準対応ハードウェアであるコモディティを示す為に使用されている。例えば、この用語は、小規模なシステムインテグレータにより組み立てられたシステム及び、相手先ブランド名製造(Original Design Manufacturer)（ＯＤＭ）又は小売りで別々に購入した部品からエンドユーザにより組み立てられた自作のコンピュータシステムに用いられる。これらのホワイトボックスは、転送プレーン内のルータ及び／又はスイッチとしてよく使用される。ホワイトボックスは、ネットワークの基本的なハードウェア要素をユーザに提供する。
【００１６】
本明細書及び特許請求の範囲を通して使用されている用語「プロセッサ」は、例えば、各ホワイトボックスのｘ８６部分内に備えられたサーバ又は他の同等の処理装置のような、処理能力を備える装置又はその部品を示す為に使用されている。
【００１７】
本明細書及び特許請求の範囲を通して使用されている用語「スイッチングファブリック」は、ファブリック・スイッチング・ユニット（個別のボックス）、ファブリック・スイッチング・ユニットが収容している集積回路、及びスイッチングパスの制御を可能にするプログラミングを示す為に使用されている。
【００１８】
本明細書及び特許請求の範囲を通して使用されている用語「Ｃｌｏｓネットワーク」は、実際のマルチステージ電話スイッチングシステムを理論的に理想化しているマルチステージ回路スイッチング通信ネットワークを示す為に使用されている。物理的回路スイッチングが最大の実施可能な単一のクロスバースイッチの能力を超えることが必要である場合、Ｃｌｏｓネットワークが必要である。Ｃｌｏｓネットワークの優位点は、（各クロスバースイッチを構成する）必要なクロスポイントの数を、スイッチングシステム全体を１つの大きなクロスバースイッチにより実行する場合に必要なクロスポイントの数に比べて、はるかに少なくすることができることである。Ｃｌｏｓネットワークは３つのステージ：イングレス(ingress)ステージ、中間ステージ、及びイグレス(egress)ステージを有する。各ステージは、いくつかのクロスバースイッチにより構成される。イングレス・クロスバースイッチに入る各パケットは、利用可能な中間ステージ・クロスバースイッチのいずれかを通り、関連するイグレス・クロスバースイッチにルーティングされることができる。イングレススイッチを中間ステージスイッチに接続するリンク及び中間ステージスイッチをイグレススイッチに接続するリンクの両方がフリーである場合、中間ステージクロスバーは、どの特定の新しいパケットにも利用可能である。
【００１９】
他の実施形態によれば、少なくとも１つのプロセッサが、全ての帯域内でのトラフィック制御及び管理の為の焦点として機能するように構成される。
【００２０】
また、他の実施形態によれば、少なくとも１つのプロセッサが、複数のファブリック・スイッチング・ユニット及び複数のラインカードの為のルーティングテーブルをプログラミングするように構成されたＳＤＮコントローラとして機能するように構成される。
【００２１】
さらに他の実施形態によれば、分散ルーティングシステム内で実行されるキューイングポリシー(queuing policy)が、ａ）端末間仮想出力キューイング(End-to-End Virtual Output Queuing)（ＶＯＱ）、及びｂ）複合入出力キューイング(Combined Input Output Queuing)（ＣＩＯＱ）から成る群から選択される１つのメンバーである。
【００２２】
さらに他の実施形態によれば、各ラインカードは、全てのファブリック・スイッチング・ユニットのそれぞれを通って、他のラインカードのいずれかに接続することができる。
【００２３】
また、他の実施形態によれば、ファブリック・スイッチング・ユニットを介して、イングレスラインカードからイグレスラインカードへトラフィックを搬送する為のルーティングポリシーは、等価コストマルチパス(Equal Cost MultiPath)（ＥＣＭＰ）ポリシー（又は他の適用可能な負荷分散機構）を実行することを含む。
【００２４】
さらに他の実施形態によれば、各ラインカード及び各ファブリック・スイッチング・ユニットが、独自のシャーシ内ループバック・インタフェース・アドレス(intra-chassis loopback interface address)を有し、各ラインカード及び各ファブリック・スイッチング・ユニットが、分散ルーティングシステム内に備えられた他のラインカード及びファブリック・スイッチング・ユニットと、内部ゲートウェイプロトコル(interior gateway protocol)（以下、ＩＧＰ）隣接性を確立し、前記シャーシ内ループバック・インタフェース・アドレスを他のラインカード及びファブリック・スイッチング・ユニットに提供するように構成される。
【００２５】
添付の図面は、本明細書に組み込まれ、本明細書の一部を構成するものであり、本開示の幾つかの実施形態を図示し、本明細書の記述とともに、本開示の実施形態の原理を説明するものである。
【図面の簡単な説明】
【００２６】
【図１】本開示の実施形態による、ルーティングシステムの概略図である。
【図２】２種類の潜在的ＶＯＱを表示するラインカードを示す図である。
【図３】本開示の実施形態による、２つのステージの転送決定を含むルーティングパイプラインの仮想モデルを示す図である。
【図４】本開示の実施形態により解釈されるネットワークのトポロジーの例を示す図である。
【図５】仮想シャーシ・ルーティングシステム内に制御プロトコルを適用する実施形態を示す図である。
【図６】仮想シャーシ・ルーティングシステム内のデータフローの例を示す図である。
【図７】仮想シャーシ・ルーティングシステムの制御プレーンフローの例を示す図である。
【図８】図７に記載の仮想シャーシ・ルーティングシステムのデータプレーンフローを示す図である。
【図９】本開示の実施形態により解釈されるルーティングシステムの仮想シャーシの様々な実行を例示する図である。
【図１０】本開示の実施形態により解釈されるルーティングシステムの仮想シャーシの様々な実行を例示する図である。
【図１１】本開示の実施形態により解釈されるルーティングシステムの仮想シャーシの様々な実行を例示する図である。
【図１２】本開示の実施形態により解釈されるルーティングシステムの仮想シャーシの様々な実行を例示する図である。
【発明を実施するための形態】
【００２７】
以下の詳細な説明における特定の詳細及び値のいくつかは、本開示の特定の例を示すものである。但し、この説明は、単なる例であり、本発明の範囲を限定することを意図するものではない。特許請求の範囲に記載された方法及びデバイスは、当技術分野において公知の他の方法を用いても実施できることは、当業者にとって明らかである。更に、ここに記載する実施形態は、異なるステップを含むが、その全てが本発明の全ての実施形態において必要とされるわけではない。本発明の範囲は、特許請求の範囲を参照することによって把握できる。
【００２８】
図１は、本開示の実施形態により解釈される、複数のホワイトボックスを組み合わせた仮想シャーシであるルーティングシステム１００の概略図である。以下の記載において、上記のシステムの動作に関する様々な側面が記載され、例示される。
【００２９】
図１に記載のルーティングシステムは、全ての帯域内でのトラフィック制御及び管理の為の焦点として使用されるように構成されたルーティングエンジン（ＲＥ）／管理エンジン（ＭＥ）として機能する１組のサーバ（１１０及び１１０’）を含む。これらの２つのエンジンのそれぞれは、ラインカード（１３０ｉ〜１３０Ｋ）及びファブリック・スイッチング・ユニット（１２０ｉ〜１２０Ｎ+Ｉ）のルーティングテーブルを構成するのに適したＳＤＮコントローラとしても動作することができる。また、これらの２つのエンジンは、関連する全ての他の要素を監視し、ヘルスチェックを実行することにより、ルータ構造及びコヒーレンシを維持する為に使用することもできる。
【００３０】
また、ルーティングシステム１００はさらに、２つの制御及び管理ＴｏＲ(Top of Rack)スイッチ（１４０及び１４０’）を含み、上記スイッチのそれぞれが、ルーティングシステム（例えば、ラインカード及びファブリック・スイッチング・ユニット）のスイッチング要素を、管理、提供、転送情報ベース（ＦＩＢ）プログラミング、及びトラフィック制御の為のＲＥ/ＭＥサーバに接続することができる帯域外（ＯＯＢ）ファブリック・スイッチング・ユニットとして使用される。
【００３１】
ルーティングシステム１００に備えられたファブリック・スイッチング・ユニット（１２０ｉ〜１２０Ｎ+Ｉ）のそれぞれは、パケット転送目的において必要である、様々なラインカード間で実行される通信を可能にする一時ジャンクションとして使用されるように構成される。一方、ファブリック・スイッチング・ユニット（１２０ｉ〜１２０Ｎ+Ｉ）のそれぞれは、ラインカードの管理、提供、ＦＩＢプログラミング及びトラフィック制御を可能にする、ＲＥ/ＭＥ（１１０及び１１０’）間で実行される通信を可能にする一次ジャンクションとしてそのようなセットアップに構成される。
【００３２】
好ましくは、ファブリック・スイッチング・ユニットは、Ｃｌｏｓトポロジー内のラインカードに接続され、Ｃｌｏｓトポロジーは以下のことを可能にする：
ｉ）全てのファブリック・スイッチング・ユニットの全てのラインカードへの接続、
ｉｉ）ファブリック・スイッチング・ユニット同士の間での直接相互接続の回避、
ｉｉｉ）ラインカード同士の間での直接相互接続の回避、
ｉｖ）ファブリック・スイッチング・ユニットｊのそれぞれを介した、ルーティングシステム１００内に備えられた全てのラインカードｉと、ルーティングシステム１００内の他のラインカードのそれぞれとの間の一時接続の確立。
【００３３】
ルーティングシステム１００内に含まれる転送エンジン（ＦＥ）ともみなされる、ラインカード（１３０ｉ〜１３０Ｋ+ｌ）のそれぞれは、好ましくは以下の機能性を可能にするように動作する：
トラフィックをスイッチングしてデータパケットの転送を可能にする、
（ユーザ・ネットワーク・インタフェース（ＵＮＩ）を介して）顧客リンク又は（ネットワーク間インタフェース（ＮＮＩ）を介して）隣接ネットワーク要素に接続する、そして、
（ファブリック層を介して接続されるローカルポート又はリモートポートのいずれかである）イグレスポート及びイングレスポート（例えば、ローカルポート）間でデータパケットを転送する為のＲＥ/ＭＥ１１０／１１０’によりなされた決定を実行する。
【００３４】
キューイングポリシー
以下の議論において、ヘッドオブラインブロッキング(Head of Line Blocking)（以下、ＨＯＬＢ）に苦しんでいるイングレス／入力キューイングスキームに関しては扱っておらず、Ｎの倍数によるスピードアップが必要となるイグレス／出力キューイングスキームに関しても扱っていない（ここで、Ｎはイングレスインタフェースの数である）。
【００３５】
次のキューイングディスカッション(queuing discussion)において、以下のキューイングスキームのみを参照にする：
・端末間仮想出力キューイング(End-to-End Virtual Output Queuing)（以下、ＶＯＱ）、
・複合入出力キューイング(Combined Input Output Queuing)（以下、ＣＩＯＱ）、
ここで、ＶＯＱポリシーは、各ファブリック・スイッチング・ユニットのイグレスポート及び各イグレスポートのイグレス輻輳／衝突バッファ(egress congestion / collision buffer)において実行される。
【００３６】
端末間ＶＯＱ
端末間ＶＯＱポリシーを実行しているシステムにおいて、トラフィッククラス別で、イグレスサブインタフェース毎に、固有のキューイングスキームが存在する。データパケットは、スイッチングファブリックを介してイグレスインタフェースに通信される前のデータパケットに対してなされたスイッチング／ルーティング決定に続くキュー内でバッファリングされる。キューバッファは、システムのイングレス部分に論理的に配置されるが、イグレスインタフェースを表す。そのようなスキームは、スイッチング／ルーティング性能を劣化させるＨＯＬＢの発生を効果的に防止し、イグレス側においてＮ倍のスピードアップを必要としない。
【００３７】
端末間ＶＯＱ対応システムは、複数のスイッチング・ネットワーク処理ユニット（以下、ＮＰＵ）／パケットプロセッサ（以下、ＰＰ）、同様に、同じチップ上又は異なるチップ上に存在するファブリック・スイッチング要素を含む。
【００３８】
複数のこれらのＮＰＵの全てが、単一のトラフィック管理ドメイン（以下、ＴＭＤ）のファブリック・スイッチング要素を通じてリンクされ、それにより、ＮＰＵの１つを介してシステムに入るパケットが、グローバル／ＴＭＤ全体の制約(global/TMD wide constraints)に基づく伝送をスケジューリングされると、そのスケジューリングは、ファブリックと同様にイグレスインタフェースの状態を考慮に入れる。
【００３９】
そのようなシステムにおいて、通常実行されるスケジューリングアルゴリズムは、可能な限り正確で、決定性で、適正で、効果的なトークンベースのアルゴリズムである。数学的に、この特性評価は、ファブリックラインを通じて全てのイングレス及びイグレスインタフェースを接続することができる最良の二分グラフ(best bi-partite graph)に近似させようとすることと本質的に等しい。
【００４０】
正確で、決定性で、適正で、効果的なこれらの要件を満たす為に、スケジューリングは、好ましくは以下のように実行される、
１．非同期ドメイン（パケット）から同期ドメイン（セル又はマイクロセル（ｙセル））へ移動し、
２．小さなｙセルモードにおいて動作し、ここで、エレファントフロー／フレーム(elephant flows / frames)でファブリックを妨げることを避ける為に、伝送されたデータパケットは元のデータパケットのフラグメントだけであり、
３．バッファを使用することなく、必要とされる広範囲のスイッチング帯域幅をファブリックが処理することを可能にするファブリック動作をスピードアップする（例えば、１．２〜２倍）。
【００４１】
複合入出力キューイング（ＣＩＯＱ）
ＨＯＬＢを減少する為に提案されている１つの方法は、スイッチのスピードアップを増加させることである。Ｘ倍にスピードアップしたスイッチは、タイムスロット内で、各入力からＸパケットまで除去することができ、各出力にＸパケットまで送達することができ、ここで、タイムスロットは、複数の入力ポートにパケットが到達する間にわたる期間である。したがって、出力キュースイッチはＮ倍にスピードアップされ、入力キュースイッチは１倍にスピードアップされる。スイッチング後の出力と同様にスイッチング前の入力において、１からＮパケットの間の値がバッファリングされる必要がある。この構造が、通常の複合入出力キューイング（ＣＩＯＱ）スイッチ構造と呼ばれる。
【００４２】
しかしながら、本発明により提供される解決策は、単純なＣＩＯＱ構造を実行する通常のシステムとは、少なくとも以下の特徴により相違する：
１．本発明によると、ＶＯＱバッファリングスキームは、ファブリックインタフェース（物理的ポート／ＬＡＧバンドル）の為に提供されており、
２．本発明によると、ＶＯＱバッファリングスキームは、ラインカードイグレスインタフェース（物理的ポート／ＬＡＧバンドル／サブインタフェース）の為に提供されており、
３．本発明によると、ＶＯＱバッファリングスキームは、ファブリック・スイッチング・ユニット自体の内部に提供されている。
【００４３】
上述のように、図１は、回帰構造ブロック(recurrent building block)により構築され、ＣＬＯＳネットワーク型の構造で相互接続されるファブリック・スイッチング・ユニット（１２０ｉ〜１２０Ｎ+Ｉ）及びラインカード（１３０ｉ〜１３０Ｋ+ｌ）間の相互接続性を示している。例えば、ＣＬＯＳ構造のような、スイッチに基づくＦＦＦ(Fixed Form Factor)（固定フォームファクタ）を有する深いバッファ装置を有するか有していないマーチャントシリコン(merchant silicon)ＮＰＵに基づくミニ仮想シャーシは、８ｘマーチャントシリコンＮＰＵ装置及び４ｘファブリック要素を含む。図１を参照してここに記載されているルーティングシステムの固有の特徴は、各構造ブロックが独自の端末間ＶＯＱシステムとして事実機能することである。
【００４４】
図２は、２種類の潜在的ＶＯＱを表示するラインカードを示す図であり、１つはイグレスＶＯＱであり、もう１つはファブリックＶＯＱである。以下の表１に、これらの２種類のＶＯＱの間に存在するいくつかの相違点の概要を記載する。
【００４５】
【表１】
2020537854.tif 000003
【００４６】
次に、２つのステージの転送決定を含むルーティングパイプラインの仮想モデルを示す図である図３を参照する。
【００４７】
第１のステージにおいて（イングレスラインカードにおいて）、パケットヘッダがイグレスラインカードに関連するルックアップテーブルの為の入力として使用され、イグレスラインカードからパケットの目的地へ伸びるパスに沿った次ホップに向かってパケットが搬送される。このステージは、ファブリックを通してイグレスラインカードへ向かうパスを選択することと本質的に等しい。
【００４８】
仮想モデルの第２のステージにおいて（イグレスラインカードにおいて）、パケットヘッダが次ホップに接続されたイグレスインタフェースに関連するルックアップテーブルの為の入力として使用され、次ホップに向かってパケットが今搬送される。
【００４９】
当業者には理解できるように、仮想モデルの上記２つのステージは、イングレス及びイグレスインタフェースの両方が同じラインカードスイッチに存在している場合、単一のステージに併合することができる。
【００５０】
ファブリックパス及びスケジューリング
この議論の為に、ルーティングシステムの各ラインカードは、ルーティングシステムに属する様々なファブリック・スイッチング・ユニットの１つを介して、ルーティングシステムの他のどのラインカードとも通信することができるので、様々なファブリック・スイッチング・ユニットの動作を操作する為にそれ自体のスケジューリングアルゴリズムは適用されない。しかし、本開示の１つの実施形態により実行されるルーティングストラテジーは、ファブリックを介してイングレスラインカードからイグレスラインカードへのトラフィックのルーティングを処理する、等価コストマルチパス(Equal Cost MultiPath)（以下、ＥＣＭＰ）又は他の適用可能な機構のような負荷分散機構である。
【００５１】
このルーティングストラテジーは、次ホップパケットが転送されるべき単一の目的地がどこかを決定し、ルーティングメトリック計算においてトップタイになる複数の最良のパスにわたって転送されることができる。
【００５２】
以下の目的の為に、この例によるＥＣＭＰは使用される：
１．ファブリック上で負荷を平均化する為に、様々なラインカード間にトラフィックを分散する（又は少なくとも分散するよう努力する）、
２．そのために同じパスを選択することにより、パケット順序及びフローコヒーレンシを維持する。
【００５３】
ここで、図１に例示されているルーティングシステムは、Ｋラインカード及びＮファブリック・スイッチング・ユニットを含むと仮定する。
【００５４】
各ラインカードにおいて、以下の関係を適用することができる：
＃ＦａｂｒｉｃｓＴｏＬｉｎｅＣａｒｄｓＰａｔｈｓ  ＝ （Ｋ-１）* Ｎ
イングレス及びイグレスポートが同じラインカードスイッチに存在する場合、ファブリック上のパスは採用されない。
【００５５】
シャーシ内接続性
この例によると、シャーシ内接続性(intra-chassis connectivity)は以下の特徴を備えている：
・各ラインカードは、インタフェースのバンドルを介して、ファブリックに接続している。
・インタフェースのバンドルは、Ｘファブリック対向インタフェースから構築される、
・以下の関係が有効である限り、Ｘは現在の要求に適応する為に動的に変化する、
Ｘ *（Ｎ+１）＜＝ ｐ／２ 及び Ｘ * Ｋ ＜＝ ｔ
ここで、
・Ｎ+１は、ファブリック・スイッチング・ユニットを保持するホワイトボックスの数であり、
・Ｋは、ラインカードを保持するホワイトボックスの数であり、
・ｐは、ラインカードを保持するホワイトボックスにおけるポートの数であり、
・ｔは、ファブリック・スイッチング・ユニットを保持するホワイトボックスにおけるポートの数である。
・各ラインカードは、Ｘ * Ｎネットワーク対向インタフェースを有し、それにより、Ｎ+１ファブリック保護スキームを確保し、
・ファブリック・スイッチング・ユニットは、スピードアップ・ファブリックであり、
・各ラインカードは、追加のファブリック・スイッチング・ユニットに接続され、その数はＮ+２であり、
・追加のファブリック対向バンドルが使用され、このバンドルが、オーバーサブスクライブド・インタフェースから構築され、
・追加のファブリック対向バンドルが、シャーシ内スピードアップ機能性を達成する為に使用され、以下に詳細に記載される。
【００５６】
シャーシ内ルーティングスキーム
下に配置される物理的ネットワーク上に載置される複数の装置又はシステム間にトンネルが作成される。このことは、オーバーレイネットワークが、２つのホスト間にパスが存在するという条件で、アンダーレイネットワークの状態とは無関係に機能することができることを意味している。しかしながら、このことはまた、オーバーレイネットワークが、物理的ネットワークの詳細を不明瞭にすることを意味している。
【００５７】
内部ゲートウェイプロトコル（以下、ＩＧＰ）は、自律システム内のゲートウェイ（通常、ルータ）間でルーティング情報を交換する為に使用されるプロトコルのタイプである。その後、このルーティング情報は、ＩＰ（インターネットプロトコル）のようなネットワーク層プロトコルをルーティングする為に使用することができる。
【００５８】
ＩＧＰに使用することができるプロトコルの例には、開放型最短経路優先(Open Shortest Path First)（ＯＳＰＦ）、ルーティング情報プロトコル（ＲＩＰ）、中間システム間連携(Intermediate System to Intermediate System)（ＩＳ−ＩＳ）、及び強化型内部ゲートウェイ・ルーティング・プロトコル(Enhanced Interior Gateway Routing Protocol)（ＥＩＧＲＰ）が含まれる。
【００５９】
本開示の実施形態によるアンダーレイＩＧＰを特徴づける特徴は以下の通りである：
ｉ）各ラインカード及び各ファブリック・スイッチング・ユニットは、独自のシャーシ内ループバック・インタフェース・アドレスを有し、
ｉｉ）各ラインカード／ファブリック・スイッチング・ユニットは、他のラインカード及びファブリック・スイッチング・ユニットと、ＩＧＰ隣接性を確立し、独自のシャーシ内ループバック・インタフェース・アドレスを提供するように構成され、
・ラインカードが、ファブリック対向インタフェースを介してのみＩＧＰリンク状態アドバタイズメント(Link State Advertisement)（以下、ＬＳＡ）を送信し、そして、
・ラインカードが、（例えば、ネットワークＩＧＰ／外部ゲートウェイプロトコル(Exterior Gateway Protocol)（ＥＧＰ）を使用して）ネットワーク対向インタフェースにシャーシ内ループバックアドレスを提供しない。
【００６０】
この実施形態により、アンダーレイラベル分配プロトコル（以下、ＬＤＰ）又は他の適用可能なプロトコルが、シャーシ内ネットワーク内でラベルを分配し、シャーシ内ループバックアドレスの為の前方誤り訂正(forward error corrections)（ＦＥＣ）を構築する為に使用される。各シャーシ内ループバックの為のＦＥＣは、複数のパス、好ましくはＮ+２パスから構築される。また、ファブリックは、イグレスラインカードの為のペナルチメート・ホップ・ポッピング(Penultimate Hop Popping)（以下、ＰＨＰ）として機能することができる。ＰＨＰは、ＭＰＬＳ使用可能なネットワーク内で特定のルータにより実行される機能であり、パケットが隣接ラベル・エッジ・ルータ(Label Edge Router)（ＬＥＲ）に転送される前に、ＭＰＬＳのタグ付パケットの最外ラベルがラベル・スイッチ・ルータ(Label Switch Router)（ＬＳＲ）により除去される処理を参照する。
【００６１】
シャーシ内障害検出及び保護機構
双方向フォーワーディング検出(Bidirectional Forwarding Detection)（以下、ＢＦＤ）又は他の適用可能なプロトコルは、リンクにより接続された２つのフォーワーディングエンジン間で発生する障害を検出する為に使用されるネットワークプロトコルである。ＢＦＤは、イーサネット、仮想回路、トンネル及びＭＰＬＳラベル・スイッチド・パスのような、どんな障害検出もサポートしない物理的媒体上でも障害の低オーバーヘッド検出を提供する。
【００６２】
ＢＦＤは、特定リンク上の２つの終点間のセッションを確立する為に使用することができる。２つのシステム間に１つより多くのリンクが存在していた場合、それらのリンクのそれぞれを監視する為に複数のＢＦＤセッションが確立される。ＢＦＤセッションは、スリーウェイハンドシェイク(three-way handshake)により確立され、スリーウェイハンドシェイクにより分解される。
【００６３】
ＢＦＤは、１組のラインカード間に伸びているリンクに沿って発生する障害を検出する為に、本発明の実施形態によって使用される。好ましくは、ＢＦＤプロトコルは、以下のことを観察することにより実行される：
・マルチホップＩＰ−ＢＦＤが、ラインカード間に伸びているリンクに沿って維持され、そして、
・ＩＰ−ＢＦＤセッションが、各ラインカード上のファブリック対向バンドル間に確立され、各ファブリック対向バンドルは独自の固有ＩＰアドレスを有する。
【００６４】
上述の検出機構ＢＤＦと共に実行することができる保護機構の例は、高速リルーティング(Fast ReRoute)（ＦＲＲ）である。ＦＲＲは、リンク又はルータ障害時に、迅速なトラフィック回復を提供する為に使用される。通常、任意の単一リンク又はノード障害時に、５０ｍｓまでのレベルで影響を受けたトラフィックフローを回復することができる。おそらく、本開示の実施形態の保護機構は、等価コストマルチパス（ＥＣＭＰ）機構とＦＲＲを組み合わせて実行することにより、達成される。
【００６５】
シャーシ内ルーティングスキーム上のイグレスルーティング
イグレスＩＧＰ／ＥＧＰパケットにおいて、ＥＧＰは、自律システムのネットワーク内の（それぞれ独自のルータを有する）２つの隣接するゲートウェイホスト間のルーティング情報を交換する為の外部ゲートウェイプロトコルであり、イグレスＩＧＰ／ＥＧＰパケットは、ルーティングエンジン（ＲＥ）に向かって搬送される間、ラインカードによりトラップされる。
【００６６】
その後、ＲＥは、おそらく、特定のネットワーク目的地へのルートのリストを記憶しているデータテーブルであるルーティング情報ベース（ＲＩＢ）を構築する。ＲＩＢは、ＲＩＢに近接する周りのネットワークのトポロジーに関する情報を含んでいる。そのようなＲＩＢは、以下の情報に基づいて構築することができる：パケットヘッダに関連するプレフィックス、パケットの為の次ホップ、及び出力インタフェース（以下、ＯＩＦ）。
【００６７】
次に、ＲＥは、各ラインカード上のイグレス転送情報ベース（ＦＩＢ）を、以下のようにアップデートすることができる：
（ｉ）ラインカードナンバーｉのイグレスにおける次ＯＩＦを含む各プレフィックスの為に、ＲＥは、ラインカードｉのシャーシ内ループバックを与えられたプレフィックスの次ホップとして設定し、そして、
（ｉｉ）ラインカードｉ自体において、ＲＩＢにおいて特定された次ホップ値よって次ホップが設定される。
【００６８】
ＩＰルーティングの例
本発明により提供される解決策によって解釈されるシステムにおける１つの可能なルーティング実行を説明している以下の例についてここで検討する。
【００６９】
イングレスラインカードにおけるルーティング
・（シャーシ内ネットワークを介して）イグレスラインカードに対する回帰ＦＥＣルーティングを使用して、パケットプレフィックスから、各イグレスラインカードのループバックアドレスが引き出され、
・その後、シャーシ内ＭＰＬＳラベル（又は他の使用可能なカプセル化手段）を使用してパケットはカプセル化され、ファブリック・スイッチング・ユニットの１つに向かって転送される。随意的に、利用可能な複数のファブリック・スイッチング・ユニットの中から使用すべき特定のファブリック・スイッチング・ユニットを決定することは、ＥＣＭＰ機構を適用することにより決定される。
【００７０】
ファブリックルーティング
・その後、選択されたファブリック・スイッチング・ユニットは、ラベル・スイッチド・パス(Label Switched Path)（ＬＳＰ）にしたがってパケットを転送し、そして、
・ＰＨＰとして機能するファブリック・スイッチング・ユニットは、各イグレスラインカードに向かってパケットを転送する前に、ＭＰＬＳラベルを除去する。
【００７１】
イグレスラインカードにおけるルーティング
・イグレスラインカードは、転送されたパケットをファブリック・スイッチング・ユニットにより受信し、そして、最長プレフィックス一致(Longest Prefix Match)（ＬＰＭ）ルックアップテーブルから最長プレフィックス一致（ＬＰＭ）を適用することにより、その特定のプレフィックスのパケットの為の次出力インタフェース（ＯＩＦ）を返し、
・パケットは、ネットワーク対向出力インタフェースを介して搬送される。
【００７２】
トラフィックをルーティングする為に図１に図示されているホワイトボックス仮想シャーシの基本原理は、上記において議論されている。これらの原理をより理解する為に、図４〜８には、そのようなシステムのトポロジーと同様にその動作原理に関する特定の側面が図示されている。図４には、ネットワークトポロジーの例が図示されており、図５には、制御プロトコルを適用する実施形態が図示されており、図６には、システム内のデータフローの例が図示されており、図７には、仮想シャーシ・ルーティングシステムの制御プレーンフローが図示されており、図８には、仮想シャーシ・ルーティングシステムのデータプレーンフローが図示されている。
【００７３】
次に、ルーティングシステムのホワイトボックス仮想シャーシの特定の実行を例示する図９〜１２を参照にする。
【００７４】
図９は、本開示の実施形態により解釈されるルーティングシステムの特定仮想シャーシを例示している。図１０は、ホワイトボックスの２０ポートに基づく１０以下のラインカード及びホワイトボックスの２０ポートに基づく５個（４+１）のファブリック・スイッチング・ユニットを備える仮想シャーシの為の配置オプションを図示している。図１１は、２０個のホワイトボックス・ポートを備える仮想シャーシから７２個のホワイトボックス・ポートを備える仮想シャーシへのアップグレードオプションのトラフィックに影響与えない例を図示している。図１２は、仮想シャーシの為のもう１つの配置オプションを図示しており、この例において、仮想シャーシは、ホワイトボックスの７２ポートに基づく３６以下のラインカード及びホワイトボックスの７２ポートに基づく１８個（１７+１）のファブリック・スイッチング・ユニットを備える。
【００７５】
本発明の他の実施形態は、ここに開示した発明の明細書及び実施を考慮することによって、当業者に明らかとなる。本明細書及び実施例は、単に例示的なものであり、本発明の真の範囲及び思想は、特許請求の範囲によって示される。
【図１】
2020537854.tif 000004
【図２】
2020537854.tif 000005
【図３】
2020537854.tif 000006
【図４】
2020537854.tif 000007
【図５】
2020537854.tif 000008
【図６】
2020537854.tif 000009
【図７】
2020537854.tif 000010
【図８】
2020537854.tif 000011
【図９】
2020537854.tif 000012
【図１０】
2020537854.tif 000013
【図１１】
2020537854.tif 000014
【図１２】
2020537854.tif 000015
【国際調査報告】
2020537854.tif 000016
2020537854.tif 000017
2020537854.tif 000018