(57)【要約】物理的オフセットを有する複数の隣接モジュールと、モジュールの少なくとも１つの線形アレイにおいて、シングル・オフセット・モジュールをリング形状に接続する第１次元リンクとを有するモジュール・ファブリックに関する。このファブリックはさらに、各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のすべてのリンクは１個のモジュールを飛び越すダブル・オフセット・リンクである第２次元リンクと、各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のすべてのリンクは２個のモジュールを飛び越すトリプル・オフセット・リンクである第３次元リンクとを備える。
2006513595.tif 000002
【特許請求の範囲】
【請求項１】
物理的オフセットを有する複数の隣接モジュールと、
モジュールの少なくとも１つの線形アレイにおいて、シングル・オフセット・モジュールをリング形状に接続する第１次元リンクと、
各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のすべてのリンクは１個のモジュールを飛び越すダブル・オフセット・リンクである第２次元リンクと、
各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のすべてのリンクは２個のモジュールを飛び越すトリプル・オフセット・リンクである第３次元リンクとを備えたモジュール・ファブリック。
【請求項２】
請求項１において、前記第２次元リンクは２つのリングを形成し、各リングが５個のモジュールから形成され、各リングのモジュール間の全リンクはダブル・オフセットである、モジュール・ファブリック。
【請求項３】
請求項１において、モジュールの前記少なくとも１つの線形アレイは、少なくとも１つのリングを延長する第３次元リンクによって相互接続されるモジュールの複数アレイを含む、モジュール・ファブリック。
【請求項４】
請求項１において、前記第３次元リンクは、４個のモジュールを有する第１リングと、６個のモジュールを有する第２リングとを形成している、モジュール・ファブリック。
【請求項５】
請求項４において、前記第１リングの前記４個のモジュール間のリンクは１、３、３、および３のオフセットを有し、前記第２リングの前記６個のモジュール間のリンクは３、３、５、３、３、および３のオフセットを有する、モジュール・ファブリック。
【請求項６】
請求項５において、モジュールの前記少なくとも１つの線形アレイは、少なくとも１つのリングを延長する第３次元リンクによって相互接続されるモジュールの複数アレイを含む、モジュール・ファブリック。
【請求項７】
請求項６において、前記アレイ間の前記リンクはシングル・オフセット・リンクである、モジュール・ファブリック。
【請求項８】
ファブリックで接続されるモジュール・アセンブリであって、
モジュールを装着するためのモジュール接続部および少なくとも第１次元内のモジュールを相互接続するリードを有するバックプレーンと、
各モジュールに連結される第１および第２リンク・コネクタと、
第１リンク・コネクタ・セットに第１リンク・コネクタを接続するように構成された第１インター・コネクタ、および、第２リンク・コネクタ・セットに第２リンク・コネクタを接続するように構成された第２インター・コネクタであって、これらインター・コネクタは、第２次元内のモジュールを接続するためのリードを有し、第１アセンブリから第１インター・コネクタを取り外し、第２アセンブリから第２インター・コネクタを取り外し、さらに対応する第１リンク・コネクタ・セットおよび第２リンク・コネクタ・セットを接続することによって、２つのアセンブリが第２次元内で接続可能である、第１リンク・コネクタ・セットおよび第２リンク・コネクタ・セットとを備えたモジュール・アセンブリ。
【請求項９】
請求項８において、前記バックプレーンが第３次元内でモジュールを相互接続するリードを有する、モジュール・アセンブリ。
【請求項１０】
請求項８において、４つのアセンブリが、前記第２アセンブリから前記第１インター・コネクタを取り外し、第３アセンブリから両方のインター・コネクタを取り外し、第４アセンブリから前記第２インター・コネクタを取り外し、さらに、第２アセンブリの前記第１リンク・コネクタ・セットを第３アセンブリの前記第２リンク・コネクタ・セットに接続し、第３アセンブリの前記第１リンク・コネクタ・セットを第４アセンブリの前記第２リンク・コネクタ・セットに接続することによって、第２次元内で接続できる、モジュール・アセンブリ。
【請求項１１】
請求項１０において、前記バックプレーンが第３次元内でモジュールを相互接続するリードを有する、モジュール・アセンブリ。
【請求項１２】
モジュールの少なくとも１つのアレイにおいて、少なくとも第１次元で接続される物理的オフセットを有する少なくとも２個の隣接モジュールと、
少なくとも２個の隣接モジュールに物理的に隣接する各空スロットを占有する１個または２個のフィラー・モジュールとを備えたモジュール・ファブリックであって、
前記フィラー・モジュールは第１次元および第２次元内の前記少なくとも２個の隣接モジュールに接続されることによって、フィラー・モジュールに隣接する２個の隣接モジュール間に追加のファブリック・リンクを形成する、モジュール・ファブリック。
【請求項１３】
請求項１２において、物理的オフセットを有する前記少なくとも２個の隣接モジュールは、第１および第２次元内で相互接続される３個のモジュールを含み、前記少なくとも１個のフィラー・モジュールは２個のフィラー・モジュールを含む、モジュール・ファブリック。
【請求項１４】
請求項１３において、物理的オフセット有する前記少なくとも２個の隣接モジュールは、第１、第２、および第３次元内で相互接続される４個またはそれ以上のモジュールを含む、モジュール・ファブリック。
【請求項１５】
請求項１４において、前記少なくとも１個のフィラー・モジュールは２個のフィラー・モジュールを含む、モジュール・ファブリック。
【請求項１６】
物理的オフセットを有する複数の隣接モジュールを有するモジュールの少なくとも１つの線形アレイにおいて、シングル・オフセット・モジュールを第１次元リンクを用いてリング形状に接続する第１接続工程と、
１個のモジュールを飛び越すダブル・オフセット・リンクである各アレイにおけるモジュール間のすべてのリンクを用いて、少なくとも１つのリング形状に第２次元リンクと接続する第２接続工程と、
２個のモジュールを飛び越すトリプル・オフセット・リンクである各アレイにおけるモジュール間のすべてのリンクを用いて、少なくとも１つのリング形状に第３次元リンクと接続する第３接続工程とを備えたモジュール・ファブリックの接続方法。
【請求項１７】
請求項１６において、前記第２接続工程が、２つのリングを形成し、各リングは５個のモジュールから形成され、各リングのモジュール間の全リンクはダブル・オフセットである、モジュール・ファブリックの接続方法。
【請求項１８】
請求項１６において、前記第３接続工程が、モジュールの複数アレイを相互接続して、少なくとも１つのリングを延長する、モジュール・ファブリックの接続方法。
【請求項１９】
請求項１６において、前記第３接続工程が、４個のモジュールを有する第１リングと、６個のモジュールを有する第２リングとを形成する、モジュール・ファブリックの接続方法。
【請求項２０】
請求項１９において、前記第１リングの形成は、１、３、３、および３のオフセットを有する第１リングで４個のモジュール間を接続し、前記第２リングの形成は、３、３、５、３、３、および３のオフセットを有する第２リングの６個のモジュール間を接続する、モジュール・ファブリックの接続方法。
【請求項２１】
ファブリックのモジュール・アセンブリを接続する方法であって、
バックプレーンの各モジュール接続部でモジュールを受入れ、このモジュールをバックプレーンのリードを用いて第１次元で相互接続し、
第１リンク・コネクタ・セットおよび第２リンク・コネクタ・セットを、リードを有する第１インター・コネクタおよび第２インター・コネクタに接続して、第２次元内の前記モジュールを接続し、２つのアセンブリは、第１アセンブリから第１インター・コネクタを取り外し、第２アセンブリから第２インター・コネクタを取り外し、さらに対応する第１リンク・コネクタ・セットおよび第２リンク・コネクタ・セットを接続することによって、第２次元内で接続可能である、モジュール・アセンブリの接続方法。
【請求項２２】
請求項２１において、さらに、第３次元内のモジュールを相互接続する、モジュール・アセンブリの接続方法。
【請求項２３】
請求項２１において、前記第２アセンブリから前記第１インター・コネクタを取り外し、第３アセンブリから両方のインター・コネクタを取り外し、第４アセンブリから前記第２インター・コネクタを取り外し、さらに、第２アセンブリの前記第１のリンク・コネクタ・セットを第３アセンブリの前記第２組のリンク・コネクタに接続し、第３アセンブリの前記第１リンク・コネクタ・セットを第４アセンブリの前記第２リンク・コネクタ・セットに接続することによって、４つのアセンブリが第２次元内で接続できる、モジュール・アセンブリの接続方法。
【請求項２４】
ファブリック内のモジュールを接続する方法であって、
モジュールの少なくとも１つのアレイにおいて、少なくとも第１次元内の物理的オフセットを有する少なくとも２個の隣接するモジュールを接続し、
第１次元および第２次元内の前記少なくとも２個の隣接モジュールに１個または２個のフィラー・モジュールを接続し、前記１個または２個のフィラー・モジュールは、前記少なくとも２個の隣接モジュールに物理的に隣接する各空スロットを占有する、モジュールの接続方法。
【請求項２５】
請求項２４において、物理的オフセットを有する前記少なくとも２個の隣接モジュールは、第１および第２次元内で相互接続される３個のモジュールを含み、前記少なくとも１個のフィラー・モジュールは２個のフィラー・モジュールを含む、モジュールの接続方法。
【請求項２６】
請求項２４において、物理的オフセットを有する前記少なくとも２個の隣接モジュールは、第１、第２、および第３次元内で相互接続される４個またはそれ以上のモジュールを含む、モジュールの接続方法。
【発明の詳細な説明】
【背景技術】
【０００１】
本出願は、2002年10月1日出願の米国特許仮出願第60/415,087号の優先権を主張する、2002年11月21日出願の米国特許出願第10/302,808号の継続出願であり、この出願の優先権を主張するものである。前記出願の全内容は参照により本明細書に引用したものとする。
【０００２】
コンピュータ・システムはさまざまなトポロジで実現されている。多数のデータ処理モジュール（すなわちノード）を有するシステムは、複雑なトポロジを有することが多い。このようなトポロジのモジュールを接続する相互接続アセンブリもまた複雑になることが多い。詳細には、トーラス（円環）のようなメッシュ形態構成を有する特定システムによる要求に応じて、各モジュールに対していくつかの接続（すなわちリンク）を提供することが相互接続アセンブリに対する課題である。
【０００３】
一般的なマルチモジュール・コンピュータ・システムは、バックプレーン、モジュール・コネクタおよびフレキシブル・ワイヤ・ケーブルを含む相互接続アセンブリを有する。バックプレーンは剛性の高い回路基板であり、この基板にモジュール・コネクタが取り付けられている。各モジュールは、バックプレーンに装着されたモジュール・コネクタの１つがプラグ・インすると、バックプレーンに電気的に接続される回路基板である。フレキシブル・ワイヤ・ケーブルはバックプレーンに接続され、システムを特定サイズを有するネットワーク・トポロジに構成する。
【０００４】
一般的なマルチモジュール・コンピュータ・システムのネットワーク・トポロジは、システムを大規模なネットワーク・トポロジに構成するために、バックプレーンへのモジュールの追加、および別のバックプレーンの追加、ならびにフレキシブル・ワイヤ・ケーブルの再接続によって、拡張することができる。一般に、システムのトポロジはいくつかのモジュールによって一度に拡張される。例えば、４×４×４トーラス・トポロジを有するこのようなシステムの１つは、１６のモジュール・バックプレーンを追加し、フレキシブル・ワイヤ・ケーブルを再接続することにより、４×４×５トーラス・トポロジにシステムを拡張できる。システムによってはホット・プラグ、すなわち電源がオンの状態でシステム・トポロジを拡張するため、ケーブルを接続および非接続することによる拡張を許容する。
【０００５】
類似のトポロジが、米国特許第6,205,532号および第6,370,145号に開示されているようなマルチノード・ルータにおいて利用されている。前記特許の全内容は参照により本明細書に引用したものとする。
【発明の開示】
【０００６】
モジュール・ファブリックは、物理的オフセットを有する複数の隣接モジュールと、第１次元リンクとを有する。この第１次元リンクは、モジュールの少なくとも１つの線形アレイにおいて、シングル・オフセット・モジュールをリング形状に接続する。このファブリックはさらに、第２次元リンクと、第３次元リンクとを有する。第２次元リンクは、各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のほぼすべてのリンクは１個のモジュールを飛び越すダブル・オフセット・リンクである。第３次元リンクは、各線形アレイのモジュールを少なくとも１つのリング形状に接続し、各アレイにおけるモジュール間のほぼすべてのリンクは２個のモジュールを飛び越すトリプル・オフセット・リンクである。
【０００７】
第２次元リンクは２つのリングを形成してもよく、各リングは５個のモジュールから形成され、各リングのモジュール間の全リンクはダブル・オフセットである。
【０００８】
第３次元リンクは、４個のモジュールを有する第１リングと、６個のモジュールを有する第２リングとを形成してもよい。特定の実施形態においては、第１リングの４個のモジュール間のリンクは１、３、３、および３のオフセットを有し、第２リングの６個のモジュール間のリンクは３、３、５、３、３、および３のオフセットを有する。ここで、オフセットは、特定モジュールから間隔を空けたスロットの数として定義される。
【０００９】
モジュールの複数アレイが、少なくとも１つのリンクを延長する第３次元リンクによって相互接続されてもよい。アレイ間のリンクはシングル・オフセット・リンクである。
【００１０】
ファブリックで接続されるモジュール・アセンブリは、モジュールを装着するためのモジュール接続部および少なくとも第１次元内のモジュールを相互接続するリードを有するバックプレーンと、各モジュールに連結される第１および第２リンク・コネクタと、第１リンク・コネクタ・セットに第１リンク・コネクタを接続するように構成された第１インター・コネクタと、第２リンク・コネクタ・セットに第２リンク・コネクタを接続するように構成された第２インター・コネクタとを備えてもよい。これらインター・コネクタは、第２次元内のモジュールを接続するためのリードを有してもよい。第１アセンブリから第１インター・コネクタを取り外し、第２アセンブリから第２インター・コネクタを取り外し、さらに対応する第１リンク・コネクタ・セットおよび第２リンク・コネクタ・セットを接続することによって、２つのアセンブリは第２次元内で接続できる。
【００１１】
バックプレーンは、モジュールを第３次元内で相互接続するリードを有してもよい。
【００１２】
いくつかの実施形態においては、４つのアセンブリが、第２アセンブリから第１インター・コネクタを取り外し、第３アセンブリから両方のインター・コネクタを取り外し、第４アセンブリから第２インター・コネクタを取り外し、さらに第２アセンブリの第１リンク・コネクタ・セットを第３アセンブリの第２リンク・コネクタ・セットに接続し、第３アセンブリの第１リンク・コネクタ・セットを第４アセンブリの第２リンク・コネクタ・セットに接続することによって、第２次元内で接続される。
【００１３】
モジュール・ファブリックは、モジュールの少なくとも１つのアレイにおいて、少なくとも第１次元で接続される物理的オフセットを有する少なくとも２個の隣接モジュールと、少なくとも２個の隣接モジュールに物理的に隣接する各空スロットを占有する１個または２個のフィラー・モジュールとを備える。フィラー・モジュールは第１次元および第２次元内の少なくとも２個の隣接モジュールに接続される。
【００１４】
物理的オフセットを有する少なくとも２個の隣接モジュールは、第１および第２次元内で相互接続される３個のモジュールを含んでもよく、少なくとも１個のフィラー・モジュールが２個のフィラー・モジュールを含んでも良い。有してもよい。いくつかの実施形態においては、物理的オフセットを有する少なくとも２個の隣接モジュールは、第１、第２、および第３次元内で相互接続される４個またはそれ以上のモジュールを含む。
【００１５】
別の実施形態は、前述のモジュール・ファブリックのさまざまな構成を接続する方法を含む。
【００１６】
いくつかの実施形態は１つまたは複数の以下の利点を有する。ファブリック・アーキテクチャによって、モジュールの単一アレイまたはシェルフをルータとして使用するのが容易になる。ユーザは、モジュールのシングル・シェルフのファブリックに、１個ずつモジュールを追加できる。ファブリックの増設は極めて柔軟である。すなわち、モジュールを追加する方法に関しては制約がほとんどないために、モジュールは多くの方法でファブリックに追加される。ファブリックによって、複数のシェルフをシングル・ルータ内に組み込むことが容易になる。フィラー・モジュールを用いることで多数のリンクが生成されるので、フィラー・モジュールを使用して豊富なファブリック多様性を実現できる。したがって、フィラー・モジュールを用いて生成されるリンクによって実現する冗長性により、ファブリックはファブリック故障に対する回復力がより高くなる。
【００１７】
本発明の前述およびその他の目的、特徴、および利点は、添付図面に示す本発明の好ましい実施形態の以下の詳細な説明で明らかになるであろう。図面では、同一参照符号は異なる図面においても同一部品を指す。図面は必ずしも縮尺通りでなく、本発明の原理を示すことに重点が置かれている。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明の好ましい実施形態について説明する。
【００１９】
図１Ａはルータ・システムのシェルフ１０（あるいはベイとも呼ばれる）を示す。このルータは別のルータ・システムと相互接続されており、この別のルータ・システムは、例えば、ファブリック・ルータのネットワークにより形成されるインターネット・ルータのようなマルチモード・データ処理システム、すなわちマルチコンピュータ・システムである。ファブリック・ルータのネットワークにより形成されるインターネット・スイッチ・ルータは、米国特許第6,370,145号に記載されており、この特許の全内容は参照により本明細書に引用したものとする。
【００２０】
シェルフ１０はバックプレーン１１を備え、このバックプレーン１１は１つのシェルフに配置された１０個のモジュール・スロット１２を有する。スロット１２にはそれぞれのモジュールを装着するモジュール接続部が設けられている。バックプレーン１１にはさらに、ルータ・システムの環境を協働して監視する一対のコントローラ２０用のスロット・セット１８が設けられている。
【００２１】
シェルフ１０のファブリック・トポロジは、米国特許第6,205,532号、およびCoutinho, Briggsおよび DeLisleによる、2002年9月19日出願（代理人ファイル番号第2390.2004-001）の発明の名称「ラック・マウント方式ルータ（Rack Mounted Routers）」（以後、「積重ね可能なルータ」と称する）の米国特許出願に記載される、ルータ・システムの３次元トロイダル・メッシュとは対照的な３次元ハイパーメッシュを形成する。前記特許および特許出願の全内容は参照により本明細書に引用したものとする。シェルフ１０は、豊富なファブリック多様性で小モジュールの個体群をサポートし、シェルフに一個ずつモジュールを追加可能にする。さらに、米国特許第6,205,532号に記載されるルータ内で作動するのと同一のモジュールと、さらに積重ね可能なルータとが、シェルフ１０内で作動できる。
【００２２】
シングル・シュルフ１０はルータとして機能し、このときの各モジュールはファブリック・ルータである。代わりに、２個以上のシェルフ１０を例えばシングル・ラックで相互接続して組合せ、単一の接続されたルータを形成できる。さらに、２個以上のシェルフ１０で積重ね可能なルータを構成して、単一の接続ルータを形成できる。一般に、シェルフ１０は最低でも２個のサーバ２０を支持する。しかし、サーバがシェルフに存在しない場合、サーバ用のスロットはモジュール１４用に利用できる。シェルフ１０はまた、複数世代のモジュールを支持できる。例えば、特定のモジュールは5Gbpsで作動し、一方で別のモジュールは10Gbps、20Gbps、および／または40Gbpsで作動する。一般に、シングル・シェルフ１０の１０個のモジュール１４は３次元で相互接続され、モジュール群の柔軟性を最大にするために、各次元で連結されるモジュール間のオフセット数を最少化する。ここで、オフセットは、特定のモジュールから間隔を空けたスロットの数として定義される。第１次元において、シングル・オフセット・モジュールは１つのリングに接続され、すなわち、各モジュールが１のオフセットで接続される場合は１つの環を形成し、第２次元において、ダブル・オフセット・モジュールは２つのリングに接続される、すなわち、２のオフセットで接続される場合は２つの環を形成する。第３の次元において、トリプル・オフセット・モジュールの大部分は２つのリングに接続される、すなわち、３のオフセットで接続される場合のほとんどは２つの環を形成する。しかし、１０個のモジュールは完全には３つのセットに分割できないため、１個のシングル・オフセット・モジュールと５のオフセットを有するモジュールが存在する。ルータが種々のモジュール数で形成される場合、さまざまな次元のリングが種々のサイズを有するのは明らかである。
【００２３】
図面に関する以下の説明は、さまざまな構成における１つまたは複数のシェルフ１０のファブリック・トポロジおよび物理的アーキテクチャに関する。各図においては、以下の規則を用いる。
【００２４】
・円はモジュール・スロットを表す。
・番号付きの円はモジュールを表し、番号は特定のスロット位置を示す。
・“Ｆ”を付した円はフィラー・モジュール（すき間を埋めるモジュール）を示す。
・“Ｓ”を付した円はサーバを示す。
・複数世代のモジュールを示す図において、斜線部分で“１”を付した円は世代１モジュールを表し、斜線部分で“２”を付した円は世代２モジュールを表す。
・矢印付きの弧はファブリック・リンクを表し、矢印の付いた先端はプラス・ファブリックのエンド・ポイントを表し、矢印のない先端はマイナス・ファブリックのエンド・ポイントを表す。さらに、
−参照符号５０で示される弧はＺファブリック・リンクである。
−参照符号６０で示される弧はＸファブリック・リンクである。
−参照符号７０で示される弧はＹファブリック・リンクである。
−参照符号８０で示される弧はフィラー・モジュールを通して接続されたファブリック・リンク、すなわち接続されたＸリンクおよびＺリンクである。
【００２５】
図２Ａはシェルフ１０の基本ファブリック・アーキテクチャを示す。ＸおよびＺ次元の相互接続は単一のバックプレーン１１（図１Ａおよび図１Ｂ）内に含まれる。Ｙ次元はマルチ・シェルフおよび積重ね可能なルータ構成に拡張性を提供する。図２Ｂが図１Ｂと同様に示すように、１０個のＹコネクタすなわちリンク・コネクタごとに、Ｙファブリック・リンクは上側列２２および下側列２４のそれぞれに配線される。シングル・シェルフ構成およびマルチ・シェルフ構成においてファブリックの高度な多様性を実現するために、１０個のＹコネクタの各列は、外付けのインター・コネクタ（相互接続部（interconnector））・アセンブリ２６ａおよび２６ｂ（図１Ｂ）を有し、これらアセンブリを接続して１つの列当たり５つのＹファブリック・リンクを形成する。
【００２６】
シェルフがルータに追加されると、これらＹインター・コネクタ２６ａおよび２６ｂのいくつかが取り外され、シェルフ間のＹコネクタ・ケーブルがこれらの位置に取り付けられる。図２Ｂに示す通り、Ｙファブリック・リンクの極性が各列内で入り混じり、インター・コネクタが２つの個別の部品（各列について１つで、各々は相互に完全に独立している）として製造される。これにより、インター・コネクタの製造が容易かつ経済的になり、マルチ・シェルフ拡張手順も同様に簡単化される。
【００２７】
図３を参照すると、Ｘファブリックは、５個のノードすなわちモジュールの“２ごとに交互配置した”２つのリングを含む。第１リングは、弧６０−１に示す通り、スロット１、３、５、７、および９のモジュールの相互接続により形成され、第２リングは、弧６０−２に示す通り、スロット２、４、６、８、および１０のモジュールの相互接続により形成される。したがって、スロット１と１０は物理的に相互に隣接していると考えられ、各リング内で結合される５個のモジュール間のオフセットは２、２、２、２、および２となる。ここで、オフセットは特定モジュールから間隔を空けたスロットの数として定義される。
【００２８】
次に図４Ａを参照すると、Ｙ次元におけるファブリック・レイアウトは、“３ごとに交互配置した”２つのリングで形成され、図４Ｃおよび図４Ｄで個々に示されている。両方のインター・コネクタ２６（図１Ｂ）がコネクタ列２２および２４のそれぞれに装着されると、２つのリングの内の第１は、弧７０−１（図４Ｃ）に示されるように、スロット１、４、７、および１０のモジュールを相互接続して形成される４個のノード・リングであり、第２リングは、弧７０−２（図４Ｄ）に示されるように、スロット２、３、５、６、８、および９のモジュールを相互接続して形成される６個のノード・リングである。この場合、スロット１のモジュールから始まる図４Ｃに示すリングのモジュール間のオフセットは、１、３、３、および３であり、スロット２のモジュールから始まる図４Ｄに示すリングのモジュール間のオフセットは、３、３、５、３、３、および３である。
【００２９】
図５を参照して、Ｚ次元のファブリックは、１０個のノードの単一リングから形成され、隣接するスロットのモジュールが弧５０に示すように接続される。したがって、結合されるモジュール間のオフセットは１である。
【００３０】
交互配置されるリング構造を見やすくするために、図６はシェルフ１０の基本ファブリック・トポロジをスロットを円形につないで示している。
【００３１】
ここで説明したファブリックは奇数および偶数のモジュール群を実現する。さらに、単一故障モードが発生するほとんどの場合、前記のファブリックは優れたファブリック多様性を実現する。
【００３２】
リンクの通常動作中またはいずれかの単一故障モードの後、各モジュール１４について３つのアクティブなファブリック・リンクが存在する。ただし、例外としては、１）単一のモジュールのシステムはアクティブなファブリック・リンクを持たず、その結果、単一のモジュールの自己転送性能（self-forwarding performance）を制限する動作能力となる、２）３個のモジュールの・システムで中央のモジュールが故障すると、残り２個のモジュールの間のアクティブなファブリック・リンクが１つとなる、３）４個のモジュール・システムでいずれかのモジュールが故障すると、１個または複数のモジュールでアクティブなファブリック・リンクが２個のみとなる、および４）７個のモジュール・システムで第３モジュールが故障すると、第２モジュールが２つのアクティブなファブリック・リンクのみを有する、がある。
【００３３】
ファブリック・フィラー・モジュールを用いて、妥当なファブリック多様性を実現してモジュールの１個ずつの増設をサポートする。ファブリック・フィラー・モジュールは受動配線装置であり、この装置は、装置が配置されるスロットの＋Ｘを−Ｚのファブリックのエンド・ポイントに接続し、−Ｘを＋Ｚのファブリックのエンド・ポイントに接続する。いくつかの実施形態においては、フィラー・モジュールはこれら接続の両方を提供する。フィラー・モジュールはシェルフ内の連続するモジュール・セットの“端部”に配置される。配置規則の適当な類似例は、“ブック・エンド”の配置である。ブック・エンドを本棚の本のセットの端部に配置するのと同一方法で、ファブリック・フィラー・モジュールをシェルフ内のモジュール・セットの端部に置く。さらに、フィラー・モジュールを使用するのは、端部に隣接するスロット（このようなスロットが存在する場合）が空の場合、すなわち、端部に隣接するスロットがサーバを含まない場合のみである。ＸおよびＺのエンド・ポイントを互いに接続することにより、フィラー・モジュールは物理的な“ブリッジ”を実現し、このブリッジにより、フィラー・モジュールに隣接する次の２個のスロット間にファブリック・リンクを形成する。
【００３４】
図７〜図１２はフィラー・モジュールの使用例を示す。図に示す通り、サーバ２０は１０個のスロットのアレイにおいて端部スロットに配置され、２個またはそれ以上のモジュール１４がサーバ間に配置される。図７はモジュール１４のセットの両端にフィラー・モジュール９０がある状態を示し、Ｚファブリック・リンク５０に加えて追加のファブリック・リンク８０が生成されている。この結果、２個のモジュール１４は、フィラー・モジュールの無い状態で存在する１つのリンク５０の代わりに、３つのアクティブなファブリック・リンクにより接続される。なお、フィラー・モジュール９０が省略されるか、または故障すると、この構成への影響は、トポロジからファブリック・リンクを除外するのみである。フィラー・モジュールの故障によってモジュール同士が切り離されることはなく、ファブリックの動作能力の低下の可能性があるのみである。
【００３５】
図８は３個のモジュール構成を示しており、モジュール１４は、２個のフィラー・モジュールの間に配置され、Ｚファブリック・リンク５０およびＸファブリック・リンク６０、ならびに追加ファブリック・リンク８０により互いに接続される。
【００３６】
図９、図１０、および図１１に示す４個、５個、および６個のモジュールの構成については、それぞれ、Ｘファブリック・リンク６０、Ｙファブリック・リンク７０、およびＺファブリック・リン５０、ならびに追加リンク８０を用いて、モジュール１４を互いに接続する。
【００３７】
前述の通り、端部モジュールに隣接するスロットにサーバが装着されている場合、フィラー・モジュールは必要とされない。例えば、図１２に示す通り、右端のモジュール１４とサーバ２０の間のスロットに装着される、単一のフィラー・モジュールのみが用いられる。７個のモジュール１４が、Ｘファブリック・リンク６０、Ｙファブリック・リンク７０、およびＺファブリック・リン５０により互いに接続され、追加リンク８０を用いて単一のフィラー・モジュール９０に接続される。左端のモジュール１４の次のスロットにはサーバ２０が装着されているため、ここではフィラー・モジュールは使用されない。同様に、図１３に示す構成において、端部モジュール１４はサーバの装着されたスロットに隣接しているので、この構成においては、フィラー・モジュールは使用されない。したがって、図１３の８個のモジュールは、Ｘファブリック・リンク６０、Ｙファブリック・リンク７０、およびＺファブリック・リン５０により互いに接続され、追加ファブリック・リンク８０は使用されない。
【００３８】
いくつかの実施形態においては、サーバ・パッケージがファブリックを埋める機能も含むので、サーバがスロット内にあるとき、サーバに隣接する一対のモジュールのスロットにファブリックを埋める機能を提供する。
【００３９】
いくつかの実施形態においては、２つまたはそれ以上のシェルフ１０を相互接続して、シングル・ルータを形成する。例えば、図１４Ａに、上側ベイ１０−２および下側ベイ１０−１から形成される２−シェルフの構成１００が示され、各ベイは多数の管理目的を果たし、シングル・シェルフに相当する。下側シェルフおよび上側シェルフは番号“１”および“２”でそれぞれ識別され、システム１００のスロット番号は、下側シェルフについては１／１〜１／１０、上側シェルフについては２／１〜２／１０である。
【００４０】
このマルチ・シェルフ構成においては、図１４Ｂに示す通り、下側シェルフ１０−１は下側Ｙインター・コネクタ２６ｂ（図１Ｂ）を保持し、一方、上側シェルフ１０−２は上側Ｙインター・コネクタ・アセンブリ２６ａ（図１Ｂ）を保持する。また、下側シェルフ１０−１のコネクタの上側列２２は、上側シェルフ１０−２のコネクタの下側列２４に、例えばＹシェルフ間コネクタ・ケーブルを用いて接続される。
【００４１】
このように、マルチ・シェルフへの拡張性は、Ｙファブリック・リンク７０により可能になり、一方、Ｘファブリック・リンク６０およびＺファブリック・リンク５０は各シェルフについて同一の状態のままである。このような２−シェルフの実施例においては、Ｙファブリックは８つのノード・リング（図１５Ａ）および１２のノード・リング（図１５Ｂ）から形成され、Ｙファブリック・リンク７０−３および７０−４でそれぞれ表される。ファブリック・リンク７０−３は、モジュール１／１から始めると、オフセット１、１、１、３、１、３、１、および３で、モジュール１／１、２／１、２／１０、１／１０、１／７、２／７、２／４、および１／４を接続する。図１５Ｂの１２個のノードのＹリングは、ファブリック・リンク７０−４の相互接続により形成され、スロット１／２のモジュールから始めると、オフセット１、３、１、３、１、５、１、３、１、３、１、および３で、モジュール１／２、２／２、２／５、１／５、１／８、２／８、２／３、１／３、１／６、２／６、２／９、および１／９を接続する。
【００４２】
前記の２−シェルフ構成の拡張により、４−シェルフ２００のシステムが、図１６に示す通り、４つのベイ１０−１、１０−２、１０−３、および１０−４から容易に構成される。この場合、システム２００のスロット番号は、シェルフ１０−１については１/１〜１／１０、シェルフ１０−２については２／１〜２／１０、シェルフ１０−３については３/１〜３／１０、シェルフ１０−４については４/１〜４／１０である。
【００４３】
この４−シェルフのシステムでも、Ｘファブリック・リンク６０およびＺファブリック・リンク５０は各シェルフについて依然として同一のままであるが、シェルフ間の相互接続はＹ次元で生じている。Ｙファブリック・リンク７０を形成するために、上側および下側のＹインター・コネクタ２６ａおよび２６ｂ（図１Ｂ）の両方がシェルフ１０−２および１０−３から取り外され、一方で、下側Ｙインター・コネクタ２６ｂが上側シェルフ１０−４から取り外され、上側Ｙインター・コネクタ２６ａが下側シェルフ１０−１から取り外される。各シェルフはＹコネクタ・ケーブルを用いて物理的に互いに接続される。すなわち、２−シェルフの構成に関して図１４Ｂに示した接続と同様に形成される上側および下側列の間の接続により、下側シェルフ１０−１のコネクタの上側列２２（図１Ｂ）は第２シェルフ１０−２のコネクタの下側列２４に接続され、第２シェルフ１０−２のコネクタの上側列は第３シェルフ１０−３のコネクタの下側列に接続され、さらに、第３シェルフ１０−３のコネクタの上側列は上側シェルフ１０−４のコネクタの下側列に接続される。このようにして、４−シェルフの構成において形成されるＹファブリックは、第１リンク（図１７Ａ）と第２リンク（図１７Ｂ）とから形成される。第１リンク（図１７Ａ）は、１６個のモジュールがＹファブリック・リンク７０−５により相互接続され、第２リンク（図１７Ｂ）は、２４個のモジュールがＹファブリック・リンク７０−６により相互接続されている。
【００４４】
シェルフ１０は、前述の積重ね可能なルータのような別のタイプのルータ・システムと組み合わせ可能である。例えば、図１８には、２つのシェルフ１０−１および１０−２と、積重ね可能なルータ３０２とから形成されるシングル・ルータ・システム３００を示している。積重ね可能なルータ３０２は、ルータ３０２の２つのシェルフがシングル・ベイと考えられる。したがって、システム３００のスロット番号は、下側シェルフ１０−１については１／１〜１／１０であり、第２シェルフ１０−２については２／１〜２／１０であり、積重ね可能なルータ３０２については３／１〜３／２０である。前述の通り、シェルフ１０−１、１０−２と積重ね可能なルータ３０２の間の相互接続はＹファブリック・リンク７０を介してなされ、一方、Ｘファブリック・リンク６０およびＺファブリック・リンク５０は、シングル・シェルフ構成におけるものと同一の状態を維持する。なお、最上部シェルフ１０−２と積重ね可能なルータ３０２の間のシェルフ間のＹコネクタ・ケーブルは、シェルフのＹ極性に応じて、積重ね可能なルータ３０２の上側（３／１〜３／１０）または下側（３／１１〜３／２０）シェルフに接続される。
【００４５】
上述したシェルフ１０ならびにシステム１００、２００、および３００について、モジュールをさまざまな構成に追加するための特定の増設ルールは、一般に、以下の要点に従う。
【００４６】
・サーバ２０をスロット１０およびスロット１、または単一のサーバのみの場合はスロット１０に装着する。
・最初の２個のモジュールを第１シェルフ１０のスロット５および６に装着し、フィラー・モジュール９０をスロット４および７に装着する。
・一度に１個または複数のモジュール１４を、スロット番号が４、７、３、８、２、および９の順で、スロットに追加していく。各モジュールを追加するとき、フィラー・モジュール９０を次の隣接スロットに移動させる。
・第１シェルフ１０−１のすべてに装着後、第２シェルフ１０−２に装着する。
・第２シェルフに取り付けるために、第１シェルフ１０−１から上側Ｙインター・コネクタ２６ａを取り外し、第２シェルフ１０−２から下側Ｙインター・コネクタ２６ｂを取り外し、１０個のシェルフ間Ｙコネクタ・ケーブルを各コネクタに取り付ける。
・第１シェルフと同一方法で第２シェルフを実装する。なお、第２シェルフへのモジュールの最初の増設は最低２個のモジュールである。
・外挿により、第３および第４のシェルフ１０−３、１０−４を同一方法で実装する。
・２つのシェルフ１０−１および１０−２を積重ね可能なルータ３０２に接続するために、最初にシェルフ１０−１および１０−２のすべてのスロットにモジュールを装着し、その後、積重ね可能なルータのシェルフの中心（図１６に示すスロット３／５、３／６、４／１５、および４／１６）に、最低４個のモジュールを追加する。
・次に、Ｘリングの積重ね可能なルータ３０２に一度に２個のモジュールを追加する。
図１９に、上記手順に従うシングル・シェルフ１０への装着順序を示し、この図では、円内の番号はシェルフにモジュールを装着する順番を表す。
【００４７】
シェルフ１０は、異なる速度で作動する、異なる世代のモジュールを収容できる。一般に、複数世代のモジュールの増設の一般原理は、高速世代のモジュールを水平および垂直の両方向で隣接するスロットに集めることである。シングル・シェルフにおいては、モジュールの１つの世代の集団は、端部に位置する異なる世代のモジュールまたはフィラー・モジュールのいずれかを伴って、任意の隣接スロット・セットに、任意の数のモジュールからなるものであってもよい。複数のシェルフの構成においては、モジュールの１つの世代の集団は、同様にＹリンクで垂直に隣接しているが、集団の端部では異なる世代のモジュールが「張り出して（overhang）」いてもよい。集団は全シェルフ内で水平方向に少なくとも２個のモジュール幅である。さらに、複数のシェルフにおいては、モジュールの１つの世代の集団は垂直方向に１、２、３または４シェルフに拡張でき、全シェルフを通して垂直方向に拡張する必要はない。
【００４８】
図２１、図２１Ａ〜図２１Ｅ、および図２２に、複数世代のモジュールの増設の例を示す。図２０には、例えば20GHzで作動する単一の世代２のモジュール１４２と、例えば10GHzで作動する複数の世代１のモジュール１４１とを有するシングル・シェルフが示されている。なお、世代２のモジュール１４２に接続されている全ファブリック・リンク５０、６０、および７０は、世代１の速度、例えば10GHzで作動する。
【００４９】
図２１Ａ〜図２１Ｅは、Ｙ次元でＹファブリック・リンク７０により相互接続された２つのシェルフ１０−１および１０−２に増設された２つの世代のモジュールを示す。上に概要を説明した通り、第１シェルフ１０−１が少なくとも８スロットに増設された後、２個の追加モジュールを有する新しいシェルフ１０−２を開始する。
【００５０】
図２１Ａにおいては、下側シェルフ１０−１の８個のスロットには世代１のモジュール１４１が装着され、これらはＸリンク６０およびＺリンク５０で相互接続されている。一方、上側シェルフ１０−２の２個の中心スロットには世代２のモジュール１４２が装着され、これらは世代２のリンク５０’により互いに接続され、かつ追加リンク８０’により２個のフィラー・モジュール９０に接続されている。なお、図２１Ａおよび以下に説明する図２１Ｂ〜図２２において示すダッシュ（’）記号の付いたリンクは世代２の速度で作動するリンクを指す。
【００５１】
これに対して、図２１Ｂに示す構成は、第２シェルフ１０−２の２個の中心スロットに世代１のモジュール１４１を有し、第１シェルフ１０−１の中心スロットには２個の世代２のモジュール１４２およびその他のスロットには６個の世代１のモジュール１４１を有する。ここで、高速リンク５０’は第１シェルフの世代２のモジュール１４２の間に確立される。一般に、図２１Ａの構成と比較して、図２１Ｂの構成は世代２のモジュールと世代１のモジュールとの間に優れた横断帯域幅（cross-sectional bandwidth）を提供し、世代２のモジュールはコア・ルータへのアップリンクとして利用されるため、全トラフィックが異なる世代間で転送されるトラフィック・パターンはありそうにもないが、このようなトラフィック・パターンをサポートする。
【００５２】
図２１Ｃに示す構成では、第１シェルフ１０−１は８個の世代１のモジュール１４１を有し、第２シェルフ１０−２は、２個のフィラー・モジュール９０の間に２個の世代２のモジュール１４２と１個の世代１のモジュール１４１とを有する。
【００５３】
図２１Ｄおよび図２１Ｅでは、シェルフ１０−１および１０−２の両方に、世代１のモジュール１４１および世代２のモジュール１４２が設けられている。図２１Ｄについて、下側シェルフ１０−１には８個のモジュールが装着されているため、フィラー・モジュールが使用されていないのに対して、上側シェルフ１０−２は６個のモジュールが装着されており、したがって、端部モジュールの次に２個のフィラー・モジュールが設けられている。図２１Ｅの構成については、１個のフィラー・モジュールのみを用いて、第２シェルフ１０−２内の右端の世代１のモジュール１４１の次のスロットに装着する。複数世代のモジュールに関する前述の増設手順は、図２２に示すように、３つまたはそれ以上のシェルフに容易に拡張できる。
【００５４】
本発明を好ましい実施形態により詳細に図示し、説明してきたが、当業者には、添付の特許請求の範囲に包含される本発明の範囲から逸脱することなく、形態または細部にさまざまな変更を加えるのが可能であることは理解されるであろう。
【図面の簡単な説明】
【００５５】
【図１Ａ】本発明によるモジュール・セットを有するルータのバックプレーンの斜視図である。
【図１Ｂ】図１のバックプレーンの反対側の斜視図であり、インター・コネクタを示している。
【図２Ａ】図１Ａおよび図１Ｂのルータの基本ファブリック・アーキテクチャを示す図である。
【図２Ｂ】１０個のスロットのすべてにモジュールが装着されたときの図２Ａのファブリック・アーキテクチャの物理的相互接続を示す図である。
【図３】図２Ａのファブリック・アーキテクチャのＸファブリック接続性を示す図である。
【図４Ａ】図２Ａのファブリック・アーキテクチャのＹファブリック接続性を示す図である。
【図４Ｂ】図４ＡのＹファブリック接続性の物理的相互接続を示す図である。
【図４Ｃ】図４ＡのＹファブリック接続性の４個のノード・リングを示す図である。
【図４Ｄ】図４ＡのＹファブリック接続性の６個のノード・リングを示す図である。
【図５】図２ＡのＺファブリック接続性を示す図である。
【図６】図２Ａのファブリック・アーキテクチャのファブリック・トポロジを示す図である。
【図７】フィラー・モジュールと２個のモジュールのファブリックを示す図である。
【図８】フィラー・モジュールと３個のモジュールのファブリックを示す図である。
【図９】フィラー・モジュールと４個のモジュールのファブリックを示す図である。
【図１０】フィラー・モジュールと５個のモジュールのファブリックを示す図である。
【図１１】フィラー・モジュールと６個のモジュールのファブリックを示す図である。
【図１２】１個のフィラー・モジュールと７個のモジュールのファブリックを示す図である。
【図１３】２つのサーバ間に配置された８個のモジュールのファブリックを示す図である。
【図１４Ａ】２つのシェルフを有するルータの基本ファブリック・アーキテクチャを示す図である。
【図１４Ｂ】図１４Ａのルータのモジュールの物理的相互接続を示す図である。
【図１５Ａ】図１４ＡのルータのＹ接続性の８個のノードのリングを示す図である。
【図１５Ｂ】図１４ＡのルータのＹ接続性の１２個のノードのリングを示す図である。
【図１６】４つのシェルフを有するルータの基本ファブリック・アーキテクチャを示す図である。
【図１７Ａ】図１６のルータのＹ接続性の１６個のノードのリングを示す図である。
【図１７Ｂ】図１６のルータのＹ接続性の２４個のノードのリングを示す図である。
【図１８】２つのシェルフおよび積重ね可能なルータを有するルータの基本ファブリック・アーキテクチャを示す図である。
【図１９】シングル・シェルフの増設順序を示す図である。
【図２０】２つの世代のモジュールを有するシェルフを示す図である。
【図２１Ａ】モジュールの２つのシェルフの複数世代増設についての構成を示す図である。
【図２１Ｂ】モジュールの２つのシェルフの複数世代増設についての別の構成を示す図である。
【図２１Ｃ】モジュールの２つのシェルフの複数世代増設についてのさらに別の構成を示す図である。
【図２１Ｄ】モジュールの２つのシェルフの複数世代増設についてのさらに別の構成を示す図である。
【図２１Ｅ】モジュールの２つのシェルフの複数世代増設についてのさらに別の構成を示す図である。
【図２２】モジュールの３つのシェルフの複数世代増設を示す図である。
【符号の説明】
【００５６】
１４  モジュール
５０  第１次元リンク
６０  第２次元リンク
７０  第３次元リンク
【図１Ａ】
2006513595.tif 000003
【図１Ｂ】
2006513595.tif 000004
【図２Ａ】
2006513595.tif 000005
【図２Ｂ】
2006513595.tif 000006
【図３】
2006513595.tif 000007
【図４Ａ】
2006513595.tif 000008
【図４Ｂ】
2006513595.tif 000009
【図４Ｃ】
2006513595.tif 000010
【図４Ｄ】
2006513595.tif 000011
【図５】
2006513595.tif 000012
【図６】
2006513595.tif 000013
【図７】
2006513595.tif 000014
【図８】
2006513595.tif 000015
【図９】
2006513595.tif 000016
【図１０】
2006513595.tif 000017
【図１１】
2006513595.tif 000018
【図１２】
2006513595.tif 000019
【図１３】
2006513595.tif 000020
【図１４Ａ】
2006513595.tif 000021
【図１４Ｂ】
2006513595.tif 000022
【図１５Ａ】
2006513595.tif 000023
【図１５Ｂ】
2006513595.tif 000024
【図１６】
2006513595.tif 000025
【図１７Ａ】
2006513595.tif 000026
【図１７Ｂ】
2006513595.tif 000027
【図１８】
2006513595.tif 000028
【図１９】
2006513595.tif 000029
【図２０】
2006513595.tif 000030
【図２１Ａ】
2006513595.tif 000031
【図２１Ｂ】
2006513595.tif 000032
【図２１Ｃ】
2006513595.tif 000033
【図２１Ｄ】
2006513595.tif 000034
【図２１Ｅ】
2006513595.tif 000035
【図２２】
2006513595.tif 000036