(57)【要約】本発明は、パケットスイッチに関する。スイッチは、複数のポートカードを含む。各ポートカードは、特定のパケットのストライプを再組立する非分散器を具える。スイッチは、複数のファブリックを具える。各ファブリックは、複数のポートカードの１つから一度に受信したパケットの同じ各フラグメントの断片上にてのみ作動し、同じ各フラグメントが複数のポートカードの１つにて再組立されることを許す。複数のファブリックの各々は、複数のポートカードの各々に接続されている。本発明は、パケットを交換する方法に関する。方法は、ポートカードから複数のファブリックに同期信号を送る工程を含む。次に、パケットのフラグメントをストライプとして、複数のファブリックの各々に送る工程がある。次に、夫々のファブリックが同期信号を受信した後にのみ、各ファブリックにてフラグメントが受信された後に、各ファブリックによってフラグメントに作用する工程がある。
2004503133.tif 000002
【特許請求の範囲】
【請求項１】
パケットを切り換えるスイッチに於いて、
同期信号を送信し、同期信号が送信された後にパケットのフラグメントを送信する送信器と、
同期信号とパケットのフラグメントを送信器から受信し、送信器に繋がった受信器とを具え、受信器は同期信号を受信した後にのみ、フラグメントを処理することを特徴とするスイッチ。
【請求項２】
各送信器及び受信器は、自身の内部作動時間を有し、各送信器及び受信器に繋がって、受信器による同期信号の受信間にどれだけ時間が経過するかを測定し、それを受信器の内部作動時間と比較するクロック機構を具えており、送信器は、送信器自身の内部作動時間が同期信号間の時間と合わさるまで、受信器にフラグメントを送るのを止める請求項１に記載のスイッチ。
【請求項３】
送信器は、一定数の論理的サイクルだけ離れて同期信号を周期的に送る請求項２に記載のスイッチ。
【請求項４】
各送信器は、パケットのフラグメントをストライプとして送信する分散器、及びパケットのフラグメントをストライプとして送信するセパレータを含む請求項３に記載のスイッチ。
【請求項５】
各受信器は分散器からストライプを受信する集約装置、及びセパレータからのパケットのストライプを再組立する非分散器を含む請求項４に記載のスイッチ。
【請求項６】
複数のファブリックを含み、各ファブリックはその中に配置されるセパレータと集約装置を有し、複数のポートカードを含み、各ポートカードはその中に配置される分散器と非分散器を有する請求項５に記載のスイッチ。
【請求項７】
各ファブリック及びポートカードは、自身の内部作動時間を有し、同期信号の受信間にどれだけ時間が経過するかを測定し、それをファブリック又はポートカードの内部作動時間と比較するクロック機構を具えており、セパレータ及び分散器が、セパレータ及び分散器自身の内部作動時間が同期信号間の時間と合わさるまで、非分散器又は集約装置の夫々にフラグメントを送るのを止める請求項６に記載のスイッチ。
【請求項８】
各クロック機構は、他の全てのファブリック及びポートカードから独立した論理的サイクルのクロックソースである受信同期装置を含む請求項７に記載のスイッチ。
【請求項９】
各ファブリックは、同じ論理的サイクル中、パケットの同じ夫々のフラグメントを処理する請求項８に記載のスイッチ。
【請求項１０】
パケットを切り換える方法に於いて、
ポートカードから複数のファブリックへ同期信号を送る工程と、
パケットのフラグメントをストライプとして、複数のファブリックの夫々に送る工程と、
夫々のファブリックが同期信号を受信した後にのみ、各ファブリックにてフラグメントが受信された後に、各ファブリックによりフラグメントに作用する工程を具えた方法。
【請求項１１】
作用する工程の後に、ポートカードによって、複数のファブリックへ周期的な同期信号を送る工程がある請求項１０に記載の方法。
【請求項１２】
周期的な同期信号を送る工程の後に、各ファブリックによって同期信号間にどれだけ時間が経過するかを測定する工程と、各ファブリックによって、同期信号の受信間に経過した時間と各ファブリック自身の内部時間と比較する工程と、ファブリックの内部時間が同期信号間にて経過した時間と合わさるまで、各ファブリックによって、各ファブリック内の各フラグメント上のいかなる動作をも止める工程がある請求項１１に記載の方法。
【請求項１３】
送る工程は、各ポートカードの分散器から同期信号を送る工程を含む請求項１２に記載の方法。
【請求項１４】
送る工程の後に、各ファブリックの集約装置にて、同期信号を受信する工程がある請求項１３に記載の方法。
【請求項１５】
受信する工程の後に、各ファブリックのセパレータからポートカードの非分散器にパケットのフラグメントを送る工程がある請求項１４に記載の方法。
【請求項１６】
作用する工程は、同じ論理的サイクル中、各ファブリックのセパレータを用いて、パケットの同じ各フラグメントを処理する工程を含む請求項１５に記載の方法。
【発明の詳細な説明】
【０００１】
発明の分野
本発明は、ポートカードとファブリック間でフラグメント（断片）をトランスポート（搬送）することに関する。特に、本発明はポートカードと、クロックドリフトとトランスポート遅延を受け入れるファブリック間にて、フラグメントを搬送することに関する。
【０００２】
発明の背景
スイッチは、複数のファブリックとポートカードから構成されるパケット／セル（を交換する）スイッチである。複数のファブリックは、パケットのフラグメントに一度に作用する（ｗｏｒｋ ｏｎ）。各ファブリックは、自身のクロックソースを用いて独立に作動し、しかし同時にいかなる論理的時間に於いても、パケットの同じく対応するフラグメントに作動する必要がある。いくつかの方法は、ロック工程にて全てのファブリックを作動させ、１つの全体的なクロックソースを用いるように考え出された。
このアプローチに関する問題は、１つのクロックソースを用いる単一のポイントが故障することであり、ファブリックとポートカード間のタイミングを合わせることが非常に難しい、なぜならクロックのトランスポート遅延は、クロック期間よりも長いからである。スイッチ内にて最悪のトランスポート遅延は、１つのポートカードからファブリックまで５００ｎｓであり、１２５ＭＨｚのクロックに対するクロック期間は８ｎｓである。考えられるように、１つの宛先で生じたどのクロックのエッジが、異なる宛先で発生した他のエッジに対応しているかを知る方法はない。
【０００３】
スイッチ内のバックプレーン同期装置は、論理的セル／パケットを維持する主要な機能を有し、これはクロックドリフトとトランスポート遅延変動を有するシステム内の全てのファブリックとポートカードに亘って、命令する。これは、ファブリックとポートカードには、独立し自由に動くクロックソースによってソースされることを許す。異なるポートカードからの１つ以上のファブリックに到達するセル／パケットは、トランスポート遅延が各ポートカードから変わるとしても、全てのファブリックに亘った同じ論理的オーダーにて処理される必要がある。セル／パケットの論理的オーダーが維持されないと、ファブリックから出るセル／パケットは、一致しない（ｍａｔｃｈ ｕｐ）特定のセル／パケットのストライプを有し、非分散器によって再組立されることができないであろう。同期装置は、また同じソースから生じるが異なるトランスポート遅延を有するバイトレーンの一列（ギガビットの送受信器を有することによる）を取り扱う。多数のファブリックにデータを分散処理し、パリティデータを他のファブリックに送るスイッチは、米国特許出願０９／３３３，４５０号に記載されており、参照を以て記載に代える。ワイドメモリＴＤＭスイッチングシステムを記載した米国特許出願０９／２９３，５６３号も参照されたい。参照を以て記載に代える。
【０００４】
発明の要約
本発明は、パケットスイッチに関する。スイッチは、複数のポートカードを具える。各ポートカードは、特定のパケットのストライプを再組立する非分散器を具える。スイッチは、複数のファブリックを具える。各ファブリックは、複数のポートカードの１つから一度に受信したパケットの同じ各フラグメントの一片上にてのみ作動し、同じ各フラグメントが複数のポートカードの１つにて再組立されることを許す。複数のファブリックの各々は、複数のポートカードの各々に接続されている。
【０００５】
本発明は、パケットを交換する（切り換える）方法に関する。方法は、ポートカードから複数のファブリックに同期信号を送る工程を具える。次に、パケットのフラグメントをストライプとして、複数のファブリックの各々に送る工程がある。次に、夫々のファブリックが同期信号を受信した後のみ、各ファブリックにてフラグメントが受信された後に、各ファブリックによってフラグメントに作用する工程がある。
【０００６】
好ましい実施例に於いて、バックプレーン同期装置は、スイッチが独立したクロックソースに基づいて動く多数のファブリックを有し、システムにて多数のポートカードソースからのデータを処理することを許し、システムは巨大な内部ボードクロックスキュー及びトランスポート遅延変動を有することができる。バックプレーン同期装置は、個々のファブリックが同じソース（ポートカード）から別々に生じるデータのフラグメントを処理し、ポートカードにてファブリックからのフラグメントを再び並べることを許す。
【０００７】
同一の要素には、図面を通じて同一の参照番号を付している。図面、特に図７を参照すると、パケットスイッチ（１０）が示されている。スイッチ（１０）は、複数のポートカード（１２）を具える。各ポートカード（１２）は、特定のパケットのストライプを再組立する非分散器（１４）を有する。スイッチ（１０）は、複数のファブリック（１６）を具える。各ファブリックは複数のポートカード（１２）の１つから一度に受信された同じ各パケットのフラグメントの一片のみにて作動し、夫々同じフラグメントが複数のポートカード（１２）の１つにて再組立されることを許す。複数のフラグメントの各々は、複数のポートカード（１２）の各々に繋がっている。
【０００８】
各ファブリックは、対になる（ｃｏｍｐａｎｉｏｎ）ストライプを、複数のポートカード（１２）の１つの非分散器（１４）に送るのが好ましい。各ポートカード（１２）は、パケットを複数のファブリック（１６）に分散処理する分散器（１７）を有するのが好ましい。各ファブリックは分散器（１７）からストライプを受信する集約装置（２０）を有するのが好ましい。分散器（１７）及びセパレータ（１８）は、パケットのフラグメントを送る前に、同期信号を集約装置（２０）及び非分散器（１４）の夫々に送るのが好ましい。各集約装置（２０）は、同期信号を受信した後に、フラグメントを処理するのみである。
【０００９】
各ファブリック及びポートカード（１２）は、自身の内部作動時間を有し、同期信号の受信間にどれだけ時間が経過するかを測定し、それをファブリック又はポートカード自身の内部時間と比較するクロック機構（２２）を具えているのが好ましい。セパレータは、ファブリック自身の作動時間が同期信号間の時間と合わさる（ａｌｉｇｎ）まで、非分散器（１４）にフラグメントを送るのを止める。
【００１０】
各クロック機構（２２）は、他の全てのファブリック（１６）及びポートカード（１２）から論理的サイクルの独立したクロックソースである受信同期装置（２４）を含むのが好ましい。分散器（１７）及びセパレータ（１８）は、同期信号を一定数の論理的サイクルだけ離して、周期的に送るのが好ましい。各セパレータ（１８）は、同じ論理的サイクル中に、パケットの同じ各フラグメントを処理するのが好ましい。
【００１１】
本発明は、パケットを切り換える方法に関する。方法は、ポートカード（１２）から複数のファブリックに同期信号を送る工程を具える。次に、パケットのフラグメントをストライプとして、複数のファブリック（１６）の各々に送る工程がある。次に、夫々のファブリックが同期信号を受信した後にのみ、各ファブリックにてフラグメントが受信された後に、各ファブリックによってフラグメントに作用する工程がある。
【００１２】
作用する工程の後に、ポートカード（１２）によって、複数のファブリック（１６）へ周期的な同期信号を送る工程があるのが好ましい。周期的な同期信号を送る工程の後に、ファブリックによって同期信号間にどれだけ時間が経過するかを測定し、各ファブリックによって、同期信号の受信間でどれだけ時間が経過したかを各ファブリック自身の内部時間と比較し、ファブリックの内部時間が同期信号間にて経過した時間と合わさる（ａｌｉｇｎ）まで、各ファブリックによって、各ファブリック内の各フラグメント上のいかなる動作をも止める工程があるのが好ましい。
【００１３】
送る工程は、各ポートカード（１２）の分散器（１７）から同期信号を送る工程を含むのが好ましい。送る工程の後に、各ファブリックの集約装置（２０）にて、同期信号を受信する工程があるのが好ましい。受信する工程の後に、パケットのフラグメントを各ファブリックのセパレータ（１８）からポートカード（１２）の非分散器（１４）に送る工程があるのが好ましい。作用する工程は、各ファブリックのセパレータ（１８）を用いて、同じ論理的サイクル中に、パケットの同じ各フラグメントを処理する工程を含むのが好ましい。
【００１４】
発明の動作に於いて、スイッチ内には、別個のファブリック（１６）から、別個のファブリック（１６）及びセパレータ（１８）上の多数の集約装置にパケットを分散処理する分散器があり、パケットの対のストライプをポートカード（１２）上の１つの非分散器（１４）に送る。バックプレーン同期化に用いられる基本機構は、特別な同期キャラクタを、有効なデータを送る前に宛先（集約装置及び非分散器）に送る送信器（分散器又はセパレータ）を有するべきである。各送信器は、一定数サイクルだけ間隔を空けた期間同期キャラクタを送るだろう。
集約装置（２０）は、同期キャラクタが受信されるまで、そのＦＩＦＯに何も押し入れない。一旦同期キャラクタが受信されると押し入れを開始し、各サイクルはその後入れられる。集約装置（２０）に於いて、これらのＦＩＦＯの読み込み側では、データは同期事象が生ずるまで（後記する）読まれず、同期キャラクタはＦＩＦＯの前部にある。一度生ずると、ＦＩＦＯは連続して読まれる。この機構は、全てのファブリック（１６）上の全ての集約装置内にて、続く（ｆｏｌｌｏｗ）。１つの分散器（１７）からの第１の同期キャラクタの到着を待っている２つの集約装置を持っていることにより、たとえ大きなトランスポート遅延差が存在して、集約装置が分散器から集約装置まで最悪の場合のトランスポート遅延差のために十分長い時間待つにしても、同期キャラクタが全ての集約装置に到着することは保証される。この点から、全ての集約装置はサイクル毎に、ＦＩＦＯにデータを入れ（ｐｕｓｈ）、及びＦＩＦＯからデータを出し（ｐｏｐ）、同じソースからではあるが異なるファブリック（１６）に於けるデータは、各ファブリックは同じ論理的サイクル中に同じパケットのフラグメントを処理するという意味に於いて、一列に並べられる（ａｌｉｇｎｅｄ）。全てのファブリック（１６）に同じ論理サイクルにてパケットの同じ対のフラグメントを処理することが要求される。どのように、各ファブリックが論理サイクルを維持するかは。後で説明する。分散器（１７）は各同期キャラクタ間の一定数の有効データサイクルを送ると考えられる。この機構は、ファブリック（１６）間の異なるトランスポート遅延を扱うが、ポートカード（１２）及びファブリック（１６）間のクロックドリフトは扱わない。入力ＦＩＦＯの書き込み側は、送信器から時間を計られ、入力ＦＩＦＯの読み込み側は、特殊な受信器のシステムクロックによって時間を計られる。分散器（１７）がファブリックよりも僅かに速いクロックスピードで動くなら、各集約装置（２０）にて入力ＦＩＦＯをオーバーフローすることは可能であろう。これを避けるために、システム内の各ＡＳＩＣが、いくつかの基準（ｒｅｆｅｒｅｎｃｅ）に関連してどれだけ速く動いているかを計算する必要があり、速く動きすぎると、速いサイクル数に対してデータ処理を止める必要がある。これは、全てのポートカード（１２）及びファブリック（１６）に亘って、スイッチに要求される。
【００１５】
他のＡＳＩＣに関連して、どれだけ速くＡＳＩＣが動いているかを計算するために、スイッチは送信及び受信カウンタのシステムを用いる。カウンタは、システムの全ての要素が広域同期信号に基づいてそれら自身が論理的に一列に並ぶことを許し、広域同期信号はシステムの全てのＡＳＩＣに分配される。送信カウンタは分散器（１７）及びセパレータ（１８）ＡＳＩＣに用いられるであろうし、受信カウンタは、集約装置（２０）内の受信同期装置（２４）内でのみ用いられるであろう。この２つのカウンタは、’０’から’３’まで連続して数え、全てのｘ１２５ＭＨｚクロックサイクルを増加させ（ｉｎｃｒｅｍｅｎｔ）、ここでｘはソフトウエアによってプログラムされるカウンタチックの長さである。ｘは容易に計算されて、２５０サイクルになる。受信カウンタは、送信カウンタの遅延された仕様になるだろう。この遅延は、１５０サイクルになると見積もられる。この遅延は、送信器と受信器間の最悪の場合のトランスポート遅延に、同期パルスの最悪の場合のトランスポート遅延を加えたものに大凡等しい。この遅延はまた、最悪の場合の速い及び遅い送信器及び受信器を考慮に入れる。受信遅延は、何れかの入力ＦＩＦＯを読む前に、最も遅い経路パケットが、集約装置（２０）に受信されることを許す。
【００１６】
同期パルス期間は、同期パルス間のサイクル数として定義される。これは約２２，０００サイクルと容易に見積もられる。これは、各ＡＳＩＣのシーケンスカウントの’０’ウインドウに後で現れる為に、約１０サイクルだけ僅かに拡張される。これは、あらゆるＡＳＩＣは速く動きすぎるように見えることを確実にするために成される。拡張が加えられなかったならば、同期パルスは’３’のウインドウに現れ、ＡＳＩＣは自身を遅いと考えるであろう。遅れを取り戻す（ｃａｔｃｈ ｕｐ）方法はない。この理由から、同期パルスの拡張は、全てのＡＳＩＣが速く動きすぎると考えることを強いる。各送信器及び受信器は、同期パルスが到着したときと、自身のカウンタが’３’から’０’に移行するときの間の差を計算するであろう。この差は、速いサイクル数であり、ロックダウン総量と呼ばれる。一旦、送信器がＺサイクルでロックダウンすべきと決定すると、その’０’ウインドウ中に有効データを送るのを終え、次にＺサイクルでロックダウンする。
ロックダウン期間中、有効又は無駄なデータは送られない。その代わり、受信器によって認識されるであろう特殊なロックダウンキャラクタが送信される。受信器はその入力ＦＩＦＯにロックダウンキャラクタを書き込まない。これにより、入力ＦＩＦＯはオーバーフローできないことが確実になる。ＦＩＦＯの読み取り側にて、入力ＦＩＦＯの読み込みは、ロックダウンウインドウ中は停止する。これにより、入力ＦＩＦＯはアンダーフローしないことが確実になる。入力ＦＩＦＯの平均深さが、長時間に亘って測定されるならば、それは一定となるであろう。
【００１７】
集約装置（２０）内の受信同期装置（２４）ブロックは、入力ＦＩＦＯからのデータをいつ受け入れるべきかを判断するために、シーケンスカウンタを用いる。一旦、同期キャラクタが読まれると、ＦＩＦＯからの読み込みは”０”から”１”へのシーケンスカウンタの移行を一旦生じるのみであり、直ぐに同期パルスの到着が続く。”０”から”１”への移行は、同期事象であり、システムの全てのＡＳＩＣに共通する。読み込み決定は、これらの同期事象の各々にて一度だけ成される。
【００１８】
非分散器（１４）内の受信同期装置（２４）ブロックは、バックプレーン同期化を実行するために、シーケンスカウンタを要求しない。非分散器の見地からは、時間の開始にて、同期装置は個々のバイトレーンＦＩＦＯをファイルするのをいつ開始するかを決定するのに、同期キャラクタを用いる。一旦、ＦＩＦＯがファイリングを始めると、最悪の場合のクロックドリフト（読込み側の速いクロック及び最も遅いファブリッククロック）でも、同期装置がＦＩＦＯがアンダーランすることを心配することなく、処理するデータを読むように、同期装置は各重要なバイトレーン（現在のファブリックに関連するバイトレーン）が十分満たすのを待つ。　同期装置は、何れかの入力ＦＩＦＯを読む前に、最悪の場合のトランスポート遅延に等しい時間を待つ。これは、最も遅いトランスポート遅延経路を通ってデータがＦＩＦＯに到着することを確実にする。同時に、ＦＩＦＯは相対する最大のクロックドリフト（早い書き込みクロック及び遅い読み込みクロック）の原因となる（ａｃｃｏｕｎｔ ｆｏｒ）ように十分深い必要があり、更に重要なことは、最大のトランスポート遅延、即ち、１つのファブリックからのＦＩＦＯは、ファブリック（１６）が同じ速さで作動しても、他のファブリックからの対のデータが最初に到着する前に、数十のワード分の深さがあることである。最も遅いバイトレーン及び又は最大のトランスポート遅延を有するバイトレーンからの幾つかの最小バイト数を待った後に、読込み側は全てのバイトレーンを一斉に読み、処理用にバイトダウンストリームを送る。読込み側は、ＦＩＦＯが再び最小深さに達するのを待つ地点で、サイクルの同期パルス期間だけ読み込みを続ける。その地点から、読込み側は各重要なバイトレーンＦＩＦＯ内の第１バイトが同期キャラクタになるのを待つ。
【００１９】
非分散器（１４）内の受信同期装置（２４）ブロックは、異なるファブリック（１６）からのデータを組み合わせるのにファブリックロックダウンを基にする。ファブリックロックダウンは、他の事柄の間で、互いに離れすぎる２つのファブリックはないとのことを保証するのに用いられる機構である。即ち、ファブリック（１６）上で論理的サイクルと物理的サイクルの間の差を制限する（ｂｏｕｎｄ）ことが望ましい。簡単な語では、各ファブリックは周期的な広域同期パルスを受信し、そのパルスを用いてベースライン（最も遅い可能性がある周波数）よりもどれだけ速く送られているかを決定する。どの同期期間中も、各ファブリックは、正確な同じ一定数の論理的サイクルを送る。各ファブリックは他のファブリックと正確に同じ論理的サイクルでロックダウンすると考えられる。即ち、ロックダウンは多重ビットストリーム内の同じポイントで正確に起こり、多重ビットストリームは、グループを成し、別個のファブリック（１６）から生じる。
【００２０】
集約装置（２０）及び非分散器（１４）内の受信同期装置（２４）ブロックは、多重トランシーバからバイトデータを受信する。トランスポート遅延とトランシーバの不安定さの故に、各バイトレーンからのバイトデータは、異なる時に受信同期装置ブロックに到着する。ファブリック（１６）間のクロックドリフト故に、或るバイトレーン上のデータは、他のバイトレーンよりも（同期パルス期間と呼ばれる固定時間の期間に亘って）速い速度で到着する。受信同期装置（２４）ブロックは、重要な各バイトレーンからのデータを組み合わせ、更に処理すべくそれを一斉にダウンストリームに送る。
【００２１】
システムレベルで、２つの別個のファブリック（１６）上に存在する第１及び第２の同期パルス送信器がある。これは、第１の同期パルスが故障した場合に、システムに冗長同期パルスを供給する。各ファブリック及びポートカード（１２）上に、同期パルス受信器もまたある。第１の同期パルス送信器は、フリーランニング型の同期パルス発生器であり、第２の同期パルス送信器は、その同期パルスを第１の同期パルス送信器に同期させるだろう。同期パルス受信器は、第１及び第２の同期パルスの両方を受信し、誤りチェックアルゴリズムに基づいて、正しい同期パルスを選択し、基板上に存在するＡＳＩＣに転送する。同期パルス受信器は常に、最高の優先順位を第１の同期パルス送信器に与える。両同期パルスが”悪い”であれば、同期パルス受信器は”同期外”フラッグをアサート（主張、ａｓｓｅｒｔ）し、該フラッグは全ての受信同期装置に送られる。受信同期装置（２４）は、そのときデータをドロップし、入力ＦＩＦＯを追い出す（ｆｌｕｓｈ ｏｕｔ）。同期パルス受信器は、同期パルス送信器からの同期パルスが、予め定められた許容ウインドウの範囲内に落ちたならば、同期パルスは基板の残りに転送されるのみであることを保証する。同期パルス受信器は、受信した同期パルスが規格内かどうかを知るために、理論的同期パルス期間を知る必要がある。
同期パルス受信器及び関連した受信器ＡＳＩＣは、同じ基板上に存在し、同じ水晶発信器からクロック付けられるから、内部シーケンスカウンタを増分させるのに用いられるクロック間には、クロックドリフトはない。受信同期装置（２４）は、該装置が受信する同期パルスは常に、”０”カウントウインドウの中に存在することを要求するだろう。安定状態に於いて、第２の同期パルス送信器が第１の同期パルス送信器の後を追いつつ、第２の同期パルスは、第１の同期パルスの後に１０００サイクルに達するだろう。各’０’カウントウインドウは、１０００サイクル離れており、同期パルスが’０’カウントウインドウ内に受信されることを確実にするだろう。同期パルス受信器が第２の同期パルス受信器の機能を引き継ぐ時は（ｆａｉｌ ｏｖｅｒ）、第１の同期パルス受信器が行ったように、新たな同期パルスが同じ’０’カウントウインドウ内に落ちる（ｆａｌｌ）こともまた要求される。これを達成するために、同期パルス受信器は、第１の同期パルスを２０００サイクルだけ遅延させ、第２の同期パルスを１０００サイクルだけ遅延させる。
【００２２】
同期パルス受信器が、第１の同期パルス送信器がプログラムされた許容範囲に基づく同期から外れていると判断すると、第２の同期パルス送信器ソースに切り換えるであろう。第２の同期パルス送信器は、第１の同期パルス送信器は同期から外れていると判断し、第１の同期パルス送信器から独立して、自身の同期パルスの生成を開始する。これが、第２の同期パルス送信器の動作の第１モードである。第２の同期パルス送信器が用いる許容範囲は、同期パルス受信器が用いるそれよりも大きいに違いない。第２の同期パルス送信器が第１の同期パルス送信器が故障したと判断する前に、全ての同期パルス受信器が第２の同期パルス送信器に亘って切り換わることを保証することが要求される。同期パルス受信器が切り換わる前に、第２の同期パルス送信機が切り換わることが許されるならば、同期パルス受信器と送信器間の相対距離に基づいて、異なった同期パルス送信器にソースされる異なった同期パルス受信器を有することは可能であろう。全く異なった同期パルス送信器によって同期がとられる（ｓｙｎｃｅｄ）異なった同期装置をシステム内に有する可能性を排除するために、この状況は避けなければならない。
【００２３】
スイッチは、ＲＡＩＤ技術を使用し、個別のファブリック帯域幅を最小限にしつつ、スイッチ帯域幅全体を増大する。スイッチアーキテクチャにおいて、全てのデータは全てのファブリックに均一に分配されるので、スイッチはファブリックを加えることによって帯域幅を増し、ファブリックは、スイッチが帯域幅容量を増大すれば、ファブリックの帯域幅容量を増大する必要がない。
【００２４】
各ファブリックは４０Ｇ（ｂｐｓ）の交換帯域幅を提供しており、システムは、冗長／予備ファブリックを除いた１、２、３、４、６又は１２ファブリックを利用する。換言すると、スイッチは、ファブリックが幾つインストールされるかによって、４０Ｇ（ｂｐｓ）、８０Ｇ、１２０Ｇ、１６０Ｇ、２４０Ｇ又は４８０Ｇのスイッチとなり得る。
【００２５】
ポートカードは、１０Ｇ（ｂｐｓ）のポート帯域幅を提供する。４ポートカード当たり１ファブリックになることが必要である。スイッチアーキテクチャは、ポートカード及びファブリックの任意インストレーションをサポートしない。
【００２６】
ファブリックＡＳＩＣｓは、セルとパケットの両方をサポートする。全体として、スイッチは、「受信器が適切にする（ｒｅｃｅｉｖｅｒ ｍａｋｅｓ ｒｉｇｈｔ）」方法をとっており、この方法においてＡＴＭブレード上の出口パス（ｅｇｒｅｓｓ ｐａｔｈ）は、フレームをセグメント化してセルにしなければならず、フレームブレード上の出口パスは、セルをまとめて再びパケットにしなければならない。
【００２７】
スイッチ内で使用される一般に８スイッチのＡＳＩＣｓは：
−分散器（Ｓｔｒｉｐｅｒ）−分散器は、ポートカード及びＳＣＰ−ＩＭ上に在する。それは、データを１２ビットのデータストリームにフォーマットし、チェックワードを添付し、Ｎ即ちシステム中の予備でないファブリックを横切ってデータストリームを分割し、他のファブリックに向かうストライプと同等な幅のパリティストライプを生成し、且つＮ＋１データストリームをバックプレーンへ送出する。
−非分散器（ｕｎｓｔｒｉｐｅｒ）−非分散器は、スイッチアーキテクチャ内の他のポートカードＡＳＩＣである。これは、システム中の全てのファブリックからデータストリームを受信する。次に、誤り検出修正を実行するために、チェックワード及びパリティ分散を使用して、元のデータストライプを再構築する。
−集約装置（Ａｇｇｒｅｇａｔｏｒ）−集約装置は、分散器からデータストリーム及びルートワードを取り出し、それらを多重化してメモリコントローラへの単一の入力ストリームにする。
−メモリコントローラ−　メモリコントローラは、スイッチのキュー及びデキュー（キューから外す）メカニズムを実行する。これは、クロックサイクル毎に複数セルのデータを同時にエンキュー（ｅｎｑｕｅｕｅ、キューに入れる）／デキューをするために、独占排他権を有する広いメモリインタフェースを含んでいる。メモリコントローラのデキュー側は、コネクションのキュー及びシェ　　ーピングの大部分をポートカード上で行わせるために、４０Ｇｂｐｓよりも８０Ｇｂｐｓで稼働する。
−セパレータ−　セパレータは、集約装置と逆の操作を実行する。メモリコントローラからのデータストリームは、複数のデータストリームに逆多重され、適当な非分散器ＡＳＩＣへ送達される。非分散器へのインタフェースには、キューとフローとの制御ハンドシェーキングが含まれている。
【００２８】
ファブリック間のコネクションについては、３つの異なった視点即ち、物理的、論理的、及び「動的」な視点で見ることができる。物理的には、ポートカードとファブリックとの間のコネクションは、あらゆるギガビット速度の差分ペアのシリアルリンクである。これは、厳密に言うと、バックプレーンへ向かう信号数を減少するための実現（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ、ソフトとハードの調整）の問題である。「動的な」観点では、単一のスイッチの形状を考察するか、又は所定の時点でデータが如何に処理されているかというスナップショットとして考察されるだろう。ポートカード上のファブリックＡＳＩＣとファブリックとの間のインタフェースは、１２ビット幅であるのが効果的である。それらの１２ビットは、ファブリックＡＳＩＣｓが如何に構成されているかによって１、２、３、４、６又は１２ファブリックへ均一に分散（ｓｔｒｉｐｅ）される。「動的」な観点は、現在の構成において各ファブリックによって処理されているビットの数を意味しており、これはファブリック数で割るとちょうど１２である。
【００２９】
論理的な視点は、ある得る動的構成の全ての合併又は最大機能として考えられることができる。ファブリックスロット＃１は、構成に応じて、単一分散器からのデータの１２、６、４、３、２又は１ビットを処理しているであろうゆえに、１２ビットバスで引き抜かれる。それとは対照的に、ファブリックスロット＃３は、単一分散器からのデータの４、３、２又は１ビットを処理するのに使用されるだけであるがゆえに、４ビットバスで引き抜かれる。
【００３０】
以前のスイッチとは違って、該スイッチは、ソフトウェアにより制御可能なファブリック冗長モードの概念を全く有していない。ファブリックＡＳＩＣｓは、予備ファブリックがインストールされている限り、介入なしにＮ＋１冗長を実行する。
ここで提供される限り、Ｎ＋１冗長は、ハードウェアが、データの損失なしに自動的に単一の障害を検出し、修正することを意味する。
【００３１】
冗長性が作動する方法はかなり単純だが、３つのファブリック（Ａ、Ｂ及びＣ）＋予備（Ｓ）を有する１２０Ｇスイッチが使用される特定のケースを理解すれば、より簡単になる。分散器は、１２ビットバスを選び、まず、データユニット（セル又はフレーム）に添付されるチェックワードを生成する。次に、データユニット及びチェックワードは、Ａ、Ｂ及びＣファブリックの各々についてクロックサイクル当り４ビットデータストライプ（Ａ３Ａ２Ａ１Ａ０、Ｂ３Ｂ２Ｂ１Ｂ０及びＣ３Ｃ２Ｃ１Ｃ０）に分割される。次に、これらのストライプは、予備ファブリックＳ３Ｓ２Ｓ１Ｓ０用のストライプを生成するのに使用される。ここで、Ｓｎ＝Ａｎ ＸＯＲ Ｂｎ ＸＯＲ Ｃｎであり、これら４つのストライプは、それらの対応するファブリックへ送られる。ファブリックの反対側において、非分散器は、Ａ、Ｂ、Ｃ及びＳから４つの４ビットストライプを受け取る。次に、３つのファブリックのあり得る全ての組合せ（ＡＢＣ、ＡＢＳ、ＡＳＣ及びＳＢＣ）は、「一時的な」（ｔｅｎｔａｔｉｖｅ）１２ビットのデータストリームの再構築に使用される。次に、チェックワードは、４つの一時的なストリームの各々のために計算され、計算されたチェックワードは、データユニットの端部のチェックワードと比較される。伝送の間にエラーが生じなかった場合、４ストリーム全ては、チェックワードが整合しており、ＡＢＣストリームは非分散器出力へ転送される。（単一の）エラーが生じた場合、１つのチェックワードだけが整合しており、整合を含むストリームはチップ外へ転送され、非分散器は不良のファブリック分散を識別する。
【００３２】
スイッチの構成が異なると、即ち、１、２、４、６又は１２ファブリックであると、アルゴリズムは同一であるが、ストライプ幅は変化する。
２つのファブリックが故障すると、スイッチ中を流れるデータの全ては、殆ど確実に崩れが生じるであろう。
【００３３】
ファブリックスロットは、番号が付され、昇順に並べられなくてはならない。また、予備ファブリックは特定のスロットであるから、ファブリックスロット１、２、３及び４は、ファブリックスロット１、２、３及び予備とは異なる。前者は冗長のない１６０Ｇスイッチであり、後者は冗長を含む１２０Ｇである。
【００３４】
第一に、特定のポートカードスロットを使用するには、そこに、予備を含まない少なくとも１つの所定の最小数のファブリックがインストールされることが必要であるように、ＡＳＩＣｓは構成され、バックプレーンは接続される。この関係は表０に示されている。
【００３５】
それに加え、スイッチ内のＡＰＳ冗長は、特にペアのポートカードに限定される。ポートカード１及び２はペア、ポートカード３及び４はペアというようになっており、これはポートカード４７及び４８まで続いている。これは、ＡＰＳ冗長が要求される場合、ペアのスロットは一緒でなければならないことを意味している。
【００３６】
簡単な例として、２つのポートカード及びファブリックを１つだけ含む構成を挙げてみる。ユーザがＡＰＳ冗長の使用を望まない場合、２つのポートカードは、ポートカードスロット１乃至４のうちの任意の２つにインストールされることができる。ＡＰＳ冗長が望まれる場合には、２つのポートカードは、スロット１及び２、或いはスロット３及び４の何れかにインストールされなければならない。
【００３７】
【表１】
2004503133.tif 000003
表０：ポートカードスロットの使用に関するファブリックの要件
【００３８】
容量を増やすには、新たなファブリックを追加し、スイッチが変化を認識し、新しいファブリックの数を分散してシステムを再形成するのを待つ。新しいポートカードをインストールする。
技術的には、ファブリック毎に容量一杯の４つのポートカードを持つことは不要である。スイッチは、３つのインストール済ファブリック及びスロット（１２）の単一ポートカードで正常に機能する。これはコスト面では有効ではないが、機能可能である。
【００３９】
容量を削除するには、容量追加の工程を逆に行う。
もし、スイッチが超過したとき、即ち、８つのポートカードと１つのファブリックをインストールした場合。
【００４０】
スイッチが超過するのは、スイッチを適度でないアップグレードしたとき、又はある種のシステム障害の結果として発生するだけである。現実には、この状況がどのように発生するかによって２つのうちの１つが発生する。もしスイッチが４０Ｇスイッチとして構成され、ファブリック前にポートカードが追加されたら、第５から第８ポートカードは用いられない。もし、スイッチが８０Ｇの非冗長のスイッチとして構成され、第２ファブリックが不能又は削除されると、スイッチを通じたすべてのデータが不正になる（予備のファブリックはインストールされていないと仮定する）。そして、完了直前に、もし８つのポートカードが８０Ｇの冗長スイッチにインストールされており、そして、第２ファブリックが不能又は削除されていると、予備のスイッチが不能又は削除されたファブリックをカバーして通常の操作を続行する。
図１は、スイッチのパケットストライピングを表している。
【００４１】
チップセットは、ＯＣ４８及びＯＣ１９２ｃの両方の構成中のＡＴＭ及びＰＯＳポートカードをサポートする。ＯＣ４８ポートカードは、４つの別々のＯＣ４８フローを用いてスイッチングファブリックへインターフェースする。ＯＣ１９２ポートカードは、４チャンネルを１０Ｇストリームへ論理的に結合させる。ポートカードの入口側は、ＡＴＭセルとパケット間で変化するトラフィックへのトラフィック変換を実行しない。受信したトラフィックのフォームがどれであれ、スイッチファブリックへ送られる。スイッチファブリックはパケットとセルを混合し、パケットとセルの混合をポートカードの出口側へデキューする（キューから外す）。
【００４２】
ポートの出口側は、トラフィックを変換して出力ポートへの適正なフォーマットとしなければならない。この変換は、スイッチの内容について”受信器が適切にする（ｒｅｃｅｉｖｅｒ ｍａｋｅｓ ｒｉｇｈｔ）”として呼ばれている。セルブレードは、パケットの区切りを実行し、セルブレードはセルをパケット内にて再組立する必要がある。ファブリックのスピードアップをサポートするため、ポートカードの出口側は、ポートカードの着信側の２倍に等しいリンクバンド幅を用いる。
【００４３】
ポセイドンをベースにした（Ｐｏｓｅｉｄｏｎ−ｂａｓｅｄ）ＡＴＭポートカードのブロック図は、図２に示される。各２．５Ｇチャンネルは入力側ＴＭ、入力側の分散器ＡＳＩＣ、非分散器ＡＳＩＣ、出力側の出力ＴＭ　ＡＳＩＣの４つのＡＳＩＣで構成される。
【００４４】
入力側において、ＯＣ−４８ｃ又は４ＯＣ−１２ｃインターフェースは集約される。各ボルテックス（ｖｏｒｔｅｘｓ）は、２．５Ｇセルストリームを専用の分散器ＡＳＩＣへ送信する（下記に表されるようにＢＩＢバスを使用する）。分散器は供給されたルートワードを２つの部分へ変換する。ルートワードの一部は、セルへの出力ポートを決定するためファブリックへ送られる。全ルートワードもまた、出力メモリコントローラによって使用されるルートワードとしてバスのデータ部分上へ送られる。第１ルートワードは「ファブリックルートワード」として表される。出力メモリコントローラのルートワードは「出口ルートワード」である。
【００４５】
出力側において、各チャンネルの非分散器ＡＳＩＣは各ポートカードからトラフィックをとり、エラーチェックしデータを修復し、出力バス上へ正常なパケットを送信する。非分散器ＡＳＩＣは、予備のファブリックからのデータ、及び分散器によりインサートされるチェックサムを使用して、データ異常を検出し修復する。
【００４６】
図２は、ＯＣ４８ポートカードを表す。
ＯＣ１９２ポートカードは、ファブリックへの一つの１０Ｇデータ流れ、及び１０Ｇと２０Ｇ間の出口データ流れをサポートする。このボードも４つの分散器及び４つの非分散器を使用する。しかし、４つのチップは拡張データバス上で並列に操作される。各ファブリックへ送られたデータは、ＯＣ４８及びＯＣ１９２ポートの両方について同一であり、データは、特別な変換機能を必要としないポートタイプ間を流れる。
【００４７】
図３は、１０Ｇ連結ネットワークブレードを表す。
各４０Ｇスイッチファブリックは、４０Ｇｂｐｓセル／フレームまでエンキューし（ｅｎｑｕｅｕｅ、キューに入る）、それらを８０Ｇｂｐｓでデキューする。この２Ｘスピードアップにより、ファブリックにて緩衝されたトラフィックの量が減り、ラインレートの十分上方で出力ＡＳＩＣダイジェストのトラフィックを噴出させる。　スイッチファブリックは集約装置（ａｇｇｒｅｇａｔｏｒ）、メモリコントローラ、セパレータの３種類のＡＳＩＣから構成される。９つの集約装置ＡＳＩＣは、４８までのネットワークブレード及びコントロールポートからのトラフィックの４０Ｇｂｐｓを受信する。集約装置ＡＳＩＣは、ファブリックルートワード及びペイロードを結合して、単一データストリーム、及びソース間のＴＤＭにし、配備され生じる結果をワイド出力バス上に設置する。追加のコントロールバス（ｄｅｓｔｉｄ）は、メモリコントローラがデータをどのようにエンキューするかをコントロールするのに使用される。各集約装置ＡＳＩＣからのデータストリームは１２のメモリコントローラへ分けられる。
【００４８】
メモリコントローラは、１６までのセル／フレームを各時刻サイクルで受信する。各１２のＡＳＩＣは集約されたデータストリームの１／１２を収納する。次に入力中のデータはｄｅｓｔｉｄバス上に受信されたコントロール情報を基にしており収納される。データの収納は、メモリコントローラにて、パケット境界が比較的気づかないほどに単純化される（キャッシュ　ライン　コンセプト）。全１２のＡＳＩＣは８０Ｇｂｐｓに集約されたスピードで、収納されたセルを同時にデキューする（キューから外す）。
【００４９】
９つのセパレータＡＳＩＣは集約装置ＡＳＩＣの逆機能を実行する。各セパレータは全ての１２のメモリコントローラからのデータを受信し、集約装置によってデータストリームに埋め込まれたルートワードを復号し、パケット境界を探す。各セパレータＡＳＩＣは、データがセパレータへ送られたようにメモリコントローラによって示された正確な目的地に応じて、２４までの別の非分散器にデータを送る。
【００５０】
デキュー工程は、背圧（ｂａｃｋ−ｐｒｅｓｓｕｒｅ）駆動される。もし、背圧駆動が非分散器に適用されたら、背圧はセパレータへ逆連繋される。セパレータ及びメモリコントローラも、メモリコントローラが出力ポートへトラフィックをデキューできる時に制御する背圧駆動メカニズムを有する。
【００５１】
チップセットのＯＣ４８及びＯＣ１９２を有効的にサポートする為に、１つのポートカードからの４つのＯＣ４８ポートは常に同じ集約装置へと同じセパレータから送られる（集約装置及びセパレータのポート接続は常に対称である）。
【００５２】
図４Ａ及び図４Ｂは、ファブリックＡＳＩＣの接続を表している。
スイッチの外部インターフェースは、分散器ＡＳＩＣとボルテックス（ｖｏｒｔｅｘ）などの入口ブレードＡＳＩＣ間の入力バス（ＢＩＢ）であり、非分散器ＡＳＩＣとトライデント等の出口ブレードＡＳＩＣ間の出力バス（ＢＯＢ）である。
【００５３】
分散器ＡＳＩＣは入力バス（ＢＩＢ）を経由した入口ポートからのデータを受け取る（ＤＩＮ ＳＴ ｂｌ ｃｈ ｂｕｓとしても知られる）。
このバスは、４つの別々の３２ビット入力バス（４×ＯＣ４８ｃ）、又は全ての分散器へのコントロールラインの共通セットを具え、単一１２８ビット幅データバスの何れかとしても作動できる。このバスは、分散器チップのソフトウェア構成に基づいたセル又はパケットのどちらかをサポートする。
【００５４】
非分散器ＡＳＩＣは出力バス（ＢＯＢ）（ＤＯＵＴ ＵＮ ｂｌ ｃｈ ｂｕｓとしても知られる）を経由して出口ポートへデータを送る。それはセル又はパケットのどちらかをサポートできる６４（又は２５６）ビットデータバスである。それは下記の信号から構成される。
【００５５】
このバスは、４つの別々の３２ビット出力バス（４×ＯＣ４８ｃ）、又は全ての非分散器からのコントロールラインの共通セットを具え、単一１２８ビット幅データバスの何れかとして作動できる。このバスは、非分散器チップのソフトウェア構成に基づくセル又はパケットのどちらをも用いる。
【００５６】
同期装置は２つの主な目的を持つ。第１の目的は、論理的セル／パケット又はデータグラムを全てのファブリックに亘って順序付けて維持することである。ファブリックの入口インターフェース上で、１つのポートカードのチャンネルから１つ以上のファブリックに達するデータグラムは、全てのファブリックが同じ順序で処理される必要がある。同期装置の第２の目的は、たとえ、データグラムセグメントは１つ以上のファブリックから送られ、違う時間にブレード出口入力に到着しても、ポートカードの出口チャンネルを有し、一緒に属している全てのセグメント又はデータグラムのストライプを再構成することである。このメカニズムは、別のネット遅延と、ブレードとファブリック間にてクロックドリフトの変動量を有するシステムで維持することが必要である。
【００５７】
スイッチは、開始情報がシステム全体に伝わる同期ウィンドウのシステムを使用する。各送信器及び受信器は、最新の再同期表示から多数のソースからの同期データまで関連するクロックカウントを見ることが出来る。受信器は広域同期表示を受け取った後に、プログラム可能な遅延まで、同期期間での第１クロックサイクルのデータの受取を遅らせる。
この時点で、全てのデータは同時に受信されたと考えられ、修正された順序付けが適用される。ボックスを通じた遅れのために、パケット０及びセル０の遅延が別の順序で受信器に見られることを引き起こすにもかかわらず、受信時間＝１に於ける両方のストリームの結果順序は、物理的バスに基づいて、そこから受信したパケット０、セル０と同じである。
【００５８】
多重セル又はパケットを、１つのカウンターティック（ｃｏｕｎｔｅｒ ｔｉｃｋ）へ送信することができる。全ての宛先は、第２インターフェース等に移動する前に、第１インターフェースからの全てのセルを整える。このセル同期化技術は、全てのセルインターフェースに使用される。幾つかのインターフェース上には別の解決方法が必要とされる。
【００５９】
同期装置は、２つの主なブロックから成る。主に、送信器と受信器である。送信器ブロックは、分散器及びセパレータＡＳＩＣに属する。受信器ブロックは、集約装置及び非分散器ＡＳＩＣ内にある。集約装置の受信器は、２４（６ポートカード×４チャンネル）入力レーンまで扱える。非分散器の受信器は、１３（１２ファブリック＋１パリティーファブリック）入力レーンまで扱える。
【００６０】
同期パルスの受信時、送信器は先ず早いクロックサイクル（Ｎクロック）の数を計算する。
【００６１】
送信同期装置は、出力ストリームを遮断し、及びロックダウンすることを示すＮＫキャラクターを伝達する。ロックダウンシーケンスの最後に、送信器は次のクロックサイクルにて有効データが始まることを示しているＫキャラクターを伝達する。この次のサイクル有効表示は、全てのソースからトラフィックを同期すらために受信器によって使用される。
【００６２】
次の伝達の最後に、送信器は、インターフェース上に少なくとも１つのアイドルを挿入する。これらのアイドルは、もし復号器が同期から外れるとしたら、１０ビット復号器を１０ビットシリアルコードウインドウへ正常に再同期させる。
【００６３】
受信同期装置は広域同期パルスを受信し、プログラムされた数により同期パルスを遅らせる。（物理的ボックスが有し得る最大量のトランスポート遅延に基いてプログラムされている。）同期パルスを遅延させた後、受信器は同期キャラクターの直ぐ後のクロックサイクルを受信するのに適しているとする。データは各クロックサイクルで、次の同期キャラクターが入力ストリーム上に現れるまで受信される。このデータは、遅延広域同期パルスが現れるまで受信に適しているとはとらえない。
【００６４】
送信器及び受信器が別々の物理的ボード上にあり、別の発振器によってクロックされているから、クロックスピードの差がその間にある。別の送信器及び受信器間のクロックサイクルの数を区切るのに、全てのシーケンスカウンターを再同期するために広域同期パルスがシステムレベルで使用される。各チップは、全ての有効なクロックスキューのもとで、各送信器及び受信器は、少なくとも１つのクロックサイクルにより早いと必ずするように、プログラムされている。各チップは、適正な数のクロックサイクルを待って、それらの現在の同期パルスウインドウへとなる。これは全てのソースが同期パルス間のＮ同期パルスウインドウの有効なクロックサイクルを実行することを保証する。
【００６５】
例えば、同期パルスウインドウは１００クロックまでプログラム可能であるとすると、同期パルスは１００００クロック毎の同期パルスの名目速度で送られる。同期パルス送信器クロック、及び同期パルス受信クロックが共にドリフトした最悪の場合に基いて、同期パルス送信器上に１００００クロックとして受信器には９９９５から１０００５クロックが実際にある。この場合、同期パルス送信器は各１０００６クロックサイクル毎に同期パルスを送信するようにプログラムされる。１０００６クロックにより、全ての受信器が必ずそれらの次のウインドウにあるよう保証される。もし同期パルス送信器が遅いクロックを有すれば、受信器は早いクロックを具えて、実質上１００１２クロックを有する。同期パルスは１２クロックサイクルで受信され、同期パルスウィンドウへ送信するから、チップは１２クロックサイクル遅延する。別の受信器には１０００６クロックが見られ、同期パルスウインドウの最後にて、６クロックサイクルへロックダウンする。両方の場合、各ソースは１０１００クロックサイクルで動作する。
【００６６】
ポートカード又はファブリックが存在せず、又は挿入直後であり、どちらかが受信同期装置の入力を駆動しているとすると、特定の入力ＦＩＦＯへのデータの書込は禁止される。というのは、入力クロックは存在せず、又は不安定でデータラインの状態が判らないからである。ポートカード又はファブリックが挿入された時、ソフトウェアは必ず入れられ、バイトレーンへの入力を可能にして、該ソースからのデータ入力が可能となることを許す。入力ＦＩＦＯへの書込は可能になる。イネーブル信号はポートカード及びファブリックからのデータ、ルートワード、及びクロックが安定した後に、アサート（ａｓｓｅｒｔ）されると考えられる。
【００６７】
システムレベルでは、第１及び第２同期パルス送信器が２つの個別のファブリック上にある。各ファブリック及びブレード上には同期パルス受信器もある。これらは図５に見られる。
第１同期パルス送信器は、フリーランニングの同期パルスジェネレータであり、第２同期パルス送信器はその同期パルスを第１同期パルス送信器へ同期化させる。同期パルス受信器は、第１及び第２同期パルスを共に受信し、エラー検査アルゴリズムに基いて、そのボード上のＡＳＩＣ上へ正しい同期パルスを選択して送信する。同期パルス受信器は、もし同期パルス送信器からの同期パルスが、それ自信のシーケンス０カウント中に落ちたならば、同期パルスは残りのボードに送られることのみが保証される。例えば、同期パルス受信器及び非分散器ＡＳＩＣは共に同じブレード上にある。同期パルス受信器及び非分散器の受信同期装置は同じ水晶発振器からクロックされ、クロックドリフトは　内部シーケンスカウンタを増大させるのに用いられるクロック間には存在しない。受信同期装置は、受信する同期パルスは”０”カウントウインドウ内に常にあることを要求する。
【００６８】
もし同期パルス受信器が、第１同期パルス送信器が同期から外れていると判断したら、第２同期パルス送信器ソースへ切り換える。第２同期パルス送信器も第１同期パルス送信器が同期から外れているかを判定し、第１同期パルス送信器から独立して、第２同期パルス送信器自身の同期パルスを発生する。これが第２同期パルス送信器の操作の第１モードである。
もし同期パルス受信器が第１同期パルス送信器は再び同期するように成ったと判定すると、第１同期パルス送信器側に切り換える。第２同期パルス送信器も、第１同期パルス送信器が再び同期するようになったと判断したら、第２モードへ切り換える。第２モードで、独自の同期パルスを第１同期パルスへ同期させる。同期パルス受信器は、その同期パルスフィルタリングメカニズムにおいて第２同期パルス送信器よりも余裕は少ない。同期パルス受信器は、第２同期パルス送信器よりさらに早く切り換わる。これは第２同期パルス送信器が第１モードに切り換わる前に、全ての受信同期装置が第２同期パルス送信器ソースを使用することへ切り換えることを保証するために行われる。
【００６９】
図５は、同期パルスの分布状況を表す。
同期演算で示されるクロックサイクルの数によるファブリックからのバックプレーン伝達をロックダウンするために、全てのファブリックは、多くのクロックサイクルを効果的にフリーズし、同じエンキュー及びデキュー判定が同期内に留まることを確実にする。これは各ファブリックＡＳＩＣにおけるサポートを必要とする。ロックダウンは、キューリシンク（再同期）のような特殊な機能を含む全ての機能を止める。
【００７０】
同期パルス受信器からの同期信号は、全てのＡＳＩＣへ分配される。各ファブリックＡＳＩＣは、広域同期パルス間のクロックサイクルをカウントするコアクロックドメインのカウンターを含む。同期パルス受信後、各ＡＳＩＣは早いクロックサイクルの数を演算する。広域同期パルスは自身のクロックで伝えられないから、演算されたロックダウンサイクル値は同じファブリック上の全てのＡＳＩＣと同じにはならない。この差は、全てのインターフェースＦＩＦＯをロックダウンカウントの最大スキューを許容できる奥行きを保持することにより説明される。
【００７１】
全てのチップ上のロックダウンサイクルは、「有用な（ロックダウンしない）」サイクルの最後のシーケンスの始まりに対応した同じ論理的ポイントへ常に挿入されている。それは、各チップは常に、ロックダウンサイクルの数がたとえ変化しても、ロックダウン事象間の同じ数の”有用な”サイクルを実行する。
【００７２】
ロックダウンは、異なる時間に異なるチップで発生するかも知れない。全てのファブリック入力ＦＩＦＯは、初期に設定され、ＦＩＦＯが、ドライ又はオーバーフローすることなしに、ロックダウンはＦＩＦＯのどちらか側で最初に発生できるようになっている。各々のチップツーチップインターフェースには、（基板トレース長さ及びクロックスキューと同じく）ロックダウンサイクルを引き起こす同期ＦＩＦＯがある。送信機は、ロックダウン状態の間、ロックダウンを知らせる。
受信器は、示されたサイクルの間はデータを入れず（ｐｕｓｈ）、また、それ自体のロックダウンの間はデータを取り出さない（ｐｏｐ）。ＦＩＦＯの奥行きは、どのチップが最初にロックするかによって変化するが、その変化は、ロックダウンサイクルの最大数によって制限される。特定のチップが１回の広域同期期間の間に判断するロックダウンサイクルの数は変化するが、それらは全て、同じ数の有効なサイクルを有している。特定のファブリック上の各チップが判断するロックダウンサイクルの総数は、同じであって、制限された許容誤差の範囲である。
【００７３】
集約装置コアクロックドメインは、ロックダウン持続時間のために完全に停止し、全てのフロップとメモリは、その状態を保持する。入力ＦＩＦＯは、拡張可能である。ロックダウンバスサイクルは、出力キューに挿入される。コアロックダウンが実行される正確な時期は、ＤＯＵＴ＿ＡＧ（Ｄｉｇｉｔａｌ ＯＵＴ−Ａｎａｌｏｇ Ｇｒｏｕｎｄ）バスプロトコルがロックダウンサイクルを挿入させる時期によって指図される。ＤＯＵＴ＿ＡＧロックダウンサイクルは、ＤｅｓｔＩＤバスに示されている。
【００７４】
メモリコントローラは、適当な数のサイクルのために、全てのフロップをロックダウンせねばならない。メモリコントローラにおけるシリコン領域への影響を削減するため、伝搬ロックダウンと呼ばれる技術が用いられる。
【００７５】
オン−ファブリックのチップツーチップ同期化は、あらゆる同期パルスで実行される。幾つかの同期エラー検出能力が幾つかのＡＳＩＣに存在するけれども、ファブリック同期エラーを検出し、有害なファブリックを取り除くことが非分散器の仕事である。チップツーチップ同期化は、ファブリック上でどの様なパケット流れも可能となる前に行なわれる連鎖式機能である。この同期設定は、集約装置からメモリコントローラへ流れ、セパレータへ行き、またメモリコントローラへ戻る。システムがリセットされた後、集約装置は、第１広域同期信号を待つ。受信後、各集約装置は、ＤｅｓｔＩＤバス上のローカル同期コマンド（値０ｘ２）を、各メモリーコントローラへ送信する。
【００７６】
分散処理機能は、ビットを着信データストリームから個々のファブリックに割り当てる。分散処理機能を導き出す際に、２つの項目が最適化された：
１．バックプレーン効率は、ＯＣ４８及びＯＣ１９２のために最適化されねばならない。
２．バックプレーン相互接続は、ＯＣ１９２オペレーションのために大きく変更されるべきではない。
【００７７】
これらは、分散器及び非分散器ＡＳＩＣに追加された多重通信回路用（ｍｕｘｉｎｇ）レッグに対して、交互に使用された（ｔｒａｄｅｄ−ｏｆｆ）。最適化に関係なく、スイッチは、ＯＣ４８とＯＣ１９２の両方用のメモリコントローラにおいて、同一のデータフォーマットを有さなければならない。
【００７８】
バックプレーン効率を効率よくするには、バックプレーンバスを形成する際に加えられるパッディング（ｐａｄｄｉｎｇ）を最小にする必要がある。ＯＣ４８のための１２ビットバックプレーンバスと、ＯＣ１９２のための４８ビットバックプレーンバスの場合、最適な割り当ての為には、転送用の未使用ビットの数が、（バイト数 ＊８）／バス幅と同一であることを必要とし、“／”は、整数の分数である。ＯＣ４８のためには、バスは、０，４又は８の未使用ビットを有することができる。ＯＣ１９２のためには、バスは、０，８，１６，２４，３２又は４０の未使用ビットを有することができる。
【００７９】
このことは、どのビットも１２ビットの境界の間を移動することができないか、あるいは、ＯＣ４８パッディングは、所定のパケット長さにとって最適ではないことを意味している。
ＯＣ１９２ｃに関し、最大帯域幅利用とは、各分散器が、同じ数のビットを受信せねばならないということを意味している（即ち、分散器へのビットインターリーブを意味する）。同一のバックプレーン相互接続と組み合わされた場合、これは、ＯＣ１９２ｃにおいて、各分散器は、１／４のビットを有する各分散器から来る、確実に正しい数のビットを有していなければならないことを意味する。
【００８０】
データビットをファブリックに割り当てるために、４８ビットのフレームが使用される。分散器の内部には、８０〜１００ＭＨｚでは３２ビット幅で書き込まれ、１２５ＭＨｚでは２４ビット幅で読み取られるＦＩＦＯがある。３つの３２ビットの語は、４つの２４ビットの語を生じる。２４ビットの語の各対は、４８ビットのフレームとして扱われる。ビットとファブリック間の割り当ては、ファブリックの数に左右される。
【００８１】
【表２】
2004503133.tif 000004
表１１：ビット分散処理機能
【００８２】
次の表は、集約装置にて最初に読み取られ、セパレータにて最初に書き込まれるバイトレーンを示している。４つのチャネルは、Ａ、Ｂ、Ｃ、Ｄで表されている。全てのバスが完全に使用されるよう、異なるファブリックは、異なるチャネルの読取／書込オーダーを有している。
【００８３】
１つのファブリック−４０Ｇ
次の表は、集約装置のインターフェース読取オーダーを示している。
【００８４】
【表３】
2004503133.tif 000005
【００８５】
２つのファブリック−８０Ｇ
【表４】
2004503133.tif 000006
【００８６】
１２０Ｇ
【表５】
2004503133.tif 000007
【００８７】
３つのファブリック−１６０Ｇ
【表６】
2004503133.tif 000008
【００８８】
６つのファブリック−２４０Ｇ
【表７】
2004503133.tif 000009
【００８９】
１２のファブリック−４８０Ｇ
【表８】
2004503133.tif 000010
【００９０】
ギガビットトランシーバへのインターフェースは、トランシーババスを２つの分離したルートワードバスとデータバスとを有する分割バスとして使用する。ルートワードバスは、固定サイズ（ＯＣ４８の入口には２ビット、ＯＣ４８の出口には４ビット、ＯＣ１９２の入口には８ビット、ＯＣ１９２の出口には１６ビット）であり、データバスは、変更できるサイズのバスである。送信オーダーは、決められた位置にルートワードバスを常に有している。あらゆる分散処理構造は、１つのトランシーバを有しており、これは、全ての有効な構造において目的物と通話するために用いられるものである。そのトランシーバは、両方のルートワードバスを送り、データの送信を開始するために用いられる。
【００９１】
バックプレーンインターフェースは、バックプレーントランシーバへのインターフェースを用いて、物理的に行なわれる。入口及び出口両用のバスは、２つの半分部分から構成されていると考えられ、各々は、ルートワードデータを有している。
第１バスの半分部分がパケットを終了するなら、半分バスの２つは、個々のパケットに関する情報を有していてよい。
【００９２】
例えば、ファブリックローカル通話に行くＯＣ４８インターフェースは、２４データビットと２ルートワードビットを有している。このバスは、２ｘ（１２ビットデータバス＋１ビットルートワードバス）を有しているかの如く作用して用いられる。２つの半バスを、Ａ及びＢとする。バスＡは、第１データであって、その後にバスＢが続く。パケットは、バスＡとバスＢのどちらでも開始でき、バスＡとバスＢのどちらでも終了できる。
【００９３】
データビットとルートワードビットをトランシーバビットにマッピングする際、バスビットはインターリーブされる。これによって、全てのトランシーバは、たとえ分散処理量が変化しても、同一の有効／無効状態を有さねばならないことを確実にする。ルートワードは、バスＢの前に現れるバスＡによって解釈される。
バスＡ／バスＢという概念は、チップ間にインターフェースを有することと密接に対応している。
【００９４】
全てのバックプレーンバスは、データの断片化をサポートしている。使用されたプロトコルは、（ルートワード中の最終セグメントによって）最後の転送を記録する。最終セグメントでない全ての転送は、たとえ偶数のバイトではなくても、バスの幅全体を利用する必要がある。いかなる一定のパケットも、そのパケットの全ての転送のため、同一の数のファブリックに分散されねばならない。パケットの送信中に、分散器の分散処理量が更新されるとしても、次のパケットの初めに分散処理が更新されるだけである。
【００９５】
ＡＳＩＣにおける送信機の各々は、各チャネルのための次のＩ／Ｏを有している：　８ビットデータバス、１ビットクロック、１ビットコントロール。
受信側では、ＡＳＩＣは、チャネルに次のものを受信する：
受信クロック、８ビットデータバス、３ビットステータスバス。
【００９６】
スイッチは、送信器を１〜３組のバックプレーンにマッピングすることによって、トランシーバを最適化し、各受信器は、１〜３組のバックプレーンを具える。これにより、構造に必要なトラフィックをサポートするのに十分な送信器だけが、完全な１組のバックプレーンネットを維持しながら、基板上に配備される。このような最適化の目的は、必要とされるトランシーバの数を削減することである。
【００９７】
最適化が行なわれる一方、どのようなときにも、２つの異なる分散処理量がギガビットトランシーバにおいて支持されねばならないということが尚求められる。このことは、トラフィックが、分散処理データから１つのファブリックへ、又、分散器の分散処理データから２つのファブリックへ同時にエンキュー（ｅｎｑｕｅｕｅ、キューに入れる）されることを可能とする。
【００９８】
バスの構造によっては、複数のチャネルは、１つの更に大きな帯域幅のパイプを形成するために、互いに連結される必要があるかもしれない（どのようなときにも、論理的な接続では１つ以上のトランシーバが存在する）。４倍ギガビットトランシーバは４つのチャネルを互いに連結することができるが、この機能は用いられない。代わりに、受信ＡＳＩＣが、１つのソースからのチャネル間での同期設定について役割を果たす。これは、総称同期アルゴリズムと同じ文脈である。
【００９９】
ギガビットトランシーバにおける８ｂ／１０ｂ符号化／復号化は、多数の制御事象がチャネルによって送られることを許容する。これらの制御事象は、Ｋ文字で表示され、符号化された１０ビット値に基づいて数字が付される。これらのＫ文字の幾つかは、チップセットで用いられる。使用されるＫ文字とその機能は、下記の表に示されている。
【０１００】
【表９】
2004503133.tif 000011
【０１０１】
パケットに対する分散処理構造によって、スイッチは、各バックプレーンチャネルにサポートされる、変更可能な数のデータビットを有する。トランシーバ一式の内部には、データが次のオーダーで満たされる：
Ｆ［ファブリック］＿［ｏｃ１９２ポート数］［ｏｃ４８ポート指定（ａ，ｂ，ｃ，ｄ）］［トランシーバ＿数］
【０１０２】
チップセットは、ここに説明する一定の機能を実行する。ここで記載した機能の大半は、複数のＡＳＩＣでサポートされているため、それらをＡＳＩＣ毎に逐次記載することは、求められる機能の全体的な範囲についての明確な理解を妨げることになる。
【０１０３】
スイッチチップセットは、６４Ｋ＋６バイトの長さまでパケットと協働するように構成されている。スイッチの入口側には、複数のポート間で共有されるバスが存在する。大半のパケットに関して、それらは、パケットの初めからパケットの終わりまで、いかなる中断もなく送信される。しかしながら、この方法は、遅延感知トラフィックの遅延変動量を大きくすることになりかねない。遅延感知トラフィックとロングトラフィックとが、同一のスイッチファブリックに共存できるようにするため、ロングパケットという概念が導入されている。基本的に、ロングパケットによって、大量のデータは、キューイングロケーションに送られ、ソースを基にキューイングロケーションで集積され、ロングパケットの末端部が転送されると、直ちにキューに加えられる。ロングパケットの定義は、各ファブリック上のビット数に基づいている。
【０１０４】
イーサネット（登録商標）ＭＴＵがネットワーク全体に維持された環境でスイッチが作動している場合、ロングパケットは、４０Ｇｂｐｓより大きいサイズのスイッチには見受けられない。
【０１０５】
ワイドキャッシュライン共有メモリ技術は、セル／パケットをポート／優先キューに格納するために用いられる。共有メモリーは、セル／パケットを継続的に記憶するので、仮想的には、共有メモリーにおいて断片化及び帯域幅の無駄は存在しない。
【０１０６】
複数のキューが共有メモリーに存在する。それらは、宛先及び優先度毎に基づいている。同一の出力優先度とブレード／チャネルＩＤを有する全てのセル／パケットは、同一のキューに記憶される。セルは、常にリストの先頭からデキュー（キューから外す）され、待ち行列の末尾にエンキュー（キューに入れる）される。各セル／パケットは、出口ルートワードの一部と、パケット長さ、及び変更可能な長さのパケットデータによって構成されている。セル及びパケットは、継続的に記憶される。即ち、メモリーコントローラー自体は、ユニキャスト（アドレスを１つだけ指定する通信）接続用のセル／パケットの境界を認識しない。パケット長さは、ＭＣパケット用に記憶される。
【０１０７】
マルチキャストポートマスクメモリー６４Ｋｘ１６−ビットが、マルチキャスト接続用宛先ポートマスクを記憶するために用いられる、即ち、マルチキャストＶＣ毎に１つのエントリー（又は複数のエントリー）である。　マルチキャストＤｅｓｔＩＤ ＦＩＦＯによって示されるヘッドマルチキャスト接続のポートマスクは、スケジューリング検索のために内的に記憶される。ヘッド接続のポートマスクがクリアされ、新たなヘッド接続が提供されると、ポートマスクメモリーが検索される。
【０１０８】
ＡＰＳとは、自動保護スイッチングを表し、ＳＯＮＥＴ冗長基準のことである。スイッチにおいてＡＰＳの特徴をサポートするため、２つの異なるポートカードの２つの出力ポートが、略同一のトラフィックを送る。メモリーコントローラーは、ＡＰＳポート用に１組のキューを維持し、両方の出力ポートに同じデータを送る。
【０１０９】
メモリーコントローラーＡＳＩＣにおけるデータ２重化をサポートするため、複数のユニキャストキューの１つは各々、プログラム可能なＡＰＳビットを有している。ＡＰＳビットが１に設定されると、パケットは、両方の出力ポートにデキューされる。ＡＰＳビットがポート用にゼロに設定されると、ユニキャストキューは、正常モードで作動する。ポートがＡＰＳスレイブとして構成されると、ポートは、ＡＰＳマスターポートのキューから読み取る。ＯＣ４８ポートに関し、ＡＰＳポートは、隣接するポートカードの同じＯＣ４８ポート上に常に存在する。
【０１１０】
ファブリック間のメモリーコントローラーにおける共有メモリーキューは、クロックドリフト又は新たに挿入されたファブリックのために、同期から外れている（即ち、異なるメモリーコントローラーＡＳＩＣ間の同一のキューは、異なる奥行きを有している）。ファブリックキューを、任意の状態から有効かつ同期の状態に持っていくことは重要である。又、いかなる復元機構でもセルをドロップしないことが望ましい。
【０１１１】
リシンク（再同期）セルは、全てのファブリック（新たな及び既にあるもの）に一斉に送られて、リシンク状態に入る。ファブリックは、リシンクセルの前に受け取った全てのトラフィックを、キューリシンクが終わる前に、排出しようと試みる。しかし、リシンクセル後に受信したトラフィック（回線上のデータ情報量）は、リシンクセルが終了するまで排出されない。キューリシンクは２つの出来事の１つが生じると終了する。
１．時間切れのとき
２．新たなトラフィックの総量が（リシンクセルの後に受け取ったトラフィック）しきい値を越えたとき
【０１１２】
リシンクキューの終端にて、全てのメモリコントローラは、どのレフトオーバー旧トラフィック（リシンクセルのキューの前に受け取ったトラフィック）をも排出する。解放オペレーションは十分速く、いつリシンク状態に入ったかに拘わらず、全てのメモリコントローラはメモリの全てを一杯にすることができる。
【０１１３】
キューリシンクは、３つの全てのＡＳＩＣファブリックに与えられる。集約器はＦＩＦＯメモリがリシンクセルのキュー後に同様に排出することを確実にしなければならない。メモリコントローラは、キューイング及びドロッピング（データ送信時の損失）を実行する。分離器はトラッフィクをドロッピングし、これが起こったときに長さパージング（構文解析）状態マシンをリセットする。個々のＡＳＩＣにて、キューリシンクの詳細については、ＡＤＳチップを参照されたい。
【０１１４】
デキューについては、マルチキャスト接続（複数の端末に同じ内容を流すこと）は、独立した３２のトークンを各ポートに有し、各々は５０ビットのデータ又はまとまったパケットに相当する。先頭の接続及びその高優先キューのポートマスクは、各サイクル毎にＦＩＦＯ接続及びポートマスクメモリから読み出される。まとまったパケットは先頭接続の長さ領域に基づくマルチキャストキャッシュラインから隔てられている。先頭のパケットは、全ての宛先ポートに送られる。
ポートに対してゼロでないマルチキャストトークンが使用可能であるときは、８つのキュー排出器は、パケットを分離器に送る。次の先頭接続は、現在の先頭パケットがその全てのポートに送られるときにのみ、処理されるだろう。
【０１１５】
キュー構造は、リシンクセルファブリックを介して直ぐに変換され、ポート領域当たりの優先の数が、各ポートがいくつの優先キューを有するかを示すのに用いられる。分散ＡＳＩＣは、ネットワークブレード上にある。
【０１１６】
以下の語は、スイッチの語彙にて、かなり特有の意味を有する。多くはどこかで述べられたが、これは１箇所にそれらを集めて定義することを企画している。
【０１１７】
【表１０】
2004503133.tif 000012
2004503133.tif 000013
2004503133.tif 000014
【０１１８】
カウンタ送信と受信の関係は、図６に示される。
【０１１９】
本発明は例示の目的で前述の実施例に於いて、詳細に記載されてきたが、そのような詳細な記載は単にその目的の為であり、当該分野の専門家であれば、先述の特許請求の範囲によって記載されるようなもののほかにも、発明の精神と範囲から逸脱することなく、変形を成し得るものと理解されるべきである。
【図面の簡単な説明】
本発明の好ましい実施例と本発明を実施する好ましい方法は、添付の図面に示されている。
【図１】
本発明のスイッチに於けるパケット分散処理を示す概略図である。
【図２】
ＯＣ４８ポートカードの概略図である。
【図３】
鎖状ネットワークブレードの概略図である。
【図４】
図４Ａ、図４Ｂは、ＡＳＩＣファブリックに於ける相互接続を示す概略図である。
【図５】
同期パルスの分配状況を示す概略図である。
【図６】
夫々セパレータ及び非分散器用の送受信連続カウンタ間の関係に関する概略図である。
【図７】
本発明のスイッチの概略図である。
【図１】
2004503133.tif 000015
【図２】
2004503133.tif 000016
【図３】
2004503133.tif 000017
【図４Ａ】
2004503133.tif 000018
【図４Ｂ】
2004503133.tif 000019
【図５】
2004503133.tif 000020
【図６】
2004503133.tif 000021
【図７】
2004503133.tif 000022
【国際公開パンフレット】
2004503133.tif 000023
2004503133.tif 000024
2004503133.tif 000025
2004503133.tif 000026
2004503133.tif 000027
2004503133.tif 000028
2004503133.tif 000029
2004503133.tif 000030
2004503133.tif 000031
2004503133.tif 000032
2004503133.tif 000033
2004503133.tif 000034
2004503133.tif 000035
2004503133.tif 000036
2004503133.tif 000037
2004503133.tif 000038
2004503133.tif 000039
2004503133.tif 000040
2004503133.tif 000041
2004503133.tif 000042
2004503133.tif 000043
2004503133.tif 000044
2004503133.tif 000045
2004503133.tif 000046
2004503133.tif 000047
2004503133.tif 000048
2004503133.tif 000049
2004503133.tif 000050
2004503133.tif 000051
2004503133.tif 000052
2004503133.tif 000053
2004503133.tif 000054
2004503133.tif 000055
2004503133.tif 000056
2004503133.tif 000057
2004503133.tif 000058
2004503133.tif 000059
2004503133.tif 000060
2004503133.tif 000061
2004503133.tif 000062
2004503133.tif 000063
2004503133.tif 000064
2004503133.tif 000065
2004503133.tif 000066
2004503133.tif 000067
2004503133.tif 000068
2004503133.tif 000069
2004503133.tif 000070
2004503133.tif 000071
2004503133.tif 000072
2004503133.tif 000073
2004503133.tif 000074
2004503133.tif 000075
2004503133.tif 000076
2004503133.tif 000077
2004503133.tif 000078
【国際公開パンフレット（コレクトバージョン）】
2004503133.tif 000079
2004503133.tif 000080
【国際調査報告】
2004503133.tif 000081
2004503133.tif 000082