(57)【要約】【課題】消費者及び製造業者の両者に対するコストを低減させてシステムのアップグレード及びシステムの再設計を達成することを可能にするシステムを提供すること。【解決手段】　システム(200)であって、所定数のコネクタを各々有する複数のモジュラーセル(100)と、該システムの性能特性がバックプレーン(210)の特定の構成のみによって画定されるよう該特定の構成で複数のモジュラーセルに結合されたバックプレーン(210)であって、該システムの全ての前記モジュラーセルを直接相互接続する複数のキャッシュコヒーレントリンクを含む、バックプレーン(210)とを含むシステム(200)。【選択図】図４
2004070954.tif 000002
【特許請求の範囲】
【請求項１】
　システム(200)であって、
　所定数のコネクタを各々有する複数のモジュラーセル(100)と、
　該システムの性能特性がバックプレーン(210)の特定の構成のみによって画定されるように該特定の構成で前記複数のモジュラーセルに結合されたバックプレーン(210)であって、該システムの全ての前記モジュラーセルを直接相互接続する複数のキャッシュコヒーレントリンクを含む、バックプレーン(210)と
を含むシステム(200)。
【請求項２】
　前記バックプレーンが、複数の方向で直ぐ隣接するモジュラーセルを直接接続する、請求項１に記載のシステム。
【請求項３】
　前記モジュラーセルが、ｘ方向及びｙ方向の両方向で接続されるように２次元アレイ構成で配置される(350)、請求項２に記載のシステム。
【請求項４】
　前記モジュラーセルがプロセッサを含む、請求項１に記載のシステム。
【請求項５】
　前記モジュラーセルが、該モジュラーセルを前記バックプレーンに接続するインタフェイスを更に含む、請求項４に記載のシステム。
【請求項６】
　前記インタフェイスがプロセッサである、請求項５に記載のシステム。
【請求項７】
　前記モジュラーセルが、前記プロセッサに接続された特定用途向け集積回路を更に含み、
　前記インタフェイスが、前記特定用途向け集積回路である、
請求項５に記載のシステム。
【請求項８】
　前記モジュラーセルが、前記プロセッサに接続されたメモリを更に含む、請求項５に記載のシステム。
【請求項９】
　前記モジュラーセルが、前記プロセッサに接続された入出力装置を更に含む、請求項５に記載のシステム。
【請求項１０】
　前記モジュラーセルが、少なくとも１つの特定機能要素を別個に含み、該少なくとも１つの特定機能要素が、プロセッサ、メモリ、及び入出力装置のうちの少なくとも１つを含む、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は一般に複数のプロセッサの複数のクラスタを構成するためのマルチプロセッサシステム及びその手段に関するものである。
【背景技術】
【０００２】
　多くのデータ処理システム（例えば、コンピュータシステム、プログラム可能な電子システム、通信交換システム、及び制御システム）でマルチプロセッサ構成が使用される。かかるマルチプロセッサ（MP）構成は、多数のプロセッサモジュール（プロセッサセルと呼ばれることが多い）を含む。一般的なマルチプロセッサ構成の１つとして、対称型マルチプロセッサ（SMP）システムと呼ばれるものがある。他の一般的なマルチプロセッサ構成として、非対称型マルチプロセッサ（非SMP）システムが挙げられる。非SMPシステムのもう１つの例として、通信を行うがメモリアドレス空間を共有しない複数のプロセッサの複数のクラスタが挙げられる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
　MPシステムは、該システムの幾つかの異なる属性、例えば、システムサイズ、性能特性、可用性、信頼性、及び費用効率を最適化するよう設計することが可能である。現在、異なる属性を有するMPシステムを開発する際には、システム設計者は、当該設計に固有の複数のモジュール又はセルを設計し構築するために大量の時間を費やさなければならない。時間の問題だけでなく、かかる広範囲の再設計は非常に費用がかかる可能性もある。また、異なるシステム設計を構成するために必要となる可能性のある異なるタイプの複数のセルを製造して保管する必要があるため、部品及びシステム製品の供給側に著しい負担が生じる可能性がある。
【課題を解決するための手段】
【０００４】
　システムのコストの半分以上を占める可能性のある、MPシステムで使用されるセルとは対照的に、システムバックプレーンは、再構成にかかる費用が大幅に少ないものである。典型的には、バックプレーンは、必要となるセルを該バックプレーンが受容するのを可能にするコネクタ以外に多くの構成要素を含まないものとなる。単にバックプレーンを再構成することにより（該バックプレーンと同様に関連するセルを再設計することを必要せずに）システムの再設計を行うことができる場合には、システム全体をアップグレードし又は再設計するコストを大幅に低減させることができる。
【０００５】
　本出願で開示するシステムは、消費者及び製造業者の両者に対するコストを低減させてシステムのアップグレード及びシステムの再設計を達成することを可能にするという点で有利なものである。本システムはまた、独自のアセンブリの個数を最小限にすることにより、異なる顧客の使用形態及び要件、多数のパフォーマンスポイント、可用性、又は信頼性属性に関する柔軟性を提供する点、及びその結果として開発コストが低減し、量産性が高まることに起因して製造コストが低減する、という点でも有利である。
【０００６】
　上述その他の利点は、所定数のコネクタをそれぞれ有する複数のモジュラーセルを含むシステムにおいて達成される。本システムはまた、該システムの性能特性がバックプレーンの特定の構成のみによって画定されるように該特定の構成で複数のモジュラーセルに結合された該バックプレーンを含み、該バックプレーンは、システム内のあらゆるモジュラーセルを直接相互接続する複数のキャッシュコヒーレントリンクを含む。
【０００７】
　上述その他の利点はまた、システム内の信号を処理する処理手段を含むシステムにおいて達成される。本システムはまた、複数のキャッシュコヒーレントリンクにより処理手段を相互接続する相互接続手段を含み、該相互接続手段のみによって本システムの性能特性が画定される。
【０００８】
　上述その他の利点はまた、複数のメモリ、複数の入出力装置、及び複数のプロセッサを含むシステムにおいて達成される。各プロセッサは、前記複数のメモリのうちの少なくとも１つと前記複数の入出力装置のうちの少なくとも１つとに接続される。本システムはまた、該システムの性能特性がバックプレーンの特定の構成のみによって画定されるよう該特定の構成で複数のプロセッサに結合された該バックプレーンを含み、該バックプレーンは、該システム内の全てのプロセッサを直接相互接続する複数のキャッシュコヒーレントリンクを含む。
【発明を実施するための最良の形態】
【０００９】
　図１は、マルチプロセッサシステムで使用することができるモジュラーセル100を示している。セル100は、中央処理装置（CPU）102、特定用途向け集積回路（ASIC）104、メモリモジュール106、及び入出力（I／O）モジュール108を含む。ASIC 104は、複数のコネクタ（矢印で示す）を介してシステムバックプレーンと通信して外部データ及び命令を受信し及び送信し、次いで該データ及び命令が、CPU102、メモリモジュール106、及びI／Oモジュール108により受信され送信される。セル100は、スタンドアロンシステムとなるだけの十分なリソースを有している（３つの基本的な構成要素であるCPU102、メモリモジュール106、及びI／Oモジュール108をセル100が有しているため）。セルからバックプレーンへのコネクタは、単一のワイヤ又は一組のワイヤ（「結合」と呼ばれることが多い）とすることが可能である。
【００１０】
　図２は、外部データ及び命令を受信し送信するためにASICを使用しないモジュラーセルの別の実施形態を示している。該セル120は、CPU122、メモリモジュール124、及びI／Oモジュール126を含む。この実施形態では、CPU122は、複数のコネクタ（矢印で示す）を介してシステムバックプレーンとの間で外部データ及び命令を直接受信し送信する。該セル120の利点は、セル120内の構成要素がより少ないため製造コストが低減するということである。しかし、この実施形態の場合にはコストが増大する。これは、ASIC104が通信機能を実行する実施形態におけるCPU102よりもCPU122が大きくなければならないからである。また、処理機能と通信機能との両方を実行するためにピンの数も増加することになる。
【００１１】
　図３Ａないし図３Ｃは、モジュラーセルの更なる実施形態を示しており、これらの場合、各モジュラーセルは、１つの特定のタイプの機能のみを責務としている。図３Ａのプロセッサセル140は、ASIC142及びCPU144を含み、処理機能のみを実行する。図３Ｂのメモリセル160は、ASIC162及びメモリモジュール164を含み、メモリ機能を責務とする。図３ＣのI／Oセル180は、ASIC182及びI／Oモジュール184を含み、入出力装置として機能する。各タイプのセルのASICモジュールは、複数のコネクタ（矢印で示す）を介したシステムバックプレーンとの通信を容易にする。処理要素、メモリ要素、及びI／O要素を各々が含む多機能セル100又は120ではなく、これらの特定機能セル140,160,180を使用してシステムバックプレーンの場所を占める場合には、多機能セル100又は120と同じ機能を提供するために特定のシステムに必要となるセルの数が３倍になることになる。セルの数が多くなると、セル間の通信レイテンシが増大する可能性があり、このため、システムが低速化すると共に同システムのコストが増大する可能性がある。しかし、特定機能セル140,160,180を使用することにより、一層高いシステム構成上の柔軟性が提供され、これにより、システム設計者、システムインテグレータ、及び顧客が、特定の用途に応じて、CPU、メモリ、及びI／Oの正しい組み合わせを決定することが可能となる。特定の構成要素が壊れ、又はそれをアップグレードする必要がある場合に必要となる置換は、多機能セル全体ではなく１つのセル（すなわち分離したCPUセル）のみを置換すればよいため、より単純で低コストとなる。
【００１２】
　上述した様々なタイプのモジュラーセルを、後述する様々なトポロジで相互接続して、MPシステムを生成することができる。後述するトポロジでは、モジュラーセルは、ローカルエリアネットワーク（LAN）ではなくキャッシュコヒーレントリンクで相互接続される。キャッシュコヒーレントリンクは、共有メモリ空間に対する読み出し及び書き込みアクセスを可能にするプロトコルを用いた少なくとも２つのシステム間の通信チャンネルである。このプロトコルは、メモリ空間をローカルでキャッシュすると共に、該キャッシュが常に互いに一貫したものとなるよう共有メモリの同一のビューを維持し続けることを可能にする。したがって、同じメモリロケーションから読み出しを行う場合には、何れのプロセッサが読み出しを行うかに関らず、及び何れのキャッシュからデータが到来するかに関らず、結果は常に同じになる。これは、２つの相互接続されたシステムが互いにメッセージを送信することはできるが相手のメモリに対して読み出し及び書き込みを行うことができないLANとは対照的である。
【００１３】
　図４は、パッシブバックプレーン210により互いに接続された複数のセル100を含むMPシステム200を示している。パッシブバックプレーン210はワイヤのみを含む。該バックプレーン210を破線で示す。一実施形態としてセル100を示したが、上述したセル（例えばセル120又はセル140,160,180）の何れを使用することも可能である。あらゆるセル100は、個々のセル100のASICモジュール104間で直接のワイヤ接続により他のあらゆるセル100に接続される。図４では、セル100間の単一ワイヤによる接続が示されているが、セル100間に２つ又は３つ以上の直接の接続が存在することが可能であり、これによりセル100間での一層広帯域幅の通信が可能になる。
【００１４】
　MPシステム200は、キャッシュコヒーレントリンクを使用してセルを直接相互接続するためにパッシブバックプレーンを使用する低コストの小型のシステムの一実施形態である。該実施形態のシステムは、低コスト及び最良の可用性に関して最適化されたものである。バックプレーンがワイヤのみからなり他の構成要素を有していないため、本システムは一層経済的なものとなる。バックプレーンが信頼性の低い能動素子を全く有していないため、可用性が改善され、１つのセルの障害が他のセルの通信を妨げることがなくなる。このシステム設計の制限は、システムのサイズをアップグレードするのが困難なことである。これは、システムに追加される追加のモジュラーセル100の各々毎に該モジュラーセル100との間の追加のワイヤ及び接続が必要になるからである。
【００１５】
　図５は、クロスバーASICバックプレーン260によって互いに接続された複数のセル100を含むMPシステム250を示している。クロスバーは、任意の２つの非ビジーポート間で複数の独立した通信が同時に生じることを可能にする特定のタイプのマルチポート電子スイッチである。例えば、８ポートクロスバーは、ポート1がポート4と通信することを可能にし、これと同時にポート3がポート2と通信することができる。同時に、ポート5はポート8と通信することができ、ポート6はポート7と通信することができる。クロスバーASICバックプレーン260を破線で示す。上述のように、セル100は一実施形態として示したものである。各セル100は、個々のセル100のASICモジュール104とクロスバーASICバックプレーン260との間の幾つかの接続又はキャッシュコヒーレントリンクによってクロスバーバックプレーン260に接続される。図５には４つのリンクを示したが、各セル100は、図示よりも一層多数又は一層少数のリンクを有することが可能である。クロスバーASICバックプレーン260に対するリンクの数を一層少数とする場合には、システムのコストが低減するが、モジュラーセル100とクロスバーASICバックプレーン260との間の接続の割り当てられた帯域幅が低減することによりシステムの性能もまた低減することになる。
【００１６】
　このMPシステムの実施形態はパフォーマンスに関して最適化される。これは、クロスバーバックプレーン260が、より高帯域幅の通信の場合に各セルからの全てのキャッシュコヒーレントリンクを共に「一まとめにする」ことを可能にするからである。しかし、可用性は妥協することになる。これは、クロスバーバックプレーン260における如何なる障害も全てのセルの互いの通信を妨げるものとなるからである。一層多くのポートを含む一層大きなクロスバーASICバックプレーン260を使用して一層大きなシステムを構築することが可能であり、サイズのアップグレードを容易に実施することが可能となる。該一層大きなシステムは、小さなシステムの場合と同じセル100を依然として使用する一層大きなバックプレーンと、必要とされる追加のセル100としか必要としないものである。更に、同じサイズのクロスバーASICバックプレーン260の幾つかの変形例を実施することが可能である。例えば、クロスバーASICバックプレーン260の一変形例は、MPシステムに一層優れたセキュリティを提供する一層多くの機能を有することが可能であり、またクロスバーASICバックプレーン260の別の変形例は、障害に対する一層優れた耐性を提供するものとすることが可能である。
【００１７】
　図６は、パッシブバックプレーン310により互いに接続された複数のセル100を含むMPシステム300を示している。該パッシブバックプレーン310は、「リング」トポロジで配置されたワイヤのみを含む。該バックプレーン310を破線で示す。上述のように、該セル100は一実施形態として示したものである。各セル100は、個々のセル100のASICモジュール104間の直接のワイヤ接続によって各々の隣接するセル100に接続される。また、システム内の最初及び最後のセル100は（図示のように）接続することも接続しないことも可能である。図６には、セル100間の二重のワイヤ接続を示したが、セル100間に単一の接続又は３つ以上の直接接続を設けてセル100間の通信帯域幅をそれぞれ制限し又は拡張することが可能である。バックプレーンにおける空スロット（セルがプラグインされていないスロット）は、リングにおけるギャップと交差する「ジャンパ」又はワイヤ接続によりバイパスされる。
【００１８】
　MPシステム300は、バックプレーンのパッシブな性質（PC基板上のワイヤ又はケーブル）により、コストに関して最適化される。MPシステム300はまた拡張性に関しても最適化される。これは、セル間に単一の接続が存在する状況では、単純に既存の隣接するセルから新たなセルへ２つ以下の接続を追加することにより、より多くのセルをリング内に挿入することができるからである。しかし、この実施形態はパフォーマンスを犠牲にするものである。これは、追加のセルの各々がレイテンシ（すなわち追加されたプロセッサセル毎の追加のリンク又は「ホップ」）を追加し、各「ホップ」が追加の時間を費やし、パフォーマンスを低下させ、及びリングの相互接続の帯域幅の幾分かを消費するからである。
【００１９】
　図７は、ワイヤの相互接続を介して２次元マトリクス又は「メッシュ」に配置された複数のセル100を含むMPシステム350を示している。明瞭化のため、図７ではバックプレーンの輪郭線は省略されている。上述したように、セル100は一実施形態として示したものである。各セル100は、個々のセル100のASICモジュール104間の直接のワイヤ接続又はキャッシュコヒーレントリンクによって他のセル100にそれぞれ接続される。該接続は、１つ又は２つ以上のリンクを使用して提供することが可能であり、これにより、セル100間の通信帯域幅を異ならせることが可能になる。単一のリンクを使用してセル100を接続する最も単純な場合には、セル100をメッシュに接続するのに４つ以下のリンクしか必要ない。
【００２０】
　この実施形態は、コスト効率の良いマルチプロセッサ構成におけるネットワーク拡張性及びパフォーマンスに関して最適化される。サイズの拡張に異なるバックプレーンを必要とするクロスバーバックプレーンによる実施形態とは対照的に、新たなバックプレーンを必要とすることなく、既に構成内にある周辺のセルに対して新たなセルを容易に追加することができる。また、「リング」トポロジによる実施形態の場合に生じるレイテンシ問題は、メッシュ構成ではそれほど顕著なものとはならない。追加の各セルが「ホップ」を追加するが、総レイテンシは、セルの数の大きさの平方根としてしか増大しない。これは、セルが１次元でなく２次元で追加されるからである。
【００２１】
　上記説明は、本発明の例示及び説明を提供するものであるが、本発明を網羅すること、又は本開示の厳密な内容に本発明を限定することを意図したものではない。上記教示に矛盾することなくその修正及び変更を実施すること、又はそれらを本発明を実施することから得ることが可能である。したがって、本発明の範囲は特許請求の範囲及びそれと等価なものによってのみ画定されるものであることに留意されたい。
【図面の簡単な説明】
【００２２】
【図１】マルチプロセッサシステムで使用するためのモジュラーセルの一実施形態を示すブロック図である。
【図２】マルチプロセッサシステムで使用するためのモジュラーセルの別の実施形態を示すブロック図である。
【図３Ａ】モジュラープロセッサセルを示すブロック図である。
【図３Ｂ】モジュラーメモリセルを示すブロック図である。
【図３Ｃ】モジュラー入出力セルを示すブロック図である。
【図４】パッシブバックプレーンを有するマルチプロセッサシステムを示すブロック図である。
【図５】クロスバーバックプレーンを有するマルチプロセッサシステムを示すブロック図である。
【図６】「リング」トポロジーで相互接続されたパッシブバックプレーンを有するマルチプロセッサシステムを示すブロック図である。
【図７】「メッシュ」トポロジーで相互接続されたパッシブバックプレーンを有するマルチプロセッサシステムを示すブロック図である。
【符号の説明】
【００２３】
210　　バックプレーン
100　　セル
200　　MPシステム
【図１】
2004070954.tif 000003
【図２】
2004070954.tif 000004
【図３Ａ】
2004070954.tif 000005
【図３Ｂ】
2004070954.tif 000006
【図３Ｃ】
2004070954.tif 000007
【図４】
2004070954.tif 000008
【図５】
2004070954.tif 000009
【図６】
2004070954.tif 000010
【図７】
2004070954.tif 000011