(57)【要約】【課題】  自動計算機のためのメモリ・システムを提供すること。【解決手段】  メモリ・コントローラ及びアウトバウンド・リンクを含み、メモリ・コントローラがアウトバウンド・リンクに接続されている、メモリ・システムが開示される。アウトバウンド・リンクは、典型的には、メモリ・コントローラから第１のメモリ層内のメモリ・バッファ装置にメモリ信号を伝える幾つかの伝導経路と、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置とを含む。第１のメモリ層内の各々のメモリ・バッファ装置は、典型的には、メモリ・コントローラからメモリ信号を受信するようにアウトバウンド・リンクに接続される。【選択図】      図４
2009537883.tif 000002
【特許請求の範囲】
【請求項１】
メモリ・コントローラと、
アウトバウンド・リンクであって、前記メモリ・コントローラがアウトバウンド・リンクに接続され、アウトバウンド・リンクは、前記メモリ・コントローラから第１のメモリ層内のメモリ・バッファ装置にメモリ信号を伝える幾つかの伝導経路を含む、アウトバウンド・リンクと、
各々が、前記メモリ・コントローラからメモリ信号を受信するように前記アウトバウンド・リンクに接続された、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置と
を含むメモリ・システム。
【請求項２】
前記第１のメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、前記アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期される、請求項１に記載のメモリ・システム。
【請求項３】
前記互いに同期された前記第１のメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、各々が、所定の同期閾値大きさまで前記メモリ・コントローラと同時に同期された、前記第１のメモリ層内の前記少なくとも２つのメモリ・バッファ装置をさらに含む、請求項２に記載のメモリ・システム。
【請求項４】
各々が、少なくとも２つのメモリ・バッファ装置をさらに含み、少なくとも１つのアウトバウンド・リンクによって前記メモリ層内の少なくとも１つのメモリ・バッファ装置にメモリ信号を通信するように接続され、少なくとも１つのインバウンド・リンクによって前記メモリ層内の少なくとも１つのメモリ・バッファ装置からメモリ信号を通信するように接続された、少なくとも２つのメモリ層をさらに含み、前記インバウンド・リンクはインバウンド・リンク速度によって特徴付けられ、前記アウトバウンド・リンクはアウトバウンド・リンク速度によって特徴付けられ、前記インバウンド・リンク速度は前記アウトバウンド・リンク速度に依存している、請求項１に記載のメモリ・システム。
【請求項５】
各々が、前記第１のメモリ層内のメモリ・バッファ装置から付加的なメモリ層内の２つ又はそれ以上の付加的なメモリ・バッファ装置にメモリ信号を伝えるように、前記第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記アウトバウンド・リンクにおける前記伝導経路の数よりも少ない数の伝導経路を含む、付加的なアウトバウンド・リンクと、
各々が、前記メモリ・コントローラと前記第１のメモリ層内の前記メモリ・バッファ装置との間の前記アウトバウンド・リンク上で前記メモリ・コントローラから伝送される全てのメモリ信号を受信するように、前記付加的なアウトバウンド・リンクの少なくとも２つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置と
をさらに含む、請求項１に記載のメモリ・システム。
【請求項６】
前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、前記アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期される、請求項５に記載のメモリ・システム。
【請求項７】
互いに同期された前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、各々が、所定の同期閾値大きさまで、前記第２のメモリ層内の前記メモリ・バッファ装置がアウトバウンド・リンクによって接続される前記第１のメモリ層内のメモリ・バッファ装置と同時に同期される前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置をさらに含む、請求項６に記載のメモリ・システム。
【請求項８】
一方が、前記第１のメモリ層内の各々のメモリ・バッファ装置から前記メモリ・コントローラにメモリ信号を伝送するように、前記第１のメモリ層内の各々のメモリ・バッファ装置から前記メモリ・コントローラに接続された、複数の別個のインバウンド・リンクをさらに含む、請求項１に記載のメモリ・システム。
【請求項９】
各々が、付加的なメモリ層の付加的なメモリ・バッファ装置から前記第１のメモリ層内の前記メモリ・バッファ装置にメモリ信号を伝えるように、前記第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記インバウンド・リンクにおける前記伝導経路の数と等しい数の伝導経路を含む、付加的なインバウンド・リンクと、
各々が、前記第１のメモリ層の各々のメモリ・バッファ装置から前記メモリ・コントローラに伝送される全てのメモリ信号を、前記付加的なメモリ・バッファ装置から前記第１のメモリ・レベルの前記メモリ・バッファ装置の１つに送るように、前記付加的なインバウンド・リンクの１つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ層と
をさらに含む、請求項８に記載のメモリ・システム。
【請求項１０】
前記第１のメモリ層内の前記第１のメモリ・バッファ装置から付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置に全てのアウトバウンド・メモリ信号を伝えるように、第１のメモリ層内の第１のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記アウトバウンド・リンクにおける前記伝導経路の数と等しい数の伝導経路を含む、付加的なアウトバウンド・リンクと、
各々が、前記付加的なアウトバウンド・リンク及び前記第１のメモリ層内の前記第１のメモリ・バッファ装置を通して、前記メモリ・コントローラから全てのアウトバウンド・メモリ信号を受信するように、前記付加的なアウトバウンド・リンクに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置と
をさらに含み、
前記第１のメモリ層内の少なくとも１つのメモリ・バッファ装置は、付加的なアウトバウンド・リンクを介さずに、前記付加的なメモリ層のいずれかの付加的なメモリ・バッファ装置に接続される、請求項１に記載のメモリ・システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、自動計算機のためのメモリ・システムである。
【背景技術】
【０００２】
１９４８年のＥＤＶＡＣコンピュータ・システムの開発が、コンピュータ時代の始まりとしてよく引用される。その時以来、コンピュータ・システムは、極めて複雑な装置に発展してきた。今日のコンピュータは、ＥＤＶＡＣのような初期のシステムに比べて、はるかに高性能である。コンピュータ・システムは、典型的には、ハードウェア及びソフトウェア・コンポーネントの組み合わせ、アプリケーション・プログラム、オペレーティング・システム、プロセッサ、バス、メモリ、入力／出力装置等を含む。半導体処理及びコンピュータ・アーキテクチャの進歩がコンピュータの高性能化をますます推し進めるにつれて、ハードウェアのより高い性能を生かすために、より高度なコンピュータ・ソフトウェアが発展し、その結果、現在のコンピュータ・システムは、ほんの数年前よりもはるかに強力なものになっている。
【０００３】
現代の高性能コンピューティングの主要なメモリ・システムは、動的ランダム・アクセス・メモリ（「ＤＲＡＭ」）装置のアレイ内にメモリ装置を組み込むものである。図１は、メモリ・バッファ装置を「ハブ」とし、メモリ装置が「スポーク」を表す、ハブ・アンド・スポーク型トポロジーに編成された、メモリ・コントローラ（１０２）と、メモリ・モジュール（１２４）と、メモリ・バッファ装置（１２８）と、メモリ装置（１２５、１２６、１２７）とを含む、従来技術のメモリ・システムの例を示す。メモリ・コントローラ（１０２）は、アウトバウンド・リンク（１１６、１０８、１１２）及びインバウンド・リンク（１２０、１０９、１１３）を含む、１つ又は複数の高速、単方向の物理的リンクを介して、メモリ・バッファ装置（１２８）に相互接続される。各々のメモリ・バッファ装置は、メモリ装置（１２５、１２６、１２７）のバンクに対して独立した１つ又は複数の低速接続を提供する。こうした従来技術のメモリ・システム・アーキテクチャの例が、いわゆる「Ｆｕｌｌｙ  Ｂｕｆｆｅｒｅｄ  Ｄｕａｌ  Ｉｎｌｉｎｅ  Ｍｅｍｏｒｙ  Ｍｏｄｕｌｅ」すなわち「ＦＢＤＩＭＭ」に関するＪｅｄｅｃ標準に記載されている。図１の例は、メモリ・バッファ装置及びメモリ・コントローラの中でもメモリ・バッファ装置及びリンクの１つの「チャネル」又はネットワークを示すにすぎない。
【０００４】
しかしながら、実際的なメモリ・システムは、典型的には、多数のこうしたチャネル又はネットワークと共に実装することができる。各々のこうしたチャネルは、システム・メモリ・キャッシュ・ライン転送（典型的には、６４バイト又は１２８バイト）についての最適な待ち時間、帯域幅及びエラー訂正の効果のために、メモリ・コントローラによって一斉に動作されるランク（１２５、１２６、１２７）に互いに論理的にグループ化されたメモリ・モジュールを含むことができる。
【０００５】
メモリ・コントローラ（１０２）は、メモリ・システム・ネットワーク通信プロトコルに従って、メモリ・アクセスに関するシステム・プロセッサ（１５６）からのシステム要求をパケットに翻訳する。こうしたプロトコルのメモリ「書き込み」パケットは、コマンド（「読み取り」又は「書き込み」）、アドレス及び関連したデータを含むことができ、メモリ「読み取り」パケットは、コマンド及びアドレスを含むことができる。予想されるパケットを含むメモリ読み取りパケットは、メモリ・コントローラに戻され、メモリから読み取られたデータを含む。
【０００６】
ポイント・ツー・ポイントの電気的リンク又は光リンクと共にカスケード・メモリ・バッファ装置で構成されるメモリ・システム・ネットワーク・トポロジーにおけるメモリ・アクセス待ち時間は、特定のランクのメモリ装置とメモリ・コントローラとの間で、メモリ・バッファ装置のカスケード・ネットワーク内の各々のメモリ・バッファ装置を通して伝播する必要があるために低減される。説明のために、メモリ・バッファ装置にわたる信号遷移についての遷移遅延を、待ち時間の１単位とみなすことができる。したがって、メモリ・コントローラ（１０２）とランク１のメモリ装置（１２５）の間のメモリ信号の伝送についての待ち時間は、１の値を有すると言うことができる。メモリ・コントローラ（１０２）とランク２のメモリ装置（１２６）との間のメモリ信号の伝送についての待ち時間は、２の値を有する。以下同様であり、その結果、メモリ・コントローラ（１０２）と任意のランクＸのメモリ装置（１２７）の間のメモリ信号の伝送についての待ち時間は、Ｘの値とみなされる。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
メモリ・アクセス待ち時間に関連する問題に加えて、ポイント・ツー・ポイント・ネットワーク接続を有することにより、インターフェースについての電力消費及びコストの両方とも最大になる。図１のメモリ・システムにおいては、例えば、メモリ・コントローラ及び各々のメモリ・バッファ装置は、各々のリンクの全幅にわたって出力メモリ信号を駆動する。アウトバウンド・リンク内に１０個のラインが存在する場合には、リンクを駆動するメモリ・コントローラ又はメモリ・バッファ装置は、１０個のドライバの全てに給電するための電力要件に併せて、リンクへの出力インターフェース内に１０個の出力ドライバを有する。これらの理由の全てのために、メモリ・システムの分野における革新に対する継続的な必要性が存在する。
【課題を解決するための手段】
【０００８】
したがって、本発明は、第１の実施形態において、メモリ・コントローラと、アウトバウンド・リンクであって、メモリ・コントローラはアウトバウンド・リンクに接続され、アウトバウンド・リンクは、メモリ・コントローラから第１のメモリ層内のメモリ・バッファ装置にメモリ信号を伝える幾つかの伝導経路を含む、アウトバウンド・リンクと、各々が、メモリ・コントローラからメモリ信号を受信するようにアウトバウンド・リンクに接続された、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置とを含むメモリ・システムを提供する。
【０００９】
第１のメモリ層内の少なくとも２つのメモリ・バッファ装置は、アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期されることが好ましい。
【００１０】
互いに同期された第１のメモリ層内の少なくとも２つのメモリ・バッファ装置は、各々が、所定の同期閾値大きさまでメモリ・コントローラと同時に同期された、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置をさらに含むことが好ましい。
【００１１】
メモリ・システムは、各々が、少なくとも２つのメモリ・バッファ装置をさらに含み、少なくとも１つのアウトバウンド・リンクによってメモリ層内の少なくとも１つのメモリ・バッファ装置にメモリ信号を通信するように接続され、少なくとも１つのインバウンド・リンクによってメモリ層内の少なくとも１つのメモリ・バッファ装置からメモリ信号を通信するように接続された、少なくとも２つのメモリ層を含むことが好ましく、インバウンド・リンクはインバウンド・リンク速度によって特徴付けられ、アウトバウンド・リンクはアウトバウンド・リンク速度によって特徴付けられ、インバウンド・リンク速度はアウトバウンド・リンク速度に依存している。
【００１２】
メモリ・システムは、各々が、第１のメモリ層内のメモリ・バッファ装置から付加的なメモリ層内の２つ又はそれ以上の付加的なメモリ・バッファ装置にメモリ信号を伝えるように、第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、メモリ・コントローラを第１のメモリ層内のメモリ・バッファ装置に接続するアウトバウンド・リンクにおける伝導経路の数よりも少ない数の伝導経路を含む、付加的なアウトバウンド・リンクと、各々が、メモリ・コントローラと第１のメモリ層内のメモリ・バッファ装置との間のアウトバウンド・リンク上でメモリ・コントローラから伝送される全てのメモリ信号を受信するように、付加的なアウトバウンド・リンクの少なくとも２つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置とをさらに含むことが好ましい。
【００１３】
付加的なメモリ層内の少なくとも２つのメモリ・バッファ装置は、アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期されることが好ましい。
【００１４】
互いに同期された付加的なメモリ層内の少なくとも２つのメモリ・バッファ装置は、各々が、第２のメモリ層内のメモリ・バッファ装置がアウトバウンド・リンクによって接続される第１のメモリ層内のメモリ・バッファ装置と所定の同期閾値大きさまで同時に同期される、付加的なメモリ層内の少なくとも２つのメモリ・バッファ装置をさらに含むことが好ましい。
【００１５】
メモリ・システムは、複数の別個のインバウンド・リンクであって、一方のインバウンド・リンクが、第１のメモリ層内の各々のメモリ・バッファ装置からメモリ・コントローラにメモリ信号を伝送するように、第１のメモリ層内の各々のメモリ・バッファ装置からメモリ・コントローラに接続された、複数の別個のインバウンド・リンクをさらに含むことが好ましい。
【００１６】
メモリ・システムは、各々が、付加的なメモリ層の付加的なメモリ・バッファ装置から第１のメモリ層のメモリ・バッファ装置にメモリ信号を伝えるように、第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、メモリ・コントローラを第１のメモリ層内のメモリ・バッファ装置に接続するインバウンド・リンクにおける伝導経路の数と等しい数の伝導経路を含む、付加的なインバウンド・リンクと、各々が、第１のメモリ層の各々のメモリ・バッファ装置からメモリ・コントローラに伝送される全てのメモリ信号を、付加的なメモリ・バッファ装置から第１のメモリ・レベルのメモリ・バッファ装置の１つに送るように、付加的なインバウンド・リンクの１つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ層とをさらに含むことが好ましい。
【００１７】
メモリ・システムは、付加的なアウトバウンド・リンクであって、第１のメモリ層内の第１のメモリ・バッファ装置から付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置に全てのアウトバウンド・メモリ信号を伝えるように、第１のメモリ層内の第１のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、メモリ・コントローラを第１のメモリ層内のメモリ・バッファ装置に接続するアウトバウンド・リンク内の伝導経路の数と等しい数の伝導経路を含む、付加的なアウトバウンド・リンクと、各々が、付加的なアウトバウンド・リンク及び第１のメモリ層内の第１のメモリ・バッファ装置を通して、メモリ・コントローラからの全てのアウトバウンド・メモリ信号を受信するように、付加的なアウトバウンド・リンクに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置とをさらに含むことが好ましい。
【００１８】
メモリは、メモリ層内の各々のメモリ・バッファ装置が、メモリ・コントローラからのアウトバウンド・メモリ信号によってアドレス指定されたメモリの一部だけを管理するようにスライスされ、メモリ・システムは、インバウンド・リンクをさらに含み、インバウンド・リンクは２つ又はそれ以上の部分インバウンド・リンクを含み、各々の部分インバウンド・リンクは、第１のメモリ層内の各々のメモリ・バッファ装置からメモリ・コントローラにインバウンド・メモリ信号を伝送するように、第１のメモリ層のメモリ・バッファ装置からメモリ・コントローラに接続され、各々の部分インバウンド・リンクは、インバウンド・リンクの伝導経路の一部を含み、各々の部分インバウンド・リンクは、メモリ・コントローラからのアウトバウンド読み取りメモリ信号によってアドレス指定されたメモリの一部のコンテンツを表すインバウンド・メモリ信号を搬送することが好ましい。
【００１９】
メモリ・システムは、各々が、付加的なメモリ層の付加的なメモリ・バッファ装置から第１のメモリ層のメモリバッファ装置にメモリ信号を伝えるように、第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、メモリ・コントローラを第１のメモリ層内のメモリ・バッファ装置に接続するインバウンド・リンクにおける伝導経路の数よりも少ない数の伝導経路を含む、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置とを含む、付加的な部分インバウンド・リンクをさらに含むことが好ましく、各々の付加的なメモリ・バッファ装置は、第１のメモリ層の各々のメモリ・バッファ装置からメモリ・コントローラに伝送される全てのメモリ信号を、付加的なメモリ・バッファ装置から第１のメモリ・レベルのメモリ・バッファ装置の１つに通信するように、付加的な部分インバウンド・リンクの１つに接続されている。
【００２０】
メモリ・システムは、メモリ・コントローラから受信したメモリ信号を、第１のメモリ層の第１のメモリ・バッファ装置を通して付加的なメモリ層内の少なくとも２つのメモリ・バッファ装置に伝えるように、第１のメモリ層の第１メモリ・バッファ装置に接続され、かつ、最初にイネーブルにされる、第１の付加的なアウトバウンド・リンクと、メモリ・コントローラから受信したメモリ信号を、第１のメモリ層の第２メモリ・バッファ装置を通して付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置に伝えるように、第１のメモリ層の第２メモリ・バッファ装置に接続され、かつ、最初にディスエーブルにされる、第２の付加的なアウトバウンド・リンクと、各々が、メモリ・コントローラからの信号を、第１の付加的なアウトバウンド・リンク又は第２の付加的なアウトバウンド・リンクのいずれかを通して受信するように、第１の付加的なアウトバウンド・リンク及び第２の付加的なアウトバウンド・リンクに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置とをさらに含むことが好ましい。
【００２１】
メモリ・コントローラは、第１のメモリ層の第１メモリ・バッファ装置における故障を検出し、第１の付加的なアウトバウンド・リンクをディスエーブルにし、第２の付加的なアウトバウンド・リンクをイネーブルにする能力をさらに含むことが好ましい。
【００２２】
メモリ・システムは、インバウンド・メモリ信号を第１メモリ・バッファ装置からメモリ・コントローラに通信するように、第１のメモリ層内の第１のメモリ・バッファ装置からメモリ・コントローラに接続された第１のインバウンド・リンクと、インバウンド・メモリ信号を第２のメモリ・バッファ装置から第１のメモリ・バッファ装置に、かつ、第１のメモリ・バッファ装置及び第１のインバウンド・リンクを通してメモリ・コントローラに通信するように、第１のメモリ層内の第２メモリ・バッファ装置から第１のメモリ層内の第１のメモリ・バッファ装置に接続された第２のインバウンド・リンクとをさらに含むことが好ましい。
【００２３】
メモリ・システムは、インバウンド・メモリ信号を、付加的なメモリ層内の第１のメモリ・バッファ装置から第１のメモリ層内の第２のメモリ・バッファ装置に、かつ、第１のメモリ層内の第２のメモリ・バッファ装置、第２のインバウンド・リンク、第１のメモリ層内の第１のメモリ・バッファ装置、及び第１のインバウンド・リンクを通して、メモリ・コントローラに通信するように、付加的なメモリ層内の第１のメモリ・バッファ装置から第１のメモリ層内の第２のメモリ・バッファ装置に接続された第３のインバウンド・リンクと、インバウンド・メモリ信号を、第２のメモリ層内の第２のメモリ・バッファ装置から第２のメモリ層内の第１のメモリ・バッファ装置に、かつ、第２のメモリ層内の第１のメモリ・バッファ装置、第３のインバウンド・リンク、第１のメモリ層内の第２のメモリ・バッファ装置、第２のインバウンド・リンク、第１のメモリ層内の第１のメモリ・バッファ装置、及び第１のインバウンド・リンクを通して、メモリ・コントローラに伝送するように、第２メモリ層内の第２のメモリ・バッファ装置から第２のメモリ層内の第１のメモリ・バッファ装置に接続された第４のインバウンド・リンクとをさらに含むことが好ましい。
【００２４】
したがって、好ましくは、メモリ・コントローラ及びアウトバウンド・リンクを含み、メモリ・コントローラがアウトバウンド・リンクに接続されている、メモリ・システムが開示される。アウトバウンド・リンクは、典型的には、メモリ信号をメモリ・コントローラから第１のメモリ層内のメモリ・バッファ装置に伝える幾つかの伝導経路と、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置とを含む。第１のメモリ層内の各々のメモリ・バッファ装置は、典型的には、メモリ・コントローラからメモリ信号を受信するようにアウトバウンド・リンクに接続される。
【００２５】
ここで、本発明の好ましい実施形態を、ほんの一例として、添付の図面を参照して説明する。
【発明を実施するための最良の形態】
【００２６】
図２から始まる添付の図面を参照して、本発明の実施形態による例示的なメモリ・システムを説明する。本発明の実施形態によるメモリ・システムは、一般に、コンピュータ、つまり自動計算機と共に実装される。したがって、図２は、本発明の実施形態によるメモリ・システムに有用な例示的なコンピュータ（１５２）を含む自動計算機のブロック図を示す。図２のコンピュータ（１５２）は、少なくとも１つのコンピュータ・プロセッサ（１５６）と、システム・バス（１６０）を通してプロセッサ（１５６）及びコンピュータの他のコンポーネントに接続されるメモリ・コントローラ（３０２）とを含む。図２のコンピュータはまた、メモリ信号チャネルのアウトバウンド・リンク（３０６）も含む。メモリ・コントローラ（３０２）は、アウトバウンド・リンクに接続され、アウトバウンド・リンクは、メモリ・コントローラから第１のメモリ層（３５６）内のメモリ・バッファ装置（３５２、３５４）にメモリ信号を伝える幾つかの導電経路又は光伝導経路から構成される。第１のメモリ層内には、少なくとも２つのメモリ・バッファ装置（３５２、３５４）が存在し、第１のメモリ層内の各々のメモリ・バッファ装置は、メモリ・コントローラからメモリ信号を受信するように、アウトバウンド・リンクに接続される。
【００２７】
ＲＡＭ（１６８）内には、データ処理を実行するためのコンピュータ・プログラム命令のユーザ・レベル・モジュールであるアプリケーション・プログラム（１１０）が格納される。同じくＲＡＭ（１６８）内には、コンピュータ・オペレーティング・システム（１５４）も格納される。本発明の実施形態によるメモリ・システムに有用なコンピュータ・オペレーティング・システムは、ＵＮＩＸ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｍｉｃｒｏｓｏｆｔ  ＸＰ（登録商標）、ＡＩＸ（登録商標）、ＩＢＭのｉ５／ＯＳ（登録商標）、及び当業者であれば思い付くような他のものを含む。ＲＡＭ（１６８）内には、図２の例におけるオペレーティング・システム（１５４）及びアプリケーション（１１０）が示されているが、典型的には、不揮発性メモリ（１６６）内に、こうしたソフトウェアの多くのコンポーネントも格納される。
【００２８】
図２のコンピュータ（１５２）は、システム・バス（１６０）を通してプロセッサ（１５６）及びコンピュータ（１５２）の他のコンポーネントにも連結された不揮発性コンピュータ・メモリ（１６６）を含む。不揮発性コンピュータ・メモリ（１６６）は、ハード・ディスク・ドライブ（１７０）、光ディスク・ドライブ（１７２）、電気的に消去・プログラム可能な読み取り専用メモリ空間（いわゆる、「ＥＥＰＲＯＭ」又は「フラッシュ」メモリ）（１７４）、ＲＡＭドライブ（図示せず）、又は当業者であれば思い付くような他の種類のコンピュータ・メモリとして実装することができる。
【００２９】
図２の例示的なコンピュータは、１つ又は複数の入力／出力インターフェース・アダプタ（１７８）を含む。コンピュータ内の入力／出力インターフェース・アダプタは、例えば、コンピュータ・ディスプレイ・スクリーンのような表示装置（１８０）への出力、並びに、キーボード及びマウスのようなユーザ入力装置（１８１）からのユーザ入力を制御するためのソフトウェア・ドライバ及びコンピュータ・ハードウェアを通して、ユーザ指向の入力／出力を実施する。
【００３０】
図２の例示的なコンピュータ（１５２）は、他のコンピュータ（１８２）とのデータ通信（１８４）を実施するための通信アダプタ（１６７）を含む。こうしたデータ通信は、ＲＳ−２３２接続を通してシリアル方式で、ＵＳＢのような外部バスを通して、ＩＰネットワークのようなデータ通信ネットワークを通して、及び当業者であれば思い付くような他の方法で行うことができる。通信アダプタは、１つのコンピュータがデータ通信を別のコンピュータに直接又はネットワークを通して送信する、ハードウェア・レベルのデータ通信を実施する。本発明の実施形態によるメモリ・システムに有用な通信アダプタの例には、有線ダイヤルアップ通信のためのモデム、有線ネットワーク通信のためのイーサネット（登録商標）（ＩＥＥＥ８０２．３）アダプタ、及び無線ネットワーク通信のための８０２．１１ｂアダプタが挙げられる。
【００３１】
さらなる説明のために、図３は、本発明の実施形態によるメモリ・システムに有用な例示的なメモリ・バッファ装置（１２８）の機能ブロック図を示す。図３の例において、メモリ・バッファ装置（１２８）は、高速メモリ・アクセス・トラフィックを再同期させ、これをメモリ・ネットワーク・チャネル（１０８）から関連したメモリ装置（１２６）に、及び、ネットワーク・チャネルを通してチャネル上の他のメモリ・バッファ装置に再駆動する、リンク・インターフェース（２０４）を含む。つまり、リンク・インターフェース（２０４）は、そのアウトバウンド入力受信機回路（２２０）において、メモリ・コントローラにより近いメモリ・ネットワーク（２０２）からメモリ信号を受信し、こうしたトラフィックの各々のパケットを再同期させ、これをアウトバウンド出力送信機回路（２２４）を通してネットワーク・リンク上で、メモリ・コントローラからより遠いメモリ・ネットワーク（２０３）に向けて再駆動する。同様に、リンク・インターフェース（２０４）は、そのインバウンド入力受信機回路（２２６）において、メモリ・コントローラからより遠いメモリ・ネットワーク（２０３）からメモリ信号を受信し、こうしたトラフィックの各々のパケットを再同期させ、これをインバウンド出力送信機回路（２２２）を通してネットワーク・リンク上で、メモリ・コントローラにより近いネットワーク（２０２）に向けて再駆動する。
【００３２】
メモリ・システム全体の速度要件は、リンク・インターフェースが、典型的には、各々のパケットを検査する前に各々のアウトバウンド・パケットを転送することを意味する。チャネル速度が速すぎるので、パケットを送る前に、パケットがそのメモリ・バッファ装置に宛てられているかどうかを判断するために、いずれかの特定のメモリ・バッファ装置を待つことはできない。したがって、チャネル（１０８）のメモリ通信プロトコルに従って、チャネルの各々のメモリ・バッファ装置の各々のリンク・インターフェースが、各々のアウトバウンド・パケットを受信する。各々のアウトバウンド・パケットを転送した後、リンク・インターフェース（２０４）は、各々のアウトバウンド・パケットを検査し、そのパケットが、メモリ・バッファ装置（１２８）により与えられたメモリにアドレス指定されるかどうかを判断し、アドレス指定される場合には、リンク・インターフェース（２０４）は、パケットのコンテンツをメモリ・バッファ装置制御論理（２１３）に渡す。インバウンド・パケットに関して、リンク・インターフェース（２０４）は、検査することなく、全てのインバウンド・トラフィックを再同期させ、これを再駆動する。
【００３３】
メモリ・バッファ装置制御回路（２１３）は、メモリ装置アドレス・制御ライン（２１４）を応答可能なように駆動し、読み取りデータ・フロー（２０５）及び書き込みデータ・フロー（２０９）を導くことによって、パケットにサービスする。メモリ・バッファ装置（１２８）は、メモリ装置（１２６）から読み取られたデータを同期し、双方向メモリ・データ・バス（２０８）を制御するデータ・インターフェース（２２１）を含む。メモリ・バッファ装置制御回路（２１３）は、付加的な制御回路（２０７、２１０）を用いて、データをキューに入れるか（２０６、２１１）、又はデータをメモリとの間で直接駆動する。リンク・インターフェース（２０４）からのメモリ書き込みデータ（２１２）は、キューに入れるか（２１１）、又はデータ・バス（２０８）を介してメモリ装置（１２６）に直接駆動することができる。メモリ読み取りデータは、キュー（２０６）に入れるか、又はリンク・インターフェース（２０４）に直接転送し、読み取り応答パケットとしてネットワーク上で伝送することができる。
【００３４】
メモリ・システム・アーキテクチャ：メモリ層につき２又はそれ以上のバッファ
さらなる説明のために、図４は、メモリ・コントローラ（３０２）及びアウトバウンド・リンク（３０６）を含み、メモリ・コントローラ（３０２）はアウトバウンド・リンク（３０６）に接続され、アウトバウンド・リンク（３０６）は、メモリ・コントローラ（３０２）から第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４、３４６）にメモリ信号を伝える導電経路を含む、本発明の実施形態による例示的なメモリ・システムを例示する機能ブロック図を示す。図４のメモリ・システムはまた、第１のメモリ層（３５６）内に少なくとも２つのメモリ・バッファ装置（３４４、３４６）も含み、第１のメモリ層内の各々のメモリ・バッファ装置（３４４、３４６）は、メモリ・コントローラ（３０２）からメモリ信号を受信するように、アウトバウンド・リンク（３０６）に接続される（３０８、３１０）。
【００３５】
メモリ・コントローラ（３０２）は、コンピュータ・プロセッサ（図２の１５６）からメモリ命令を受信し、メモリとの間の情報の読み書きを制御するために必要なメモリ信号を生成する。メモリ・コントローラは、通常、いわゆる「ノースブリッジ」と呼ばれることが多い、システム・チップセットに組み込まれる。本発明の実施形態によるメモリ・システムに用いるために適合することができるメモリ・コントローラの例には、Ｉｎｔｅｌ（登録商標）８２８４５  Ｍｅｍｏｒｙ  Ｃｏｎｔｒｏｌｌｅｒ  Ｈｕｂ及びＩＢＭ（登録商標）ＣＰＣ９２５  Ｎｏｒｔｈｂｒｉｄｇｅが挙げられる。
【００３６】
アウトバウンド・リンク（３０６、３１６、３１８等）は、インバウンド・リンク（３１２、３１４、３２０、３２２等）と共に、メモリとの間でメモリ信号を通信するためのメモリ通信チャネル（３０４）を形成する。リンクは、メモリ・コントローラ及びメモリ・バッファ装置などのメモリ通信ネットワークの要素の間で、メモリ信号を電気的又は光学的に通信する導電経路又は光伝導経路である。メモリ・コントローラから遠ざかるようにメモリ・チャネル上でメモリ信号を通信するリンクを「アウトバウンド・リンク」と呼ぶ。メモリ・コントローラに向けてメモリ・チャネル上でメモリ信号を通信するリンクを「インバウンド・リンク」と呼ぶ。
【００３７】
メモリ・コントローラ（３０２）及びメモリ・バッファ装置（３４４、３４６、３４８、３５０、３５２、３５４）を接続するメモリ・チャネル（３０４）は、メモリ通信ネットワークを構成する。この例においては、メモリは、幾つかのランク（３３２、３３４、３３６、３３８、３４０、３４２）のメモリ装置によって表される。各々のランクは、典型的には、様々な動的又は静的ランダム・アクセス・メモリとして実装することができる多数の個々のメモリ装置を含む。図４の例におけるメモリはまた、複数のレベル（３５６、３５８、３６０）に編成され、各々のレベルは、少なくとも２つのメモリ・バッファ装置、すなわちメモリ・レベル（３５６）内のメモリ・バッファ装置（３４４、３４６）、メモリ・レベル（３５８）内のメモリ・バッファ装置（３４８、３５０）、及びメモリ・レベル（３６０）内のメモリ・バッファ装置（３５２、３５４）を含む。
【００３８】
アウトバウンド・カスケード・アーキテクチャ：部分アウトバウンド・リンク
図４の例示的なメモリ・システムは、付加的なアウトバウンド・リンク（３１６、３１８）を含む。各々の付加的なアウトバウンド・リンクは、第１のメモリ層内のメモリ・バッファ装置から付加的なメモリ層（３５８）内の２つ又はそれ以上の付加的なメモリ・バッファ装置（３４８、３５０）にメモリ信号を伝えるように、第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含む。各々の付加的なアウトバウンド・リンク（３１６、３１８）は、メモリ・コントローラ（３０２）を第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４、３４６）に接続するアウトバウンド・リンク（３０６）における伝導経路の数よりも少ない数の伝導経路から構成される。この例においては、各々の付加的なアウトバウンド・リンク（３１６、３１８）は、メモリ・コントローラを第１のメモリ層内のメモリ・バッファ装置に接続するアウトバウンド・リンク（３０６）における伝導経路の数（Ｎ）の半分（Ｎ／２）に等しい伝導経路の数から構成される。
【００３９】
図４の例示的なメモリ・システムはまた、付加的なメモリ層（３５８）内の少なくとも２つの付加的なメモリ・バッファ装置（３４８、３５０）を含み、各々の付加的なメモリ・バッファ装置は、メモリ・コントローラ（３０２）と第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４、３４６）の間のアウトバウンド・リンク（３０６）上でメモリ・コントローラから伝送された全てのメモリ信号が受信するように、付加的なアウトバウンド・リンクの少なくとも２つ（この例においては、３１６及び３１８の正確に２つ）に接続される（３６２、３６４）。
【００４０】
つまり、図４の例においては、第１のメモリ層を超える付加的なメモリ層へのアウトバウンド・リンクは、部分リンク（partial link）である。特に、この例において、第１のメモリ層を超える付加的なメモリ層へのアウトバウンド・リンクは、ハーフリンク（half link）である。メモリ・コントローラから第１のメモリ層へのアウトバウンド・リンクが１０個のラインを含むことになる場合には、付加的なメモリ層へのアウトバウンド・リンクの各々は、５個のラインだけを有する。メモリ・コントローラから第１のメモリ層へのアウトバウンド・リンクが奇数のライン、例えば１１個のラインを含むことになる場合には、例えば、付加的なメモリ層につき２つのアウトバウンド・リンクが存在すると仮定すると、付加的なメモリ層への１つのアウトバウンド・リンクは５つのラインを有することができ、他方は６つのラインを有することができる。
【００４１】
リンク・ラインは、各々の付加的なメモリ層内の各々のバッファに完全なアウトバウンド・リンクが与えられるように、付加的なメモリ層内のメモリ・バッファへの入力において終結される。したがって、アウトバウンド・ハーフリンク（３１６）及びアウトバウンド・ハーフリンク（３１８）は、付加的なメモリ層（３５８）のバッファ（３４８）へのアウトバウンド入力において、フルリンク（３６２）に終結される。アウトバウンド・ハーフリンク（３２４）及びアウトバウンド・ハーフリンク（３２６）は、付加的なメモリ層（３５８）内のバッファ（３５０）へのアウトバウンド入力において、フルリンク（３６４）に終結される。アウトバウンド・ハーフリンク（３２４）及びアウトバウンド・ハーフリンク（３２６）は、付加的なメモリ層（３６０）内のバッファ（３５２）へのアウトバウンド入力においてフルリンク（３６６）に終結される。アウトバウンド・ハーフリンク（３２４）及びアウトバウンド・ハーフリンク（３２６）は、付加的なメモリ層（３６０）内のバッファ（３５４）へのアウトバウンド入力において、フルリンク（３６８）に終結される。ここに示される２つの付加的なメモリ層（３５８、３６０）のみならず、如何なる数の付加的なメモリ層についても、以下同様である。
【００４２】
この説明に照らして、図４の例のアウトバウンド・リンク・アーキテクチャの利点には、アウトバウンド・チャネル・ラインの物理的複雑さが実質的に減少することと、例えば、図１に示されるもののような従来技術のシステムが必要とするアウトバウンド出力ドライバ回路の約半分しか必要としない、メモリ・バッファ装置の出力ドライバ回路における電力消費が実質的に減少することとが挙げられることを、読者は認識するであろう。
【００４３】
チャネル・プロトコル
さらなる説明のために、図５は、本発明の実施形態による種々のメモリ・システムに有用な例示的なメモリ信号パケット構造を例示する線図を示す。図５はまた、本発明の実施形態による種々のメモリ・システムに有用な国際標準化機構（「ＯＳＩ」）データ通信スタックの最初の４つの層の例示的な実装も示す。図５のフレームの例示的なパケット（２５０）は、１−バイトのパケット・スタート・フィールド（２５２）、２−バイトのシーケンス番号、２０−バイトのヘッダ、０〜４０９６−バイトのデータ・フィールド、０〜４−バイトの巡回冗長検査フィールド、及び１−バイトのパケット・エンド・フィールドで構成される。
【００４４】
ヘッダ・フィールドは、パケット・タイプ（特定のパケットが、データをメモリに書き込むための命令を表すか又はデータをメモリから読み出すための命令を表すか）、データが書き込まれる又は読み取られるメモリ・アドレス、及び読み取られる又は書き込まれるデータ量を識別するデータを含むことができる。巡回冗長検査（「ＣＲＣ」）は、ネットワーク・トラフィックのパケットのような、より大きいデータ・ブロックに対して、小さいビット数であるチェックサムを生成するために用いられるハッシュ関数である。チェックサムは、伝送又は格納後にエラーを検出し及び訂正するために用いられる。ＣＲＣ値は伝送前に計算して付加し、伝送中に変化が生じなかったことを確認するために、受信者が後に検証する。ＣＲＣは、伝送チャネルにおけるノイズにより引き起こされる共通エラーを検出するのに特に優れている。
【００４５】
本発明の実施形態によるメモリ・システムは、ＯＳＩスタックの下位層を実装するものとみなすことができる。ＯＳＩ伝送層（２６７）は、メモリ命令、つまり、プロセッサからメモリ・コントローラへの書き込み要求又は読み出し要求によって表される。下方にある次の２つのスタック・レベルは、この読み取り要求又は書き込み要求を取得し、経路指定情報及び流れ制御情報、並びにＣＲＣ情報を付加することによって、それをパケットに変換し、パケットをフレーム内に配置し、次に該パケットをその宛先に送る。
【００４６】
ＯＳＩネットワーク層（２６６）は、特定のメモリ・バッファ装置によって管理され、事実上パケット・ヘッダ・データによってアドレス指定される特定のランクのメモリとの間でデータを送受信するパケット編成（packet organization）により表される。ＯＳＩリンク層（２６４）は、パケット・スタート・フィールド（２５２）、シーケンス番号（２５４）、ＣＲＣ値（２６０）及びエンド・フィールド（２６２）を有するパケット（２５０）内にヘッダ（２５６）及びデータ（２５８）をカプセル封入する。ＯＳＩ物理層（２６６）は、メモリ通信ネットワークの実際のハードウェア、すなわちメモリ・コントローラ（３０２）、メモリ・バッファ装置（３４８、３４４）、及びメモリ・コントローラとメモリ・バッファ装置の間のリンク（３０６、３０７、３１４、３１５）から構成される。
【００４７】
本発明の実施形態によるメモリ通信チャネルのためのデータ通信プロトコルは、シリアル・パケット・ビットのシーケンスがパラレル・リンク・ラインの組にマッピングされたバーストで伝送される、高速のシリアル・プロトコルである。リンクは、如何なる数のラインを有することもできる。アウトバウンド・リンクについての典型的な（しかしながら、依然として随意的な）サイズは１０個のラインであり、インバウンド・リンクについての典型的な（依然として随意的な）サイズは１４個のラインである。
【００４８】
アウトバウンド同期
図４のメモリ・システムにおいて、第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４、３４６）は、アウトバウンド・リンク（３０６）を通してアウトバウンド・メモリ信号を受信するように、互いに同期される。図４のメモリ・システムにおいては、第１のメモリ層内のメモリ・バッファ装置を互いに同期させることは、例えば、第１のメモリ層内の各々のメモリ・バッファ装置（３４４、３４６）を所定の同期閾値大きさ（predetermine threshold measureof synchronization）までメモリ・コントローラ（３０２）と同期させることによって実行することができる。
【００４９】
さらなる説明のために、図６は、図４の例示的なメモリ・システムと同様に、メモリ・コントローラ（９０２）及びアウトバウンド・リンク（９０６）を含み、メモリ・コントローラ（９０２）はアウトバウンド・リンク（９０６）に接続され、アウトバウンド・リンク（９０６）は、メモリ・コントローラ（９０２）から第１のメモリ層（９５６）内のメモリ・バッファ装置（９４４、９４６）にメモリ信号を伝える伝導経路から構成される、本発明の実施形態による更に別の例示的なメモリ・システムを例証する機能ブロック図を示す。
【００５０】
同期は、有効データを「データ・アイ（data eye）」として知られる、１又は０として確実に検出することができるときの時間を最大にするように作動する。同期は、所定の周波数で生じる。送信者として指定された装置、メモリ・コントローラ、又はメモリ・バッファ装置が、所定の信号パターンを、リンク上で受信者として指定された２つのメモリ・バッファ装置に同時に送信する間、受信者は、それらのクロックを各々の信号についてのデータ・スキュー（data skew）に調整し、かつ、ピコ秒での「データ・アイ」幅を最大にするように、受信者の電気的特性を調整することもできる。ブート時に、高速メモリ・チャネル（９０４）はまだ同期されていず、そのため高速チャネルを通した同期命令の帯域内通信は利用できない。同期に先立つ設定の際、帯域内信号を最初に非常に低速で作動させることによって、同期を開始することができる。或いは、同期は、リセット・ピン・アサーションに応答して自動的に開始させ、リンクの両側にある論理状態機械によって行うことができる。代替的に、コンピュータの基本入出力システム（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ、「ＢＩＯＳ」）（９６２）内のブート・モジュールが、同期命令を、Ｉ２Ｃバスのような帯域外ネットワーク又は図６の参照（９６４）で示されるもののようなシステム管理バス（「ＳＭＢｕｓ」又は「ＳＭＢ」）を通して、メモリ・コントローラ（９０２）及びメモリ・バッファ装置（９４４、９４６）に通信することができる。
【００５１】
図４の例においては、第１のメモリ層内の各々のメモリ・バッファ装置（３４４、３４６）は、メモリ・バッファ装置を送信者として及び両方のメモリ・バッファ装置を同時受信者として指定し、一連のテスト・パターンを両方の受信者に同時に送るように送信者に命令し、各々の受信者においてピコ秒で測定されたリンク信号アイ幅として同期の質を測定することによって、所定の同期閾値大きさまで、メモリ・コントローラと同時に同期される。所定の同期閾値大きさは、例えば、２００ピコ秒又は２５０ピコ秒といったピコ秒で測定された、最低限必要なリンク信号アイ幅である。
【００５２】
したがって、所定の同期閾値大きさが２００ピコ秒に設定され、第１のメモリ層内の第１のメモリ・バッファ装置が２００ピコ秒の信号アイでメモリ・コントローラと同期され、第１のメモリ層内の第２のメモリ・バッファ装置が２２５ピコ秒の信号アイでメモリ・コントローラと同時に同期される例においては、２つのメモリ・バッファ装置が互いに同期されると考えられる。同じ２００ピコ秒の所定の同期閾値大きさが与えられ、第１のメモリ層内の第１のメモリ・バッファ装置が２００ピコ秒の信号アイでメモリ・コントローラと同期され、第１のメモリ層内の第２のメモリ・バッファ装置が１７５ピコ秒の信号アイでメモリ・コントローラと同時に同期される更に別の例においては、２つのメモリ・バッファ装置は互いに同期されないと考えられ、第２のメモリ・バッファ装置は、そのリンク信号アイ幅が少なくとも２００ピコ秒になるまで、そのクロックをデータ・スキューに調整するか、又はその受信者の電気的特性を調整する。
【００５３】
アウトバウンド・カスケード同期
図４のメモリ・システムにおいては、付加的なメモリ層（３５８）内のメモリ・バッファ装置（３４８、３５０）が、アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期される。付加的なメモリ層内のメモリ・バッファ装置を互いに同期させることは、例えば、付加的なメモリ層内の各々のメモリ・バッファ装置を、所定の同期の閾値大きさまで、第２のメモリ層内のメモリ・バッファ装置がアウトバウンド・リンクによって接続される第１のメモリ層内のメモリ・バッファ装置と同時に同期させることによって実行することができる。
【００５４】
上述のように、図６は、図４の例示的なメモリ・システムと同様に、メモリ・コントローラ（９０２）及びアウトバウンド・リンク（９０６）を含み、メモリ・コントローラ（９０２）はアウトバウンド・リンク（９０６）に接続され、アウトバウンド・リンク（９０６）は、メモリ・コントローラ（９０２）から第１のメモリ層（９５６）内のメモリ・バッファ装置（９４４、９４６）にメモリ信号を伝える伝導経路から構成される、本発明の実施形態による例示的なメモリ・システムを例証する機能ブロック図を示す。
【００５５】
同期は、有効データを「データ・アイ」として知られる、１又は０として確実に検出することができるときの時間を最大にするように作動する。同期は、所定の周波数で生じる。送信者として指定された一方のメモリ・バッファ装置が、所定の信号パターンを、リンク上で受信者として指定された２つのメモリ・バッファ装置に同時に送信する間、受信者は、それらのクロックを各々の信号についてのデータ・スキューに調整し、かつ、ピコ秒での「データ・アイ」幅を最大にするように、受信者の電気的特性を調整することもできる。ブート時に、高速メモリ・チャネル（９０４）はまだ同期されていず、そのため高速チャネルを通した同期命令の帯域内通信は利用できない。したがって、上述のように、同期は、低速の帯域内信号、リセット・ピン・アサーションを用いて、或いは、Ｉ２Ｃバスのような帯域外ネットワーク又は図６の参照（９６４）などのシステム管理バス（「ＳＭＢｕｓ」又は「ＳＭＢ」）を用いて開始することができる。
【００５６】
図４の例においては、第２のメモリ層（３５８）内の各々のメモリ・バッファ装置（３４８、３５０）は、メモリ・バッファ装置（３４４）を送信者として及び両方のメモリ・バッファ装置（３４８、３５０）を同時受信者として指定し、一連のテスト・パターンを両方の受信者に同時に送るように送信者に命令し、各々の受信者においてピコ秒で測定されたリンク信号アイ幅として同期の質を測定することによって、所定の同期の閾値大きさまで、メモリ・コントローラと同時に同期される。所定の同期の閾値大きさは、例えば、２００ピコ秒又は２５０ピコ秒といったピコ秒で測定された、最低限必要なリンク信号アイ幅である。
【００５７】
したがって、所定の同期の閾値大きさが２００ピコ秒に設定され、第２のメモリ層内の第１のメモリ・バッファ装置が２００ピコ秒の信号アイでメモリ・コントローラと同期され、第２のメモリ層内の第２のメモリ・バッファ装置が２２５ピコ秒の信号アイでメモリ・コントローラと同期される例においては、２つのメモリ・バッファ装置が互いに同期されると考えられる。同じ２００ピコ秒の所定の同期閾値大きさが与えられ、第２のメモリ層内の第１のメモリ・バッファ装置が２００ピコ秒の信号アイでメモリ・コントローラと同期され、第２のメモリ層内の第２のメモリ・バッファ装置が１７５ピコ秒の信号アイでメモリ・コントローラと同期される更に別の例においては、第２のメモリ層内の２つのメモリ・バッファ装置は、互いに同期されないと考えられ、第２のメモリ層内の第２のメモリ・バッファ装置は、そのリンク信号アイ幅が少なくとも２００ピコ秒になるまで、そのクロックをデータ・スキューに調整するか、又はその受信者の電気的特性を調整する。
【００５８】
図６の例において、２つのメモリ層（９５６、９５８）だけについてのアウトバウンド同期を参照して最初の同期が説明されたが、こうした同期方法は、第３のメモリ層（９６０）にも、如何なる数の付加的なメモリ層にも、如何なる数のメモリ層についてのインバウンド・ケースにも拡張できることを、読者は認識するであろう。
【００５９】
インバウンド・アーキテクチャ：チャネルごとの複数のフル・インバウンド・リンク
再び図４を参照すると、図４のメモリ・システムは、複数の別個のインバウンド・リンク（３１２、３１４）を含み、そうしたインバウンド・リンク（３１２、３１４）の一方が、第１のメモリ層内の各々のメモリ・バッファ装置からメモリ・コントローラにメモリ信号を伝送するように、第１のメモリ層（３５６）内の各々のメモリ・バッファ装置（３４４、３４６）からメモリ・コントローラ（３０２）に接続される。つまり、メモリ・バッファ装置（３４４）からメモリ・コントローラ（３０２）にメモリ信号を伝送するために、インバウンド・リンク（３１２）が、第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４）からメモリ・コントローラ（３０２）に接続され、メモリ・バッファ装置（３４６）からメモリ・コントローラ（３０２）にメモリ信号を伝送するために、インバウンド・リンク（３１４）が、第１のメモリ層（３５６）内のメモリ・バッファ装置（３４６）からメモリ・コントローラ（３０２）に接続される。
【００６０】
インバウンド・カスケード・アーキテクチャ：チャネルごとの複数のフル・インバウンド・リンク
図４のメモリ・システムはまた、付加的なインバウンド・リンク（３２０、３２２）も含む。各々の付加的なインバウンド・リンクは、付加的なメモリ層（３５８）の付加的なメモリ・バッファ装置（３４８、３５０）から第１のメモリ層のメモリ・バッファ装置にメモリ信号を伝えるように、第１のメモリ層（３５６）のメモリ・バッファ装置（３４４、３４６）に接続された幾つかの伝導経路、すなわち導電経路又は光伝導経路を含む。図４の例においては、各々の付加的なインバウンド・リンク（３２０、３２２）は、メモリ・コントローラ（３０２）を第１のメモリ層（３５６）内のメモリ・バッファ装置（３４４、３４６）に接続するインバウンド・リンク（３１２、３１０）内の伝導経路の数と等しい数の伝導経路を含む。
【００６１】
図４のメモリ・システムはまた、付加的なメモリ層（３５８）内の少なくとも２つの付加的なメモリ・バッファ装置（３４８、３５０）も含む。各々の付加的なメモリ・バッファ装置は、第１のメモリ層の各々のメモリ・バッファ装置からメモリ・コントローラに伝送される全てのメモリ信号を、付加的なメモリ・バッファ装置（３４８、３５０）から、第１のメモリ・メモリ・レベル・バッファ装置（３４４、３４６）の１つに送るように、付加的なインバウンド・リンク（３２０、３２２）の１つに接続される。つまり、インバウンド・リンク（３２０）は、メモリ・バッファ装置（３４４）を通してメモリ・バッファ装置（３４８）からメモリ・コントローラ（３０２）に伝送される、メモリ・バッファ装置（３４８）からの全てのメモリ信号を搬送し、インバウンド・リンク（３２２）は、メモリ・バッファ装置（３４６）を通してメモリ・バッファ装置（３５０）からメモリ・コントローラ（３０２）に伝送される、メモリ・バッファ装置（３５０）からの全てのメモリ信号を搬送する。
【００６２】
この説明に照らして、図４の例のインバウンド・リンク・アーキテクチャの利点には、図１に示されたもののような従来技術のシステムと比較して、読み取り待ち時間が実質的に減少することが挙げられることを、読者は認識するであろう。図４のメモリ・システム及び図１の従来技術のメモリ・システムにおいて、メモリ・ランク１についての読み取り待ち時間は１であるが、メモリ・バッファ装置の遅延において測定された全ての他のランクについての読み取り待ち時間は、実質的に低減される。すなわち、
・図４のメモリ・システムにおいて、メモリ・ランク２についての読み取り待ち時間は１であるが、図１の従来技術のメモリ・システムにおけるメモリ・ランク２についての読み取り待ち時間は２である。
・図４のメモリ・システムにおいて、メモリ・ランク３についての読み取り待ち時間は２であるが、図１の従来技術のメモリ・システムにおけるメモリ・ランク３についての読み取り待ち時間は３である。
・図４のメモリ・システムにおいて、メモリ・ランク４についての読み取り待ち時間は２であるが、図１の従来技術のメモリ・システムにおけるメモリ・ランク４についての読み取り待ち時間は４である。
・図４のメモリ・システムにおいて、メモリ・ランク５についての読み取り待ち時間は３であるが、図１の従来技術のメモリ・システムにおけるメモリ・ランク５についての読み取り待ち時間は５である。
・図４のメモリ・システムにおいて、メモリ・ランク６についての読み取り待ち時間は３であるが、図１の従来技術のメモリ・システムにおけるメモリ・ランク６についての読み取り待ち時間は６である。
・以下同様である。
【００６３】
アウトバウンド速度に依存するインバウンド・リンク速度及び構成
図４のメモリ・システムは、この例においては、少なくとも２つのメモリ層（３５６、３５８、３６０）を含み、各々のメモリ層は、少なくとも２つのメモリ・バッファ装置（３４４、３４６、３４８、３５０、３５２、３５４）を含む。図４の例においては、各々のメモリ層は、少なくとも１つのアウトバウンド・リンク（３０６、３１６、３１８、３２４、３２６）により、メモリ信号をメモリ層内の少なくとも１つのメモリ・バッファ装置に通信するように接続される。さらに、各々のメモリ層は、少なくとも１つのインバウンド・リンク（３１２、３１４、３２０、３２２、３２８、３３０）により、メモリ層内の少なくとも１つのメモリ・バッファ装置からメモリ信号を通信するように接続される。インバウンド・リンクは、インバウンド・リンク速度によって特徴付けられ、アウトバウンド・リンクは、アウトバウンド・リンク速度によって特徴付けられる。
【００６４】
さらに、この例においては、インバウンド・リンク速度は、アウトバウンド・リンク速度に依存する。この例におけるチャネル・アーキテクチャは各々のメモリ層からの１より多いインバウンド・リンクを含むので、インバウンド・リンク速度は、この例におけるアウトバウンド・リンク速度に依存する。チャネル・アーキテクチャは、第１のメモリ層（３５６）からメモリ・コントローラへの２つのインバウンド・リンク（３１２、３１４）を含む。チャネル・アーキテクチャは、第２のメモリ層（３５６）から第１のメモリ層（３５６）への２つのインバウンド・リンク（３２０、３２２）を含む。以下同様である。各々のインバウンド・リンクはフルリンクであり、フルリンクがＭ個のラインを含む場合には、各々のインバウンド・リンクはＭ個のラインを含む。Ｍ＝１４である場合には、各々のインバウンド・リンクは全て１４個のラインを含む。
【００６５】
図４の例において各々のメモリ層からの１より多いインバウンド・リンクが存在するという事実は、平均して、各々のインバウンド・リンクが、アウトバウンド・リンクの半分の速度だけを有する必要があることを意味する。各々のメモリ・アドレス・バッファは、メモリ装置を管理し、全体のメモリ・アドレス空間の別個のセグメントを表す。この例においては、メモリ層ごとに２つのメモリ・バッファ装置が存在し、各々のメモリ・バッファ装置は、同じサイズのメモリ・ランクを管理する。メモリ層内の各々のメモリ・バッファ装置は、層内の全てのメモリ・バッファ装置にアドレス指定された全てのメモリ信号を受信し、デコードするが、平均して、同じサイズのメモリのランクを与える各々のメモリ・アドレス・バッファの場合、読み取り応答は、両方のバッファにアドレス指定された読み取り要求の半分について、各々のメモリ・アドレス・バッファから生じるにすぎない。
【００６６】
図４のメモリ・システムのアーキテクチャを、各々のメモリ・バッファ装置への各々の読み取り要求がメモリ・バッファ装置からのまさしく１つの読み取り応答をもたらす、図１の従来技術のメモリ・システムのアーキテクチャと比較することは、有益である。これらの理由のため、図４の例においては、アウトバウンド・リンク速度に依存するインバウンド・リンク速度は、インバウンド・リンク速度の半分以下であることが必要があり、これにより、従来技術のメモリ・システムと比較すると、リンク設計の困難さ及び電力要件が低減される。
【００６７】
図４のメモリ・システムのアーキテクチャにおいてインバウンド・リンク速度を減少させるのではなく、各々のインバウンド・リンクにおけるインバウンド・ラインの数を減少させ、全体的なインバウンド・リンク速度を変わらないままにすることによって、同じ効果を達成することが可能であることにも、読者は気付くであろう。言い換えれば、各々のメモリ層から２つのインバウンド・リンクを用いる場合、所定のインバウンド帯域幅を達成するための２つの方法がある。すなわちインバウンド・リンク上のクロック速度を減少させること、又はクロック速度を同じままにし、リンクごとのラインの数を減少させることである。いずれの方法も、従来技術の方法に対する利点をもたらす。より遅いクロック速度は、設計及び実装がより容易である。より少ないラインは、設計があまり困難ではなく、材料コストがより低く、製造経費がより低いことを意味する。
【００６８】
アウトバウンド・カスケード・アーキテクチャ：メモリ層における全てより少ないバッファからのフル・アウトバウンド・リンク
さらなる説明のために、図７は、図４の例示的なメモリ・システムと同様に、メモリ・コントローラ（４０２）及びアウトバウンド・リンク（４０６）を含み、メモリ・コントローラ（４０２）はアウトバウンド・リンク（４０６）に接続され、アウトバウンド・リンク（４０６）は、メモリ信号をメモリ・コントローラ（４０２）から第１のメモリ層（４５６）内のメモリ・バッファ装置（４４４、４４６）に伝える伝導経路から構成される、本発明の実施形態による更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。しかしながら、図４のメモリ・システムとは異なり、図７のメモリ・システムはまた、付加的なアウトバウンド・リンク（４１６）も含み、付加的なアウトバウンド・リンク（４１６）は、全てのアウトバウンド・メモリ信号を、第１のメモリ層（４５６）内の第１メモリ・バッファ装置（４４４）から、付加的なメモリ層（４５８）内の少なくとも２つの付加的なメモリ・バッファ装置（４４８、４５０）に伝えるように、第１のメモリ層（４５６）内の第１メモリ・バッファ装置（４４４）に接続された数Ｎの伝導経路を含む。この例においては、付加的なアウトバウンド・リンク（４１６）は、メモリ・コントローラ（４０２）を第１のメモリ層（４５６）内のメモリ・バッファ装置（４４４、４４６）に接続する、アウトバウンド・リンク（４０６）における伝導経路の数Ｎと等しい数Ｎの伝導経路を含む。
【００６９】
図７のメモリ・システムはまた、付加的なメモリ層（４５８）内の少なくとも２つの付加的なメモリ・バッファ装置（４４８、４５０）を含み、各々の付加的なメモリ・バッファ装置（４４８、４５０）は、付加的なアウトバウンド・リンク（４１６）及び第１のメモリ層（４５６）内の第１のメモリ・バッファ装置（４４４）を通して、メモリ・コントローラ（４０２）からの全てのアウトバウンド・メモリ信号を受信するように、付加的なアウトバウンド・リンク（４１６）に接続される（符号４６２、４６４参照）。言い換えれば、図７の例示的なメモリ・システム・アーキテクチャにおいては、図４のメモリ・システムに存在するような部分アウトバウンド・リンクは存在しない。図７の例における各々のアウトバウンド・リンクは、メモリ・コントローラ（４０２）からの全てのアウトバウンド・メモリ信号を搬送する。
【００７０】
図７の例に加えて、第１のメモリ層内の少なくとも１つのメモリ・バッファ装置は、付加的なアウトバウンド・リンクを介さずに、付加的なメモリ層のいずれかの付加的なメモリ・バッファ装置に接続されており、これは各々のメモリ層について当てはまる。メモリ層あたり２つのメモリ・バッファ装置しか存在しないこの例においては、１つのメモリ・バッファ装置は、全てのアウトバウンド・メモリ信号を次の付加的なメモリ層内の両方のメモリ・バッファ装置に搬送するアウトバウンド・リンクに接続され、各々のメモリ層内の他方のメモリ・バッファ装置は、アウトバウンド・リンクに接続されない。第１のメモリ層（４５６）において、メモリ・バッファ装置（４４４）は、全てのアウトバウンド・メモリ信号をメモリ層（４５８）内の両方のメモリ・バッファ装置（４４８、４５０）に搬送するアウトバウンド・リンク（４１６）に接続され、メモリ・バッファ装置（４４６）は、アウトバウンド・リンクに接続されない。第２のメモリ層（４５８）において、メモリ・バッファ装置（４４８）は、全てのアウトバウンド・メモリ信号をメモリ層（４６０）内の両方のメモリ・バッファ装置（４５２、４５４）に搬送するアウトバウンド・リンク（４２４）に接続され、メモリ・バッファ装置（４５０）は、アウトバウンド・リンクに接続されない。以下同様である。ここには３つのメモリ層しか図示されていないが、このアーキテクチャは、如何なる数のメモリ層に拡張してもよい。
【００７１】
この説明に照らして、図７の例のアウトバウンド・リンク・アーキテクチャの利点には、メモリ・モジュールの半分が単にアウトバウンド・チャネルに全く接続されていない、アーキテクチャにおけるアウトバウンド・チャネル・ラインの物理的複雑さが実質的に減少されることが挙げられることを、読者は認識するであろう。図７の例のアウトバウンド・リンク・アーキテクチャの利点はまた、電力消費及びメモリ・バッファ装置のオン・チップ回路が実質的に低減することも含み、いずれにしてもこのアーキテクチャにおける半数がアウトバウンド出力ドライバ回路を有する必要がない。
【００７２】
インバウンド・アーキテクチャ：スライス・メモリとの部分リンク
図７のメモリ・システムにおいては、メモリは、メモリ層内の各々のメモリ・バッファ装置が、メモリ・コントローラからのアウトバウンド・メモリ信号によってアドレス指定されるメモリの一部だけを管理するようにスライスされる。各々のメモリ・アドレス・バッファが、全体のメモリ・アドレス空間の別個のセグメントを表すメモリ装置を管理していた図４の例とは異なり、図７の例においては、メモリ層内の全てのメモリ・バッファ装置は、メモリ・アドレス空間の同じセグメントを表すメモリ装置を管理し、各々のアドレスについてのメモリの一部が、メモリ層内のメモリ装置の各々のランクによって管理される。
【００７３】
図７のメモリ・システムはまた、インバウンド・リンク（４６５）、つまり、２つ又はそれ以上の部分インバウンド・リンク（４１２、４１４）を含むフル・インバウンド・リンクを含む。各々の部分インバウンド・リンクは、インバウンド・メモリ信号を第１のメモリ層（４５６）内の各々のメモリ・バッファ装置（４４４、４４６）からメモリ・コントローラ（４０２）に伝送するために、第１のメモリ層のメモリ・バッファ装置（４４４、４４６）からメモリ・コントローラ（４０２）に接続される。この例においては、各々の部分インバウンド・リンク（４１２、４１４）は、インバウンド・リンクの伝導経路の一部を含み、各々の部分インバウンド・リンクは、メモリ・コントローラからのアウトバウンド読み取りメモリ信号によってアドレス指定されるメモリの一部のコンテンツを表すインバウンド・メモリ信号を搬送する。特に、この例においては、図７において「フル」インバウンド・リンクと呼ばれるインバウンド・リンク（４６５）は、Ｍ個の伝導経路又は「ライン」を含み、図７において「ハーフリンク」と呼ばれる各々の部分インバウンド・リンク（４１２、４１４）は、Ｍ／２個のラインを含む。Ｍが１４である場合には、この例における各々の部分リンクは、７個のラインを含み、各々の部分インバウンド・リンクは、メモリ・コントローラ（４０２）からのいずれかのアウトバウンド読み取りメモリ信号によって要求されるメモリの半分のコンテンツを表すインバウンド・メモリ信号を搬送する。ハーフリンク（４１２、４１４）は、メモリ・コントローラ（４０２）において効果的に組み合わせられてフル・インバウンド・リンク（４６５）になるので、フル・インバウンド・リンク（４６５）は、コントローラからのアウトバウンド読み取りメモリ信号又はパケットによってアドレス指定されたメモリの一部のコンテンツ全体を表すインバウンド・メモリ信号を搬送する。
【００７４】
さらなる説明のために、メモリ・バッファ装置（４４４、４４６）によって管理されるメモリ空間内のメモリをアドレス指定するアウトバウンド・パケットの例を考える。両方のメモリ・バッファ装置（４４４、４４６）は、リンク（４０６）を通して同じパケットを受け取る。メモリ・バッファ装置の１つだけがその責任としてパケットを認識する図４の例とは異なり、この例においては、両方のメモリ・バッファ装置が同じアドレス空間を与えるため、両方のメモリ・バッファ装置（４４４、４４６）は、パケットをそれらのものとしてデコードするように構成される。パケットが書き込み命令を表す場合には、メモリ・バッファ装置（４４４）は、パケット・ヘッダにおいて指定されたメモリ・アドレスで始まるランク１のメモリ装置（４３２）に、パケットからの書き込みデータの半分を格納し、メモリ・バッファ装置（４４６）は、パケット・ヘッダにおいて指定されたものと同じメモリ・アドレスで始まるランク２のメモリ装置（４３４）内に、他の半分を格納する。
【００７５】
アウトバウンド・メモリ・パケットが、メモリ・バッファ装置（４４４、４４６）によって管理されるメモリ空間からの読み取りデータについての読み取り命令を表す場合には、メモリ・バッファ装置（４４４）は、パケット・ヘッダにおいて指定されたメモリ・アドレスから始まるランク１のメモリ装置（４３２）からの読み取りデータの半分を読み取り、メモリ・バッファ装置（４４６）は、パケット・ヘッダにおいて指定されたものと同じメモリ・アドレスで始まるランク２のメモリ装置（４３４）からの読み取りデータの他の半分を読み取る。次に、メモリ・バッファ装置（４４４）は、インバウンド・ハーフリンク（４１２）上で、その読み取りデータの半分を再びメモリ・コントローラ（４０２）に伝送し、メモリ・バッファ装置（４４６）は、インバウンド・ハーフリンク（４１４）上で、その読み取りデータの半分をメモリ・コントローラ（４０２）に伝送する。メモリ・バッファ装置からの読み取りデータの伝送は、あたかも組み合わせられたインバウンド・ハーフリンクが単一のフル・インバウンド・リンク（４６５）であるかのように、メモリ・コントローラ（４０２）が両方のインバウンド・ハーフリンク（４１２、４１４）から読み取りデータを受信するように同期される。
【００７６】
インバウンド・カスケード・アーキテクチャ：スライスされたメモリとの部分リンク
図７のメモリ・システムはまた、付加的な部分インバウンド・リンク（４２０、４２２）も含み、各々の付加的な部分インバウンド・リンクは、メモリ信号を、付加的なメモリ層（４５８）の付加的なメモリ・バッファ装置（４４８、４５０）から第１のメモリ層（４５６）のメモリ・バッファ装置（４４４、４４６）に伝えるように、第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含む。この例においては、各々の付加的なインバウンド・リンク（４２０、４２２）は、メモリ・コントローラ（４０２）を第１のメモリ層（４５６）内のメモリ・バッファ装置（４４４、４４６）に接続するインバウンド・リンク（４６４）における伝導経路の数よりも少ない数の伝導経路を含む。
【００７７】
図７のメモリ・システムはまた、付加的なメモリ層（４５８）内に少なくとも２つの付加的なメモリ・バッファ装置（４４８、４５０）も含み、各々の付加的なメモリ・バッファ装置は、第１のメモリ層（４５６）の各々のメモリ・バッファ装置（４４４、４４６）からメモリ・コントローラ（４０２）に伝送される全てのメモリ信号を、付加的なメモリ・バッファ装置（４４８、４５０）から第１のメモリ・レベル（４５６）のメモリ・バッファ装置（４４４、４４６）の１つに通信するように、付加的な部分インバウンド・リンク（４２０、４２２）の１つに接続される。
【００７８】
特に、この例においては、図７の例の「フル」インバウンド・リンクと呼ばれるインバウンド・リンク（４６５）は、Ｍ個の伝導経路又は「ライン」を含み、各々の付加的な部分インバウンド・リンク（４２０、４２２）、すなわち図７の例における「ハーフリンク」は、Ｍ／２個のラインを含む。Ｍが１４である場合には、この例における各々の付加的な部分インバウンド・リンクは、７個のラインを含み、各々の付加的な部分インバウンド・リンクは、メモリ・コントローラ（４０２）からのアウトバウンド読み取りメモリ信号によって要求されるメモリの半分のコンテンツを表すインバウンド・メモリ信号を搬送する。インバウンド・ハーフリンク（４２０、４２２）は、メモリ・コントローラ（４０２）において効果的に組み合わされてフル・インバウンド・リンク（４６５）になり、その結果、フル・インバウンド・リンク（４６５）は、コントローラからのアウトバウンド読み取りメモリ信号又はパケットによってアドレス指定されたメモリの一部のコンテンツ全体を表すインバウンド・メモリ信号を搬送する。
【００７９】
図７のメモリ・システムは、メモリ層間に部分インバウンド・リンクを有するある種のスライス・メモリ・アーキテクチャを実装することを、読者はこの説明から認識するであろう。図７のメモリ・システムはまた、メモリ層（４５８）内のメモリ・バッファ装置（４４８、４５０）とメモリ層（４６０）内のメモリ・バッファ装置（４５２、４５４）との間のインバウンド・リンク（４２８、４３０）を有する付加的なメモリ層への部分インバウンド・リンクを有するスライス・メモリ・アーキテクチャの拡張を示すために、第３のメモリ層（４６０）を含む。図７の例示的なメモリ・システムにおいては３つのメモリ層（４５６、４５８、４６０）だけが示されるが、図７の部分インバウンド・リンクを有するスライス・メモリ・アーキテクチャは、如何なる数のメモリ層にも拡張できることを、読者は認識するであろう。
【００８０】
この説明に照らして、図７の例示的なメモリ・システムの部分インバウンド・リンクを有するスライス・メモリ・アーキテクチャの利点には、インバウンド・リンク・ラインの物理的複雑さが実質的に減少することと、メモリ層間で、事実上部分インバウンド・リンクの数だけ単一のインバウンド・リンクになるアーキテクチャにおけるインバウンド・リンク電力要件が実質的に減少することとが挙げられることを、読者は認識するであろう。
【００８１】
アウトバウンド・カスケード・アーキテクチャ：アウトバウンド・リンク上で最初にイネーブルにされる幾つかのバッファと、最初にディスエーブルにされる他のバッファとを有するメモリ層内の全てのバッファからのフル・アウトバウンド・リンク
さらなる説明のために、図８は、図４の例示的なメモリ・システムと同様に、メモリ・コントローラ（５０２）及びアウトバウンド・リンク（５０６）を含み、メモリ・コントローラ（５０２）はアウトバウンド・リンク（５０６）に接続され、アウトバウンド・リンク（５０６）は、メモリ信号をメモリ・コントローラ（５０２）から第１のメモリ層（５５６）内のメモリ・バッファ装置（５４４、５４６）に伝える伝導経路から構成される、本発明の実施形態による更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。しかしながら、図４のメモリ・システムとは異なり、図８のメモリ・システムは、第１の付加的なアウトバウンド・リンク（５１６）を含み、第１の付加的なアウトバウンド・リンク（５１６）は、メモリ・コントローラ（５０２）から受信したメモリ信号を、第１のメモリ層（５５６）のメモリ・バッファ装置（５４４）を通して、付加的なメモリ層（５５８）内の少なくとも２つの付加的なメモリ・バッファ装置（５４８、５５０）に伝えるように、第１のメモリ層（５５６）の第１メモリ・バッファ装置（５４４）に接続される。
【００８２】
この例においては、第１の付加的なアウトバウンド・リンク（５１６）が、最初にイネーブルにされる。第１の付加的なアウトバウンド・リンク（５１６）を最初にイネーブルにすることは、トライステート（tri-state）・ドライバを備えたメモリ・バッファ装置（５４４）のアウトバウンド出力回路を構成し、ブート時にそのアウトバウンド出力ドライバがトライステート・モードにないようにメモリ・バッファ装置を構成することによって、実行することができる。トライステート・ドライバは、その制御により、その出力を高インピーダンス状態に置くことが可能になり、その結果、同じ出力に接続された他のデバイスには存在しないように見える、出力ドライバ回路である。アウトバウンド・リンクに接続されたこうしたデバイスは、トライステート・モードにおいて効果的にディスエーブルにされ、トライステート・モードにないときに効果的にイネーブルにされるように見える。
【００８３】
図８のメモリ・システムはまた、第２の付加的なアウトバウンド・リンク（５１８）も含む。第２の付加的なアウトバウンド・リンク（５１８）は、メモリ・コントローラ（５０２）から受信したメモリ信号を、第１のメモリ層（５５６）の第２のメモリ・バッファ装置（５４６）を通して付加的なメモリ層（５５８）内の少なくとも２つの付加的なメモリ・バッファ装置（５４８、５５０）に伝えるように、第１のメモリ層（５５６）の第２のメモリ・バッファ装置（５４６）に接続される。
【００８４】
図８の例においては、第２の付加的なアウトバウンド・リンク（５１８）が、最初にディスエーブルにされる。第２の付加的なアウトバウンド・リンク（５１８）を最初にディスエーブルにすることは、トライステート・ドライバを備えたメモリ・バッファ装置（５４６）のアウトバウンド出力回路を構成し、ブート時にそのアウトバウンド出力ドライバがトライステート・モードにないようにメモリ・バッファ装置を構成し、第２の付加的なアウトバウンド・リンク（５１８）に高インピーダンスを与え、メモリ・バッファ装置（５４６）を第２の付加的なアウトバウンド・リンク（５１８）に対して、少なくとも最初に、実際的に存在しないようにすることによって実行することができる。
【００８５】
図８の例示的なメモリ・システムは、付加的なメモリ層（５５８）内に少なくとも２つの付加的なメモリ・バッファ装置（５４８、５５０）を含む。各々のそうした付加的なメモリ・バッファ装置（５４８、５５０）は、メモリ・コントローラ（５０２）からのメモリ信号を、第１の付加的なアウトバウンド・リンク（５１６）又は第２の付加的なアウトバウンド・リンク（５１８）のいずれかを通して受信するように、第１の付加的なアウトバウンド・リンク（５１６）及び第２の付加的なアウトバウンド・リンク（５１８）に接続される（５６２、５６４）。
【００８６】
図８の例示的なメモリ・システムにおいては、メモリ・コントローラ（５０２）は、第１のメモリ層（５５６）の第１メモリ・バッファ装置（５４４）における故障を検出し、第１の付加的なアウトバウンド・リンク（５１６）をディスエーブルにし、第２の付加的なアウトバウンド・リンク（５１８）をイネーブルにする能力をもつように構成され、イネーブルにされる。メモリ・コントローラ（５０２）は、メモリ・バッファ装置（５４４）によって生成され、そこから受信した読み取りパケットについてのＣＲＣ値を計算し、その値をパケット内のＣＲＣ値と比較することによって、第１のメモリ・バッファ装置（５１６）における故障を検出することができる。
【００８７】
メモリ・コントローラ（５０２）は、そのアウトバウンド出力ドライバをトライステート・モードにするための命令をメモリ・バッファ装置（５４４）に伝送し、それにより、メモリ・バッファ装置（５４４）をアウトバウンド・リンク（５１６）から分離することによって、第１の付加的なアウトバウンド・リンク（５１６）をディスエーブルにすることができる。アウトバウンド出力ドライバをトライステート・モードにするための命令は、メモリ・チャネル通信プロトコルの一部として帯域内で、又は図６の参照（９６４）で示されたもののようにＩ２Ｃバス又はシステム管理バス（「ＳＭＢｕｓ」又は「ＳＭＢ」）を通して帯域外で伝送することができる。帯域内通信は、より高速にすることができるが、帯域内通信は、メモリ・バッファ装置が故障したときに使用できなくなることがある。
【００８８】
メモリ・コントローラ（５０２）は、そのアウトバウンド出力ドライバをトライステート・モードから解除するための命令をメモリ・バッファ装置（５４６）に伝送し、これにより、メモリ・バッファ装置（５４６）をアウトバウンド・リンク（５１８）に接続することによって、第２の付加的なアウトバウンド・リンク（５１８）をイネーブルにすることができる。アウトバウンド出力ドライバをトライステート・モードから解除するための命令は、メモリ・チャネル通信プロトコルの一部として帯域内で、又は図６の参照（９６４）で示されたもののようにＩ２Ｃバス又はシステム管理バス（「ＳＭＢｕｓ」又は「ＳＭＢ」）を通じて帯域外で伝送することができる。
【００８９】
この説明に照らして、図８の例のアウトバウンド・リンク・アーキテクチャの利点には、アウトバウンド・チャネル・ラインの物理的複雑さが実質的に減少することと、メモリ・バッファ装置の出力ドライバ回路における電力消費が実質的に減少することとが挙げられ、この電力消費は、例えば、図１に示されるもののような従来技術のシステムによって必要とされるアウトバウンド出力ドライバ回路の約半分しか必要としないことを、読者は認識するであろう。さらに、図８の例のアウトバウンド・リンク・アーキテクチャの利点は、メモリ通信ネットワーク内のデータ通信コンポーネントのような１つ又は複数のメモリ・バッファ装置の能力が完全な故障する恐れがあるが、特に、故障しているメモリ・バッファ装置が、これが提供するメモリ・ランクへのアクセスを訂正できるままであるとき、全能力で機能し続ける、メモリ・システムにおいて全体的な頑強性が実質的に増大することを含む。
【００９０】
インバウンド・アーキテクチャ：サーペンタイン状リンク
さらなる説明のために、図９は、図４の例示的なメモリ・システムと同様に、メモリ・コントローラ（６０２）及びアウトバウンド・リンク（６０６）を含み、メモリ・コントローラ（６０２）はアウトバウンド・リンク（６０６）に接続され、アウトバウンド・リンク（６０６）は、メモリ信号をメモリ・コントローラ（６０２）から第１のメモリ層（６５６）内のメモリ・バッファ装置（６４４、６４６）に伝える伝導経路から構成される、本発明の実施形態によるさらに例示的なメモリ・システムを例示する機能ブロック図を示す。図９のメモリ・システムに関する説明を明確にするために、図９には、チャネル（６０４）の一部である残りのアウトバウンド・リンクが示されていない。
【００９１】
しかしながら、図４のメモリ・システムとは異なり、図９のメモリ・システムは、インバウンド・メモリ信号を第１のメモリ・バッファ装置（６４４）からメモリ・コントローラに通信するように、第１のメモリ層内の第１のメモリ・バッファ装置（６４４）からメモリ・コントローラ（６０２）に接続された第１のインバウンド・リンク（６１２）を含む。図９のメモリ・システムはまた、インバウンド・メモリ信号を、第２のメモリ・バッファ装置（６４６）から第１のメモリ・バッファ装置（６４４）に、かつ、第１のメモリ・バッファ装置（６４４）及び第１のインバウンド・リンク（６１２）を通して、メモリ・コントローラ（６０２）に通信するように、第１のメモリ層（６５６）内の第２のメモリ・バッファ装置（６４６）から第１のメモリ層（６５６）内の第１メモリ・バッファ装置（６４４）に接続された第２のインバウンド・リンク（６１４）を含む。
【００９２】
図９のメモリ・システムはまた、インバウンド・メモリ信号を、付加的なメモリ層（６５８）内の第１のメモリ・バッファ装置（６４８）から第１のメモリ層（６５６）内の第２のメモリ・バッファ装置（６４６）に、かつ、第１のメモリ層（６５６）内の第２のメモリ・バッファ装置（６４６）、第２のインバウンド・リンク（６１４）、第１のメモリ層（６５６）内の第１のメモリ・バッファ装置（６４４）、及び第１のインバウンド・リンク（６１２）を通して、メモリ・コントローラ（６０２）に通信するように、付加的なメモリ層（６５８）内の第１のメモリ・バッファ装置（６４８）から第１のメモリ層（６５６）内の第２のメモリ装置（６４６）に接続された第３のインバウンド・リンク（６２０）も含む。
【００９３】
図９のメモリ・システムはまた、インバウンド・メモリ信号を、第２のメモリ層（６５８）内の第２のメモリ・バッファ装置（６５０）から第２のメモリ層（６５８）内の第１のメモリ・バッファ装置（６４８）に、かつ、第２のメモリ層（６５８）内の第１のメモリ・バッファ装置（６４８）、第３のインバウンド・リンク（６２０）、第１のメモリ層（６５６）内の第２のメモリ・バッファ装置（６４６）、第２のインバウンド・リンク（６１４）、第１のメモリ層（６５６）内の第１のメモリ・バッファ装置（６４４）、及び第１のインバウンド・リンク（６１２）を通して、メモリ・コントローラ（６０２）に伝送するように、第２のメモリ層（６５８）内の第２のメモリ・バッファ装置（６５０）から第２のメモリ層（６５８）内の第１のメモリ・バッファ装置（６４８）に接続された第４のインバウンド・リンク（６２２）も含む。
【００９４】
図９のメモリ・システムは、メモリ層内のメモリ・バッファ装置間に両方のインバウンド・リンクを有し、異なるメモリ層内のメモリ・バッファ装置間にインバウンド・リンクをも有する、ある種類のサーペンタイン状インバウンド・リンク・アーキテクチャを実装することを、読者はこの説明から認識するであろう。図９のメモリ・システムはまた、メモリ層（６６０）内のメモリ・バッファ装置（６５２、６５４）間にインバウンド・リンク（６３０）を有し、異なるメモリ層（６５８、６６０）内のメモリ・バッファ装置（６５２、６５０）間にインバウンド・リンク（６２８）をも有する、付加的なメモリ層へのサーペンタイン状インバウンド・リンク・アーキテクチャの拡張を説明するための、第３のメモリ層（６６０）も含む。図９の例示的なメモリ・システムにおいては３つのメモリ層（６５６、６５８、６６０）だけが示されるが、読者は、図９のサーペンタイン状インバウンド・リンク・アーキテクチャは、如何なる数のメモリ層にも延長できることを認識するであろう。
【００９５】
この説明に照らして、図９の例示的なメモリ・システムのサーペンタイン状インバウンド・リンク・アーキテクチャの利点には、例えば、各々のメモリ層間に１つだけのインバウンド・リンクが存在し得るアーキテクチャにおいて、インバウンド・チャネル・ラインの物理的複雑さが実質的に減少することが挙げられることを、読者は認識するであろう。図９の例のインバウンド・リンク・アーキテクチャの利点はまた、アーキテクチャにおいて電力消費が実質的に低減することも含み、同じメモリ層にあるメモリ・バッファ装置間のインバウンド・リンクは、介在するコネクタなしに、同一平面上に、同じメモリ・モジュール基板上に、或いは同じバックプレーン又はマザーボード上にあることができる。
【００９６】
最後に、この明細書内のランク及びメモリ層に関するメモリ・バッファ装置のアーキテクチャ構成は、物理的アーキテクチャではなく、論理的アーキテクチャであることに留意することが有用である。特定の物理的アーキテクチャにおいて、図１の例示的な従来技術のメモリ・システムのメモリ・バッファ装置が示されたが、メモリ装置のランクを有するメモリ・モジュールにおいて、そのアーキテクチャは、本発明を制限するものではない。メモリ・バッファ装置が、メモリ装置を有するメモリ・モジュール（ＤＩＭＭ又はＳＩＭＭ）上に、関連したメモリ・デバイスがバックプレーン又はマザーボード上に取り付けられたメモリ・モジュール上にある状態でバックプレーン又はマザーボードのような平面上に、関連したメモリ装置と共に同じバックプレーン又はマザーボード上に、当業者であれば思い付くことができるような任意の他の物理的アーキテクチャ上に、物理的に配置されることは、十分に本発明の範囲内に含まれる。
【００９７】
本発明の範囲から逸脱することなく、本発明の種々の実施形態において修正及び変更をなし得ることが、上記の説明から理解されるであろう。この明細書における説明は、単に例示のためのものであり、限定する意味で構成されるものではない。本発明の範囲は、上記の特許請求の範囲の言葉によってのみ制限される。
【図面の簡単な説明】
【００９８】
【図１】ハブ・アンド・スポーク型トポロジーに編成された、メモリ・コントローラ、メモリ・モジュール、メモリ・バッファ装置及びメモリ装置を含む、従来技術のメモリ・システムの例を示す。
【図２】本発明の実施形態による、メモリ・システムに有用な例示的なコンピュータを含む自動計算機のブロック図を示す。
【図３】本発明の実施形態による、メモリ・システムに有用な例示的なメモリ・バッファ装置の機能ブロック図を示す。
【図４】本発明の実施形態による、例示的なメモリ・システムを例示する機能ブロック図を示す。
【図５】本発明の実施形態による、種々のメモリ・システムに有用な例示的なメモリ信号パケット構造を例示するライン図を示す。
【図６】本発明の実施形態による、更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。
【図７】本発明の実施形態による、更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。
【図８】本発明の実施形態による、更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。
【図９】本発明の実施形態による、更に別の例示的なメモリ・システムを例示する機能ブロック図を示す。
【図１】
2009537883.tif 000003
【図２】
2009537883.tif 000004
【図３】
2009537883.tif 000005
【図４】
2009537883.tif 000006
【図５】
2009537883.tif 000007
【図６】
2009537883.tif 000008
【図７】
2009537883.tif 000009
【図８】
2009537883.tif 000010
【図９】
2009537883.tif 000011
【手続補正書】
【提出日】平成21年4月3日(2009.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
メモリ・コントローラと、
アウトバウンド・リンクであって、前記メモリ・コントローラがアウトバウンド・リンクに接続され、アウトバウンド・リンクは、前記メモリ・コントローラから第１のメモリ層内のメモリ・バッファ装置にメモリ信号を伝える幾つかの伝導経路を含む、アウトバウンド・リンクと、
各々が、前記メモリ・コントローラからメモリ信号を受信するように前記アウトバウンド・リンクに接続された、第１のメモリ層内の少なくとも２つのメモリ・バッファ装置と、
各々が、前記第１のメモリ層内のメモリ・バッファ装置から付加的なメモリ層内の２つ又はそれ以上の付加的なメモリ・バッファ装置にメモリ信号を伝えるように、前記第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記アウトバウンド・リンクにおける前記伝導経路の数よりも少ない数の伝導経路を含む、付加的なアウトバウンド・リンクと、
各々が、前記メモリ・コントローラと前記第１のメモリ層内の前記メモリ・バッファ装置との間の前記アウトバウンド・リンク上で前記メモリ・コントローラから伝送される全てのメモリ信号を受信するように、前記付加的なアウトバウンド・リンクの少なくとも２つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置と
を含むメモリ・システム。
【請求項２】
前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、前記アウトバウンド・リンクを通してアウトバウンド・メモリ信号を受信するように互いに同期される、請求項１に記載のメモリ・システム。
【請求項３】
前記互いに同期された前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置は、各々が、所定の同期閾値大きさまで、前記第２のメモリ層内の前記メモリ・バッファ装置がアウトバウンド・リンクによって接続される前記第１のメモリ層内のメモリ・バッファ装置と同時に同期された、前記付加的なメモリ層内の前記少なくとも２つのメモリ・バッファ装置をさらに含む、請求項２に記載のメモリ・システム。
【請求項４】
一方が、前記第１のメモリ層内の各々のメモリ・バッファ装置から前記メモリ・コントローラにメモリ信号を伝送するように、前記第１のメモリ層内の各々のメモリ・バッファ装置から前記メモリ・コントローラに接続された、複数の別個のインバウンド・リンクをさらに含む、請求項１に記載のメモリ・システム。
【請求項５】
各々が、付加的なメモリ層の付加的なメモリ・バッファ装置から前記第１のメモリ層内の前記メモリ・バッファ装置にメモリ信号を伝えるように、前記第１のメモリ層のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記インバウンド・リンクにおける前記伝導経路の数と等しい数の伝導経路を含む、付加的なインバウンド・リンクと、
各々が、前記第１のメモリ層の各々のメモリ・バッファ装置から前記メモリ・コントローラに伝送される全てのメモリ信号を、前記付加的なメモリ・バッファ装置から前記第１のメモリ・レベルの前記メモリ・バッファ装置の１つに送るように、前記付加的なインバウンド・リンクの１つに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ層と
をさらに含む、請求項４に記載のメモリ・システム。
【請求項６】
前記第１のメモリ層内の前記第１のメモリ・バッファ装置から付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置に全てのアウトバウンド・メモリ信号を伝えるように、第１のメモリ層内の第１のメモリ・バッファ装置に接続された幾つかの伝導経路を含み、かつ、前記メモリ・コントローラを前記第１のメモリ層内の前記メモリ・バッファ装置に接続する前記アウトバウンド・リンクにおける前記伝導経路の数と等しい数の伝導経路を含む、付加的なアウトバウンド・リンクと、
各々が、前記付加的なアウトバウンド・リンク及び前記第１のメモリ層内の前記第１のメモリ・バッファ装置を通して、前記メモリ・コントローラから全てのアウトバウンド・メモリ信号を受信するように、前記付加的なアウトバウンド・リンクに接続された、付加的なメモリ層内の少なくとも２つの付加的なメモリ・バッファ装置と
をさらに含み、
前記第１のメモリ層内の少なくとも１つのメモリ・バッファ装置は、付加的なアウトバウンド・リンクを介さずに、前記付加的なメモリ層のいずれかの付加的なメモリ・バッファ装置に接続される、請求項１に記載のメモリ・システム。
【国際調査報告】
2009537883.tif 000012
2009537883.tif 000013