(57)【要約】【課題】高帯域幅メモリをキャッシュメモリとして使用するためのシステム及び方法を提供する。【解決手段】本発明に係る高帯域幅メモリはロジックダイ及びロジックダイ上にスタッキングされた、複数の動的ランダムアクセスメモリダイを含む。ロジックダイのキャッシュ管理部はＪＥＳＤ２３５Ａ標準に相応しい外部インターフェイスを通じて外部システムとインターフェイスする。アドレス変換機は外部インターフェイスを通じて受信された各々の物理的アドレスをタッグ値、メモリダイスタック内のタッグアドレス、及びデータアドレスに変換する。タッグ比較器はアドレス変換機によって生成されるタッグ値がタッグアドレスに格納されたタッグ値と同一であるか否かによってキャッシュヒットあるいはキャッシュミスが発生したか否かを判別する。命令生成器は命令を生成させる。【選択図】図２
2018018513.tif 000002
【特許請求の範囲】
【請求項１】
メモリシステムにおいて、
複数のメモリダイを含むメモリスタックと、
ロジックダイと、を含み、
前記メモリダイは、前記ロジックダイ上にスタッキングされ、前記ロジックダイに連結され、
前記ロジックダイは、前記メモリシステムに対する外部インターフェイスを含み、
前記ロジックダイは、キャッシュ管理部を含むことを特徴とするメモリシステム。
【請求項２】
前記キャッシュ管理部は、前記外部インターフェイスを通じて受信されたアドレスを変換して第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスを生成するアドレス変換機（ｔｒａｎｓｌａｔｏｒ）を含むことを特徴とする請求項１に記載のメモリシステム。
【請求項３】
前記キャッシュ管理部は、前記外部インターフェイスを通じて受信される読出し命令に応答してタッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成する命令変換機を含むことを特徴とする請求項２に記載のメモリシステム。
【請求項４】
前記キャッシュ管理部は、キャッシュヒット信号を生成させるタッグ比較器を含み、
前記キャッシュヒット信号は、前記第１タッグ値が前記第１命令の実行の結果値と同一である場合、真値を有し、前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有することを特徴とする請求項３に記載のメモリシステム。
【請求項５】
前記タッグ比較器は、前記外部インターフェイスの第１ピンを通じて前記キャッシュヒット信号を伝送することを特徴とする請求項４に記載のメモリシステム。
【請求項６】
前記キャッシュ管理部は、前記外部インターフェイスの第２ピンを通じてダーティビットの値及び／又は有効ビットの値を伝送することを特徴とする請求項５に記載のメモリシステム。
【請求項７】
前記キャッシュ管理部は、第１区間の間に前記第１ピンを通じて前記キャッシュヒット信号を伝送し、第２区間の間に前記第１ピンを通じてダーティビット値を伝送することを特徴とする請求項５に記載のメモリシステム。
【請求項８】
前記キャッシュ管理部は、擬似チャンネルを通じて前記第１命令を実行することを特徴とする請求項３に記載のメモリシステム。
【請求項９】
前記キャッシュ管理部は、並列モード動作を選択するか、或いは直列モード動作を選択するかを指示するモードセレクターを含み、前記キャッシュ管理部は、前記モードセレクターが並列モード動作の選択を指示する場合、前記第２命令に並列的な前記第１命令を実行し、前記モードセレクターが直列モード動作の選択を指示する場合、前記第２命令を実行する前に前記第１命令を実行することを特徴とする請求項３に記載のメモリシステム。
【請求項１０】
前記モードセレクターは、前記外部インターフェイスを通じて制御されることを特徴とする請求項９に記載のメモリシステム。
【請求項１１】
前記メモリダイの第１バンク内に格納され、互いに異なる擬似チャンネル（ｐｓｅｕｄｏ  ｃｈａｎｎｅｌｓ）を通じてアクセス可能な任意の２つのデータワードに対して、２つの対応するタッグが前記メモリスタックの互いに異なるサブアレイに格納されることを特徴とする請求項１に記載のメモリシステム。
【請求項１２】
前記外部インターフェイスは、ＪＥＳＤ２３５Ａ（Ｊｏｉｎｔ  Ｅｌｅｃｔｒｏｎ  Ｄｅｖｉｃｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｃｏｕｎｃｉｌ  ｓｔａｎｄａｒｄ）に準拠して動作することを特徴とする請求項１に記載のメモリシステム。
【請求項１３】
ホストプロセッサと、
前記ホストプロセッサに連結された第１メモリシステムと、
前記ホストプロセッサに連結された第２メモリシステムと、を含み、
前記第１メモリシステムは、
複数のメモリダイを含むメモリスタックと、
ロジックダイと、を含み、
前記メモリダイは、前記ロジックダイ上にスタッキングされ、前記ロジックダイに連結され、
前記ロジックダイは、メモリシステムに対する外部インターフェイスを具備し、前記ロジックダイは、キャッシュ管理部を含み、
前記第２メモリシステムは、前記第１メモリシステムに対する補助記憶装置として動作することを特徴とするプロセシングシステム。
【請求項１４】
前記キャッシュ管理部は、前記外部インターフェイスを通じて前記ホストプロセッサから受信されたアドレスを第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスに変換するアドレス変換機を含むことを特徴とする請求項１３に記載のプロセシングシステム。
【請求項１５】
前記キャッシュ管理部は、前記外部インターフェイスを通じて前記ホストプロセッサから受信された読出し命令に応答して、タッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成させる命令変換機を含むことを特徴とする請求項１４に記載のプロセシングシステム。
【請求項１６】
前記キャッシュ管理部は、キャッシュヒット信号を生成させるタッグ比較器を含み、
前記キャッシュヒット信号は、前記第１タッグ値が前記第１命令の実行の結果値と同一である場合に真値、及び前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有することを特徴とする請求項１５に記載のプロセシングシステム。
【請求項１７】
前記外部インターフェイスは、ＪＥＳＤ２３５Ａ（Ｊｏｉｎｔ  Ｅｌｅｃｔｒｏｎ  Ｄｅｖｉｃｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｃｏｕｎｃｉｌ  ｓｔａｎｄａｒｄ）に準拠して動作することを特徴とする請求項１３に記載のプロセシングシステム。
【請求項１８】
複数のメモリダイ及びロジックダイを含むメモリスタックを動作させる方法において、前記メモリダイは、前記ロジックダイにスタッキングされ、前記ロジックダイに連結され、前記ロジックダイは、メモリシステムに対する外部インターフェイスを具備し、
前記方法は、
前記ロジックダイによって前記外部インターフェイスを通じて受信されたアドレスを変換して、第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスを生成する段階を含むことを特徴とするメモリスタックを動作させる方法。
【請求項１９】
前記ロジックダイによって、前記外部インターフェイスを通じて受信された読出し命令に応答してタッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成させる段階をさらに含むことを特徴とする請求項１８に記載のメモリスタックを動作させる方法。
【請求項２０】
前記ロジックダイによって、キャッシュヒット信号を生成させる段階をさらに含み、
前記キャッシュヒット信号は、前記第１タッグ値が前記第１命令の実行の結果値と同一である場合に真値、及び前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有することを特徴とする請求項１９に記載のメモリスタックを動作させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高帯域幅メモリに係り、より詳細には、高帯域幅メモリをキャッシュメモリとして使用するためのメモリシステム、プロセシングシステム、及びメモリスタックを動作させる方法に関する。
【背景技術】
【０００２】
ＨＢＭ（Ｈｉｇｈ  Ｂａｎｄｗｉｄｔｈ  Ｍｅｍｏｒｙ、高帯域幅メモリ）は３次元スタック式ダイナミックＲＡＭ（ＤＲＡＭ）のための高性能ＲＡＭインターフェイスとして作用する。ＨＢＭをキャッシュメモリとして使用する従来の関連技術システムは、ホスト上にキャッシュ管理部を有し、キャッシュ管理機能を遂行する。このような配置はホストと、ホスト及びＨＢＭの間のインターフェイスとに負担をかける恐れがある。
【０００３】
したがって、ＨＢＭをキャッシュメモリとして使用する際にはシステム及び方法の改革が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は高帯域幅メモリをキャッシュメモリとして使用するためのシステム及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一実施形態に係る実施形態の１つ以上の側面は、高帯域幅メモリをキャッシュメモリとして使用するためのシステム及び方法に対するものである。高帯域幅メモリはロジックダイ及びロジックダイ上にスタッキングされた、複数のＤＲＡＭダイを含む。ロジックダイはキャッシュ管理部を含み、キャッシュ管理部はＪＥＳＤ２３５Ａ標準に適合する外部インターフェイスを通じて外部システムとインターフェイスし、アドレス変換機、命令変換機、及びタッグ比較器を含むことができる。アドレス変換機は外部インターフェイスを通じて受信された各々の物理的アドレスをタッグ値、メモリダイスタック内のタッグアドレス、及びメモリダイスタック内のデータアドレスに変換する。タッグ比較器はアドレス変換機によって生成されるタッグ値がタッグアドレスに格納されたタッグ値と同一であるか否かによってキャッシュヒット及びキャッシュミスが発生したか否かを判別する。命令生成器は命令を生成させる。例えば、外部インターフェイスを通じての書込み命令の受信にしたがって、命令生成器は先ず命令を生成し、タッグ値をフェッチして、キャッシュヒットが発生したか否かを判断し、そしてキャッシュヒットが発生した場合、命令生成器は書込み命令を生成させる。
【０００６】
本発明の一実施形態にしたがって提供されるメモリシステムは複数のメモリダイを含むメモリスタック、ロジックダイを含み、前記メモリダイは前記ロジックダイ上にスタッキングされ、前記ロジックダイに連結され、前記ロジックダイは前記メモリシステムに対する外部インターフェイスを具備し、前記ロジックダイは、前記メモリシステムに対する外部インターフェイス、キャッシュ管理部を含む。
【０００７】
一実施形態において、前記キャッシュ管理部は前記外部インターフェイスを通じて受信されたアドレスを変換して第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスを生成するアドレス変換機（ｔｒａｎｓｌａｔｏｒ）を含む。
【０００８】
一実施形態において、前記キャッシュ管理部は前記外部インターフェイスを通じて受信される読出し命令に応答してタッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成する命令変換機を含む。
【０００９】
一実施形態において、前記キャッシュ管理部はキャッシュヒット信号を生成させるタッグ比較器を含み、前記キャッシュヒット信号は前記第１タッグ値が前記第１命令の実行の結果値と同一である場合、真値を有し、前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有する。
【００１０】
一実施形態において、前記タッグ比較器は前記外部インターフェイスの第１ピンを通じて前記キャッシュヒット信号を伝送する。
【００１１】
一実施形態において、前記キャッシュ管理部は前記外部インターフェイスの第２ピンを通じてダーティビットの値及び／又は有効ビットの値を伝送する。
【００１２】
一実施形態において、前記キャッシュ管理部は第１区間の間に前記第１ピンを通じて前記キャッシュヒット信号を伝送し、第２区間の間に前記第１ピンを通じてダーティビット値を伝送する。
【００１３】
一実施形態において、前記キャッシュ管理部は擬似チャンネルを通じて前記第１命令を実行する。
【００１４】
一実施形態において、前記キャッシュ管理部は並列モード動作を選択するか、或いは直列モード動作を選択するかを指示するモードセレクターを含み、前記キャッシュ管理部は前記モードセレクターが並列モード動作の選択を指示する場合、前記第２命令に並列的な前記第１命令を実行し、前記モードセレクターが直列モード動作の選択を指示する場合、前記第２命令を実行する前に前記第１命令を実行する。
【００１５】
一実施形態において、前記モードセレクターは前記外部インターフェイスを通じて制御される。
【００１６】
一実施形態において、前記メモリダイ内の第１バンクに格納され、互いに異なる擬似チャンネルを通じてアクセス可能な任意の２つのデータワードに対して、２つの対応するタッグが前記スタックの互いに異なるサブアレイに格納される。
【００１７】
一実施形態において、前記外部インターフェイスはＪＥＳＤ２３５Ａ（Ｊｏｉｎｔ  Ｅｌｅｃｔｒｏｎ  Ｄｅｖｉｃｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｃｏｕｎｃｉｌ  ｓｔａｎｄａｒｄ）に準拠して動作する。
【００１８】
本発明の一実施形態にしたがって提供されるプロセシングシステムは、ホストプロセッサ、前記ホストプロセッサに連結された第１メモリシステム、及び前記ホストプロセッサに連結された第２メモリシステムを含み、第１メモリシステムは複数のメモリダイを含むメモリスタック及びロジックダイを含み、前記メモリダイは前記ロジックダイ上にスタッキングされ、前記ロジックダイに連結され、前記ロジックダイは前記メモリシステムに対する外部インターフェイスを具備し、前記ロジックダイはキャッシュ管理部を含み、前記第２メモリシステムは前記第１メモリシステムに対する補助記憶装置として動作する。
【００１９】
一実施形態において、前記キャッシュ管理部は前記外部インターフェイスを通じて前記ホストプロセッサから受信されたアドレスを第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスに変換するアドレス変換機（ｔｒａｎｓｌａｔｏｒ）を含む。
【００２０】
一実施形態において、前記キャッシュ管理部は前記外部インターフェイスを通じて前記ホストプロセッサから受信された読出し命令に応答してタッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成させる命令変換機を含む。
【００２１】
一実施形態において、前記キャッシュ管理部はキャッシュヒット信号を生成させるタッグ比較器を含み、前記キャッシュヒット信号は前記第１タッグ値が前記第１命令の実行の結果値と同一である場合に真値を有し、前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有する。
【００２２】
一実施形態において、前記外部インターフェイスはＪＥＳＤ２３５Ａ（Ｊｏｉｎｔ  Ｅｌｅｃｔｒｏｎ  Ｄｅｖｉｃｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｃｏｕｎｃｉｌ  ｓｔａｎｄａｒｄ）に準拠して動作する。
【００２３】
本発明の一実施形態にしたがって提供される複数のメモリダイとロジックダイとを含むメモリスタックを動作させる方法によれば、前記メモリダイは前記ロジックダイ上にスタッキングされ、前記ロジックダイに連結され、前記ロジックダイは前記メモリシステムに対する外部インターフェイスを具備し、前記方法は前記ロジックダイによって、前記外部インターフェイスを通じて受信されたアドレスを変換して第１タッグ値、前記メモリスタックのデータアドレス、及び前記メモリスタックのタッグアドレスを生成する段階を含む。
【００２４】
一実施形態において、前記方法は前記ロジックダイによって前記外部インターフェイスを通じて受信される読出し命令に応答してタッグをフェッチする第１命令及びデータワードをフェッチする第２命令を生成する段階を含む。
【００２５】
一実施形態において、前記方法は前記ロジックダイによってキャッシュヒット信号を生成させる段階を含み、前記キャッシュヒット信号は、前記第１タッグ値が前記第１命令の実行の結果値と同一である場合に真値を有し、前記第１タッグ値が前記第１命令の実行の結果値と同一でない場合、偽値を有する。
【発明の効果】
【００２６】
ロジックダイがキャッシュ管理部を含むことは、第２番目の命令（書込み命令）がホストプロセッサではなく、ロジックダイにおいて生成できるので、効率性を改善できる。
【図面の簡単な説明】
【００２７】
本発明の特定実施形態の上記した内容及び他の内容、特徴、及び長所は添付図面を参照して、後述する詳細な説明において、さらに明確に説明する。
【図１】本発明の一実施形態に係る高帯域幅メモリスタックの斜視図である。
【図２】本発明の一実施形態に係る高帯域幅メモリスタックをレベル３キャッシュとして採択するプロセシングシステムのブロック図である。
【図３】本発明の一実施形態に係る高帯域幅メモリスタックのブロック図である。
【図４】本発明の一実施形態に係る高帯域幅メモリスタックのブロック図である。
【図５】本発明の一実施形態に係るストレージ図である。
【図６】本発明の一実施形態に係るストレージ図である。
【発明を実施するための形態】
【００２８】
以下添付した図面と共に説明する詳細な説明は本発明により提供されるインメモリキャッシュ管理部を具備する高帯域幅メモリの例示的な実施形態の説明であり、本発明が構成され、利用される１つの類型のみを示すことではない。実施形態に連結される本発明の特徴を説明する。しかし、同一又は均等な機能及び構造が本発明の範囲及び思想を含む互いに異なる実施形態によって遂行されることは明確である。本明細書における同一の要素番号は同一の要素又は特徴を示す。
【００２９】
高帯域幅メモリ（ＨＢＭ）は高性能３次元のスタック式ダイナミックＲＡＭ（ＤＲＡＭ）である。第２世代ＨＢＭはスタック毎に最大８個のダイを含み、最大２ＧＴ／ｓ（ｇｉｇａ  ｔｒａｎｓｆｅｒｓ  ｐｅｒ  ｓｅｃｏｎｄ）のピン伝送速度を提供する。インターフェイスは総計１０２４ビット幅のアクセスのために各々が１２８ビット幅の８個のチャンネルを含む。第２世代ＨＢＭはパッケージ当たり２５６ＧＢ／ｓのメモリ帯域幅に到達し、パッケージ当たり最大８ＧＢの格納能力を有する。第２世代ＨＢＭのインターフェイスは標準ＳＥＳＤ２３５ＡとしてＪＥＤＥＣ（Ｊｏｉｎｔ  Ｅｌｅｃｔｒｏｎ  Ｄｅｖｉｃｅ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｃｏｕｎｃｉｌ）に承認された標準に準拠する。
【００３０】
図１を参照すれば、ＨＢＭスタック１０５の物理的構成はロジックダイ１１０及びロジックダイ１１０の最上側にスタッキングされた複数のＤＲＡＭダイ（例えば、８個のダイ）を含む３次元ＤＲＡＭすなわち“ＤＲＡＭスタック１１５”を含む。相互連結はＴＳＶｓ（ｔｈｒｏｕｇｈ−ｓｉｌｉｃｏｎ  ｖｉａ）を通じてスタック内に形成される。ＨＢＭスタック関連技術はロジックダイ内に連結、信号調節回路を含み、その結果として、ＨＢＭの外部インターフェイスによるホストプロセッサへのＤＲＡＭチャンネルインターフェイスが実質的に変更されずに提供される。
【００３１】
図２を参照すれば、ＨＢＭスタック１０５はホストプロセッサ２０５（即ち、ＣＰＵ又はＧＰＵ）に連結される。ホストプロセッサ２０５は各々が夫々のレベル１キャッシュ２１５を有する複数のコア２１０を含む。レベル２キャッシュ２２０はレベル１キャッシュ２１５に連結され、第１メモリ制御器２２５はインターフェイスをオフチップメーンメモリ２３０に提供する。第２メモリ制御器２３５はＨＢＭスタック１０５へのインターフェイスを提供する。ＨＢＭスタック１０５はＨＢＭスタック１０５のロジックダイ内にキャッシュ管理部ＣＭを含む。ＨＢＭスタック１０５はそのキャッシュ管理部ＣＭと共にホストプロセッサ２０５によってレベル３キャッシュ（又はレベル３キャッシュを有するシステムにおけるレベル４キャッシュ）として採択される。ＨＢＭインターフェイス２４５はＪＥＳＤ２３５Ａに相応しいインターフェイスであり、即ちこれはＪＥＳＤ２３５Ａ標準によって指定されたコンダクター（ｃｏｎｄｕｃｔｏｒｓ）及びシグナリングプロトコル（ｓｉｇｎａｌｉｎｇ  ｐｒｏｔｏｃｏｌｓ）を提供する。
【００３２】
図３を参照すれば、一部の実施形態において、ＨＢＭスタック１０５はロジックダイ１１０を含み、ロジックダイ１１０は図３においてｃｈ０乃至ｃｈ７により示したチャンネルと称される８個の内部インターフェイスを通じてＤＲＡＭスタック１１５内のＤＲＡＭに連結される。
【００３３】
図４を参照すれば、一実施形態において、ＨＢＭスタック１０５は前述したようにＤＲＡＭスタック１１５及びロジックダイ１１０を含み、ロジックダイ１１０はキャッシュ管理部ＣＭを具現する複数の構成要素を含む。ＨＢＭインターフェイス２４５による命令及びアドレスライン３０５はＨＢＭスタック１０５のロジックダイ１１０内の命令変換機３１０及びアドレス変換機３１５に連結される。命令及びアドレスライン３０５は、例えばＨＢＭインターフェイス２４５の８個のチャンネルの各々のために６個の行の命令／アドレスライン及び８個の列の命令／アドレスラインを含む。
【００３４】
動作において、アドレス変換機３１５は命令（即ち読出し命令又は書込み命令）が遂行されるための物理的メモリアドレスを周期的に受信する。その後、アドレス変換機３１５はアドレスをタッグ値、タッグアドレス、及びデータアドレスに変換する。タッグ値は‘‘キャッシュヒット’’が発生したか否かを決定するのに利用される（即ち、キャッシュ内のアドレスがＨＢＭインターフェイス２４５を通じて受信されたアドレスに現在割当されているか否かを決定するのに利用される）。例えば、キャッシュ管理部ＣＭはタッグアドレスにおいてタッグ値を読み出し、或いはフェッチし、それをアドレス変換機３１５によって生成されたタッグ値と比較する。（即ち、以下において詳細に説明するタッグ比較器３２０を通じて）仮に受信された物理的アドレスから形成されたタッグ値が、アドレス変換機３１５によってＤＲＡＭスタック１１５においてタッグアドレスに格納されたタッグ値と同一である場合、キャッシュヒットは発生する。即ち、キャッシュ内のアドレスはプロセッサの物理的メモリ空間において、受信されたアドレスに現在割当されている。受信された物理的アドレスから形成されたタッグ値がＤＲＡＭスタック１１５のタッグアドレスに格納されたタッグ値と同一でない場合（本明細書においては、その状態を‘‘キャッシュミス’’と称す）、キャッシュ内アドレスはプロセッサの物理的メモリ空間において、受信されたアドレスに現在割当されていない。
【００３５】
タッグ比較器３２０は比較に使用される。即ち、前記比較は受信された物理的アドレスから形成されたタッグ値とタッグアドレスに格納されたタッグ値とを比較する。タッグ比較器３２０の出力はキャッシュヒット信号と称される信号であり、キャッシュヒット信号はキャッシュヒットが発生する場合、真値（即ち、二進‘‘１’’値）及びキャッシュミスが発生する場合、偽値（即ち二進‘‘０’’値）を有する。
【００３６】
命令変換機３１０はＨＢＭインターフェイス２４５を通じて受信された命令に応答して命令を生成しＤＲＡＭスタック１１５において命令が実行される。例えば、ＨＢＭインターフェイス２４５を通じて受信された命令が読出し命令であれば、命令変換機３１０は命令を生成してデータアドレスに格納されたデータワードを読み出し、命令を生成してタッグアドレスに格納されたタッグ値を読み出す。前記命令の各々は複数のマイクロ動作を含み、或いは構成される、即ち読出し命令は読出し動作に後続する活性動作を含む。
【００３７】
ＨＢＭインターフェイス２４５を通じて受信された命令が書込み命令である場合、命令変換機３１０は先ず命令を生成させてタッグアドレスに格納されたタッグを読み出し、タッグ値がアドレス変換機３１５によって生成されたタッグ値と同一である場合、書込み命令を生成させて、ＤＲＡＭスタック１１５にデータ書込み動作をする。上記したように、ホストプロセッサ２０５がキャッシュ管理部ＣＭの具現を不必要とし、さらにロジックダイ１１０内にキャッシュ管理部ＣＭを含むことは第２番目の命令（書込み命令）がホストプロセッサ２０５ではない、むしろロジックダイ１１０において生成されることによって、効率性を改善できる。
【００３８】
タッグ値及びデータをフェッチすることは並列的又は直列的に遂行される。例えば、キャッシュ管理部ＣＭが並列モードにより動作する場合、タッグ値及びデータは並列的にフェッチされ、フェッチされたタッグ値はアドレス変換機３１５によって生成されたタッグ値とタッグ比較器３２０によって比較され、そして前記２つのタッグ値とが同一である場合、ＨＢＭインターフェイス２４５を通じてデータ読出しデータは返還される。そうでない場合にはキャッシュミスは以下に後述するようにＨＢＭインターフェイス２４５を通じてホストプロセッサ２０５に伝達される。キャッシュ管理部ＣＭが直列モードにより動作する場合、タッグ値が先ずフェッチされ、フェッチされたタッグ値はアドレス変換機３１５によって生成されたタッグ値とタッグ比較器３２０によって比較され、そして２つのタッグ値が同一である場合、データはフェッチされ、ＨＢＭインターフェイス２４５を通じて返還される。同一でなければ、キャッシュミスはＨＢＭインターフェイス２４５を通じてホストプロセッサ２０５に伝達される。直列モードによる動作は並列モードによる動作よりさらに電力的に効率的である。なぜならば、直列モードにおいてデータフェッチ動作はただキャッシュヒットの場合のみに遂行されるためである。並列モードによる動作は直列モードによる動作より速い。なぜならば、並列モードにおいてはタッグ値フェッチ及びデータフェッチは同時に遂行される。キャッシュ管理部ＣＭはモード選択器（即ち、制御レジスターのビット）を含み、モード選択器はキャッシュ管理部ＣＭが並列モードにより動作するか、或いは直列モードにより動作するかを制御する。モード選択器はＨＢＭインターフェイス２４５を通じて、ホストプロセッサ２０５によって、即ち、新しい値を制御レジスターに書き込む命令によって制御される。
【００３９】
キャッシュ管理部ＣＭは各々のタッグと共に、２ビットのメタデータを格納する。前記２ビットは
（ｉ）対応するデータワードが有効であるか、或いは無効であるかを指示するビット（‘‘有効ビット’’）、
（ｉｉ）対応するデータワードがクリーン（ｃｌｅａｎ）又はダーティ（ｄｉｒｔｙ）であるかを指示するビット（‘‘ダーティビット’’）
である。補助記憶ストレージ内の対応するデータがアップデートされること（言葉を変えれば、クリーン（ｃｌｅａｎ））無しにキャッシュ内のデータがアップデートされる場合に、キャッシュ内データはダーティとして看做され、そしてキャッシュに対応するデータがアップデートされること（言葉を変えれば有効な）無しに補助記憶ストレージ内のデータがアップデートされる場合、キャッシュ内のデータは無効であると看做される。
【００４０】
さらに、ＨＢＭインターフェイス２４５を通じて受信された命令は前述したように、キャッシュヒット信号の真値又は偽値（キャッシュヒット又はキャッシュミスに各々対応する）の結果をもたらす。ＨＢＭインターフェイス２４５を通じてＨＢＭスタック１０５によって受信された任意の命令が完了する場合、キャッシュ管理部ＣＭは３つの値を生成させる。１つはキャッシュヒット信号であり、１つはダーティビットであり、１つは有効ビットである。前記値は他の機能のために使用されないＨＢＭインターフェイス２４５の１つ以上のピンを使用してＨＢＭインターフェイス２４５を通じてホストプロセッサ２０５に伝達される。前記ピンは
（ｉ）８個のチャンネルの各々の２１２個のピンの中の任意のピンではなく、また
（ｉｉ）ＲＥＳＥＴ、ＴＥＭＰ［２：０］、又はＣＡＴＴＲＩＰピンの中の任意のピンではない。後に使用されるために予約されたピン（ＲＦＵピン）として、ＪＥＳＤ２３５Ａ標準によって定義されたピンが使用される。例えば、一実施形態において、ＲＦＵピンは命令が実行された後、データバースト（ｄａｔａ  ｂｕｒｓｔ）の第１データサイクルの間にキャッシュヒット信号を伝送するのに使用され、データバーストの次のデータサイクルの間にダーティビットの値を伝送するために使用される。キャッシュヒット信号及びダーティビットの伝送はデータバーストのデータの伝送に同期化される。一部の実施形態において、複数のＲＦＵピンはキャッシュヒット信号、ダーティビット、及び／又は有効ビットを伝送するために使用される。
【００４１】
キャッシュ内においてデータを無効化するために、ホストプロセッサ２０５は“無効化”信号を無効化されるデータのアドレスと共にＨＢＭインターフェイス２４５を通じてロジックダイ１１０に伝送する。無効化信号はキャッシュヒット信号をホストプロセッサ２０５に伝送するために使用されるＨＢＭインターフェイス２４５の同一のピン（即ち、ＲＦＵピン）を通じて伝送される。アドレスはＨＢＭインターフェイス２４５のＣＡバスを通じて伝送される。そして、前記情報を通じて、ロジックダイ１１０はＤＲＡＭスタック１１５に格納された対応する有効ビットをアップデートする。
【００４２】
一部の実施形態において、ＲＦＵピンはまたキャッシュ一貫性（ｃｏｈｅｒｅｎｃｙ）を維持するために使用される。即ち、図２に示したようなマルチコアシステムにおいて補助記憶ストレージ（即ち、オフチップメーンメモリ２３０）とキャッシュとの間における一貫性を維持させる。前記マルチコアシステムにおいて、レベル３キャッシュ（ＨＢＭスタック１０５にて具現される）及び補助記憶ストレージはコア２１０の各々によって読み出されるか、或は修正される。
【００４３】
ロジックダイ１１０のスケジューラー３２５は命令変換機３１０及びアドレス変換機３１５の各々から命令及びアドレスを受信し、ＤＲＡＭスタック１１５上における前記命令の実行を予定する。ロジックダイ１１０のデータバッファ３３０はデータがＨＢＭインターフェイス２４５を通じて受信された後及び／又はデータがＤＲＡＭスタック１１５から読み出された後に一時的にデータを格納するために使用される。スケジューラー３２５及びデータバッファ３３０は所定の比率の変化の収容を助ける。
【００４４】
前記変化は次の通りである。
（ｉ）ＨＢＭインターフェイス２４５を通じて命令が受信され、
（ｉｉ）ＤＲＡＭスタック１１５上において命令が実行され、
（ｉｉｉ）ＨＢＭインターフェイス２４５を通じてデータが伝送されるか、或いは受信され、
（ｉｖ）ＤＲＡＭスタック１１５からデータが読み出されるか、或はＤＲＡＭスタック１１５にデータが書き込まれる。
【００４５】
ＪＥＳＤ２３５Ａ標準は擬似（ｐｓｅｕｄｏ）チャンネルモードにより動作を提供し、前記擬似チャンネルモードにより、８個の１２８ビットチャンネルの各々は２つの半独立的な（ｓｅｍｉ−ｉｎｄｅｐｅｎｄｅｎｔ）擬似チャンネルとして動作する。このようなモードにおいては、２つの擬似チャンネルが個別的に命令をデコーディングし、実行するにも拘らず、擬似チャンネルの各々の対はチャンネルの行及び列命令バスを共有するだけでなく、ＣＫ及びＣＫＥ入力も共有する。一部の実施形態において、前記モードはタッグ値を格納するのに使用される。チャンネルの全体１２８ビット幅データバス（ＤＱバス）がＤＲＡＭスタック１１５からタッグ値を読み出すか、或いはタッグ値を使うために使用される場合、各々のタッグ値は非常に効率的ではない（即ち、２５％程度の効率）結果をもたらす３２ビットワードである。擬似チャンネルモードにおいて前記バスの幅の単なる半分（即ち６４ビット）のみがタッグ値を読み出すか、或いは使うのに使用される場合、さらに高い効率（即ち、５０％程度）をもたらす。
【００４６】
ＤＲＡＭのバンクの各々は１６個のサブアレイを含むか、又は構成する。図５を参照すれば、一部の実施形態において、各々のデータワードは６４バイト（５１２ビット）の長さであり、各々のタッグ値は４バイト（３２ビット）の長さである。即ち、長さの比率は１６：１である。タッグ値及びデータは互いに異なるチャンネルを通じてアクセスされる。例えば、データはチャンネル１乃至１５を通じてアクセスされ、タッグ値はチャンネル０を通じてアクセスされる。前記実施形態において、並列的なデータのアクセスが可能であるが、タッグアクセスは図示した点線楕円により示したように、バンク衝突（ｂａｎｋ  ｃｏｎｆｌｉｃｔｓ）を経験する。したがって、図６を参照すれば、一実施形態において、タッグは互いに異なるサブアレイに格納され、前記サブアレイは本明細書においてＳＡＬＰ（ｓｕｂａｒｒａｙ  ｌｅｖｅｌ  ｐａｒａｌｌｅｌｉｓｍ）と称する方法を使用して並列にアクセスされる。前記実施形態において、タッグアクセスが同時に処理されることが可能であり、これを通じてタッグアクセスが同一のバンクに行われる場合にも、タッグアクセスのための衝突を避けることができる。
【００４７】
前述した観点において、ロジックダイ１１０内にキャッシュ管理部ＣＭを含むＨＢＭスタック１０５はキャッシュ管理部ＣＭがないＨＢＭスタック関連技術に対比して多くの長所を有する。キャッシュ管理部ＣＭを含むＨＢＭスタック１０５の使用はホストプロセッサのサイズ、価額、及び電力消費を減少させながら、ホストプロセッサ２０５内にキャッシュ管理部ＣＭを含む必要がないようにし、同一のリソースをホストプロセッサ２０５において他の用途として使用できるようにする。その上に、条件付実行はこのような条件付実行がホストプロセッサ２０５を伴う場合よりＨＢＭスタック１０５内において全的に遂行される場合さらに速い。例えば、書込み命令はキャッシュヒット決定がホストプロセッサ２０５のキャッシュ管理部ＣＭ内において行われる場合より、ＨＢＭスタック１０５内において行われるキャッシュヒットの場合にさらに速やかに実行できる。
【００４８】
‘‘第１’’、‘‘第２’’、‘‘第３’’等の用語は本明細書において、多様な要素、構成要素、領域、層、及び／又は部分を説明するために使用したが、前記要素、構成要素、領域、層、及び／又は部分は前記用語に限定されない。前記用語は１つの要素、構成要素、領域、層、又は部分をその他の要素、構成要素、領域、層、又は部分と単に区分するために使用した。したがって、第１要素、構成要素、領域、層、又は部分は発明の概念の思想及び範囲を逸脱せずに、第２要素、構成要素、領域、層、又は部分に指定できる。
【００４９】
‘‘下’’及び‘‘上’’等の空間的に関連された用語は１つの要素及び特徴と１つの図面に説明したその他の要素又は特徴との関係の説明を容易にするために本明細書において使用した。前記空間的に関連された用語は図面において説明する方向に追加して、使用される装置及び動作の互いに異なる方向を含む。例えば、図面において装置が裏返した場合には他の要素又は特徴の‘‘下’’のような用語として説明する要素は他の要素又は特徴の‘‘上’’に配置される。したがって、例示的な用語‘‘下’’は下と上を全て含む。装置は他の方向に配置される。例えば、９０°又は他の方向に回転される。本明細書において使用される空間的に関連された用語はこれにしたがって解釈されなければならない。また、１つの層が２つの層間にあることを言及する場合、２つの層間に唯一の層であるか、或いは１つ以上の介在した層が存在できることは明らかである。
【００５０】
本明細書において使用した用語は特定実施形態のみを説明するためのものであり、本発明の概念を制限しない。本明細書において使用した用語‘‘実質的に’’、‘‘約’’及びこれと類似な用語は近似の用語として使用し、学術的な用語として使用されず、これらによって認識される測定又は計算値は固有の偏差を説明するためであり、これは当業者に自明である。本明細書において使用したように‘‘主要成分’’という用語は組成物の少なくとも半分を構成する成分を意味し、‘‘主要部分’’は複数の項目に適用される時、項目の少なくとも半分を意味する。
【００５１】
本明細書において使用した単数形態は文脈上、特に明示されていない限り、複数形態を含む。本明細書において使用する‘‘含む’’という用語は明示された特徴、整数、段階、動作、構成要素、及び／又は構成要素の存在を示すが、存在を排除しないと解釈することが自明である。又は１つ以上の他の特徴、整数、段階、動作、要素、構成要素、及び／又はグループの追加を含む。本明細書において使用したように‘‘及び／又は’’という用語は１つ以上の関連されて列挙された項目の任意及びすべての組合を含む。‘‘少なくとも１つ’’のような表現は要素目録の前にある場合に要素の全体目録を修正し、目録の個別要素を修正しない。また、本発明の概念の実施形態を記述する時、‘‘することができる’’を使用することは‘‘本発明の１つ以上の実施形態’’を意味する。また‘‘例示的な’’という用語は例又は説明を意味する。本明細書において使用されたように用語‘‘使用’’、‘‘使用する’’及び‘‘使用された’’は各々‘‘利用’’、‘‘利用する”及び‘‘利用された”と同意語と看做される。
【００５２】
要素又は層がその他の要素又は層の‘‘上”にあること、‘‘連結された”、‘‘結合された”又は隣接すると言及する場合、１つ以上の介在要素又は層が存在できる。対照的に１つの要素又は層が他の要素又は層に‘‘直接的に”、‘‘直接的に連結された”、‘‘直接的に結合された”又は‘‘直ちに隣接する”と言及する時、介在する要素又は層が存在しない。
【００５３】
本明細書において列挙した任意の数値範囲は列挙した範囲内に含まれた同一の数値精度のすべての下位範囲を含むように意図される。例えば、１．０乃至１０．０の範囲には指定された１．０の値と１０．０の値の間のすべての部分範囲が含まれる（最小の値が１．０以上）。例えば、２．４乃至７．６のような値があり得る。本明細書に引用された最大数値制限はここに含まれるすべての低い数値制限を含むように意図され、本明細書に引用された任意の最小数値制限はここに含まれるすべてのさらに高い数値制限を含むように意図される。
【００５４】
メモリ内キャッシュ管理部が有する高帯域幅メモリの例示的な実施形態を本明細書に具体的に説明し例示したが、多くの変形及び変更が当業者に自明である。したがって、本発明の原理にしたがって構成されたメモリ内キャッシュ管理部を有する高帯域幅メモリは本明細書に具体的に説明した以外により具現できる。本発明はまた次の特許請求の範囲及びその均等物により定義される。
【符号の説明】
【００５５】
１０５  ＨＢＭスタック
１１０  ロジックダイ
１１５  ＤＲＡＭスタック
２０５  ホストプロセッサ
２１０  コア
２１５  レベル１キャッシュ
２２０  レベル２キャッシュ
２２５  第１メモリ制御器
２３０  オフチップメーンメモリ
２３５  第２メモリ制御器
２４０  シリコンインターポーザ
２４５  ＨＢＭインターフェイス
３０５  アドレスライン
３１０  命令変換機
３１５  アドレス変換機
３２０  タッグ比較器
３２５  スケジューラー
３３０  データバッファ
【図１】
2018018513.tif 000003
【図２】
2018018513.tif 000004
【図３】
2018018513.tif 000005
【図４】
2018018513.tif 000006
【図５】
2018018513.tif 000007
【図６】
2018018513.tif 000008