(57)【要約】      （修正有）【課題】書き換え可能なインプレースメモリを有するデータ記憶装置を提供する。【解決手段】データ記憶装置２７０は、不揮発性メモリ２７４を有する。不揮発性メモリは、データ記憶装置に常駐してもよい。不揮発性メモリは、読み出し−書き込み非対称性を有する書き換え可能なインプレースメモリセルからなってもよい。不揮発性メモリは、不揮発性メモリを第２グループの階層に変更することによって事象に適合する前に、データ記憶装置の選択モジュールによって第１グループの階層に分割されてもよい。第１グループの階層と第２グループの階層とは異なっている。【選択図】図８
2018206377.tif 000002
【特許請求の範囲】
【請求項１】
データ記憶装置に常駐する不揮発性メモリを備える装置であって、前記不揮発性メモリは、読み出し−書き込み非対称性を有する書き換え可能なインプレースメモリセルを備え、前記不揮発性メモリは、前記データ記憶装置の選択モジュールによって、事象の前に第１グループの階層に分割され、前記事象の後に第２グループの階層に分割され、前記第１グループの階層と前記第２グループの階層とは異なっている、装置。
【請求項２】
前記書き換え可能なインプレースメモリセルは、トランジスタを伴わずに抵抗ユニットに接触する選択層を備える、請求項１に記載の装置。
【請求項３】
前記データ記憶装置は、前記不揮発性メモリと異なるタイプのメモリであるバッファメモリを有する、請求項１に記載の装置。
【請求項４】
前記読み出し−書き込み非対称性は、前記書き換え可能なインプレースメモリセルへのデータ書き込み後の整定時間に対応する、請求項１に記載の装置。
【請求項５】
前記第１グループの階層は、前記第２グループの階層とは異なる数の階層を有する、請求項１に記載の装置。
【請求項６】
前記第１グループの階層及び前記第２グループの階層は、それぞれ仮想化される、請求項１に記載の装置。
【請求項７】
前記第２グループの階層のそれぞれの階層は、物理ブロックアドレスの範囲に割り当てられる、請求項１に記載の装置。
【請求項８】
前記第２グループの階層のそれぞれの階層の範囲は、異なり、重複していない、請求項７に記載の装置。
【請求項９】
方法であって、
データ記憶装置に常駐する不揮発性メモリを活性化させることであって、前記不揮発性メモリは、読み出し−書き込み非対称性を有する書き換え可能なインプレースメモリセルを備える、ことと、
前記不揮発性メモリを前記データ記憶装置の選択モジュールによって第１グループの階層に分割することと、
前記不揮発性メモリを第２グループの階層に変更することによって事象に適合することであって、前記第１グループの階層と前記第２グループの階層とは異なっている、ことと、
を含む、方法。
【請求項１０】
前記事象は、前記データ記憶装置の動作性能の検出された変化である、請求項９に記載の方法。
【請求項１１】
前記第２グループの階層は、階層的構造に配列される、請求項９に記載の方法。
【請求項１２】
前記第２グループの階層のうちの第１の階層は、データが、前記第２グループの階層のうちの別の階層まで動かされる前に、最初に記憶されるキャッシュである、請求項１１に記載の方法。
【請求項１３】
前記第２グループの階層のそれぞれの階層は、前記第２グループの階層のそれぞれの階層に記憶されたデータのアクセス頻度に対応する、請求項１１に記載の方法。
【請求項１４】
前記選択モジュールは、前記データを動かすことを伴わずに、前記第２グループの階層のそれぞれの階層のデータを更新する、請求項９に記載の方法。
【請求項１５】
方法であって、
データ記憶装置に常駐する不揮発性メモリを活性化させることであって、前記不揮発性メモリは、読み出し−書き込み非対称性を有する書き換え可能なインプレースメモリセルを備える、ことと、
前記不揮発性メモリを前記データ記憶装置の選択モジュールによって第１グループの階層に分割することと、
前記データ記憶装置の選択モジュールによって事象を予測することと、
前記不揮発性メモリを第２グループの階層に変更することによって前記事象に率先的に適合することであって、前記第１グループの階層と第２グループの階層とは異なっている、ことと、
を含む、方法。
【請求項１６】
前記予測された事象は、前記データ記憶装置の性能パラメータを妨げるように前記選択モジュールによって予想される、請求項１５に記載の方法。
【請求項１７】
前記選択モジュールは、前記予測された事象に応じて前記第２グループの階層のうちの複数の異なる階層にデータを分割する、請求項１５に記載の方法。
【請求項１８】
前記選択モジュールは、前記予測された事象に応じて前記第２グループの階層のうちの複数の異なる階層にわたってデータをストライプ（stripe）する、請求項１５に記載の方法。
【請求項１９】
前記選択モジュールは、前記不揮発性メモリの整定時間を通して読み出される前記データ記憶装置のバッファメモリにデータのシャドウコピーを書き込む、請求項１５に記載の方法。
【請求項２０】
前記第２グループの階層のうちのマップ階層は、前記不揮発性メモリに常駐するデータのマップからなる、請求項１５に記載の方法。
【発明の詳細な説明】
【発明の概要】
【課題を解決するための手段】
【０００１】
データ記憶装置は、様々な実施形態に従って、読み出し−書き込み非対称性を有する書き換え可能なインプレースメモリセルからなる不揮発性メモリを有する。不揮発性メモリは、不揮発性メモリを第２グループの階層に変更することによって事象に適合する前に、データ記憶装置の選択モジュールによって第１グループの階層に分割される。第１グループの階層と第２グループの階層とは異なっている。
【図面の簡単な説明】
【０００２】
【図１】様々な実施形態が実践されてもよい例示のデータ記憶システムのブロック表示である。
【図２Ａ】図１のデータ記憶システムで使用されてもよい例示のデータ記憶装置の部分を表す。
【図２Ｂ】図１のデータ記憶システムで使用されてもよい例示のデータ記憶装置の部分を表す。
【図３Ａ】図１のデータ記憶システムで利用されてもよい例示のメモリセルの部分を表す。
【図３Ｂ】図１のデータ記憶システムで利用されてもよい例示のメモリセルの部分を表す。
【図３Ｃ】図１のデータ記憶システムで利用されてもよい例示のメモリセルの部分を表す。
【図４】図１のデータ記憶システムと関連する例示の動作データをプロットする。
【図５Ａ】様々な実施形態に従って動作させられる例示のデータ記憶装置の部分を表す。
【図５Ｂ】様々な実施形態に従って動作させられる例示のデータ記憶装置の部分を表す。
【図６】いくつかの実施形態に従って配列された例示のデータ記憶装置の部分のブロック表示を示す。
【図７】様々な実施形態に従って構成された例示のデータ記憶装置の部分のブロック表示である。
【図８】図１のデータ記憶システムに使用されてもよい例示のデータ記憶装置の一部分のブロック表示である。
【図９】いくつかの実施形態に従って配列された例示のデータ記憶装置の一部分のブロック表示を表す。
【図１０Ａ】様々な実施形態に従って形成された例示のリソグラフィアセンブリの一部分を表す。
【図１０Ｂ】様々な実施形態に従って形成された例示のリソグラフィアセンブリの一部分を表す。
【図１０Ｃ】様々な実施形態に従って形成された例示のリソグラフィアセンブリの一部分を表す。
【図１０Ｄ】様々な実施形態に従って形成された例示のリソグラフィアセンブリの一部分を表す。
【図１１】いくつかの実施形態に従って、図１のデータ記憶システムによって実行される例示のインプレースメモリ利用ルーチンのフローチャートである。
【発明を実施するための形態】
【０００３】
生成され、転送され、及び記憶されるデータ量の増加とともに、データ記憶の速度、コスト、サイズ、及び寿命に重きが置かれてきた。回転磁気媒体を使用するハードディスクドライブ（ＨＤＤ）は、長期間、データを確実に記憶し得るけれども、比較的大きい物理サイズ及び遅いデータアクセス速度が、多くのコンピュータでのＨＤＤの採用を妨げてきた。ＮＡＮＤフラッシュメモリを使用するソリッドステートドライブは、ＨＤＤよりも、より高速のデータアクセス速度及びより小さい物理サイズを提供するけれども、高いコスト及び低い寿命を提供する場合がある。
【０００４】
フラッシュメモリの比較的短い寿命は、データアクセス待ち時間（latency）を減少させるために反復してデータを書き込み、移動させ、及び削除するデータ管理構造及びスキームによって悪化させられてきた。フラッシュメモリが、ビット又はバイトアドレス指定可能でなく、その代わりに単にページ／セクタアドレス指定可能であるという事実が、メモリの短い寿命を与え、そして、複雑なデータ管理、及びビット／バイトアドレス指定可能である揮発性メモリに比して比較的長いデータアクセス時間をもたらす。しかし、データを保持するための電力を常に有する揮発性メモリの必要が、データ記憶装置内のこれらのタイプのメモリの潜在的な適用性を制限する。
【０００５】
したがって、様々な実施形態は、フラッシュメモリよりも高速なデータアクセス速度、ＨＤＤよりも小さい物理サイズ、及び不揮発性データ保持を享受する書き換え可能なインプレースメモリを利用するデータ記憶構造及び動作を概して目的とする。比較的高速のデータアクセス速度を有する不揮発性メモリにデータを記憶する能力は、データ保持、読み出し、及び書き込みを最適化し得る多様なデータ管理構造及びスキームを可能にする。一方、書き換え可能なインプレースメモリの比較的小さい物理サイズは、データ記憶装置がスマートフォン及びタブレットコンピュータ等の最近のコンピュータに実装されるのに十分なほど小さく、同時に大規模なデータ容量センタに利用されるのに十分なほどロバストであることを可能にする。
【０００６】
図１は、本開示の様々な実施形態が実践されてもよい例示のデータ記憶システム１００を示す。システム１００は、有線及び／又は無線ネットワークを介して任意の数のデータ記憶装置１０２を任意の数のホスト１０４に接続してもよい。１つ又は複数のネットワークコントローラ１０６が、ハードウェア又はソフトウェアベースであってもよく、そして、様々な接続されたデータ記憶装置１０２へのデータ要求処理及び分配を提供してもよい。複数のデータ記憶装置１０２が、異なるデータ容量、動作パラメータ、及びデータアクセス速度を有する類似又は非類似のタイプのメモリであってもよいことに留意されたい。
【０００７】
いくつかの実施形態では、システム１００の少なくとも１つのデータ記憶装置１０２が、マイクロプロセッサ又はプログラマブルコントローラ等のローカルプロセッサ１０８を有し、このローカルプロセッサは、スタティックランダムアクセスメモリ（ＳＲＡＭ）等のオンチップバッファ１１０、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）等のオフチップバッファ１１２、及び、不揮発性メモリアレイ１１４に接続されている。図１の非限定実施形態は、図式的に部分的に表されているＮＡＮＤフラッシュメモリを備える不揮発性メモリアレイ１１４を配列し、このＮＡＮＤフラッシュメモリは、第１のワード線（ＷＬ１）及び第２のワード線（ＷＬ２）並びに第１のソース線（ＳＬ１）及び第２のソース線（ＳＬ２）とともに動作して第１のフラッシュセル１１６、第２のフラッシュセル１１８、第３のフラッシュセル１２０、及び第４のフラッシュセル１２２に記憶されたデータを書き込み及び読み出す第１のビット線（ＢＬ１）及び第２のビット線（ＢＬ２）を有する。
【０００８】
それぞれのビット線は、メモリアレイ１１４の最小分解能であるメモリの第１のページ１２４及び第２のページ１２６に対応することに留意されたい。すなわち、フラッシュメモリの構成は、フラッシュセルがインプレースで個々に書き換え可能であることを防止し、その代わりにページ毎ベースで書き換え可能である。かかる低いデータ分解能は、ある数の書き込み／書き換えサイクル後にフラッシュメモリが消耗するという事実とともに、ビットアドレス指定可能であり、同時に個々にアクセス可能で個々に書き換え可能でインプレースにあるセルを有するメモリと比較して多数の性能ボトルネック及び動作非効率に対応する。それゆえに、様々な実施形態は、ビットアドレス指定可能で書き換え可能なインプレースメモリを分散型ネットワークデータ記憶システム１００の部分であってもよいデータ記憶装置１０２に実装することを目的とする。
【０００９】
図２Ａ及び図２Ｂは、様々な実施形態に従う、データ記憶装置において利用されてもよい例示のメモリアレイ１４０の部分を表す。メモリアレイ１４０は、３次元アレイの一部分として、Ｚ軸に沿って鉛直方向に積層された複数の独立したメモリセル１４２を有する。メモリセル１４２の単一のダイが利用され得ることが考えられるが、かかる構成は、データ容量を減少させて、全ての利用可能な空間を利用することができない。それゆえに、様々な実施形態は、それぞれＸ−Ｙ平面にあるメモリセル１４２の複数のダイを鉛直方向に積層する。鉛直方向に積層されたセル１４２は、必ずしも図２Ａに示すように鉛直方向に整列されている必要はない。
【００１０】
ＮＡＮＤフラッシュメモリ及び別のソリッドステートデータ記憶セルによって、トランジスタ又は別の独立した選択構成要素が、それぞれのセルに組み込まれることにより、価値ある領域を占有し、余分の電力を消費し、データアクセス動作に待ち時間を付加する。メモリアレイ１４０のそれぞれのメモリセル１４２は、トランジスタ又は別の物理的に独立した選択構成要素を伴わずに構成され、その代わりに、抵抗ユニット１４６に接触する選択層１４４を有する。選択層１４４は、予定された時間に抵抗ユニット１４６に電気が流れることを防止し、別の予定された時間に抵抗ユニット１４６に電気が流れることを可能にする単一の材料、又は異なる材料の層状構造であってもよい。非限定の例として、選択層１４４は、金属−絶縁体転移（ＭＩＴ）材料、オボニック閾値スイッチ（ＯＴＳ）、又は別の電圧調整構造であってもよい。
【００１１】
トランジスタ又は別の選択構成要素の包含は、図１に示すように、それぞれの選択構成要素を活性化させるソース線に対応する。選択層１４４に好ましいなんらかの選択構成要素の排除は、鉛直方向に積層されたメモリセル１４２が、ビット線（ＢＬ）が１つ又は複数のセル１４２にアクセスするようにワード線（ＷＬ）とともに動作する交差点相互接続構成によって個々にアクセス可能であるようにする。線１４８によって示すように、ビット線とワード線との間の誘導電位差は、単一のメモリセル１４２を通る電流を誘導する。単一のビットを選択する能力、したがってビットアドレス指定可能であることは、メモリアレイ１４０がメモリセル１４２に偶然にアクセスする懸念を伴わずにセルを高密度に実装することを可能にする。
【００１２】
メモリセル１４２の構成は、読み出し及び／又は書き込み動作中に選択されない物理的に隣接したセル１４２の妨害の低いリスクに対応する比較的低い電力消費を提供することに留意されたい。図２Ｂの上面図は、メモリセル１４２が、単一のダイに沿って分類されたビット及びワード線に対して設置されてもよい態様を示す。鉛直方向に積層されたメモリセル１４２の間のビット線を利用することによって、制御相互接続の全体数が低減されてもよく、それにより、より高密度に実装されたメモリアレイ１４０を提供する。
【００１３】
図３Ａ〜図３Ｃは、メモリアレイ１４０に利用されることができる例示の不揮発性抵抗ユニットの線図をそれぞれ示す。図３Ａは、アモルファス１６６（低抵抗状態）とクリスタリン（高抵抗状態）との間の移行に対する電流に反応するカルコゲナイドガラス材料１６４で抵抗領域１６２を占める相変化タイプ抵抗ユニット１６０を表す。ポリクリスタリンとアモルファスとの間の切り替えは、確実に効率的に反復されてもよい。しかし、書き込み／切り替え電流は、相変化抵抗ユニット１６０に対して比較的高くてもよい。
【００１４】
図３Ｂは、フィラメントタイプ抵抗ユニット１７０を表し、この抵抗ユニットにおいて、抵抗領域１６２は、１つ又は複数の導電性フィラメント１７２が領域１６２を通る書き込み電流の流れによって誘導されるまで高電気抵抗率を有する材料を備える。フィラメントの形成は、単純で効率的であり得るが、しかし、フィラメントは、誘電材料１７４内に植え込まれて高低の比抵抗状態の間のマージンを低減してもよいことが意図される。
【００１５】
相変化１６０の導電性経路及びフィラメント１７０タイプユニットの形成は、いくつかのデータ記憶配列において効率的であってもよいが、必ずしも全てのメモリアレイにおいてではない。したがって、抵抗ユニットは、相対的な磁性配向を介して異なる抵抗状態を作成してもよい。図３Ｃの磁気タイプ抵抗ユニット１８０は、誘電スペーサ層１８２が磁気自由層１８４と磁気基準層１８６との間に配設される態様を表す。基準層１８６は、固定磁化１８８に設定され、一方、自由層１８４は、固定磁化１８８に対して異なる抵抗状態をユニット１８０に提供する、複数の異なる磁性配向１９０に設定されてもよい。抵抗ユニット１８０は、スピントルク配列等に、自由磁化１８８の切り替えをより効率的にするように機能する追加のスピン分極層を有してもよいことが考えられる。
【００１６】
メモリアレイに様々なタイプの抵抗ユニットを利用する能力は、データ記憶装置がデータ記憶装置の動作及びデータ記憶能力をカスタマイズすることを可能にする。非限定的な例として、メモリアレイは、異なるダイに異なるタイプの抵抗ユニットを使用してもよく、それにより、動作状態及びデータ記憶パラメータについての選択的多様性を提供してもよい。メモリアレイの抵抗ユニットのタイプ又は多様性に関係なく、メモリセルは、書き込み動作が読み出し動作と異なる時間を完了に要するという非対称アクセスから不利を招くことがある。すなわち、選択層１４４について、トランジスタ又はダイオード等の独立した選択構成要素の置換が、非対称アクセスをもたらすことがある。かかる非対称アクセスは、データ記憶装置において、大量のデータ書き込み及び読み出しが、前の読み出し又は書き込み動作が完了したか否かについての関心又は評価なしに実行され得るという問題を含む場合がある。
【００１７】
相変化タイプ抵抗ユニット１６０を使用するメモリアレイについて、書き込みアクセスは、読み出しよりもかなり多い時間を要する、例えば、読み出しに対して７マイクロ秒の待ち時間及び書き込みに対して１０＋マイクロ秒の待ち時間を完了に要する場合があることに留意されたい。読み出し／書き込み非対称性がより大きい、例えば、書き込み動作を完了するのが、読み出し動作の２倍であるか又は１オーダー大きい場合があることが考えられる。これらの問題は、揮発性メモリ、ＨＤＤ記憶装置、又はＮＡＮＤフラッシュ記憶装置では対処されない興味深いデータ管理状況もたらした。
【００１８】
図４は、様々な実施形態に従う、非対称のメモリセルを使用するメモリアレイに関連する、時間に対する電圧の例示の動作データをプロットする。メモリアレイのメモリセルの構成は、異なる読み出し（ＶＲＥＡＤ）及び書き込み（ＶＷＲＩＴＥ）閾値電圧に対応することにより、それぞれメモリセルの抵抗状態及び関連するバイナリ状態にアクセス又は修正する。
【００１９】
読み出し及び書き込み閾値電圧の両方を下回る第１の電圧２０２が、１つ又は複数のメモリセルによって受信される場合には、それぞれのメモリセルの選択層は、電圧がセルを通過することを防止し、それにより、偶然の抵抗変動がデータアクセス動作を劣化させることを防止する。電圧２０４／２０６が読み出し閾値電圧よりも大きいとき、メモリセルの選択層は、電圧がセルを通過することを可能にする。抵抗ユニットの抵抗状態を変える程十分に大きくない電圧２０４に対して、現在の抵抗状態は、直交方向を向いたビット線とワード線とを通る信号を介して読み出されることになる。
【００２０】
メモリセルを通る書き込み電圧２０６の通過は、抵抗ユニットの抵抗状態を変えることになる。しかし、書き込み電圧が抵抗ユニットを通過した後に、メモリセルが読み出し電圧２１０によってアクセスされ得る抵抗状態に設定されるための整定時間２０８が存在する。図４に示すように、整定時間２０８は、メモリセルの読み出し／書き込み非対称性が直接の原因である。このように、メモリアレイ１４０と関連する比較的大きいデータ容量及び短い読み出し待ち時間は、セルが書き込まれる各瞬間にそれぞれのメモリセルについて比較的長い整定時間の間、監視して考慮することをデータ記憶装置に要求する書き込み非対称性によって劣化させられる場合がある。
【００２１】
したがって、様々な実施形態が、非対称の読み出し／書き込み動作から損害を受ける図２の不揮発性、ビットアドレス指定可能、書き換え可能なインプレースメモリの使用を最適化する構成及び方法を目的とする。図５Ａ及び図５Ｂは、図２のメモリアレイを有するデータ記憶装置２２０に対する例示の書き込み及び読み出し動作のブロック表示をそれぞれ示す。書き込み動作は、図５Ａに示されており、ウェハチップ２２２におけるＳＲＡＭバッファ１１０及び／又はオフチップ２２２にあるＤＲＡＭバッファ１１２へと流れる書き込み要求のデータから始まる。書き込みデータは、次いで、ファームウェア、ソフトウェア、又はハードウェア動作を実行するローカルコントローラによって指示されるように、順に圧縮２２４されて暗号化２２６される。
【００２２】
圧縮されて暗号化された書き込みデータは、複数のページ及び／又はセクタのデータからなってもよい記憶装置（ＭＵ）２３０のような書き込みキャッシュ２２８においてコンパイルされる。ＭＵ２３０のコンパイルは、ページアクセス可能なフラッシュメモリとは対照的に、個々のビットがアクセス可能であることに起因して、書き換え可能なインプレース不揮発性メモリに必要とされないことに留意されたい。書き込みデータがマップユニット２３０に組織化されるか否かに関係なく、書き込みキャッシュ２２８は、データが、メモリ２３２の少なくとも一部分が図２の非対称のメモリセル１４２を有するところの不揮発性メモリ（ＮＶ  ＭＥＭＯＲＹ）２３２に書き込まれるまで、一時的に書き込みデータを記憶してもよい。
【００２３】
不揮発性メモリ２３２の非対称セルに書き込まれるデータによって、読み出し動作は、整定時間２０８後まで、不揮発性メモリ２３２からのデータに確実にアクセスすることができない。そのため、読み出し動作は、いくつかの実施形態では、図５Ｂに示すように、データを書き込みキャッシュ２２８又は不揮発性メモリ２３２のいずれかから取り出すためのデータ記憶装置の選択モジュール２３４を含む。書き込みキャッシュ２２８は、不揮発性メモリ２３２ではないＤＲＡＭ又はＮＡＮＤフラッシュ等の異なるタイプのメモリであり、そして、読み出し動作は、ホストに送信される前に復号及び解凍を含むことになることに留意されたい。それゆえに、選択モジュール２３４は、複数の様々なタイプのメモリをインテリジェントに管理することにより、セル１４２の整定時間に起因して延長された書き込み待ち時間から損害を受けることなく、図２の不揮発性メモリセル１４２の高速読み出し速度を活用する。
【００２４】
限定又は必須ではないけれども、選択モジュール２３４は、様々なインテリジェントな評価を行うことにより、１つ又は複数のホストからのデータアクセスの満足度を最適化してもよい。図６は、図２のメモリアレイ１４０を使用する例示のデータ記憶装置２４０の一部分のブロック表示である。選択モジュール２３４は、少なくともタイマ２４２、アクティビティ記録２４４、センサ２４６、及び予測回路２４８へのアクセスを有することにより、サービスされるべき書き込み又は読み出し要求についての最適宛先及び条件を評価する。
【００２５】
ホストから書き込み又は読み出し要求を受け取った後の任意のときに、選択モジュール２３４は、単一のデータ記憶装置だけでなくデータ記憶システム全体の現在の状態を査定してもよい。任意のタイプ及び数の入力が、選択モジュール２３４によって並行して及び／又は順に評価されてもよいけれども、いくつかの実施形態は、特に、保留書き込み要求と関連するデータの容量、サイズ、及びバッファ特徴であってもよい、書き込み待ち行列（queue）内の保留書き込みの状態を受信する。選択モジュール２３４は、システム性能計量値、例えば、電力消費、平均データアクセス待ち時間、及びビット誤り率を更に受信してもよい。
【００２６】
データのバージョンとともに保留書き込みの指定された書き込み位置は、選択モジュール２３４への保留データ書き込みに関する略歴を提供する。任意の数及びタイプの環境条件が、ポーリングされ及び／又はセンサ２４６によって検出されることにより、なんらかの潜在的に逆のデータアクセス状況を識別してもよい。例えば、温度センサ２４６が使用されて、リモートホストから受信されたポーリングされた環境温度と比較してデータ記憶装置内部の温度を検証してもよい。湿度、振動、及び気流等の別の環境条件が、また、ポーリングされて及び／又は感知されて、データ記憶装置及びシステムのより包括的な状態を提供してもよい。
【００２７】
選択モジュール２３４は、サービスするデータアクセス要求に関連する実行及びシステム条件を記録してもよい。以前にサービスされたデータアクセス要求に付随する情報の収集は、選択モジュール２３４がよりインテリジェントにシステム条件に反応し、率先的に活動を開始するのを可能にすることにより、将来のデータアクセス要求のサービスを最適化する。つまり、選択モジュール２３４は、記録２４４からのデータとともに現在の装置／システム条件をとることにより、保留読み出し及び書き込み要求のサービスを最適化し得る反応的及び率先的な活動をインテリジェントに識別してもよい。その結果、選択モジュール２３４は、揮発性バッファと不揮発性メモリとの間で反応的及び率先的にデータを動かしても、書き込み位置を変更しても、及び読み出し位置を変えてもよい。
【００２８】
データ記憶装置及びシステムの動作状態を評価及び決定して、保留データアクセス要求にサービスするための活動をインテリジェントに実行する能力は、データ記憶装置が可能な限り速く、変化する条件及びサービス要求に適合することを可能にする。非対称の書き換え可能なインプレースメモリに関して、選択モジュール２３４は、整定時間内にデータに対するローリスクの読み出し要求があるときに不揮発性メモリにインテリジェントに書き込むことと、バッファ／キャッシュメモリにデータを保持して読み出し要求にサービスすることと、データを異なるバッファ／キャッシュ位置まで動かして最短の読み出し待ち時間を提供することと、を行ってもよい。
【００２９】
保留データ要求のサービスを最適化するために反応的及び率先的に活動を実行する選択モジュール２３４によっては、有効データの現在の位置が、ロバストマッピングスキームなしで識別するのが難しい場合がある。論理ブロックアドレス（ＬＢＡ）を物理ブロックアドレス（ＰＢＡ）にマッピングするだけでなく、ＬＢＡをＬＢＡにマッピングすることは、特にオンチップＳＲＡＭバッファにいて、処理及びデータ容量に関して費用がかかる場合がある。マッピングは、整定時間の間にデータに対する読み出し要求にサービスするために、２つの異なる位置にデータを冗長に保持することによって更に複雑になる場合がある。したがって、いくつかの実施形態は、ＬＢＡからＰＢＡへの及びＬＢＡからＬＢＡへのマッピング動作のための記憶位置及び処理時間を示すために選択モジュール２３４を利用する。
【００３０】
図７は、図２のメモリアレイ１４０を使用するデータ記憶装置に実装されてもよい例示のマッピングスキーム２５０のブロック表示を示す。データ記憶装置における複数の異なるタイプのメモリの存在は、選択モジュール２３４が複数の異なるデータマップを生成して、それぞれのタイプのメモリの容量及び現在の状態を最適化することを可能にする。
【００３１】
図７に示す非限定的な例では、選択モジュール２３４は、揮発性ＤＲＡＭ、ＳＲＡＭ、又は不揮発性フラッシュメモリ等の第１のタイプのメモリ２５４に第１のレベルマップ２５２を作成してもよい。第１のレベルマップ２５２は、いくつかの実施形態では、１２エントリのグラニュールにポインティングするエントリを含む、少なくとも１つのＬＢＡからＰＢＡまでのブートマップを備えている。第１のレベルマップ２５２は、概して、ＬＢＡからＰＢＡまでの転移が第１のレベルマップ２５２よりも大きい分解能を具備させられるところの第２のレベルマップ２５６の論理又は物理位置にコントローラを向けてもよい。つまり、第２のレベルマップ２５６は、ホスト提供されるデータセクタを保持する第１のグラニュールにポインティングするローカルエントリを備えてもよい。第１のレベルマップ２５２及び第２のレベルマップ２５６の結果として、データ読み出し、書き込み、及び更新は、効率的に取り扱われてもよい。
【００３２】
選択モジュール２３４は、シャドウデータの一次的な位置についての情報を含む第１のタイプのメモリ２５４に独立したシャドウマップ２５８を作成してもよい。シャドウデータは、データが恒久的に不揮発性メモリに常駐するまでの短い期間の間、冗長に記憶されるデータであることが理解される。シャドウマップ２５８は、識別されている１つ又は複数のデータのバージョンによって、単純であっても又は複雑化されてもよい。例えば、データの連続したバージョンは、シャドウ２５８、第１のレベル２５２、及び第２のレベル２５６によって追跡されて、最新バージョンのデータがデータに対する読み出し要求によって取り出されることを保証してもよい。シャドウ２５８及びレベルマップ２５２／２５６は、共通の又は異なるコントローラによって、並行して書き込まれ、読み出され、及び更新されてもよいことに留意されたい。
【００３３】
シャドウ２５８及びレベルマップ２５２／２５６によって追跡されているデータは、ビットアドレス指定可能な書き換え可能なインプレースメモリ２６２である主要データストア２６０に最終的に書き込まれる。示すように、主要データストア２６０及び第２のレベルマップ２５６は、不揮発性の書き換え可能なインプレースメモリ２６２にそれぞれ記憶される。しかし、任意の数及びタイプのメモリがそれぞれのマップ２５２／２５６／２５８のために利用されてもよいので、かかる構成は必須又は限定ではない。例えば、第１のレベルマップ２５２は、シリアルＮＯＲフラッシュに記憶されてもよく、シャドウマップ２５８は、クラスターＳＲＡＭに記憶されてもよく、そして、第２のレベルマップ２５６は、ＤＤＲ  ＤＲＡＭに記憶されてもよい。少なくとも２つの異なるタイプのメモリ２５４／２６２の使用は、選択モジュール２３４がデータ読み出し及び書き込み要求のサービスを最も効率的に可能にするメモリで、様々なマップ２５２／２５６／２５８をインテリジェントに生成及び維持することを可能にする。
【００３４】
選択モジュール２３４は、分類されたマップ２５２／２５６／２５８のサイズ、目的、及びメモリ位置を変更して、システム及び装置条件を変えることに対応してもよいことが考えられる。選択モジュール２３４は、仮想化を介してメモリ及び／又はマップを更に変更してもよい。つまり、選択モジュール２３４は、共通メモリ２５４／２５６にあるにもかかわらず、ソフトウェア／ファームウェアで独立して動作する仮想マシンを作成してもよい。かかる仮想化能力は、選択モジュール２３４が検出された及び／又は予測されたシステム及び装置条件にリアルタイムで適合することを可能にして、データ読み出し及び書き込み待ち時間を最適化する。
【００３５】
図８は、様々な実施形態に従う、メモリの仮想化を利用する例示のデータ記憶装置２７０の一部分のブロック表示を示す。１つ又は複数の異なる書き込みキャッシュ２７２は、アレイ１４０等のビットアドレス指定可能な書き換え可能なインプレースメモリを備える不揮発性メモリ２７４にフィードしてもよい。データ記憶装置２７０は、複数の独立した不揮発性メモリ２７４からなってもよいけれども、いくつかの実施形態は、異なるメモリ階層に論理的に分離された、仮想化された記憶装置として特徴付けられてもよい単一の不揮発性メモリ２７４を含む。
【００３６】
メモリ２７４は、少なくとも１つのレベルマップ２５２／２５６によって、そして潜在的にシャドウマップ２５８によってマッピングされる任意の数の階層に仮想化されてもよい。必須又は限定的ではないけれども、図８に示す仮想化された記憶スキームは、本来、階層的であり、そして、第１のＰＢＡ範囲に割り当てられる第１の階層２７６、第２のＰＢＡ範囲に割り当てられる第２の階層２７８、第３のＰＢＡ範囲に割り当てられる第３の階層２８０、及び第４のＰＢＡ範囲に割り当てられる第４の階層２８２を有する。それぞれの階層２７６／２７８／２８０／２８２の重複しない範囲は、代替として、ＬＢＡに割り当てられてもよい。
【００３７】
中実の矢印が示すように、データは、選択モジュール及び／又はローカルコントローラによって指示されるような任意の仮想化された階層の間で流れてもよい。例えば、データは、アクティビティを更新する量に基づいてそれぞれの階層２７６／２７８／２８０／２８２を通って連続して動いてもよく、その結果、最も少なくアクセスされたデータが第４の階層２８２に常駐し、一方、最も頻繁に更新されたデータが第１の階層２７６に常駐することになる。別の非限定的な例として、データを別の潜在的に連続しない階層まで動かす前に、最初に第１の階層２７６にデータを置くことにより、データサイズ、セキュリティ、及び／又はホストオリジンに基づく等、より効率的な記憶及び取り出しを可能にすることが挙げられる。
【００３８】
不揮発性メモリ２７４の書き換え可能なインプレースメモリは、それぞれの階層２７６／２７８／２８０／２８２の適合可能な仮想化を可能にすることが理解され得る。つまり、共通のページの選択されないデータを記憶する必要なく特定のビット、バイト、及びセクタにデータを書き込む能力は、仮想化された階層が、選択モジュール２３４によって決定されたシステム及び装置ニーズに基づいて、展開サイズ、割り当てられたコンテンツ、及び実体を有することを可能にする。そのため、図８の仮想化されたスキームは、選択モジュール２３４によって時間経過とともになんらかの態様で変更され、それにより、データ記憶システム及びデバイスのリアルタイムの条件に対してデータ記憶を最適化してもよい。
【００３９】
不揮発性メモリ２７４の部分の仮想化は、選択モジュール２３４の能力によって補足されて、予測されるデータ記憶アクティビティ及び／又は動作事象を満足させるように率先的な活動を行う。図９は、様々な実施形態に従って動作させられる予測回路２４８を有する選択モジュール２３４を利用する例示のデータ記憶装置２９０の一部分のブロック表示を表す。予測回路２４８は、現在及び過去のデータ記憶動作だけでなく、かかる動作中の環境条件に付随する多様な情報を検出及び／又はポーリングしてもよい。予測回路２４８は、選択モジュール２３４の１つ又は複数のリアルタイムセンサ２４６を利用して、１つ又は複数の異なる環境条件、例えば装置動作温度、環境温度、及び電力消費を検出してもよいことに留意されたい。
【００４０】
図９に示すように、１つ又は複数のパラメータの並列した及び／又は順の入力によって、予測回路２４８は、選択モジュール２３４によって指示されるように対応させられてもよい将来事象の発生を予測してもよい。例えば、選択モジュール２３４は、データ、例えばデータサイズ、位置、及びセキュリティを修正して、予測された事象を適合させてもよい。別の非限定的な例では、選択モジュール２３４は、不揮発性メモリ以外の１つ又は複数の位置へのシャドウデータの冗長な書き込みを指示してもよく、それにより、不揮発性メモリがそれの整定時間内にある間に効率的なデータ読み出しを提供してもよい。
【００４１】
網羅的ではないけれども、予測回路２４８は、書き込み待ち行列の現在の状態、例えば待ち行列でのそれぞれの保留書き込み要求の量及びサイズについての情報を受信してもよい。予測回路２４８は、また、書き込み待ち時間、読み出し待ち時間、及びエラー率のような、任意の数のシステム／デバイス性能計量値をポーリング又は決定してもよい。保留中又は書き込まれるデータのバージョンは、予測回路２４８によって評価されて、データが更新されている頻度を確立してもよい。保留中及び以前に完了されたデータ書き込みの割り当てられた書き込み位置が予測回路２４８によって利用されて、不揮発性メモリにおいて消耗レベリング動作を実行してもよい。
【００４２】
１つ又は複数の環境条件が、予測回路２４８によってリアルタイムで感知される及び／又はポーリングされることにより、将来のデータ記憶アクティビティを示すであろうトレンド及び状況を決定してもよい。ＳＲＡＭ又はＮＯＲフラッシュ等の１つ又は複数のシャドウバッファのスペースの利用可能性は、将来の保留書き込み要求を取り扱うためのシステムの容量を示すとともに、バッファの性能を予測回路２４８に結び付けてもよい。予測回路２４８は、１つ又は複数のアルゴリズム２９２及び前のデータ記憶アクティビティの少なくとも１つの記録２９４を利用して、事象及び読み出し及び書き込み要求のサービス提供を最適化してもよい適合する活動を予測してもよい。
【００４３】
記録２９４は、以前に記録された及び外部でモデル化された両方の事象、活動、及びシステム条件からなることが考えられる。記録された情報は、予測された事象の精度及び率先的にとられた活動の効果を決定する際に、選択モジュール２３４にとって有用である場合がある。かかる自己査定は、アルゴリズム２９２を更新するために使用されて、予測された事象の精度を改善してもよい。前に予測された事象の精度を決定することによって、予測モジュール２４８は、予測された活動が生じるリスク、及び／又は対応する活動がシステム性能を最適化する可能性を査定してもよい。かかる能力は、予測モジュール２４８が選択モジュール２３４によって確立された閾値に対して動作することを可能にすることにより、事象が起こる９５％の信頼性、又は率先的な活動がシステム性能を増大させる９０％の可能性等のシステム性能を増大させる見込みがより少ない予測された事象及び率先的な活動を無視する。
【００４４】
予測された事象及び率先的な活動よりも可能性が小さいものを無視する能力を用いて、選択モジュール２３４は、異なるアルゴリズム２９２及び／又は記録２９４等によって、多数の異なるシナリオを並行して及び順に生成してもよい。非限定的な例として、予測回路２４８は、モデル化された記録だけ、リアルタイムのシステム条件だけ、及びモデル化された情報とリアルタイム情報との組合せに基づいて、事象を予測すること、及び修正活動を対応させることを課されてもよい。したがって、予測回路２４８及び選択モジュール２３４は、システム条件を査定することにより、データ記憶装置への現在及び将来のデータアクセス要求のサービスを改善する高い可能性を有する反応的及び率先的な活動を生成してもよい。
【００４５】
図１０Ａ〜図１０Ｄは、時間経過とともに選択モジュール２３４のインテリジェントな動作から生じる例示の動作スキームをそれぞれ示す。図１０Ａは、保留書き込み要求３０２がステップ３０４で不揮発性メモリに、及びステップ３０６で少なくとも１つの書き込みバッファに並行して書き込まれるというスキーム３００を表す。ステップ３０８の実際の又は予測された事象は、選択モジュール２３４を起動させて、ステップ３１２でタイマが満了するまでステップ３１０でバッファからデータを読み出してもよい。言い換えると、冗長なデータ書き込みは、不揮発性メモリがそれ自体の整定時間にある間にステップ３１０でバッファから、続いてステップ３１４で不揮発性メモリからのデータの読み出しを可能にする。
【００４６】
スキーム３００では、ステップ３０８の事象は、おそらくデバイス温度、又は不揮発性メモリの整定時間の間にデータ読み出しを必要とする別の動作条件のために平均整定時間よりも長くてもよい。例えば、多重レベル不揮発性メモリセルの書き込み、又はホストがステップ３０８で最近書き込まれたデータを要求することになるという予想された可能性が、選択モジュール２３４に一時バッファからのデータ取り出しを指示するよう促してもよい。ステップ３１２のタイマは、不揮発性メモリの整定時間のためのものであってもよく、又は、遅延が存在しなかった場合よりもより効率的にデータアクセス要求にサービスするように選択モジュール２３４によって決定される指定された遅延時間のためのものであってもよいことが考えられる。
【００４７】
図１０Ｂは、ステップ３０２の書き込み要求及び不揮発性メモリ及びバッファの両方へのデータ書き込みがスキーム３００と同じである例示のスキーム３２０を表す。しかし、実際の又は予測された事象は起こらず、その代わりに、ステップ３２２でデータがフラッシュメモリに書き込まれ、続いて、ステップ３１２でタイマが満了するまでステップ３２４でメモリから読み出され、次いで、ステップ３１４でデータが不揮発性メモリから読み出される。ステップ３２２及び３２４でのフラッシュメモリの利用は、部分的に又は全体的に書き込みバッファを空にしてもよく、それにより、より高速の書き込みバッファが別の保留システムアクティビティにサービスすることを可能にしてもよい。
【００４８】
図１０Ｃのスキーム３３０は、ステップ３３２での実際の又は予測された事象が、データ記憶装置への保留書き込み要求の受信後に生じてもよい態様を示す。事象は、選択モジュール２３４を起動させて、不揮発性メモリへのデータ書き込みを控えさせることと、その代わりにステップ３０６で書き込みバッファにだけ書き込むことと、ステップ３１０でバッファからの読み出すことと、ステップ３０４で不揮発性メモリにデータを書き込むことと、を行ってもよい。最初にバッファに、次いで不揮発性メモリにデータを書き込むことによって、システムリソースが、例えば、高いデータ読み出しアクセスの時間中により効率的に使用されてもよい。ステップ３１２でのタイマの満了によって表されるような不揮発性メモリの整定時間の終結において、データは、ステップ３１４で不揮発性メモリから読み出される。
【００４９】
いくつかの実施形態は、データ記憶装置／システムへの電力の予定外の損失又は低減を予測し、それにより、選択モジュールを起動させて全てのデータを揮発性バッファから不揮発性メモリまで送信する。別の実施形態は、全てのデータを書き換え可能なインプレース不揮発性メモリに送信することによって、デバイス／システムのシャットダウン等の電力の予定された低減に反応する。不揮発性メモリの整定時間は、シャットダウンの間、考慮される必要がないので、選択モジュールは、損害を伴わずに不揮発性メモリに大量のデータをダンプしてもよい。
【００５０】
書き換え可能なインプレースメモリの比較的高速の読み出し時間は、１つ又は複数のブートマップを不揮発性メモリに記憶することによって予定されたシャットダウンの間にインテリジェントに使用されてもよい。選択モジュール２３４は、現在及び最近のシステムアクティビティに基づいて新たなブートマップを生成してもよく、ブートマップが不揮発性メモリだけからロードされ、続いてブートマップが、更新がより効率的に実行される別のメモリに動かされるというほとんどインスタントンのブートプロセスを提供することに留意されたい。既存の又は新たに生成されたブートデータ、例えばセキュリティ情報、レベルマップ、及びファームウェアを送信することによって、データ記憶装置／システムは、電力初期化の時間から１秒未満で新たなデータアクセス要求を受信する準備ができる。
【００５１】
図１０Ｄを参照すると、スキーム３４０は、ステップ３０４で不揮発性メモリに及びステップ３０６でバッファに、並行して及び冗長に書き込むことによって、ステップ３０２からの書き込み要求を処理する。不揮発性メモリへの書き込みが整定する間に、ステップ３１０は、ステップ３１２で選択モジュール２３４タイマが満了するまで、バッファからのなんらかの読み出しにサービスする。ステップ３４２で予測された又は経験された事象は、不揮発性メモリへのデータ書き込みが整定したにもかかわらず、選択モジュール２３４を起動させて、不揮発性メモリからの代わりにバッファからのデータ読み出し要求にサービスし続ける。ステップ３４２での事象は、限定されないが、不揮発性メモリからのデータ読み出しを抑制又は劣化させ得る任意の動作条件、例えばエラー、高い装置／システム処理アクティビティ、又はチャネル利用可能性であってもよい。
【００５２】
選択モジュール２３４は、メモリセルの整定時間の間、上書き状態を取り扱ってもよいことが考えられる。かかる状態において、「Ｄｉｒｔｙ」及び「ＷｒｉｔｅｌｎＰｒｏｇｒｅｓｓ」フラグが、キャッシュエントリに付加される。必須又は限定ではないけれども、Ｄｉｒｔｙフラグは、キャッシュ内のデータが未だ不揮発性メモリに書き込まれていないことを示し、そして、ＷｒｉｔｅｌｎＰｒｏｇｒｅｓｓフラグは、キャッシュ内のデータが不揮発性メモリに書き込まれたが、クールダウン期間が完了していないことを示す。その結果、選択モジュール２３４は、データが現在、整定段階にあるか否かをインテリジェントに査定してもよく、それにより、冗長な動作を減少させ、システム性能を増大させる。
【００５３】
図１０Ａ〜図１０Ｄの例示のスキームによって、選択モジュール２３４は、予測された及び／又は実際の事象に適合するために様々な活動を行うことにより、データアクセス要求のサービスを最適化してもよいことが理解され得る。かかるインテリジェントな適合は、データアクセスの量に関係なく、選択モジュールが広いデータアクセスバンド幅及び短いデータアクセス待ち時間を維持することを可能にする。インテリジェントな適合は、選択モジュールがデータ記憶位置、マッピングスキーム、及びシャドウデータの書き込みを変更するのを更に可能にすることにより、データ優先順位及びセキュリティの変化に対応し、それにより、非常に重要なデータを不揮発性データにより速く送信してもよい。
【００５４】
図１１は、図１〜図１０Ｄの様々な実施形態によって実行されてもよい例示のインプレースメモリ利用ルーチン３５０のフローチャートである。１つ又は複数のデータ記憶装置が、ステップ３５２で選択モジュール、バッファメモリ、及び書き換え可能なインプレース不揮発性メモリからなるそれぞれのデータ記憶装置によって活性化させられてもよい。データ記憶装置は、データ記憶システムの分散型ネットワークの一部分として、任意の時間の間、動作してもよい。少なくとも１つのデータ記憶装置が、ステップ３５４でホストからの１つ又は複数のデータ書き込み要求を受け取ると、選択モジュールは、ステップ３５６で、保留データ要求と関連するデータを少なくとも１つのバッファメモリ及び不揮発性メモリに書き込んでもよい。
【００５５】
ステップ３５６での書き込みデータのプログラミングは、バッファ及び不揮発性メモリに並行して又は順になされてもよい。しかし、データが不揮発性メモリに書き込まれると、選択モジュールは、タイマを開始させることにより、メモリセルが整定を終えて、読み出し要求にサービスすることが利用可能になるときを決定する。いくつかの実施形態では、ステップ３５６は、例えば、データ宛先の物理位置付近の高いデバイス温度及び／又はアクティビティに応じて、既存のデフォルト整定時間と異なる整定時間を予測することを含む。
【００５６】
ステップ３５６での不揮発性メモリへのデータ書き込みの間及びその後の任意のときに、決定３５８は、選択モジュールによってそのデータについての読み出し要求を配置してもよい。つまり、読み出し要求が選択モジュールによって受信され、同時に不揮発性メモリがそれ自体の整定時間内にある場合、ステップ３６０は、バッファに記憶されたデータからの読み出し要求にサービスし始める。ステップ３６０によってサービスされる任意の読み出し要求の終結において、又は読み出し要求が決定３５８から受信されない場合、決定３６２は、選択モジュールタイマが満了したか否かについて評価し始める。
【００５７】
終了した選択モジュールタイマは、ステップ３６４が不揮発性メモリからの読み出し要求にサービスすることを可能にし、同時に活性タイマはバッファ位置が任意の読み出し要求に対して使用されるステップ３６０に戻る。ステップ及び決定３５４〜３６４は、データ読み出し及び書き込み要求を取り扱うために任意の回数だけ周期的に再訪されてもよいことに留意されたい。データがステップ３５４で書き込まれた後の任意のときに、ステップ３６６は、不揮発性メモリ内の実際の又は仮想化された階層の間でデータを動かしてもよい。かかるデータ転送は必要とされない。最後の不揮発性のメモリ位置は、続いてステップ３６８でマッピングされて、不揮発性メモリに記憶された最新バージョンのデータへの任意の読み出し動作を指示する。ステップ３６８でのデータのマッピングは、それぞれのバッファからの、及びバッファへのデータアクセスを指示するシャドウマップからのデータの除去、又は予定された除去に対応してもよいことに留意されたい。
【００５８】
本開示の様々な実施形態によって、不揮発性の書き換え可能なインプレースメモリは、データアクセス要求のサービスを最適化するために使用されてもよい。しかし、書き換え可能なインプレースメモリと関連する非対称の書き込み時間に起因して、選択モジュールは、現在及び記録されたシステムアクティビティをインテリジェントに評価することにより、不揮発性メモリで整定するデータに対する読み出し要求のサービスを可能にする。選択モジュールは、反応的及び率先的な活動が行われることを可能にすることにより、実際の及び予測された事象に応じてシステム性能を維持及び最適化する。その結果、データ記憶システムは、より少ないデータ読み出し待ち時間、減少したブート時間、及びシステム条件の変更に適合する高度な仮想化スキームを享受してもよい。
【図１】
2018206377.tif 000003
【図２Ａ】
2018206377.tif 000004
【図２Ｂ】
2018206377.tif 000005
【図３Ａ】
2018206377.tif 000006
【図３Ｂ】
2018206377.tif 000007
【図３Ｃ】
2018206377.tif 000008
【図４】
2018206377.tif 000009
【図５Ａ】
2018206377.tif 000010
【図５Ｂ】
2018206377.tif 000011
【図６】
2018206377.tif 000012
【図７】
2018206377.tif 000013
【図８】
2018206377.tif 000014
【図９】
2018206377.tif 000015
【図１０Ａ】
2018206377.tif 000016
【図１０Ｂ】
2018206377.tif 000017
【図１０Ｃ】
2018206377.tif 000018
【図１０Ｄ】
2018206377.tif 000019
【図１１】
2018206377.tif 000020
【外国語明細書】
2018206377000001.pdf