【誤訳訂正書】
【提出日】令和1年12月6日(2019.12.6)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
システム入力のシーケンスを処理してシステム出力のシーケンスを生成するための拡張ニューラルネットワークシステムであって、前記拡張ニューラルネットワークシステムは、
ニューラルネットワークであって、前記ニューラルネットワークは、ニューラルネットワーク入力のシーケンスを受信し、各ニューラルネットワーク入力を処理して前記ニューラルネットワーク入力からニューラルネットワーク出力を生成するように構成され、前記ニューラルネットワーク出力は、
システム出力要素部と、
読み込み要素部と、
書き込みキーと、
書き込みベクトルと
を含む、ニューラルネットワークと、
外部メモリと、
メモリインターフェースサブシステムであって、前記メモリインターフェースサブシステムは、前記ニューラルネットワーク出力の各々について、
前記システム出力のシーケンスのうちのシステム出力として前記システム出力要素部から導出された出力を提供するステップと、
前記書き込みキーから前記外部メモリ内の複数のロケーションの各々についてのそれぞれのコンテンツベース重みを決定するステップと、
前記外部メモリ内の前記複数のロケーションの各々が前記ロケーションに記憶されているデータの修正のためにどれくらい利用可能であるかに基づいて前記外部メモリ内の前記複数のロケーションの各々についてのそれぞれの配置重みを決定するステップと、
前記ロケーションについての前記それぞれのコンテンツベース重みおよび前記ロケーションについての前記それぞれの配置重みから前記外部メモリ内の前記複数のロケーションの各々についてのそれぞれの最終的な書き込み重みを決定するステップと、
前記最終的な書き込み重みに従って前記外部メモリに前記書き込みベクトルによって定義されるデータを書き込むステップと、
前記読み込み要素部から前記外部メモリ内の前記複数のロケーションの各々についての読み込み重みの1つまたは複数のセットを決定するステップと、
読み込み重みの前記セットに従って前記外部メモリからデータを読み込むステップと、
前記外部メモリから読み込まれた前記データを前記システム入力のシーケンスのうちの次のシステム入力と統合して、前記ニューラルネットワーク入力のシーケンスのうちの次のニューラルネットワーク入力を生成するステップと
を含む動作を行うように構成される、メモリインターフェースサブシステムと
を含む、拡張ニューラルネットワークシステム。
【請求項２】
前記外部メモリ内の前記複数のロケーションの各々についてのそれぞれの配置重みを決定するステップは、
前記ロケーションの利用可能部分が使用されている度合いを表す前記ロケーションの各々についてのそれぞれの使用状況値を決定するステップと、
前記使用状況値に従って前記ロケーションを順序付けるステップと、
前記順序付けおよび前記使用状況値に基づいて前記ロケーションの各々についての前記それぞれの配置重みを決定するステップと
を含む、請求項1に記載の拡張ニューラルネットワークシステム。
【請求項３】
前記ロケーションの各々についての前記それぞれの使用状況値を決定するステップは、
前回のニューラルネットワーク出力についての前記ロケーションへの書き込みに使用された前回の最終的な書き込み重みに基づいて前記ロケーションについての前回の使用状況値を増大するステップを含む、請求項2に記載の拡張ニューラルネットワークシステム。
【請求項４】
前記ニューラルネットワーク出力は、前記外部メモリへの書き込み時に前記複数のロケーションの各々を開放することができる範囲を定義する、開放ゲートのセットを含み、前記ロケーションの各々についての前記それぞれの使用状況値を決定するステップは、
前記ロケーションを開放することができる前記範囲に基づいて前記ロケーションについての前記増大された前回の使用状況値を修正して、前記ロケーションについての前記それぞれの使用状況値を生成するステップを含む、請求項3に記載の拡張ニューラルネットワークシステム。
【請求項５】
前記使用状況値に従って前記ロケーションを順序付けるステップは、使用状況の昇順で前記ロケーションを順序付けるステップを含む、請求項2から4のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項６】
前記ロケーションの各々についての前記それぞれの配置重みを決定するステップは、
1から前記ロケーションについての前記使用状況値を引くことによって、前記ロケーションについての初期配置重みを決定するステップと、
前記順序付け内の他の位置における他のロケーションについての前記使用状況値に基づいて前記初期配置重みを修正するステップと
を含む、請求項5に記載の拡張ニューラルネットワークシステム。
【請求項７】
前記ニューラルネットワーク出力は、
前記コンテンツベース重みと前記配置重みとの間の補間を規定する、配置ゲートと、
前記外部メモリへの前記書き込みの書き込み強度を規定する、書き込みゲートと
を含み、前記複数のロケーションの各々についてのそれぞれの最終的な書き込み重みを決定するステップは、
前記配置ゲートに従って前記ロケーションについての前記コンテンツベース重みと前記ロケーションについての前記配置重みとの間を補間するステップと、
前記書き込みゲートに従って前記補間の結果をゲーティングして、前記ロケーションについての前記最終的な書き込み重みを決定するステップと
を含む、請求項1から6のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項８】
前記ニューラルネットワーク出力は、削除ベクトルをさらに含み、前記動作は、前記ニューラルネットワーク出力の各々について、
前記最終的な書き込み重みおよび前記削除ベクトルに従って前記外部メモリから削除するステップをさらに含む、請求項1から7のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項９】
システム入力のシーケンスを処理してシステム出力のシーケンスを生成するための拡張ニューラルネットワークシステムであって、前記拡張ニューラルネットワークシステムは、
ニューラルネットワークであって、前記ニューラルネットワークは、ニューラルネットワーク入力のシーケンスを受信し、各ニューラルネットワーク入力を処理して前記ニューラルネットワーク入力からニューラルネットワーク出力を生成するように構成され、前記ニューラルネットワーク出力は、
システム出力要素部と、
書き込み要素部と、
1つまたは複数の読み込みヘッドの各々についてのそれぞれの読み込みキーと、
書き込みベクトルと
を含む、ニューラルネットワークと、
外部メモリと、
メモリインターフェースサブシステムであって、前記メモリインターフェースサブシステムは、前記ニューラルネットワーク出力の各々について、
前記システム出力のシーケンスのうちのシステム出力として前記システム出力要素部から導出された出力を提供するステップと、
前記ニューラルネットワーク出力の前記書き込み要素部から前記外部メモリ内の複数のロケーションの各々についてのそれぞれの書き込み重みを決定するステップと、
前記それぞれの書き込み重みに従って前記外部メモリに前記書き込みベクトルによって定義されるデータを書き込むステップと、
1つまたは複数の読み込みヘッドの各々について、
前記読み込みヘッドについての前記読み込みキーから前記外部メモリ内の前記複数のロケーションの各々についてのそれぞれのコンテンツベース読み込み重みを決定するステップと、
前記メモリインターフェースサブシステムによって行われた前回の書き込み動作の重みから前記外部メモリ内の前記複数のロケーションの各々についての1つまたは複数のそれぞれの履歴重みを決定するステップと、
前記1つまたは複数の履歴重みおよび前記コンテンツベース読み込み重みから前記複数のロケーションの各々についてのそれぞれの最終的な読み込み重みを決定するステップと、
前記最終的な読み込み重みに従って前記外部メモリからデータを読み込むステップと、
前記外部メモリから読み込まれた前記データを前記システム入力のシーケンスのうちの次のシステム入力と統合して、前記ニューラルネットワーク入力のシーケンスのうちの次のニューラルネットワーク入力を生成するステップと
を含む動作を行うように構成される、メモリインターフェースサブシステムと
を含む、拡張ニューラルネットワークシステム。
【請求項１０】
前記動作は、前記ニューラルネットワーク出力の各々について、
前記外部メモリ内の前記複数のロケーションの各々についての削除重みの1つまたは複数のセットを決定するステップと、
削除重みの前記セットに従って前記外部メモリからデータを削除するステップと
をさらに含む、請求項9に記載の拡張ニューラルネットワークシステム。
【請求項１１】
前記ニューラルネットワーク出力は、前記1つまたは複数の履歴重みと前記コンテンツベース読み込み重みとの間の補間を規定する、各読み込みヘッドについてのそれぞれの読み込みモードベクトルを含み、前記1つまたは複数の履歴重みおよび前記コンテンツベース読み込み重みから前記複数のロケーションの各々についてのそれぞれの最終的な読み込み重みを決定するステップは、
前記読み込みモードベクトルに従って前記ロケーションについての前記1つまたは複数の履歴重みと前記ロケーションについての前記コンテンツベース読み込み重みとの間を補間するステップを含む、請求項9または10のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項１２】
前記動作は、
前記メモリインターフェースサブシステムによって前記外部メモリに対して行われた前回の書き込み動作についての書き込み重みの履歴を追跡するテンポラルリンク行列を保持するステップをさらに含む、請求項9から11のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項１３】
前記動作は、前記ニューラルネットワーク出力の各々について、
前記ニューラルネットワーク出力についての前記書き込み重みに基づいて前記テンポラルリンク行列を更新するステップをさらに含む、請求項12に記載の拡張ニューラルネットワークシステム。
【請求項１４】
前記外部メモリ内の前記複数のロケーションの各々についての1つまたは複数のそれぞれの履歴重みを決定するステップは、
前記更新されたテンポラルリンク行列から前記複数のロケーションの各々についてのそれぞれの後方履歴重みを決定するステップを含む、請求項13に記載の拡張ニューラルネットワークシステム。
【請求項１５】
前記更新されたテンポラルリンク行列から前記複数のロケーションの各々についてのそれぞれの後方履歴重みを決定するステップは、
前記更新されたテンポラルリンク行列と前回のニューラルネットワーク出力についての前記読み込みヘッドについての前記最終的な読み込み重みから導出されたベクトルとの間の行列乗算を行うステップを含む、請求項14に記載の拡張ニューラルネットワークシステム。
【請求項１６】
前記外部メモリ内の前記複数のロケーションの各々についての1つまたは複数のそれぞれの履歴重みを決定するステップは、
前記更新されたテンポラルリンク行列の転置から前記複数のロケーションの各々についてのそれぞれの前方履歴重みを決定するステップを含む、請求項13または14に記載の拡張ニューラルネットワークシステム。
【請求項１７】
前記更新されたテンポラルリンク行列から前記複数のロケーションの各々についてのそれぞれの後方履歴重みを決定するステップは、
前記更新されたテンポラルリンク行列の前記転置と前回のニューラルネットワーク出力についての前記読み込みヘッドについての前記最終的な読み込み重みから導出されたベクトルとの間の行列乗算を行うステップを含む、請求項16に記載の拡張ニューラルネットワークシステム。
【請求項１８】
前記テンポラルリンク行列を更新するステップは、
前記ロケーションが書き込まれる最終ロケーションであった度合いを表す前記複数のロケーションの各々についてのそれぞれの先行度重みを決定するステップと、
前記複数のロケーションの各々についての前記先行度重みおよび前記ニューラルネットワーク出力についての前記書き込み重みを使用して前記テンポラルリンク行列を更新するステップと
を含む、請求項13から17のいずれか一項に記載の拡張ニューラルネットワークシステム。
【請求項１９】
1つまたは複数のコンピュータ記憶媒体に符号化されたコンピュータプログラムであって、前記コンピュータプログラムは、1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から18のいずれか一項に記載の拡張ニューラルネットワークシステムを実施させる命令を含む、コンピュータプログラム。
【請求項２０】
請求項1から18のいずれか一項に記載のメモリインターフェースサブシステムによって行われる前記動作を含む、方法。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０００７
【訂正方法】変更
【訂正の内容】
【０００７】
使用状況値に従ってロケーションを順序付けるステップは、使用状況の昇順でロケーションを順序付けるステップを含み得る。ロケーションの各々についてのそれぞれの配置重みを決定するステップは、1からロケーションについての使用状況値を引くことによって、ロケーションについての初期配置重みを決定するステップと、順序付け内の他の位置における他のロケーションについての使用状況値に基づいて初期配置重みを修正するステップとを含み得る。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】００１５
【訂正方法】変更
【訂正の内容】
【００１５】
テンポラルリンク行列を更新するステップは、ロケーションが書き込まれる最終ロケーションであった度合いを表す複数のロケーションの各々についてのそれぞれの先行度重みを決定するステップと、複数のロケーションの各々についての先行度重みおよびニューラルネットワーク出力についての書き込み重みを使用してテンポラルリンク行列を更新するステップとを含み得る。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】００８８
【訂正方法】変更
【訂正の内容】
【００８８】
いくつかの実施形態においては、システムは、1からロケーションについての使用状況値を引くことによって、各ロケーションについてのそれぞれの初期配置重みを決定し、その後、順序付け内の他の位置における他のロケーションについての使用状況値に基づいてロケーションについての初期配置重みを修正して、ロケーションについての配置重みを生成する。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】０１０８
【訂正方法】変更
【訂正の内容】
【０１０８】
システムは、先行度重みおよびニューラルネットワーク出力についての最終的な書き込み重みを使用してテンポラルリンク行列を更新する(ステップ706)。