(57)【要約】【課題】階層型ニューラル・ネットワーク内で階層型時間メモリのようなフィードバックを提供する。【解決手段】様々な実施形態において、複数の入力ストリームが階層型人工ニューラル・ネットワークの第１の領域で受信される。複数の入力ストリームは、第１の領域においてプールされる。第１の領域においてプールされた入力ストリーム中で１つ以上の反復的特徴が識別される。第１の領域において１つ以上の反復的特徴における時間パターンが認識される。時間パターンの指標が階層型ニューラル・ネットワークの少なくとも第２の領域へ提供される。第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいてさらなる入力に対する応答が調節される。【選択図】図６
2020532013.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
階層型人工ニューラル・ネットワークの第１の領域においてある１つの入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える、方法。
【請求項２】
前記入力ストリームは、ある１つのプールされた入力ストリームであり、前記方法は、
複数の入力ストリームを前記第１の領域で受信するステップと、
前記第１の領域において前記入力ストリームを形成するために前記複数の入力ストリームをプールするステップと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記第２の領域からのフィードバックは、前記第２の領域内の安定な表現に基づく、請求項１に記載の方法。
【請求項４】
前記安定な表現は、前記階層型人工ニューラル・ネットワークへの前の入力に基づく、請求項３に記載の方法。
【請求項５】
前記階層型ニューラル・ネットワークの少なくとも第３の領域へ前記１つ以上の反復的特徴の指標を提供するステップをさらに備える、請求項１に記載の方法。
【請求項６】
前記時間パターンの前記指標を前記提供するステップは、前記第２の領域中で１つ以上のニューロンを活性化するステップを備える、請求項１に記載の方法。
【請求項７】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項１に記載の方法。
【請求項８】
系列メモリをトレーニングするステップをさらに備える、請求項７に記載の方法。
【請求項９】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項１に記載の方法。
【請求項１０】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項１に記載の方法。
【請求項１１】
システムであって、
それを以て具現されたプログラム命令を有するコンピュータ可読ストレージ媒体を備える計算ノードを備え、前記プログラム命令は、プロセッサに
複数の入力ストリームを階層型人工ニューラル・ネットワークの第１の領域で受信するステップと、
前記複数の入力ストリームを前記第１の領域においてプールするステップと、
前記第１の領域において前記プールされた入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える方法を行わせるために、前記計算ノードの前記プロセッサによって実行可能である、システム。
【請求項１２】
人工ニューラル・ネットワーク内でフィードバックを提供するためのコンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品は、それを以て具現されたプログラム命令を有するコンピュータ可読ストレージ媒体を備え、前記プログラム命令は、プロセッサに
複数の入力ストリームを階層型人工ニューラル・ネットワークの第１の領域で受信するステップと、
前記複数の入力ストリームを前記第１の領域においてプールするステップと、
前記第１の領域において前記プールされた入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える方法を行わせるために、前記プロセッサによって実行可能である、コンピュータ・プログラム製品。
【請求項１３】
階層型人工ニューラル・ネットワークであって、
複数の領域を備え、各領域は、プーラ、コリレータ、系列メモリ、および前記複数の領域のうちの別の１つへの少なくとも１つの結合を備え、前記階層型人工ニューラル・ネットワークは、
複数の入力ストリームを前記複数の領域のうちの第１の領域で受信し、
前記複数の入力ストリームを前記第１の領域の前記プーラでプールし、
前記プールされた入力ストリーム中の１つ以上の反復的特徴を前記第１の領域の前記コリレータで識別し、
前記１つ以上の反復的特徴における時間パターンを前記第１の領域の前記系列メモリで認識し、
前記複数の領域のうちの少なくとも第２の領域へ前記時間パターンの指標を提供し、
前記複数の領域のうちの前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するように構成された、
階層型人工ニューラル・ネットワーク。
【請求項１４】
前記第２の領域からの前記フィードバックは、前記第２の領域内の安定な表現に基づく、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１５】
前記安定な表現は、前記階層型人工ニューラル・ネットワークへの前の入力に基づく、請求項１４に記載の階層型人工ニューラル・ネットワーク。
【請求項１６】
前記時間パターンの前記指標を前記提供するステップは、前記第２の領域中で１つ以上のニューロンを活性化するステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１７】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１８】
前記階層型人工ニューラル・ネットワークは、前記系列メモリをトレーニングするようにさらに構成された、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１９】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項２０】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項２１】
方法であって、
階層型人工ニューラル・ネットワークへの入力に基づいて前記階層型人工ニューラル・ネットワークの第２の領域内で安定な表現を形成するステップと、
前記階層型人工ニューラル・ネットワークの第１の領域においてある１つの入力ストリーム中で１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記安定な表現に基づく前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える、方法。
【請求項２２】
前記入力ストリームは、ある１つのプールされた入力ストリームであり、前記方法は、
複数の入力ストリームを前記第１の領域で受信するステップと、
前記第１の領域において前記入力ストリームを形成するために、前記複数の入力ストリームをプールするステップと
をさらに備える、請求項２１に記載の方法。
【請求項２３】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項２１に記載の方法。
【請求項２４】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項２１に記載の方法。
【請求項２５】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、米国国防高等研究計画局（ＤＡＲＰＡ：Ｄｅｆｅｎｓｅ  Ａｄｖａｎｃｅｄ  Ｒｅｓｅａｒｃｈ  Ｐｒｏｊｅｃｔｓ  Ａｇｅｎｃｙ）により授与された契約第Ｎ６６００１−１５−Ｃ−４０３４号の下で米国政府の支援を受けてなされた。米国政府は、本発明に対して一定の権利を有する。
【背景技術】
【０００２】
本開示の実施形態は、人工ニューラル・ネットワークに関し、より具体的には、階層型ニューラル・ネットワーク内で階層型時間メモリのようなフィードバックを提供するステップに関する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
階層型ニューラル・ネットワーク内で階層型時間メモリのようなフィードバックが提供される。
【課題を解決するための手段】
【０００４】
本開示の実施形態によれば、人工ニューラル・ネットワーク内でフィードバックを提供するためのシステム、その方法、およびそのためのコンピュータ・プログラム製品が提供される。複数の入力ストリームが階層型人工ニューラル・ネットワークの第１の領域で受信される。複数の入力ストリームは、第１の領域においてプールされる。第１の領域においてプールされた入力ストリーム中で１つ以上の反復的特徴が識別される。第１の領域において１つ以上の反復的特徴における時間パターンが認識される。時間パターンの指標が階層型ニューラル・ネットワークの少なくとも第２の領域へ提供される。第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいてさらなる入力に対する応答が調節される。
【０００５】
本開示のいくつかの実施形態によれば、階層型人工ニューラル・ネットワークが提供される。このネットワークは、複数の領域を含む。各領域は、プーラ、コリレータ、系列メモリ、および複数の領域のうちの別の１つへの少なくとも１つの結合を備える。階層型人工ニューラル・ネットワークは、複数の入力ストリームを複数の領域のうちの第１の領域で受信し、複数の入力ストリームを第１の領域のプーラでプールし、プールされた入力ストリーム中の１つ以上の反復的特徴を第１の領域のコリレータで識別し、１つ以上の反復的特徴における時間パターンを第１の領域の系列メモリで認識し、複数の領域のうちの少なくとも第２の領域へ時間パターンの指標を提供して、複数の領域のうちの第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて第１の領域へのさらなる入力に対する応答を調節するように構成される。
【０００６】
いくつかの実施形態において、人工ニューラル・ネットワーク内でフィードバックを提供するためのシステム、その方法、およびそのためのコンピュータ・プログラム製品が提供される。階層型人工ニューラル・ネットワークへの入力に基づいて階層型人工ニューラル・ネットワークの第２の領域内で安定な表現が形成される。階層型人工ニューラル・ネットワークの第１の領域においてある１つの入力ストリーム中で１つ以上の反復的特徴が識別される。第１の領域において１つ以上の反復的特徴における時間パターンが認識される。時間パターンの指標が階層型ニューラル・ネットワークの少なくとも第２の領域へ提供される。安定な表現に基づく第２の領域および少なくとも１つの追加の領域からのフィードバック指標に基づいて第１の領域へのさらなる入力に対する応答が調節される。
【図面の簡単な説明】
【０００７】
【図１】本開示のコンテキストを示すために皮質内のフィードバックを描く。
【図２】本開示の実施形態による例示的な階層型ニューラル・ネットワークの領域を示す。
【図３】本開示の実施形態による例示的な階層型ニューラル・ネットワークの皮質領の構成要素部分を示す。
【図４】本開示の実施形態による例示的な人工ニューラル・ネットワークの複数の領域間のデータのフローを示す。
【図５】本開示の例示的な実施形態の様々なノイズ・レベルにおける精度のグラフである。
【図６】本開示の実施形態による人工ニューラル・ネットワーク内でフィードバックを提供するための方法を示す。
【図７】本開示のある１つの実施形態による計算ノードを描く。
【発明を実施するための形態】
【０００８】
哺乳動物の脳では、皮質が階層型ニューラル・ネットワークとして相互に結合されている。階層中の下位の領域におけるニューロンの発火は、ニューロンが、フィードフォワード・プロセスで、次に高位の領域において発火するように刺激する。対照的に、高位領域における活性は、いずれかの下位領域における発火挙動を調節してよい。この挙動は、トップダウン制御、安定化、方向性注意、および他の機能を容易にする。従来の人工ニューラル・ネットワークには、かかる多様なフィードバックの形態を提供するためのメカニズムが欠落している。
【０００９】
フィードバックの例として、各眼の網膜からの刺激は、視神経を通過し、視床を経由して視覚野の最も下位の感覚領（ｌｏｗｅｓｔ  ｓｅｎｓｏｒｙ  ｒｅｇｉｏｎ）（Ｖ１，Ｖ２）へ至る。それらの層では、この刺激が線およびエッジなど、非常に単純な形状を識別するように処理される。ニューロン活性の結果として生じたパターンは、これらの原始的な形状についての表現を提供し、これらの表現が階層（Ｖ３，Ｖ３Ａ）中の次に高位の領域へ伝えられる。これらの層が入力をプールし、相関付けて、より複雑な形状の表現を形成する。このフィードフォワード処理は、物体、人々、場所などの表現が頭頂葉に現れるまで皮質階層の上方へ進む。データが階層を通してフィードフォワードされるにつれて、益々より豊富な表現が形成される。
【００１０】
高位レベルの表現は、下位レベルのものよりゆっくりと変化する。Ｖ１およびＶ２では、例えば、ニューラル・パターンは、網膜中の桿体および錐体の応答に比較可能なタイム・スケール（１０〜１００ミリ秒）で変化する。前頭頂間野（ＡＩＰ：ａｎｔｅｒｉｏｒ  ｉｎｔｒａｐａｒｉｅｔａｌ  ｒｅｇｉｏｎ）では、対照的に、認識された物体の表現は、物体が視野内にある間、およびそれをもはや視認できない後でも、基本的に変化しないままである。
【００１１】
かかる安定な表現は、高位レベルから下位レベルへのフィードバックのための基礎を提供する。例えば、物体の一部のみが視野内にある場合、下位領域は、完全な識別を行うのに十分な情報を有しえない。しかしながら、高位領域は、部分的な表現を先に見られて学習された同様の物体の他のビューと関連付けて、その物体のまさしく視認できる部分へ応答できる。このような方法で、高位レベルは、識別を行うために部分的なピクチャを完成できる。安定な表現の形態の、その知識およびコンテキストが下位領域へフィードバックされる。このようにして、下位レベルは、物体の詳細についてさらなる情報を収集する必要がない。
【００１２】
上述のように、従来の人工ニューラル・ネットワークには、この種のオーバーライドおよび上位レベルから下位への制御を提供するために必要なアーキテクチャが欠落している。特に、従来の人工ニューラル・ネットワークは、セマンティック表現の形態のコンテキストの下位レベルへのフィードバックを提供しない。
【００１３】
次に、図１を参照すると、皮質内のフィードバックおよび視床の役割が示される。感覚入力１０１が視床のコア細胞１０２へ提供される。データは、皮質の領域１０３．．．１０７．．．を上方へ進む。隣接したレベルは、直接フィードフォワード、および概して直接フィードバックを有する。視床マトリックス細胞１０８は、いずれかの高位レベルの領域から下方の領域へのフィードバック経路を提供する。
【００１４】
人工ニューラル・ネットワーク（ＡＮＮ：ａｒｔｉｆｉｃｉａｌ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ）は、シナプスと呼ばれる結合点を通して相互結合された多数のニューロンからなる、分散型計算システムである。各シナプスは、１つのニューロンの出力と別のニューロンの入力との間の結合の強度をエンコードする。各ニューロンの出力は、それに結合された他のニューロンから受信した総入力によって決定される。従って、所与のニューロンの出力は、先行層からの結合ニューロンの出力と、シナプス荷重によって決定される結合の強度とに基づく。ＡＮＮは、特定のクラスの入力が所望の出力を作り出すようにシナプスの荷重を調整することによって具体的な問題（例えば、パターン認識）を解くようにトレーニングされる。
【００１５】
この学習プロセスのために様々なアルゴリズムが用いられてよい。画像認識、音声認識、または言語処理のような具体的なタスクには一定のアルゴリズムが適しうる。トレーニング・アルゴリズムは、学習プロセスの間に、所与の問題の最適解に向かって収束するシナプス荷重のパターンをもたらす。逆伝播法は、学習プロセスの間に既知の正しい出力が利用可能な、教師あり学習のための１つの適切なアルゴリズムである。かかる学習の目標は、トレーニング中に利用可能でなかったデータへ一般化するシステムを得ることである。
【００１６】
一般に、逆伝播法の間に、ネットワークの出力が既知の正しい出力と比較される。出力層中の各々のニューロンについて誤差値が算出される。各ニューロンと関連付けられた誤差値を決定するために、出力層から始めて、誤差値が逆に伝播される。誤差値は、ネットワーク出力に対する各ニューロンの寄与に相当する。次に、荷重をアップデートするためにこれらの誤差値が用いられる。このような方法でのインクリメンタルな補正によって、ネットワーク出力がトレーニング・データに適合するように調整される。
【００１７】
他のアルゴリズムは、ヘブの学習則を採用し、グランド・トルース・データに基づく誤差関数の生成を必要としない。その代わりに、パターンおよび時系列が新しいシナプスを生成するかあるいは既存のシナプスを強化するニューロン発火パターンを作り出す。このような方法で、かかるシステムは、共通して発生する連合および系列を認識して予言することを連続的かつ自発的に学習する。
【００１８】
本開示は、人工ニューラル・ネットワーク内のフィードバックを提供する。階層のある１つの領域は、それが前に見てよく知っている系列として認識することを学習したフィードフォワード・データを受信するときに、その系列の安定な表現を生成する。本開示の実施形態は、その表現を軸索を介した上位領域から下位レベルの尖端シナプスへのフィードバックとして用いる。下位レベルのいくつかのニューロンがその後に発火すれば、そのときには、例えば、ヘブの学習則によって、結合シナプスが強化される。同様に、プレシナプスまたはポストシナプス・ニューロンが発火しなければ、結合シナプスは弱化されうる。このような方法で、上位レベルの活性は、コンテキストを示し、結合された尖端シナプスは、どの下位レベルのニューロンが次に発火することになるかの予言を許容する。予言された発火を持続することによって、本開示によるシステムは、入力データ・ストリーム中のノイズ（例えば、欠落したまたは不良なデータ）を克服することが可能である。
【００１９】
次に、図２を参照すると、例示的な２つの領域の階層型ニューラル・ネットワークが描かれる。簡単にするために、本明細書では様々な実施形態が階層型ニューラル・ネットワークにおける２つの領域と関連して記載される。しかしながら、本開示は、任意の数の領域をもつネットワークに適用可能であることが理解されよう。ネットワーク２００において、下位領域２０１は、他の下方の領域からまたはセンサから入力を受信する。上位領域２０２は、下位領域２０１からフィードフォワードされたデータを受信する。２つの領域間のこの関係は、複数のレベル上の複数の領域へ一般化可能である。例えば、様々な実施形態において、第１の下位領域は、１つ以上の上位領域からフィードバックを受信する。
【００２０】
以下にさらに記載される様々な実施形態においては、ニューラル・ネットワークの上位領域における安定な表現の形成が識別される。安定な表現は、下位領域の調節シナプスへ送られる。かかるシナプスは、尖端シナプスと呼ばれてよい。十分な尖端シナプスが活性であれば、それらが結合するニューロンは、持続モードに置かれる。本明細書において提供される様々な例示的な実施形態は、バイナリ・ニューラル・ネットワーク、例えば、データがバイナリ・ベクトルの形態で領域間を伝播するニューラル・ネットワークの観点から記載される。しかしながら、本開示の主題は、他の階層型ニューラル・ネットワークに適用可能であることが理解されよう。
【００２１】
次に、図３を参照すると、皮質領の構成要素部分およびそれらに対応する神経学的な等価物が示される。ニューラル・ネットワークの階層中の各領域は、いくつかの構成要素部分からなる。本明細書に記載される様々な実施形態において、それらは、皮質シートの６つの層をエミュレートするように設計される。しかしながら、これは、単に説明的な例であり、本開示は、任意の数の層に適用可能であることが理解されよう。
【００２２】
領域３００において、第１の部分３０１は、下方の領域からフィードフォワードされたデータを受信し、複数の入力データ・ストリームをプールして相関付ける。この部分は、コリレータと呼ばれてよく、この例ではバイナリである。その役割は、哺乳動物の皮質における層４（Ｌ４）ニューロンの基底シナプスに類似する。コリレータへの入力は、一般に、時間ステップごとに変化する。Ｌ４ニューロンが基底活性を通して発火すれば、Ｌ４ニューロンは、そのミニコラム中の１つ以上のニューロンを活性化する。ミニコラムという用語は、Ｌ４および層Ｌ２／３  ３０２の物理的配置を反映する。
【００２３】
バイナリ・ネットワークの様々な実施形態において、発火パターンは、活性なニューロンをオン・ビット（１）が示す、バイナリ・ベクトルとして表される。領域の第２の構成要素、系列メモリ３０２をコラムが形成する。Ｌ２／３ニューロン間には広範な側方結合（またはシナプス）が提供される。ヘブの側方シナプス強化および弱化によって、入力ごとのＬ２／３活性パターンが次の入力での発火挙動を調節する。これらの側方結合は、調節的であり、すなわち、実際に発火を生じさせるわけではないが、生物学的な脱分極と類似したメカニズムで、どのニューロンが次に発火することになるかを予言する。予言されたニューロン（単数または複数）をもつコラムが次の入力の際に実際に活性になれば、そのときには予言されたニューロン（単数または複数）のみが発火して、それらの予言を招いたシナプスが強化される。予言されたニューロンが新たに活性なコラム中になければ、それらのシナプスは、弱化される。現在活性なニューロンが、順次、次の時間ステップでの入力についてさらなる予言を行う。この手段によって、システムは、入力の系列を学習する。Ｌ４ニューロンおよびそれらの活性化されたコラムは、相関付けられた入力値をエンコードする。そのコラム中の特定の活性なニューロンが入力のコンテキスト、例えば、現在の入力に至った系列の前の値をエンコードする。
【００２４】
前の入力によって予言されたニューロンが現在の入力によって活性化される（予言されたニューロンが検証される）ときに、その活性状態が１つ以上の上位領域へフィードフォワードされる。やはりバイナリ・ベクトルによって表される、このフィードフォワード信号も時間ステップごとに変化する。系列が学習されたときに、各ステップが正確に予言されて、出力は、先行データのコンテキストにおいて発火した特定のニューロンについての情報を含む。
【００２５】
上記のように動作する系列メモリの１つの限界は、それがノイズの存在を十分に許容しないことである。ノイズは、そうでない場合には学習される系列を中断する、欠落したまたは誤ったデータの形態をとりうる。加えて、かかるシステムは、十分に一般化することができない。それらのシステムは、厳密に見た何かではなく、前に見たものと同様の何かに基づいて予言することは可能でない。厳密と同様との間の差がノイズの一形態と考えられてよい。
【００２６】
本開示は、ノイズが多い入力データをオーバーライドするために、階層の上位レベルにおける領域が下位領域の活性をそれによって調節する、フィードバックのためのメカニズムを提供する。上位領域では安定な、ゆっくりと変化する表現が形成される。表現の安定性は、バイナリ・ネットワークのケースでは、上位レベル層−４のニューロン（Ｌ４’）の２つ以上の継続的な出力中のビットの論理積を算出することによって識別され、確かめられる。アナログ・ネットワークでは、出力表現間の小さい（二乗または絶対）差によって安定性が測定される。
【００２７】
安定な表現は、下位領域中のＬ４ニューロンの尖端シナプスへルーティングされる。コリレータおよび系列メモリと同様に、尖端シナプスのアレイは、行が入力（軸索）および列が出力（樹状突起）の行列として表される。各シナプスの強度は、アナログ・パーマネンス行列中に記憶される。各パーマネンスを閾値と比較することによって、バイナリ結合行列が得られる。パーマネンスが閾値を上回れば、シナプスが結合され（バイナリ値１）、そうでない場合には結合されない（バイナリ値０）。
【００２８】
尖端樹状突起３０３の活性は、結合行列とフィードバック・ベクトルとの行列積を算出することによって決定される。結果として生じた整数値は、活性な軸索と、結合されたシナプスとの重なりの尺度となる。尖端シナプスの、閾値より大きい重なりによって決定されるような、十分な励起は、その基底シナプスの状態に係わらず、Ｌ４ニューロンを発火させる。閾値は、浮動的であってよいことが理解されよう。かかるニューロンは、持続された状態にあると言うことができる。結果として、ボトムアップ入力がたとえ弱いかまたは欠落していても、そのミニ・コラムが活性化されて、系列メモリ中の発火系列は、不良なデータを越えて続くことができる。
【００２９】
最後に、尖端シナプスの強度は、ヘブ則によってアップデートされてよい。Ｌ４’ニューロンがＬ４ニューロンの直前に発火すれば、それらを結合するシナプスが強化される。不活性なＬ４尖端樹状突起へ結合する（であろう）活性なＬ４’ニューロンの軸索上のいずれのシナプスも弱化される。このような方法で、ネットワークは、どのフィードバック表現が下位領域中のどのコラムを持続させるかを学習する。
【００３０】
次に、図４を参照すると、２つの例示的な領域を通るデータのフローが示される。上記のように、データは、Ｌ２／Ｌ３層４０１からフィードフォワードされる。フィードバックは、Ｌ４層４０２からＬ１層４０３へ提供される。
【００３１】
図５を参照すると、例示的な結果が示される。簡単なバイナリ・ニューラル・ネットワークがシミュレートされた。それは、２つの領域、すなわち、エンコードされた入力データ・ストリームを受信した下位領域と、下位領域の系列メモリ中の検証されたニューロンからフィードフォワードされた入力を受信した上位領域とからなった。この説明的な例では、入力データは、ランダム順に選択された、整数（ＡＳＣＩＩ）エンコーディングによる、各々が約４５文字長の３つのセンテンスからなった。１つの入力データ・ストリームしかなかったので、プーリングまたは相関付けは必要なかった。バイナリ・コリレータは、それゆえに、ランダム・スパーシファイア、１またはゼロの固定強度をもつシナプスのアレイによって置き換えられた。各入力文字が一組のＬ４ニューロンを発火させ、システムがすべての系列を学習するにつれて、活性なコラム中の特定のＬ２／３ニューロンが初めに予言されて、その後に検証される。検証されたニューロンの軸索は、上位領域におけるＬ４’ニューロンの基底樹状突起へ結合する。
【００３２】
上位領域は、時間コリレータとしての機能を果たし、下位領域からの３つの連続した入力をプールして、各センテンス中のワードおよびフレーズの新しい益々安定な表現を生成するためにそれらを相関付ける。Ｌ２’／３’ニューロンの活性化に加えて、Ｌ４’の出力がＬ４の尖端樹状突起へフィードバックされる。表現の安定性は、４つの継続的な出力の論理積を形成することによって確かめられる。Ｌ４ニューロンが尖端フィードバックを受信すれば、その持続状態に入り、その基底活性に係わらず、次の時間ステップで発火する。持続されたニューロンの最大数は、活性なコラムの数と同じである。持続されたＬ４ニューロンがボトムアップに活性化されなければ、通常の数の２倍の活性なコラムがあることになろう。この最大値は、尖端樹状突起の重なりの閾値を自動的に調整することによって実施される。
【００３３】
この例では、システムが、ノイズのない、１０，０００文字の長さのデータセット上で、記載されるようなフィードバックを用いて最初にトレーニングされた。同じ３つのセンテンスであるが、文字のうちの５％、１０％、または２０％をランダムに置き換えて、３つの追加のデータセットが構築された。ノイズ・レベルごとに、トレーニングされたネットワークから始めて、最初にフィードバックがまだ有効であり、次にフィードバックが遮断され、最後にフィードバックが回復される、３つのランが行われた。すべての３つのランについてシナプス・アップデートが続いた。正しい予言が行われていないときにゼロであり、すべての予言が正しいときに１に上昇する学習メトリックを用いて、ネットワークの挙動がモニタされた。ノイズは、予言不可能なので、入力データ中にノイズがあるときにはこのメトリックが低くなる。結果が図５に示される。本明細書において提供されるフィードバックは、すべてのノイズ・レベルに対してネットワークの性能を改善することが理解されよう。
【００３４】
次に、図６を参照すると、本開示の実施形態による人工ニューラル・ネットワーク内でフィードバックを提供するための方法が示される。６０１では、複数の入力ストリームが階層型人工ニューラル・ネットワークの第１の領域で受信される。６０２では、複数の入力ストリームが第１の領域においてプールされる。６０３では、第１の領域においてプールされた入力ストリーム中で１つ以上の反復的特徴が識別される。６０４では、第１の領域において１つ以上の反復的特徴における時間パターンが認識される。６０５では、時間パターンの指標が階層型ニューラル・ネットワークの少なくとも第２の領域へ提供される。第２の領域は、安定な表現を形成する。６０６では、第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいてさらなる入力に対する応答が調節される。指標は、ソース領域内の安定な表現に基づく。
【００３５】
一般に、本開示による階層型人工ニューラル・ネットワークは、いくつかの領域を含みうる。各領域は、プーラ、コリレータ、系列メモリ、および別の領域への少なくとも１つの結合を含む。かかる実施形態において、プーラは、下方からフィードフォワードされた複数の入力データ・ストリームを組み合わせる。コリレータは、プールされた入力データ中の反復的特徴を識別する。系列メモリは、コリレータの出力中の時間パターンを認識することを学習する。学習シナプスの形態の結合がニューラル・ネットワークの階層内で上方および下方へフィードする。ある１つの領域が階層の複数の高位レベルにおける複数の他の領域からフィードバックされた入力を受信できる。このフィードバックは、１つ以上のニューロンの状態を変化させることができ、それにより将来の入力に対する応答を調節する。
【００３６】
コリレータの出力は、１つ以上の下位領域へフィードバックされてよい。１つ以上のニューロンの状態が持続されて、ボトムアップ入力が単独で発火を生成することになるかどうかに係わらず、結果として、次の時間ステップで発火するように設定されてよい。
【００３７】
次に、図７を参照すると、計算ノードの例の概略図が示される。計算ノード１０は、適切な計算ノードの一例に過ぎず、本明細書に記載される発明の実施形態の使用の範囲または機能性について何らかの制限を示唆することは意図されない。いずれにしても、計算ノード１０は、先に提示された機能性のいずれかが実装され、もしくはそれを行うこと、またはその両方が可能である。
【００３８】
計算ノード１０には、多くの他の汎用もしくは専用計算システム環境または構成を用いて動作可能なコンピュータ・システム／サーバ１２がある。コンピュータ・システム／サーバ１２とともに用いるのに適しうるよく知られた計算システム、環境、もしくは構成またはそれらのすべての例は、以下には限定されないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マルチプロセッサ・システム、マイクロプロセッサ・ベース・システム、セット・トップ・ボックス、プログラマブルな民生用電子機器、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、および上記のシステムまたはデバイスのいずれかを含む分散型クラウド計算環境などを含む。
【００３９】
コンピュータ・システム／サーバ１２は、コンピュータ・システムによって実行される、プログラム・モジュールなど、コンピュータ・システムが実行可能な命令の一般的なコンテキストで記述されてよい。概して、プログラム・モジュールは、特定のタスクを行うか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造などを含みうる。コンピュータ・システム／サーバ１２は、分散型クラウド計算環境で実施されてよく、これらの環境では通信ネットワークを通してリンクされたリモート処理デバイスによってタスクが行われる。分散型クラウド計算環境においては、プログラム・モジュールがメモリ記憶デバイスを含んだローカルおよびリモート両方のコンピュータ・システム記憶媒体中に位置してよい。
【００４０】
図７に示されるように、計算ノード１０中のコンピュータ・システム／サーバ１２は、汎用計算デバイスの形態で示される。コンピュータ・システム／サーバ１２の構成要素は、以下には限定されないが、１つ以上のプロセッサまたは処理ユニット１６、システム・メモリ２８、およびシステム・メモリ２８を含む様々なシステム構成要素をプロセッサ１６へ連結するバス１８を含みうる。
【００４１】
バス１８は、メモリ・バスもしくはメモリ・コントローラ、周辺機器用バス、アクセラレイティッド・グラフィックス・ポート、および様々なバス・アーキテクチャのいずれかを用いたプロセッサまたはローカル・バスを含めて、いくつかのタイプのバス構造のいずれか１つ以上を表す。限定ではなく、例として、かかるアーキテクチャは、インダストリ・スタンダード・アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、マイクロ・チャネル・アーキテクチャ（ＭＣＡ：Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、拡張ＩＳＡ（ＥＩＳＡ：Ｅｎｈａｎｃｅｄ  ＩＳＡ）バス、ビデオ・エレクトロニクス・スタンダーズ・アソシエーション（ＶＥＳＡ：Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）ローカル・バス、およびペリフェラル・コンポーネント・インターコネクト（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バスを含む。
【００４２】
コンピュータ・システム／サーバ１２は、典型的に、様々なコンピュータ・システム可読媒体を含む。かかる媒体は、コンピュータ・システム／サーバ１２によってアクセスできるいずれかの利用可能な媒体であってよく、揮発性および不揮発性媒体、リムーバブルおよびノンリムーバブル媒体の両方を含む。
【００４３】
システム・メモリ２８は、揮発性メモリの形態のコンピュータ・システム可読媒体、例えば、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）３０もしくはキャッシュ・メモリ３２またはその両方を含むことができる。コンピュータ・システム／サーバ１２は、さらに、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータ・システム記憶媒体を含みうる。例のみとして、（示されず、典型的に「ハード・ドライブ」と呼ばれる）ノンリムーバブル、不揮発性磁気媒体から読み出し、それに書き込むために記憶システム３４を設けることができる。示されないが、リムーバブル、不揮発性磁気ディスク（例えば、「フレキシブルディスク」）から読み出し、それに書き込むための磁気ディスク・ドライブ、およびＣＤ‐ＲＯＭ、ＤＶＤ‐ＲＯＭまたは他の光媒体のようなリムーバブル、不揮発性光ディスクから読み出し、またはそれに書き込むための光ディスク・ドライブを設けることができる。かかる事例では、各々を１つ以上のデータ媒体インターフェースによってバス１８へ接続できる。以下にさらに描かれ、記載されるように、メモリ２８は、本発明の実施形態の機能を実施するように構成された一組の（例えば、少なくとも１つの）プログラム・モジュールを有する少なくとも１つのプログラム製品を含みうる。
【００４４】
一組の（少なくとも１つの）プログラム・モジュール４２、ならびにオペレーティング・システム、１つ以上のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データを有する、プログラム／ユーティリティ４０が、限定ではなく、例として、メモリ２８中に記憶されてよい。オペレーティング・システム、１つ以上のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データの各々またはそれらの何らかの組み合わせは、ネットワーキング環境の実装を含みうる。プログラム・モジュール４２は、概して、本明細書に記載されるような本発明の実施形態の機能もしくは方法論またはその両方を実施する。
【００４５】
コンピュータ・システム／サーバ１２は、さらに、キーボード、ポインティング・デバイス、ディスプレイ２４などのような１つ以上の外部デバイス１４、ユーザがコンピュータ・システム／サーバ１２と対話することを可能にする１つ以上のデバイス、もしくはコンピュータ・システム／サーバ１２が１つ以上の他の計算デバイスと通信することを可能にするいずれかのデバイス（例えば、ネットワーク・カード、モデムなど）、またはそれらのすべてと通信してよい。かかる通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して発生することができる。さらにまた、コンピュータ・システム／サーバ１２は、１つ以上のネットワーク、例えば、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）、一般的なワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ  ａｒｅａ  ｎｅｔｗｏｒｋ）、もしくは公衆ネットワーク（例えば、インターネット）またはそれらのすべてとネットワーク・アダプタ２０を介して通信できる。描かれるように、ネットワーク・アダプタ２０は、コンピュータ・システム／サーバ１２の他の構成要素とバス１８を介して通信する。示されないが、コンピュータ・システム／サーバ１２と併せて他のハードウェアもしくはソフトウェア構成要素またはその両方を用いてよいことが理解されるべきである。例は、以下には限定されないが、マイクロコード、デバイス・ドライバ、冗長処理ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ記憶システムなどを含む。
【００４６】
本発明は、システム、方法、もしくはコンピュータ・プログラム製品またはそれらのすべてであってもよい。コンピュータ・プログラム製品は、プロセッサに本発明の様態を実施させるためのコンピュータ可読プログラム命令をその上に有する１つ（または複数）のコンピュータ可読記憶媒体を含みうる。
【００４７】
コンピュータ可読記憶媒体は、命令実行デバイスによる使用のための命令を保持して記憶できる有形のデバイスとすることができる。コンピュータ可読記憶媒体は、例えば、以下には限定されないが、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、またはそれらのいずれかの適切な組み合わせであってよい。コンピュータ可読記憶媒体のより具体的な例の非網羅的リストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリ・メモリ（ＲＯＭ：ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ）、消去可能プログラマブル・リード・オンリ・メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ：ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（ＣＤーＲＯＭ：ｃｏｍｐａｃｔ  ｄｉｓｃ  ｒｅａｄ‐ｏｎｌｙ  ｍｅｍｏｒｙ）、デジタル・バーサタイル・ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）、メモリ・スティック、フレキシブルディスク、機械的にエンコードされたデバイス、例えば、パンチ・カードもしくはその上に記録された命令を有する溝中の凸構造、ならびにそれらのいずれかの適切な組み合わせを含む。コンピュータ可読記憶媒体は、本明細書において、それ自体が一時的な信号、例えば、電波または他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通して伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、または電線を通して伝送される電気信号であると解釈されるべきではない。
【００４８】
本明細書に記載されるコンピュータ可読プログラム命令をコンピュータ可読記憶媒体からそれぞれの計算／処理デバイスへ、あるいは、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはそれらのすべてを介して外部コンピュータもしくは外部記憶デバイスへダウンロードできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジ・サーバまたはそれらのすべてを備えてよい。各計算／処理デバイスにおけるネットワーク・アダプタ・カードもしくはネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受信して、それらのコンピュータ可読プログラム命令をそれぞれの計算／処理デバイス内のコンピュータ可読記憶媒体中に記憶するために転送する。
【００４９】
本発明のオペレーションを実施するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：ｉｎｓｔｒｕｃｔｉｏｎ‐ｓｅｔ‐ａｒｃｈｉｔｅｃｔｕｒｅ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラム言語、および「Ｃ」プログラム言語のような従来の手続き型プログラム言語、または同様のプログラム言語を含めて、１つ以上のプログラム言語の任意の組み合わせで書かれたソース・コードもしくはオブジェクト・コードのいずれかであってよい。コンピュータ可読プログラム命令は、専らユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロン・ソフトウェア・パッケージとして、実行してもよく、部分的にユーザのコンピュータ上および部分的にリモート・コンピュータ上で、あるいは専らリモート・コンピュータまたはサーバ上で実行してもよい。後者のシナリオでは、リモート・コンピュータが、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含めて、いずれかのタイプのネットワークを通してユーザのコンピュータへ接続されてもよく、または（例えば、インターネット・サービス・プロバイダを用いたインターネットを通して）外部コンピュータへの接続が行われてもよい。いくつかの実施形態において、例えば、プログラマブル・ロジック回路素子、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：ｐｒｏｇｒａｍｍａｂｌｅ  ｌｏｇｉｃ  ａｒｒａｙ）を含む電子回路素子が、本発明の態様を行うために、コンピュータ可読プログラム命令の状態情報を利用してその電子回路素子をパーソナライズすることによって、コンピュータ可読プログラム命令を実行してもよい。
【００５０】
本明細書では本発明の実施形態による方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート説明図もしくはブロック図またはその両方を参照して本発明の態様が記載される。フローチャート説明図もしくはブロック図またはその両方の各ブロック、およびフローチャート説明図もしくはブロック図またはその両方におけるブロックの組み合わせをコンピュータ可読プログラム命令によって実装できることが理解されよう。
【００５１】
これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する、それらの命令が、フローチャートもしくはブロック図またはその両方の１つまたは複数のブロックにおいて指定された機能／動作を実装するための手段を生み出すような、マシンを作り出すように汎用コンピュータ、専用コンピュータ、もしくは他のプログラマブル・データ処理装置のプロセッサへ提供されてよい。これらのコンピュータ可読プログラム命令は、さらに、コンピュータ可読ストレージ媒体中に記憶されてよく、これらのプログラム命令は、その中に記憶された命令を有するそのコンピュータ可読ストレージ媒体が、フローチャートもしくはブロック図またはその両方の１つもしくは複数のブロックにおいて指定された機能／動作の態様を実装する命令を含んだ製造品を備えるような、特定の仕方で機能するようにコンピュータ、プログラマブル・データ装置、もしくは他のデバイスまたはそれらのすべてに命令できる。
【００５２】
コンピュータ可読プログラム命令は、さらに、コンピュータ、他のプログラマブル装置、または他のデバイス上で実行する命令が、フローチャートもしくはブロック図またはその両方の１つもしくは複数のブロックにおいて指定された機能／動作を実装するような、コンピュータ実装プロセスを作り出すための一連のオペレーション・ステップがコンピュータ、他のプログラマブル装置、または他のデバイス上で行われるようにするために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上へロードされてよい。
【００５３】
図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能性、およびオペレーションを示す。この点で、フローチャートまたはブロック図中の各ブロックは、指定された論理機能（単数または複数）を実装するための１つ以上の実行可能な命令を備える、モジュール、セグメント、または命令の一部を表してよい。いくつかの代わりの実装では、ブロック中に記された機能が図中に記された順序以外で発生してもよい。例えば、連続して示される２つのブロックが、実際には、実質的に同時に実行されてもよく、または関与する機能性に依存して、複数のブロックがときには逆の順序で実行されてもよい。指定された機能または動作を行うかあるいは専用ハードウェアおよびコンピュータ命令の組み合わせを実施する専用ハードウェア・ベース・システムによって、ブロック図もしくはフローチャート説明図またはその両方の各ブロック、およびブロック図もしくはフローチャート説明図またはその両方におけるブロックの組み合わせを実装できることにも気付くであろう。
【００５４】
本発明の様々な実施形態の記載が説明のために提示されたが、これらの記載が網羅的であり、または開示される実施形態に限定されることは意図されない。記載された実施形態の範囲および趣旨から逸脱することなく、多くの修正および変更が当業者には明らかであろう。本明細書に用いられる用語法は、実施形態の原理、実用用途または市場に見られる技術を超える技術的改良を最もよく説明するために、あるいは本明細書に開示される実施形態を当業者が理解できるようにするために選ばれた。
【図１】
2020532013.tif 000003
【図２】
2020532013.tif 000004
【図３】
2020532013.tif 000005
【図４】
2020532013.tif 000006
【図５】
2020532013.tif 000007
【図６】
2020532013.tif 000008
【図７】
2020532013.tif 000009
【手続補正書】
【提出日】令和2年8月24日(2020.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、
階層型人工ニューラル・ネットワークの第１の領域においてある１つの入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型人工ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える、方法。
【請求項２】
前記入力ストリームは、ある１つのプールされた入力ストリームであり、前記方法は、
複数の入力ストリームを前記第１の領域で受信するステップと、
前記第１の領域において前記入力ストリームを形成するために前記複数の入力ストリームをプールするステップと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記第２の領域からのフィードバックは、前記第２の領域内の安定な表現に基づく、請求項１に記載の方法。
【請求項４】
前記安定な表現は、前記階層型人工ニューラル・ネットワークへの前の入力に基づく、請求項３に記載の方法。
【請求項５】
前記階層型人工ニューラル・ネットワークの少なくとも第３の領域へ前記１つ以上の反復的特徴の指標を提供するステップをさらに備える、請求項１に記載の方法。
【請求項６】
前記時間パターンの前記指標を前記提供するステップは、前記第２の領域中で１つ以上のニューロンを活性化するステップを備える、請求項１に記載の方法。
【請求項７】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項１に記載の方法。
【請求項８】
系列メモリをトレーニングするステップをさらに備える、請求項７に記載の方法。
【請求項９】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項１に記載の方法。
【請求項１０】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項１に記載の方法。
【請求項１１】
プロセッサに、
複数の入力ストリームを階層型人工ニューラル・ネットワークの第１の領域で受信するステップと、
前記複数の入力ストリームを前記第１の領域においてプールするステップと、
前記第１の領域において前記プールされた入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型人工ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を実行させるためのプログラムを備えたシステム。
【請求項１２】
人工ニューラル・ネットワーク内でフィードバックを提供するためのコンピュータ・プログラムであって、プロセッサに
複数の入力ストリームを階層型人工ニューラル・ネットワークの第１の領域で受信するステップと、
前記複数の入力ストリームを前記第１の領域においてプールするステップと、
前記第１の領域において前記プールされた入力ストリーム中の１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型人工ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を実行させるためのコンピュータ・プログラム。
【請求項１３】
階層型人工ニューラル・ネットワークであって、
複数の領域を備え、各領域は、プーラ、コリレータ、系列メモリ、および前記複数の領域のうちの別の１つへの少なくとも１つの結合を備え、前記階層型人工ニューラル・ネットワークは、
複数の入力ストリームを前記複数の領域のうちの第１の領域で受信し、
前記複数の入力ストリームを前記第１の領域の前記プーラでプールし、
前記プールされた入力ストリーム中の１つ以上の反復的特徴を前記第１の領域の前記コリレータで識別し、
前記１つ以上の反復的特徴における時間パターンを前記第１の領域の前記系列メモリで認識し、
前記複数の領域のうちの少なくとも第２の領域へ前記時間パターンの指標を提供し、
前記複数の領域のうちの前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するように構成された、
階層型人工ニューラル・ネットワーク。
【請求項１４】
前記第２の領域からの前記フィードバックは、前記第２の領域内の安定な表現に基づく、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１５】
前記安定な表現は、前記階層型人工ニューラル・ネットワークへの前の入力に基づく、請求項１４に記載の階層型人工ニューラル・ネットワーク。
【請求項１６】
前記時間パターンの前記指標を前記提供するステップは、前記第２の領域中で１つ以上のニューロンを活性化するステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１７】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１８】
前記階層型人工ニューラル・ネットワークは、前記系列メモリをトレーニングするようにさらに構成された、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項１９】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項２０】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項１３に記載の階層型人工ニューラル・ネットワーク。
【請求項２１】
方法であって、
階層型人工ニューラル・ネットワークへの入力に基づいて前記階層型人工ニューラル・ネットワークの第２の領域内で安定な表現を形成するステップと、
前記階層型人工ニューラル・ネットワークの第１の領域においてある１つの入力ストリーム中で１つ以上の反復的特徴を識別するステップと、
前記第１の領域において前記１つ以上の反復的特徴における時間パターンを認識するステップと、
前記階層型人工ニューラル・ネットワークの少なくとも第２の領域へ前記時間パターンの指標を提供するステップと、
前記安定な表現に基づく前記第２の領域および少なくとも１つの追加の領域からのフィードバックに基づいて前記第１の領域へのさらなる入力に対する応答を調節するステップと
を備える、方法。
【請求項２２】
前記入力ストリームは、ある１つのプールされた入力ストリームであり、前記方法は、
複数の入力ストリームを前記第１の領域で受信するステップと、
前記第１の領域において前記入力ストリームを形成するために、前記複数の入力ストリームをプールするステップと
をさらに備える、請求項２１に記載の方法。
【請求項２３】
前記時間パターンを前記認識するステップは、トレーニングされた系列メモリを適用するステップを備える、請求項２１に記載の方法。
【請求項２４】
前記第１の領域は、前記階層型人工ニューラル・ネットワークの前記階層内の前記第２の領域および前記少なくとも１つの追加の領域の下方に位置する、請求項２１に記載の方法。
【請求項２５】
前記応答を前記調節するステップは、前記第１の領域において１つ以上のニューロンの前記活性を持続させるステップを備える、請求項２１に記載の方法。
【国際調査報告】
2020532013.tif 000010
2020532013.tif 000011
2020532013.tif 000012