(57)【要約】  イベントの論理的な原因が、因果顕著性に少なくとも部分的に基づいて決定される、因果学習のための方法および装置が提供される。因果学習のための１つの例示的な方法は、一般に、装置を用いて１つまたは複数のイベントを観測することと、ここにおいて、イベントは特定の相対的な時間に発生するものとして定義される、１つまたは複数の基準に基づいてイベントのサブセットを選択することと、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定することとを含む。【選択図】図７
2016539407.tif 000002
【特許請求の範囲】
【請求項１】
因果学習のための方法であって、
装置を用いて１つまたは複数のイベントを観測すること、ここにおいて、前記イベントは、特定の相対的な時間に発生するものとして定義される、と、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を備える、方法。
【請求項２】
前記基準は、あるイベントが他のイベントよりも目立つ程度として定義された因果顕著性を備える、
請求項１に記載の方法。
【請求項３】
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
請求項２に記載の方法。
【請求項４】
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
請求項１に記載の方法。
【請求項５】
前記選択することは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることを備える、
請求項１に記載の方法。
【請求項６】
前記最も重要なイベントをメモリに記憶することをさらに備える、
請求項５に記載の方法。
【請求項７】
前記観測することは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
を備える、請求項１に記載の方法。
【請求項８】
前記方法は、推論学習が可能な人工神経系に実装される、
請求項１に記載の方法。
【請求項９】
前記選択することと、新たなイベントが観測されるかどうかを決定する前記こととを繰り返すことをさらに備える、
請求項１に記載の方法。
【請求項１０】
前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測することをさらに備える、
請求項１に記載の方法。
【請求項１１】
因果学習のための装置であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、装置。
【請求項１２】
前記基準は、あるイベントが他のイベントよりも目立つ程度として定義された因果顕著性を備える、
請求項１１に記載の装置。
【請求項１３】
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
請求項１２に記載の装置。
【請求項１４】
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
請求項１１に記載の装置。
【請求項１５】
前記処理システムは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることによって、前記イベントの前記サブセットを選択するように構成される、
請求項１１に記載の装置。
【請求項１６】
前記最も重要なイベントが前記メモリに記憶される、請求項１５に記載の装置。
【請求項１７】
前記処理システムは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
によって前記１つまたは複数のイベントを観測することを行うように構成される、請求項１１に記載の装置。
【請求項１８】
前記装置は、推論学習が可能な人工神経系の一部である、
請求項１１に記載の装置。
【請求項１９】
前記処理システムは、前記選択することと、新たなイベントが観測されるかどうかを前記決定することとを繰り返すようにさらに構成される、
請求項１１に記載の装置。
【請求項２０】
前記処理システムは、前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測するようにさらに構成される、
請求項１１に記載の装置。
【請求項２１】
因果学習のための装置であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測するための手段と、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択するための手段と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定するための手段と
を備える、装置。
【請求項２２】
因果学習のためのコンピュータプログラム製品であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うためのコードを有する非一時的コンピュータ可読媒体を備える、
コンピュータプログラム製品。
【発明の詳細な説明】
【米国特許法第１１９条による優先権の主張】
【０００１】
[0001]本出願は、２０１３年１０月２９日に出願された米国仮特許出願第６１／８９７，０２４号、および２０１４年１月２１日に出願された米国特許出願第１４／１６０，１２８号の利益を主張し、その両方は、参照により全体が本明細書に組み込まれる。
【技術分野】
【０００２】
[0002]本開示のいくつかの態様は、一般に学習システム（たとえば、人工神経系）に関し、より詳細には、因果顕著性（causal saliency）を使用してイベントの論理的な原因を決定することに関する。
【背景技術】
【０００３】
[0003]人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークが観測から機能を推論することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による機能の設計を面倒にする適用例において、特に有用である。
【０００４】
[0004]１つのタイプの人工ニューラルネットワークはスパイキングニューラルネットワークであり、これは、それの動作モデルならびにニューロンおよびシナプスの状態に時間の概念を組み込み、それによって、ニューラルネットワークにおける計算機能の発生元となり得る挙動の豊かなセットを提供する。スパイキングニューラルネットワークは、ニューロンがニューロンの状態に基づいて特定の（１つまたは複数の）時間に発火する、または「スパイクする」という概念、および時間がニューロン機能にとって重要であるという概念に基づく。ニューロンが発火するとき、そのニューロンは、他のニューロンに進むスパイクを生成し、他のニューロンは、今度は、このスパイクが受信された時間に基づいてそれらの状態を調整することができる。言い換えれば、ニューラルネットワークにおけるスパイクの相対的タイミングまたは絶対的タイミングで情報が符号化され得る。
【発明の概要】
【０００５】
[0005]本開示のいくつかの態様は、一般に、因果顕著性を使用してイベントの論理的な原因を決定することを通じた推論学習に関する。
【０００６】
[0006]本開示のいくつかの態様は、因果学習のための方法を提供する。本方法は、一般に、装置を用いて１つまたは複数のイベントを観測することと、ここにおいて、イベントは特定の相対的な時間に発生するものとして定義される、１つまたは複数の基準に基づいてイベントのサブセットを選択することと、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定することとを含む。
【０００７】
[0007]本開示のいくつかの態様は、因果学習のための装置を提供する。本装置は、一般に、処理システムと、処理システムに結合されたメモリとを含む。本処理システムは、典型的に、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測して、１つまたは複数の基準に基づいてイベントのサブセットを選択して、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するように構成される。
【０００８】
[0008]本開示のいくつかの態様は、因果学習のための装置を提供する。本装置は、一般に、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測するための手段と、１つまたは複数の基準に基づいてイベントのサブセットを選択するための手段と、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するための手段とを含む。
【０００９】
[0009]本開示のいくつかの態様は、因果学習のためのコンピュータプログラム製品を提供する。本コンピュータプログラム製品は、一般に、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測して、１つまたは複数の基準に基づいてイベントのサブセットを選択して、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するためのコードを有する非一時的コンピュータ可読媒体（たとえば、ストレージデバイス）を含む。
【図面の簡単な説明】
【００１０】
[0010]本開示の上述の特徴が詳細に理解され得るように、添付の図面にその一部が示される態様を参照することによって、上記で簡単に要約された内容のより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なされるべきではないことに留意されたい。
【図１】本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。
【図２】本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の例示的な処理ユニット（ニューロン）を示す図。
【図３】本開示のいくつかの態様による例示的なスパイクタイミング依存可塑性（ＳＴＤＰ）曲線を示す図。
【図４】本開示のいくつかの態様による、ニューロンの挙動を定義するための正レジームと負レジームとを示す、人工ニューロンに関する状態の例示的なグラフ。
【図５】本開示のいくつかの態様による、予測関係推論に関する２つの異なる観点を示す図。
【図６】本開示のいくつかの態様による、他の保存されたイベントと比較して、相対的な時間スケールで関連しているイベントを示す図。
【図７】本開示のいくつかの態様による、因果顕著性を使用した例示的な学習方法を示す図。
【図８】本開示のいくつかの態様による、相関的論理的因果関係の形式を示す図。
【図９】本開示のいくつかの態様による、相関的時間的関係をブートストラップすることによって論理的な表現を決定することを示す図。
【図１０】本開示のいくつかの態様による、例示的な因果顕著性因果推論学習モデルのブロック図。
【図１１】本開示のいくつかの態様による、因果学習のための例示的な動作の流れ図。
【図１１Ａ】図１１に示す動作を実行することが可能な例示的な手段を示す図。
【図１２】本開示のいくつかの態様による、汎用プロセッサを使用した因果学習のための例示的な実装形態を示す図。
【図１３】本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得る因果学習のための例示的な実装形態を示す図。
【図１４】本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいた因果学習のための例示的な実装形態を示す図。
【図１５】本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
【発明を実施するための形態】
【００１１】
[0027]添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示される任意の特定の構造または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１２】
[0028]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
【００１３】
[0029]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。  
例示的なニューラルシステム
【００１４】
[0030]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を備え得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的なニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じレイヤの他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前のレイヤのニューロンに戻る形で結合し得る。
【００１５】
[0031]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンへの入力（たとえば、入力電流）を表し得る。そのような入力は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。そのような挙動は、アナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。
【００１６】
[0032]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的で、全か無かの神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の態様（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数（またはスパイクの時間）によってのみ表される。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および１つまたは複数の他のスパイクに対するスパイクの時間によって決定される。
【００１７】
[0033]図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロン（シナプス１０４に対するシナプス前ニューロン）から出力信号（すなわち、スパイク）を受信し得る。いくつかの態様では、これらの信号は、調整可能なシナプス重み
【００１８】
【数１】
2016539407.tif 000003
【００１９】
（ここでＰは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従ってスケーリングされ得る。他の態様では、シナプス１０４は、いかなるシナプス重みをも適用しないことがある。さらに、（スケーリングされた）信号は、レベル１０６における各ニューロン（シナプス１０４に対するシナプス後ニューロン）の入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
【００２０】
[0034]生物学的シナプスは、電気シナプスまたは化学シナプスのいずれに分類され得る。電気シナプスは、興奮性信号を送るために主に使用される一方、化学シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすこともできる。興奮性信号は通常、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
【００２１】
[0035]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロン（またはニューロンモデル）は、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
【００２２】
[0036]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模なニューラルシステムハードウェア実装形態の実装が実用的になり得る。
【００２３】
[0037]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
【００２４】
[0038]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、人工ニューロン２０２）の一例２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号２０４1〜２０４N（ｘ1〜ｘN）を受信し得る。入力信号は、電流または電圧、実数値または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６１〜２０６Ｎ（ｗ1〜ｗN）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。
【００２５】
[0039]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流または電圧、実数値または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。
【００２６】
[0040]処理ユニット（ニューロン２０２）は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつワイヤによってエミュレートされ得る。処理ユニット、それの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニットはまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニットはアナログ電気回路を備え得る。別の態様では、処理ユニットはデジタル電気回路を備え得る。さらに別の態様では、処理ユニットは、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路を備え得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを備え得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
【００２７】
[0041]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み
【００２８】
【数２】
2016539407.tif 000004
【００２９】
および／または図２の重み２０６1〜２０６N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールのいくつかの例として、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則などがある。非常に多くの場合、重みは、２つの値のうちの１つに安定し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重み当たりのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力消費量を低減し得る。  
シナプスタイプ
【００３０】
[0042]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）と、可塑性シナプス（重みが変化し得る）と、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）と、完全可塑性シナプス（重み、遅延および結合性が変化し得る）と、それの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること（またはそのような機能が完了するのを待つこと）を必要とし得ない。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスすることになる。
【００３１】
[0043]また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得るので、構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）でも実行され得る。代替的に、それは、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大限に達するのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。  
シナプス可塑性の決定
【００３２】
[0044]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
【００３３】
[0045]ＳＴＤＰは、脳内の場合のようなニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。対照的に、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がゼロまたはゼロの近くまで低減されるまで、このプロセスは続く。
【００３４】
[0046]ニューロンは一般に出力スパイクを、それの入力の多くが短い期間内に生じる（すなわち、出力をもたらすのに十分に累積している）ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関指示を提供する入力は結局、ニューロンへの最終入力となる。
【００３５】
[0047]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔpreとシナプス後ニューロンのスパイク時間ｔpostとの間の時間差（すなわち、ｔ＝ｔpost−ｔpre）に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。
【００３６】
[0048]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
【００３７】
【数３】
2016539407.tif 000005
【００３８】
ここで、ｋ+およびｋ-はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ+およびａ-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。
【００３９】
[0049]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的なグラフ３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。
【００４０】
[0050]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、レイヤｉ−１（シナプス前のレイヤ）からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、入力は、スパイクまたはパルスを備える特定の持続時間のフレームの形態である）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。  
ニューロンモデルおよび演算
【００４１】
[0051]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある。すなわち、入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最後に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解を有することができ、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動を有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
【００４２】
[0052]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与（ある場合）とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
【００４３】
[0053]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧νn（ｔ）によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
【００４４】
【数４】
2016539407.tif 000006
【００４５】
ここでαおよびβはパラメータであり、ｗm,nは、シナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙm（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。
【００４６】
[0054]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値νtとピークスパイク電圧νpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための１対の微分方程式、すなわち、
【００４７】
【数５】
2016539407.tif 000007
【００４８】
によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでνは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位νの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位νのしきい値下変動に対する復元変数ｕの感度を記述するパラメータであり、νrは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはν＞νpeakのときにスパイクすると定義される。  
Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄモデル
【００４９】
[0055]Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、時間定数（および結合）はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
【００５０】
[0056]図４に示すように、モデルのダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負レジーム４０２（リーキー積分発火（ＬＩＦ）ニューロンモデルと混同されないように互換的にＬＩＦレジームとも呼ばれる）および正レジーム４０４（反リーキー積分発火（ＡＬＩＦ）ニューロンモデルと混同されないように互換的にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ν-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（νs）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
【００５１】
[0057]線形二重レジーム２次元ダイナミクス（状態νおよびｕの場合）は、慣例により次のように定義され得る。
【００５２】
【数６】
2016539407.tif 000008
【００５３】
ここでｑρおよびｒは、結合のための線形変換変数である。
【００５４】
[0058]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。
【００５５】
[0059]モデル状態は、膜電位（電圧）νおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧νがしきい値（ν+）を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。
【００５６】
[0060]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
【００５７】
[0061]２つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
【００５８】
【数７】
2016539407.tif 000009
【００５９】
であり、δ、ε、βおよびν-、ν+はパラメータである。νρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータν-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてν-に減衰することになる。パラメータν+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてν+から離れる傾向となる。
【００６０】
[0062]νおよびｕのためのヌルクラインは、それぞれ変換変数ｑρおよびｒの負によって与えられる。パラメータδは，ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ν-に等しく設定される。パラメータβは、両方のレジームにおいてνヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
【００６１】
[0063]モデルは、電圧νが値νsに達したときにスパイクするように定義される。続いて、状態は通常、（技術的に、スパイク事象と同じ１つのものであり得る）リセット事象でリセットされる。
【００６２】
【数８】
2016539407.tif 000010
【００６３】
ここで、
【００６４】
【数９】
2016539407.tif 000011
【００６５】
およびΔｕはパラメータである。リセット電圧
【００６６】
【数１０】
2016539407.tif 000012
【００６７】
は通常、ν-にセットされる。
【００６８】
[0064]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するために必要とされる時間についても、閉形式解が可能である。閉形式状態解は、次の通りである。
【００６９】
【数１１】
2016539407.tif 000013
【００７０】
[0065]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。
【００７１】
[0066]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ν0を踏まえ、電圧状態νfに到達するまでの時間遅延は、次の式によって与えられる。
【００７２】
【数１２】
2016539407.tif 000014
【００７３】
[0067]スパイクが、電圧状態νがνsに到達する時間に生じると定義される場合、電圧が所与の状態νにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次の通りである。
【００７４】
【数１３】
2016539407.tif 000015
【００７５】
ここで、
【００７６】
【数１４】
2016539407.tif 000016
【００７７】
は通常、パラメータν+にセットされるが、他の変形も可能であり得る。
【００７８】
[0068]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（最新の）事象の時間における状態に基づいて定義され得る。
【００７９】
[0069]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を必要とするとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。  
ニューラルコーディング
【００８０】
[0070]図１の人工ニューロン１０２、１０６から構成されるニューラルネットワークモデルなどの有用なニューラルネットワークモデルは、一致コーディング、時間コーディングまたはレートコーディングなど、様々な好適なニューラルコーディング方式のうちのいずれかを介して情報を符号化することができる。一致コーディングでは、情報は、ニューロン集団の活動電位（スパイキング活動）の一致（または時間的近接度）で符号化される。時間コーディングでは、ニューロンは、絶対時間であるか相対時間であるかを問わず、活動電位（すなわち、スパイク）の正確なタイミングを通して情報を符号化する。したがって、情報は、ニューロン集団の間でスパイクの相対的タイミングで符号化され得る。対照的に、レートコーディングは、発火レートまたは集団発火レートでニューラル情報をコーディングすることを伴う。
【００８１】
[0071]ニューロンモデルは、時間コーディングを実行し得る場合、（レートは単に、タイミングまたはスパイク間の間隔の関数であるので）レートコーディングも実行し得る。時間コーディングを行うために、良いニューロンモデルは２つの要素を有する必要がある。すなわち、（１）入力の到着時間は出力時間に影響を与え、（２）一致検出は狭い時間ウィンドウを有し得る。時間パターンの要素を適切に遅延させることによって、要素はタイミング一致に組み込まれ得るので、結合遅延は、一致検出を時間パターン復号に拡大するための１つの手段を提供する。  
到着時間
【００８２】
[0072]良いニューロンモデルでは、入力の到着の時間は、出力の時間に影響を与えるはずである。シナプス入力は、ディラックのデルタ関数であるか、成形シナプス後電位（ＰＳＰ：shaped post-synaptic potential）であるかを問わず、興奮性（ＥＰＳＰ）であるか、抑制性（ＩＰＳＰ）であるかを問わず、到着時間（たとえば、デルタ関数またはステップもしくは他の入力関数の開始もしくはピークの時間）を有し、これは入力時間と呼ばれ得る。ニューロン出力（すなわち、スパイク）は、（細胞体、軸索に沿ったポイント、または軸索の端部など、どこで測定される場合でも）発生の時間を有し、これは出力時間と呼ばれ得る。出力時間は、スパイクのピークの時間、スパイクの開始の時間、または出力波形に関係する任意の他の時間であり得る。支配的原理は、出力時間が入力時間に依存することである。
【００８３】
[0073]一見したところ、すべてのニューロンモデルがこの原理に従うと思われるかもしれないが、これは一般には当てはまらない。たとえば、レートベースのモデルは、この特徴を有しない。多くのスパイキングモデルも、一般には適合しない。リーキー積分発火（ＬＩＦ）モデルは、（しきい値を越えて）追加の入力がある場合にさらに速く発火することはない。その上、非常に高いタイミング分解能でモデル化された場合に適合する可能性があるモデルは多くの場合、タイミング分解能がたとえば１ｍｓのステップに限定されているときに適合しない。  
入力
【００８４】
[0074]ニューロンモデルへの入力はディラックのデルタ関数、たとえば電流としての入力または伝導性ベースの入力を含み得る。後者の場合、ニューロン状態への寄与は連続的または状況依存的であり得る。  
例示的な因果顕著性因果推論学習
【００８５】
[0075]因果推論を学習するためのシステムへの典型的なアプローチは、以下の限定のうちの１つまたは複数を有する。第１に、関係はイベントＡからイベントＢへの因果関係のペアワイズメトリックの形式に限定される（たとえば、植物は、日光がある場合に成長する可能性がより高い場合がある）。したがって、たとえランダム性がほとんどまたはまったくない可能性があっても、メトリックは限定され、典型的に統計的である。第２に、関係は、時間的トレースなどによって、時間に任意に限定され、典型的に、因果関係は限られた時間的範囲を有し、そのイベントは、単に時間的近接性のために、より因果的に関連すると仮定する。たとえ仮定が保持し得る場合でも、時間スパンはシステムパラメータであり、学習されない。第３に、関係の組合せは、部分的に上記の問題の結果として、限られたスケーラビリティを有する。イベントの数が増加して時間範囲が増加すると、イベントの組合せの数は、扱いにくく（intractable）なる。
【００８６】
[0076]本開示のいくつかの態様は、イベントの時間を区別することと、最も早い原因を推論することと、因果顕著性の概念を使用することによって限られたワーキングメモリを使用することが可能なスケーラブルフレームワークを提供しながら、論理的な原因（ペアワイズ原因だけではなく）を決定することとの組合せによって、上記のすべてを克服する。本開示のいくつかの態様は、人工神経系における学習に適用し得る。しかしながら、本開示の態様は、任意の適切な学習システムに有効である。
【００８７】
[0077]因果推論のグラフィカルな方法は、典型的に、概念的なイベントを表すノードのグラフを含む。各ノード（頂点）は、方向エッジによって他のすべてのノードに接続される。Ｎ個の可能なイベント（Ｎ個のノードによって表される）がある場合、２Ｎ2に向けられたエッジがある。各エッジは、ソースノード（原因）が宛先ノードに因果的に関係すると考えられる程度を反映する、関連付けられる因果メトリック（たとえば、グレンジャーの因果測定）を有する。因果推論（帰納的推論の一種）の方法は、典型的に、因果メトリックを学習するために使用される。しかし、メトリックは、イベント間の時間的関係に依存し、また典型的に、イベント間の因果関係は、あらかじめ定められた時間にわたってのみ考慮される（たとえば、いくつかの時間トレースまたは有効性の減衰に基づいて）。そうでなければ、イベントペアの組合せの数は扱いにくくなる。しかし、これは因果メトリックの意義を限定する。
【００８８】
[0078]典型的に、過去のイベントの重要性は、特定のあらかじめ定められた時定数で減衰する値によって決定される。その結果、因果関係メトリックは、因果関係を時間における近接性と混同する（すなわち、区別不可能になる）。次に、異なる時間スパンのためのエッジを確かに追加し得るが、無限数だけが、すべての時間差を説明し得る。減衰関連の概念が保持される場合、それぞれが異なる時定数を有し、異なる量によって、および時間スパンごとに２Ｎ2だけより多くのエッジを費やして、因果関係と時間の近接性との間の区別を依然として曖昧にする、時間スパンの有限数を考慮し得る。
【００８９】
[0079]さらに、グレンジャーの因果関係などの因果関係の典型的なメトリクスは、統計的な測定である。基本的に、それが将来のイベントの発生に関する統計的に有意な情報を提供する場合、将来のイベントをグレンジャー−発生させる（Granger-cause）ために、１つのイベントが考慮される。しかしながら、一般に、将来の結果には複数の原因がある（たとえば、植物は、日光と水はあるが害虫がいない場合に成長する）。各要因は統計的に寄与し、他のすべてを無視するが、それらの統計は、人間がいつでも容易に行う基本的な決定論的論理推論を考慮しない。実際、観測にはランダム性がまったくない場合がある。２つのノード間の所与の方向にエッジが１つしかない場合、一般的な論理関係を取得することは不可能である。次に、論理的な関係のすべての組合せにエッジを確かに追加し得る。各論理的な関係は最大でＮ個のノードに依存し得、それぞれ２つの可能な結果を考慮するために、それらのソースの約２N個の可能な論理的な組合せ（日光と水がある、日光はあるが水がない．．．）がある。これは、グラフ内の約Ｎ2２N+1「エッジ」を示す（複数のソースノードを有するので、もはやエッジがない）。
【００９０】
[0080]要約すると、従来の方法の問題は多種多様である：スケーラビリティの欠如、因果関係と時間的近接性を区別する能力の欠如、およびペアワイズ統計的推論とは対照的に、決定論的または論理的な推論を行う能力の欠如。したがって、人工推論学習のための改良された方法が必要とされている。
【００９１】
[0081]本開示のいくつかの態様は、因果推論のタスクへの根本的に異なるアプローチを取ることによって、上述の問題を克服する。第１に、本開示のいくつかの態様は、可能な論理的因果推論のために、イベントの比較的小さいサブセットだけを考慮する。いくつかの態様の重要な要素は、どのイベントを考慮するかを選択する方法である。さらに、本開示のいくつかの態様は、別のイベントに関する統計的に有意な情報を提供する最も早いイベントを、最も重要（すなわち、貴重）であると考える。その差は、以下の順序、Ａ、Ｂ、Ｃ、Ｄで繰り返し観測された４つのイベントの例で説明され得る。予測関係推論に関する２つの観点が図５に示されている。上の図５００は、次を「引き起こす」各イベントの古典的なビューを示している。しかしながら、本開示のいくつかの態様において考えられる代替の視点が、下の図５１０に示されている：後続のイベントのすべてを予測し得るので、第１のイベントは最も貴重である。追加情報がなく、限られたワーキングメモリを有するので、最も貴重なイベントをメモリ内に保持するよう動機付けされ得る。本開示のいくつかの態様において考えられる視点は、この情報を提供する。
【００９２】
[0082]第２に、本開示のいくつかの態様は、個々のイベントを、従来の概念的な意味のイベント（すなわち、発生）、ならびにイベントの時間的フレームワークの両方を備えるものとして考える。言い換えれば、イベントは、何が起きたかによってだけではなく、相対的に言ってそのイベントがいつ発生したかによって定義されるべきである。その結果、異なる時間のイベントは、異なるイベントである。したがって、図８の相関的時間的関係図８００に示されるように、一般性を失うことなしに、因果関係は、イベント「時間−ｔでのＡ」がイベント「時間０でのＢ」を引き起こすと学習され得る。−ｔでイベントＡ→イベントＢの形式の相関的時間的ペアワイズマップを学習することは、無制限のワーキングメモリを使用して、およびこの相関学習に相対時間を組み込んで、実行され得る。さらに、そのような時間ｔは対数的に表され得る。この時間ｔが大きいほど、所望され得る精度がより低い。
【００９３】
[0083]植物に水をやるだけの動作は、この意味でのイベントではない。植物が３日前に水やりされた場合、現在はイベントに関連付けられる時間的フレームワークがあるので、それはイベントである。次に、植物が毎日水やりされている可能性があり、それぞれは別々のイベントである。このスケーラビリティ問題の解決策は、本開示のいくつかの態様によって提供される。イベントのどのサブセットを考慮するか選択することである。それらのイベントは、他の保持されたイベントと比較して、相対的な時間スケールで関連する。
【００９４】
[0084]たとえば、図６に示されるように、プロット６００に示される時間に発生する４つのイベントＡ、Ｂ、Ｃ、およびＤを考える。図６はまた、図６１０において、第１のイベントＡと他のイベントとの間で考えられる時間的関係を示している。イベントＢに関する予測統計情報は、過去の相対的な時間ｔ1−ｔ0でイベントＡによって与えられる（イベントＢの時間を０または「今」と考えることは、相対的なイベントＡが−（ｔ1−ｔ0）であったことを意味する）。図６１０はまた、他のイベント（Ｃ、Ｄ）のための相対的なイベントＡは、イベントＡが過去の異なる相対的な時間に発生しているので、異なることを示している。
【００９５】
[0085]いくつかの態様によれば、因果顕著性、再発、独自性、または希少性、および／あるいは時間的近接性などの、様々な適切な基準のいずれか（または、それらの組合せ）に基づいて、考慮するためにイベントのサブセットが選択される。本明細書で使用される場合、「因果顕著性」は、一般に、因果推論の観点から、あるイベントが他のイベントよりも目立つ程度を指す。たとえば、予測不可能なイベントが発生した場合、それは予想通りに発生するイベントよりも因果顕著性があると考えられ得る。予測不可能なイベントが頻繁に発生すれば発生するほど、それは因果顕著性がより顕著になり得る。さらに、イベントの発生がより最近であるほど、そのイベントはより顕著であると考えられるが、新しさは必ずしも他の因果顕著性要因に勝るとは限らない。発生すると予測されたイベントの失敗もまた、潜在的に因果顕著性のあるイベントである：特定の時間、または特定の期間中の発生がない。予測されたイベントの失敗に、同じ要因を適用し得る。
【００９６】
[0086]関係は、すべてのイベントではなく、因果顕著性のあるイベント間で、また、それらの発生の間の時間とは無関係に考えられる可能性が最も高い場合がある。イベントの因果顕著性は、学習された因果関係の現在の状態によって決定される（たとえば、推論される）可能性が最も高い。限られた数の、最も因果顕著性のあるイベントは、まだ発生していないイベントとの関係のために考慮されるべきワーキングメモリにおそらく保持され得る。ワーキングメモリを限定することによって、最も因果顕著性のあるイベント間の因果関係を考慮しながら、スケーラビリティが達成され得る。
【００９７】
[0087]繰返しイベントシーケンスＡ、Ｂ、Ｃで提示されると、典型的なアプローチは、Ａ→ＢおよびＢ→Ｃの関係を学習することであり得る。これとは対照的に、本開示のいくつかの態様は、関係Ａ→ＢおよびＡ→Ｃを考慮する。実際には、限られたワーキングメモリを与えられた場合、システムは、２つの理由からイベントＡの前にイベントＢを廃棄する（たとえば、忘れる）可能性が最も高い。第１に、イベントＢはイベントＣに関する予測値がより低い（すなわち、イベントＡは、イベントＢが予測できるよりも早く、イベントＣを予測することができる）。第２に、イベントＡは予測不可能であり、したがって予測可能であるイベントＢよりもより顕著である。
【００９８】
[0088]学習を開始すると、予測可能イベントがほとんどまたはまったくない場合があり、また、一度に考えられ得るイベントのサブセットに制約を与えられると、サブセットは、時間的近接性、再発率によって、またはランダムに、より多く決定され得る。因果学習が進むにつれて、より多くのイベントが予測可能になり、近接した時間関係がより少なく、発生頻度がより少ないイベントも同様に、または以前よりも考えられ得る。任意の時点で検討中のイベントのサブセットは、次のレベルの学習のために特定の関連があるイベントであり得る点にも留意されたい。
【００９９】
[0089]図８の論理的時間関係図８１０によって示されるように、関係は、決定論的な論理的関係（たとえば、論理的な表現８１２）が学習され得るように、論理的な構造を有する必要がある（たとえば、植物は、日光と水はあるが害虫がいない場合に成長する）。いくつかの態様によれば、構造化された因果関係マップは、図９に示されるように、イベント９０２のペアワイズ相関的マップ９００を使用してブートストラップされ得る。このブートストラップは、後続の観測について学習するための候補の論理構造を作成し得る。論理的な関係は、一般的な時間計算原理を利用する線形システムを使用して学習され得る。
【０１００】
[0090]現実世界の観測は、しばしば科学において、連続した時系列（または、定期的にサンプリングされた時系列）によって表される。しかしながら、人々はイベントの観点で物事を考える（たとえば、株式は月曜日に上がる、またはツリーは夜に落ちる）。この意味で、人は連続変数よりもむしろ離散イベントのことを考えることができ、また、人はこれらのイベントを時間の可変フレームワークにおいて考えることができる。時間のそのフレームワークの解像度は、過去に対数的に拡張し得る（たとえば、１年前または１日前に種子が植えられた）。
【０１０１】
[0091]基本的に、本開示のいくつかの態様によれば、任意の連続的な時系列は、それぞれが関連する時間的フレームワークを有する、１つまたは複数のイベントに変換され得る。これは、時間的スパイクタイミング学習、または機械学習方法などの、特徴学習によって達成され得る。重要なことは、離散イベントへの連続入力の疎化（sparsification）である。
【０１０２】
[0092]いくつかの態様によれば、行われた因果推論を調べることによって、因果関係の一般化が見つけられ得る。２つのイベントが第３のイベントへの同一または実質的に同一の因果論理的関係を有する場合、システムは、２つのイベントを１つのクラスに属するものとして一般化し得る。結果として、またはこの仮説をテストするために、クラスイベントが追加され得る。そのクラスに属するイベントが発生するたびに、クラスイベントは、学習メカニズムの点で特定のイベントと同様に考えられる。
【０１０３】
[0093]一般化のこの態様はまた、質問を尋ねることと積極的な介入とを含む、インタラクティブ学習に関連する。質問は、学習された関係を調べることに（特定のイベント間か、またはクラスイベント間か）よって生成され得る。事実上、これは、ＸおよびＹがＺを引き起こすなどの、特定のパターンに適合する入力を要求することに相当し、ここでＸおよびＺはＹによって指定されることは不明／フリー（unknown/free）である。代替で、これは、ＸおよびＹがＺを引き起こす何らかの証拠が存在するかどうか、またはＸおよびＹはかつて同じ時間フレーム内で観測されたかどうかなどの、特定のパターンまたはインスタンスに準拠した入力の任意の例があるかどうかを尋ねることに相当し得る。本開示のいくつかの態様の文脈において、イベントは、このタイプのクエリを策定することを可能にする、関連する相対的な時間フレームを有することを想起されたい。一部のイベントはまた、（人工神経）システム、人工ニューロン、および他の装置自体によって生成された内部または外部動作であり得る。この場合、これらのイベントは変更され得る。本装置は、仮説をテストするために、または特定のイベントが発生した場合、あるいは発生しなかった場合に何が起こるかを効果的に尋ねるために、将来のシーケンスに介入し得る。いくつかの態様によれば、そのような仮説は、潜在的な、または決定された一般化に基づいて開発され得る。同様の因果関係または置換は可能なクラスを示唆し、１つの関係のクラスは、クラスメンバーと共通の別の因果関係にも適合するメンバーイベントを示唆するなど、インタラクティブ学習のための候補である。したがって、一般化はインタラクションまたは介入のための基礎を提供し、その後の入力はさらなる一般化のための基礎を提供する。
【０１０４】
[0094]図７は、本開示のいくつかの態様による、因果顕著性を使用した例示的な学習プロセス７００を示している。本明細書で定義されるように、７１０で、連続する、またはサンプリングされた入力信号は、イベントに変換され得る。７２０で、イベントのサブセットが、因果顕著性に少なくとも部分的に基づいて選択され得る。７３０で、上述のようにイベント間の論理的関係を一般的に指す因果マップを生成するために、因果推論学習がイベントのサブセット上で実行され得る。上記のように、いくつかの態様では、インタラクティブ学習は７４０でも実行され得る。
【０１０５】
[0095]イベントが発生するたびに、この例における基本的な学習方法が以下のように実行される：（１）すべての現在因果顕著性のあるイベントを含む、増強された因果的に関連するイベントのサブセット、および制約がある場合、最も因果的に関係がある非現在のイベントを決定する；（２）増強された因果的に関連するイベントサブセットと、発生するイベントとの因果学習を決定する；（３）因果顕著性（発生するイベントの予測可能性）、時間的近接性、独自性、および再発を決定する；ならびに、（４）制約がある場合、新しい現在の因果顕著性のあるイベントサブセット制約を決定して、現在のイベントの時間的フレームワークを更新する（たとえば、対数スケール上で）。
【０１０６】
[0096]例示的なイベント学習および変換方法は、基本的に以下を含む：（１）連続する、またはサンプリングされた入力における時間的パターンを学習すること；および、（２）入力における学習された時間的パターンを検出して、それらのパターンの発生と関連するようなイベントの発生を決定すること。
【０１０７】
[0097]インタラクティブ方法は、イベントが発生するたびに、定期的に実行し得、そうでなければスケジューリングされて、以下を含み得る：（１）原因が共通に分類され（一般化され）得るかどうかを確認するために、異なる原因のために同じ結果を有する学習論理関係を比較する；および、（２）候補の一般化を確認または反論するために追加の入力を探すために、テンプレート（質問または介入）を策定する（たとえば、７４０で）。
【０１０８】
[0098]また、オプションとして、本開示のいくつかの態様は、イベントがノードによって表されないフレームワークを考慮する。むしろ、イベントはコードによって表現され得る（たとえば、空間符号化ではなく集団符号化）。
【０１０９】
[0099]図１０の例示的な因果顕著性因果推論学習モデル１０００に示されるように、完全に開発されたシステムは、以下の概念的構成要素を含み得る：因果顕著性機能１００２、イベントのサブセットを選択するためのイベント選択機能１００３、フラットな時間的ペアワイズ（相関的）マップ（相関的時間的関係長期メモリ１００４に記憶され得る）、論理構造（因果）マップ（論理的時間的関係長期メモリ１００６に記憶され得る）、因果推論機能１００８、イベントを記憶するためのワーキングメモリ１０１０と、およびブートストラップ機能１０１２。これらの構成要素は、上述のようにともに動作し得る。たとえば、構造化された因果関係マップは、相関的時間的関係長期メモリ１００４に記憶されたイベントのフラットな時間的ペアワイズ（相関的）マップを使用して、ブートストラップ機能１０１２によってブートストラップされ得る。このブートストラップは、後続の観測について学習するための候補の論理構造を作成し得、そのような論理構造マップは、論理的時間的関係長期メモリ１００６に記憶され得る。  
前方および後方論理確率と論理表を生成する方法
【０１１０】
[0100]本開示のいくつかの態様は、イベント間の論理的因果関係を決定するための方法および装置を提供する。前方および後方論理確率を生成するための１つの例示的な方法を以下で説明する。
【０１１１】
[0101]イベントｅをペア〈ε，τ〉とし、ここでεはイベントタイプであり、τはイベントの相対時間（非正の数）である。以下のようにスカラｘへのマッピングがあるものとする：  
ｘ＝ｆ（ｅ）  
[0102]ワーキングメモリＷをイベントのセットとする。構造Ｓ（ｅ，Ｃ）を、結果イベントｅと、２K個の組合せを有するＫ個の可能な原因イベントのセットＣとの間の関係として定義されるものとする。後方構造Ｓb（ｅ，Ｃ）を、  
【０１１２】
【数１５】
2016539407.tif 000017
【０１１３】
によって与えられるエントリｊへのマッピングを有する２K個のエントリを有するベクトルとして定義されるものとし、上式で、
【０１１４】
【数１６】
2016539407.tif 000018
【０１１５】
は、発生した（すなわち、真の）可能な原因イベントの組合せである。現時点で発生する性質により、定義により〈ε，０〉であるイベントｅの時、ベクトルＳb（ｅ，Ｃ）のエントリｋをインクリメントさせ、ここで、
ｋ＝ｇ（Ｃ∩Ｗ）
である。
【０１１６】
[0103]前方構造Ｓf（ｅ，Ｃ）を、後方構造と同じマッピングｇを有する２K+1個のエントリを有するベクトルとして定義されるものとする。ワーキングメモリに含まれ、０の現在の相対時間を反映するためにワーキングメモリ内のすべてのイベントのτが更新されたイベントｅの時、Ａはセット  
Ａ＝Ｃ∪〈ε，０〉  
とする。
【０１１７】
[0104]エントリｌを  
ｌ＝ｇ（Ａ∩Ｗ）  
として定義されるものとし、Ｓf（ｅ，Ｃ）のエントリｌをインクリメントさせる。エントリｚを  
ｚ＝ｇ（φ）  
として定義されるものとする。
【０１１８】
[0105]そのエントリの値は非ゼロＳf（ｅ，Ｃ）エントリの合計を発生したイベントの総数から減算することによって決定され得るので、システムはすべてのＳf（ｅ，Ｃ）のエントリｚを記憶してインクリメントする必要がない。次に、  
【０１１９】
【数１７】
2016539407.tif 000019
【０１２０】
であり、上式で、＋および−は、明示的なセット包含または除外を意味する。上記で、ＳZ（ｅ，Ｃ）（ｉ）は、ＳZ（ｅ，Ｃ）によって表されるベクトルのｉ番目のエントリを指すという慣例を使用し得る。
【０１２１】
[0106]計算上は、後方が１つの結果イベントのためのアクセスベクトルを更新して、前方が、ワーキングメモリとの非ゼロ共通部分集合を有するすべての結果イベントからのアクセスベクトルを更新する。動作は非常に並列化されている（それは、ニューラルネットワークを示唆する）。さらに、情報はベクトルとして記憶される必要はなく、したがって高度に圧縮され得る。
【０１２２】
[0107]上記の実装形態は、集合演算（たとえば、共通部分）と基本的な演算とを含む。結果は、ワーキングメモリコンテンツに依存する。したがって、ワーキングメモリ内の最も因果顕著性のある要素を維持することが重要であり得るが、すべての前のイベントを維持する必要はない。以下のアルゴリズム形式が与えられる：
【０１２３】
【数１８】
2016539407.tif 000020
【０１２４】
[0108]例として、システムが以下の観測（イベントのシーケンス）を有するものとする：  
{ a, b, c }, { a, b, c },  { a, d, c }, { a, e, c }, { a, b, c }, { a, g, d }, { a, g, e }
【０１２５】
[0109]観測後、以下の表に、前方および後方ベクトルについてＣ＝｛＜ａ，−２＞，＜ｂ，−１＞｝およびｅ＝＜ｃ，０＞であるサンプル構造の定義が与えられる。便宜のために、前方ベクトルは、２つのベクトル（ｃ、および非ｃ）に分割される。ストレージまたは表現の実際の方法は重要ではない。  
【０１２６】
【表１】
2016539407.tif 000021
【０１２７】
したがって、たとえば、Ｐ（＜ｃ，０＞｜｛＜ａ，−２＞，＜ｂ，−１＞）＝１であり、Ｐ（＜ｃ，０＞｜｛＜ａ，−２＞，！＜ｂ，−１＞）＝０．５である。  
因果論理的−時間的−イベント推論  
論理的時間的イベント（ＬＴＥ（登録商標））テーブルエントリ
【０１２８】
[0110]（学習した）論理的時間的イベント因果テーブルは、特定の肯定的または否定的な結果イベントの因果イベントの肯定値または否定値の論理的な組合せに対応する行を有する。各エントリは、トリプレットとして表され得、
ｙr,c＝〈φc，Δｔc，ｘr,c〉  
上式で、φcはイベントタイプであり、Δｔcは結果イベントに関連するイベント時間であり、ｘr,cは論理的な値（０／１）である。特定の行は部分的（原因イベントのセット）に以下のように表され得、
【０１２９】
【数１９】
2016539407.tif 000022
【０１３０】
上式で、ｘr,cインデックス付けは、便宜上、行ｊに簡略化簡易化される。イベントは、等間隔の遅延で、または一意の遅延で、必ずしも連続するとは限らない点に留意されたい。たとえば、行は、同じ相対的な時間のための２つのイベントの否定的な論理値を含んでもよく、１ミリ秒の間隔でイベントを含んでいてもよいが、いくつかの不足しているイベント（１ｍｓ毎のオフセットではない）がある。  
論理的時間的イベント（ＬＴＥ）マスク
【０１３１】
[0111]しかしながら、結果は、完全なＬＴＥマップが以下のように表現されるようにその行に関連付けられ得、  
【０１３２】
【数２０】
2016539407.tif 000023
【０１３３】
上式で、最後のｎ番目のエントリが結果であり、慣例により、Δｔn＝０およびｘnは、肯定（１）または否定（０）テーブルインスタンスのいずれかである。行に含まれる情報はまた、論理的時間的な原因イベントを所与とする特定の結果の確率などの少なくとも１つの測定を含み得、したがって、完全な情報はＬＴＥマスクと関連付けられる確率メトリックとのペアで表され得、  
【０１３４】
【数２１】
2016539407.tif 000024
【０１３５】
上式で、Ｐn,rは確率メトリックであり、一般性を失うことなしに、テーブルの別々の行（異なるｒ）として、または別々のテーブル（異なるｎ）から、テーブルの肯定的な結果および否定的な結果インスタンスを考え得る。  
ワーキングメモリ（ＷＭ）
【０１３６】
[0112]ワーキングメモリはまた、以下のようにＬＴＥマスク形式（トリプレットのベクトル）で表され得る：
【０１３７】
【数２２】
2016539407.tif 000025
【０１３８】
上式で、φiはワーキングメモリ内のｉ番目のイベントであり、Δｔiはイベントの相対的な時間であり、ｘiは論理的な値である（ワーキングメモリが、発生しなかったイベントとは対照的に実際に発生したイベントのワーキングメモリである、または両方の場合、典型的には１であり、これはやはり代替案である）。慣例により、Δｔi＝０は現在の時間であり、最後のエントリ（ｎ番目）は発生した最後のイベントであり、Δｔn＝０を有する。
【０１３９】
[0113]ワーキングメモリは、蒸散したすべてのイベント、さらにはいくらかの時間内のすべてのイベントを必ずしも含むとは限らない点に留意されたい。たとえば、不足している非顕著なイベント、または同じ時間の複数のイベントの観測、あるいはイベントが存在しないことの観察があり得る。  
非イベント時間矛盾（ＮＥＴＩ）
【０１４０】
[0114]２つのＬＴＥマスクは、いくつかの方法で、論理イベント時間感覚において非矛盾、または非イベント時間矛盾であると定義され得る。１つの方法は、論理的非矛盾である（すなわち、異なっており、両方が肯定的である、または、同じであり、論理的には同じではない、２つのイベントが同時にない）。数学的に、
【０１４１】
【数２３】
2016539407.tif 000026
【０１４２】
[0115]また、以下のように、チェックが時間シフトΔＴで一貫性を保つためである、時間オフセットＮＥＴＩを定義し得る：
【０１４３】
【数２４】
2016539407.tif 000027
【０１４４】
[0116]アルゴリズムは以下の形式を取り得る：
【０１４５】
【数２５】
2016539407.tif 000028
【０１４６】
[0117]上記のＮＥＴＩは単一のＬＴＥのために定義される。相互に対する２つのＬＴＥマスクの一貫性を調べるために、ＬＴＥマスクＮＥＴＩを以下のように定義し得る：
【０１４７】
【数２６】
2016539407.tif 000029
【０１４８】
上式で、すべてのｉ，ｊの組合せの積は、すべての組合せが確実に非矛盾（ＮＥＴＩ）であることを表す。このＮＥＴＩを行間に、またはワーキングメモリと行との間に、さらには再帰的に使用し得る点に留意されたい。
【０１４９】
[0118]アルゴリズムは以下の形式を取り得る：
【０１５０】
【数２７】
2016539407.tif 000030
【０１５１】
[0119]他のＮＥＴＩは、他の相互排除の原理（たとえば、どのイベントも２つの異なる時間には発生し得ない）のために定義され得る。これは、イベントが肯定的である時間以外は、常に否定的イベント論理と同等である。  
論理的時間的イベント（ＬＴＥ）和集合
【０１５２】
[0120]また、２つ以上のＬＴＥマスクの和集合を以下のように定義し得る。集合の要素がトリプレットであるため、ＬＴＥ和集合は単純な１次元の和集合ではない。これは、入力集合からのすべての一意のトリプレットが和集合結果に含まれることを意味する。トリプレット値（イベントタイプ、イベント時間、または論理値）のいずれかで異なる場合、要素は一意である。
【０１５３】
[0121]ＬＴＥ和集合の例示的なアルゴリズムは以下の通りである：
【０１５４】
【数２８】
2016539407.tif 000031
【０１５５】
【数２９】
2016539407.tif 000032
【０１５６】
の時間オフセットは、和集合
【０１５７】
【数３０】
2016539407.tif 000033
【０１５８】
の第１の入力のオフセットに対応する点に留意されたい。値ΔＴは、
【０１５９】
【数３１】
2016539407.tif 000034
【０１６０】
に適用するための時間オフセットである。
【０１６１】
[0123]慣例により、確率メトリックは、各ＬＴＥマスクに関連付けられ得る。ＬＴＥマスクの和集合のために、機能は、以下のように、各入力マスクの個々の確率メトリックを和集合結果のための１つの出力マスク（別のＬＴＥマスク）に変換するように定義され得る：  
ｐ1U2＝ｈ（ｐ1，ｐ2）  
[0124]論理的時間イベント入力に基づいて結果の条件付き確率としてテーブルエントリ確率を考慮する場合、
【０１６２】
【数３２】
2016539407.tif 000035
【０１６３】
であり、上式で、ｋは結果列であり、
【０１６４】
【数３３】
2016539407.tif 000036
【０１６５】
は入力列である。次いで、和集合のために、
ｈ（ｐ1，ｐ2）＝ｐ1ｐ2  
を有する。  
決定および予測
【０１６６】
[0125]典型的な問題は、何をするべきか、または将来何が起こるのかを決定することである。ワーキングメモリのＬＴＥ和集合、および学習された論理的時間的な時間テーブルからのＬＴＥマスクは解決策を提供する。たとえば、特定の結果の可能性を最大化しようとする決定を行いたいと仮定する。ワーキングメモリと非矛盾（ＮＥＴＩ）である行（ＬＴＥマスク）の、その所望の結果イベントについて、テーブル内のＬＴＥマスクの何が起こったか（ＷＭ）の和集合を取り得る。次いで、最高の確率（ポスト（post）和集合）を有する将来のイベント（決定）を選択し得る。
【０１６７】
[0126]特定の将来の時間に特定のイベントの存在を要求し得る。一次和集合が特定の所望の時間に任意のイベント（たとえば、いくらかの時間内に、ゲームまたは決定において取られるべき次の動き）を示唆しない場合、現在から将来への因果連鎖におけるギャップを埋めるために、２番目またはｎ番目の和集合を考慮し得る。
【０１６８】
[0127]この選択は、人の制御内のイベント（有効なアクション）を条件とされ得る。逆の見方は予測である。結果が起こりそうである、所望される、または目標とされることが知られている場合、和集合結果から次のイベントを予測し得る。さらに、テーブルのいくつかのセット（何らかの所望の結果のための特定のテーブルではない）を考慮することによって、任意の所望の、または起こりそうな結果を仮定することなしに、これを行い得る。  
一次候補ＬＴＥマスク
【０１６９】
[0128]すべてのテーブルの、ワーキングメモリ（ＷＭ）の候補ＬＴＥマスクＣ1、および
【０１７０】
【数３４】
2016539407.tif 000037
【０１７１】
のすべてのＮＥＴＩの組合せを収集し得る。一次候補ＬＴＥマスク
【０１７２】
【数３５】
2016539407.tif 000038
【０１７３】
は、テーブルｎ∈Ｄのセットのワーキングメモリ（ＷＭ）、および
【０１７４】
【数３６】
2016539407.tif 000039
【０１７５】
のＮＥＴＩ和集合として定義され得、上式で、Ｄはテーブルのセット（所望の肯定的または否定的な結果のテーブルなど）である。したがって、以下の式を有する。  
【０１７６】
【数３７】
2016539407.tif 000040
【０１７７】
[0129]Ｃ1を構築するための例示的なアルゴリズムは以下の通りである：  
【０１７８】
【数３８】
2016539407.tif 000041
【０１７９】
上式で、
【０１８０】
【数３９】
2016539407.tif 000042
【０１８１】
はワーキングメモリ（ＷＭ）を示している。
【０１８２】
【数４０】
2016539407.tif 000043
【０１８３】
は同じアルゴリズムで取得され得るが、「所望の」テーブルＤだけを入力する。
【０１８４】
[0130]慣例により、ＬＴＥマスクごと確率メトリックもセットに含まれている。ワーキングメモリ内のイベントが実際にこの時点で起こったため、ワーキングメモリＬＴＥマスクに関連付けられる確率メトリックは、典型的に、ｐ＝１として定義される。しかしながら、これは任意であり、任意の公称値は、すべての一次候補ＬＴＥマスクが同じワーキングメモリＬＴＥとの和集合である場合に使用されて、等価的に補償され得る。  
二次候補ＬＴＥマスク
【０１８５】
[0131]二次候補ＬＴＥマスクを取得するために、一次ＬＴＥマスクと他の一次候補ＬＴＥマスクとの和集合を取り得る。たとえば、２つの一次マスクセットで開始し得る：１つはいくつかの所望のテーブルＤだけを有し、１つは他のすべてのテーブルを有する。二次マスクを取得するために、以下の例のように、前者と後者の和集合を取り得る：
【０１８６】
【数４１】
2016539407.tif 000044
【０１８７】
上式で、Ｃは、たとえば、  
【０１８８】
【数４２】
2016539407.tif 000045
【０１８９】
[0132]これは、以下のようにループに入れられ得る：
【０１９０】
【数４３】
2016539407.tif 000046
【０１９１】
[0133]図１１は、本開示のいくつかの態様による、因果学習のための例示的な動作１１００の流れ図である。いくつかの態様では、動作１１００は人工神経系（推論学習可能な）で実装され得、ハードウェア（ニューロモーフィックプロセッサなどの１つまたは複数のニューラル処理ユニットによる）、ソフトウェア、またはファームウェアで実行され得る。人工神経系は、視覚神経系、聴覚神経系、海馬などのような様々な生物学上または想像上の神経系のうちのいずれかでモデル化され得る。
【０１９２】
[0134]動作１１００は、特定の相対的な時間に発生するものとして定義される１つまたは複数のイベントを観測することによって、１１０２で開始し得る。１１０４で、１つまたは複数の基準に基づいて、イベントのサブセットが選択される。１１０６で、選択されたサブセットに基づいて、イベントのうちの少なくとも１つの論理的な原因が決定される。
【０１９３】
[0135]いくつかの態様によれば、基準は、あるイベントが他のイベントよりも目立つ程度として定義された因果顕著性を含む。いくつかの態様では、予測不可能なイベントが頻繁に起これば起こるほど、予測不可能なイベントは因果顕著性がより顕著になる。基準は、因果顕著性、再発、独自性、または時間的近接性のうちの少なくとも１つを含み得る。
【０１９４】
[0136]いくつかの態様によれば、１１０４で選択することは、イベントのうちの別の１つに関する統計的に有意な情報を提供するイベントのうちの最も早いものを、最も重要なイベントとして考えることを含む。いくつかの態様では、動作１１００は、最も重要なイベントをメモリに記憶することをさらに含み得る。
【０１９５】
[0137]いくつかの態様によれば、１１０２で観測することは、離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、離散ポイントの集合をイベントに変換することとを伴う。
【０１９６】
[0138]いくつかの態様によれば、動作１１００は、選択することと、新たなイベントが観測されるかどうかを決定することとを繰り返すことをさらに含み得る。
【０１９７】
[0139]いくつかの態様によれば、動作１１００は、論理的な原因に基づいて、１つまたは複数の後続のイベントを予測することをさらに含み得る。
【０１９８】
[0140]図１２は、本開示のいくつかの態様による、汎用プロセッサ１２０２を使用して、因果学習のための上述の方法を実行するための構成要素の例示的なブロック図１２００を示している。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリブロック１２０４に記憶され得る一方、汎用プロセッサ１２０２において実行される関連した命令は、プログラムメモリ１２０６からロードされ得る。本開示のある態様では、汎用プロセッサ１２０２にロードされた命令は、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測して、１つまたは複数の基準に基づいてイベントのサブセットを選択して、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するためのコードを備え得る。
【０１９９】
[0141]図１３は、本開示のいくつかの態様による、メモリ１３０２が相互接続ネットワーク１３０４を介して計算ネットワーク（ニューラルネットワーク）の個々の（分散型）処理ユニット（ニューラルプロセッサ）１３０６とインターフェースされ得る因果学習のための上述した方法を実行するための構成要素の例示的なブロック図１３００を示す。計算ネットワーク（ニューラルネットワーク）に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータは、メモリ１３０２に記憶されてよく、相互接続ネットワーク１３０４の接続を介してメモリ１３０２から各処理ユニット（ニューラルプロセッサ）１３０６にロードされ得る。本開示のある態様では、処理ユニット１３０６は、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測して、１つまたは複数の基準に基づいてイベントのサブセットを選択して、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するように構成され得る。
【０２００】
[0142]図１４は、本開示のいくつかの態様による、分散型重みメモリ１４０２および分散型処理ユニット（ニューラルプロセッサ）１４０４に基づいた因果学習のための上述した方法を実行するための構成要素の例示的なブロック図１４００を示す。図１４に示すように、１つのメモリバンク１４０２が、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１４０４と直接インターフェースされてよく、メモリバンク１４０２は、その処理ユニット（ニューラルプロセッサ）１４０４に関連する変数（ニューラル信号）、シナプス重み、および／またはシステムパラメータを記憶することができる。本開示のある態様では、処理ユニット１４０４は、特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測して、１つまたは複数の基準に基づいてイベントのサブセットを選択して、選択されたサブセットに基づいてイベントのうちの少なくとも１つの論理的な原因を決定するように構成され得る。
【０２０１】
[0143]図１５は、本開示のいくつかの態様による、ニューラルネットワーク１５００の例示的な実装形態を示す。図１５に示すように、ニューラルネットワーク１５００は、上述した方法の様々な動作を実行し得る複数のローカル処理ユニット１５０２を備えることができる。各処理ユニット１５０２は、ローカル状態メモリ１５０４と、ニューラルネットワークのパラメータを記憶するローカルパラメータメモリ１５０６とを備えることができる。さらに、処理ユニット１５０２は、ローカル（ニューロン）モデルプログラムを有するメモリ１５０８と、ローカル学習プログラムを有するメモリ１５１０と、ローカル接続メモリ１５１２とを備えることができる。さらに、図１５に示すように、各ローカル処理ユニット１５０２は、ローカル処理ユニットのローカルメモリのための設定を提供し得る設定処理のためのユニット１５１４と、またローカル処理ユニット１５０２間のルーティングを提供するルーティング接続処理要素１５１６とインターフェースされ得る。
【０２０２】
[0144]本開示のいくつかの態様によれば、各ローカル処理ユニット１５０２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定し、決定されたパラメータがさらに適合、調整および更新されることで、１つまたは複数の機能的特徴を所望の機能的特徴に向けて発展させるように構成され得る。
【０２０３】
[0145]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。たとえば、様々な動作は、図１２〜図１５に示す様々なプロセッサのうちの１つまたは複数によって実行され得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図１１に示す動作１１００は、図１１Ａに示す手段１１００Ａに対応する。
【０２０４】
[0146]たとえば、表示するための手段は、ディスプレイ（たとえば、モニタ、フラットスクリーン、タッチスクリーンなど）、プリンタ、または視覚的描写（たとえば、表、チャートもしくはグラフ）のためのデータを出力するための任意の他の好適な手段を含み得る。処理するための手段、観測するための手段、選択するための手段、繰り返すための手段、予測するための手段、または決定するための手段は、１つまたは複数のプロセッサまたは処理ユニットを含み得る、処理システムを備え得る。感知するための手段は、センサーを含み得る。記憶するための手段は、処理システムによってアクセスされ得る、メモリまたは任意の他の好適な記憶デバイス（たとえば、ＲＡＭ）を含み得る。
【０２０５】
[0147]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。また、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。また、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
【０２０６】
[0148]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【０２０７】
[0149]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【０２０８】
[0150]本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例としては、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭ（登録商標）メモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
【０２０９】
[0151]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
【０２１０】
[0152]説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
【０２１１】
[0153]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、例として、ＲＡＭ（ランダムアクセスメモリ）、フラッシュメモリ、ＲＯＭ（読取り専用メモリ）、ＰＲＯＭ（プログラマブル読取り専用メモリ）、ＥＰＲＯＭ（消去可能プログラマブル読取り専用メモリ）、ＥＥＰＲＯＭ（電気消去可能プログラマブル読取り専用メモリ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または任意の他の好適な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
【０２１２】
[0154]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。
【０２１３】
[0155]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。代替的に、処理システムは、プロセッサをもつＡＳＩＣ（特定用途向け集積回路）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部分とを用いて、あるいは１つまたは複数のＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＰＬＤ（プログラマブル論理デバイス）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、もしくは他の好適な回路、または本開示全体にわたって説明した様々な機能を実行し得る回路の任意の組合せを用いて、実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
【０２１４】
[0156]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
【０２１５】
[0157]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０２１６】
[0158]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【０２１７】
[0159]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にデバイスによってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、デバイスが記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
【０２１８】
[0160]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【図１】
2016539407.tif 000047
【図２】
2016539407.tif 000048
【図３】
2016539407.tif 000049
【図４】
2016539407.tif 000050
【図５】
2016539407.tif 000051
【図６】
2016539407.tif 000052
【図７】
2016539407.tif 000053
【図８】
2016539407.tif 000054
【図９】
2016539407.tif 000055
【図１０】
2016539407.tif 000056
【図１１】
2016539407.tif 000057
【図１１Ａ】
2016539407.tif 000058
【図１２】
2016539407.tif 000059
【図１３】
2016539407.tif 000060
【図１４】
2016539407.tif 000061
【図１５】
2016539407.tif 000062
【手続補正書】
【提出日】平成28年7月7日(2016.7.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
推論学習が可能な人工神経系における因果学習のための方法であって、
前記人工神経系の装置を用いて複数のイベントを観測すること、ここにおいて、前記イベントは、特定の相対的な時間に発生するものとして定義される、と、
１つまたは複数の基準に基づいて前記複数のイベントのサブセットを選択すること、ここにおいて、前記１つまたは複数の基準は、前記複数のイベントのうちのあるイベントが前記複数のイベントのうちの他のイベントよりも目立つ程度として定義された因果顕著性を備える、と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を備える、方法。
【請求項２】
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
請求項１に記載の方法。
【請求項３】
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
請求項１に記載の方法。
【請求項４】
前記選択することは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることを備える、
請求項１に記載の方法。
【請求項５】
前記最も重要なイベントをメモリに記憶することをさらに備える、
請求項４に記載の方法。
【請求項６】
前記観測することは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
を備える、請求項１に記載の方法。
【請求項７】
前記選択することと、新たなイベントが観測されるかどうかを前記決定することとを繰り返すことをさらに備える、請求項１に記載の方法。
【請求項８】
前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測することをさらに備える、
請求項１に記載の方法。
【請求項９】
因果学習のための装置であって、前記装置は、推論学習が可能な人工神経系の一部であり、前記装置は、
特定の相対的な時間に発生するものとして定義される、複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記複数のイベントのサブセットを選択すること、ここにおいて、前記１つまたは複数の基準は、前記複数のイベントのうちのあるイベントが前記複数のイベントのうちの他のイベントよりも目立つ程度として定義された因果顕著性を備える、と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、装置。
【請求項１０】
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
請求項９に記載の装置。
【請求項１１】
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
請求項９に記載の装置。
【請求項１２】
前記処理システムは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることによって、前記イベントの前記サブセットを選択するように構成される、
請求項９に記載の装置。
【請求項１３】
前記最も重要なイベントが前記メモリに記憶される、請求項１２に記載の装置。
【請求項１４】
前記処理システムは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
によって前記１つまたは複数のイベントを観測することを行うように構成される、請求項９に記載の装置。
【請求項１５】
前記処理システムは、前記選択することと、新たなイベントが観測されるかどうかを前記決定することとを繰り返すようにさらに構成される、
請求項９に記載の装置。
【請求項１６】
前記処理システムは、前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測するようにさらに構成される、
請求項９に記載の装置。
【請求項１７】
因果学習のための装置であって、
特定の相対的な時間に発生するものとして定義される、複数のイベントを観測するための手段と、
１つまたは複数の基準に基づいて前記複数のイベントのサブセットを選択するための手段、ここにおいて、前記１つまたは複数の基準は、前記複数のイベントのうちのあるイベントが前記複数のイベントのうちの他のイベントよりも目立つ程度として定義された因果顕著性を備える、と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定するための手段と
を備える、装置。
【請求項１８】
因果学習のためのコンピュータ可読媒体であって、
特定の相対的な時間に発生するものとして定義される、複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記複数のイベントのサブセットを選択すること、ここにおいて、前記１つまたは複数の基準は、前記複数のイベントのうちのあるイベントが前記複数のイベントのうちの他のイベントよりも目立つ程度として定義された因果顕著性を備える、と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うためのコードを有する、コンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２１８
【補正方法】変更
【補正の内容】
【０２１８】
[0160]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
因果学習のための方法であって、
装置を用いて１つまたは複数のイベントを観測すること、ここにおいて、前記イベントは、特定の相対的な時間に発生するものとして定義される、と、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を備える、方法。
［Ｃ２］
前記基準は、あるイベントが他のイベントよりも目立つ程度として定義された因果顕著性を備える、
Ｃ１に記載の方法。
［Ｃ３］
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
Ｃ２に記載の方法。
［Ｃ４］
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
Ｃ１に記載の方法。
［Ｃ５］
前記選択することは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることを備える、
Ｃ１に記載の方法。
［Ｃ６］
前記最も重要なイベントをメモリに記憶することをさらに備える、
Ｃ５に記載の方法。
［Ｃ７］
前記観測することは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
を備える、Ｃ１に記載の方法。
［Ｃ８］
前記方法は、推論学習が可能な人工神経系に実装される、
Ｃ１に記載の方法。
［Ｃ９］
前記選択することと、新たなイベントが観測されるかどうかを決定する前記こととを繰り返すことをさらに備える、
Ｃ１に記載の方法。
［Ｃ１０］
前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測することをさらに備える、
Ｃ１に記載の方法。
［Ｃ１１］
因果学習のための装置であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うように構成された処理システムと、
前記処理システムに結合されたメモリと
を備える、装置。
［Ｃ１２］
前記基準は、あるイベントが他のイベントよりも目立つ程度として定義された因果顕著性を備える、
Ｃ１１に記載の装置。
［Ｃ１３］
予測不可能なイベントが頻繁に起これば起こるほど、前記予測不可能なイベントは、因果顕著性がより顕著になる、
Ｃ１２に記載の装置。
［Ｃ１４］
前記基準は、再発、独自性、または時間的近接性のうちの少なくとも１つを備える、
Ｃ１１に記載の装置。
［Ｃ１５］
前記処理システムは、前記イベントのうちの別の１つに関する統計的に有意な情報を提供する前記イベントのうちの最も早いものを、最も重要なイベントとして考えることによって、前記イベントの前記サブセットを選択するように構成される、
Ｃ１１に記載の装置。
［Ｃ１６］
前記最も重要なイベントが前記メモリに記憶される、Ｃ１５に記載の装置。
［Ｃ１７］
前記処理システムは、
離散ポイントの集合を生成するためにシステムを定期的にサンプリングすることと、
前記離散ポイントの集合を前記イベントに変換することと
によって前記１つまたは複数のイベントを観測することを行うように構成される、Ｃ１１に記載の装置。
［Ｃ１８］
前記装置は、推論学習が可能な人工神経系の一部である、
Ｃ１１に記載の装置。
［Ｃ１９］
前記処理システムは、前記選択することと、新たなイベントが観測されるかどうかを前記決定することとを繰り返すようにさらに構成される、
Ｃ１１に記載の装置。
［Ｃ２０］
前記処理システムは、前記論理的な原因に基づいて、１つまたは複数の後続のイベントを予測するようにさらに構成される、
Ｃ１１に記載の装置。
［Ｃ２１］
因果学習のための装置であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測するための手段と、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択するための手段と、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定するための手段と
を備える、装置。
［Ｃ２２］
因果学習のためのコンピュータプログラム製品であって、
特定の相対的な時間に発生するものとして定義される、１つまたは複数のイベントを観測することと、
１つまたは複数の基準に基づいて前記イベントのサブセットを選択することと、
前記選択されたサブセットに基づいて前記イベントのうちの少なくとも１つの論理的な原因を決定することと
を行うためのコードを有する非一時的コンピュータ可読媒体を備える、
コンピュータプログラム製品。
【国際調査報告】
2016539407.tif 000063
2016539407.tif 000064