(57)【特許請求の範囲】
【請求項１】
スパイクニューラルネットワークに基づく信号処理方法であって、
第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定する段階と、
ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて前記第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得する段階であって、前記ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数８０】
0006750118.tif 000081
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数８１】
0006750118.tif 000082
が前記時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である、段階と、
前記第２の信号Ｆ２（ｔ）を第２のニューロンに入力する段階であって、前記第２のニューロンは前記第１のニューロンの次の層のニューロンである、段階と
を備える信号処理方法。
【請求項２】
前記ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数８２】
0006750118.tif 000083
が時間の経過と共に減衰しない、請求項１に記載の信号処理方法。
【請求項３】
前記第１の信号Ｆ１（ｔ）は、時点ｔ１で前記第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、
前記時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、以下の条件（１）
［条件（１）］
【数８３】
0006750118.tif 000084
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、前記時点ｔ１−１は前記時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、前記時点ｔ１−１での前記第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、
前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、以下の条件（２）
［条件（２）］
【数８４】
0006750118.tif 000085
を満たし、ここで、ｗｘ（ｔ１−１）は前記時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、ΔＦｘ（ｔ１）は、前記学習法則と、前記時点ｔ１−１での前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、前記時点ｔ１での前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び前記第ｑ順位のシナプス荷重パラメータの影響量である、請求項１又は２に記載の信号処理方法。
【請求項４】
前記時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は、
前記時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘである、請求項３に記載の信号処理方法。
【請求項５】
前記第１の信号Ｆ１（ｔ）は時点ｔ１で前記第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、前記時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は以下の条件（３）
［条件（３）］
【数８５】
0006750118.tif 000086
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、前記時点ｔ１−１は前記時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、前記時点ｔ１−１での前記第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、
前記時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の条件（４）
［条件（４）］
【数８６】
0006750118.tif 000087
を満たし、ここで、ｗｘ（ｔ１−１）は前記時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する前記時点ｔ１での前記第（ｘ＋１）順位のシナプス荷重パラメータの影響量であるか、又は、
前記時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数８７】
0006750118.tif 000088
を満たす、請求項１又は２に記載の信号処理方法。
【請求項６】
前記学習法則は、生物学的特徴に基づく学習法則、又は誤差逆伝播法に基づく教師あり学習法則である、請求項３から５のいずれか一項に記載の信号処理方法。
【請求項７】
ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて前記第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得する前記段階は、
前記第１の信号Ｆ１（ｔ）と第１順位のシナプス荷重パラメータｗ１（ｔ）の積を前記第２の信号Ｆ２（ｔ）として決定する段階を含む、請求項１から６のいずれか一項に記載の信号処理方法。
【請求項８】
スパイクニューラルネットワークに基づく信号処理装置であって、
第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定するように構成された決定モジュールと、
ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて前記第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得するように構成された処理モジュールであって、前記ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数８８】
0006750118.tif 000089
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数８９】
0006750118.tif 000090
が前記時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である、処理モジュールと、
前記第２の信号Ｆ２（ｔ）を第２のニューロンに入力するように構成された入力モジュールであって、前記第２のニューロンは前記第１のニューロンの次の層のニューロンである、入力モジュールと
を備える信号処理装置。
【請求項９】
前記ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数９０】
0006750118.tif 000091
が時間の経過と共に減衰しない、請求項８に記載の信号処理装置。
【請求項１０】
前記第１の信号Ｆ１（ｔ）は、時点ｔ１で前記第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、
前記時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、以下の条件（１）
［条件（１）］
【数９１】
0006750118.tif 000092
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、前記時点ｔ１−１は前記時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、前記時点ｔ１−１での前記第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、
前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、以下の条件（２）
［条件（２）］
【数９２】
0006750118.tif 000093
を満たし、ここで、ｗｘ（ｔ１−１）は前記時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、ΔＦｘ（ｔ１）は、前記学習法則と、前記時点ｔ１−１での前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、前記時点ｔ１での前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び前記第ｑ順位のシナプス荷重パラメータの影響量である、請求項８又は９に記載の信号処理装置。
【請求項１１】
前記時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は、
前記時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘである、請求項１０に記載の信号処理装置。
【請求項１２】
前記第１の信号Ｆ１（ｔ）は時点ｔ１で前記第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、
前記時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は以下の条件（３）
［条件（３）］
【数９３】
0006750118.tif 000094
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、前記時点ｔ１−１は前記時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、前記時点ｔ１−１での前記第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する前記時点ｔ１での前記第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量であり、
前記時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の条件（４）
［条件（４）］
【数９４】
0006750118.tif 000095
を満たし、ここで、ｗｘ（ｔ１−１）は前記時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、前記第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する前記時点ｔ１での前記第（ｘ＋１）順位のシナプス荷重パラメータの影響量であるか、又は、
前記時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、前記時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数９５】
0006750118.tif 000096
を満たす、請求項８又は９に記載の信号処理装置。
【請求項１３】
前記学習法則は、生物学的特徴に基づく学習法則、又は誤差逆伝播法に基づく教師あり学習法則である、請求項１０から１２のいずれか一項に記載の信号処理装置。
【請求項１４】
前記処理モジュールは具体的に、前記第１の信号Ｆ１（ｔ）と第１順位のシナプス荷重パラメータｗ１（ｔ）の積を前記第２の信号Ｆ２（ｔ）として決定するように構成される、請求項８から１３のいずれか一項に記載の信号処理装置。
【請求項１５】
請求項１から７のいずれか一項に記載の信号処理方法をコンピュータに実行させるように構成された、コンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを格納する、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、情報技術の分野に関するものであり、詳細には、スパイクニューラルネットワークに基づく信号処理方法及び信号処理装置に関するものである。
【背景技術】
【０００２】
ニューラルネットワークとは、生物学的な脳の構造を模擬してデータを処理するコンピューティングシステムである。生物学的な脳の内部では、大量のニューロン（神経細胞）が複雑に絡み合い、シナプス構造を用いて前のニューロン（樹状突起）が後のニューロン（軸索）に接続され、情報を伝える。同様に、ニューラルネットワーク構造内の各ノードが１つのニューロンを模擬して、特定のオペレーション、例えば、活性化機能を実行し得る。ノード間の接続がニューラルシナプスを模擬するのに用いられ、シナプスの荷重が２つのニューロン間の接続の強さを表す。ニューラルネットワークは、非線形で適応性と障害耐性がある強力な情報処理能力を有する。
【０００３】
望ましくは、新興のスパイクニューラルネットワークが、リアルタイムの情報処理問題を解決し得る。スパイクニューラルネットワークでは、時空間的情報符号化方式をニューロンのスパイク信号に用いて、情報が伝えられる。ネットワークの入力作用とは、ニューロンがスパイク信号を受け取ることであり、ネットワークの出力作用とは、ニューロンがスパイク信号を送ることである。これらのニューロンは同時に動作する。したがって、スパイクニューラルネットワークの動作方式は、実際の生体系にさらに近づいている。
【０００４】
スパイクタイミング依存可塑性（Ｓｐｉｋｅ−ｔｉｍｉｎｇ−ｄｅｐｅｎｄｅｎｔ  ｐｌａｓｔｉｃｉｔｙ、ＳＴＤＰ）は、スパイクニューラルネットワークでは比較的一般的な学習方法である。スパイクタイミング依存可塑性は、ニューロン間のシナプス荷重の調整についての法則を示しており、現在のニューロンが活動する前に別のニューロンに関する情報が生成された場合には、別のニューロンと現在のニューロンとの間の接続が強化され、又は現在のニューロンが活動した後に別のニューロンに関する情報が生成された場合には、別のニューロンと現在のニューロンとの間の接続が弱くなる。学習法則が、望ましくは、スパイクニューラルネットワークの時間に関連した情報処理問題を解決し得る。したがって、リアルタイムの問題が望ましくは処理され得る。
【０００５】
さらに、生物学的な脳は、学習の際に忘却特性を有する。この主な理由は、脳の記憶領域が限られていることにあり、受け取った情報を脳が全て恒久的に記憶するのは不可能である。したがって、情報記憶及び処理効率を向上させるために、一部の重要でない情報を忘れる必要がある。一方、忘却特性によって、学習した重要でない特徴又は学習した干渉信号の特徴が「廃棄」されてよく、物事の重要な特徴が長期間にわたって「記憶」される。したがって、生物学的な脳の忘却特性は、ニューラルネットワークを実際に応用する上で、非常に重要である。しかしながら、スパイクニューラルネットワークの現在の開発はまだ初期段階にあり、忘却特性を備えたスパイクニューラルネットワークは実現されていない。その結果、既存のスパイクニューラルネットワークは比較的大きい情報記憶領域を必要としており、処理効率が低く、主要な特徴を抽出できないため、実際に応用するのが遅れている。
【発明の概要】
【０００６】
本出願は、スパイクニューラルネットワークに基づく信号処理方法及び信号処理装置を提供し、忘却特性に基づいてニューラルネットワークを模擬することで、ニューラルネットワークが現実により適合するようにする。
【０００７】
第１の態様によれば、スパイクニューラルネットワークに基づく信号処理方法が提供される。本方法は、第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定する段階と、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得する段階であって、ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数１】
0006750118.tif 000002
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数２】
0006750118.tif 000003
が時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である、段階と、第２の信号Ｆ２（ｔ）を第２のニューロンに入力する段階であって、第２のニューロンは第１のニューロンの次の層のニューロンである、段階とを含む。
【０００８】
したがって、本出願のこの実施形態でのスパイクニューラルネットワークに基づく信号処理方法では、複数の順位のシナプス荷重パラメータを用いて入力信号が処理され、当該複数の順位のシナプス荷重パラメータの初期関数が時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークが現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。
【０００９】
第１の信号Ｆ１（ｔ）はスパイク信号であることを理解されたい。
【００１０】
ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）の各順位のシナプス荷重パラメータに初期関数が設定され、各順位のシナプス荷重パラメータが刺激されない場合、各順位のシナプス荷重パラメータは対応する初期関数を満たすことを理解されたい。
【００１１】
ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）のいかなる順位のシナプス荷重パラメータにも対応する初期関数のタイプは、指数関数、対数関数、又は階段関数などの非線形減衰関数であってもよく、又は線形減衰関数であってもよく、又は前述の関数タイプのうちの任意の２つ又はそれより多くを組み合わせたものであってもよいことを理解されたい。
【００１２】
第１の態様に関連して、第１の態様の一実施例では、ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数３】
0006750118.tif 000004
は時間の経過と共に減衰しない。
【００１３】
第１の態様及び前述の実施例に関連して、第１の態様の別の実施例では、第１の信号Ｆ１（ｔ）は、時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、以下の条件（１）
［条件（１）］
【数４】
0006750118.tif 000005
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、以下の条件（２）
［条件（２）］
【数５】
0006750118.tif 000006
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、ΔＦｘ（ｔ１）は、学習法則と、時点ｔ１−１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び第ｑ順位のシナプス荷重パラメータの影響量である。
【００１４】
時点ｔ１は、第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間内の任意の時点であってよく、第１の信号Ｆ１（ｔ）は、時点ｔ１で出力される第１の副信号Ｆ１（ｔ１）を含むことを理解されたい。
【００１５】
第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間の後の時点ｔ２では、時点ｔ２は第１の信号Ｆ１（ｔ）の刺激効果がない任意の時点であると仮定すると、第ｑ順位のシナプス荷重パラメータは時点ｔ２で初期関数
【数６】
0006750118.tif 000007
を満たすことを理解されたい。
【００１６】
第１の態様及び前述の実施例に関連して、第１の態様の別の実施例では、時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘである。
【００１７】
第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間の後の時点ｔ２では、時点ｔ２は第１の信号Ｆ１（ｔ）の刺激効果がない任意の時点であると仮定すると、第１の信号Ｆ１（ｔ）の時点ｔ２での第ｘ順位のシナプス荷重パラメータに対する影響量ΔＦｘ（ｔ２）は０であることを理解されたい。第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、第ｑ順位のシナプス荷重パラメータの第ｘ順位のシナプス荷重パラメータに対する影響量Δｗｘ，ｘ＋１（ｔ２），Δｗｘ，ｘ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）が、このケースで全て０ではない場合、第ｘ順位のシナプス荷重パラメータは時点ｔ２においてまだ条件（２）を満たしているか、又は、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、第ｑ順位のシナプス荷重パラメータの第ｘ順位のシナプス荷重パラメータに対する影響量Δｗｘ，ｘ＋１（ｔ２），Δｗｘ，ｘ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）が、このケースで全て０に等しい場合、第ｘ順位のシナプス荷重パラメータは時点ｔ２において初期関数
【数７】
0006750118.tif 000008
を満たす。
【００１８】
時点ｔ１での第１の副信号Ｆ１（ｔ１）は、ｑ個の順位のシナプス荷重パラメータの全て又は一部に影響を及ぼすように設定されてよいことを理解されたい。例えば、第１の副信号Ｆ１（ｔ１）は、第ｑ順位のシナプス荷重パラメータのみに影響を及ぼすように設定されてよい。言い換えれば、第１の副信号Ｆ１（ｔ１）の第ｑ順位のシナプス荷重パラメータに対する影響量ΔＦｑ（ｔ１）は０ではなく、第ｑ順位のシナプス荷重パラメータ以外の第ｘ順位のシナプス荷重パラメータに対する第１の副信号Ｆ１（ｔ１）の影響量ΔＦｘ（ｔ１）は０である。別の例では、第１の副信号Ｆ１（ｔ１）は代替的に第ｑ順位のシナプス荷重パラメータから第（ｑ−ｘ）順位のシナプス荷重パラメータまでのみに影響を及ぼすように設定されてもよい。言い換えれば、ΔＦｑ（ｔ１）、ΔＦｑ−１（ｔ１）、…、及びΔＦｑ−ｘ（ｔ１）は０ではなく、ΔＦｑ−ｘ−１（ｔ１）、ΔＦｑ−ｘ−２（ｔ１）、…、及びΔＦ１（ｔ１）は０である。
【００１９】
任意選択的に、条件（２）の場合、第ｘ順位のシナプス荷重パラメータはそれぞれ、上位のシナプス荷重パラメータに関連するように設定されてよい。すなわち、第（ｘ＋１）順位のシナプス荷重パラメータはそれぞれ、下位のシナプス荷重パラメータに影響を及ぼす。あるいは、第（ｘ＋１）順位のシナプス荷重パラメータは、いくつかの下位のシナプス荷重パラメータのみに影響を及ぼすように設定されてもよい。例えば、第（ｘ＋１）順位のシナプス荷重パラメータは、第（ｘ＋１）順位のシナプス荷重パラメータより順位が１つ低い第ｘ順位のシナプス荷重パラメータのみに影響を及ぼすように設定されてよい。言い換えれば、第ｘ順位のシナプス荷重パラメータは、第（ｘ＋１）順位のシナプス荷重パラメータに関連している。言い換えれば、Δｗｘ，ｘ＋２（ｔ２），Δｗｘ，ｘ＋３（ｔ２），…，Δｗｘ，ｑ（ｔ２）は、条件（２）において全て０である。別の例では、第ｘ順位のシナプス荷重パラメータは代替的に、第（ｘ＋１）順位のシナプス荷重パラメータから第（ｘ＋ｉ）順位のシナプス荷重パラメータまでに関連するように設定されてもよい。したがって、Δｗｘ，ｘ＋ｉ＋１（ｔ２），Δｗｘ，ｘ＋ｉ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）は全て０である。
【００２０】
第１の態様及び前述の実施例に関連して、第１の態様の別の実施例では、第１の信号Ｆ１（ｔ）は時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は以下の条件（３）
［条件（３）］
【数８】
0006750118.tif 000009
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータが、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の条件（４）
［条件（４）］
【数９】
0006750118.tif 000010
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータの影響量である。又は時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数１０】
0006750118.tif 000011
を満たす。
【００２１】
第１の態様及び前述の実施例に関連して、第１の態様の別の実施例では、学習法則は、生物学的特徴に基づく学習法則であるか、又は誤差逆伝播法に基づく教師あり学習法則である。
【００２２】
生物学的特徴に基づく学習法則は、例えば、ＳＴＤＰ学習法則又はＨｅｂｂ学習法則であってもよい。誤差逆伝播法に基づく教師あり学習アルゴリズムは、例えば、ＳｐｉｋｅＰｒｏｐ学習法則、ＱｕｃｉｋＰｒｏｐ学習法則、Ｔｅｍｐｏｔｒｏｎ学習法則、又はＥ−Ｌｅａｒｎｉｎｇ学習法則であってもよい。
【００２３】
第１の態様及び前述の実施例に関連して、第１の態様の別の実施例では、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得する段階は、第１の信号Ｆ１（ｔ）と第１順位のシナプス荷重パラメータｗ１（ｔ）の積を第２の信号Ｆ２（ｔ）として決定する段階を含む。
【００２４】
第２の態様によれば、スパイクニューラルネットワークに基づく信号処理装置が提供され、本装置は、第１の態様又は第１の態様の任意の実行可能な実施例における方法を実施するように構成される。具体的には、本装置は、第１の態様又は第１の態様の任意の実行可能な実施例における方法を実施するように構成されたユニットを含む。
【００２５】
第３の態様によれば、スパイクニューラルネットワークに基づく信号処理装置が提供され、本装置はメモリ及びプロセッサを含む。メモリは、命令を格納するように構成される。プロセッサは、メモリに格納された命令を実行するように構成され、プロセッサがメモリに格納された命令を実行した場合、プロセッサは、第１の態様又は第１の態様の任意の実行可能な実施例における方法を実施する。
【００２６】
第４の態様によれば、コンピュータプログラムを格納するように構成されたコンピュータ可読媒体が提供される。コンピュータプログラムは、第１の態様又は第１の態様の任意の実行可能な実施例における方法を実施するのに用いられる命令を含む。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態によるスパイクニューラルネットワークの概略図である。
【００２８】
【図２】本発明の一実施形態によるスパイクニューラルネットワークに基づく信号処理方法の概略フローチャートである。
【００２９】
【図３】本発明の一実施形態による各順位のシナプス荷重パラメータに対応する記憶効果の概略図である。
【００３０】
【図４】本発明の一実施形態による、２つのニューロン間の接続形態についての概略図である。
【００３１】
【図５】本発明の一実施形態による、２つの順位の効果を有するメモリスタによるシナプス荷重パラメータの模擬についての概略図である。
【００３２】
【図６】本発明の一実施形態による、２つの順位のシナプス荷重パラメータの応用例についての概略図である。
【００３３】
【図７】本発明の一実施形態による、２つの順位のシナプス荷重パラメータの別の応用例についての概略図である。
【００３４】
【図８】本発明の一実施形態による、２つの順位のシナプス荷重パラメータのさらに別の応用例についての概略図である。
【００３５】
【図９】本発明の一実施形態によるＳＴＤＰ学習法則の曲線についての概略図である。
【００３６】
【図１０】本発明の一実施形態による、３つの順位のシナプス荷重パラメータの応用例についての概略図である。
【００３７】
【図１１】本発明の一実施形態による、言葉の記憶に用いられる２つの順位のシナプス荷重パラメータについての概略図である。
【００３８】
【図１２】本発明の一実施形態によるスパイクニューラルネットワークに基づく信号処理装置の概略ブロック図である。
【００３９】
【図１３】本発明の別の実施形態によるスパイクニューラルネットワークに基づく信号処理装置の概略ブロック図である。
【発明を実施するための形態】
【００４０】
以下では、添付図面を参照して、本発明の実施形態における技術的解決手段を説明する。
【００４１】
図１は、本発明の一実施形態によるスパイクニューラルネットワークの概略図である。図１に示すように、ｋ番目の層のニューロンは、スパイクニューラルネットワークにおける任意の層のニューロンであり、ｋ番目の層のニューロンは、ｍ個のニューロンを含んでよく、ｍは正の整数である。（ｋ＋１）番目の層のニューロンは、ｋ番目の層のニューロンの次の層のニューロンであり、（ｋ＋１）番目の層のニューロンは、ｎ個のニューロンを含んでよく、ｎは正の整数であり、ｍとｎは等しくても等しくなくてもよい。ｋ番目の層のニューロンと（ｋ＋１）番目の層のニューロンとの間には、シナプス荷重パラメータがある。ｋ番目の層のニューロンによる信号出力が、シナプス荷重パラメータを用いて処理され、（ｋ＋１）番目の層のニューロンに入力される。
【００４２】
任意選択的に、ｋ番目の層の各ニューロンは、スパイクニューラルネットワークにおいて、（ｋ＋１）番目の層の各ニューロンと接続関係を有する必要はない。言い換えれば、ｋ番目の層のニューロンのうちの少なくとも１つが代替的に、（ｋ＋１）番目の層のニューロンのうちの少なくとも１つと接続関係を有していなくてもよい。
【００４３】
本発明のこの実施形態において、ｋ番目の層のニューロンと（ｋ＋１）番目の層のニューロンとの間に複数の順位のシナプス荷重パラメータがあってよい。言い換えれば、接続関係を有するｋ番目の層のニューロンのうちの任意のニューロン
【数１１】
0006750118.tif 000012
及び（ｋ＋１）番目の層のニューロンのうちの任意のニューロン
【数１２】
0006750118.tif 000013
の場合、２つのニューロン間にｑ個の順位のシナプス荷重パラメータがあってよく、ｑ個の順位のシナプス荷重パラメータは、
【数１３】
0006750118.tif 000014
で表されてよく、ｑは２より大きい正の整数である。さらに、異なる値がｉに選択され及び／又は異なる値がｊに選択された場合、対応するｑは同じ値に設定されても又は異なる値に設定されてもよい。例えば、ｋ番目の層のニューロンのうちの第１のニューロン
【数１４】
0006750118.tif 000015
と（ｋ＋１）番目の層のニューロンのうちの第１のニューロン
【数１５】
0006750118.tif 000016
との間にｑ個の順位のシナプス荷重パラメータがあってよく、ここで、ｑは５であってよく、すなわち、
【数１６】
0006750118.tif 000017
であってよい。別の例では、ｋ番目の層のニューロンのうちのｍ番目のニューロン
【数１７】
0006750118.tif 000018
と（ｋ＋１）番目の層のニューロンのうちのｎ番目のニューロン
【数１８】
0006750118.tif 000019
との間にｑ個の順位のシナプス荷重パラメータがあってよく、ここで、ｑは３であってよく、すなわち、
【数１９】
0006750118.tif 000020
であってよい。
【００４４】
本発明のこの実施形態において、ｋ番目の層のニューロンの任意のニューロン
【数２０】
0006750118.tif 000021
と（ｋ＋１）番目の層のニューロンのうちの任意のニューロン
【数２１】
0006750118.tif 000022
との間のｑ個の順位のシナプス荷重パラメータ
【数２２】
0006750118.tif 000023
は、説明の一例として用いられている。表現しやすいように、本明細書ではｗ１，ｗ２，…，ｗｑを用いて、任意の２つの隣接した層にあるニューロン間のｑ個の順位のシナプス荷重パラメータを表している。
【００４５】
図２は、本発明の一実施形態によるスパイクニューラルネットワークに基づく信号処理方法１００の概略フローチャートである。図２に示すように、方法１００は以下に挙げる段階を含む。
【００４６】
Ｓ１１０：第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定する。
【００４７】
Ｓ１２０：ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得する。ここで、ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数２３】
0006750118.tif 000024
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数２４】
0006750118.tif 000025
が時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である。
【００４８】
Ｓ１３０：第２の信号Ｆ２（ｔ）を第２のニューロンに入力する。第２のニューロンは第１のニューロンの次の層のニューロンである。
【００４９】
したがって、本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理方法では、複数の順位のシナプス荷重パラメータを用いて入力信号が処理され、複数の順位のシナプス荷重パラメータの初期関数は時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークは現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。
【００５０】
Ｓ１１０において、第１のニューロンにより出力される第１の信号Ｆ１（ｔ）が決定される。第１の信号Ｆ１（ｔ）はスパイク信号である。具体的には、任意の時点で外部から入力される信号、すなわち、多層ニューラルネットワークに入力される必要がある信号とは、実際に処理される必要がある画像、言葉、又は音などの情報であってよい。したがって、信号は、スパイク信号変換装置を用いて、多層ニューラルネットワークが識別できるスパイク信号にまず変換されてよい。例えば、情報は、スパイク符号化回路を用いて、多層ニューラルネットワークが識別できる標準的なスパイク信号に符号化されてよく、スパイク信号は、この時点で多層ニューラルネットワークに入力されて処理される。
【００５１】
したがって、ニューラルネットワークの任意の層のニューロン、例えば、第１のニューロンでは、スパイク信号がニューロンに入力されて、ニューロンが活性化されるので、ニューロンは第１の信号Ｆ１（ｔ）を出力する。Ｆ１（ｔ）もスパイク信号である。
【００５２】
本発明のこの実施形態において、ニューラルネットワークの各ニューロンは、特定のオペレーションを実行し、受け取ったスパイク信号を具体的に処理した後に、スパイク信号を特定の方式で送る。任意選択的に、ニューロンは物理モデルであってよい。例えば、ニューロンの物理モデルは、単純な活性化モデル、リーキーインテグレートアンドファイア（Ｌｅａｋｙ  Ｉｎｔｅｇｒａｔｅ  ａｎｄ  Ｆｉｒｅ、ＬＩＦ）モデル、又はホジキンハクスレー（Ｈｏｄｇｋｉｎ−Ｈｕｘｌｅｙ、ＨＨ）モデルなどであってよい。これらのモデルは全て、対応する物理回路を用いて実現されてよい。例えば、図１に示すように、（ｋ＋１）番目の層のニューロンのうちの任意のニューロン
【数２５】
0006750118.tif 000026
が、
【数２６】
0006750118.tif 000027
に接続され且つｋ番目の層のニューロン、言い換えれば、上位層のニューロンに属するニューロン
【数２７】
0006750118.tif 000028
のそれぞれの影響を受けてよい。
【数２８】
0006750118.tif 000029
は、
【数２９】
0006750118.tif 000030
に接続され且つｋ番目の層のニューロンに属するニューロンであり、対応するシナプス荷重パラメータを用いて、スパイク信号をニューロン
【数３０】
0006750118.tif 000031
に伝える。これらのスパイク信号は、ニューロン
【数３１】
0006750118.tif 000032
により処理されて
【数３２】
0006750118.tif 000033
を取得し、
【数３３】
0006750118.tif 000034
はその後、次の層のニューロンに伝えられる。
【００５３】
したがって、ニューラルネットワークにおいて第１のニューロンにより出力される第１の信号Ｆ１（ｔ）は、上位層のニューロンにより入力される信号を第１のニューロンが処理した後に出力されるスパイク信号である。
【００５４】
Ｓ１２０において、第１の信号Ｆ１（ｔ）は、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて処理されて、第２の信号Ｆ２（ｔ）を取得する。ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータにより満たされる初期関数
【数３４】
0006750118.tif 000035
が時間の経過と共に減衰する速度は、第ｘ順位のシナプス荷重パラメータにより満たされる初期関数
【数３５】
0006750118.tif 000036
が時間の経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である。
【００５５】
第１の信号Ｆ１（ｔ）は、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて処理されることを理解されたい。ｑ個の順位のシナプス荷重パラメータの各順位のシナプス荷重パラメータが刺激信号の影響を受けない場合、ｑ個の順位のシナプス荷重パラメータは全て、対応する初期関数
【数３６】
0006750118.tif 000037
を満たすように設定される。ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数３７】
0006750118.tif 000038
が時間の経過と共に減衰する速度は、第ｘ順位のシナプス荷重パラメータにより満たされる初期関数
【数３８】
0006750118.tif 000039
が時間の経過と共に減衰する速度より速い。任意選択的に、ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数３９】
0006750118.tif 000040
は、時間の経過と共に減衰しない関数に設定される。
【００５６】
例えば、図３に示すように、第１順位のシナプス荷重パラメータは長期記憶効果に対応する。言い換えれば、
【数４０】
0006750118.tif 000041
は時間の経過と共に減衰しない。第２順位のシナプス荷重パラメータは中長期記憶効果に対応する。言い換えれば、
【数４１】
0006750118.tif 000042
は時間の経過と共にゆっくり減衰する。類推によって、第ｑ順位のシナプス荷重パラメータは直接記憶効果に対応する。言い換えれば、
【数４２】
0006750118.tif 000043
が時間の経過と共に減衰する速度は最大である。
【００５７】
任意選択的に、ｑ個の順位のシナプス荷重パラメータに初期関数が設定されない場合、各順位のシナプス荷重パラメータの初期関数のタイプは、指数関数、対数関数、又は階段関数などの非線形減衰関数であってもよく、又は線形減衰関数であってもよく、又は前述の関数タイプのうちの任意の２つ又はそれより多くを組み合わせたものであってもよい。複数の順位のシナプス荷重パラメータの初期関数は、同じタイプ、例えば指数関数に設定されてよい。あるいは、複数の順位のシナプス荷重パラメータの初期関数は、異なるタイプに設定されてもよい。例えば、シナプス荷重パラメータの初期関数が線形減衰関数のものもあれば、シナプス荷重パラメータの初期関数が対数関数に設定されるものもある。これは、本発明のこの実施形態において限定されない。
【００５８】
本発明のこの実施形態において、第１のニューロンが第１の信号Ｆ１（ｔ）を出力した後に、ｑ個の順位のシナプス荷重パラメータの全て又は一部は、第１の信号の刺激効果で活性化される。具体的には、第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間における任意の時点、例えば、時点ｔ１が一例として用いられる。すなわち、第１の信号Ｆ１（ｔ）は、時点ｔ１において第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含んでよく、第１の副信号Ｆ１（ｔ１）は、ｑ個の順位のシナプス荷重パラメータの各順位又は一部を活性化してよい。
【００５９】
具体的には、最上位のシナプス荷重パラメータ、すなわち、第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）では、第１の副信号Ｆ１（ｔ１）の刺激効果で、ｗｑ（ｔ１）は次の式（１）
［式（１）］
【数４３】
0006750118.tif 000044
を満たす。ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。
【００６０】
第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間の後の時点ｔ２では、時点ｔ２は第１の信号Ｆ１（ｔ）の刺激効果がない任意の時点であると仮定すると、第ｑ順位のシナプス荷重パラメータは時点ｔ２で初期関数
【数４４】
0006750118.tif 000045
を満たすことを理解されたい。
【００６１】
本発明のこの実施形態において、最上位のシナプス荷重パラメータを除いた他の順位のシナプス荷重パラメータ、すなわち、１≦ｘ≦ｑ−１である第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）では、第１の副信号Ｆ１（ｔ１）の刺激効果で、ｗｘ（ｔ１）は次の式（２）
［式（２）］
【数４５】
0006750118.tif 000046
を満たす。ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、ΔＦｘ（ｔ１）は、学習法則と、時点ｔ１−１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び第ｑ順位のシナプス荷重パラメータの影響量である。
【００６２】
時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘであることを理解されたい。
【００６３】
具体的には、第ｑ順位のシナプス荷重パラメータは、時点ｔ１で第１の副信号Ｆ１（ｔ１）の刺激効果によって変化する。第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）が対応する第ｑ順位のシナプス荷重の閾値より大きいかそれに等しい場合、第ｑ順位のシナプス荷重パラメータは他の（ｑ−１）個の順位のシナプス荷重パラメータを活性化してよく、言い換えれば、Δｗｘ，ｑ（ｔ１）は０ではない。同様に、任意の第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）では、ｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではない。
【００６４】
任意選択的に、第ｑ順位のシナプス荷重パラメータが、時点ｔ１で第１の副信号Ｆ１（ｔ１）の刺激効果によって変化するが、対応する第ｑ順位のシナプス荷重の閾値より小さい場合、第ｑ順位のシナプス荷重パラメータは、他の（ｑ−１）個の順位のシナプス荷重パラメータを活性化せず、言い換えれば、Δｗｘ，ｑ（ｔ１）は０に等しい。同様に、任意の第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）では、ｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０である。
【００６５】
本発明のこの実施形態では、対応する閾値がｑ個の順位のシナプス荷重パラメータの各順位のシナプス荷重パラメータに対して設定され、当該閾値は実際の状況に従って設定されてよい。本発明のこの実施形態では、これに制限を設けない。
【００６６】
第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間の後の時点ｔ２では、時点ｔ２は第１の信号Ｆ１（ｔ）の刺激効果がない任意の時点であると仮定すると、第１の信号Ｆ１（ｔ）の時点ｔ２での第ｘ順位のシナプス荷重パラメータに対する影響量ΔＦｘ（ｔ２）は０であることを理解されたい。第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、第ｑ順位のシナプス荷重パラメータの第ｘ順位のシナプス荷重パラメータに対する影響量Δｗｘ，ｘ＋１（ｔ２），Δｗｘ，ｘ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）が、このケースで全て０ではない場合、第ｘ順位のシナプス荷重パラメータは時点ｔ２においてまだ式（２）を満たしているか、又は、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、第ｑ順位のシナプス荷重パラメータの第ｘ順位のシナプス荷重パラメータに対する影響量Δｗｘ，ｘ＋１（ｔ２），Δｗｘ，ｘ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）が、このケースで全て０に等しい場合、第ｘ順位のシナプス荷重パラメータは時点ｔ２において初期関数
【数４６】
0006750118.tif 000047
を満たす。
【００６７】
本発明のこの実施形態において、更新量ΔＦｑ（ｔ１）及び更新量ΔＦｘ（ｔ１）は、学習法則及び第１の副信号Ｆ１（ｔ１）に基づいて式（１）及び（２）で決定される。ここでの学習法則は、既存の関連する学習規則であってよい。例えば、学習法則は、生物学的特徴に基づいた、ＳＴＤＰ学習法則又はＨｅｂｂ学習法則などの学習法則であってよい。あるいは、学習法則は、誤差逆伝播法に基づく教師あり学習アルゴリズム、例えば、ＳｐｉｋｅＰｒｏｐ学習法則、ＱｕｃｉｋＰｒｏｐ学習法則、Ｔｅｍｐｏｔｒｏｎ学習法則、又はＥ−Ｌｅａｒｎｉｎｇ学習法則であってもよい。本発明のこの実施形態では、これに制限を設けない。
【００６８】
時点ｔ１での第１の副信号Ｆ１（ｔ１）は、ｑ個の順位のシナプス荷重パラメータの全て又は一部に影響を及ぼすように設定されてよいことを理解されたい。例えば、第１の副信号Ｆ１（ｔ１）は、第ｑ順位のシナプス荷重パラメータのみに影響を及ぼすように設定されてよい。言い換えれば、第１の副信号Ｆ１（ｔ１）の第ｑ順位のシナプス荷重パラメータに対する影響量ΔＦｑ（ｔ１）は０ではなく、第ｑ順位のシナプス荷重パラメータ以外の第ｘ順位のシナプス荷重パラメータに対する第１の副信号Ｆ１（ｔ１）の影響量ΔＦｘ（ｔ１）は０である。別の例では、第１の副信号Ｆ１（ｔ１）は代替的に第ｑ順位のシナプス荷重パラメータから第（ｑ−ｘ）順位のシナプス荷重パラメータまでのみに影響を及ぼすように設定されてもよい。言い換えれば、ΔＦｑ（ｔ１）、ΔＦｑ−１（ｔ１）、…、及びΔＦｑ−ｘ（ｔ１）は０ではなく、ΔＦｑ−ｘ−１（ｔ１）、ΔＦｑ−ｘ−２（ｔ１）、…、及びΔＦ１（ｔ１）は０である。
【００６９】
同様に、式（２）の場合、第ｘ順位のシナプス荷重パラメータはそれぞれ、上位のシナプス荷重パラメータに関連するように設定される。すなわち、第（ｘ＋１）順位のシナプス荷重パラメータはそれぞれ、下位のシナプス荷重パラメータに影響を及ぼす。言い換えれば、第（ｘ＋１）順位のシナプス荷重パラメータは、第ｘ順位のシナプス荷重パラメータから第１順位のシナプス荷重パラメータまでに影響を及ぼす。任意選択的に、第（ｘ＋１）順位のシナプス荷重パラメータは代替的に、いくつかの下位のシナプス荷重パラメータのみに影響を及ぼすように設定されてもよい。例えば、第（ｘ＋１）順位のシナプス荷重パラメータは、第（ｘ＋１）順位のシナプス荷重パラメータより順位が１つ低い第ｘ順位のシナプス荷重パラメータのみに影響を及ぼすように設定されてよい。言い換えれば、第ｘ順位のシナプス荷重パラメータは、第（ｘ＋１）順位のシナプス荷重パラメータに関連している。言い換えれば、Δｗｘ，ｘ＋２（ｔ２），Δｗｘ，ｘ＋３（ｔ２），…，Δｗｘ，ｑ（ｔ２）は、式（２）において全て０である。別の例では、第ｘ順位のシナプス荷重パラメータは代替的に、第（ｘ＋１）順位のシナプス荷重パラメータから第（ｘ＋ｉ）順位のシナプス荷重パラメータまでに関連するように設定されてもよい。したがって、Δｗｘ，ｘ＋ｉ＋１（ｔ２），Δｗｘ，ｘ＋ｉ＋２（ｔ２），…，Δｗｘ，ｑ（ｔ２）は全て０である。
【００７０】
好ましくは、一実施形態において、第１のニューロンが第１の信号Ｆ１（ｔ）を出力する期間における任意の時点、例えば、時点ｔ１が一例として用いられる。すなわち、第１の信号Ｆ１（ｔ）は、時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含む。この場合、第１の副信号Ｆ１（ｔ１）は、ｑ個の順位のシナプス荷重パラメータのうちの最上位のシナプス荷重パラメータのみを活性化できるように設定されてよい。言い換えれば、第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、時点ｔ１で式（１）をまだ満たしている。ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。
【００７１】
しかしながら、最上位のシナプス荷重パラメータを除いた他の順位のシナプス荷重パラメータ、すなわち、１≦ｘ≦ｑ−１である第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）では、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、第１の副信号Ｆ１（ｔ１）と無関係に設定されてよく、言い換えれば、式（２）のΔＦｘ（ｔ１）は０に設定される。しかしながら、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、第（ｘ＋１）順位のシナプス荷重パラメータの値にだけ関連しており、上位のシナプス荷重パラメータは、当該上位のシナプス荷重パラメータより順位が１つ低いシナプス荷重パラメータにだけ影響を及ぼすように設定される。
【００７２】
具体的には、時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数４７】
0006750118.tif 000048
を満たす。あるいは、時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の式（３）
［式（３）］
【数４８】
0006750118.tif 000049
を満たす。ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータの影響量である。
【００７３】
具体的には、図３は一例として用いられ、第１のニューロンが時点ｔ１で第１の副信号Ｆ１（ｔ１）を出力した場合、第１の副信号は、第１のニューロンに接続されたｑ番目のシナプスに直接作用する。すなわち、直接記憶である第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）を活性化する。直接記憶ｗｑ（ｔ１）が、対応する第ｑ順位のシナプス荷重の閾値より大きいかそれに等しい場合、直接記憶ｗｑ（ｔ１）より順位が１つ低い直接記憶が活性化される。すなわち、第（ｑ−１）順位のシナプス荷重パラメータｗｑ−１（ｔ１）が式（３）を満たす。長期記憶が活性化されるまでの、言い換えれば、１番目のシナプス荷重パラメータが活性化されるまでの別のケースは、類推によって求めることができる。
【００７４】
第１の信号Ｆ１（ｔ）がどの時点にも存在しない、例えば、時点ｔ２に存在しないが、上位のシナプス荷重パラメータｗｘ＋１（ｔ２）がまだ、対応する第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、ｗｘ＋１（ｔ２）は、上位のシナプス荷重パラメータｗｘ＋１（ｔ２）より順位が１つ低いシナプス荷重パラメータをまだ活性化してよいことを理解されたい。言い換えれば、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ２）はまだ式（３）を満たし、ｔ１＝ｔ２が設定される。
【００７５】
本発明のこの実施形態において、ｑ個の順位のシナプス荷重が前述のプロセスに基づいて決定され、第１のニューロンにより出力される第１の信号Ｆ１（ｔ）は、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて処理されて、第２の信号Ｆ２（ｔ）を取得する。任意選択的に、第１の信号Ｆ１（ｔ）は、第１順位のシナプス荷重パラメータｗ１（ｔ）を乗じて、第２の信号Ｆ２（ｔ）を取得してよい。しかしながら、本発明のこの実施形態では、これに制限を設けない。
【００７６】
本発明のこの実施形態において、任意の２つのニューロンが複数の順位のシナプスを用いて接続される。複数の順位のシナプスは、１つ又は複数のメモリスタユニットを用いて物理的に実装されてもよく、又は複雑なシナプス回路を用いて物理的に実装されてもよい。具体的には、図４が一例として用いられる。図４は、２つのニューロンが１つのメモリスタユニットを用いて接続される一例を示している。複数の順位のシナプスの機能を実現するためには、メモリスタユニットも複数の順位の効果を有する必要がある。例えば、２つの順位のシナプス荷重パラメータが一例として用いられる。したがって、メモリスタユニットは、２つの順位の効果を有するメモリスタユニットである。
【００７７】
図５に示すように、第１のニューロンｙ１により出力される第１の信号Ｆ１（ｔ）が、図５に示すスパイク信号であってよく、スパイク信号は２つの順位のメモリスタに作用する。スパイク信号は、メモリスタの伝導度の変化を引き起こす。このプロセスは複雑な物理プロセスであり、スパイク信号の直接の効果は、メモリスタの局部温度の変化を引き起こすことである。スパイク信号が消えると、局部温度は、例えば熱放散方式で、すぐに平衡状態に復帰する。これは、シナプス荷重パラメータの短期記憶効果に相当する。すなわち、メモリスタの温度変化は、第２順位のシナプス荷重パラメータの変化に対応する。積算局部温度が過度に高くなると、メモリスタの伝導度は、恒久的な変化を引き起こす。これは、シナプス荷重パラメータの長期記憶効果に相当する。すなわち、メモリスタの伝導度の変化は、第２順位のシナプス荷重パラメータが閾値を超えたときの、第１順位のシナプス荷重パラメータの変化に対応する。このように、単一のメモリスタユニットは、２つの順位のシナプス荷重パラメータに対応するシナプス効果を達成してよい。
【００７８】
Ｓ１３０において、第２の信号Ｆ２（ｔ）は第２のニューロンに入力され、第２のニューロンは第１のニューロンの次の層のニューロンである。第１のニューロンは、前のニューロンとして用いられ、スパイク信号、すなわち、第１の信号を、ｑ個の順位のシナプスを用いて第２のニューロンに送る。第２のニューロンは、後のニューロンとして用いられる。
【００７９】
後のニューロンが最後の層のネットワークにない場合、すなわち、後のニューロンが出力層にない場合、信号は次の層のネットワークに伝えられることを理解されたい。この場合、後のニューロンは次の層のネットワークの前のニューロンとみなされてもよい。信号転送方式は、前述の信号転送方式と同じである。言い換えれば、元の第２のニューロンは第１のニューロンとみなされてもよく、元の第２のニューロンの次のニューロンが第２のニューロンになる。さらに、元の後のニューロンにより入力されるスパイク信号は、前のニューロンとして用いられ、外部から入力されるスパイク信号を含むだけでなく、前のネットワークにより出力されるスパイク信号も含む。この部分は、スパイクニューラルネットワークの巡回型ネットワーク階層構造トレーニングとみなされてよい。ネットワーク間で信号が伝えられる場合、時間差が存在し得ることに留意されたい。
【００８０】
本発明のこの実施形態では、第２のニューロンが最後の層のネットワークにあるニューロンの場合、第２の信号Ｆ２（ｔ）が第２のニューロンに入力された後に、第２のニューロンは第２の信号を処理して結果を出力する。同様に、元の信号は、ニューラルネットワークに入る前の信号であり、実際に処理する必要がある画像、言葉、又は音などの情報であってよく、まず、スパイク信号変換装置を用いて、多層ニューラルネットワークが識別できるスパイク信号に変換され、その後、ニューラルネットワークを通じて処理されてよい。同様に、信号を処理した後に、最後の層のニューロンは、スパイク信号変換装置を用いてスパイク信号を実際の情報に変換し、画像、言葉、又は音などの実際の情報を出力してよい。任意選択的に、スパイク信号変換装置は、スパイク復号回路であり、スパイク信号を画像、言葉、又は音などの情報に変換してよい。
【００８１】
したがって、本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理方法では、複数の順位のシナプス荷重パラメータを用いて入力信号が処理され、複数の順位のシナプス荷重パラメータの初期関数は時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークは現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。
【００８２】
本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理方法は、いくつかの実際の応用シナリオを例として用い、詳細に後述される。
［実施形態１］
【００８３】
例えば、図１に示すように、ｋ番目の層のニューロンのうちの任意のニューロン
【数４９】
0006750118.tif 000050
と、（ｋ＋１）番目の層のニューロンのうちの任意のニューロン
【数５０】
0006750118.tif 000051
との間に２つの順位のシナプス荷重パラメータ（ｗ１，ｗ２）があると仮定されている。ｗ１は第１順位のシナプス荷重パラメータであって長期記憶を表し、ｗ１の初期関数は時間の経過と共に減衰しない関数に設定され、ｗ１の初期値は、ここでは
【数５１】
0006750118.tif 000052
に設定されてよく、言い換えれば、ｗ１が刺激効果の影響を受けない場合、初期値は０のままである。ｗ２は第２順位のシナプス荷重パラメータであって直接記憶を表し、ｗ２の初期関数は時間の経過と共に減衰する関数に設定され、具体的には次の式（４）
［式（４）］
【数５２】
0006750118.tif 000053
で表される。ここで、ｔ０は、前のニューロン及び後のニューロンの信号が共にシナプス荷重パラメータに作用する場合に、関連する学習規則に基づいて最上位のシナプス荷重パラメータが変化する時点を表し、ここでの最上位のシナプス荷重パラメータはｗ２であり、さらに、ｔ＜ｔ０の場合、第２順位のシナプス荷重パラメータは０に設定されてよい。
【００８４】
長期記憶である第１順位のシナプス荷重パラメータｗ１は、直接記憶である第２順位のシナプス荷重パラメータｗ２が第２順位のシナプス荷重の閾値より大きいかそれに等しい場合に、その場合に限って変化する。  具体的には、長期記憶である第１順位のシナプス荷重パラメータｗ１は、次の式（５）
［式（５）］
【数５３】
0006750118.tif 000054
で表されてよい。ここで、７．５は、第２順位のシナプス荷重の閾値である。
【００８５】
具体的には、図６の特定の計算値が一例として用いられてよい。図６に示すように、ｔ＜０．５のとき、長期記憶である第１順位のシナプス荷重パラメータの初期値ｗ１及び直接記憶である第２順位のシナプス荷重パラメータの初期値ｗ２は両方とも、０に設定されている。ｔ＝０．５のときに、前のニューロンが信号をシナプスに出力する。
信号の効果によって、直接記憶である第２順位のシナプス荷重パラメータｗ２は、ＳＴＤＰ学習法則に基づいて変化する。
【００８６】
第２順位のシナプス荷重の閾値は７．５に設定されているので、入力信号の刺激効果によって、図６に示すように、直接記憶である第２順位のシナプス荷重パラメータｗ２は、ｔ＝０．５のときに閾値７．５を超える。したがって、ｔ＝０．５のときに、第１順位のシナプス荷重パラメータｗ１は活性化され、第１順位のシナプス荷重パラメータｗ１の変化は式（５）を満たす。
【００８７】
ｔ＝ｔ＋１のときに、次の時点に入り、入力信号が消える。したがって、直接記憶である第２順位のシナプス荷重パラメータｗ２は、忘却法則に基づいて継続的に減衰する。言い換えれば、指定された初期関数式（４）に基づいて、時間の経過と共に、直接記憶である第２順位のシナプス荷重パラメータｗ２が初期値０に減少するまで継続的に減衰する。刺激信号が消える初期段階では、第２順位のシナプス荷重パラメータｗ２は、まだ第２順位のシナプス荷重パラメータｗ２に設定された閾値７．５より大きいので、長期記憶である第１順位のシナプス荷重パラメータｗ１はこのケースでは継続的に活性化される。したがって、第１順位のシナプス荷重パラメータｗ１は、直接記憶である第２順位のシナプス荷重パラメータが直接記憶である第２順位のシナプス荷重パラメータの閾値より小さくなるまでの期間内で、継続的に増加する。したがって、第１順位のシナプス荷重パラメータｗ１は、もはや増加せず、指定された初期関数を満たし、変化しないままであり、時間の経過と共に減衰しない。
【００８８】
本発明のこの実施形態において、第１のニューロンにより出力される刺激信号が異なる場合、シナプスへの影響は異なる。言い換えれば、複数の順位のシナプス荷重パラメータに対応する変化は異なる。例えば、図７に示すように、シナプスに作用する刺激信号の期間は２秒であり、図８の刺激信号の期間は１秒である。したがって、対応する直接記憶である第２順位のシナプス荷重パラメータｗ２は、刺激のたびに増加するが、刺激の後には急速に減衰する。次回の刺激が発生したときに、第２順位のシナプス荷重パラメータｗ２は初期値０に復帰していない。したがって、第２順位のシナプス荷重パラメータｗ２は、現時点の現状態値に基づいて再度増加する。このように、累積効果が形成される。図７の刺激及び図８の刺激は、両方とも比較的弱く、１回の刺激では、長期記憶である第１順位のシナプス荷重パラメータｗ１の変化を引き起こさない。しかしながら、図７では、刺激頻度が比較的低く、継続的に刺激しても、まだ第２順位のシナプス荷重パラメータｗ２が閾値を超えることにならない。したがって、長期記憶である第１順位のシナプス荷重パラメータｗ１の変化は引き起こされない。言い換えれば、第１順位のシナプス荷重パラメータｗ１は０のままである。しかしながら、刺激頻度が増加すると、図８に示すように、継続的な刺激によって、第２順位のシナプス荷重パラメータｗ２が閾値を超えることになり得る。したがって、長期記憶である第１順位のシナプス荷重パラメータｗ１の変化が引き起こされる。これは、高頻度の弱い刺激、及び低頻度の強い刺激は同じ機能を有し、前述のプロセスは生物学的な認知習性と一致するということを説明している。言い換えれば、複数の順位のニューラルネットワークは、生物学的な認知習性にさらに近づく。
［実施形態２］
【００８９】
例えば、図１に示すように、ｋ番目の層のニューロンのうちの任意のニューロン
【数５４】
0006750118.tif 000055
と、（ｋ＋１）番目の層のニューロンのうちの任意のニューロン
【数５５】
0006750118.tif 000056
との間に３つの順位のシナプス荷重パラメータ（ｗ１，ｗ２，ｗ３）があると仮定されている。ｗ１は第１順位のシナプス荷重パラメータであって長期記憶を表し、ｗ１の初期関数は時間の経過と共に減衰しないように設定される。ｗ２は第２順位のシナプス荷重パラメータであって短期記憶を表し、ｗ２の初期関数は時間の経過と共に比較的ゆっくり減衰するように設定される。ｗ３は第３順位のシナプス荷重パラメータであって直接記憶を表し、ｗ３の初期関数は時間の経過と共に急速に減衰するように設定される。
【００９０】
具体的には、３つの順位のシナプス荷重パラメータ（ｗ１，ｗ２，ｗ３）の初期関数は、以下の関数に設定されてよい。最上位のシナプス荷重パラメータ、すなわち、第３順位のシナプス荷重パラメータｗ３の場合、第３順位のシナプス荷重パラメータｗ３は、時点ｔ３において刺激信号の影響を受けると仮定されている。例えば、刺激信号は、前のニューロンによって出力される刺激信号であってよい。第３順位のシナプス荷重パラメータｗ３は、学習法則に基づいて変化する。第３順位のシナプス荷重パラメータは、時点ｔ３の後に新たな刺激を受けない。したがって、第３順位のシナプス荷重パラメータｗ３は、指定された初期関数に基づいて時間の経過と共に急速に減衰する。初期関数は、ここでは次の式（６）
［式（６）］
【数５６】
0006750118.tif 000057
に設定されると仮定されている。ここで、ｄ３は、直接記憶減衰率であり、ｄ３＞０である。
【００９１】
同様に、第２順位のシナプス荷重パラメータｗ２の場合、第２順位のシナプス荷重パラメータｗ２は、ニューロンにより出力される刺激信号に影響されないと仮定されており、第２順位のシナプス荷重パラメータｗ２より順位が１つ高い第３順位のシナプス荷重パラメータｗ３にだけ関連する。さらに、第３順位のシナプス荷重パラメータｗ３は、対応する第３順位のシナプス荷重の閾値を時点ｔ２で超えると仮定されているので、第２順位のシナプス荷重パラメータｗ２を活性化し変化させることができる。時点ｔ２の後に、第３順位のシナプス荷重パラメータｗ３は、対応する第３順位のシナプス荷重の閾値より小さくなり、第２順位のシナプス荷重パラメータｗ２は活性化されないので、第２順位のシナプス荷重パラメータｗ２は、時点ｔ２の後に初期関数を満たし、時間の経過と共に比較的ゆっくり減衰する。初期関数が減衰する速度は、第３順位のシナプス荷重パラメータｗ３が減衰する速度より低い。任意選択的に、初期関数は次の式（７）
［式（７）］
【数５７】
0006750118.tif 000058
に設定されてよく、ここで、ｄ２は直接記憶減衰率であり、ｄ３＞ｄ２＞０である。
【００９２】
同様に、最下位のシナプス荷重パラメータ、すなわち、第１順位のシナプス荷重パラメータｗ１の場合、第１順位のシナプス荷重パラメータｗ１は、ニューロンにより出力される刺激信号及び第３順位のシナプス荷重パラメータｗ３の値の両方に無関係であり、第１順位のシナプス荷重パラメータｗ１より順位が１つ高い第２順位のシナプス荷重パラメータｗ２にだけ関連していると仮定されている。さらに、時点ｔ１で、第２順位のシナプス荷重パラメータｗ２は、対応する第２順位のシナプス荷重の閾値を超えるので、第２順位のシナプス荷重パラメータｗ２を活性化し変化させることができる。時点ｔ１の後に、第２順位のシナプス荷重パラメータｗ２は、対応する第２順位のシナプス荷重の閾値より小さくなり、第１順位のシナプス荷重パラメータｗ１は活性化されないので、第１順位のシナプス荷重パラメータｗ１は、時点ｔ１の後に初期関数を満たし、時間の経過と共に変化しない。したがって、第１順位のシナプス荷重パラメータｗ１の初期関数は、次の式（８）
［式（８）］
【数５８】
0006750118.tif 000059
に設定されてよい。
【００９３】
本発明のこの実施形態において、３つの順位のシナプス荷重パラメータ（ｗ１，ｗ２，ｗ３）は、以下に挙げる規則に基づいて更新されてよい。第３順位のシナプス荷重パラメータｗ３の更新規則が次のように設定されてよい。第３順位のシナプス荷重パラメータｗ３は、外部刺激信号が存在する場合に、その場合に限って変化し、外部刺激信号が存在しない場合には式（６）を満たす。具体的には、第３順位のシナプス荷重パラメータｗ３が時点ｔで信号により刺激された場合、第３順位のシナプス荷重パラメータｗ３の更新規則は、次の式（９）
［式（９）］
【数５９】
0006750118.tif 000060
で表されてよい。ここで、ｗ３（ｔ−１）は前の時点での第３順位のシナプス荷重パラメータの値を表し、ΔＦ３（ｔ）は、第３順位のシナプス荷重パラメータに対する刺激信号の刺激効果によって生成される更新量を表す。任意選択的に、更新量ΔＦ３（ｔ）は、学習法則及び刺激信号に基づいて決定されてよい。例えば、学習法則はＳＴＤＰ学習法則であってよい。図９に示すように、前のニューロンに関する情報が後のニューロンの活動前に生成された場合、これらのニューロン間の接続が強化される。あるいは、前のニューロンに関する情報が後のニューロンの活動後に生成された場合、これらのニューロン間の接続は弱くなる。ΔＴは、前のニューロンの活動と後のニューロンの活動との時間差を表している。ΔＦ３（ｔ）の値は、時間差ΔＴの絶対値に関連している。絶対値が小さくなると、示されるΔＦ３（ｔ）は大きくなる。
【００９４】
第２順位のシナプス荷重パラメータｗ２の更新規則が次のように設定されてよい。第２順位のシナプス荷重パラメータｗ２は、第３順位のシナプス荷重パラメータｗ３が対応する第３順位のシナプス荷重の閾値を超えた場合に、その場合に限って変化し、閾値を超えない場合には式（７）を満たす。具体的には、第２順位のシナプス荷重パラメータｗ２の更新規則は、次の式（１０）
［式（１０）］
【数６０】
0006750118.tif 000061
で表されてよい。ここで、ｗ２（ｔ−１）は前の時点での第２順位のシナプス荷重パラメータの値を表し、Δｗ２３（ｔ）は、第２順位のシナプス荷重パラメータｗ２に対する第３順位のシナプス荷重パラメータｗ３の影響量であり、Δｗ２３（ｔ）は第３順位のシナプス荷重の閾値に関連しており、例えば、Δｗ２３（ｔ）は次の式（１１）
［式（１１）］
【数６１】
0006750118.tif 000062
を満たすように設定されてよい。ここで、Ｔ３は第３順位のシナプス荷重パラメータｗ３に対応する第３順位のシナプス荷重の閾値を表す。
【００９５】
第１順位のシナプス荷重パラメータｗ１の更新規則が次のように設定されてよい。第１順位のシナプス荷重パラメータｗ１は、第２順位のシナプス荷重パラメータｗ２が対応する第２順位のシナプス荷重の閾値を超えた場合に、その場合に限って変化し、閾値を超えない場合には式（８）を満たす。  具体的には、第１順位のシナプス荷重パラメータｗ１の更新規則は、次の式（１２）
［式（１２）］
【数６２】
0006750118.tif 000063
で表されてよい。ここで、ｗ１（ｔ−１）は前の時点での第１順位のシナプス荷重パラメータの値を表し、Δｗ１２（ｔ）は、第１順位のシナプス荷重パラメータｗ１に対する第２順位のシナプス荷重パラメータｗ２の影響量であり、Δｗ１２（ｔ）は第２順位のシナプス荷重の閾値に関連しており、例えば、Δｗ１２（ｔ）は次の式（１３）
［式（１３）］
【数６３】
0006750118.tif 000064
を満たすように設定されてよい。ここで、Ｔ２は第２順位のシナプス荷重パラメータｗ２に対応する第２順位のシナプス荷重の閾値を表す。
【００９６】
したがって、図１０に示すスパイク信号の刺激効果によって、３つの順位のシナプス荷重パラメータ（ｗ１，ｗ２，ｗ３）の変化が図１０に示され得る。
【００９７】
本発明のこの実施形態では、前述の実施形態に加えて、本方法はさらに、別の応用シナリオに適用されてよい。本発明のこの実施形態では、これに制限を設けない。
【００９８】
任意選択的に、一実施形態において、本発明のこの実施形態における忘却特性を有するスパイクニューラルネットワークの機能が、言葉の記憶についての具体的な応用例を用いて後述される。説明しやすいように、２つの順位のシナプス荷重パラメータを有するニューラルネットワークが、説明の一例としてここで用いられる。具体的には、それぞれの言葉の復唱が、スパイク信号の入力とみなされてよい。１人の人が同じ言葉を１日目、２日目、４日目、５日目、及び６日目にそれぞれ一度復唱すること、言い換えれば、スパイク信号が２つの順位のスパイクニューラルネットワークに１日目、２日目、４日目、５日目、及び６日目にそれぞれ入力されることが仮定されており、理論的には、新しい言葉を復唱した後に、人はその言葉を急速に忘れることになり、復唱を繰り返した後に言葉を記憶に留めることができる。そのプロセスは、本発明のこの実施形態における２つの順位のスパイクニューラルネットワークを用いて模擬することにより実現することができる。
【００９９】
具体的には、図１１に示すように、人による新しい言葉の復唱は、刺激信号の入力とみなされてよい。したがって、直接記憶である上位のシナプス荷重パラメータｗ２は、学習法則に基づいて活性化され得る。しかしながら、ｗ２は、ｗ２に対応する閾値Ｔ２を超えない。したがって、長期記憶である第１順位のシナプス荷重パラメータｗ１の変化は、引き起こされない。さらに、直接記憶である第２順位のシナプス荷重パラメータｗ２は、時間の経過と共に減衰する。しかしながら、２日目、４日目、５日目、及び６日目に、言葉が再度復唱される。言い換えれば、新たな刺激信号が入力される。図１１に示すように、６日目に、第２順位のシナプス荷重パラメータｗ２は、ｗ２に対応する閾値Ｔ２を超え、人の長期記憶が引き起こされる。言い換えれば、第１順位のシナプス荷重パラメータｗ１が活性化される。したがって、言葉を恒久的に記憶することができる。
【０１００】
同様に、重要なニュースの選別又は重要情報の取得などの応用シナリオも、本発明のこの実施形態における、複数の順位のシナプス荷重パラメータを有し且つ忘却特性を有するニューラルネットワークを用いて模擬することにより実現されてよい。
【０１０１】
したがって、本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理方法では、複数の順位のシナプス荷重パラメータを用いて入力信号が処理され、複数の順位のシナプス荷重パラメータの初期関数は時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークは現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。さらに、モード識別、自然言語処理、並びに制御及び最適化などの様々なリアルタイムの複雑な問題が、本発明のこの実施形態におけるニューラルネットワークを用いて完了してよく、本発明は広範な応用可能性を有する。忘却特性を有するスパイクニューラルネットワークは、二次的な特徴又は背景雑音などの学習した情報を次第に忘れ、最終的に記憶される特徴は、物事の最も重要な特徴であり、現実により適合する。
【０１０２】
前述のプロセスの連続番号は、本発明の実施形態において実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部論理に基づいて決定されるべきであり、本発明の実施形態の実装プロセスに対するいかなる限定とも解釈されるべきではない。
【０１０３】
本発明の実施形態におけるスパイクニューラルネットワークに基づく信号処理方法は、図１〜図１１を参照して詳細に上述されている。本発明の実施形態におけるスパイクニューラルネットワークに基づく信号処理装置が、図１２及び図１３を参照して後述される。
【０１０４】
図１２に示すように、本発明の一実施形態におけるスパイクニューラルネットワークに基づく信号処理装置２００が、第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定するように構成された決定モジュール２１０と、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得するように構成された処理モジュール２２０であって、ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数６４】
0006750118.tif 000065
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数６５】
0006750118.tif 000066
が時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である、処理モジュール２２０と、第２の信号Ｆ２（ｔ）を第２のニューロンに入力するように構成された入力モジュール２３０であって、第２のニューロンは第１のニューロンの次の層のニューロンである、入力モジュール２３０とを含む。
【０１０５】
したがって、本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理装置は、複数の順位のシナプス荷重パラメータを用いて入力信号を処理し、複数の順位のシナプス荷重パラメータの初期関数は時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークは現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。
【０１０６】
任意選択的に、一実施形態において、ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数６６】
0006750118.tif 000067
は、時間の経過と共に減衰しない。
【０１０７】
任意選択的に、一実施形態において、第１の信号Ｆ１（ｔ）は、時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、以下の式（１）
［式（１）］
【数６７】
0006750118.tif 000068
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、以下の式（２）
［式（２）］
【数６８】
0006750118.tif 000069
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｘ（ｔ１）は、学習法則と、時点ｔ１−１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び第ｑ順位のシナプス荷重パラメータの影響量である。
【０１０８】
任意選択的に、一実施形態において、時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）番目のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘである。
【０１０９】
任意選択的に、一実施形態において、第１の信号Ｆ１（ｔ）は時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は以下の式（３）
［式（３）］
【数６９】
0006750118.tif 000070
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の式（４）
［式（４）］
【数７０】
0006750118.tif 000071
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータの影響量である。又は時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数７１】
0006750118.tif 000072
を満たす。
【０１１０】
任意選択的に、一部の実施形態において、学習法則は、生物学的特徴に基づく学習法則、又は誤差逆伝播法に基づく教師あり学習法則である。
【０１１１】
任意選択的に、一実施形態において、処理モジュール２２０は具体的に、第１の信号Ｆ１（ｔ）と第１順位のシナプス荷重パラメータｗ１（ｔ）との積を第２の信号Ｆ２（ｔ）として決定するように構成される。
【０１１２】
本発明のこの実施形態における信号処理装置２００のモジュールの前述のオペレーション及び／又は機能は、図１〜図１１における方法の対応する手順を実現するためのものであることを理解されたい。簡潔にするために、詳細はここで再度説明しない。
【０１１３】
本発明のこの実施形態における決定モジュール２１０及び処理モジュール２２０は、プロセッサ又はプロセッサ関連の回路コンポーネントを用いて実現されてよく、入力モジュール２３０は、送受信機又は送受信機関連の回路コンポーネントを用いて実現されてよいことをさらに理解されたい。
【０１１４】
図１３に示すように、本発明の一実施形態がさらに、スパイクニューラルネットワークに基づく信号処理装置３００を提供する。信号処理装置３００は、プロセッサ３１０、メモリ３２０、バスシステム３３０、及び送受信機３４０を含む。プロセッサ３１０、メモリ３２０、及び送受信機３４０は、バスシステム３３０を用いて接続される。メモリ３２０は、命令を格納するように構成される。プロセッサ３１０は、メモリ３２０に格納された命令を実行し、信号を送受信するよう送受信機３４０を制御するように構成される。プロセッサ３１０がメモリ３２０に格納された命令を実行した場合、プロセッサ３１０は、第１のニューロンにより出力される第１の信号Ｆ１（ｔ）を決定し、ｑ個の順位のシナプス荷重パラメータｗｑ（ｔ），ｗｑ−１（ｔ），…，ｗ１（ｔ）を用いて第１の信号Ｆ１（ｔ）を処理して、第２の信号Ｆ２（ｔ）を取得するように構成される。ｑ個の順位のシナプス荷重パラメータのうちの第（ｘ＋１）順位のシナプス荷重パラメータによって満たされる初期関数
【数７２】
0006750118.tif 000073
が時間ｔの経過と共に減衰する速度が、第ｘ順位のシナプス荷重パラメータによって満たされる初期関数
【数７３】
0006750118.tif 000074
が時間ｔの経過と共に減衰する速度より速く、ｑは１より大きい正の整数であり、１≦ｘ≦ｑ−１である。送受信機３４０は、第２の信号Ｆ２（ｔ）を第２のニューロンに入力するように構成され、第２のニューロンは第１のニューロンの次の層のニューロンである。
【０１１５】
したがって、本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理装置は、複数の順位のシナプス荷重パラメータを用いて入力信号を処理し、複数の順位のシナプス荷重パラメータの初期関数は時間の経過と共に異なる速度で減衰するので、ニューラルネットワークの忘却特性が模擬されて、二次的な特徴又は背景雑音などの一部の重要でない情報が忘れられ、ニューラルネットワークは現実により適合して、特徴抽出がより容易になり、情報記憶量が過度に大きいという問題がさらに解決される。
【０１１６】
任意選択的に、一実施形態において、ｑ個の順位のシナプス荷重パラメータのうちの第１順位のシナプス荷重パラメータの初期関数
【数７４】
0006750118.tif 000075
は、時間の経過と共に減衰しない。
【０１１７】
任意選択的に、一実施形態において、第１の信号Ｆ１（ｔ）は、時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は、以下の式（１）
［式（１）］
【数７５】
0006750118.tif 000076
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は、以下の式（２）
［式（２）］
【数７６】
0006750118.tif 000077
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｘ（ｔ１）は、学習法則と、時点ｔ１−１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。Δｗｘ，ｘ＋１（ｔ１），Δｗｘ，ｘ＋２（ｔ１），…，Δｗｘ，ｑ（ｔ１）はそれぞれ、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する、第（ｘ＋１）順位のシナプス荷重パラメータ、第（ｘ＋２）順位のシナプス荷重パラメータ、…、及び第ｑ順位のシナプス荷重パラメータの影響量である。
【０１１８】
任意選択的に、一実施形態において、時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が第（ｘ＋ｉ）順位のシナプス荷重の閾値より大きいかそれに等しい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０ではなく、又は時点ｔ１での第（ｘ＋ｉ）順位のシナプス荷重パラメータｗｘ＋ｉ（ｔ１）が（ｘ＋ｉ）番目のシナプス荷重の閾値より小さい場合、Δｗｘ，ｘ＋ｉ（ｔ１）は０に等しく、ｉは１、２、…、又はｑ−ｘである。
【０１１９】
任意選択的に、一実施形態において、第１の信号Ｆ１（ｔ）は時点ｔ１で第１のニューロンにより出力される第１の副信号Ｆ１（ｔ１）を含み、時点ｔ１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１）は以下の式（３）
［式（３）］
【数７７】
0006750118.tif 000078
を満たし、ここで、ｗｑ（ｔ１−１）は時点ｔ１−１での第ｑ順位のシナプス荷重パラメータを表し、時点ｔ１−１は時点ｔ１の前の時点であり、ΔＦｑ（ｔ１）は、学習法則と、時点ｔ１−１での第ｑ順位のシナプス荷重パラメータｗｑ（ｔ１−１）に対する時点ｔ１での第１の副信号Ｆ１（ｔ１）の刺激効果とに基づいて決定された更新量である。また、時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より大きいかそれに等しい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は以下の式（４）
［式（４）］
【数７８】
0006750118.tif 000079
を満たし、ここで、ｗｘ（ｔ１−１）は時点ｔ１−１での第ｘ順位のシナプス荷重パラメータを表し、Δｗｘ，ｘ＋１（ｔ１）は、第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）に対する時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータの影響量である。又は時点ｔ１での第（ｘ＋１）順位のシナプス荷重パラメータｗｘ＋１（ｔ１）が、第（ｘ＋１）順位のシナプス荷重の閾値より小さい場合、時点ｔ１での第ｘ順位のシナプス荷重パラメータｗｘ（ｔ１）は初期関数
【数７９】
0006750118.tif 000080
を満たす。
【０１２０】
任意選択的に、一実施形態において、学習法則は、生物学的特徴に基づく学習法則、又は誤差逆伝播法に基づく教師あり学習法則である。
【０１２１】
任意選択的に、一実施形態において、プロセッサ３１０は具体的に、第１の信号Ｆ１（ｔ）と第１順位のシナプス荷重パラメータｗ１（ｔ）との積を第２の信号Ｆ２（ｔ）として決定するように構成される。
【０１２２】
本発明のこの実施形態におけるスパイクニューラルネットワークに基づく信号処理装置３００は、本発明の実施形態におけるスパイクニューラルネットワークに基づく信号処理装置２００に対応することができ、信号処理装置３００におけるモジュールの前述のオペレーション及び／又は機能は、図１〜図１１における方法の対応する手順を実現するためのものであることを理解されたい。簡潔にするために、詳細はここで再度説明しない。
【０１２３】
本発明のこの実施形態において、プロセッサは中央演算処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）であってもよく、又は別の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）若しくは別のプログラム可能型論理デバイス、ディスクリートゲート若しくはトランジスタ論理デバイス、若しくはディスクリートハードウェアコンポーネントなどであってもよいことをさらに理解されたい。汎用プロセッサはマイクロプロセッサであってもよく、又はプロセッサは任意の従来型のプロセッサなどであってもよい。
【０１２４】
本発明のこの実施形態におけるメモリは、揮発性メモリでも若しくは不揮発性メモリでもよく、又は、揮発性メモリ及び不揮発性メモリを含んでもよいことをさらに理解されたい。不揮発性メモリは、リードオンリメモリ（Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ、ＲＯＭ）、プログラム可能型リードオンリメモリ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ、ＰＲＯＭ）、消去可能プログラム可能型リードオンリメモリ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ、ＥＰＲＯＭ）、電気的消去可能プログラム可能型リードオンリメモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ、ＥＥＰＲＯＭ）、又はフラッシュメモリであってもよい。揮発性メモリは、ランダムアクセスメモリ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＲＡＭ）であってよく、外部キャッシュとして用いられる。限定としてではなく例として、複数の形態のＲＡＭ、例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ  ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ  ＲＡＭ、ＤＲＡＭ）、同期型ダイナミックランダムアクセスメモリ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレート同期型ダイナミックランダムアクセスメモリ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  ＳＤＲＡＭ、ＤＤＲ  ＳＤＲＡＭ）、高速同期型ダイナミックランダムアクセスメモリ（Ｅｎｈａｎｃｅｄ  ＳＤＲＡＭ、ＥＳＤＲＡＭ）、シンクリンクダイナミックランダムアクセスメモリ（Ｓｙｎｃｈｌｉｎｋ  ＤＲＡＭ、ＳＬＤＲＡＭ）、及びＤｉｒｅｃｔ  Ｒａｍｂｕｓランダムアクセスメモリ（Ｄｉｒｅｃｔ  Ｒａｍｂｕｓ  ＲＡＭ、ＤＲ  ＲＡＭ）を用いることができる。
【０１２５】
プロセッサが、汎用プロセッサ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ若しくは別のプログラム可能型論理デバイス、ディスクリートゲート若しくはトランジスタ論理デバイス、若しくはディスクリートハードウェアコンポーネントである場合、メモリ（又は記憶モジュール）はプロセッサに統合されることに留意されたい。
【０１２６】
本明細書において説明されるシステム及び方法のメモリは、限定されないが、これらのメモリ及び任意の他の適切なタイプのメモリを含むことができることに留意されたい。
【０１２７】
本発明のこの実施形態において、バスシステムは、データバスに加えて、電力バス、制御バス、及びステイタス信号バスなどを含んでよいことをさらに理解されたい。しかしながら、明確な説明のために、図１３では様々なタイプのバスがバスシステムと表記されている。
【０１２８】
一実装プロセスにおいて、前述の方法の各段階は、プロセッサ内のハードウェア集積論理回路を用いて、又はソフトウェア形態の命令を用いて実現することができる。本発明の実施形態に関連して開示された方法の各段階は、ハードウェアプロセッサによって直接実施されてもよく、又はプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて実施されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、リードオンリメモリ、プログラム可能型リードオンリメモリ、電気的消去可能プログラム可能型メモリ、又はレジスタなどの、当技術分野において成熟した記憶媒体に配置されてよい。記憶媒体はメモリ内に配置され、プロセッサがメモリ内の情報を読み出して、プロセッサのハードウェアと組み合わせて、前述の方法の各段階を遂行する。繰り返しを避けるために、詳細はここで再度説明しない。
【０１２９】
本明細書における番号は、説明しやすいように区別するために用いられており、本発明の実施形態の範囲を限定するために用いられてはいないことをさらに理解されたい。
【０１３０】
前述のプロセスの連続番号は、一部の実施形態において実行順序を意味しないことを理解されたい。プロセスの実行順序は、プロセスの機能及び内部論理に基づいて決定されるべきであり、本発明の実施形態の実装プロセスに対するいかなる限定とも解釈されるべきではない。
【０１３１】
当業者であれば、本明細書で開示された実施形態と組み合わせて説明された例における各モジュールが、電子ハードウェア又はコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実現されてよいことを認識するであろう。これらの機能がハードウェアによって実施されるのか、又はソフトウェアによって実施されるのかは、技術的解決手段の特定の応用例及び設計制約条件によって決まる。当業者であれば、異なる方法を用いて、説明された機能を特定の応用例ごとに実現し得るが、その実施例が本発明の範囲を越えるものとみなされるべきではない。
【０１３２】
本出願において提供されたいくつかの実施形態において、開示された装置及び方法は他の方式でも実現されてよいことを理解されたい。例えば、説明された装置の実施形態は、単なる一例にすぎない。例えば、モジュールの分割は、単なる論理的機能の分割であり、実際に実装する際には、別の分割方式があってもよい。例えば、複数のモジュールが組み合わされてもよく、又は別のモジュールに統合されてもよく、あるいは、一部の特徴が無視されても又は実施されなくてもよい。
【０１３３】
さらに、装置の実施形態における各機能モジュールが、１つの処理ユニットに統合されてもよく、又は、これらの機能モジュールがそれぞれの処理ユニット内に物理的に存在してもよく、又は、２つ若しくはそれより多くの機能モジュールが１つの処理ユニットに統合される。
【０１３４】
前述の説明は、本出願の単なる特定の実施例にすぎず、本出願の保護範囲を限定することは意図していない。本発明の実施形態において開示された技術範囲内で当業者が容易に考え出す、いかなる変形例又は置換例も、本出願の保護範囲に含まれることになる。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲によって決まることになる。
【図１】
0006750118.tif 000097
【図２】
0006750118.tif 000098
【図３】
0006750118.tif 000099
【図４】
0006750118.tif 000100
【図５】
0006750118.tif 000101
【図６】
0006750118.tif 000102
【図７】
0006750118.tif 000103
【図８】
0006750118.tif 000104
【図９】
0006750118.tif 000105
【図１０】
0006750118.tif 000106
【図１１】
0006750118.tif 000107
【図１２】
0006750118.tif 000108
【図１３】
0006750118.tif 000109