(57)【特許請求の範囲】
【請求項１】
ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプスに関連付けられたリソース、または、前記重みの最後の変化からの時間、のうちの少なくとも１つに基づいて前記シナプスの重みを適応させることと
を備える方法。
【請求項２】
前記シナプスの重みを適応させることに関連して前記リソースを変更することと、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させることと
をさらに備える、請求項１に記載の方法。
【請求項３】
前記リソースを変更することは、前記リソースを減らすことを備える、請求項２に記載の方法。
【請求項４】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、請求項３に記載の方法。
【請求項５】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、請求項３に記載の方法。
【請求項６】
経時的に前記リソースを回復することは、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させること
を備える、請求項２に記載の方法。
【請求項７】
前記リソースを変更することは、前記重みを適応することにコミットする際に生じる、
請求項２に記載の方法。
【請求項８】
前記リソースを変更することは、前記重みを適応する態様を決定する際に生じ、
前記重みを適応することは、それ以降に生じる、
請求項２に記載の方法。
【請求項９】
前記重みを適応する前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、請求項８に記載の方法。
【請求項１０】
前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、請求項１に記載の方法。
【請求項１１】
前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの時間が閾値を下回る場合、適用されない、請求項１に記載の方法。
【請求項１２】
前記シナプスの重みを適応させることはさらに、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新することと、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶することと、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算することと、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得することと
を備える、請求項１に記載の方法。
【請求項１３】
前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、請求項１２に記載の方法。
【請求項１４】
前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、請求項１２に記載の方法。
【請求項１５】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプスに関連付けられたリソース、または、前記重みの最後の変化からの時間、のうちの少なくとも１つに基づいて前記シナプスの重みを適応させるように構成された第２の回路と
を備える装置。
【請求項１６】
前記シナプスの重みを適応させることに関連して前記リソースを変更するように構成された第３の回路と、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させるように構成された第４の回路と
をさらに備える、請求項１５に記載の装置。
【請求項１７】
前記リソースを変更することは、前記リソースを減らすことを備える、請求項１６に記載の装置。
【請求項１８】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、請求項１７に記載の装置。
【請求項１９】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、請求項１７に記載の装置。
【請求項２０】
前記第４の回路はまた、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させる
ように構成される、請求項１６に記載の装置。
【請求項２１】
前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、請求項１６に記載の装置。
【請求項２２】
前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
請求項１６に記載の装置。
【請求項２３】
前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、請求項２２に記載の装置。
【請求項２４】
前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、請求項１５に記載の装置。
【請求項２５】
前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、請求項１５に記載の装置。
【請求項２６】
前記第２の回路はまた、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新し、
前記重み更新の時に、前記リソースが使用された最後の時間として前記重みを更新する時間を記憶し、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算し、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得する
ように構成される、請求項１５に記載の装置。
【請求項２７】
前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、請求項２６に記載の装置。
【請求項２８】
前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、請求項２６に記載の装置。
【請求項２９】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプスに関連付けられたリソース、または、前記重みの最後の変化からの時間、のうちの少なくとも１つに基づいて前記シナプスの重みを適応させるための手段と
を備える装置。
【請求項３０】
前記シナプスの重みを適応させることに関連して前記リソースを変更するための手段と、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させるための手段と
をさらに備える、請求項２９に記載の装置。
【請求項３１】
前記リソースを変更するための手段は、前記リソースを減らすための手段を備える、請求項３０に記載の装置。
【請求項３２】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、請求項３１に記載の装置。
【請求項３３】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、請求項３１に記載の装置。
【請求項３４】
経時的に前記リソースを回復させるための前記手段は、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させるための手段
を備える、請求項３０に記載の装置。
【請求項３５】
前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、請求項３０に記載の装置。
【請求項３６】
前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
請求項３０に記載の装置。
【請求項３７】
前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、請求項３６に記載の装置。
【請求項３８】
前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、請求項２９に記載の装置。
【請求項３９】
前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、請求項２９に記載の装置。
【請求項４０】
前記シナプスの重みを適応させるための前記手段は、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新するための手段と、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶するための手段と、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算するための手段と、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得するための手段と
を備える、請求項２９に記載の装置。
【請求項４１】
前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの変化の大きさが閾値を下回る場合、上書きされない、請求項４０に記載の装置。
【請求項４２】
前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、請求項４０に記載の装置。
【請求項４３】
ニューラル学習のためのコンピュータ読取可能な記憶媒体であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプスに関連付けられたリソース、または、前記重みの最後の変化からの時間、のうちの少なくとも１つに基づいて前記シナプスの重みを適応させることと
を行うためのコードを備える、コンピュータ読取可能な記憶媒体。
【請求項４４】
前記コンピュータ読取可能な記憶媒体はさらに、
前記シナプスの重みを適応させることに関連して前記リソースを変更することと、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させることと
を行うためのコードを備える、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項４５】
前記リソースを変更することは、前記リソースを減らすことを備える、請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項４６】
前記リソースは、前記適応の間の前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、請求項４５に記載のコンピュータ読取可能な記憶媒体。
【請求項４７】
前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、請求項４５に記載のコンピュータ読取可能な記憶媒体。
【請求項４８】
前記コンピュータ読取可能な記憶媒体はさらに、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させること
を行うためのコードを備える、請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項４９】
前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項５０】
前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
請求項４４に記載のコンピュータ読取可能な記憶媒体。
【請求項５１】
前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、請求項５０に記載のコンピュータ読取可能な記憶媒体。
【請求項５２】
前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項５３】
前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項５４】
前記コンピュータ読取可能な記憶媒体はさらに、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新することと、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶することと、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算することと、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得することと
を行うためのコードを備える、請求項４３に記載のコンピュータ読取可能な記憶媒体。
【請求項５５】
前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、請求項５４に記載のコンピュータ読取可能な記憶媒体。
【請求項５６】
前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、請求項５４に記載のコンピュータ読取可能な記憶媒体。
【請求項５７】
ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて前記リソース考慮を決定することと
を備える方法。
【請求項５８】
前記１つ以上のタイミング関係は、前記シナプス前部および前記シナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、請求項５７に記載の方法。
【請求項５９】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、請求項５７に記載の方法。
【請求項６０】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、請求項５７に記載の方法。
【請求項６１】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させように構成された第２の回路と、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて、前記リソース考慮を決定するように構成された第３の回路と
を備える装置。
【請求項６２】
前記１つ以上のタイミング関係は、前記シナプス前部および前記シナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、請求項６１に記載の装置。
【請求項６３】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、請求項６１に記載の装置。
【請求項６４】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、請求項６１に記載の装置。
【請求項６５】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて前記シナプスの重みを適応させるための手段と、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて、前記リソース考慮を決定するための手段と
を備える装置。
【請求項６６】
前記１つ以上のタイミング関係は、前記シナプス前部およびシナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、請求項６５に記載の装置。
【請求項６７】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、請求項６５に記載の装置。
【請求項６８】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、請求項６５に記載の装置。
【請求項６９】
ニューラル学習のためのコンピュータ読取可能な記憶媒体であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて前記リソース考慮を決定することと
を行うためのコードを備える、コンピュータ読取可能な記憶媒体。
【請求項７０】
前記１つ以上のタイミング関係は、前記シナプス前部およびシナプス後部のニューロンとの前記以前のスパイクのペア間の時間差についての情報を備える、請求項６９に記載のコンピュータ読取可能な記憶媒体。
【請求項７１】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、請求項６９に記載のコンピュータ読取可能な記憶媒体。
【請求項７２】
前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、請求項６９に記載のコンピュータ読取可能な記憶媒体。
【請求項７３】
ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて前記シナプスの重みを適応させることと、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定することと
を備える方法。
【請求項７４】
前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、請求項７３に記載の方法。
【請求項７５】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させるように構成された第２の回路と、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定するように構成された第３の回路と
を備える装置。
【請求項７６】
前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、請求項７５に記載の装置。
【請求項７７】
ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させるための手段と、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定するための手段と
を備える装置。
【請求項７８】
前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、請求項７７に記載の装置。
【請求項７９】
ニューラル学習のためのコンピュータ読取可能な記憶媒体であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定することと
を行うためのコードを備える、コンピュータ読取可能な記憶媒体。
【請求項８０】
前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、請求項７９に記載のコンピュータ読取可能な記憶媒体。
【請求項８１】
前記シナプスの重みを適応させることは、前記重みの変化の量を調整することを備える、請求項１に記載の方法。
【請求項８２】
前記シナプスの重みを適応させることは、前記重みの変化の量を調整することを備える、請求項５７に記載の方法。
【請求項８３】
前記シナプスの重みを適応させることは、前記重みの変化の量を調整することを備える、請求項７３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]  本開示の特定の態様は一般的に、ニューラルシステムエンジニアリングに関し、より詳細には、スパイキングニューラルネットワークにおける自然マルチスパイク列のニューラル学習（neural learning）のための方法および装置に関する。
【背景技術】
【０００２】
[0002]  典型的なスパイクタイミング依存可塑性（spike-timing-dependent plasticity）（ＳＴＤＰ）学習ルールは、事前（入力）スパイクと事後（出力）スパイク（pre (input) spike and post (output) spike）とからなる１つのペア間のタイミングに基づいてシナプス重み（synaptic weight）を適応させる。しかしながら、自然スパイク列（natural spike trains）（例えば、生物学における）、およびスパイキングニューラルネットワーク（spiking neural networks）におけるスパイク列は一般的に、はっきりと分離しているスパイクのペア（pairs of spikes）を有さない。ゆえに、複数の入力および出力スパイクは、一般的なケースを表す。しかしながら、ＳＴＤＰに基づく学習は、重みの増加および減少の振動（oscillation）に起因して、収束（converge）しない可能性がある。さらに、基本的なＳＴＤＰ学習ルールは、マルチスパイクコンテキストでは、生物学的に観測された学習を説明（account for）しない可能性がある。
【０００３】
[0003]  この文献では、複数の理論に基づいて、２つの主要なモデルが提案されている。１つの方法は、すべての組み合わせペア（シナプス前部（pre-synaptic）とシナプス後部（post-synaptic））に基づいた計算を要求する。しかしながら、このアプローチは、計算的に高価である場合が多い。もう１つの方法は、時間コード化（temporal coding）に関連した時間的な効果ではなく、レートに基づいた効果（rate-based effects）を説明する。さらに、このアプローチは、ニューロンダイナミクスモデルに依存することができ、複数の時間スケールで複雑なフィルタリングを要求しうる。
【０００４】
[0004]  ゆえに、時間コード化コンテキストで動作するスパイキングネットワークに対して安定かつ高速な学習を提供し、計算的に実用的な方法が望まれるが、それはまた、生物学的にふさわしいものでもありうる。
【発明の概要】
【０００５】
[0005]  本開示の特定の態様は、ニューラル学習の方法を提供する。この方法は一般的に、シナプス前部のニューロン（a pre-synaptic neuron）とシナプス後部のニューロン（a post-synaptic neuron）とを接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプスに関連付けられたリソース、重みの最後の変化からの時間、または、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミング（spike timing）のうちの少なくとも１つに基づいてシナプスの重みを適応させる（adapt）こととを含む。
【０００６】
[0006]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するように構成された第１の回路と、シナプスと関連付けられたリソース、重みの最後の変化からの時間、または、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させるように構成された第２の回路とを含む。
【０００７】
[0007]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するための手段と、シナプスと関連付けられたリソース、重みの最後の変化からの時間、または、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させるための手段とを含む。
【０００８】
[0008]  本開示の特定の態様は、ニューラル学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプスと関連付けられたリソース、重みの最後の変化からの時間、または、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させることとを行うためのコードを備えるコンピュータ読取可能な媒体を含む。
【０００９】
[0009]  本開示の特定の態様は、ニューラル学習の方法を提供する。方法は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮（resource consideration）に基づいてシナプスの重みを適応させることと、シナプス前部およびシナプス後部のニューロンの以前のスパイクの間の１つ以上のタイミング関係に基づいてリソース考慮を決定することと、を含む。
【００１０】
[0010]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するように構成された第１の回路と、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させるように構成された第２の回路と、シナプス前部およびシナプス後部のニューロンの以前のスパイクの間の１つ以上のタイミング関係に基づいてリソース考慮を決定するように構成された第３の回路と、を含む。
【００１１】
[0011]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するための手段と、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプス重みを適応させるための手段と、シナプス前部およびシナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいてリソース考慮を決定するための手段とを含む。
【００１２】
[0012]  本開示の特定の態様は、ニューラル学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させることと、シナプス前部およびシナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいてリソース考慮を決定することと、を行うためのコードを備えるコンピュータ読取可能な媒体を含む
[0013]  本開示の特定の態様は、ニューラル学習の方法を提供する。方法は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させることと、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定することとを含む。
【００１３】
[0014]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するように構成された第１の回路と、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させるように構成された第２の回路と、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定するように構成された第３の回路とを含む。
【００１４】
[0015]  本開示の特定の態様は、ニューラル学習のための装置を提供する。装置は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するための手段と、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させるための手段と、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定するための手段とを含む。
【００１５】
[0016]  本開示の特定の態様は、ニューラル学習のためのコンピュータプログラム製品を提供する。コンピュータプログラム製品は一般的に、シナプス前部のニューロンをシナプス後部のニューロンと接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調することと、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいてシナプスの重みを適応させることと、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定することとを行うためのコードを備えるコンピュータ読取可能な媒体を含む。
【図面の簡単な説明】
【００１６】
[0017]  本開示の上述された特徴が詳細に理解されうるように、上で簡潔に要約された内容についてのより詳しい説明が、複数の態様への参照によりなされ、それらのうちのいくつかは、添付の図面において示されている。しかしながら、付属の図面は、本開示の特定の典型的な態様を示しているにすぎず、この説明が同様に効果的な他の態様にも認められうるため、その範囲を制限するものと考えられるべきではない、ということに注意されたい。
【図１】図１は、本開示の特定の態様に係る、ニューロンの例示的なネットワークを示す。
【図２】図２は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンのスパイキングおよびシナプス重み適応の例を示す。
【図３】図３は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンスパイキングおよびシナプス重み適応の別の例を示す。
【図４】図４は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンスパイキングおよびシナプス重み適応の別の例を示す。
【図５】図５は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンスパイキングおよびシナプス重み適応の別の例を示す。
【図６】図６は、本開示の特定の態様に係る、ニューラル学習の例示的な動作を示す。
【図６Ａ】図６Ａは、図６に示された動作を実行することができる例示的なコンポーネントを示す。
【図７】図７は、本開示の特定の態様に係る、ニューラル学習の他の例示的な動作を示す。
【図７Ａ】図７Ａは、図７に示された動作を実行することができる例示的なコンポーネントを示す。
【図８】図８は、本開示の特定の態様に係る、ニューラル学習の他の例示的な動作を示す。
【図８Ａ】図８Ａは、図８に示された動作を実行することができる例示的なコンポーネントを示す。
【図９】図９は、本開示の特定の態様に係る、汎用プロセッサを用いたニューラル学習の例示的なソフトウェア実現を示す。
【図１０】図１０は、本開示の特定の態様に係る、メモリが個々の分散処理ユニットとインターフェースされうるニューラル学習の例示的な実現を示す。
【図１１】図１１は、本開示の特定の態様に係る、分散メモリおよび分散処理ユニットに基づくニューラル学習の例示的な実現を示す。
【発明を実施するための形態】
【００１７】
[0032]  本開示の様々な態様は、添付の図面を参照して以下により十分に説明されている。しかしながら、本開示は、多くの異なる形態で具現化されることができ、本開示全体を通して提示される任意の特定の構成または機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示を徹底的かつ完全なものとし、本開示により本開示の範囲が当業者に十分に伝達されるように、提供されるものである。本明細書に開示された開示の任意の態様は、本開示の任意の他の態様と独立して実現されようと、それらと組み合わされて実現されようと、本開示の範囲によってカバーされることが意図されている、ということを、本明細書の教示に基づき当業者は認識すべきである。例えば、本明細書で説明される任意の数の態様を使用して、装置は実現され、方法は実施されうる。さらに、本開示の範囲は、本明細書で説明される開示の様々な態様に加えて、または、それらの態様以外に、他の構造、機能、または、構造と機能を使用して実施された、そのような装置または方法をカバーすることが意図されている。本明細書に開示された内容の任意の態様が、特許請求の範囲に記載された１つ以上のエレメントによって具現化されうることは理解されるべきである。
【００１８】
[0033]  「例示的」という用語は、本明細書では、「実例、事例、または例証として提供される」を意味するために使用される。「例示的」として本明細書で説明されている任意の態様は、必ずしも、他の態様より好ましい、または、それより有利であると解釈されるべきではない。
【００１９】
[0034]  特定の態様が本明細書では説明されているが、これらの態様の多くの変形および置換は、本開示の範囲内に含まれる。好ましい態様のいくつかの利益および利点が説明されているが、本開示の範囲は、特定の利益、用途、または目的に限定されることを意図されない。むしろ、本開示の態様は、異なる技術、システム構成、ネットワーク、およびプロトコルに対して広く適用可能であることが意図され、そのうちのいくつかが、図面において、および好ましい態様の以下の説明において例として示される。詳細な説明および図面は、開示を制限するというよりはむしろ単に例示するものであり、本開示の範囲は、添付の特許請求の範囲およびその同等物によって定義される。
【００２０】
例示的なニューラルシステム
[0035]  図１は、本開示の特定の態様にしたがって、複数のレベルのニューロン（multiple levels of neurons）を有する例示的なニューラルシステム１００を示す。ニューラルシステム１００は、シナプス接続（synaptic connection）１０４のネットワークを通して、別のレベルのニューロン１０６に接続された１つのレベルのニューロン１０２を備えうる。簡潔さのために、２つのレベルのニューロンしか図１には示されていないが、典型的なニューラルシステムでは、より少ない数またはより多くの数のレベルのニューロンが存在しうる。
【００２１】
[0036]  図１に示されるように、レベル１０２内の各ニューロンは、前のレベルの複数のニューロン（図１には示されない）によって生成されうる入力信号１０８を受信しうる。信号１０８は、レベル１０２のニューロンの入力電流を表しうる。この電流は、膜電位（membrane potential）を充電する（charge）ために、ニューロン薄膜（neuron membrane）上に蓄積され（accumulated）うる。膜電位がそれの閾値に到達すると、ニューロンは、発火（fire）し、次のレベル（例えば、レベル１０６）のニューロンに転送されることとなる出力スパイクを生成しうる。
【００２２】
[0037]  あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、図１に示されたように、シナプス接続（または、簡潔に「シナプス」）１０４のネットワークを通して達成されうる。シナプス１０４は、レベル１０２のニューロン（シナプス１０４に対してシナプス前部のニューロン）から出力信号（すなわち、スパイク）を受信し、調整可能なシナプス重み  
【数１】
0005944518.tif 000002
【００２３】
（ここで、Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス接続の総数である）にしたがってこれらの信号をスケーリングしうる。さらに、スケーリングされた信号は、レベル１０６内の各ニューロン（シナプス１０４に対してシナプス後部のニューロン）の入力信号として組み合わせられうる。レベル１０６内のすべてのニューロンは、対応する組み合わせられた入力信号に基づいて、出力スパイク１１０を生成しうる。次に、出力スパイク１１０は、シナプス接続の別のネットワーク（図１には示されていない）を用いて別のレベルのニューロンに転送されうる。
【００２４】
[0038]  ニューラルシステム１００は、電気回路によってエミュレートされ、画像およびパターン認識、機械学習、モータ制御、等、広範囲のアプリケーションで利用されうる。ニューラルシステム１００内の各ニューロンは、ニューロン回路として実現されうる。出力スパイクを開始する閾値まで充電されたニューロン薄膜は、例えば、それを通る電気電流を積分する（integrate）キャパシタとして実現されうる。
【００２５】
[0039]  ある態様において、キャパシタは、ニューロン回路の電気電流積分デバイス（electrical current integrating device）として取り除かれ、その代わりに、より小さいメモリスタ（memristor）素子が使用されうる。このアプローチは、ニューロン回路だけでなく、大型のキャパシタが電気電流積分器（electrical current integrators）として使用される様々な他のアプリケーションにおいて適用されうる。加えて、シナプス１０４の各々は、メモリスタ素子に基づいて実現され、ここでシナプス重みの変化は、メモリスタ抵抗の変化に関係しうる。ナノメートル形状（nanometer feature-sized）のメモリスタの場合、ニューロン回路およびシナプスのエリアが大幅に減らされるため、かなり大規模なニューラルシステムハードウェア実現が実用的に実現されうる。
【００２６】
[0040]  図１のニューラルネットワーク１００のようなスパイキングニューラルネットワークにおける学習は典型的に、生物学的に観察されたデータに基づいてスパイクタイミング依存可塑性（ＳＴＤＰ）ルールを用いうる。そのような典型的な学習は、シナプス前部のニューロンの入力スパイクとシナプス後部のニューロンのスパイクとの間の時間差に基づいて、シナプスの重み（例えば、図１のシナプス１０４の重み）を適応させうる。しかしながら、より多くの自然スパイク列（例えば、生物学またはエンジニアリングネットワークで生じる）は、複数のスパイク（シナプス前部およびシナプス後部の両方の）を備えうる。自然スパイク列などでシナプス前部およびシナプス後部のスパイクが複数存在する場合、精密な時間に依存して長期増強（long-term potentiation）（ＬＴＰ）が支配し（dominate）うるか長期低下（long-term depression）（ＬＴＤ）が支配しうるかの感度に起因して、重み調整が単に平均となりうるため、あるいは振動し（oscillate）うるため、ＳＴＤＰルールに基づいた学習は不安定となり、収束できない可能性がある。生じうる別の問題は、ニューロンの過剰発火（over-firing）あるいは発火不足（under-firing）である。ペアワイズＳＴＤＰルール（pair-wise STDP rule）が、スパイクのペアのすべての組み合わせに適用されようと、スパイクの隣接ペアのシーケンスに適用されようと、これは問題でありうる。
【００２７】
[0041]  本開示の特定の態様は、マルチスパイク学習を安定化させ加速させるために、リソース概念に基づくエンジニアリング解（engineering solution）をサポートする。近年、典型的なＳＴＤＰルールに反して、新たな生物学的証拠が見つかった。マルチスパイクまたはスパイクレート現象（spike-rate phenomenons）を説明するために特定の理論およびモデルが提案されている。しかしながら、これらのモデルは、複雑であり、以以前のスパイク時間の履歴を維持すること、複数のフィルタを計算すること、および、性能が影響を受けやすい多数のパラメータを有することを要求する。加えて、これらのモデルは、工学的なスパイキングニューラルネットワークの他の態様から計算的に独立していない。本開示で提案されるリソースベースの方法は、計算的により簡潔で、大部分が分離可能であり、他の方法より性能が優れている。
【００２８】
スパイクタイミング依存可塑性ルールに基づいたマルチスパイク列の学習
[0042]  ＳＴＤＰ学習ルールは、シナプス前部のニューロンＡのスパイク時間ｔｐｒｅと、シナプス後部のニューロンＢのスパイク時間ｔｐｏｓｔとの時間差の関数（すなわち、Δｔ＝ｔｐｏｓｔ−ｔｐｒｅ）として、ニューロンＡをニューロンＢに接続しているシナプスのシナプス重みを効率的に適応させうる。ＳＴＤＰの典型的な公式化（formulation）は、時間差が正である（シナプス前部のニューロンがシナプス後部のニューロンの前に発火した）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後部のニューロンがシナプス前部のニューロンの前に発火した）場合に、シナプス重みを減少させる（すなわち、シナプスを低下させる）ことである。シナプス重みの変化は典型的に、以下の式によって与えられるように、指数関数減衰（exponential decay）を用いて達成されうる：  
【数２】
0005944518.tif 000003
【００２９】
ここで、τｓｉｇｎ（ΔＴ）は、時定数（time constant）であり、Ａｓｉｇｎ（ΔＴ）は、スケーリングの大きさ（scaling magnitude）であり、τｓｉｇｎ（ΔＴ）およびＡｓｉｇｎ（ΔＴ）は両方とも典型的に、時間差が正であるか負であるかに依存しうる。
【００３０】
[0043]  ＳＴＤＰ学習ルールは、１つのシナプス前部のスパイクおよび１つのシナプス後部のスパイクが存在する場合、明らかである。一方、ＳＴＤＰ学習ルールは、複数のスパイクが存在する場合、どの時間が使用されるべきか明らかではないため、明らかではない。１つの簡潔なエンジニアリング解は、スパイクに対して最新の（一番最近の）時間（the latest (most recent) times for spikes）を使用することでありうる。換言すると、すべてのペアの組み合わせを考慮する代わりに、スパイクの順次的なペアだけが考慮される。しかしながら、このアプローチに関して少なくとも２つの問題が存在する。
【００３１】
[0044]  第１に、典型的なＳＴＤＰルールに最新のスパイク時間を使用することは、安定した学習を確実にするのに不十分でありうる。例えば、シナプス前部のニューロンＡのスパイクの後にシナプス後部のニューロンＢのスパイクが続き、その次に、シナプス前部のニューロンＡの別のスパイクが続く（前部−後部−前部の三重項（pre-post-pre triplet））。ここで、問題は、ニューロンＡをニューロンＢに接続しているシナプスの重みが増加させられるべきか減少させられるべきかということである。ＳＴＤＰルールによれば、この重みは、最初に、増加させられ、次に減少させられるであろう。全体的な変化は、第１のシナプス前部のスパイクとシナプス後部のスパイク、および、第２のシナプス前部のスパイクとシナプス後部のスパイクという独立したペアのタイミングに基づくであろう。しかしながら、重み変化が互いに衝突することは明らかである。この状況は、スパイクが増えるほど、また、重みの更新が直ちに実行されずむしろ蓄積される場合に悪化しうる。
【００３２】
[0045]  第２に、典型的なＳＴＤＰ学習ルールに最新のスパイク時間を使用することは、自然マルチスパイク列における、生物学的に観察された学習効果を予測しない。むしろ、ＳＴＤＰルールは、正反対の学習効果（例えば、シナプス重みの減少というよりはむしろ増加）を予測することが多い。そのような観測されたマルチスパイク列を説明およびモデリングするために、この文献では特定の理論および方法が提案されている。しかしながら、これらの以前の方法についていくつかの問題が存在する。
【００３３】
[0046]  １つの提案される方法は、すべての組み合わせのペア（シナプス前部およびシナプス後部）に基づいた計算を要求しうる。このアプローチは、いくつかの理由により問題でありうる。第１に、重み適応は、すべてのスパイクのタイミングの関数である。ゆえに、ニューラルネットワークのエンジニアリングは、生じたすべての可能なペアのスパイクを考慮することに基づいて重み適応を計算できるように、シナプス前部およびシナプス後部のスパイクの履歴を把握しておく（keep track）ことを要求しうる。これは、下記を要求しうるため、計算的に非常に厄介でありうる：（ｉ）各スパイクｉについて有効性（efficacy）を計算するための、時間ｔｎ，ｉおよびｔｎ，ｉ−１における各ニューロンｎの連続したスパイク間の時間差  
【数３】
0005944518.tif 000004
【００３４】
ここで、τｅは、ニューロンがシナプス前部であるかシナプス後部であるかに依存した時定数である、（ｉｉ）重みの変化が次のように与えられることによる、これまでに生じたシナプス前部とシナプス後部のスパイクからなるペアの各組み合わせ、  
【数４】
0005944518.tif 000005
【００３５】
ここで、ｎは、シナプス後部のニューロンを表し、ｍは、シナプス前部のニューロンを表し、ｉおよびｊは、その対応するニューロンの以前のすべてのスパイクのインデックスである。明らかに、これは、より多くのスパイクを有するマルチスパイク列の場合、ますます厄介になりうる（メモリと計算の両方の観点から）。
【００３６】
[0047]  第２に、この方法は、生物学的に観察されたデータを正確かつ精密に予測する観点から、有効性フィルタ（efficacy filter）のための時定数パラメータに影響を受けやすい可能性がある。例えば、１つのセッティングは、スパイク三重項をより的確に予測しうるが、同時に、スパイク四重項（quadruplet）の学習の予測は、質の悪いものに帰着しうる。第３に、この学習は、有効性変数（efficacy variable）への依存性により、スパイキング挙動から完全に分離可能なわけではない。
【００３７】
[0048]  閾値タイプの簡潔なニューラルモデル（２つの区画を有する適応型指数関数積分発火モデル（adaptive exponential integrate-and-fire model with two compartments））を用いてニューラルアクティビティを予測する他の提案される方法は、レートベースの効果を説明しうる。しかしながら、この方法もまた、いくつかの理由で問題を有しうる。第１に、重み適応は、シナプストレースフィルタ（シナプス前部のニューロンｍからのシナプス入力ｘｍ（ｔ）の）と、シナプス後部のニューロンｎの膜電位ｕｎ（ｔ）の２つの分離したフィルタとを含む複数のフィルタに基づきうる。これらのフィルタは、微分方程式という形をとる。例えば、シナプス後部の膜電位フィルタのうちの１つは次のように表されうる。  
【数５】
0005944518.tif 000006
【００３８】
[0049]  これらのすべてのフィルタ（シナプスに対して１つ、かつ、ニューロンに対して２つ）は、ニューロン自体のモデルに加えられる。これらのフィルタは一般的に、時定数（すなわち、シナプス前部のニューロンに対して１つ、および、シナプス後部のニューロンに対して２つ）および閾値（重み増加に対して１つ、および、重み減少に対して１つ）の観点から定義にされる。第２に、閾値および時定数はそれらがスパイキングではなくニューロン薄膜電位の関数であるため、使用されているニューロンモデル（例えば、漏洩積分発火ニューロンモデル（a leaky integrate-and-fire neuron model）が使用されるか、イジケヴィッチ（Izhikevich）のシンプルなニューロンモデルが使用されるか、またそれ以外が使用されるか）に依存しうるため、これは明らかに複雑である。例えば、このアプローチにおいて、ニューロンモデルは、かなり複雑でありうる。すなわち、下記によって与えられるような適応型指数関数積分発火モデルである。  
【数６】
0005944518.tif 000007
【００３９】
ここで、Ｃは、膜容量（a membrane capacitance）であり、ｇＬは、漏洩コンダクタンス（a leak conductance）であり、ＥＬは、静止電位（a resting potential）であり、ΔＴは、スロープ係数（slope factor）であり、ＶＴは、閾値電位（a threshold potential）である。換言すると、ニューロンダイナミクスが変化すると、閾値および時定数は、変化させられる必要がありうる。
【００４０】
[0050]  第３に、この方法は、いくつかの生物学的に観察された学習を、スパイキングレートの関数として予測しうるが、この方法は、コルテックス（cortex）の場合についてなど、スパイクタイミング依存型学習（spike timing dependent learning）を確実に予測するわけではない。これを観察するための簡単な方法は、下記重み適応公式化における整流項（rectified term）  
【数７】
0005944518.tif 000008
【００４１】
のため、最近のシナプス後部のアクティビティが（シナプス前部−シナプス後部のペアよりも前の）存在しない限り、式（５）によって定義されたモデルでいずれの学習も生じないことである：  
【数８】
0005944518.tif 000009
【００４２】
[0051]  第４に、重み適応ルールは、ニューロンダイナミクスから分離可能ではない可能性がある。第５に、メモリおよび計算リソースが、すべてのフィルタおよび変数に対して要求されうる。
【００４３】
[0052]  本開示で提案される方法は、重み変化によって激減（depleted）し経時的に（over time）回復する、シナプスに関連付けられた学習リソースに依存してシナプス重みを適応することによって前述された問題を解決する。本開示の好ましい実施形態において、重み適応は、最後の大幅な重み変化からの時間にのみ依存しうる。ゆえに、この方法は、分離可能であり、いずれのスパイクトレースメモリも要求せず、重み変化の頻度を減らすことさえできる。
【００４４】
[0053]  本開示で提案される方法は、他の方法よりも複数の利点を提供しうる。第１に、これは、マルチスパイク列コンテキストだけでなく、単一スパイクコンテキストにおいて、安定かつ高速な学習に帰着し、単一およびマルチスパイクコンテキストにおいて、生物学的に観察された学習効果を正確かつ精密に予測しうる。第２に、提案される方法は、非常に低い複雑性を有する。学習または適応は、１つの変数にのみ依存するため、それは、履歴、フィルタリング、または、他の複雑な動作を要求しないことができる。第３に、提案される方法は、他のニューロン動作から計算的に分離可能である。重み適応は、スパイク履歴またはニューロンダイナミクスではなく最後の適応の態様に依存しうる。これはさらに、ニューロンモデルからも独立している（積分発火であろうと、漏洩積分発火であろうと、イジケヴィッチのシンプルなモデルであろうと、任意の他のスパイキングモデルであろうと）。第４に、提案される方法は、典型的で順次的なペアワイズ（pair-wise）ＳＴＤＰに対しも計算的な複雑性を減らしうる。これは、好ましい実施形態では、重み適応が実際、以前の適応に依存して回避されうるためである。このように、ニューラルネットワークのエンジニアリングは、重み変化がより少ないことで、より速く動作し、さらには、より良い性能を有しうる。これらの利点のすべてが、本開示で説明および実証されるであろう。
【００４５】
マルチスパイクニューラル学習のための新しい方法
[0054]  本開示の特定の態様は、利用可能な学習リソースおよびスパイクタイミングに依存してシナプス重みを適応させることを提供する。ある態様において、学習リソースは、シナプス変更によって激減し、経時的に回復されうる。シナプス変更の量は、利用可能な学習リソースの量によって制限されうる。本開示の特定の態様にしたがって、学習リソースは、特定のニューロンまたは区画（compartment）またはシナプスに対して利用可能な単一数量としてモデリングされうる。本開示の好ましい態様において、リソースは、シナプスごとニューロンごと（per-synapse per-neuron）でありうる。
【００４６】
[0055]  例示的なケースにおいて、各ニューロンｎは、例えば、以下のダイナミクスによって支配される（governed）膜電圧（a membrane voltage）ｖｎ（ｔ）を有するスパイキング漏洩積分発火ニューロン（a spiking leaky integrate and fire neuron）でありうる：  
【数９】
0005944518.tif 000010
【００４７】
ここで、αおよびβはパラメータであり、ｗｍ，ｎは、シナプス前部のニューロンｍをシナプス後部のニューロンｎに接続するシナプスについてのシナプス重みであり、ｙｍ（ｔ）は、ニューロンｎの細胞体（soma）に到達するまで、Δｔｍ，ｎにしたがって、樹状（dendritic）または軸索（axonal）の遅延ぶん遅らせられうるニューロンｍのスパイキング出力である。
【００４８】
[0056]  本開示のある態様において、シナプス前部ニューロンｍをシナプス後部のニューロンｎに接続するシナプスについてのシナプス重みの適応は、下記によって与えられうる:  
【数１０】
0005944518.tif 000011
【００４９】
または、インデックスを省略した後は以下の通りである：  
【数１１】
0005944518.tif 000012
【００５０】
ここで、Δｔは、シナプス後部のスパイクとシナプス前部のスパイクとの間の時間差であり、ｒ（または、ｒｍ，ｎ）は、利用可能なリソースを表す。
【００５１】
[0057]  ある態様において、すべてのリソースが利用可能である場合、ｒｍ，ｎ＝１である。一方、いずれのリソースも利用可能でない場合、ｒｍ，ｎ＝０である。いずれのリソースも利用可能でない場合に、時間差、記号、または指数を計算することすらも要求されない可能性があることに注意されたい。例えば、これらの各々について、最後の値（the latest values）が使用されうる、すなわち、次のとおりである。  
【数１２】
0005944518.tif 000013
【００５２】
本開示において、重み適応が、シナプス変化へのコミットメントがなされた時間を表す、関連付けられたリソース時間ｔｒ（それが、重み変化または他の動作の実際の時間であろうとなかろうと）を有することが提案される。ある態様において、シナプス前部のスパイク時間またはシナプス後部のスパイク時間のどちらか遅い（later）方、すなわち  
【数１３】
0005944518.tif 000014
【００５３】
に基づいてリソース時間が決定されうる。
【００５４】
[0058]  本開示好ましい態様において、式（１０）によって定義される時間は、重み適応の有効時間でありうる（重み変化がある場合）。換言すると、重みの変化は、シナプス後部の発火に応じて（シナプス前部の発火の後に）、または、シナプス前部の発火に応じて（シナプス後部の発火の後に）トリガされうる。
【００５５】
[0059]  特定の態様にしたがって、重み変化が生じると、リソースが使い切られうる（use up）。次の重み適応が考慮されている場合、最初に、利用可能なリソースの量が決定されうる。一態様において、利用可能なリソースの量は、以下にしたがって計算されうる：  
【数１４】
0005944518.tif 000015
【００５６】
ここで、リソースｒについてのニューロン添字（neuron subscripts）は、明瞭性を向上させるために省略されている。ある態様において、これが、潜在的な重み適応の時間に行われる場合、ｔｒ＝ｔ（現在の時間）であり、  
【数１５】
0005944518.tif 000016
【００５７】
は、以前の（最後の）リソース使用（重み適応）の時間である。
【００５８】
[0060]  リソースが前に激減している可能性があるため、リソース回復のためのより一般的なモデルは、下記のように与えられうる:  
【数１６】
0005944518.tif 000017
【００５９】
[0061]  代替的に、リソースの回復は、離散時間でモデリングされうる。本開示のある態様において、リソース変数ｒは、以下によって与えられるようなステップワイズな（step-wise）無限インパルス応答（ＩＩＲ）フィルタを用いて回復されうる：  
【数１７】
0005944518.tif 000018
【００６０】
ここで、係数ｃは、所望の時定数に依存して、１よりも小さい値でありうる。同等に、リソースｒ’の欠如が、リソースｒが利用可能性の代わりにモデリングされうる。ここで、ｒ＝１−ｒ’である。よって、式（１２）は、次のように簡潔にされうる：  
【数１８】
0005944518.tif 000019
【００６１】
ここで、リソース変数ｒは、次に、重み適応を定義する式（９）において、変数（１−ｒ’）と置き換えられるべきである。
【００６２】
[0062]  効率的に、前に使用されたリソース（ｒｌａｓｔ）は、最大値まで（例えば、一般性を失わない場合、１の値まで）の時定数τｒで回復しうる。ある態様において、重み変化に応じて使用されるリソースは、重み変化の関数として次のように表されうる：  
【数１９】
0005944518.tif 000020
【００６３】
重み変化の関数の例は、[０，１］という範囲の重みを利用し、リソースが使い切られる、すなわちｒｕｓｅｄ＝｜Δｗ｜であると、重み変化の絶対値を使用するためのものでありうる。加えて、スケーリング係数が適用されうる、ｒｕｓｅｄ＝｜Δｗ｜。
【００６４】
[0063]  図２は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンのスパイキングおよびシナプス重み適応の例２００を示す。図２のトレース２０２は、利用可能なリソースの量を描写する。初めは、事前にアクティビティがないため、シナプス後部のニューロンにおける利用可能なリソースは、１（最大）である。シナプス後部のスパイク２０６がシナプス前部のスパイク２０４に続く場合、シナプス重みは、それらの相対的な近似性（proximity）により、大量に（図２の矢印２０８によって示される）増加されうる。重みを変化させるために、この大きな変更は、かなりの量のリソースを使い切る。リソース２０２は、ゆっくりと補充（回復）されうるが、依然として、第２のシナプス前部のスパイク２１０の時までに、完全に回復されうるわけではない。したがって、重みの低下は、図２の小さい矢印２１２で示されるように、シナプス前部のスパイク２１０がシナプス後部のスパイク２０６に近似しているにもかかわらず、制限されうる。重みの低下２１２は、リソーストレース２０２の、同時に起こるデップ（coinciding dip）で示されるように、少量のリソースを使い切りうる。
【００６５】
[0064]  図３は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンのスパイキングおよびシナプス重み適応の例３００を示す。このケースにおいて、第１の重み変化３０２（事後−事前タイミングによる低下）は、リソース（トレース３０４によって示される）によって制限されないが、スパイク３０６とスパイク３０８との間の大きい時間差のため、小さい可能性がある。ゆえに、少量のリソースだけが使い切られ、リソースは、次のシナプス後部のスパイク３１０の時までに、ほぼ完全に回復しうる。このように、大きい重み変化３１２（スパイク３０８とスパイク３１０との近似性による）は、完全に管理されうる。図３に示されるように、重みの増加３１２は、結果的に、トレース３０４で表される多くのリソースを使い切りうる。
【００６６】
[0065]  ここで、提案される方法のいくつかの利点が、観察されうる。第１に、この方法は、計算的に、厄介ではない。第２に、提案される方法は、利用可能なリソースについての知識しか要求せず、それは、以前のスパイクがいつ生じたかではなく、最後のリソース使用からの時間の関数でありうる。第３に、提案される方法は、任意のスパイキングニューロンモデルと効率的に連動しうる。漏洩積分発火ニューロンモデルを用いて実証されているが、提案される方法は、これに依存するわけではなく、むしろ、適応タイミングにのみ依存する。さらに、この方法は、重み変化のルールにすら依存しない可能性がある（図２−３で示された指数関数であろうと、他のものであろうと）。それは、利用可能なリソースによって重み変化を変調または制約し、リソース使用を説明するためにのみ要求されうる。複数の重み変化が乗法（１＋Δｗ＝（１＋Δｗ１）・（１＋Δｗ２）・・・）であるか、加算（Δｗ＝Δｗ１＋Δｗ２＋・・・）であるかに関係なく、提案される方法が機能しうることにも注意されたい。
【００６７】
[0066]  提案される方法のさらなる利点は、好ましい実施形態で取得されうる。具体的に、計算が減らされうる。可能性のあるすべてのイベント（事前−事後または事後−事前）に応じて重みを変化させる代わりに、閾値が重み変化に適用されうる。つまり、十分な閾値の利用可能なリソース、が存在しない限り、重み変化は行われない可能性がある。すなわち、次の通りである。  
【数２０】
0005944518.tif 000021
【００６８】
ここで、ｒｍ，ｎ＞θｒは、０または１を生み出す論理的表現であり、θｒは、第１のリソース閾値である。リソースが閾値を下回った場合、重み変化の計算は要求されない可能性がある。これは、時間差についての計算およびメモリルックアップを節約しうる。
【００６９】
[0067]  さらに、リソース使用は、最小重み変化に依存して調整されうる、すなわち次の通りである。  
【数２１】
0005944518.tif 000022
【００７０】
ここで、θｗは、最小変化の閾値である。例えば、ｆ（Δｗｍ，ｎ）＝１は、重み変化の量から独立して、この動作をレンダリングするために使用されうる。この公式化では、リソースが完全に使用されるか、リソースはまったく使用されないかのいずれかである（すなわち、ｒused＝１または０である）。
【００７１】
[0068]  重み変化考慮が次の式によって与えられうるため、リソースｒではなく、最後の非ゼロリソースの使用の時間（the time of the last non-zero resource usage）  
【数２２】
0005944518.tif 000023
【００７２】
を把握しておくことが要求されうることが観察されうる：  
【数２３】
0005944518.tif 000024
【数２４】
0005944518.tif 000025
【００７３】
[0069]  τｒについての値を考慮すると、式（１８）は、  
【数２５】
0005944518.tif 000026
【００７４】
において、  
【数２６】
0005944518.tif 000027
【００７５】
についての値が求められうる。パラメータΔｔｒの取得は、以下の式によって与えられうる：  
【数２７】
0005944518.tif 000028
【００７６】
よって、式（１９）によって定義される重み変化は、以下の式によって与えられうる：  
【数２８】
0005944518.tif 000029
【００７７】
式（２２）にしたがって、最後のリソース使用からの時間がΔｔｒよりも大きい場合、重み適応は、式（２２）の余りを計算することで考慮されうる。さらに、重み変化の絶対値がθｗを上回る場合、  
【数２９】
0005944518.tif 000030
【００７８】
に設定する。そうでない場合、  
【数３０】
0005944518.tif 000031
【００７９】
を変化させないか、  
【数３１】
0005944518.tif 000032
【００８０】
に設定しうる。
【００８１】
[0070]  図４は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンのスパイキングおよびシナプス重み適応の例４００を示す。この例において、利用可能なリソースは、トレース４０２によって示されるが、  
【数３２】
0005944518.tif 000033
【００８２】
が代わりに使用されうるため、モデリングされる必要はない可能性がある。図４の線４０４は、リソース閾値θｒを示す。この場合も同様に、この閾値は、Δｔｒが代わりに利用されうるため、要求されない可能性がある。第１の重み変化４０６は、スパイク４０８および４１０の近似性を前提として、閾値を上回る。図４に示されるように、次に、リソース４０２がゼロになりうる、および／または、重み変化の時間が  
【数３３】
0005944518.tif 000034
【００８３】
として記録されうる。第２のシナプス前部のスパイク４１２の時までに、Δｔｒは経過（pass）しておらず、および／または、リソース４０２は、閾値４０４を上回る程度まで回復されていない。このように、このケースの場合、いずれの重み変化も、計算または行われない可能性がある。
【００８４】
[0071]  図５は、本開示の特定の態様に係る、シナプス前部およびシナプス後部のニューロンのスパイキングおよびシナプス重み適応の例５００を示す。図５の線５０２は、重み変化の閾値（リソース閾値ではない）を描写しており、トレース５０４は、経時的に利用可能なリソースを示す。第１の重み変化５０６（低下）が小さいため（スパイク５０８と５１０との時間間隔（time separation）により）、リソース使用が記録される必要がない、および／または、  
【数３４】
0005944518.tif 000035
【００８５】
が再設定される必要はない可能性がある。このように、第２のシナプス後部のスパイク５１２が生じる際、完全な増強重み変化５１４が生じ得、リソース使用が記録されうる（図５のトレース５０４によって示されるように）。
【００８６】
[0072]  本開示で提案されるシナプス重み適応の方法は、安定かつ高速な学習を提供し、また、シナプス重みを変更させるためにリソースが要求されうるため、生物学的な学習を予測しうる。長期の増強（ＬＴＰ，重み増加）および長期の低下（ＬＴＤ，重み減少）が独立したプロセスであることはこの論文で理論化されている。しかしながら、トリガメカニズムは、両方ともＣａ２＋ダイナミクスに基づいている場合、独立していない可能性があり、よって、ＬＴＰとＬＴＤとは関連しうる。換言すると、重み変化のためのトリガメカニズムは共通であり、生物学的に現実的な単一のリソースモデルを使用しうる。それにもかかわらず、この方法ではたった１つのリソースも使用する必要はない可能性がある。
【００８７】
[0073]  本開示で提案される方法は、２つ以上のリソースを利用し、それらの各々を特定の重み適応動作に割り当てることに拡張されうる。例えば、１つのリソースが、ＬＴＰ（長期重み増加）に対して使用され、別のリソースが、ＬＴＤ（長期重み減少）に対して使用されうる。代替的に、１つのリソースがより長期の変化に対して使用され、１つのリソースが短期の変化に対して使用されるか、またはそれらの組み合わせでありうる。例えば、  
【数３５】
0005944518.tif 000036
【００８８】
である。ここで、ｊは、特定のリソースタイプインデックスである。
【００８９】
[0074]  代替的に、同じリソースが、  
【数３６】
0005944518.tif 000037
【００９０】
で生じた変更のタイプ、すなわち  
【数３７】
0005944518.tif 000038
【００９１】
に依存して、異なるパラメータτｒ（ｊ）で１つ以上のタイプの重み変化に使用されうる：
[0075]  特定の態様によれば、リソースモデルはまた、重み変化の前よりはむしろ後にリソースが計算された場合、うまく機能する。これは、リソースの時定数が、式（２２）によって定義された好ましい実施形態の場合よりもかなり短めに設定された場合、特に効率的でありうる。前述された変更、量子化、および動作の並び替えの組み合わせなど、様々な他の変形が可能である。
【００９２】
[0076]  図６は、本開示の特定の態様に係る、ニューラル学習の例示的な動作６００を示す。６０２において、シナプス前部のニューロンからシナプス後部のニューロンへの入力は、シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって変調されうる。６０４において、シナプスの重みは、シナプスに関連付けられたリソース、重みの最後の変化からの時間、または、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうち少なくとも１つに基づいて適応されうる。
【００９３】
[0077]  本開示の特定の態様によれば、リソースは、シナプスの重みを適応させることに関連して変更されうる。さらに、リソースは、変更前のリソースの値へと、経時的に回復されうる。一態様において、リソースを変更することは、リソースを減らすことを備えうる。例えば、リソースは、適応の間にシナプスの重みの変化の絶対値に比例した量だけ減らされうる。加えて、リソースは、適応の間にシナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされうる。
【００９４】
[0078]  ある態様において、適応の間のシナプスの重みの変化は、リソースが閾値を下回ると、適用されない可能性がある。別の態様において、適応の間のシナプスの重みの変化は、最後の変化からの時間（the time since the last change）が閾値を下回る場合、適用されない可能性がある。さらに、経時的にリソースを回復させることは、時間遅延の後に、リソースの変更前の値に、リソースを回復させることを備えうる。
【００９５】
[0079]  ある態様において、リソースを変更することは、重みの適応にコミット（commit）する際に生じる。別の態様において、リソースを変更することは、重みを適応させる態様を決定する際に生じ、重みを適応させることは、それ以降に（at a later time）生じうる。例えば、重みを適応させる態様は、重みの変化量、または、重みの変化の方向のうちの少なくとも１つを備えうる。
【００９６】
[0080]  本開示の特定の態様によれば、シナプス重みを適応させることはさらに、シナプス後部のニューロンまたはシナプス前部のニューロンのスパイキングの時に効果的なシナプスの重みを更新することと、重みを更新する時に、リソースが使用された最後の時間として重みを更新する時間を記憶することと、リソースが使用された最後の時間とその他の時間との関数として、重みを更新する別の時間におけるリソースを計算することと、計算されたリソースの関数としてシナプスの重みの変化を取得することとを備えうる。１つの態様において、リソースが使用された最後の時間の値は、シナプスの重みの変化の大きさが閾値を下回る場合、上書きされない可能性がある。さらに、その他の時間からリソースが使用された最後の時間を差し引いた値が閾値よりも小さい場合、重みの変化はゼロでありうる。
【００９７】
[0081]  本開示のある態様において、重み変化は、重み変化がトリガされた時よりも後に行われうる。例えば、重み変化は、シナプス前部またはシナプス後部のイベントでトリガされ、関連付けられたリソースは、将来的に生じるであろう重み変化の量に依存して、その時またはそれ以降にコミット（説明）されうる。次に、シナプスの実際の重みが、それ以降に変更されうる（別々に）。重み変化は、蓄積され得、まとめて適用されうるか、または、より長い時間にわたってゆっくりと適用されうる。それゆえに、実際の重み変化およびリソースモデリングが時間的に離れていることは理解されるべきである。
【００９８】
[0082]  本開示のある態様において、リソースは、シナプス前部とシナプス後部のスパイクの以前のペア間の複数の相対的タイミングと、それらのペア間の相対的タイミングとの等化関数（equivalent function）によってモデリングされうる。換言すると、シナプスの重みを適応させることは、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングとシナプスに関連付けられたリソース考慮とに基づき、そのリソース考慮は、シナプス前部とシナプス後部のニューロンのスパイク間の複数のタイミング関係、および、複数間のタイミング関係に基づいて決定されうる。
【００９９】
[0083]  図７は、本開示の特定の態様にしたがったニューラル学習の例示的な動作７００を示す。７０２において、シナプス前部のニューロンからシナプス後部のニューロンへの入力は、シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって変調されうる。７０４において、シナプスの重みは、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいて適応されうる。７０６において、リソース考慮は、シナプス前部およびシナプス後部のニューロンの以前のスパイクの間の１つ以上のタイミング関係に基づいて決定されうる。
【０１００】
[0084]  本開示のある態様において、１つ以上のタイミング関係は、シナプス前部およびシナプス後部のニューロンの以前のスパイクのペア間の時間差についての情報を備えうる。別の態様において、１つ以上のタイミング関係は、以前のスパイクのペアと以前のスパイクの別のペアとの間の時間差についての情報を備えうる。さらに別の態様において、１つ以上のタイミング関係は、以前のスパイクのペアが生じてからの時間についての情報を備えうる。
【０１０１】
[0085]  図８は、本開示の特定の態様に係るニューラル学習の例示的な動作８００を示す。８０２において、シナプス前部のニューロンからシナプス後部のニューロンへの入力は、シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって変調されうる。８０４において、シナプスの重みは、シナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングおよびシナプスに関連付けられたリソース考慮に基づいて適応されうる。８０６において、リソース考慮は、重みの変化への以前のコミットメントからの時間量に基づいて決定されうる。本開示のある態様において、重みの変化は、重みの変化にコミットした後の時間に生じうる。
【０１０２】
[0086]  図９は、本開示の特定の態様に係る、汎用プロセッサ９０２を用いたニューラル学習のための前述された方法の例示的なソフトウェア実現９００を示す。計算ネットワーク（ニューラルネットワーク）の各接続（シナプス）に関連付けられた重みは、メモリブロック９０４に記憶され、一方で、汎用プロセッサ９０２で実行されている、ニューラル学習に関連した命令は、プログラムメモリ９０６からロードされうる。本開示のある態様において、汎用プロセッサ９０２にロードされた命令は、シナプス前部のニューロンをシナプス後部のニューロンに接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調するためのコードと、シナプスに関連付けられたリソース（シナプス考慮）、重みの最後の変化からの時間、またはシナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させるためのコードと、シナプス前部およびシナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいてリソース考慮を決定するためのコードと、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定するためのコードとを備えうる。
【０１０３】
[0087]  図１０は、本開示の特定の態様にしたがって、メモリ１００２が、計算ネットワーク（ニューラルネットワーク）の個々の（分散された）処理ユニット（ニューラルプロセッサ）１００６との相互接続ネットワーク１００４を介してインターフェースされることができるニューラル学習のための前述された方法の例示的な実現１０００を示す。計算ネットワーク（ニューラルネットワーク）の１つ以上の接続（シナプス）に関連付けられた１つ以上の重みは、相互接続ネットワーク１００４の接続を介してメモリ１００２から、各処理ユニット（ニューラルプロセッサ）１００６へとロードされうる。本開示のある態様において、処理ユニット１００６は、シナプス前部のニューロンをシナプス後部のニューロンに接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調し、シナプスに関連付けられたリソース（シナプス考慮）、重みの最後の変化からの時間、またはシナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させ、シナプス前部およびシナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいてリソース考慮を決定し、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定するように構成されうる。
【０１０４】
[0088]  図１１は、本開示の特定の態様に係る、分散重みメモリ１１０２および分散処理ユニット（ニューラルプロセッサ）１１０４に基づいたニューラル学習のための前述された方法の例示的な実現１１００を示す。図１１に示されるように、１つのメモリバンク１１０２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１１０４と直接インターフェースされ、そのメモリバンク１１０２は、その処理ユニット（ニューラルプロセッサ）１１０４に関連付けられた１つ以上の接続（シナプス）の１つ以上の重みを記憶しうる。本開示のある態様において、処理ユニット１１０４は、シナプス前部のニューロンをシナプス後部のニューロンに接続するシナプスの重みによって、シナプス前部のニューロンからシナプス後部のニューロンへの入力を変調し、シナプスに関連付けられたリソース（シナプス考慮）、重みの最後の変化からの時間、またはシナプス前部のニューロンとシナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいてシナプスの重みを適応させ、シナプス前部およびシナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいてリソース考慮を決定し、重みの変化への以前のコミットメントからの時間量に基づいてリソース考慮を決定するように構成されうる。
【０１０５】
[0089]  上に説明された方法の様々な動作は、対応する機能を実行することが可能な任意の適切な手段によって実行されることができる。これらの手段は、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含むがそれらに限定されない様々なハードウェアおよび／またはソフトウェアコンポーネント、および／またはモジュールを含みうる。一般的に、動作が図面に示されている場合、それらの動作は、同様の参照番号が付された、対応する対照の手段プラス機能コンポーネント（corresponding counterpart means-plus-function components）を有しうる。例えば、図６、７、および８に示される動作６００、７００、および８００は、図６Ａ、７Ａ、および８Ａに示されたコンポーネント６００Ａ、７００Ａ、および８００Ａに対応する。
【０１０６】
[0090]  本明細書で使用される場合、「決定すること」という用語は、幅広い動作を含む。例えば、「決定すること」は、算出すること、計算すること、処理すること、導出すること、調査すること、ルックアップすること（例えば、テーブル、データベース、または別のデータ構造をルックアップすること）、確実にすること、等を含みうる。また、「決定すること」は、受信すること（例えば、情報を受信すること）、アクセスすること（例えば、メモリ内のデータにアクセスすること）、等を含みうる。また、「決定すること」は、解決すること、選択すること、選ぶこと、確立すること、等を含みうる。
【０１０７】
[0091]  本明細書において使用される場合、項目のリスト「のうちの少なくとも１つ」という表現は、単一のメンバを含む、それらの項目の任意の組み合わせを指す。例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃをカバーすることが意図される。
【０１０８】
[0092]  本開示に関連して説明された、様々な実例となる論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、ディスクリートゲートまたはトランジスタ論理、ディスクリートハードウェアコンポーネント、あるいは、本明細書で説明された機能を実行するように設計されたそれらの任意の組み合わせを用いて、実現または実行されうる。汎用プロセッサは、マイクロプロセッサでありうるが、代替的に、プロセッサは、任意の市販の入手可能なプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンでありうる。プロセッサはまた、計算デバイスの組み合わせ、例えば、ＤＳＰと１つのマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと結合された１つ以上のマイクロプロセッサ、または任意の他のそのような構成として実現されうる。
【０１０９】
[0093]  本開示に関連して説明された方法またはアルゴリズムのステップは、ハードウェアで直接的に、プロセッサによって実行されるソフトウェアモジュールで、またはその２つの組み合わせで、具現化されうる。ソフトウェアモジュールは、当技術分野で知られている任意の形の記憶媒体中に存在しうる。使用されうる記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ、等を含む。ソフトウェアモジュールは、単一の命令または多数の命令を備えることができ、いくつかの異なるコードセグメントにわたって、異なるプログラム間で、および複数の記憶媒体にわたって分散されうる。記憶媒体は、プロセッサが記憶媒体から情報を読み取り、記憶媒体に情報を書き込むことができるように、プロセッサに結合されうる。代替的に、記憶媒体は、プロセッサに組み込まれうる。
【０１１０】
[0094]  本明細書において開示される方法は、説明された方法を達成するための１つ以上のステップまたは動作を備える。方法のステップおよび／または動作は、特許請求の範囲から逸脱することなく互いに置き換えられうる。換言すると、ステップまたは動作の特定の順序が指定されていない限り、特定のステップおよび／または動作の順序および／または使用は、特許請求の範囲から逸脱することなく、変更されうる。
【０１１１】
[0095]  説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらのいずれかの組み合わせで実現されうる。ソフトウェアで実現される場合、これらの機能は、コンピュータ読取可能な媒体上で、１つ以上の命令またはコードとして送信または記憶されうる。コンピュータ読取可能な媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体とコンピュータ記憶媒体との両方を含む。記憶媒体は、コンピュータによってアクセスされることができる入手可能な任意の媒体でありうる。限定ではなく例として、そのようなコンピュータ読取可能な媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは、命令またはデータ構造の形態で所望のプログラムコードを搬送または記憶するために使用されることができ、かつ、コンピュータによってアクセスされることができる任意の他の媒体を備えることができる。また、任意の接続は、厳密にはコンピュータ読取可能な媒体と称される。例えば、ソフトウェアが、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、媒体の定義に含まれる。ディスク（disk）およびディスク（disc）は、本明細書で使用される場合、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、およびブルーレイ（登録商標）ディスクを含み、ディスク（disk）は通常、磁気的にデータを再生するが、ディスク（disc）は、レーザーを用いて光学的にデータを再生する。このように、いくつかの態様において、コンピュータ読取可能な媒体は、非一時的なコンピュータ読取可能な媒体（例えば、有形媒体）を備えうる。さらに、他の態様では、コンピュータ読取可能な媒体は、一時的なコンピュータ読取可能な媒体（例えば、信号）を備えうる。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
【０１１２】
[0096]  このように、特定の態様は、本明細書に提示された動作を実行するためのコンピュータプログラム製品を備えうる。例えば、そのようなコンピュータプログラム製品は、命令を記憶（および／またはコード化）したコンピュータ読取可能な媒体を備えることができ、それらの命令は、本明細書で説明された動作を実行するために１つ以上のプロセッサによって実行可能である。特定の態様では、コンピュータプログラム製品は、パーケージ材料を含むことができる。
【０１１３】
[0097]  ソフトウェアまたは命令群はまた、送信媒体を通して送信されうる。例えば、ソフトウェアが、ウェブサイト、サーバ、または他のリモートソースから、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波のようなワイヤレス技術を使用して送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波のようなワイヤレス技術は、送信媒体の定義に含まれる。
【０１１４】
[0098]  さらに、本明細書に説明された方法および技法を実行するためのモジュールおよび／または他の適切な手段が、ユーザ端末および／または基地局によって、適宜、ダウンロードされ、および／または、他の手段で取得されることは認識されるべきである。例えば、そのようなデバイスは、本明細書に説明された方法を実行するための手段の移送を容易にするために、サーバに結合されることができる。代替的に、本明細書で説明された様々な方法は、記憶手段（例えば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクのような物理記憶媒体、等）を介して提供されることができ、それによって、ユーザ端末および／または基地局は、記憶手段をデバイスに結合または提供して、様々な方法を取得することができる。さらに、本明細書に説明された方法および技法をデバイスに提供するための任意の他の適切な技法が利用されることができる。
【０１１５】
[0099]  特許請求の範囲は、上記に例示された精密な構成およびコンポーネントに限定されるわけではないということが理解されるべきである。様々な変更、変化、および変形が、本願の特許請求の範囲から逸脱せずに、上述された方法および装置の配列、動作、および詳細に対してなされることができる。
【０１１６】
[00100]  上記は、本開示の態様に関するものであるが、本開示の他の態様およびさらなる態様は、その基本的な範囲から逸脱せずに考案されることができ、その範囲は、下記の請求項によって決定される。
なお、本願の出願当初の請求項と同一の記載を以下に付記する。
［Ｃ１］ ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプスに関連付けられたリソース、前記重みの最後の変化からの時間、または、前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいて前記シナプスの重みを適応させることと
を備える方法。
［Ｃ２］ 前記シナプスの重みを適応させることに関連して前記リソースを変更することと、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させることと
をさらに備える、Ｃ１に記載の方法。
［Ｃ３］ 前記リソースを変更することは、前記リソースを減らすことを備える、Ｃ２に記載の方法。
［Ｃ４］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、Ｃ３に記載の方法。
［Ｃ５］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、Ｃ３に記載の方法。
［Ｃ６］ 経時的に前記リソースを回復することは、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させること
を備える、Ｃ２に記載の方法。
［Ｃ７］ 前記リソースを変更することは、前記重みを適応することにコミットする際に生じる、
Ｃ２に記載の方法。
［Ｃ８］ 前記リソースを変更することは、前記重みを適応する態様を決定する際に生じ、
前記重みを適応することは、それ以降に生じる、
Ｃ２に記載の方法。
［Ｃ９］ 前記重みを適応する前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、Ｃ８に記載の方法。
［Ｃ１０］ 前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、Ｃ１に記載の方法。
［Ｃ１１］ 前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの時間が閾値を下回る場合、適用されない、Ｃ１に記載の方法。
［Ｃ１２］ 前記シナプスの重みを適応させることはさらに、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新することと、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶することと、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算することと、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得することと
を備える、Ｃ１に記載の方法。
［Ｃ１３］ 前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、Ｃ１２に記載の方法。
［Ｃ１４］ 前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、Ｃ１２に記載の方法。
［Ｃ１５］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプスに関連付けられたリソース、前記重みの最後の変化からの時間、または、前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいて前記シナプスの重みを適応させるように構成された第２の回路と
を備える装置。
［Ｃ１６］ 前記シナプスの重みを適応させることに関連して前記リソースを変更するように構成された第３の回路と、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させるように構成された第４の回路と
をさらに備える、Ｃ１５に記載の装置。
［Ｃ１７］ 前記リソースを変更することは、前記リソースを減らすることを備える、Ｃ１６に記載の装置。
［Ｃ１８］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、Ｃ１７に記載の装置。
［Ｃ１９］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、Ｃ１７に記載の装置。
［Ｃ２０］ 前記第４の回路はまた、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させる
ように構成される、Ｃ１６に記載の装置。
［Ｃ２１］ 前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、Ｃ１６に記載の装置。
［Ｃ２２］ 前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
Ｃ１６に記載の装置。
［Ｃ２３］ 前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、Ｃ２２に記載の装置。
［Ｃ２４］ 前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、Ｃ１５に記載の装置。
［Ｃ２５］ 前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、Ｃ１５に記載の装置。
［Ｃ２６］ 前記第２の回路はまた、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新し、
前記重み更新の時に、前記リソースが使用された最後の時間として前記重みを更新する時間を記憶し、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算し、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得する
ように構成される、Ｃ１５に記載の装置。
［Ｃ２７］ 前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、Ｃ２６に記載の装置。
［Ｃ２８］ 前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、Ｃ２６に記載の装置。
［Ｃ２９］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプスに関連付けられたリソース、前記重みの最後の変化からの時間、または、前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいて前記シナプスの重みを適応させるための手段と
を備える装置。
［Ｃ３０］ 前記シナプスの重みを適応させることに関連して前記リソースを変更するための手段と、
前記変更の前に、前記リソースの値へと、経時的に前記リソースを回復させるための手段と
をさらに備える、Ｃ２９に記載の装置。
［Ｃ３１］ 前記リソースを変更するための手段は、前記リソースを減らすための手段を備える、Ｃ３０に記載の装置。
［Ｃ３２］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、Ｃ３１に記載の装置。
［Ｃ３３］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、Ｃ３１に記載の装置。
［Ｃ３４］ 経時的に前記リソースを回復させるための前記手段は、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させるための手段
を備える、Ｃ３０に記載の装置。
［Ｃ３５］ 前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、Ｃ３０に記載の装置。
［Ｃ３６］ 前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
Ｃ３０に記載の装置。
［Ｃ３７］ 前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、Ｃ３６に記載の装置。
［Ｃ３８］ 前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、Ｃ２９に記載の装置。
［Ｃ３９］ 前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、Ｃ２９に記載の装置。
［Ｃ４０］ 前記シナプスの重みを適応させるための前記手段は、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新するための手段と、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶するための手段と、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算するための手段と、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得するための手段と
を備える、Ｃ２９に記載の装置。
［Ｃ４１］ 前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの変化の大きさが閾値を下回る場合、上書きされない、Ｃ４０に記載の装置。
［Ｃ４２］ 前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、Ｃ４０に記載の装置。
［Ｃ４３］ ニューラル学習のためのコンピュータプログラム製品であって、コンピュータ読取可能な媒体を備え、前記コンピュータ読取可能な媒体は、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプスに関連付けられたリソース、前記重みの最後の変化からの時間、または、前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングのうちの少なくとも１つに基づいて前記シナプスの重みを適応させることと
を行うためのコードを備える、コンピュータプログラム製品。
［Ｃ４４］ 前記コンピュータ読取可能な媒体はさらに、
前記シナプスの重みを適応させることに関連して前記リソースを変更することと、
前記変更の前の前記リソースの値へと、経時的に前記リソースを回復させることと
を行うためのコードを備える、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ４５］ 前記リソースを変更することは、前記リソースを減らすことを備える、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ４６］ 前記リソースは、前記適応の間の前記シナプスの重みの変化の絶対値に比例した量だけ減らされる、Ｃ４５に記載のコンピュータプログラム製品。
［Ｃ４７］ 前記リソースは、前記適応の間に前記シナプスの重みの変化の絶対値が閾値を上回る場合、ゼロに減らされる、Ｃ４５に記載のコンピュータプログラム製品。
［Ｃ４８］ 前記コンピュータ読取可能な媒体はさらに、
時間遅延の後に、前記変更の前の前記値に前記リソースを回復させること
を行うためのコードを備える、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ４９］ 前記リソースを変更することは、前記重みを適応させることにコミットする際に生じる、Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ５０］ 前記リソースを変更することは、前記重みを適応させる態様を決定する際に生じ、
前記重みを適応させることは、それ以降に生じる、
Ｃ４４に記載のコンピュータプログラム製品。
［Ｃ５１］ 前記重みを適応させる前記態様は、前記重みの変化量、または、前記重みの変化の方向のうちの少なくとも１つを備える、Ｃ５０に記載のコンピュータプログラム製品。
［Ｃ５２］ 前記適応の間の前記シナプスの重みの変化は、前記リソースが閾値を下回る場合、適用されない、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ５３］ 前記適応の間の前記シナプスの重みの変化は、前記最後の変化からの前記時間が閾値を下回る場合、適用されない、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ５４］ 前記コンピュータ読取可能な媒体はさらに、
前記シナプス後部のニューロンまたは前記シナプス前部のニューロンのスパイキングの時に効率的な前記シナプスの重みを更新することと、
前記重み更新の時に、前記リソースが使用された最後の時間として、前記重みを更新する時間を記憶することと、
前記リソースが使用された前記最後の時間とその他の時間との関数として、前記重みを更新する別の時間における前記リソースを計算することと、
前記計算されたリソースの関数として、前記シナプスの重みの変化を取得することと
を行うためのコードを備える、Ｃ４３に記載のコンピュータプログラム製品。
［Ｃ５５］ 前記リソースが使用された前記最後の時間の値は、前記シナプスの重みの前記変化の大きさが閾値を下回る場合、上書きされない、Ｃ５４に記載のコンピュータプログラム製品。
［Ｃ５６］ 前記他の時間から前記リソースが使用された前記最後の時間を差し引いた値が閾値よりも小さい場合、前記重みの変化はゼロである、Ｃ５４に記載のコンピュータプログラム製品。
［Ｃ５７］ ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて前記リソース考慮を決定することと
を備える方法。
［Ｃ５８］ 前記１つ以上のタイミング関係は、前記シナプス前部および前記シナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、Ｃ５７に記載の方法。
［Ｃ５９］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、Ｃ５７に記載の方法。
［Ｃ６０］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、Ｃ５７に記載の方法。
［Ｃ６１］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させように構成された第２の回路と、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて、前記リソース考慮を決定するように構成された第３の回路と
を備える装置。
［Ｃ６２］ 前記１つ以上のタイミング関係は、前記シナプス前部および前記シナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、Ｃ６１に記載の装置。
［Ｃ６３］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、Ｃ６１に記載の装置。
［Ｃ６４］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、Ｃ６１に記載の装置。
［Ｃ６５］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて前記シナプスの重みを適応させるための手段と、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて、前記リソース考慮を決定するための手段と
を備える装置。
［Ｃ６６］ 前記１つ以上のタイミング関係は、前記シナプス前部およびシナプス後部のニューロンの前記以前のスパイクのペア間の時間差についての情報を備える、Ｃ６５に記載の装置。
［Ｃ６７］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、Ｃ６５に記載の装置。
［Ｃ６８］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアが生じてからの時間についての情報を備える、Ｃ６５に記載の装置。
［Ｃ６９］ ニューラル学習のためのコンピュータプログラム製品であって、コンピュータ読取可能な媒体を備え、前記コンピュータ読取可能な媒体は、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記シナプス前部および前記シナプス後部のニューロンの以前のスパイク間の１つ以上のタイミング関係に基づいて前記リソース考慮を決定することと
を行うためのコードを備える、コンピュータプログラム製品。
［Ｃ７０］ 前記１つ以上のタイミング関係は、前記シナプス前部およびシナプス後部のニューロンとの前記以前のスパイクのペア間の時間差についての情報を備える、Ｃ６９に記載のコンピュータプログラム製品。
［Ｃ７１］ 前記１つ以上のタイミング関係は、前記以前のスパイクのペアと、前記以前のスパイクの別のペアとの間の時間差についての情報を備える、Ｃ６９に記載のコンピュータプログラム製品。
［Ｃ７２］ 前記１つ以上のタイミング関係は、前記以前のスパイクが生じてからの時間についての情報を備える、Ｃ６９に記載のコンピュータプログラム製品。
［Ｃ７３］ ニューラル学習のための方法であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて前記シナプスの重みを適応させることと、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定することと
を備える方法。
［Ｃ７４］ 前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、Ｃ７３に記載の方法。
［Ｃ７５］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するように構成された第１の回路と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させるように構成された第２の回路と、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定するように構成された第３の回路と
を備える装置。
［Ｃ７６］ 前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、Ｃ７５に記載の装置。
［Ｃ７７］ ニューラル学習のための装置であって、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調するための手段と、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させるための手段と、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定するための手段と
を備える装置。
［Ｃ７８］ 前記重みの変化、前記重みの変化にコミットした後の時間に生じる、Ｃ７７に記載の装置。
［Ｃ７９］ ニューラル学習のためのコンピュータプログラム製品であって、コンピュータ読取可能な媒体を備え、前記コンピュータ読取可能な媒体は、
シナプス前部のニューロンとシナプス後部のニューロンとを接続するシナプスの重みによって、前記シナプス前部のニューロンから前記シナプス後部のニューロンへの入力を変調することと、
前記シナプス前部のニューロンと前記シナプス後部のニューロンのスパイクタイミングおよび前記シナプスに関連付けられたリソース考慮に基づいて、前記シナプスの重みを適応させることと、
前記重みの変化への以前のコミットメントからの時間量に基づいて、前記リソース考慮を決定することと
を行うためのコードを備える、コンピュータプログラム製品。
［Ｃ８０］ 前記重みの変化は、前記重みの変化にコミットした後の時間に生じる、Ｃ７９に記載のコンピュータプログラム製品。
【図１】
0005944518.tif 000039
【図２】
0005944518.tif 000040
【図３】
0005944518.tif 000041
【図４】
0005944518.tif 000042
【図５】
0005944518.tif 000043
【図６】
0005944518.tif 000044
【図６Ａ】
0005944518.tif 000045
【図７】
0005944518.tif 000046
【図７Ａ】
0005944518.tif 000047
【図８】
0005944518.tif 000048
【図８Ａ】
0005944518.tif 000049
【図９】
0005944518.tif 000050
【図１０】
0005944518.tif 000051
【図１１】
0005944518.tif 000052