(57)【要約】【課題】探索時の学習スピードをさらに高速化し、強化学習への拡張が可能な神経回路素子モデルを提供することを目的とする。【解決手段】本発明は、シナプス履歴の変化を膜電位依存としたことで、個別の履歴の獲得が可能であり、シナプス履歴の時間変化のコントラストを明確にできるという、２つの学習効果を表現できるようにしたものである。本発明の神経回路素子は、複数の入力信号に応答して信号を出力する素子であって、それぞれの入力信号を時系列順に履歴値として積算し記憶する履歴記憶部と、逆伝播される出力信号と前記入力信号にそれぞれ対応する結合係数との積の総和により決定される膜電位を有し該膜電位がしきい値を超えた場合に発火して出力信号を出力する神経素子部とを備えている。履歴値は膜電位に依存し、神経素子部の発火時に履歴値に従って結合係数が強化または減衰される学習が行われる。【選択図】図１
2004133798.tif 000002
【特許請求の範囲】
【請求項１】
複数の入力信号に応答して信号を出力する神経回路素子であって、
それぞれの入力信号を時系列順に履歴値として積算し記憶する履歴記憶部と、
逆伝播される出力信号と前記入力信号にそれぞれ対応する結合係数との積の総和により決定される膜電位を有し、該膜電位がしきい値を超えた場合に発火して前記出力信号を出力する神経素子部とを備えており、
前記履歴値は膜電位に依存し、前記結合係数が前記神経素子部の発火時に前記履歴値に従って強化または減衰される学習を実行する、神経回路素子。
【請求項２】
前記履歴値は、行動の結果与えられる強化信号に依存しており、
該強化信号は、自己が行動して実際に得られた結果と、行動をとった時に得られると期待される報酬期待値の差分により与えられる、請求項１記載の神経回路素子。
【請求項３】
請求項２の神経回路素子を複数組み合わせることによって強化学習を実行することができる神経回路学習装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ニューラルネットワークにおける神経回路素子の構成に関する。
【０００２】
【従来の技術】
近年、大脳基底核の妥当なモデルとして多くの研究者が用いているＢａｒｔｏらの拡張ＴＤモデルは、生物学的には不自然な点が多く、機能も限定される。例えば、彼らの学習はＨｅｂｂ型ではなく、強化信号さえあればそのときに発火しなくても過去に入力と発火の同期があればＬＴＰ（ｌｏｎｇ　ｔｅｒｍ　ｐｏｔｅｎｔｉａｔｉｏｎ）が生じる。実際、発火しなくともシナプス伝達効率が変化するという知見はあるものの、それは主機能ではない。むしろ、神経細胞のＬＴＰでは、Ｈｅｂｂ的特性と、シナプスに与えられる入力の時間パターンに大きく作用されることが機能的には重要である。
【０００３】
Ｈｅｂｂ的特性は、近年はＬａｒｋｕｍやＢｉ　＆　Ｐｏｏらによる拡張的理解が進み、短い時間窓での入力パターンでさえ重要であることが分かってきている。シナプスでそのような時間的情報が表現できると、予測的情報処理が容易になる。
【０００４】
Ｂａｒｔｏの拡張ＴＤでは、この予測的処理を導入するために、入力のｅｌｉｇｉｂｉｌｉｔｙという基準をモデルに導入している。しかし、発火時の入力のみ記憶するというこの履歴の場合、その履歴から得られるものは予測と言うより時間的貢献度であり、その時点では入力は無いが継続的なプロセスにより発火するような予測的振る舞いが表現できない。
【０００５】
重松および松本の神経モデル（特公平７−１０９６０９）は、シナプスに入力履歴を持たせ、発火時の逆伝播によりシナプス伝達効率を変化させるというものである。シナプス入力履歴により、前述の時間情報が表現されるため、ｅｌｉｇｉｂｉｌｉｔｙは必要ない。また、シナプス入力履歴は発火しなくとも行われるため、経時的プロセスを経て初めて発火するような時間的情報を表現できる。さらに、発火したときのみ逆伝播によりシナプス伝達効率を変化させるため、効率が良く、出力に必要な情報の学習スピードが速い。
【０００６】
【発明が解決しようとする課題】
しかし、重松らのモデルは、出力が明確でない探索時の学習スピードが遅く、またどのような目的に適用できるかの具体的な記載が記されていない。
【０００７】
そこで、本発明は、探索時の学習スピードをさらに高速化し、強化学習への拡張が可能な神経回路素子モデルを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、シナプス履歴の変化を膜電位依存としたことで、個別の履歴の獲得が可能であり、シナプス履歴の時間変化のコントラストを明確にできるという、２つの学習効果を表現できるようにしたものである。
【０００９】
本発明の一形態は、複数の入力信号に応答して信号を出力する神経回路素子であって、それぞれの入力信号を時系列順に履歴値として積算し記憶する履歴記憶部と、逆伝播される出力信号と前記入力信号にそれぞれ対応する結合係数との積の総和により決定される膜電位を有し、該膜電位がしきい値を超えた場合に発火して前記出力信号を出力する神経素子部とを備えており、前記履歴値は膜電位に依存し、前記結合係数は前記神経素子部の発火時に前記履歴値に従って強化または減衰する学習を実行する、神経回路素子である。
【００１０】
この形態によれば、発火しなくとも履歴は記憶され、また膜電位が高くない状況では履歴は記憶されにくく、膜電位が上がり発火に近づくにつれ履歴の記憶が強くなるので、処理が早く、選択的になる。さらに、履歴値に応じて結合係数の強化・減衰が行われるので、時系列的な入力値に相関性を持たせることができる。なお、履歴記憶部とはシナプスに対応し、神経素子部とは膜電位に応じて発火する部分に対応する。
【００１１】
本発明の別の形態では、履歴値は行動の結果与えられる強化信号に依存しており、この強化信号は、自己が行動して実際に得られた結果と、行動をとった時に得られるであろうと期待する報酬期待値の差分により与えられる。
【００１２】
この形態によれば、逆伝播を強化信号により制御することができるので、神経回路素子を強化学習に適用することが可能になる。
【００１３】
【発明の実施の形態】
図１を参照して本発明の一実施形態である神経回路素子を説明する。
【００１４】
神経回路素子ｉは、それぞれｊ個の神経回路素子から入力Ｘｊ（ｔ−１）を受けて動作するものとし、入力Ｘｊ（ｔ−１）は結合係数ｗｉｊを経て神経回路素子内部に集積される。ここで、結合係数ｗｉｊは入力Ｘｊ（ｔ−１）の信号を受けて変化する膜電位の量であり、神経回路素子間の結合効率を表す。膜電位Ｖｉ（ｔ）は、次式で表される。
【００１５】
【数１】
2004133798.tif 000003
【００１６】
この膜電位Ｖｉ（ｔ）が予め定められたしきい値θより大きいとき、神経回路素子ｉは発火して、Ｘｉ（ｔ）を出力する。本実施形態では、入力信号Ｘｊ（ｔ−１）および出力信号Ｘｉ（ｔ）は、実際の生体神経細胞と同じくデジタル的なパルス（１，０）である。すなわち、膜電位Ｖｉ（ｔ）がしきい値より大きいときパルスを発生し（Ｘｉ（ｔ）＝１）、しきい値より小さいときパルスは発生しない（Ｘｉ（ｔ）＝０）。これを式で表すと、以下のようになる。
【００１７】
【数２】
2004133798.tif 000004
【００１８】
なお、入力信号をパルス頻度（アナログ値）にすることで連続情報を扱うこともできる。
【００１９】
以上説明したような神経回路素子を多数組み合わせることによって、ニューラルネットワークを構成することができる。各神経回路素子は、アナログ回路またはデジタル回路で実現することができる。また、同様の機能をソフトウェアで実現しても良い。
【００２０】
神経回路素子が発火（出力）するときに、その神経回路素子に入力する別の神経回路素子へ逆向きに電位を伝搬させることで、この神経回路素子に時系列学習を行わせることができる。この逆伝播の性質に着目した神経回路の時系列学習方法は、上述の特公平７−１０９６０９により提案されている。この学習モデルでは、入力を得たシナプス（重みｗｉｊ）は、ある期間その情報を履歴Ｈｉｊ（ｔ）として記憶しており、実際の出力時に生じる逆伝搬Ｖｉ（ｔ）によりシナプス（重みｗｉｊ）の強化および減衰を行う。これによって神経回路素子に時系列情報を記憶させることが可能となる。
【００２１】
本発明では、この履歴値の方程式に膜電位の項が加えられる。すなわち、シナプス履歴の変化が膜電位依存となるようにした。これによって、個別の履歴の獲得が可能であり、シナプス履歴の時間変化のコントラストを明確にできるという、２つの学習効果を表現できるようになる。
【００２２】
神経回路素子の入力の履歴値Ｈｉｊ（ｔ）は、次式のように表される。
【００２３】
【数３】
2004133798.tif 000005
【００２４】
ここで、Ｕｉは内部強化信号を表す（内部強化信号については後述する）。λは第一項と第二項の比率を決めるパラメータである。上式のように、シナプスの履歴は、強化信号と膜電位と入力の積により変化する。
【００２５】
履歴値を式（３）のように表すことによって、神経回路素子ｉが発火した時のみ、第一項が前回の履歴値に加えられることになる。さらに、神経回路素子ｉが発火しないときでも履歴値が記憶される（前回の履歴値のまま維持される）ようになる。
【００２６】
さらに、結合係数ｗｉｊ（シナプス）の増分は、履歴値Ｈｉｊ（ｔ）を用いて以下のように表される。
【００２７】
【数４】
2004133798.tif 000006
【００２８】
ここで、αは実験等により定められる定数、ｙはＶｉ（ｔ）＞θのときｙ＝１となる変数である。従って、結合係数ｗｉｊ（シナプス）は神経回路素子の各入力の履歴値を保持して、発火時（ｙ＝１）の履歴値がしきい値Ｈｉ０より大きいときには神経回路素子ｊからの結合係数ｗｉｊが増強され、しきい値Ｈｉ０以下の時にはｗｉｊが減衰されるような学習を実行する。
【００２９】
また、本発明では、発火後にシナプス履歴がリセットされることとした。発火により生じる強い逆伝播がシナプス履歴をリセットするようにすれば、発火後の入力へのＬＴＤ（ｌｏｎｇ　ｔｅｒｍ　ｄｅｐｒｅｓｓｉｏｎ）が自然に生じる。この短い時間窓でのＬＴＰとＬＴＤの急激な変化は、継時的情報を効率良く探索・学習するのに適しており、探索時の学習スピードを高速化する。
【００３０】
次に、神経回路素子にて強化学習を行う方法について説明する。
【００３１】
強化学習を現実問題に応用する上でより重要なのは、報酬が一連の出力系列の結果として与えられる場合である。このような遅延報酬課題では、今すぐ得られる報酬の予測だけでなく、これから先どれくらいの報酬が得られそうかという長い視野での予測が重要な意味を持つ。もし報酬の長期予測が可能なら、複数の選択肢のうち長期的に見てより多くの報酬につながる行動を選択したり、報酬の予測値の増減を、現時点での出力に対する強化信号とみなして、最終的な結果を待たずに強化学習を進めることが可能になる。
【００３２】
従来の神経回路素子では、内部強化信号Ｕｉが環境因子だけで単純に決定されるものもある。しかし、本発明では次式のように行動の結果に依存して決定されるようにした。ここで、「行動」とは、本発明の複数の神経回路素子が組み込まれた、ロボット等の行動体による行動のことを意味する。
【００３３】
【数５】
2004133798.tif 000007
【００３４】
ｓｉ（ｔ）は、神経回路素子ｉの時刻ｔにおける行動であり、Ｓｉ（ｔ）はこれら一連の行動（戦略）を表している。また、Ｕｉチルダー（ｓｉ（ｔ−１））は、自己が行動して実際に得られた結果を意味する。
【００３５】
ｐｉ（ｓｉ（ｔ），ｔ）は、行動Ｓｉをとった時に得られるであろうと期待する報酬期待値であり、次式のように与えられる。
【００３６】
【数６】
2004133798.tif 000008
【００３７】
内部強化信号Ｕｉは、上記Ｕｉチルダーとｐｉの差分で表される。
【００３８】
以上説明したように、履歴を膜電位依存にすることで、神経回路素子が発火しなくとも履歴は記憶され、膜電位が高くない状況では履歴は記憶されにくく、膜電位が上がり発火に近づくにつれ履歴の記憶が強くなるので、履歴の差別化ができ、結果として選択性が高くなり、学習性能が改善される。また、神経回路素子レベルで強化信号により逆伝播を制御するようにしたことで、強化学習が可能となる。
【００３９】
図２は、本発明の神経回路素子の学習の様子を説明するグラフである。図２の（１）〜（３）はそれぞれシナプス１、２、３への入力を示しており、「０」または「１」の何れかの入力が与えられる。（４）は神経回路素子の膜電位、（５）は神経回路素子の出力を示しており、出力が「１」となる時に神経回路素子は「発火」する。（６）〜（８）は、（１）〜（３）のシナプス１、２、３それぞれの履歴値である。
【００４０】
図２の点線部に注目すると、神経回路素子が発火した時には膜電位が大きく低下している（図２のＡを参照）のに対して、発火しなかった時は膜電位は低下しない。これにより、履歴値のコントラストが明確になる。また、入力と発火のタイミングに応じて履歴値が変化していることから、本発明の神経回路素子は発火タイミングに応じて学習性を獲得していることが分かる。また、発火の後に重みが下げられている履歴値もある（図２のＢを参照）。このように、履歴値にコントラストが付けられるので、学習力も向上する。
【００４１】
本発明の神経回路素子は、既に述べたような強化学習や、他のニューラル学習に適用することができる。また、本発明の神経回路素子は、Ｃｒｉｔｉｃ−Ａｃｔｏｒモデルにおいても使用することができる。
【００４２】
【発明の効果】
本発明によれば、発火しなくとも履歴は記憶され、膜電位が高くない状況では履歴は記憶されにくく、膜電位が上がり発火に近づくにつれ履歴の記憶が強くなるので、処理が早く、選択的になる。
【００４３】
さらに、逆伝播が強化信号により影響を受けるので、神経回路素子を強化学習に適用することが可能になる。
【図面の簡単な説明】
【図１】本発明の神経回路素子の機能ブロック図である。
【図２】本発明の神経回路素子の学習の様子を説明するグラフである。
【図１】
2004133798.tif 000009
【図２】
2004133798.tif 000010