(57)【特許請求の範囲】
【請求項１】
パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１】
0003618007.tif 000030
と正規化項“λＱ（θ）”とからなる関数
【数２】
0003618007.tif 000031
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足することを特徴とするニューラルネットワークの学習装置。
【請求項２】
パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数３】
0003618007.tif 000032
と正規化項“λＱ（θ）”とからなる関数
【数４】
0003618007.tif 000033
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足することを特徴とするニューラルネットワークの学習装置。
【請求項３】
正則化項をパラメータの個数が少ない数式により設定したことを特徴とする請求項１又は２記載のニューラルネットワークの学習装置。
【請求項４】
パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数５】
0003618007.tif 000034
と正規化項“λＱ（θ）”とからなる関数
【数６】
0003618007.tif 000035
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足することを特徴とするニューラルネットワークの学習方法。
【請求項５】
パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数７】
0003618007.tif 000036
と正規化項“λＱ（θ）”とからなる関数
【数８】
0003618007.tif 000037
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足することを特徴とするニューラルネットワークの学習方法。
【請求項６】
正則化項をパラメータの個数が少ない数式により設定したことを特徴とする請求項４又は５記載のニューラルネットワークの学習方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、ニューラルネットワークの学習装置及び学習方法に関する。
【０００２】
【従来の技術】
現在、画像認識、画像分類、音声認識、音声分類、運動制御、システム制御、知能システムなど、フォンノイマンコンピュータでは困難な信号処理を実行するため、ニューラルネットワークを利用することが提案されている。このようなニューラルネットワークは、多数のニューロンをシナプスにより結合してネットワークを形成したもので、学習する機能を有する。
【０００３】
ニューラルネットワークの学習方法としては、各種方法が提案されているが、その一つとして損失関数を最小化させる方法がある。例えば、ニューラルネットワークが“ｘ”の入力に対して“ｙ”を出力する場合、これは“θ”なるパラメータを有する“ｆ”なる関数により“ｙ＝ｆ（θ：ｘ）”として表現される。そこで、適正な組み合わせのｎ個の学習データ“ｘｉ  ，ｙｉ  ”（ｉ＝１〜ｎ）を用意し、学習データ“ｘｉ  ”をニューラルネットワークに入力し、このニューラルネットワークから出力されるデータ“ｙ”と学習データ“ｙｉ  ”とを比較し、この隔たりを示す損失関数
【０００４】
【数９】
0003618007.tif 000002
【０００５】
が最小化されるようパラメータ“θ”を修正する。このようにニューラルネットワークのパラメータ“θ”を修正することにより、このパラメータ“θ”を真のパラメータに収束させることができるので、データ“ｘ”の入力に対して適正なデータ“ｙ”を出力するようにニューラルネットワークを学習させることができる。
【０００６】
現在、このような損失関数によるニューラルネットワークの学習方法の改良案として、損失関数に適当な正則化項を付加することが知られている。この場合、損失関数に正則化項“λＱ（θ）”を付加した関数
【０００７】
【数１０】
0003618007.tif 000003
【０００８】
を想定し、これが最小化されるようニューラルネットワークのパラメータ“θ”を修正する。なお、以下の説明では、損失関数に正則化項を付加した関数を付加損失関数と呼称する。
【０００９】
【発明が解決しようとする課題】
上述のように付加損失関数により、さらに良好にニューラルネットワークを学習させることができる。
【００１０】
しかし、上述のような付加損失関数を利用したニューラルネットワークの学習方法は、真のパラメータ“θ”が一つの場合には有効であるが、真のパラメータ“θ”が複数の場合には、その限りでない。
【００１１】
請求項１記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１１】
0003618007.tif 000004
と正規化項“λＱ（θ）”とからなる関数
【数１２】
0003618007.tif 000005
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足する。
【００１６】
請求項２記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習装置において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１３】
0003618007.tif 000006
と正規化項“λＱ（θ）”とからなる関数
【数１４】
0003618007.tif 000007
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足する。
【００２１】
請求項３記載の発明は、請求項１又は２記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００２２】
請求項４記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１５】
0003618007.tif 000008
と正規化項“λＱ（θ）”とからなる関数
【数１６】
0003618007.tif 000009
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜ｎ
を満足する。
【００２７】
請求項５記載の発明は、パラメータを有する関数“ｆ”によりデータ“ｘ”の入力に対してデータ“ｙ”を出力するニューラルネットワークを利用し、
ニューラルネットワークの学習に適正な組み合わせのｎ個の学習データ“ｘi，ｙi”（ｉ＝１〜ｎ）が予め設定されたデータ記憶手段と、
前記データ記憶手段から一の学習データ“ｘi”を読み出し前記ニューラルネットワークに入力するデータ入力手段と、
前記ニューラルネットワークによって出力された“ｙ”と前記データ記憶手段から前記データ入力手段に読み出された学習データ“ｘi”に対応する“ｙi”を前記データ記憶手段から読み出して比較するデータ比較手段と、
前記データ比較手段によって比較された“ｙ”と“ｙi”の隔たりからパラメータθを修正するパラメータ修正手段と、
を接続したニューラルネットワークの学習方法において、
前記データ比較手段が前記データ入力手段により学習データ“ｘi”を前記ニューラルネットワークに入力して出力されるデータ“ｙ”と学習データ“ｙi”とを比較し、前記パラメータ修正手段がこの隔たりを示す損失関数
【数１７】
0003618007.tif 000010
と正規化項“λＱ（θ）”とからなる関数
【数１８】
0003618007.tif 000011
が最小化されるようパラメータθを修正する際に、
正則化項の係数“λ”が、
λ＝−αn／ｎ
０＜αn＜√ｎ
を満足する。
【００３２】
請求項６記載の発明は、請求項４又は５記載の発明において、正則化項をパラメータの個数が少ない数式により設定した。
【００３３】
【作用】
請求項１及び４記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が真のパラメータの任意の一つに収束される。
【００３４】
請求項２及び５記載の発明では、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜√ｎ
を満足するので、ニューラルネットワークのパラメータ“θ”が複数の真のパラメータの特定の一つに収束される。
【００３５】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないので、ニューラルネットワークのパラメータ“θ”が、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。
【００３６】
【実施例】
本発明の一実施例を図１及び図２に基づいて以下に説明する。まず、本実施例の学習装置１は、図１に示すように、データ記憶手段２、データ入力手段３、データ比較手段４、パラメータ修正手段５、を有しており、ニューラルネットワーク６に接続されている。
【００３７】
このニューラルネットワーク６は、可変自在なパラメータ“θ”を有する関数“ｆ”が設定された多層パーセプトロンからなり、データ“ｘ”の入力に対してデータ“ｙ”を出力する。
【００３８】
そして、前記データ記憶手段２には、ニューラルネットワーク６の学習に適正な組み合わせの学習データ“ｘｉ  ，ｙｉ  ”が予め設定されている。前記データ入力手段３は、前記データ記憶手段２から一つの学習データ“ｘｉ  ”を読み出して前記ニューラルネットワーク６に入力し、前記データ比較手段４は、前記ニューラルネットワーク６から出力されるデータ“ｙ”と前記データ記憶手段２から読み出した学習データ“ｙｉ  ”とを比較する。前記パラメータ修正手段５は、“ｙ”と“ｙｉ  ”との隔たりを示す付加損失関数が予め設定されており、この付加損失関数が最小化されるよう前記ニューラルネットワーク６のパラメータ“θ”を設定する。
【００３９】
そして、本実施例の学習装置１では、損失関数
【００４０】
【数１９】
0003618007.tif 000012
【００４１】
と正則化項“λＱ（θ）”とからなる関数である付加損失関数が
【００４２】
【数２０】
0003618007.tif 000013
【００４３】
として設定されており、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜ｎ
を満足する。なお、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”は、
【００４４】
【数２１】
0003618007.tif 000014
【００４５】
として、パラメータの個数が少ない数式により設定されている。
【００４６】
このような構成において、本実施例の学習装置１におけるニューラルネットワーク６の学習方法を、図２に基づいて以下に説明する。
【００４７】
まず、パラメータ修正手段５によりニューラルネットワーク６のパラメータ“θ”をランダムに初期化し、データ入力手段３によりデータ記憶手段２から一つの学習データ“ｘｉ  ”を読み出してニューラルネットワーク６に入力する。すると、このニューラルネットワーク６は、パラメータ“θ”を有する関数“ｆ”により、学習データ“ｘｉ  ”の入力に対応してデータ“ｙ”を出力する。この時、データ比較手段４は、学習データ“ｘｉ  ”に対応した学習データ“ｙｉ  ”をデータ記憶手段２から読み出しており、この学習データ“ｙｉ  ”とニューラルネットワーク６の出力データ“ｙ”とを比較する。
【００４８】
そこで、パラメータ修正手段５は、比較結果を評価してニューラルネットワーク６のパラメータ“θ”を修正し、この“θ”で付加損失関数“Ｌｎ（θ）”を計算する。つぎに、この付加損失関数“Ｌｎ（θ）”を充分に小さな閾値“ε”と比較し、この閾値“ε”より付加損失関数“Ｌｎ（θ）”が小さい場合は処理を終了する。なお、閾値“ε”より付加損失関数“Ｌｎ（θ）”が大きい場合は、データ入力手段３によりデータ記憶手段２から次の学習データ“ｘｉ  ”が読み出されて処理が繰り返される。
【００４９】
上述のように学習をｎ個の学習データにより順次繰り返すことにより、付加損失関数“Ｌｎ（θ）”が最小化されるよう、ニューラルネットワーク６のパラメータ“θ”が設定されるので、これは真のパラメータに確率収束される。この時、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”が
【００５０】
【数２２】
0003618007.tif 000015
【００５１】
として設定されており、
０＜αｎ  ＜ｎ
を満足するので、真のパラメータが複数の場合でも、ニューラルネットワーク６のパラメータ“θ”は真のパラメータの一つに確率収束される。しかも、正則化項“λＱ（θ）”が、
【００５２】
【数２３】
0003618007.tif 000016
【００５３】
として、パラメータの個数が少ない数式により設定されているので、学習データ“ｘｉ  ，ｙｉ  ”の個数が増大すると、ニューラルネットワーク６のパラメータ“θ”は、真のパラメータの集合のうち個数が最小のものに確率収束される。
【００５４】
そこで、このことを以下に順次説明する。なお、より詳細には、本発明者が発表した“「縮退したＦｉｓｈｅｒ  情報行列を持つ系の学習について」信学技報  ＮＣ９４−５６（１９９４−１２）Ｐ４１〜Ｐ４８  ”に開示されている。また、以下の説明では、最適な組み合わせの学習データ“ｘ，ｙ”を一つの学習データ“ｘ”として表現する。
【００５５】
まず、推定するパラメータ“θ”の確率密度“Ｐ（ｘ｜θ）”により、付加損失関数
【００５６】
【数２４】
0003618007.tif 000017
【００５７】
を設定する。真のパラメータの集合“Θ”が一点ではなく多様体であると想定し、ここでは“θ＝（θ１  ，θ２）（θ１  ∈Θ）”と表現する（なお、“θ２  ”は“θ１  ”毎に局所座標に従って“δθ１”にユークリッドの意味で直角になるようにとる）。すると、付加損失関数は、
【００５８】
【数２５】
0003618007.tif 000018
【００５９】
となるので、一般的な一致性として“θ１  →Θ”を仮定すると、“θ２  →０”となる。つまり、
【００６０】
【数２６】
0003618007.tif 000019
【００６１】
となる。なお、
Ｒ＝Ｏ（θ２３）＋（αｎ  ／ｎ）Ｏ（θ２２）
である。
【００６２】
この場合、第一項は、“θ”によらない定数であり、第二項は、中心極限定理により平均が“０”で共分散行列が“Ｆ（θ１）／√ｎ”であるような正規分布に従う。なお、
【００６３】
【数２７】
0003618007.tif 000020
【００６４】
であり、第三項は、大数の定理により、
−（１／２）Ｆ（θ１）θ２θ２′
に収束される。
【００６５】
以上のことより、“ｖ”を“Ｎ（０，Ｉ）に従う確率変数とすると（“Ｉ”は“Ｆ（θ１）”次の単位行列）、
【００６６】
【数２８】
0003618007.tif 000021
【００６７】
となる。なお、“Ｒ′”は、
Ｒ′＝Ｏ（θ２３）＋Ｏ（１／√ｎ）Ｏ（θ２２）＋Ｏ（１／ｎ）Ｏ（θ２）＋（αｎ／ｎ）Ｏ（θ２２）
であるので、平方完成すると、
【００６８】
【数２９】
0003618007.tif 000022
【００６９】
となる。この場合、“Ｆ（θ１）＞０”とすると、第一項を“０”にするような“θ２  ”をとることができる（但し、αｎ  ＝  ｏ（√ｎ）の仮定は必要）。この時、第二項の大きさは“αｎ  ／ｎ＋‖ｖ‖２  ／２ｎ”となるが、“‖ｖ‖２  ”について学習データの出方の平均をとると“ｒａｎｋＦ（θ１）”となる。
【００７０】
従って、“θ１  ”が“θ０（これは“Ｑ（θ１，０）”を最大にする“θ１  ”である）”に収束される十分条件は、付加損失関数が
【００７１】
【数３０】
0003618007.tif 000023
【００７２】
の場合に、正則化項の係数“λ”が、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜ｎ
を満足することである。この条件を満足した場合、
【００７３】
【数３１】
0003618007.tif 000024
【００７４】
となり、その分布は、
【００７５】
【数３２】
0003618007.tif 000025
【００７６】
である。なお、
【００７７】
【数３３】
0003618007.tif 000026
【００７８】
である。
【００７９】
しかも、本実施例の学習装置１の学習方法では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”が、
【００８０】
【数３４】
0003618007.tif 000027
【００８１】
として、パラメータ“θ”の個数が少ない数式により設定されているので、ニューラルネットワーク６のパラメータ“θ”は、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束される。このようにパラメータ“θ”の個数が少ない数式は、
【００８２】
【数３５】
0003618007.tif 000028
【００８３】
など、
【００８４】
【数３６】
0003618007.tif 000029
【００８５】
の形であれば良い。
【００８６】
なお、本実施例では付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ  ／ｎ”の場合に“０＜αｎ  ＜ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータの任意の一つに確率収束させることを例示した。しかし、本発明は上記実施例に限定されるものではなく、“０＜αｎ  ＜√ｎ”を満足することにより、ニューラルネットワーク６のパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに確率収束させることも可能である。
【００８７】
また、本実施例の学習装置１では、付加損失関数“Ｌｎ（θ）”の正則化項“λＱ（θ）”の係数が“−αｎ  ／ｎ”の場合に、“０＜αｎ  ＜ｎ”か“０＜αｎ  ＜√ｎ”かを満足することを例示したが、これを“１＜αｎ  ＜ｎ”や“１＜αｎ  ＜√ｎ”とすることにより、より良好にパラメータを確率収束させることも可能である。さらに、本実施例では、ニューラルネットワーク６が多層パーセプトロンからなることを例示したが、本発明は上記実施例に限定されるものではなく、ボルツマンマシンなどのニューラルネットワークにも適用可能である。
【００８８】
【発明の効果】
請求項１及び４記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を真のパラメータの一つに収束させることができる。
【００８９】
請求項２及び５記載の発明は、損失関数に付加する正則化項の係数“λ”が、
λ＝−αｎ  ／ｎ
０＜αｎ  ＜√ｎ
を満足することにより、ニューラルネットワークのパラメータ“θ”を、真のパラメータのうち正則化項“λＱ（θ）”を最大とする特定の一つに収束させることができる。
【００９０】
請求項３及び６記載の発明では、正則化項の数式のパラメータの個数が少ないことにより、ニューラルネットワークのパラメータ“θ”を、複数の真のパラメータのうち結合荷重のパラメータの個数が少ないものに収束させることができる。
【図面の簡単な説明】
【図１】本発明の一実施例のニューラルネットワークの学習装置を示すブロック図である。
【図２】ニューラルネットワークの学習方法を示すフローチャートである。
【符号の説明】
１    学習装置
３    データ入力手段
４    データ比較手段
５    パラメータ修正手段
６    ニューラルネットワーク
【図１】
0003618007.tif 000038
【図２】
0003618007.tif 000039