(57)【要約】【目的】 ニューラル・ネットワークのニューロン素子
利用効率の向上に伴なう学習時間の短縮【構成】 パーセプトロン構造のニューラル・ネットワークの中間層のニューロン素子の信号入力用のシナプス荷重を乱数に基づいて初期設定し、閾値設定用のシナプス荷重を出力情報エントロピーが最大になる値に初期設定する。

(2)1【特許請求の範囲】【請求項１】 複数の入力信号にそれぞれ対応するシナプス荷重を乗算して加算し、閾値との大小に対応する信号を出力するニューロン素子（ｓｉ）（ａｊ）（ｒｋ）
を複数個有しているとともに、少なくとも一部のニューロン素子（ａｊ）（ｒｋ）が他のニューロン素子（ｓｉ）（ａｊ）からの出力信号を入力信号として受取るべく接続されてなり、しかも外部に出力される処理結果信号と教師信号との差信号に基づいてニューロン素子（ａｊ）（ｒｋ）のシナプス荷重が変化されるニューラル・ネットワークにおいて、各ニューロン素子（ａｊ）の複数の入力信号に対応するシナプス荷重が任意に初期設定されているとともに、閾値に対応するシナプス荷重が、エントロピーが最大になる所定値に初期設定されていることを特徴とするニューラル・ネットワーク。
【請求項２】 ニューロン素子（ａｊ）が加算値と閾値との大小に対応する２値信号を出力するものである請求
項１に記載のニューラル・ネットワーク。
【発明の詳細な説明】【０００１】【従来の技術】この発明は複数のニューロン素子同士を互に接続して閾値処理を行ない、外部に出力される処理結果信号と教師信号との差に基づいて各ニューロン素子のシナプス荷重を上記差が小さくなるように変化させるべく学習を行なうニューラル・ネットワークに関する。
【０００２】【従来の技術】従来からニューラル・ネットワークとして、パーセプトロン構造のもの、連想型構造のもの等が提案されている。図３はパーセプトロン構造のニューラル・ネットワークの構成を概略的に示す図であり、入力パターンとしての外部信号を入力とするＬ個のニューロン素子を有する入力層Ｓと、処理結果信号を出力するＮ個のニューロン素子を有する出力層Ｒと、Ｍ個のニューロン素子を有し、入力層Ｓと出力層Ｒとの間に設けられた中間層Ａとから構成されている。そして、入力層Ｓの各ニューロン素子が中間層Ａの全てのニューロン素子と接続されているとともに、中間層Ａの各ニューロン素子が出力層Ｒの全てのニューロン素子と接続されている。
また、中間層Ａのニューロン素子は入力層Ｓの全てのニューロン素子とシナプス結合され、出力層Ｒの各ニューロン素子も中間層Ａの全てのニューロン素子とシナプス結合されており、しかも中間層Ａの各ニューロン素子の閾値に対応するシナプス荷重が学習により変化されるとともに、出力層Ｒの各ニューロン素子の入力信号に対応するシナプス荷重が学習により変化されるようにしている。
【０００３】したがって、学習初期にはシナプス荷重が適正値ではない可能性が高いのであるから出力信号が教師信号と大巾に異なっているが、学習回数の増加に伴なって各シナプス荷重が適正値に近づき、出力信号が教師

1020304050

特開平５−４６５８２2信号に近づく。この結果、十分な学習を行なわせたニューラル・ネットワークに任意の入力パターンを与えるだ
けで所期の出力信号が得られるようになる。
【０００４】【発明が解決しようとする課題】従来のニューラル・ネ
ットワークにおいては、各ニューロン素子の入力信号に対応するシナプス荷重および閾値に対応するシナプス荷重を初期設定する場合に乱数を用いているのであるから、閾値に該当するシナプス荷重を乗算して得られる閾値が入力信号に対応する各シナプス荷重に比して十分大きな値となる場合、または十分小さい値となる場合がある。そして、閾値が各シナプス荷重に対して十分大きい値をとれば、該当するニューロン素子の出力が通常の学習継続回数に拘らず常に０になってしまい、逆に、閾値が各シナプス荷重に対して十分小さい値をとれば、該当するニューロン素子の出力が通常の学習継続回数に拘らず常に１になってしまう。したがって、該当するニューロン素子は入力パターンの変化に対応する出力信号の変化には全く寄与しないことになる。この結果、該当するニューロン素子の数だけニューロン素子が少ないニューラル・ネットワークと同様にしか機能し得ず、処理精度の低下、学習効率の低下を招いてしまうという不都合がある。さらに、シナプス荷重を乱数によって初期設定するのであるから、該当するニューロン素子の数を予測することが全くできないので、上述の不都合を解消することができず、したがって、ある程度該当するニューロン素子が存在していても十分な処理精度を達成できるようにニューロン素子を増加させることが考えられるが、ニューロン素子の増加に伴なって学習所要時間が著しく長くなってしまう。
【０００５】以上には中間層が１層だけの単純パーセプトロン構造のニューラル・ネットワークのみについて説明したが、中間層が２層以上のパーセプトロン構造のニューラル・ネットワーク、連想型構造のニューラル・ネットワーク等についても同様の不都合が生じる。
【０００６】【発明の目的】この発明は上記の問題点に鑑みてなされたものであり、通常の学習継続回数に拘らず出力が常に所定値になるニューロン素子を殆ど皆無にできる新規なニューラル・ネットワークを提供することを目的としている。
【０００７】【課題を解決するための手段】上記の目的を達成するための請求項１のニューラル・ネットワークは、ニューラル・ネットワークを構成する各ニューロン素子の複数の入力信号に対応するシナプス荷重が任意に初期設定されているとともに、閾値に対応するシナプス荷重が、エントロピーが最大になる所定値に初期設定されている。
【０００８】請求項２のニューラル・ネットワークは、ニューロン素子が加算値と閾値との大小に対応する２値(3)3信号を出力するものである。
【０００９】【作用】請求項１のニューラル・ネットワークであれ
ば、入力パターンに基づいて得られる出力信号と教師信号との差信号を各ニューロン素子にフィードバックしてシナプス荷重を変化させることによりニューラル・ネットワークの学習を行なう場合に、各ニューロン素子の複数の入力信号に対応するシナプス荷重は乱数等に基づいて任意に初期設定されていても、閾値に対応するシナプス荷重が、エントロピーが最大になる所定値に初期設定されているのであるから、ある程度の学習を行なわせる
ことにより殆ど全てのニューロン素子が入力パターンの変化に対応する出力信号の変化に寄与することになる。
したがって、ニューロン素子の数が同じであれば従来のニューラル・ネットワークと比較して学習回数を著しく少なくでき、従来のニューラル・ネットワークと同程度の処理精度のニューラル・ネットワークを構成するために必要なニューロン素子の数を著しく少なくできる。
【００１０】請求項２のニューラル・ネットワークであれば、各ニューロン素子が２値信号を出力するのであるから、エントロピーが最大になる閾値、即ち、閾値に対応するシナプス荷重を簡単に算出でき、ニューラル・ネットワークの初期設定作業を著しく簡素化できる。
【００１１】【実施例】以下、実施例を示す添付図面によって詳細に説明する。図３はこの発明のニューラル・ネットワークの一実施例を示す単純パーセプトロン構造のニューラル・ネットワークの構成を示す概略図であり、入力パターンとしての外部信号を入力とするＬ個のニューロン素子
ｓ１，ｓ２，・・・，ｓＬを有する入力層Ｓと、処理結果信号を出力するＮ個のニューロン素子ｒ１，ｒ２，・・・，ｒＮを有する出力層Ｒと、Ｍ個のニューロン素子
ａ１，ａ２，・・・，ａＭを有し、入力層Ｓと出力層Ｒとの間に設けられた中間層Ａとから構成されている。そして、入力層Ｓの各ニューロン素子ｓｉが中間層Ａの全てのニューロン素子ａ１，ａ２，・・・，ａＭと接続されているとともに、中間層Ａの各ニューロン素子ａｊが出力層Ｒの全てのニューロン素子ｒ１，ｒ２，・・・，ｒＮと接続されている。また、中間層Ａのニューロン素子ａｊは入力層Ｓの全てのニューロン素子ｓ１，ｓ２，・・・，ｓＬとシナプス結合され、出力層Ｒの各ニューロン素子ｒｋも中間層Ａの全てのニューロン素子ａ１，ａ２，・・・，ａＭとシナプス結合されており、しかも中間層Ａの各ニューロン素子ａｊの閾値に対応するシナプス荷重Ｗａｊ０が学習により変化されるとともに、出力層Ｒの各ニューロン素子ｒｋの入力信号に対応するシナプス荷重Ｗｒｋｊが学習により変化されるようにしている。
【００１２】図２は中間層Ａのニューロン素子ａｊの構成を示す概略図であり、シナプス荷重ＷａｊＪを入力信1020

特開平５−４６５８２4号に乗算する信号用シナプス結合部ＳＣｊＪおよびシナプス荷重Ｗａｊ０を閾値に乗算する閾値用シナプス結合部ＳＣｊ０を有しているとともに、信号用シナプス結合部からの入力信号を加算して加算値と閾値用シナプス結合部からの閾値との大小に対応して２値信号を出力する
閾値ユニットＴＨを有している。そして、信号用シナプ
ス結合部ＳＣｊＪのシナプス荷重ＷａｊＪが乱数に基づいてランダムに初期設定されているとともに、閾値用シ
ナプス結合部ＳＣｊ０のシナプス荷重Ｗａｊ０が、情報エントロピーが最大になるように初期設定されている。
尚、閾値用シナプス結合部ＳＣｊ０には定数 −１ が供給されている。
【００１３】図１は中間層Ａのニューロン素子ａｊに対するシナプス荷重の初期設定処理を説明するフローチャートであり、ステップＳＰ１において乱数を用いてニューロン素子ａｊの全ての信号用シナプス荷重ＷａｊＪおよび閾値用シナプス荷重Ｗａｊ０を設定し、ステップＳ
Ｐ２において中間層Ａの全てのニューロン素子ａｊについて設定処理が行なわれたと判別されるまでステップＳＰ１の処理を反復する。ステップＳＰ２において全てのニューロン素子ａｊについて設定処理が行なわれたと判別された場合には、ステップＳＰ３において何れかのニューロン素子ａｊを選択し、ステップＳＰ４において入力層Ｓに全ての入力パターンを入力し、各入力パターン毎に数１の演算を行なって入力刺激Ｉｐｊを求める。但し、ＯｐｓＪは入力層Ｓのニューロン素子ｓＪの出力を、ｇは入力パターンのみを示す。
【００１４】【数１】30

次いで、ステップＳＰ５において数２の演算を行なって入力刺激Ｉｐｊが閾値Ｗａｊ０以上である場合の数Ｘを算出する。但し、ｕ（ｘ）はｘ≧０の場合に１となり、ｘ＜０の場合に０となる単位関数である。
【００１５】【数２】
4050

そして、ステップＳＰ６において、算出された場合の数
g‑1
Ｘが２ （但し、ｇは入力層Ｓから出力される事象の数を示している）と等しいか否かを判別し、等しくないと判別された場合には、ステップＳＰ７において次の演算を行なって閾値用シナプス荷重Ｗａｊ０を補正する。
gＷａｊ０＝Ｗａｊ０＋ε・（１−Ｘ／２ ）ここで、εとは荷重の収束速度および安定性に影響を及ぼすパラメータであり、微小な正の数に設定される。
g‑1【００１６】ステップＳＰ６においてＸ＝２ と判別

(4)特開平５−４６５８２56
された場合、またはステップＳＰ７の処理が行なわれた＊ 処理を行なう。
後は、ステップＳＰ８において中間層Ａの全てのニュー【００１７】さらに詳細に説明すると、入力層Ｓから出ロン素子に対して初期設定処理が行なわれたか否かを判力される事象の数がｇ通りあり、それぞれの生起確率が別し、初期設定処理が全てのニューロン素子について行
ｐ１，ｐ２，・・・，ｐｇである場合のエントロピーはなわれた場合にはそのまま初期設定処理を終了する。逆数３で与えられる。に、初期設定が行なわれていないニューロン素子が存在【００１８】
している場合には、ステップＳＰ９において該当するニ【数３】ューロン素子の何れかを選択し、再びステップＳＰ４の＊

また、この実施例において採用されているニューロン素※ ピーが最大値をとる。
子は ０ と １ の２つの事象を生起するので、それ【００１９】ここで、入力層ＳのＬ個のニューロン素子ぞれの生起確率をそれぞれｐｏ１，ｐｏ０とすれば、に全ての入力パターンが等確率で入力される場合に中間ｐｏ１＝１−ｐｏ０
層Ａのニューロン素子ａｊの出力が １ となる確率Ｐが成立し、ｐ＝ｐｏ１として情報エントロピーＨ（ｐ）ａｊ１は数４で与えられる。
を図示すれば図４に示すとおりになり、ｐ＝１／２の場【００２０】
合、即ちｐｏ１＝ｐｏ０＝１／２の場合に情報エントロ※【数４】

したがって、数５が成立する閾値用シナプス荷重Ｗａｊ★ 【００２１】０を算出することにより情報エントロピーを最大にでき
【数５】
る。
★

上記実施例はこの知見と一致しており、閾値用シナプス荷重Ｗａｊ０を情報エントロピーが最大になるように初 30期設定できていることが分る。図５は上記実施例に基づ
くニューラル・ネットワークの中間層Ａのニューロン素子数と学習回数との関係を示す図であり、図４中に破線で示す従来のニューラル・ネットワークの場合と比較して、中間層Ａのニューロン素子数が同一であれば学習回数を１／３以下にできたことが分る。
【００２２】また、入力パターンに対して反応しないニューロン素子を殆ど皆無にできるのであるから、中間層Ａのニューロン素子の数を従来のニューロン素子数の１／２程度にまで減少させることが可能であり、この場合 40にも同程度の処理能力を達成できる。また、以上の実施
例は各ニューロン素子が２値信号を出力する場合について説明しているので、情報エントロピーを最大にする閾値用シナプス荷重を簡単に得ることができている。
【００２３】尚、この発明は上記の実施例に限定されるものではなく、例えば、複数の中間層を有するニューラ
ル・ネットワーク、連想型のニューラル・ネットワーク等に適用することが可能であるほか、バックプロパゲーション則に基づく学習を行なうニューラル・ネットワー
クの学習速度の高速化に適用することが可能であり、そ 50の他、この発明の要旨を変更しない範囲内において種々の設計変更を施すことが可能である。
【００２４】【発明の効果】請求項１の発明は、ニューロン素子の数が同じであれば従来のニューラル・ネットワークと比較して学習回数を著しく少なくでき、従来のニューラル・ネットワークと同程度の処理精度のニューラル・ネットワークを構成するために必要なニューロン素子の数を著しく少なくできるという特有の効果を奏する。
【００２５】請求項２の発明は、エントロピーが最大になる閾値、即ち、閾値に対応するシナプス荷重を簡単に算出でき、ニューラル・ネットワークの初期設定作業を著しく簡素化できるという特有の効果を奏する。
【図面の簡単な説明】【図１】中間層のニューロン素子に対するシナプス荷重の初期設定処理を説明するフローチャートである。
【図２】中間層のニューロン素子の構成を示す概略図である。
【図３】この発明のニューラル・ネットワークの一実施例を示す単純パーセプトロン構造のニューラル・ネットワークの構成を示す概略図である。
【図４】情報エントロピーの変化を示す図である。

(5)特開平５−４６５８２

78【図５】中間層のニューロン素子数と学習回数との関係＊ 【符号の説明】を説明する図である。
＊ｓｉ，ａｊ，ｒｋ ニューロン素子
【図１】

【図４】

【図５】

(6)

【図２】

【図３】

特開平５−４６５８２