1(57)【特許請求の範囲】【請求項１】 サンプリングされた時系列信号を受け入れる直列接続された遅延手段と、
前記遅延された時系列信号のそれぞれに所望の重み付けを与えるための複数の非線形シナプス手段と、各非線形シナプスの出力を加算する加算手段と、を含み、
前記非線形シナプス手段は、
入力信号レベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ 10関数手段と、
各メンバシップ関数手段に接続され対応するメンバシッ
プ関数のグレードで学習の度合が定められる複数の可変重み付け手段と、を含むことを特徴とする非線形シナプスニューロン。

2【請求項２】 サンプリングされた時系列信号を受け入れる直列接続された遅延回路と、
前記遅延された時系列信号のそれぞれに所望の重み付けを与えるための複数の非線形シナプス回路と、各非線形シナプスの出力を加算する加算器と、を含み、
前記非線形シナプス回路は、
入力信号レベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ
関数回路列と、各メンバシップ関数回路に接続され対応するメンバシッ
プ関数のグレードで学習の度合が定められる複数の可変重み付け回路と、を含むことを特徴とする非線形シナプスニューロンデバ
イス。

(2)
3
【請求項３】 サンプリングされた時系列信号を受け入れ所定量の遅延を与え、前記遅延された時系列信号のそれぞれに非線形シナプス
で所望の重み付けを与え、複数の非線形シナプスの出力を加算してサンプリング時
刻先における所望の時刻の時系列信号の値を予測する予測方法であって、
前記非線形シナプスは、
前記サンプリングされた時系列信号に基づいて、当該入力信号がレベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ
関数のグレードに応じて可変重み付けを与えたことを特徴とする非線形シナプスニューロンを用いた予測方法。
【発明の詳細な説明】【０００１】【産業上の利用分野】本発明は非線形シナプスニューロ
ン、特に音声信号、画像信号等の信号予測を効果的に実行するための非線形シナプスニューロンに関するものである。
【０００２】【従来の技術】人間の脳を真似たネットワークを電気的な信号処理として用いるニューラルネットワークがパタ
ーン認識、信号処理あるいは知識処理等に利用され、脳のニューロンに対応したユニットが複数個複雑に接続され、各ユニットの動作及びユニット間の接続形態を適当に定めることによってパターン認識機能、知識処理機能を実行することができる。
【０００３】これらのニューラルネットワークはネット
ワークの構造からパターン伝送型と自動伝送型に分類され、前者は入力パターンをある出力パターンに変換する
ネットワークを形成し、また後者は入力パターンに最も近いパターンを出力するネットワークを形成する。
【０００４】前記パターン伝送型ニューラルネットワー
クでは、各ユニット（ニューロン）を入力層、中間層、出力層に階層化し、各ユニットは入力層から出力層に向け接続され、この結果、入力ユニットと出力ユニットとは独立している。そして、演算機能や画像情報は各ユニット間の接続形態や接続の強さとして記憶され、得られた出力と望ましい出力との差を用いて結合の強さが任意に変化される。このときの結合の強さは結合系数あるいはシナプスの重みとして所定のパラメータを形成している。
【０００５】一方、自動伝送型ニューラルネットワーク
においては、入力ユニットと出力ユニットとは共通であり、ネットワーク内の全てのユニットが互いに相互接続され、前記結合の強さ（シナプスの重み）は似通った入力パターンを識別するために用いられている。
【０００６】このようなニューラルネットワークによってパターン認識が行われるが、周知のように、このニュ
ーラルネットワークを効果的に作動させるためには、バ

10

20

30

40

50

特許３３２８９５３
4
ックプロパゲーション等として知られる学習アルゴリズ
ムが用いられ、前述したパターン認識、音声認識、音声
合成、信号処理あるいは知識処理等の広範囲の信号予測適用分野でニューラルネットワークを作用させるためには、このバックプロパゲーション等の学習が極めて効果的である。
【０００７】通常、ニューラルネットワークは、入力層、中間層そして出力層という階層構造をとり、この中間層は隠れ層として知られており、パターン伝送型ニューラルネットワークにおいては、学習過程において入力
データの処理（前向き）と逆に学習のデータを入力した
ときに結果のエラーを減らすように（後ろ向き）シナプ
ス結合の記述を変え、これが収束するまで学習アルゴリ
ズムを繰返す。
【０００８】従って、従来において、バックプロパゲー
ションアルゴリズム等の学習機能が付加されたニューラ
ルネットワークにて各種のパターン認識その他の信号予測が成果をあげている。
【０００９】【発明が解決しようとする課題】しかしながら、このよ
うな従来におけるニューラルネットワークでは、最適予測作用を行うために、多数回の学習作用を必要とし、このためにパラメータが多い場合には学習自体に多大な時間が費やされるという問題があった。
【００１０】即ち、従来の一般的なニューラルネットワ
ークにおいては、入力層と中間層及び中間層と出力層との間は全てのシナプス間が結合され、この結果、学習に必要な演算回数が極端に増大するという問題があった。
【００１１】例えば、入力層に５素子、中間層に６素子そして出力層に７素子のニューラルネットワークを想定
すると、入力層と中間層との間で３０個の結合組み合わせ数が生じ、同様に中間層と出力層間には４２個の結合組が必要となる。
【００１２】従来のネットワークにおいては、各シナプ
スは線形特性を有しており、この結果、前記全ての組み合わせを同時に機能させながら学習を行う必要があり、この結果、前記想定した比較的単純なネットワークにおいても、その全組み合わせ数が１２６０個の組み合わせ数となり、このような多数の結合組に対して所望のパラメータを設定するために、多大の演算時間が必要となっていた。
【００１３】本発明は上記従来の課題に鑑みなされたものであり、その目的は、少ない回数の学習によってシナプスの結合係数を最適値に設定収斂することができる高速学習型であり、かつ、極めて高い予測精度の非線形シ
ナプスニューロン、そのデバイス及びそれを用いた予測方法を提供することにある。
【００１４】【課題を解決するための手段】上記目的を達成するために、本発明は、本発明に係る非線形シナプスニューロン

(3)5及びデバイスは、複数の入力信号のそれぞれに所望の重み付けを与えるための複数の非線形シナプス手段（回路）と、各非線形シナプスの出力を加算する加算手段（器）と、を含み、前記非線形シナプス手段（回路）は、入力信号ｘに対して可変重み係数（ａ0 ，ａ1 ，ａ2 ，… ，ａn ）を有する非線形関数｛ｆ（ｘ）＝ａ2
3n0 ＋ａ1 ｘ＋ａ2 ｘ＋ａ3 ｘ… ａn ｘ ｝で示される可変関数手段（回路）、を含むことを特徴とする。
【００１５】また、本発明に係る非線形シナプスニュー
ロン及びデバイスは、複数の入力信号のそれぞれに所望の重み付けを与えるための複数の非線形シナプス手段（回路）と、各非線形シナプスの出力を加算する加算手段（器）と、を含み、前記非線形シナプス手段（回路）は、入力信号レベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシ
ップ関数手段（回路）と、各メンバシップ関数手段（回路）に接続され対応するメンバシップ関数のグレードで学習の度合が定められる複数の可変重み付け手段（回路）と、を含むことを特徴とする。
【００１６】更に、本発明に係る非線形シナプスニュー
ロン及びデバイスは、サンプリングされた時系列信号を受け入れる直列接続された遅延手段（回路）と、前記遅延された時系列信号のそれぞれに所望の重み付けを与えるための複数の非線形シナプス手段（回路）と、各非線形シナプスの出力を加算する加算手段（器）と、を含み、前記非線形シナプス手段（回路）は、入力信号レベ
ルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ関数手段（回路）と、各メンバシップ関数手段（回路）に接続され対応するメンバシップ関数のグレードで学習の度合が定められる複数の可変重み付け手段（回路）と、を含むことを特徴とする。
【００１７】更に、本発明に係る非線形シナプスニュー
ロン及びデバイスは、空間的に異なる座標位置の複数の信号のそれぞれに所望の重み付けを与えるための複数の
非線形シナプス手段（回路）と、各非線形シナプスの出力を加算する加算手段（器）と、を含み、前記非線形シ
ナプス手段（回路）は、入力信号レベルに応じて区間分
けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ関数手段（回路）と、各メンバシップ関数手段（回路）に接続され対応するメンバシッ
プ関数のグレードで学習の度合が定められる複数の可変重み付け手段（回路）と、を含むことを特徴とする。
【００１８】【作用】従って、本発明によれば、複数の入力信号のそれぞれに非線形シナプスで所望の重み付けを与え、各非線形シナプスの出力を加算し、前記非線形シナプスは、
入力信号ｘに対して可変重み係数（ａ0 ，ａ1 ，ａ2 ，… ，ａn ）を有する非線形関数｛ｆ（ｘ）＝ａ0 ＋

10

20

30

40

50

特許３３２８９５３
62
3
nａ1 ｘ＋ａ2 ｘ ＋ａ3 ｘ… ａn ｘ ｝で示される可変関数を有するので、各非線形シナプスの結合係数は、他のシナプスとは独立して決定され、その学習時においても各シナプスの重み付けは極めてわずかな回数、
例えば入力信号を変化させた数回の学習によって収斂し、誤差値を少なくして高精度の結合係数を設定することが可能となる。
【００１９】また、本発明によれば、複数の入力信号のそれぞれに非線形シナプスで所望の重み付けを与え、各非線形シナプスの出力を加算し、前記非線形シナプス
は、入力信号がレベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバ
シップ関数のグレードに応じて可変重み付けを与えたので、各非線形シナプスの結合係数は、他のシナプスとは独立して決定され、その学習時においても各シナプスの重み付けは極めてわずかな回数、例えば入力信号を変化させた数回の学習によって収斂し、誤差値を少なくして高精度の結合係数を設定することが可能となる。
【００２０】更に、本発明によれば、サンプリングされた時系列信号を受け入れる所定量の遅延手段を与え、前記遅延された時系列信号のそれぞれに非線形シナプスで所望の重み付けを与え、各非線形シナプスの出力を加算
し、前記非線形シナプスは、入力信号がレベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ関数のグレードに応じて可変重み付けを与えたので、各非線形シナプスの結合係数は、他のシナプスとは独立して決定され、その学習時においても各シナプスの重み付けは極めてわずかな回数、例えば入力信号を変化させた数回の学習によって収斂し、誤差値を少なくして高精度の結合係数を設定することが可能となる。
【００２１】更に、本発明によれば、空間的に異なる座
標位置の複数の信号のそれぞれに非線形シナプスで所望の重み付けを与え、各非線形シナプスの出力を加算し、前記非線形シナプスは、入力信号がレベルに応じて区間分けされ、順次前件部の一部が重複して並列接続された複数の相補型メンバシップ関数のグレードに応じて可変重み付けを与えたので、各非線形シナプスの結合係数は、他のシナプスとは独立して決定され、その学習時においても各シナプスの重み付けは極めてわずかな回数、
例えば入力信号を変化させた数回の学習によって収斂し、誤差値を少なくして高精度の結合係数を設定することが可能となる。
【００２２】【実施例】以下、本発明に係る非線形シナプスニューロ
ン、そのデバイス及びそれを用いた予測方法について実施例に基づいて詳細に説明する。
【００２３】図１には、本発明に係る非線形シナプスニ
ューロンの好適な実施例が概略的な全体図として示され、このニューロンは４つのシナプス１０−１〜１０−

(4)特許３３２８９５３78４を有し、これらの各シナプスは本発明において非線形＊ 加算手段１２に供給され、各出力が加算された後出力端シナプスからなることを特徴とする。
子１９から出力信号ｙとして出力される。前記各非線形【００２４】各非線形シナプス１０には、その入力端子
シナプス１０において、その内容は可変関数ｆ0 ，
１１−１〜１１−４に入力信号ｘ0 ，ｘ1 ，ｘ2 ，ｘ3
ｆ1 ，ｆ2 ，ｆ3 で示され、この結果、非線形シナプスが供給され、非線形シナプス１０において各複数の入力
ニューロンの入出力関係は次式で与えられる。
信号ｘのそれぞれに所望の重み付けが与えられる。
【００２６】【００２５】そして、各非線形シナプス１０の出力は、＊
ｙ＝ｆ0 （ｘ0 ）＋ｆ1 （ｘ1 ）＋ｆ2 （ｘ2 ）＋ｆ3 （ｘ3 ）（１）式
従って、本発明において、各シナプスはその入出力関係※ プス１０の可変関数ｆ（ｘ）を学習によって定めれば入が非線形となり、この結果、時系列信号あるいは空間信 10 力信号ｘに対して極めて高精度に予測信号ｙを得ること号からシステムを同定する場合に、システムの非線形性ができる。
が強い場合においても、本発明の非線形シナプスを用い【００２８】本実施例において、前記シナプス１０の可ることによって高精度の非線形近似を行うことが可能と変関数ｆ（ｘ）は以下の（２）式に示される多次多項式なる。
によって表わされる。
【００２７】従って、本実施例において、各非線形シナ※【００２９】
23nｆ（ｘ）＝ａ0 ＋ａ1 ｘ＋ａ2 ｘ ＋ａ3 ｘ ＋ … ａn ｘ（２）式
従って、上記（２）式の係数ａn の値を学習によって定★ ス１０の構造を更に詳細に説明する。
めれば、入力信号に最適な非線形シナプスを設定するこ【００３１】前記（２）式は４次可変関数として考えるとができる。
と以下の（３）式にて表わされる。
【００３０】以下に、前述したいずれかの非線形シナプ★20
23
4ｆ（ｘ）＝ａ0 ＋ａ1 ｘ＋ａ2 ｘ ＋ａ3 ｘ ＋ａ4 ｘ＝ａ0 ＋ｘ［ａ1 ＋ｘ｛ａ2 ＋ｘ（ａ3 ＋ａ4 ｘ）｝］
（３）式
そして、この（３）式は、図２の縦属接続された積和回係数ａ0 が定数成分の決定に係わり、順次高次シナプス路にて構成することができる。
係数ａn が信号の高次成分を表わすこととなる。この結【００３２】即ち、図２に示した非線形シナプス１０は果、本実施例においては、順次定数成分から高次成分に４個の縦属接続された積和回路１３−１〜１３−４を含向かって各シナプス係数を学習によって定めることが好み、各積和回路１３はそれぞれ乗算器１４及び加算器１
適であり、これによって少ない回数により簡単に各係数５からなる。積和回路１３−１において、乗算器１４−を最適値に決定することができる。
１は入力信号ｘと前段の積和回路１３−２から得られた【００３８】ａ0 〜ａ4 の５個の係数を定めるには、図
出力ｆ‑1 （ｘ）が供給されており、この両信号の乗算出 30 ３に示すような（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），…，
力が加算器１５−１において係数ａ0 と加算されてい（ｘ5 ，ｙ5 ），（ｘ6 ，ｙ6 ），…と５個以上のデーる。
タが必要である。これは、（３）式において、ａ0 〜ａ【００３３】同様に、順次各積和回路１３は前段出力ｆ
4 の全ての係数を決定するのに、（ｘ，ｆ(x)）に関す‑n （ｘ）と入力信号ｘとの積算値に各係数ａn を加算す
る５個のデータを（３）式に代入し、ａ0 〜ａ4 に関する構成からなる。
る５元連立方程式を解くことに類似している。５個未満【００３４】従って、この図２に示した非線形シナプスの（ｘ，ｆ(x) ）のデータでは全てのａ0 〜ａ4 が決定回路により、前述した（３）式が実現されていることができないのである。
理解される。
【００３９】以下に、（ｘ1 ，ｙ1 ），（ｘ2 ，【００３５】勿論、このような非線形シナプス１０の回
ｙ2 ），…，（ｘ6 ，ｙ6 ）の６個のデータを用いた学路は、ＩＣ回路から構成してもよく、またこれをソフト 40 習によってａ0 〜ａ4 を決定する手順について述べる。
ウェアで実現してもよい。
【００４０】（１）まず、係数ａ1 〜ａ4 を０に設定す【００３６】以上のようにして、本発明において非線形る。
2
シナプス１０を構成すると、図１における各シナプス１【００４１】（２）ε (t) ￣≧１／６Σ（ｙi (t) ＾2０はそれぞれ独立して構成され、もはや従来のニューラ−ｙi ）(i=1〜6)を計算する。
2
ルネットワークのように、全ての入力信号に対して線形【００４２】（３）δε (t) ￣／δａn (t) ≧０なら
2
シナプス群をネットワーク状に組み合わせる必要がなくばａn (t+1) ＝ａn (t) −Ｇ，δε (t) ￣／δａ
なり、これによって前述した各シナプス１０の結合係数
n (t) ＜０ならばａn (t+1) ＝ａn (t) ＋Ｇとする。但ａn を学習することが極めて容易となる。
し、ここでＧは定数。
2【００３７】図２から明らかなように、各縦属接続され【００４３】（４）ａn (t+1) におけるε (t+1) ￣が2た積和回路１３はその下流側、即ち積和回路１３−１の 50 ε (t) より小さければ（例えば図４の曲線 上のＢの(5)

特許３３２８９５３

910ように）、このａn (t+1) をａn (t) として上記（２）＊ 路１３に用いられている乗算器１４−１や加算器１５−22に戻る。もし、ε (t+1) ￣がε (t) ￣より大きけれ１は高精度である必要はない。すなわち、非線形性の高ば（例えば図４の曲線 上のＣのように）、上記（３）い乗算器や加算器であっても、これを含めた形で、学習におけるＧを半分にして（３）を実行する。このときεにより、次数（ａn の数）や係数ａ0 〜ａn を定め、ε22(t+1) ￣はＤとなる。このようにして得たａn (t+1)
￣を小さくすることができる。このことは、デバイス
22における二乗平均誤差ε (t+1) ￣がε (t) ￣よりもを構成する際に極めて都合がよい。
2
小さくなるまで何度もＧを半減する。かくして、ε (t【００５０】本発明において、このような入力信号とし+1) ￣が、図４中のＥのようにＡよりも低くなるまで続ては、時系列信号あるいは空間的な信号として取り扱うける。以下（３）に戻る。
ことができ、以下に時系列信号を入力信号として処理す【００４４】（５）上記（３），（４）を繰り返し、｜ 10 る場合の本発明の他の実施例を説明する。
22
ε (t+1) ￣−ε (t) ￣｜がある値より小さくなった【００５１】本実施例において、本発明の非線形シナプ
ら、そのａn (t) の学習は一時停止し、次はａn+1 (t)スニューロンは遅延素子との組み合わせによってダイナについて（２）〜（５）と同様の学習を行なう。
ミカルシステムの同定が行われる。
【００４５】（６）ａ0 〜ａ4 の値を一通り学習で定め【００５２】図５にはこのような非線形シナプスニュー
ると、１回の学習が終了したとみなす。
ロンの好適な実施例が全体的な概略図として示されてい2【００４６】（７）ε (t) ￣がある値以下になるまる。
で、上記（２）〜（６）を繰り返す。
【００５３】図５においてサンプリングされた時系列信【００４７】実験によれば、前記所望のシナプス係数ａ号ｙn は入力端子２１から直列接続された実施例におい0 〜ａn を求めるために、数回の学習で十分に高精度のては４個の遅延回路２０−１〜２０−４に入力される。
学習が可能であった。また、３次多項式を満たす５個の 20 【００５４】従って、前記入力信号ｙn は順次各遅延回
データ（ｘ1 ，ｙ1 ），（ｘ2 ，ｙ2 ），…，（ｘ5 ，路２０を通って１サンプリング周期ごとに順次非線形シｙ5 ）を用いて、上記の方法でａ0 〜ａ4 を求めたとこ
ナプス１０−１〜１０−４に供給されることとなる。従ろ、当然のことながらａ4 ＝０となった。
って、本実施例によれば、４個の時系列信号がサンプリ【００４８】以上のようにして、非線形シナプスの各結
ングされて入力されたとき、全ての非線形シナプス１０合係数を多次多項式モデルで同定すれば所望の入力信号が機能することとなる。
に対して高精度の予測値を得ることができる。
【００５５】いま、４個の時系列信号Ｘが以下の（４）【００４９】なお、本実施例において、図２中の積和回＊式で与えられたとき、
Ｘ＝（ｘ0 ，ｘ1 ，ｘ2 ，ｘ3 ）（４）式
各非線形シナプス１０への入力信号ｘ0 〜ｘ3 の集合を
※ 学習動作は図６において入力ベクトルＸ3 からＸn‑1 ま
入力ベクトルＸi と呼ぶ。この入力ベクトルＸi ＝（ｘ 30 での複数回において行われ、この時にはいずれも４個の0 ，ｘ1 ，ｘ2 ，ｘ3 ）は時系列信号Ｘを初期値から順
入力信号ｘ0 〜ｘ3 が各遅延回路２０から非線形シナプに遅延素子２０を通して各非線形シナプス１０の入力端
ス１０に供給されている。
子に供給される。
【００５８】従って、前述した図２で示したように、こ【００５６】従って、図６の入力ベクトルと動作モード
れらの各入力信号に応じて各シナプス１０の結合係数ａとの関係を用いて本実施例における学習動作と予測動作を求めることができる。この状態は図６において符号１とを説明する。
０２で示されている。
【００５７】符号１０１で示される状態では、入力ベク【００５９】本実施例においては、符号１０２で示されトルはＸ0 からＸ2 までが入力された状態で、この３ス
るＸ3 からＸn‑1 までの各入力ベクトルに対して順次学
テップでは、各遅延回路２０に対して、４個の遅延回路習が進められ、ｋ番目の入力ベクトルＸk に対して、本
２０全てを動作することができず、実際のモードにおい 40 実施例の学習は以下に示す（５）式の評価関数が極小にては予備動作として取り扱われる。即ち、本実施例におなるように行われる。
いては各非線形シナプス１０の結合係数を求めるための※【００６０】22
ε k ＝（ｙk+1 ＾−ｙk+1 ）（５）式（５）式において、ｙk+1 は時刻ｋ＋１における時系列解される。
信号であり、またｙk+ 1 ＾は時系列信号が入力された時【００６２】図６の符号１０３は前述した学習によっての予測値を示す。
各非線形シナプス１０の結合係数が決定された後に、入【００６１】本実施例において、十分に使用可能な誤差
力ベクトルＸn が入力端子２１に供給されたときの１サεk を得るまでの収斂学習回数は数回で十分であった。
ンプリング時刻先の予測動作を示しており、入力ベクト
従って、本発明によれば、従来のニューラルネットワー
ルＸn は各非線形シナプス１０によって所望の重み付がクに比してその学習回数が著しく減少していることが理 50 与えられ、その加算値がｘn+1 ＾として求められてい(6)

特許３３２８９５３

11
12る。
＊ ることにより、所望の将来予測値を得ることが可能とな【００６３】従って、入力ベクトルＸn を順次時系列信る。
号のサンプリング入力信号とすることによって常に１時【００６５】前述した本実施例に係る非線形シナプスニ
刻先の予測値を正確に得ることが可能となる。
ューロンにて実際の時系列信号の同定を行った例を以下【００６４】また、１サンプリング時刻より更に先の予に説明する。
測を行うためには、図６の符号１０４で示されるよう【００６６】いま、１つの非線形シナプスについての学に、入力ベクトルＸn に対してその出力であるｙ
習シミュレーションを行うために、以下の（６）式で示
n+1＾，ｙn+ 2 ＾，ｙn+3 ＾…を順次入力端子２１へ戻す時系列信号を考える。
し、本発明に係る非線形ニューロンを繰り返し動作させ＊【００６７】
24
ｆ（ｘ）＝２−２ｘ ＋ｘ（６）式
すなわち、上記（６）式は、前述した（２）式の各係数※ （−０．８，１．１２９６）ａが以下の値である多次多項式からなることが理解され（−０．５，１．５６２５）る。
（−０．１，１．９８０１）【００６８】（ ０．０，２．０）
ａ0 ＝ ２（ ０．２，１．９２１６）
ａ1 ＝ ０（ ０．４，１．７４５６）
ａ2 ＝−２（ １．０，１．０）
2
ａ3 ＝ ０
図８は本実施例における学習過程をエラー√（ε ￣）
ａ4 ＝ １の学習とともに誤差が修正されている様子を示し、平均
ａ5 ＝ ０20 二乗誤差の平方根が学習回数とともに急速に減少してお図７には、前記多次多項式が実線で示され、この時系列
り、誤差１％となるのに１１６回の学習で十分なことを
信号を本実施例における非線形シナプスニューロンにて示す。
同定した結果を以下に示す。
【００７２】また、図９には、本実施例で用いた多次多【００６９】図７には、前記実線で示される（６）式の項式の係数ａ0 〜ａ5 の学習による収束状態を示してお多次多項式に標準変量Ｇ＝０．０１、学習回数２００回り、実験で用いた２００回の学習によってほぼ各係数がで本実施例を用いて学習したときの同定された関数が破収束していることが理解される。
線で示されている。なお、この標準変量Ｇは、各学習時【００７３】ここで、Ｇ＝０．０１，０．１，１．０のにおける係数ａの標準的な変化幅を示す。図７から明らいずれの場合も、各係数の収束状態は同様であったが、かなように、この関数は元の実線で示された時系列信号
その学習時間はもちろんＧの大きい順に高速化していとほとんど重なってしまい、前述した条件における本実 30 た。
施例の同定が極めて高精度で行われていることが理解さ【００７４】図１０〜１２は、本実施例を用いて更に他れる。
の時系列係数をシステム同定した場合の例を示す。
【００７０】なお、前記学習に用いられたデータは８個【００７５】この実験では、以下の（７）式に示されるのサンプリングデータであり、以下にその座標値を示
非整数指数の多次多項式をシステム同定することもできす。
ることを示す。
【００７１】【００７６】（−１．０，１．０）
※
2.5
3.5
ｆ（ｘ）＝２−２ｘ＋ｘ（７）式
図１０の実線は、本実施例で取り扱う入力信号を示し、たときの非線形シナプスの非線形関数係数ａ0 〜ａ5 がこのように非整数指数を有する入力信号に対しても、本 40 どのように収斂するかを示しており、１０００回の学習
実施例によれば、整数指数をもった非線形関数のシナプによってほぼ各係数が所定値に収斂している様子が理解ス手段によって破線で示されるように極めて近似したシされる。
ステム同定が可能なことが理解される。
【００８０】以上説明した各実施例においては、非線形【００７７】この第２の実験によれば、５個のサンプリ
シナプスの重み付けは多次多項式によって定められていングデータを用い、１０００回学習して前述した破線のたが、このような非線形シナプスは本発明において、フシステム同定結果が得られている。
ァジィルールを用いて表現することも可能である。
【００７８】図１１は平均二乗誤差の平方根が学習によ【００８１】図１３には本発明のファジィ理論を用いたっていかなる減少挙動を示すかを示し、急峻な誤差減少
好適な実施例が示され、前述した図１のニューロン構造が示されている。
の非線形シナプス１０をメンバシップ関数手段と重み付【００７９】更に、図１２は、本実施例において学習し 50 け手段とによって構成した実施例が示されている。図に

(7)特許３３２８９５３

1314
おいて、非線形シナプス１０−４のみが例示されている＊ 【００８４】従って、このメンバシップ関数のグレード
が、他の非線形シナプス１０−１，１０−２，１０−３
により各メンバシップ関数回路３０に接続されている重も同様に複数のメンバシップ関数手段とこれに対応してみ付け回路３１−１〜３１−５の重みは対応するメンバ設けられた複数の重み付け手段とから構成されている。
シップ関数のグレードでその学習の度合いが定められる【００８２】図１３において各非線形シナプス１０はラこととなる。
ベルの数を５個とした非線形シナプスｆ（ｘ）の構造か【００８５】実施例において、重み付け回路３１の出力らなり、並列接続された５個のメンバシップ関数回路３は加算器３２を経て前述した加算器１２に供給される
０−１〜３０−５に入力信号ｘが供給される。これらのが、本発明においては、必ずしも非線形シナプス１０内
各メンバシップ関数回路３０は、図１４中のμ1 〜μ5 にの加算器３２は設ける必要がない。即ち、重み付け回路
みられるように順次前件部の一部が重複して並列接続さ 10 ３１の各出力を直接加算器１２へ供給しても同様の効果
れ、更に隣接する２個のメンバシップ関数が互いに相補が得られるからである。
型に構成されている。
【００８６】図１３の構造において、入力ｘに対する各【００８３】従って、入力信号ｘはその値にかかわらグレードμに重みｗを乗じた値の総和が非線形シナプス
ず、５個のメンバシップ関数回路３０のうち２個のメン
１０の入出力関係を示す。
バシップ関数によってのみそのグレードが定められ、更【００８７】従って、この非線形シナプスｆ（ｘ）の入に両グレードの総計値は常に「１」となるような相補型
出力関係は、以下の（８）式にて示される。
に設定されている。
＊【００８８】
ｆ（ｘ）＝Σｗj μj （ｘ） (j=0〜4)（８）式（８）式から、各重みｗはこれに対応するメンバシップ※ これは、区間ｘ12 の全てにおいて同様であり、区間ｘ12関数のグレードμに依存することが理解される。
20 ではそれぞれのメンバシップ関数にて定まるグレードμ【００８９】前述したメンバシップ関数μと入力信号ｘ2 ，μ3 の度合いに応じた重みｗ2 ，ｗ3 のみの学習がとの関係が図１４に示されている。図１４において、入行われることとなる。他の区間においても、同様の作用
力信号ｘは最小値ｘmin とｘmax との間を変動し、時刻ｔが得られる。
に従った時系列信号を形成している。
【００９４】本発明において互いに隣接するメンバシッ【００９０】信号レベルｘを実施例においてはｘ０ 〜ｘプ関数をその前件部において重複させ、相補型に用いる
４ で区切られた４区間に分け、図においてｘ01 ，ｘ12 ，ことにより、前述したように全てのレベルにおいてグレ
ｘ23 ，ｘ34 に区分けする。
ードの総数は「１」となり、この結果、重み付け加算を【００９１】そして、メンバシップ関数回路３０のメン
した後のデータをそのまま非線形シナプス１０の出力とバシップ関数は前記区間ごとに隣接するメンバシップ関して用いることができるという利点がある。即ち、仮に数が互いに相補型にそのグレード総計を常に「１」とす 30 これらのグレード統計値が「１」でない場合には、加算
るようにメンバシップ関数が設定される。この結果、メ
後に割り算その他のディファジフィケーションを行う必
ンバシップ関数μ1 は実線で示されるように区間ｘ01 に要があり、回路あるいは処理システムを著しく複雑にす
対してのみ与えられる。そして、メンバシップ関数μ2るが、本発明においては前記相補型メンバシップ関数を
は区間ｘ01 とｘ12 において、同様にメンバシップ関数μ用いることによってこのような不都合を確実に防止する
3 は区間ｘ12 とｘ23 、メンバシップ関数μ4 は区間ｘ23
ことができる。
とｘ34 について表れ、メンバシップ関数μ5 は区間ｘ34【００９５】図１５には、前記時刻ｔ1 における非線形についてのみ与えられている。
シナプス１０−３の重み付け係数を求める手順が示され【００９２】従って、いずれの信号レベル値においてもている。
２個のメンバシップ関数のみが相補的に機能してそれら【００９６】時刻ｔ1 における入力信号値はｘ（ｔ1 ）のグレード総計は常に「１」となり、例えば時刻ｔ1 に 40 で示され、このときの励起されるメンバシップ関数はμおいては、メンバシップ関数μ2 とμ3 とが働く。
2 とμ3 であり、これら各メンバシップ関数μ2 ，μ3【００９３】そして、この時刻定ｔ1 においては、他ののそれぞれのグレードはμ2 （ｔ1 ）及びμ3 （ｔ1 ）
３個のメンバシップ関数μ1 ，μ4 ，μ5 は全て「０」で示される。従って、これらのグレードに合わせて、そであるため、これらのメンバシップ関数のグレードにてれぞれ重みｗ2 ，ｗ3 の比率が定まり、その平均がｗ
度合いが定まる重み付けは機能しないことが明らかであ（ｔ1 ）として求められる。
る。従って、時刻ｔ1 においては、メンバシップ関数μ【００９７】（９）式は前記相補型メンバシップ関数か
2 ，μ3 のグレードに応じて重み付けｗ2 とｗ3 とが学
ら平均的に求められた重みｗ（ｔ1 ）を示す。
習し、その他のｗ1 ，ｗ4 ，ｗ5 の学習は行われない、※【００９８】ｗ（ｔ1 ）＝｛ｗ2 ×μ2 （ｔ1 ）＋ｗ3 ×μ3 （ｔ1 ）｝／｛μ2 （ｔ1 ）＋μ3 （ｔ1 ）｝

(8)
15

特許３３２８９５３

16＝ｗ2 ×μ2 （ｔ1 ）＋ｗ3 ×μ3 （ｔ1 ）（９）式（９）式から明らかなように相補型メンバシップ関数を＊ プスはそれぞれ独立しているので、これらの重み付けを用いることによって本発明によれば、分母が常に「１」定めるための学習回数は極めて僅かでよく、簡単に最適となり後段において割り算器等のディファジフィケーシなシナプスの重み付け決定を行うことができる。
ョンを必要とすることがない。
【０１００】図１６には３次のダイナミカルシステムで【００９９】以上のようにして、本発明によれば、ファ作られたカオス的信号が示され、この時系列信号は以下
ジィ推論を用いて非線形シナプスの重み付けを決定するの（１０）式で示される。
ことができ、前述した多次多項式と同様に各非線形シナ＊【０１０１】
ｙn+1 ＝ｆ（ｙn ）＋ａｙn‑1 ＋ｂｙn‑2
（１０）式
すなわち、
10 測を行っている。
ｙn+1 ＝ｆ（ｙn ）＋ｐn ＋ｑn【０１１０】この予測は、現在の入力信号より１時刻先
ｐn+1 ＝ａｙn
でもあるいは所定の任意の将来時刻における予測でもよ
ｑn+1 ＝ｂｐn ＝ｂｙn‑1
い。
なる関係を有する。
【０１１１】図２４に示した予測値（破線）は、図１６【０１０２】図１６において、時系列信号は０〜４９ののカオス的信号を再掲した実線で示す真の値に対する１５０個のデータで示され、縦軸のＸの値は±３．０の間
時刻先の予測値を示す。従って、図２４から、本実施例
をカオス的に変動する。
によれば、従来予測不能であったカオス的信号に対して【０１０３】従って、本発明においては、このような従も十分追従する予測作用を行えることが理解される。
来予測不能な時系列信号に対して非線形シナプスを用い【０１１２】図２５は前述したように重み付け学習をしてわずかな回数の学習により予測可能であることを示
20 てシステム同定した本実施例における５次のニューロンす。
モデルに出力から入力へのフィードバックを施し、固定【０１０４】本実施例を用いた実験においては、図１６的に与えられた５個の時系列信号からその後に発生するのカオス的な信号を１〜５次の各モデルで同定した。
予測値を順次予測した状態を示すものであり、前記図２【０１０５】図１７はこの１〜５次までの５個の本発明
４と同様に実線が真の値、そして破線がフィードバックに係る非線形シナプスニューロンが示されている。
から得られた将来の予測値を示す。
【０１０６】そして、図１８にはこれらの５個のニュー【０１１３】この図２５における予測は現在与えられてロンによって図１６におけるカオス的信号を同定したといる５個の時系列信号のみから将来に渡る予測作用を行
きの平均二乗誤差が示されている。
うものであり、図２４と異なり、先の予測ほど誤差を含【０１０７】図１８から明らかなように、図１６のダイ
むことは当然である。
ナミカルシステムは３次の時系列信号であるが、ニュー 30 【０１１４】しかしながら、このような将来予測に対しロンで同定する時の各次数のマッピング関数は折れ線近ても、図２５からは少なくとも５〜１０同時刻先の予測似となるので、３次ニューロンモデルよりも４次及び５に対しては極めて一致度の高い予測作用が得られている
次ニューロンモデルの方が高次シナプスで補正できるたことが理解される。
めに、良好な結果が得られていることが理解される。図【０１１５】図２６から図２９にはそれぞれ本実施例を
１９〜２３には前述した５次ニューロンモデルによって用いた時の学習時におけるゲイン定数αを変化させたと３次の時系列信号をシステム同定するときの各次のマッきの学習回数と平均二乗誤差との関係を示す。
ピング関数が示されている。各図において、実線は図１【０１１６】実施例においては、αを以下の４種類にし６のカオス的信号を作るのに用いた３次ダイナミカルシて実験したところ、
ステムの各次数におけるマッピング関数を示し、破線はα＝０．０２５次ニューロンモデルで同定した場合の各次のマッピン 40 α＝０．２
グ関数を示す。
α＝０．５６【０１０８】図１９〜２３により明らかなように、本実
α＝０．５７
験例によれば、３次のダイナミカルシステムを５次ニュ
α＝０．２の時に極めて良好なシステム同定が行われてーロンモデルで同定しているので、３次までの折れ線近いることが理解される。
似誤差が４次及び５次の非線形シナプスで補正可能であ【０１１７】即ち、ゲイン定数αを０．２に設定したとることを示す。
き最も早く学習が完了し、図２７から明らかなように、【０１０９】図２４には５次ニューロンモデルにおける１０回程度の学習回数で十分に高精度の同定が行われ、予測動作が示され、前述したごとく重み付け学習された
従来と比し１００〜１０００分の１程度の極めて僅かな５次ニューロンモデルを用いて、順次入力信号で学習を回数で本発明における非線形シナプスニューロンがシス
し、係数を更新しながら、将来発生する時系列信号の予 50 テム同定できることを示す。

(9)17【０１１８】また、ファジィ推論によって定められた非線形シナプス１０は前述した多次多項式による非線形シ
ナプスと同様に、入力される複数の時系列信号から順
次、次の時刻あるいは将来の所定時間先の時刻における値を順次予測することができ、入力時系列信号を順次更新することによって常に所定量先の予測値を得ることができる。
【０１１９】また、一定数の入力信号をシステム同定済のニューロンモデルに供給すれば、順次先の時刻を予測することができる。即ち、入力信号は一定時刻において固定しているが、次の時刻の予測値を出力した時にこれを入力端子にフィードバックし、次々にこのフィードバ
ックされた予測値を用いながら、更に先の将来における予測値を順次更新することができる。
【０１２０】ファジィ推論による非線形シナプスを用いた場合においても、実験によれば５〜１０回の学習によって十分な高精度でシステムを同定することができ、従来の線形シナプスによる同定と異なり、極めて短時間で学習を完了することができる利点がある。
【０１２１】また、本発明による非線形シナプスニュー
ロンはその入力信号として時系列信号ばかりでなく、空間信号も処理可能であり、この与えられた空間の外の予測値を得る場合にも用いることができる。
【０１２２】図３０にはこのような空間的な信号の一例が示されており、ｘ軸方向に等間隔で分布したｘ1 〜ｘ5
そして、ｘ7 が既知である。この場合、本発明に係る非線形シナプスニューロンに（ｘ1 ，ｘ2 ，ｘ3 ，ｘ4 ）におけるｙの値（ｙ1 ，ｙ2 ，ｙ3 ，ｙ4 ）を入力し、出力ｙがｙ7 となるように前記各非線形シナプス１０のｆ（ｘ）を学習で求める。勿論、通常の既知データとしては、前述した４個のデータｙのみではなく、ｙ1 〜ｙ50 の多数のデータを４個ずつシリアルに入力して前記学習を行う
ことが好適である。
【０１２３】このようにして、システム同定が行われ、次に（ｘ2 ，ｘ3 ，ｘ4 ，ｘ5 ）のｙの値（ｙ2 ，ｙ3 ，ｙ4 ，ｙ5 ）を入力すると本発明に係る非線形ニ
ューロンからは座標ｘ8 に対応する値ｙ8 を予想することが可能である。
【０１２４】このようにして、本発明によれば、時系列
信号ばかりでなく、空間的な信号を用いて未知の座標を外挿することができる。
【０１２５】【発明の効果】以上説明したように、本発明によれば、
非線形シナプスの重みを多次多項式あるいはファジィ推論にて求め、これらのシナプスは互いに干渉することな
く互いに独立した構成から成るので極めて簡単に少ない
学習回数で所望の重み付けあるいは結合係数を得ることが可能となり、特に、本発明の多次多項式及び本発明における相補型メンバシップ関数を用いた非線形シナプスによれば、簡単な構造によって極めて確度の高い予測を

10

20

30

40

50

特許３３２８９５３
18
行えるという利点がある。
【図面の簡単な説明】【図１】本発明に係る非線形シナプスニューロンの全体的な構成を示す説明図である。
【図２】本発明における非線形シナプスを多次多項式で構成した実施例を示すブロック回路図である。
【図３】多次多項式からなる非線形シナプスの重み付け係数を求めるための平均二乗誤差を最小にする説明図である。
【図４】多次多項式からなる非線形シナプスの重み付け
係数と平均二乗誤差の関係を示すグラフの上でａn (t)からａn (t+1) を求める説明図である。
【図５】本発明において、時系列信号を複数の遅延回路を介して非線形シナプスに並列的に入力するニューロンの好適な実施例を示す説明図である。
【図６】本発明における重み付け学習動作及び予測動作を示す説明図である。
【図７】本発明に係る非線形シナプスニューロンを用いてシステム同定したときの入力信号とシステム同定した
結果とを示す説明図である。
【図８】本実施例を用いてシステム同定したときの平均二乗誤差の収束状態を示す説明図である。
【図９】同じく本実施例を用いてシステム同定したときの多次多項式の各係数の収束状態を示す説明図である【図１０】本実施例を用いて非整数指数を有する入力信号をシステム同定したときの入力信号とシステム同定結果を示す説明図である。
【図１１】この実施例でのシステム同定時の平均二乗誤差の収束状態を示す説明図である。
【図１２】本実施例を用いたシステム同定における多次多項式の各係数の収束状態を示す説明図である。
【図１３】本発明に係る非線形シナプスニューロンにファジィ推論を用いた場合の好適な実施例を示す説明図である。
【図１４】図１３に示した実施例の相補型メンバシップ関数を示す説明図である。
【図１５】図１３に示した実施例における相補型メンバ
シップ関数と重み付け係数との関係を示す説明図である。
【図１６】本発明に係る非線形シナプスニューロンでシステム同定を行うためのカオス的信号を示す説明図である。
【図１７】本発明の非線形シナプスニューロンを用いて
図１６のカオス的信号をシステム同定するための１次〜５次のニューロンモデルを示す説明図である。
【図１８】図１７に示した各次ニューロンモデルによるシステム同定時の平均二乗誤差を示す説明図である。
【図１９】前記システム同定時における１次のマッピング関数を示す説明図である。
【図２０】システム同定時における２次のマッピング関(10)

特許３３２８９５３1920数を示す説明図である。
＊ 習回数と誤差との関係を示す説明図である。
【図２１】システム同定時における３次のマッピング関【図２８】学習時のゲイン定数αを０．５６とした時の数を示す説明図である。
学習回数と誤差との関係を示す説明図である。
【図２２】システム同定時における４次のマッピング関【図２９】学習時のゲイン定数αを０．５７とした時の数を示す説明図である。
学習回数と誤差との関係を示す説明図である。
【図２３】システム同定時における５次のマッピング関【図３０】本発明を空間信号に用いた場合の外挿予測作
数を示す説明図である。
用を示す説明図である。
【図２４】システム同定された本実施例における非線形【符号の説明】
シナプスニューロンに順次時系列信号を供給して１時刻
１０ 非線形シナプス
先を予測する時の真の信号と予測信号との関係を示す説 10 １１ 入力端子
明図である。
１２ 加算器【図２５】本実施例におけるニューロンモデルを用いて
１３ 積和回路
特定時刻における時系列信号を用いて順次予測値をフィ
１４ 乗算器ードバックしながら将来の予測を行う時の真の信号と予
１５ 加算器測信号との関係を示す説明図である。
１９ 出力端子【図２６】学習時のゲイン定数αを０．０２とした時の２０ 遅延回路
学習回数と誤差との関係を示す説明図である。
３０ メンバシップ関数回路【図２７】学習時のゲイン定数αを０．２とした時の学＊３１ 重み付け回路
【図１】

【図３】

【図１５】

【図２】

【図５】

(11)

【図１４】

特許３３２８９５３

【図４】

【図７】

【図８】

【図１６】

(12)

【図９】

特許３３２８９５３

【図２７】

【図６】

(13)

【図１０】

【図１２】

特許３３２８９５３

【図１１】

【図１３】

(14)

【図１７】

【図１９】

【図１８】

【図３０】

特許３３２８９５３

(15)

【図２０】

【図２１】

特許３３２８９５３

【図２４】

【図２２】

(16)

特許３３２８９５３

【図２３】

【図２６】

【図２５】

【図２８】

(17)

【図２９】

特許３３２８９５３

(18)特許３３２８９５３

フロントページの続き(56)参考文献

特開 平３−125257（ＪＰ，Ａ)
特開 平２−201586（ＪＰ，Ａ)
特開 平５−128086（ＪＰ，Ａ)
特開 平２−93708（ＪＰ，Ａ)
特開 平３−218558（ＪＰ，Ａ)
特開 平３−268055（ＪＰ，Ａ)
特開 平２−162459（ＪＰ，Ａ)
特開 平３−95664（ＪＰ，Ａ)
特開 平６−35707（ＪＰ，Ａ)
村井伸浩・他，「ニューラルネットワ
ーク予測モデルによる時系列の非線形性の抽出」，電子情報通信学会技術研究報
告，日本，社団法人電子情報通信学会・発行，1992年 ３月18日，Ｖｏｌ．91,
Ｎｏ．529（ＮＣ91−98〜131），ｐｐ.
237−244
和多田淳三・他，「ファジィ時系列モ
デルとその予測問題への応用」、日本経営工学会誌，日本，1983年，Ｖｏｌ.
34，Ｎｏ．３，ｐｐ．108−186，（ＪＳＴ資料番号：Ｆ0241Ｂ)
Ｇｕｐｔａ，Ｍ．Ｍ．；Ｑｉ,
Ｊ．， Ｓｙｎａｐｔｉｃ ａｎｄ ｓｏｍａｔｉｃ ｌｅａｒｎｉｎｇ ａｎｄ ａｄａｐｔａｔｉｏｎ ｉｎ ｆｕ
ｚｚｙ ｎｅｕｒａｌ ｓｙｓｔｅｍｓ ，Ｐｒｏｃ．ｏｆ 1991 ＩＥＥＥ
Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉ
ｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎ
ｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，1991
年，Ｖｏｌ．１，ｐｐ．875−880，（Ｉ
ＮＳＰＥＣ Ａｃｃｅｓｓｉｏｎ Ｎｕ
ｍｂｅｒ：4254100，ＩＳＢＮ：０−7803−0227−３)7(58)調査した分野(Int.Cl. ，ＤＢ名)
G06N 1/00 ‑ 7/08
G06G 7/60
G06F 9/44
G05B 13/00 ‑ 13/04
ＪＳＴファイル（ＪＯＩＳ)ＣＳＤＢ（日本国特許庁)