(57)【要約】【目的】 入出力の関係が数式化できていないか、または数式化した場合の演算負荷が大きい場合における未知数量の推定を達成する。
【構成】 階層型パーセプトロン１ｉを複数組並列に設け、各階層型パーセプトロン１ｉに対して入出力の関係に相当する数式と等価な処理を行なう状態を学習により構築し、次いで、関数値出力の累積加算値と教師パター
ンとの差および関数値出力に対応する偏微分値と偏微分
教師パターンとの差に基づいて数式の偏微分関数を学習により構築する。その後、複数組の階層型パーセプトロ
ン１ｉの出力を累積加算し、累積加算値と計測値との差および累積加算値の偏微分値に基づいて未知数量に対応する入力層の補正を行ない、差が十分に小さくなった時
点で入力層の補正値を収集し、未知数量推定値として出
力する。

(2)
1
【特許請求の範囲】【請求項１】 所定の関数の学習が完了した複数の多入力１出力のニューラル・ネットワーク（１ｉ）に共通す
る既知の入力および所定の計測値をそれぞれ入力値、教師パターンとして与え、各ニューラル・ネットワーク（１ｉ）において入力値、教師パターンと複数のニュー
ラル・ネットワーク（１ｉ）からの出力の累積加算値との差および該当するニューラル・ネットワーク（１ｉ）に対応する偏微分値に基づいて累積加算値と教師パター
ンとの差を小さくするように入力未知数量の補正を行な
い、差が最小となる未知数量を推定結果として得ることを特徴とする未知数量推定方法。
【請求項２】 所定の関数の学習が完了した複数の多入力１出力のニューラル・ネットワーク（１）に対して既知の入力を供給することにより複数の関数値出力を得、得られた各関数値出力の累積加算値と既知の入力に対応して予め得られている所定の計測値との差および各関数
値出力に対応する偏微分値と既知の入力に対応して予め得られている偏微分値との差を算出し、算出した偏微分
値の差、既知の入力および既知の入力に対応して予め得られている所定の計測値と累積加算値との差に基づいて
ニューラル・ネットワーク（１ｉ）の偏微分関数の学習を行ない、所定の計測値と累積加算値との差および偏微分値の差が十分に小さくなるまで偏微分関数の学習を行なってから、全てのニューラル・ネットワーク（１ｉ）に共通する既知の入力および所定の計測値をそれぞれ入力値、教師パターンとして与え、各ニューラル・ネット
ワーク（１ｉ）において入力値、教師パターンと複数のニューラル・ネットワーク（１ｉ）からの出力の累積加算値との差および該当するニューラル・ネットワーク（１ｉ）に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得ることを特徴とする未知数量推定方法。
【請求項３】 所定の関数の学習が完了した複数個の多入力１出力のニューラル・ネットワーク（１ｉ）と、各ニューラル・ネットワーク（１ｉ）からの関数値出力に対応する偏微分値を算出する偏微分値算出手段（１ｉｋ）と、各ニューラル・ネットワーク（１ｉ）からの関数値出力を累積加算する累積加算手段（２）と、予め得られている所定の教師パターンと累積加算値との差を算出する第１差算出手段（３）と、各ニューラル・ネット
ワーク（１ｉ）毎に、関数値出力に対応する偏微分値と予め得られている偏微分値との差を算出する第２差算出
手段（３ｉｋ）と、第２差算出手段（３ｉｋ）により算出される偏微分値の差および第１差算出手段（３）により算出される教師パターンと累積加算値との差に基づいて偏微分関数の学習を行なわせる偏微分関数学習手段（６ｉ）と、第１差算出手段（３）により算出される差および第２差算出手段（３ｉｋ）により算出される差が

10

20

30

40

50

特開平５−１８１８２５2
所定値より小さくなるまで偏微分関数学習手段（６ｉ）
による偏微分関数の学習が行なわれたことに応答して、全てのニューラル・ネットワーク（１ｉ）に共通する既知の入力を与えることにより得られる関数値出力の累積
加算値と教師パターンとの差および該当するニューラル・ネットワーク（１ｉ）の関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る入力未知数補正手段（１２ｉ）と、未知数量補正手段（１２ｉ）により補正された入力を取り出す情報取り出し手段（５）とを含むことを特徴とする未知数量推定装置。
【請求項４】 所定の関数の学習が完了した複数の多入力１出力のニューラル・ネットワーク（１ｉ）と、各ニューラル・ネットワーク（１ｉ）の未知入力に対応すべ
き既知の入力を微少量だけ変化させて関数値出力の変化
量を偏微分値として得る偏微分値算出手段（１５ｉｋ）（１６ｉｋ）（１７ｋ）と、各ニューラル・ネットワー
ク（１ｉ）からの関数値出力を累積加算する累積加算手段（２）と、予め得られている所定の教師パターンと累積加算値との差を算出する第１差算出手段（３）と、全てのニューラル・ネットワーク（１ｉ）に共通する既知の入力を与えることにより得られる関数値出力の累積加算値と教師パターンとの差および該当するニューラル・
ネットワーク（１ｉ）の関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくす
るように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る入力未知数補正手段（１２ｉ）と、未知数量補正手段（１２ｉ）により補正された入力を取り出す情報取り出し手段（５）とを含むことを特徴とする未知数量推定装置。
【発明の詳細な説明】【０００１】【産業上の利用分野】この発明は未知数量推定方法およびその装置に関し、さらに詳細にいえば、明確に数式化できない法則または数式化することが可能であっても実際に計算するために多大の労力が必要な法則の下において未知数量の推定を行なうための方法およびその装置に関する。
【０００２】【従来の技術】従来から複数個のニューロン素子を複数の階層に区分しておくとともに、各階層に属するニューロン素子を他の階層に属する全てのニューロン素子と接続しておき、入力層のニューロン素子に入力パターンを与えることにより各ニューロン素子の結合係数と閾値に基づいて定まる所定の出力パターンを出力層のニューロン素子から出力する、いわゆるニューラル・ネットワー
クが知られている。尚、このニューラル・ネットワーク
はニューロン素子が階層構造をなしているので階層型パーセプトロンと呼ばれている。

(3)3【０００３】この階層型パーセプトロンにおいては、入力層のニューロン素子群に既知の入力パターンを供給するとともに、既知の入力パターンに対応する既知の出力パターンを教師パターンとして与え、入力パターンに基づいて出力層のニューロン素子から出力される出力パターンと教師パターンとの差を算出し、算出された差が小さくなるように各ニューロン素子の結合係数や閾値を変化させる、いわゆる学習を反復する。したがって、十分に学習を行なった後に、任意の入力パターンを与えた場
合に出力層のニューロン素子から入力パターンに対応すべき出力パターンを出力することができる。即ち、多数の入力パターンの少なくとも一部が変化した場合に対応する未知数量を出力パターンとして得ることができる。
【０００４】【発明が解決しようとする課題】上記階層型パーセプト
ロンは、入力パターンの種類および数が定まっているとともに、既知の入力パターンに対応して出力すべき出力パターンが既知の場合に、これら既知のデータを用いて必要回数だけ学習を行なわせることにより初めて任意の入力パターンに対応する出力パターンを得ることができるのであるから、入力パターンの種類、数が変化した場
合には再び学習を行なわなければならず、適用可能範囲の変更に簡単には対処できないという不都合がある。
【０００５】また、入力パターンの数が増加すれば、各階層に属するニューロン素子を増加させ、または階層数を増加させなければ得られる出力パターンの精度が低下してしまうのであるから、一般的に階層型パーセプトロ
ンを構成するニューロン素子の数が多く、ニューロン素
子数が多いことに伴なって学習所要時間も長くなってしまうという不都合がある。
【０００６】さらに、入力パターンの一部および真の出力パターンとなるべきデータが従来公知の測定方法等により得られている場合において未知数量である入力パターンの残部を得ることは階層型パーセプトロンの構成上不可能であるという不都合がある。
【０００７】【発明の目的】この発明は上記の問題点に鑑みてなされたものであり、明確に数式化できない法則または数式化することが可能であっても実際に計算するために多大の労力が必要な法則の下において未知数量の推定を行なうことができる新規な未知数量推定方法およびその装置を提供することを目的としている。
【０００８】【課題を解決するための手段】請求項１の未知数量推定
方法は、所定の関数の学習が完了した複数の多入力１出
力のニューラル・ネットワークに共通する既知の入力および所定の計測値をそれぞれ入力値、教師パターンとして与え、各ニューラル・ネットワークにおいて入力値、
教師パターンと複数のニューラル・ネットワークからの出力の累積加算値との差および該当するニューラル・ネ

10

20

30

40

50

特開平５−１８１８２５
4
ットワークに対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得ることを特徴とする未知数量推定方法。
【０００９】請求項２の未知数量推定方法は、所定の関数の学習が完了した複数の多入力１出力のニューラル・
ネットワークに対して既知の入力を供給することにより複数の関数値出力を得、得られた各関数値出力の累積加算値と既知の入力に対応して予め得られている所定の計
測値との差および各関数値出力に対応する偏微分値と既知の入力に対応して予め得られている偏微分値との差を算出し、算出した偏微分値の差、既知の入力および既知の入力に対応して予め得られている所定の計測値と累積加算値との差に基づいてニューラル・ネットワークの偏微分関数の学習を行ない、所定の計測値と累積加算値との差および偏微分値の差が十分に小さくなるまで偏微分関数の学習を行なってから、全てのニューラル・ネット
ワークに共通する既知の入力および所定の計測値をそれ
ぞれ入力値、教師パターンとして与え、各ニューラル・
ネットワークにおいて入力値、教師パターンと複数のニューラル・ネットワークからの出力の累積加算値との差および該当するニューラル・ネットワークに対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る方法である。
【００１０】請求項３の未知数量推定装置は、所定の関数の学習が完了した複数個の多入力１出力のニューラル・ネットワークと、各ニューラル・ネットワークからの関数値出力に対応する偏微分値を算出する偏微分値算出
手段と、各ニューラル・ネットワークからの関数値出力を累積加算する累積加算手段と、予め得られている所定の教師パターンと累積加算値との差を算出する第１差算
出手段と、各ニューラル・ネットワーク毎に、関数値出力に対応する偏微分値と予め得られている偏微分値との差を算出する第２差算出手段と、第２差算出手段により算出される偏微分値の差および第１差算出手段により算出される教師パターンと累積加算値との差に基づいて偏微分関数の学習を行なわせる偏微分関数学習手段と、第１差算出手段により算出される差および第２差算出手段
により算出される差が所定値より小さくなるまで偏微分関数学習手段による偏微分関数の学習が行なわれたことに応答して、全てのニューラル・ネットワークに共通する既知の入力を与えることにより得られる関数値出力の累積加算値と教師パターンとの差および該当するニュー
ラル・ネットワークの関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくする
ように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る入力未知数補正手段と、未知数量補正手段により補正された入力を取り出す情報取り出し手段とを含んでいる。

(4)5【００１１】請求項４の未知数量推定装置は、所定の関数の学習が完了した複数の多入力１出力のニューラル・
ネットワークと、各ニューラル・ネットワークの未知入力に対応すべき既知の入力を微少量だけ変化させて関数値出力の変化量を偏微分値として得る偏微分値算出手段と、各ニューラル・ネットワークからの関数値出力を累積加算する累積加算手段と、予め得られている所定の教師パターンと累積加算値との差を算出する第１差算出手
段と、全てのニューラル・ネットワークに共通する既知の入力を与えることにより得られる関数値出力の累積加算値と教師パターンとの差および該当するニューラル・
ネットワークの関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように
入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る入力未知数補正手段と、未知数量補正手段により補正された入力を取り出す情報取り出し
手段とを含んでいる。
【００１２】【作用】請求項１の未知数量推定方法であれば、比較的単純な多入力パターンに対応して所定の出力を得ることができるように所定の関数の学習が行なわれたニューラ
ル・ネットワークを複数セット設けておき、複数セットのニューラル・ネットワークに既知の入力および計測値を与えて累積加算値と計測値との差を小さくするように入力層の補正を行ない、差が十分に小さくなった状態において各ニューラル・ネットワークの未知入力の補正結果を未知数量推定結果として得る。
【００１３】したがって、各ニューラル・ネットワークの規模を余り大きくしなくてもよく、各ニューラル・ネ
ットワークに対する当初の関数の学習の所要時間を著しく短縮できる。そして、複数のニューラル・ネットワー
クに既知の入力、例えば計測条件等を供給するとともに、計測値を教師パターンとして供給し、この状態において全てのニューラル・ネットワークからの関数値出力の累積加算値と教師パターンとの差が少なくなるように未知数量入力層の補正を行なうのであるから、従来は到底不可能であった未知数量の推定を簡単に達成できる。
請求項２の未知数量推定方法であれば、比較的単純な多入力パターンに対応して所定の出力を得ることができる
ように所定の関数の学習が行なわれたニューラル・ネッ
トワークを複数セット設けておき、推定対象となる未知数量に代えて既知数量を与え、既知数量に対応して予め得られている計測値と各ニューラル・ネットワークからの関数値出力の累積加算値との差を得るとともに、各ニューラル・ネットワークからの関数値出力に対応する偏微分値と数値微分法等により予め得られている偏微分値（偏微分値教師パターン）との差を得、既知の入力に対応して予め得られている教師パターンと累積加算値との差および偏微分値の差に基づいて各ニューラル・ネット
ワークに対する偏微分関数の学習を行なわせることによ

10

20

30

40

50

特開平５−１８１８２５
6
り、複数セットのニューラル・ネットワークを含む未知数量推定システム全体としての前処理を完了する。その後、既知の入力および計測値を与えて累積加算値と計測値との差を小さくするように入力層の補正を行ない、差が十分に小さくなった状態において各ニューラル・ネッ
トワークの未知入力の補正結果を未知数量推定結果として得る。
【００１４】したがって、各ニューラル・ネットワークの規模を余り大きくしなくてもよく、各ニューラル・ネ
ットワークに対する当初の関数の学習の所要時間を著しく短縮できる。そして、このようにして関数の学習が完了した各ニューラル・ネットワークについて関数値出力に対応する偏微分値と予め得られている偏微分値（偏微分値教師パターン）との差と、既知の情報である計測値と各ニューラル・ネットワークの推定値の累積加算値との差とに基づいて各ニューラル・ネットワークに偏微分関数の学習を行なわせるのであるから、偏微分関数の学習の所要時間をも著しく短縮できる。
【００１５】以上のようにして前処理（関数の学習および偏微分関数の学習）が完了した複数のニューラル・ネ
ットワークに既知の入力、例えば計測条件等を供給するとともに、計測値を教師パターンとして供給し、この状態において全てのニューラル・ネットワークからの関数
値出力の累積加算値と教師パターンとの差が少なくなる
ように未知数量入力層の補正を行なうのであるから、従来は到底不可能であった未知数量の推定を簡単に達成できる。
【００１６】請求項３の未知数量推定装置であれば、所定の関数の学習が完了した多入力１出力のニューラル・
ネットワークに対してそれぞれ既知の入力および既知の教師パターンを与えることにより第１差算出手段により関数値出力の累積加算値と教師パターンとの差を得るとともに、偏微分値算出手段により算出された偏微分値と数値微分法等により予め得られている偏微分値（偏微分値教師パターン）との差を第２差算出手段により算出し、得られた累積加算値と教師パターンとの差および偏微分値の差に基づいて偏微分関数学習手段により各ニューラル・ネットワークに偏微分関数の学習を行なわせる。そして、累積加算値と教師パターンとの差および偏微分値の差が十分に小さくなるまで偏微分関数学習手段
による偏微分関数の学習を行なった後は、未知数補正手
段により、全てのニューラル・ネットワークに共通する
既知の入力を与えることにより得られる関数値出力の累積加算値と教師パターンとの差および該当するニューラ
ル・ネットワークの関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る。そして、情報取り出し手段
により、未知数量補正手段によって補正された入力を取り出す。この取り出された入力が推定対象である未知数

(5)
7
量である。
【００１７】さらに詳細に説明すると、各ニューラル・
ネットワーク毎に所定の学習を行なわせることにより複数の入力と１の出力との関係を規定する数式に相当する処理を行ない得る状態が得られる。そして、得られた各
ニューラル・ネットワークに対して、本来未知数量であるべき既知の入力および教師パターンを与え、関数値出力の累積加算値と教師パターンとの差および関数値出力に対応する偏微分値と予め算出されている偏微分値（偏微分値教師パターン）との差に基づいて各ニューラル・
ネットワークによる偏微分関数の学習を行なわせる。この結果、未知数量の種類に対応して定まる複数の、数式に相当する処理（定数値が互に異なる複数の数式のそれぞれに相当する処理等）および数式の偏微分関数に相当する処理が該当するニューラル・ネットワークにより実行可能になる。その後は、各ニューラル・ネットワーク
により該当する処理を行なって出力を得、累積加算して計測値に対応する推定値を得る。そして、推定値と計測値との差を算出し、算出した誤差に基づいて各ニューラ
ル・ネットワークの未知の入力を補正することにより、差を小さくすべく未知の入力を変化させる。この未知の入力変更処理を反復し、差が十分に小さくなった時点において入力を未知数量推定結果として取り出すことができる。
【００１８】請求項４の未知数量推定装置であれば、所定の関数の学習が完了した多入力１出力のニューラル・
ネットワークに対してそれぞれ既知の入力および既知の教師パターンを与えることにより第１差算出手段により関数値出力の累積加算値と教師パターンとの差を得るとともに、偏微分値算出手段により未知入力情報に対応すべき既知の入力情報を微小量だけ変化させて出力の変化
量を偏微分値として得る。そして、未知数補正手段により、全てのニューラル・ネットワークに共通する既知の入力を与えることにより得られる関数値出力の累積加算
値と教師パターンとの差および該当するニューラル・ネ
ットワークの関数値出力に対応する偏微分値に基づいて累積加算値と教師パターンとの差を小さくするように入力未知数量の補正を行ない、差が最小となる未知数量を推定結果として得る。そして、情報取り出し手段により、未知数量補正手段によって補正された入力を取り出す。この取り出された入力が推定対象である未知数量である。
【００１９】さらに詳細に説明すると、各ニューラル・
ネットワーク毎に所定の学習を行なわせることにより複数の入力と１の出力との関係を規定する数式に相当する処理を行ない得る状態が得られる。この結果、未知数量の種類に対応して定まる複数の、数式に相当する処理（定数値が互に異なる複数の数式のそれぞれに相当する処理等）が該当するニューラル・ネットワークにより実行可能になる。その後は、各ニューラル・ネットワーク

10

20

30

40

50

特開平５−１８１８２５
8により該当する処理を行なって出力を得、累積加算して計測値に対応する推定値を得る。そして、推定値と計測値との差を算出し、算出した誤差に基づいて各ニューラ
ル・ネットワークの未知の入力を補正することにより、差を小さくすべく未知の入力を変化させる。この未知の入力変更処理を反復し、差が十分に小さくなった時点において入力を未知数量推定結果として取り出すことができる。
【００２０】【実施例】以下、実施例を示す添付図面によって詳細に説明する。図１はこの発明の未知数量推定装置の一実施
例を示すブロック図、図２は１つの階層型パーセプトロ
ンに対応する部分の構成を詳細に示す概略図であり、多入力１出力の複数個の階層型パーセプトロン１ｉ（ｉ＝
１，２，・・・，ｍ）と、階層型パーセプトロン１ｉからの関数値出力ｇｉｊを累積加算するシグマユニット２と、シグマユニット２から出力される累積加算結果Ｏｊ（ｔ）と教師パターンとしての計測値Ｓｊ（ｔ）とを入力として両者の差を算出する関数値誤差演算器３と、各階層型パーセプトロン１ｉからの関数値出力ｇｉｊに対応する偏微分値を算出する偏微分値算出部１ｉｋ（ｋ＝１，２，・・・ｎ）と、各階層型パーセプトロン１ｉの偏微分値算出部１ｉｋからの出力と数値微分法等により予め算出されている偏微分値（偏微分値教師パターン）とを入力として両者の差を算出する偏微分値誤差演算器
３ｉｋと、関数値誤差演算器３により算出される差および偏微分値誤差演算器３ｉｋにより算出される差に基づいて該当する階層型パーセプトロン１ｉに偏微分関数の学習を行なわせる偏微分関数学習部６ｉと、関数値誤差
演算器３により算出された累積加算結果Ｏｊ（ｔ）と教師パターンとしての計測値Ｓｊ（ｔ）との差および偏微分値算出部１ｉｋにより算出された偏微分値に基づいて階層型パーセプトロン１ｉの入力層における入力を補正する補正部１２ｉと、補正部１２ｉと偏微分関数学習部
６ｉとを選択するとともに、選択された補正部１２ｉまたは偏微分関数学習部６ｉを所定回数（差を十分に小さくできる回数）だけ反復動作させる制御部４と、補正部
１２ｉにより補正が所定回数だけ反復されたことを条件
として各階層型パーセプトロン１ｉの未知数量に対応する入力を未知数量推定結果として出力する収集ユニット
５とを有している。
【００２１】尚、上記各階層型パーセプトロン１ｉは、既知の入力パターンおよび対応する教師パターンを与えて十分に関数の学習を行なったものであり、入力パター
ンと教師パターンとに基づいて定まる数式（現実に数式化できていなくてもよく、または数式化するための労力が多大なものであってもよく、もちろん数式化できているものであってもよい）に対応する処理を行なう。また、階層型パーセプトロン１ｉの数ｍは、推定対象となる未知数量の個数に対応して設定されている。さらに、

(6)特開平５−１８１８２５
10＊ の構成の未知数量推定装置の作用は次のとおりである。
【００２４】各ニューラル・ネットワーク１ｉの入力層に計測条件等の既知の入力と共に未知数量に対応する既知の入力を入力パターンとして与えるとともに、これら既知の入力に基づいて定まっている既知の計測値を教師パターンとして与えることによりバックプロパゲーショ
ン学習を行ない、ニューラル・ネットワーク１ｉを構成するニューロン素子の荷重、閾値を決定する。このバッ
クプロパゲーション学習を十分に行なえば、実際には数10 式で表現できていない数式に対応する処理が各ニューラ
ル・ネットワーク１ｉにおいて設定されたことになる。
即ち、ニューラル・ネットワーク１ｉの出力パターンｇ
ｉｊが数１で表現できることになる。
【００２５】【数１】9
階層型パーセプトロン１ｉはそれぞれ同期的に動作する
ように制御してもよく、また、非同期的に動作するように制御してもよい。
【００２２】また、偏微分関数学習部６ｉは、例えば、
関数値誤差演算器３により算出される差に基づく階層型
パーセプトロン１ｉの学習（例えば、バックプロパゲー
ション学習）および偏微分値誤差演算器３ｉｋにより算出される差に基づく階層型パーセプトロン１ｉの学習を交互に反復させるものであり、関数の学習結果を余り損なうことなく偏微分関数の学習を行なわせることができる。
【００２３】さらに、補正部１２ｉは該当するニューラ
ル・ネットワーク１ｉの未知数量の数と等しい個数の補正部１２ｉｋを有しており、関数値誤差演算器３により算出された差および偏微分値算出部１ｉｋにより算出された差を入力として該当する未知数量を補正する。上記＊【００２６】但し、ｔは時刻、ａｉ１，ａｉ２，・・※ と等価な処理を行なう場合には、何れかのニューラル・
・，ａｉＬは未知数量である。以上のようにして各ニュ
ネットワークにより得られた学習結果としての荷重、閾
ーラル・ネットワーク１ｉのバックプロパゲーション学 20 値を他のニューラル・ネットワークの荷重、閾値として
習（数式の学習）が完了した後は、上記入力パターンのそのまま採用してもよく、学習所要時間を大巾に短縮でうち、未知数量に対応する既知の入力の何れか１つを微きる。そして、得られた荷重、閾値をそのまま採用する
小量だけ変化させて出力パターンを得るとともに、偏微
場合には、他のニューラル・ネットワークについては数
分値算出部１ｉｋにより対応する偏微分値を得る。尚、
式の学習および偏微分関数の学習が共に不要になるので未知数量に対応する既知の入力を微小量だけ変化させたあるから、学習所要時間を大巾に短縮できる。
場合における偏微分値を数値微分法等により予め算出し【００２８】以上のように必要な学習（数式の学習およて偏微分値教師パターンとして与えておく。この状態にび偏微分関数の学習）が完了した後は、偏微分関数学習
おいて制御部４により偏微分関数学習部６ｉを選択し、部６に代えて制御部４により補正部１２ｉを選択すると選択した偏微分関数学習部６ｉを所定回数（差を十分にともに収集ユニット５を動作させればよく、以下のよう小さくできる回数）だけ反復動作させることにより再び 30 にして各未知数量を精度よく推定できる。各ニューラル
バックプロパゲーション学習を行ない、数１の数式およ・ネットワーク１ｉに対して時刻ｔ、計測条件等の既知
びこの数式の偏微分関数の演算と等価な処理を達成でき
情報を供給すれば、各ニューラル・ネットワーク１ｉがるように各ニューラル・ネットワーク１ｉを構成するニ
所定の出力パターンｇｉｊ（ｔ）を出力する。この場合
ューロン素子の荷重、閾値を決定する。
には、シグマユニット２から出力される累積加算値Ｏｊ【００２７】尚、各ニューラル・ネットワーク１ｉの学（ｔ）が数２で与えられる。
習を個別に行なってもよいが、複数のニューラル・ネッ【００２９】
トワーク１ｉが定数のみが異なる数式および偏微分関数※【数２】【００３０】但し、当初は未知数量が適当に設定された状態であるから得られる累積加算値Ｏｊ（ｔ）は実際の計測値Ｓｊ（ｔ）とは異なる。したがって、関数値誤差
演算器３において計測値Ｓｊ（ｔ）と累積加算値Ｏｊ（ｔ）との差を推定誤差ｄｉ（ｔ）として算出するとともに、偏微分値算出部３ｉｋにおいて累積加算値Ｏｊ（ｔ）の偏微分値を数３に基づいて算出する。
【００３１】【数３】

(7)特開平５−１８１８２５
12

11【００３２】そして、数４に基づいて補正部１２ｉによ＊ 正ゲイン）である。
り各ニューラル・ネットワーク１ｉの既知入力以外の未【００３３】
知数量情報を補正することにより精度よく未知数量情報【数４】を推定できる。但し、εｋは未知数量の学習ゲイン（補＊10【００３４】即ち、補正部１２ｉによる補正処理を反復※ に詳細に説明する。
すれば推定誤差ｄｉ（ｔ）が小さくなり、ついには推定【００３５】推定誤差評価関数Ｅｊ（ｔ）を次式で定義
誤差ｄｉ（ｔ）がほぼ０になるので、この時点においてすれば、数５が得られる。
2
各ニューラル・ネットワーク１ｉの未知数量情報を収集
Ｅｊ（ｔ）＝（１／２）｛Ｓｊ（ｔ）−Ｏｊ（ｔ）｝
ユニット５により収集して出力することにより未知数量【００３６】の解析結果を得ることができる。数４の処理を反復する【数５】
ことにより未知数量の推定が達成できる点についてさら※20【００３７】そして、各ニューラル・ネットワーク１ｉ★ 量の推定は数６に基づいて行なうことができる。
における未知数量の補正を最急降下法に基づいて行なう【００３８】
こととすれば、推定誤差評価関数値が最小になる未知数★
【数６】【００３９】また、数２から数３の関係式が得られる。
☆ が最小となる未知数量の推定動作を説明する。但し、△そして、数３を数６に代入すれば数４が得られる。図３
ａｉｋは未知数量に対する補正値である。
は推定誤差評価関数の一例を示す図であり、この推定誤【００４０】
差評価関数の状態を示す表１と共に推定誤差評価関数値☆
【表１】【００４１】上述したように、未知数量の推定は推定誤差評価関数の値が小さくなるように行なえばよいのであるから、推定誤差評価関数Ｅｊ（ｔ）の傾きの符号に着目すればよく、傾きが正の場合には補正値△ａｉｋを負に、傾きが正の場合には補正値△ａｉｋを正にすればよい。また、図３には極小点が含まれているのであるか
50

ら、上記未知数量の推定を行なった場合に、極小点に対応する未知数量ａｉｋが得られるように思われる。しかし、１つの未知数量のみについて推定処理を行なうのではなく、全ての未知数量について同期的に推定処理を行なうのであるから、推定処理を行なう毎に推定誤差評価
関数自体が変化することになり、この結果、最終的に推(8)13定誤差評価関数値を最小にする未知数量を得ることができる。したがって、最終的に得られた未知数量を収集ユ
ニット５により収集して出力することにより未知数量の推定を達成できる。
【００４２】以上の説明から明らかなように、この実施
例の未知数量推定装置は、入力パターンと出力パターンとの間に一定の因果関係が存在することが分っているが数式化できていないような場合に、数式化できていない
因果関係を各ニューラル・ネットワーク１ｉに構築することにより数式化できたのと等価な状態を得、得られた 10
状態に基づいて未知数量の推定処理を行なうのであるか
ら、例えば、既知の計測条件等および計測値のみが与えられた状態において高精度に未知数量を推定することができる。
【００４３】また、入力パターンと出力パターンとの間に存在する因果関係を数式で表現できることが分っているが、積分、畳み込み演算等を含むため演算負荷が著し
く大きくなるような場合においても、各ニューラル・ネ
ットワークにおいて数式化できたのと等価な状態を得、得られた状態に基づいて未知数量の推定処理を行なうの 20であるから、演算負荷を大巾に低減でき、例えば、既知の計測条件等および計測値のみが与えられた状態において高精度に未知数量を推定することができる。したがって、例えば、この実施例の未知数量推定装置を用いてセンサの指向性等を高精度に推定できる。
【００４４】【実施例２】図４はこの発明の未知数量推定装置の他の実施例を示すブロック図であり、上記実施例と異なる点
は、前記実施例においてニューラル・ネットワーク毎に設けられている偏微分値算出部１ｉｋに代えて、１入力 30のみを微小量だけ変化させる入力変化部１５ｉｋと、１入力の変化前後における出力を保持する出力保持部１６
ｉｋと、両出力の差を算出する差算出部１７ｉｋとを設けた点のみである。
【００４５】したがって、この実施例の場合には、偏微分演算を行なわなくても、１入力のみの微小変化に対応

特開平５−１８１８２５14する出力変化を算出でき、この出力変化が偏微分値に相当するのであるから、上記実施例と同様の作用を達成できる。また、この実施例においては偏微分関数の学習を行なう必要がないのであるから、前記実施例と比較して学習所要時間を短縮できる。
【００４６】【発明の効果】以上のように請求項１の発明は、従来は到底不可能であった未知数量の推定を簡単に、かつ高精度に達成できるという特有の効果を奏する。請求項２の発明も、従来は到底不可能であった未知数量の推定を簡単に、かつ高精度に達成できるという特有の効果を奏する。
【００４７】請求項３の発明も、従来は到底不可能であった未知数量の推定を簡単に、かつ高精度に達成できるという特有の効果を奏する。請求項４の発明も、従来は到底不可能であった未知数量の推定を簡単に、かつ高精度に達成できるという特有の効果を奏する。
【図面の簡単な説明】【図１】この発明の未知数量推定装置の一実施例を示す
ブロック図である。
【図２】１つの階層型パーセプトロンに対応する部分の構成を詳細に示す概略図である。
【図３】推定誤差評価関数の一例を示す図である。
【図４】この発明の未知数量推定装置の他の実施例における１つの階層型パーセプトロンに対応する部分の構成を詳細に示す概略図である。
【符号の説明】
１ｉ 階層型パーセプトロン
１ｉｋ 偏微分値算出
部
２ シグマユニット
３ 関数値誤差演算器
３ｉ
ｋ 偏微分値誤差演算器
５ 収集ユニット
６ｉ 偏微分関数学習部
１２ｉ 補正部
１５ｉ 入力変化部
１６ｉ 出力保持部
１７ｉ
差算出部

(9)

【図１】

特開平５−１８１８２５

(10)

【図２】

特開平５−１８１８２５

(11)

【図３】

特開平５−１８１８２５

(12)

【図４】

特開平５−１８１８２５