(57)【特許請求の範囲】
【請求項１】
銀行券の複数の特徴を感知する感知手段と、
前記感知手段で得られた複数の感知信号を正規化する正規化手段と、
前記正規化手段からの複数の出力信号に基づいて前記銀行券を認証する確率論的ニューラルネットワークと、を有し、
前記ニューラルネットワークは、
（１）前記正規化された複数の信号を受信し、それぞれを複数の入力ベクトルとして記述して出力する入力ノード層と、
（２）前記複数の入力ベクトルとこれに対応する予め設定された複数の模範ベクトルとの差を求めその合致度を示す複数の出力信号として出力する模範ノード層と、
（３）前記模範ノード層からの前記複数の出力信号を受信し、これを指数関数に従って指数化する複数の一次非線形変換ノードと複数の二次非線形変換ノードとからなる指数化ノード層と、
（４）前記複数の一次非線形変換ノードと前記二次非線形変換ノードからの出力信号を加算する複数の前記銀行券のデザインに対応する複数のデザインクラス加算ノードとそれ以外の未分類クラスに対応するヌルクラス加算ノードとからなる加算ノード層と、の各ノード層を有し、
前記複数のデザインクラス加算ノードと前記ヌルクラス加算ノードからの複数の出力値の比較により前記銀行券の真贋を認証することを特徴とする銀行券認証システム。
【請求項２】
前記一次非線形変換ノード及び前記二次非線形変換ノードのそれぞれにおいては、入力信号の値がゼロの時にその出力が最大値となり、入力値が増大するに従って前記出力値が低下するようにした指数伝達関数を用いることを特徴とする請求項１に記載の銀行券認証システム。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明はニューラルネットワークに関し、特にそのようなネットワークを使用する銀行券認証システムに関する。
【０００２】
【従来の技術】
銀行券を受領する自動機がますます使われるようになっている。これらの機械は機械に投入された銀行券を認識する。すなわち機械は銀行券のデザインとか額面を同定する。そのような機械にとっては銀行券を認証することすなわち、真造銀行券と贋造銀行券を区別することが極めて重要である。一般に認証は認識よりも困難である。その理由は、いろいろのデザイン又は額面は直ちに区別されるように入念にデザインされている一方、偽造物は故意に真造銀行券と区別できないように意図されているからである。
【０００３】
硬貨の認証に使用される機械的方法は一般に銀行券の認証には適用できない。それゆえ銀行券の認証には主に光学的な別の方法が開発されている。これらの方法は一般に検査中の銀行券の特徴を多数観察して一組の信号を作成し、次いでこれを標準の信号と照合する。
【０００４】
すべての銀行券は最初に発行されたときは良好な状態である。銀行券は使用されて流通するに伴い、いろいろの経路で磨耗し始める。例えば銀行券は折り曲がり、隅が犬の耳のように折れ、書き込みがされ、汚れ、いろいろの経路でシミがつく。それゆえ銀行券認証技術で使用する特徴は理想値から僅かに変動する傾向がある。したがって認証技術には適当な許容度があるべきで、さもないと有効な銀行券に対する拒絶率が余りにも高くなって顧客の不満が受忍限度を超えることとなる。他方、明らかに極めて重要なことであるが、認証技術が贋造銀行券を検出し拒否する高い信頼性をもっていなければならない。
【０００５】
銀行券は主に自動同定方法を使うようにデザインされてはいない。それゆえこのような方法で同定するために使用する特徴は、経験をもとに選択しなければならない。このことはこれらの特徴を組み合わせて銀行券が有効であるか否かを決定する簡単な一般的アルゴリズムがないことを意味する。このような場合に銀行券が有効であるか否かを決定するための一つの簡単な方法は、ある形態のニューラルネットワークを使用することである。
【０００６】
本質上、ニューラルネットワークは多数の層（layers）に構成されたセル又はノードから成るネットワークである。各層のノードはその前の層のノードの出力を受ける。最初の層のノードは生の入力信号を受ける。各層ではすべてのノードが入力信号に対して大まかには同一の機能を働かせるが、この機能はいろいろのパラメーターに応答して変化するようにさせることができる。また、しばしば固有の組の入力信号が各ノードに与えられる。これらのパラメーターはノードごとに異なってよく、またネットワークを「訓練する」ため、いろいろの態様に調節することができる。
【０００７】
確率論的ニューラルネットワーク（probabilistic neural network, PNN）はドナルド エフ スペクト（Donald F. Specht）の記事に開示されている。ＰＮＮの背後にある理論は、ベイス（Bayes）の確率理論および決定戦略に基づいており、それゆえ「確率論的」の名が冠されている。ネットワーク自体は決定論的である。上記の文献の出典は以下の通りである。
【０００８】
「確率論的ニューラルネットワークス（Probabilistic Neural Networks）」、ドナルド エフ スペクト、ニューラルネットワーク誌、第３巻、１９９０年、１０９-１１８頁。
【０００９】
「分類の現代的方法としての確率論的ニューラルネットワークスと多項式エイダライン（Probabilistic Neural Networks and the Polynomial Adaline）」、ドナルド エフ スペクト、ＩＥＥトランザクション オン ニューラルネットワーク誌、第１巻第１号１９９０年３月号、１１１-１２１頁。
【００１０】
ここでの目的上、ＰＮＮネットワークはスペクトが述べたように次のように要約できる。ＰＮＮネットワークは第一、第二および第三層を含む。第一層は単にソース信号の分布から成る。この層の各ノードはいろいろの入力信号を与えられるがそれらの信号を第二層のすべてのノードに通過させる。第二層はパターンノードからなる。これらのノードはグループ分けされ。このグループ分けは、システムが分類するパターンの各カテゴリすなわちクラスを一つのグループに割り当てるように行なわれる。各パターンノードは、入力信号の重み付き加算を行ない、重み付き和の指数関数を発生する。第三層は加算ノードからなる。各加算ノードは異なるグループのパターンノードの出力を与えられ、単にそれらの出力の和をつくる。
【００１１】
第三層の出力は各加算ノードから一つづつ出された一組の信号で、それらの信号は各々、当該入力信号の組が当該加算ノードのクラスに属する確率とみなすことができる。これらの信号は一般に第四層でさらに処理を受ける。この第四層の最も簡単な形態のものは、単にこれらの信号のうちの最大のものを決定し選択するものである。しかし、最大値が二番目に大きな信号よりもある適当な大きさ以上に大きいときだけその最大値を選択するようにしたもっと入念な構成を使うこともできる。
【００１２】
スペクトの提唱する出力層はこれとは僅かに異なることに注意されたい。基本的なスペクト回路では、最終層は二つの加算ノードから入力を受ける単一出力ノードから成り、受けた入力の重み付き和（ただし重みの一つは負）を形成し、重み付き和の符号に応じて０又は１を発生する。このＰＮＮネットワークはその入力パターンがある特定形式に属するか否かを決定する単一の２進決定を行なう。スペクトはこの方法を、各々に出力ノードを備えた別の加算ノード対を含めるように拡張した。すべての加算ノード対が、同じパターンノードを（もちろん異なる組み合わせで）受ける。これらの各出力ノードは入力信号がある特定形式に属するか否かを決定する。一つの出力ノードが定義する特定形式と他の出力ノードが確定する特定形式とは独立である。
【００１３】
パターンノード層は二つのサブ層（sublayers）、すなわち重み付き加算サブ層（weighted sum layer）および指数化サブ層（exponentiation sublayer）に分割されているとみなすことができる。ＰＮＮネットワークはこのとき四つまたは五つの層からなり、これらの層は便宜的に入力層、模範（exemplar）層（又は重み付き加算層）、パルゼン（Parzen）層（又は指数化層）、加算層（又は重み付き加算層）および（存在すればだが）出力層と呼称する。パルゼン層は複数のパルゼンノードで形成される。パルゼンノードとは、ここでは単一の入力と単一の出力とを有し、かつその入力に印加された入力値に非線形変換を実行し、その結果入力値がゼロであるときに出力に最大値を与えるようにされたノードを意味する。この出力は入力が増大するにつれて単調に減少する。非線形変換の適当な一例は後で詳述する指数関数である。
【００１４】
ＰＮＮネットワークの極めて重要な特徴は、パターンノード層すなわち模範層とパルゼン層である。模範層はベクトルで記述することができる。入力信号の組を入力ベクトルとみなし、重みの組を重みベクトルとみなすと、模範ノード内の各ノードはこれら二つのベクトルのドット積を形成する。後で見るように、重みベクトルはまた模範ベクトルと呼ぶことができる。便宜上、これらベクトルの双方を列ベクトルとすると、ドット積を造るためにはその第一のベクトルは転置しなければならない。パルゼン層では各ノードが、模範層内の対応ノードの出力の指数関数を形成する。
【００１５】
パルゼン層の指数化関数はパルゼンカーネル又はパルゼンウインドウとして知られており、またパルゼン関数又は活性化関数としても知られている。この関数は、入力信号が入力ベクトルおよび模範ベクトルの類似性の目安となるように、かつ非類似性が増大するにともなって入力信号が最大値より小さくなるように定式化される。その結果、指数化ノードの出力は比類似性が増大するに伴い減少する。上記のスペクトの文献は可能なパルゼン関数をいくつか与えている。
【００１６】
ニューラルネットワークは、もちろん所望のパターンを認識するように適切にパラメーターが設定されていなければならない。これはしばしば「ネットワークのトレーニング」と呼ばれる。ＰＮＮネットワークでは模範層、指数化層および加算（クラス）層に調整可能なパラメーターがある。ある種の形式のニューラルネットワークではトレーニングは適当な入力を印加し、その結果得られるネットワーク出力にしたがってパラメーターの調節を行なう。クラス層の場合は例外であって、ＰＮＮネットワークのパラメーターは出力に拠らずに設定される。
【００１７】
ニューラルネットワークはしばしば概念を類推させる用語で記述される。すなわちその信号は連続的な変数とみなされ、諸ノードは和、積等を与えるデバイスとして記述される。しかしニューラルネットワークはデジタル技術により与えることができ、その場合は変数は多ビット数として表現され、デジタル加算器、乗算器等により演算される。
【００１８】
ＰＮＮネットワークは一組のクラスの一つに未知入力ベクトルを割り当てるように設計されており、各クラスは一組の「理想的」ベクトルすなわち模範ベクトルにより確定される。各クラスごとに少なくともいくつかの模範ベクトルがあることが好ましい。
【００１９】
銀行券の同定に適用するときは、各額面ごとにおよび同一額面の異なるデザインごとに別個のクラスが設けられる。銀行券受領機中に銀行券が挿入されるときの四つの方向に対応して、各額面を四つの異なるデザインから成るものとみなすことが便宜なこともある。ある特定クラスに対する模範ベクトル群は（これらは正規化することができる）、磨耗および汚染の種類および程度が異なる同額面の銀行券から得られるベクトル群である。
【００２０】
模範層では各ノードはそれぞれの模範ベクトルを認識するように調節される。そのパラメーターは認識すべき模範ベクトルのみに依存するように設定される。そのパラメーターはネットワークが認識すべき（同じクラスまたは異なるクラスの）他のパターンのいずれにも依存しない。
【００２１】
ネットワークに対する入力の数をｎとすると、ｎは各模範ノードに対する入力数であり、また各模範ノードにおける重みの数でもある。言い換えると、入力ベクトルおよび重みベクトルは各々ｎ個のエレメント（要素）をもつ。各模範ノードの重みベクトルの成分の選択は極めて簡単である。すなわち各ノードごとに重みベクトルが模範ベクトル（すなわち当該ノードが認識すべき「理想」銀行券に対する入力ベクトル）と同じに設定される。それゆえ模範ベクトルは一組のトレーニングベクトルとみなすことができる。各パルゼンノードは関数 ｚ＝exp((y−1)／s2）を与えることができる。ここでyはノードへの入力信号、ｚはそのノードの出力、s2（又はs）はそのノードに属するパラメーターである。
【００２２】
模範ベクトルおよび入力ベクトルの両方が共に長さ１に正規化されていると仮定すると、2(1−y)＝(W−X)2 である。ここにWは模範ベクトル、またXは入力ベクトルである。これはパルゼンノードのオペランド（すなわちy−1）が模範ベクトルと入力ベクトルとの間の距離の平方に負号を付けたものであることを意味する。入力ベクトルが模範ベクトルに厳密に合致すると、模範ノードの出力yはその最大値１となる。出力は入力ベクトルの終点が模範ベクトルの終点から離れるにつれて減少し、減少率はその距離が増大するにつれて増大する。
【００２３】
パルゼンノードは（1−y）の指数関数を形成する。（1−y）は単に模範ベクトルと入力ベクトルの終点間の距離の平方の半分である。この指数関数は実際は−（1−y）の指数関数であり、負号は、入力ベクトルが模範ベクトルに一致するときにパルゼンノード出力が最大値となり、ｎ次元球面である超球面上で入力ベクトルが模範ベクトルから離れるに従ってこの出力が減少することを意味する。従ってこのパルゼンノード出力は、その超球面をゼロ面もしくは基準面として超球面から投影して得られるベル形状（ガウス関数）とみなすことができる。
【００２４】
特定のクラスのパターンについてクラスターを形成するいくつかの典型的な模範ベクトルがある。これらのベクトルの終点はおおよそ対称的に配置することができるが、超球面上で幾分か不規則な形状を形成することが多く、それゆえ二つ以上の異なる別々のサブクラスターに分割することができる。それゆえこれらの模範ベクトル各々について、対応のパルゼンノードは、模範ノードの終点にピークをもち、そのピークの周囲で対称的に減少する関数を生じる。一クラスのすべての模範ベクトルに対するこれらマルゼンノードの出力は、加算ノードにより総和される。
【００２５】
パラメーターｓは平滑化パラメーターで、パルゼンノード出力の「拡がり」、すなわち入力ベクトルと模範ベクトルとの間の角度が増大するときに出力がいかに急速に低下するか、を決定する。このパラメーターは、当該パターンに対する加算ノードの出力、すなわち当該クラスターに対するパルゼンノード出力の和、がクラスターにわたり適度に滑らか且つ平坦であるがクラスターの境界を超えると適度に低下するように選択することが好ましい。
【００２６】
もしも平滑化パラメーターｓが小さすぎると、クラスターは別個のピークに分裂する傾向をもち、このときピーク間ではバルゼンノード出力の和は小さい。その場合は、クラスターの内側にあるがどの個別模範ベクトルにも近くないパターンが小さな出力和を生じるが、その入力をそのクラスターにすなわち当該クラに、属することを同定するにはこの和は十分大きくないないかもしれない。もしも平滑化パラメーターが大きすぎると、パルゼンノード出力の和はクラスターからの距離が増大しても僅かにしか低下せず、クラスターからかなり遠い入力ベクトルが当該クラスター（クラス）に属するものと同定されよう。
【００２７】
銀行券の同定で重要なことは上述したように贋造銀行券を検出することである。この条件はＰＮＮネットワークを使用するときは特別の困難を呈する。なぜならば贋造銀行券を検出するためのＰＮＮネットワークには贋造銀行券に対し一つのクラスが割り当てられ、そのクラスを確定するための一組の模範ベクトルが設けられるからである。この代わりに、異なる贋造形態に対していくつかのクラスを割り当てる方がより便利である。
【００２８】
基本的な問題は、贋造銀行券は直ちに入手可能でないことである。このため一組の模範ベクトルを与えることが困難である。ある特定の形態の贋造が知れたとしても、したがってそれに対する一組の模範ベクトルをネットワークに含めることができたとしても、それはその特定形態の贋造に対処するに過ぎない。もしも別の形態の贋造が出現すればネットワークはそれを認識することができない。そこでネットワークは毎回新しい形態の贋造が知れる度に更新を必要とし、ネットワークは決して新しい贋造形態に対処することができない。それゆえ、「未分類クラス」すなわちヌルクラス（null class）を定義する方法を与えることが望まれる。ネットワークが認識するようにデザインされたクラスはデザインクラスに指定されていることに注意されたい。これはデザインクラスをヌルクラスから区別するためである。
【００２９】
ヌルクラスの成分密度（component density）はヌルクラス内で入力ベクトルに遭遇する期待値を表すものと考えることができる。このヌルクラス成分密度は、ヌルクラス内における入力ベクトルの実際の分布が未知あるいは重要度の低いものであれば平坦である。しかし非一様密度を使用することにより期待値がヌルドメイン内の位置に依存するようにすることができる。
【００３０】
【発明が解決しようとする課題】
従って本発明の課題は、ＰＮＮネットワーク内にヌルドメインを確定するための技術を与えることである。
【００３１】
【課題を解決するための手段】
本発明を構成する確率論的ニューラルネットワークは、銀行券の複数の特徴を感知する感知手段と、前記感知手段で得られた複数の感知信号を正規化する正規化手段と、前記正規化手段からの複数の出力信号に基づいて前記銀行券を認証する確率論的ニューラルネットワークと、を有し、前記ニューラルネットワークは、（１）前記正規化された複数の信号を受信し、それぞれを複数の入力ベクトルとして記述して出力する入力ノード層と、（２）前記複数の入力ベクトルとこれに対応する予め設定された複数の模範ベクトルとの差を求めその合致度を示す複数の出力信号として出力する模範ノード層と、（３）前記模範ノード層からの前記複数の出力信号を受信し、これを各指数関数に従って指数化する複数の一次非線形変換ノードと複数の二次非線形変換ノードとからなる指数化ノード層と、（４）前記複数の一次非線形変換ノードと前記二次非線形変換ノードからの出力信号を加算する複数の前記銀行券のデザインに対応する複数のデザインクラス加算ノードとそれ以外の未分類クラスに対応するヌルクラス加算ノードとからなる加算ノード層と、の各ノード層を有し、前記複数のデザインクラス加算ノードと前記ヌルクラス加算ノードからの複数の出力値に比較によって前記銀行券の真贋を認証することを特徴とするものである。ここで、前記一次非線形変換ノード及び前記二次非線形変換ノードのそれぞれにおいては、入力信号の値がゼロの時にその出力が最大値となり、入力値が増大するに従って当該出力値が低下する指数伝達関数を有するものである。
【００３２】
本発明のネットワークは拡張された確率論的ネットワーク（Extended Probabilistic Network, 以下、ＰＮＸネットワークと呼ぶ）と呼称することができる。平易な呼び方をすればこのＰＮＸネットワークは、デザインクラスに対する各パルゼンノード（ここでは一次パルゼンノードと呼ぶ）ごとに、すべてヌル加算ノードに出力を与える第二の（すなわち二次）パルゼンノードを設ける点で、ＰＮＮネットワークとは異なる。各二次パルゼンノードは、対応する一次パルゼンノードよりも低いピーク振幅および大きな拡がり（broader spead）をもつパルゼン関数を有し、当該一次パルゼンノードの模範ノードの出力を受ける。以下に説明するように、二次パルゼンノードは要するにデザインクラスから「十分に」異なる入力ベクトル、すなわちヌルクラスベクトル、を検出する。
【００３３】
ヌルクラスはこのようにヌルクラスベクトルによって確定されるのではなく、デザインクラスへの参照によって確定される。本ＰＮＸネットワークは、単純な一様ヌルクラス密度を使用するだけのヌルクラス確定法よりももっと精密かつ正確にこのヌルクラスを確定する。これはヌルクラスの性質に関する特定の知識がないときに達成することのできる最善の手段である。
【００３４】
対をなす一つの一次ノードと一つの二次ノードからなる二つのパルゼンノードが、模範ノードの信号とは僅かに異なるパルゼン関数を形成する。しかし模範ノードは両方のパルゼンノードに対して入力信号を変数とする同一フォーマットの関数を与える。それゆえ物理的に別個の模範サブ層とパルゼンサブ層を与えることが好ましい。なぜならばそれによって模範ノード関数を重複して計算することを回避できるからである。
【００３５】
もしも何らかのヌルクラス模範ベクトルが利用可能であれば、それぞれのパルゼンノード（これはヌルクラス加算ノードに出力を与える）に出力を与える模範ノードとしてＰＮＸネットワークにこれらのヌルクラス模範ベクトルを随意選択的に含めることができる。ヌルクラスパルゼンノードには一次あるいは二次というような性格付けの用語は全く必要ない。と言うのは、各ヌルクラスベクトルにはそのようなノードがただ一つしかないからである。
【００３６】
【実施例】
図１に示すように、銀行券同定システムは、認識すべき銀行券６０を三つの感知ステーション１１-１３を通過させて矢印の方向に担持する銀行券移送機構１０（水平線として力線で示す）を含む。これらの感知ステーションは三つの並列チャンネルに出力を与え、それらの出力は決定論理ユニット１８により結合される。感知形式の異なる三つの個別チャンネルを使用すると、最終決定の信頼レベルが増大する。
【００３７】
さらに特定すると、感知ステーション１１はイメージ格納兼処理ユニット１４に出力を与えるカメラを含む。スペクトロメーター１２は、銀行券の複数領域から反射された光のスペクトル応答をいろいろの波長で測定し、正規化ユニット１６を介して、拡張された確率論的ニューラルネットワーク（ＰＮＸ）１５に出力する。正規化ユニット１６はスペクトロメーター１２からの信号をニューラルネットワーク１５に用いるに適した信号に正規化する。センサー１３は蛍光性とか磁性の様な銀行券の別の特性を感知する手段を含み、証明論理ユニット１７に出力を与える。イメージ格納兼処理ユニット１４、ＰＮＸネットワーク１５、および証明論理ユニット１７は上述したように決定論理ユニット１８に出力を与える。イメージ格納兼処理ユニット１４は銀行券６０のイメージを捕捉し、捕捉したイメージから処理すべき諸特性を抽出する等により、そのイメージを利用する。
【００３８】
図２はＰＮＸネットワーク１５のブロック線図である。このネットワークは五つの層Ｌ１ないしＬ５を含む。各層のノードは小円で示す。このネットワークは、入力ベクトル、二つのデザインクラスＣ１およびＣ２並びにヌルクラスＣ０を形成する四つの入力信号ｘ１ないしｘ４と、クラスＣ１に対する五つの模範ベクトルと、クラスＣ２に対する三つの模範ベクトルと、ヌルクラスに対する二つの模範ベクトルとを有することが図示されている。ヌルクラスに対する模範ベクトルは随意的であり、省略できる。もちろん実際には各クラスに対する入力信号、クラス、および模範ベクトルの数は一般にここに図示する数よりも遥に大きいことは理解できよう。
【００３９】
さらに詳細に説明すると、入力ノードはノードＬ１-１ないしＬ１-４と図示されている。これらのノードは各々バッファ増幅器からなり、その入力信号を層Ｌ２の模範ノードに結合する。これについてはさらに後で詳述する。
【００４０】
層Ｌ２では模範ノードは諸クラスにグループ分けされる。クラスＣ１は五つの模範ノードＬ２-１ないしＬ２-１-５を有し、クラスＣ２は三つのノードＬ２-２-１ないしＬ２-２-３を有し、ヌルクラスは二つの（随意的）模範ノードＬ２-０-１ないしＬ２-０-２を有する。層Ｌ１の各入力ノードは層Ｌ２のすべての模範ノードに結合される。
【００４１】
層Ｌ３のパルゼンノードでは、デザインクラス（クラスＣ１およびＣ２）の各模範ノードに対して一対のパルゼンノード、すなわち一次ノードおよび二次ノードがある。したがってデザインクラスに対する典型的なノードとして模範ノードＬ２-２-３を例にとると、このノードは一対のパルゼンノードの一次ノードＬ３-２-３Ｐおよび二次ノードＬ３-２-３Ｓに結合される。ヌルクラスの典型的な模範ノードとして模範ノードＬ２-０-１をとれば、このノードは単一パルゼンノードＬ３-０-１に結合される。
【００４２】
加算ノード層Ｌ４には、各デザインクラスごとの加算ノード（すなわちデザインクラスＣ１およびＣ２に対するそれぞれの加算ノードＬ４-１およびＬ４-２）およびヌルクラスＣ０に対する別の加算ノードＬ４-４-０がある。各デザインクラス加算ノードは、そのデザインクラスに対する一次パルゼンノードすべてから出力を受け、ヌルクラス加算ノードはヌルクラスに対するパルゼンノード（もしそれがあれば）とすべてのデザインクラスの二次パルゼンノードとの出力を受ける。加算ノードＬ４-１はクラスＣ１に対する五つの一次パルゼンノードからの出力を受け、加算ノードＬ４-２はクラスＣ２に対する三つの一次パルゼンノードからの出力を受け、加算ノードＬ４-０は１０個のパルゼンノード（ヌルクラスに対する二つのパルゼンノード、デザインクラスＣ１に対する五つの二次パルゼンノード、およびデザインクラスＣ２に対する三つの二次パルゼンノード）からの出力を受ける。
【００４３】
随意選択的な出力ノードである層Ｌ５では、層Ｌ４の各加算ノードに対応して一つの出力ノードがあり、その各々が対応の加算ノードからの出力を受ける。このようにして加算ノードＬ４-０ないしＬ４-２からそれぞれの出力を受ける三つの出力ノードＬ５-０ないしＬ５-２がある。すべての出力ノードは相互に結合される。これら出力ノードは、加算ノードからの信号の最大のものを選択する。
【００４４】
ＰＮＸネットワーク１５の出力は、ヌルクラスを含む各クラスごとに一ライン存在する一組のラインであり、一時にそれらのうちただ一つのみが作動される。ＰＮＸネットワーク１５はこのようにして銀行券を認識すると共に認証し、その認証は決定論理ユニット１８による確認を受ける。決定論理ユニット１８はＰＮＸネットワーク１５の出力をイメージ格納兼処理ユニット１４および証明論理ユニット１７の出力と結合する。銀行券はヌルクラス加算ノードが他の任意の加算ノードの出力を超えると、正しくないと分類される。銀行券の認識は（それが真造のものであると仮定すると）加算層ノード出力のうち最大のものを選択することにより達成される。しかし所望であれば、加算層ノードの出力は決定論理ユニット１８で直接に使用して認識を行なうことができる。この認識は決定論理ユニット１８単独で、あるいは他の認識回路と組み合わせて、あるいは他の認識回路のみで使用しても行なうことができる。その場合、非ヌルクラス加算ノードは認識の目的上、無視される。このような選択をしたときは、イメージ格納兼処理ユニット１４は銀行券認識を行なうため、格納済み文書イメージから抽出された特徴を使用することができる。
【００４５】
図３はノードＬ１-１のような入力ノードのブロック線図である。上に論じたように、このノードは出力のすべてがすべての模範ノードに与えられるバッファ増幅器２５のみからなる。
【００４６】
図４はノードＬ２-１-１のような模範ノードのブロック線図である。このノードは、それぞれこのノードに対する模範ベクトル（重み付きベクトル）の一組四個のエレメントｗ１ないしｗ４を格納する四つの格納エレメント３０-１ないし３０-４と、それぞれに入力ベクトルの四つのエレメントｘ１ないしｘ４および対応する模範ベクトルのエレメントの一つから出力を受けてそれらの二つのエレメントの間の差を形成する一組四個の差エレメント３１-１ないし３１-４と、それぞれに差エレメント３１-１ないし３１-４のうちの対応する一つの出力を受けて当該差エレメントの出力の平方を形成する一組四個の平方ユニット３２-１ないし３２-４、並びに四個の平方ユニット３２-１ないし３２-４の出力の和を形成する和エレメント３３から成る。この平方の和は入力ベクトルと模範ベクトルとの間のユークリッド距離の平方、すなわち
【数１】
0003705619.tif 000002
である。
【００４７】
本好ましい実施例では入力ベクトルおよび模範ベクトルは、スペクトのＰＮＮネットワーク内にあるので単位の大きさに正規化してない。このため、ベクトルの寸法（大きさ）についての情報を持続することができる。この情報は潜在的に有用である。しかし、一設計変更例ではベクトルは単位の大きさに正規化される。これによって模範ノードが簡単化できる。この簡単化はエレメントの差をとることおよび平方をとることをやめ、以下の等式に関して一つの乗数を含めることにより、行なわれる。
【００４８】
Σ(ｘi−ｙi)2＝Σｘi2−２Σｘiｙi＋Σｙi2
ここでベクトルｘ、ｙは単位ベクトルでΣｘi2＝Σｙi2＝１に正規化されている。
【００４９】
これらの定数項は一定値を入力することにより補償されるから、上記差および平方演算は実質上、乗算ｘi・ｙiで置換される。
【００５０】
図５はノードＬ３-２-１Ｐのようなパルゼンノードのブロック線図である。このノードは、それぞれパラメーターｂおよびａを格納する二つの格納レジスター３５および３６、関連の模範ノードの入力信号にパラメーターｂを乗ずる第一乗算エレメント３７、乗算エレメント３７の積から負の指数関数を形成する指数化ユニット３８、並びに指数ユニット３８から得られる信号にパラメーターａを乗ずる第二乗算エレメント３９からなる。
【００５１】
パルゼンノードは関数ａexp(−ｂｙ）を与える。ここにｙは関連の模範ノードから得られる入力信号である。上記の議論でオペランドはｙ−１にとった。この模範ベクトルおよび入力ベクトルが正規化されているときは、これはｙに等価である。なぜならば−１は単に因子１／ｅを表すに過ぎず、この因子はａの中に吸収できるからである。
【００５２】
どのデザインクラスに対する一次パルゼンノードについても、またヌルクラスに対するどのパルゼンノードについても、パラメーターｂは１／(λｓ2）ととる。ここにｓは上述したパラメーターであり、当該クラスに対する模範ベクトルのクラスター化の程度に依存する。特にｓは当該クラスに対するＭ個の隣接する模範ベクトルの平均ユークリッド距離ととることができる。Ｍは便宜的にＮ／２およびＮ／１０の間にとることができる。ここにＮはこのクラスに対する模範ベクトルの全数である。Ｍは便宜上、このクラスに対するすべての模範ベクトルに対して同じにとることができる。しかしｓは各模範ベクトルごとに別個に計算することが好ましい。
【００５３】
パラメーターｂは二つのパラメーターｓおよびλλに依存する。このうちｓについては上述した（なお、ｓは各模範ベクトルごとに異なる）。パラメーターλλはグローバルパラメーターで、一つのクラスのすべての模範ベクトルに対して、かつすべてのクラスに対して共通であり、当該模範ベクトルのいわゆる「影響円（circles of infuluence）」と呼ばれるものの平滑化、言い換えると諸クラスの「影響領域（zones of influence）」の平滑化、の程度をグローバル制御することを可能にするパラメーターである。これらのクラスに対する影響について「円」と言わずに「領域」という用語を使用するのは、一クラスの模範ベクトルが不規則な形状を形成しうるからである。λλの「理想的な」値すなわち理論的に正しい値は２である。しかしこの値がを約１ないし５の間の範囲の値であっても、得られる結果は成功とみなせることがわかっている。
【００５４】
パラメーターａは１／(π・λ・ｓ2)1/2ととる。ここでλおよびｓ2は上述したパラメーターであり、従って我々はａを（ｂ／π）1/2にとる。厳密に言うと、この量はｎ乗すべきである。ここにｎは模範ベクトルの次元（性分数）である。しかし、ｎ（これはグローバル定数である）はかなり大きいことが多く、数量を高い冪に挙げるとそれら数量の差が大きく増幅される。それゆえ一般的にはａをｎ乗せずに上述したようにとる方がよい。
【００５５】
デザインクラスに対する一次パルゼンノードおよびヌルクラスに対するどのパルゼンノードのパラメーターも上述したように選ぶことができる。二次パルゼンノードは同じ形式の関数ａ' exp（−ｂ'・ｙ）を与える。しかしその場合、パラメーターは、出力が模範ベクトルに近い（合致度が高い）入力ベクトルに対しては対応の一次パルゼンノードの出力よりも二次ノードの出力が低くなるが、模範ベクトルからかなりの距離にある（合致度が低い）入力ベクトルに対しては高くなるように、選ばれる。
【００５６】
このため、ｂ'は１／(ｋ・λ・ｓ2)1/2ととり、ａ'はｇ・（ｂ'／π）1/2にとる。ここにλおよびｓは上述したパラメーターであり、ｋおよびｇはヌルクラス二次ノードに対するグローバルパラメーターである。項ｇはある意味で「ヌルクラス利得」である。これは相対的に重要なデザインクラスとヌルクラスの制御を可能にするグローバルなしきい値あるいは利得パラメーターとして機能する。（これは下に論ずる別個のデザインクラスの境界の制御とは対照的である）。０.２ないし０.８の間のｇの値が一般的に最良の成果を与える。ただしデフォルト値として１を採用することができる。
【００５７】
図６はノードＬ４-２のような加算ノードのブロック線図である。このノードは単なる重み付き加算エレメント４５からなる。この重みについて以下に説明する。デザインクラスに対する加算ノードは、そのデザインクラスの一次パルゼンノードの出力を受ける。ヌルクラスに対する加算ノードＬ５-０はヌルクラス（もしもこれがあればだが）に対するパルゼンノードおよびすべてのデザインクラスに対する二次パルゼンノードの出力を受ける。
【００５８】
上述したように、あるデザインクラスに対する一次パルゼンノードの出力は一つの影響円とみなすことができる。図８を参照すると、この出力は模範ベクトルの終点を中心とするベル形状関数Ｐである。この影響円（図示してなし）はある小さな、しかしやや任意的な高さ（例えばピーク高さの１／１０）の等高線ととることができる。これに関連した二次パルゼンノードの出力も同様の形状をもつある関数Ｓで、やはり模範ベクトルの終点を中心とする。関数Ｓは一次ノード関数からこれを鉛直方向に圧縮することにより得られ、したがってそのピーク高はもっと低いが、幅広くなるように水平方向に拡がっている。すなわちその影響円はより大きい。
【００５９】
しばらくの間、ただ一つの単一模範ベクトルおよびそのデザインクラス一次パルゼンノードおよびその二次パルゼンノードだけを考えることにする。このとき、ネットワークの加算層および出力層は、これら二つのパルゼンノードのいずれがより大きな出力信号を発生するかを効果的に決定する。言い換えると、加算層および出力層はこれら二つのノードの出力間の差Ｐ−Ｓ（図８）を形成する。
【００６０】
この差異（すなわちこれら二つのノード関数間の差関数Ｐ−Ｓ）は、平易な表現をすれば（図８からわかるように）「堀」に囲まれた「島」とみなすことができる。さらに特定すると、この差関数は両側の傾斜により囲まれた中心ピークの形状を有する。その両側はゼロレベル（「海面レベル」）にまで下降し、それから（傾斜が緩やかになりながら）ゼロレベル以下に下降し、負の最大値に達し、最後に再び次第に上昇しゼロレベルに向かう。この「堀」は、実際は無限遠まで延びるので正確な定義とはいえないが、有限の外側境界すなわち深度が意味のないほどに小さくなる所にある「岸」をもつものとみなすことができる。
【００６１】
パラメーターｋは二つの関数ＰおよびＳの間の非類似度を制御する。ｋの値が大きいほど、Ｓ曲線のピークが低くなり、その減少がＰ曲線に比べて緩慢になる。ｋを大きくしたときは、Ｓ曲線の平坦度を大きくするためには、全体的に小さくなっている二次パルゼンノードの応答を補償するため、ｇ値を増大しなければならない。
【００６２】
実際上は、通常、デザインクラスはいくつかの模範ベクトルにより表される。ネットワークの加算層および出力層は、デザインクラス一次パルゼンノードおよび二次ノードの出力を効果的に加算し、これらの和の間の差を形成する。この結果は（平易な表現をすれば）やや不規則な形状（個々の模範ベクトルに属する個々の対称的ベル形状の島を組み合わせて形成される形状）をした、大略平坦な頂部をもつ「島」、かつ多少なりとも類似形状をした「堀」（これらの個々の島の周囲にある対称的な個々の堀の組み合わせにより形成される堀）に囲まれた「島」とみなすことができる。
【００６３】
上に注目したように、各加算ノード（図６）は重みを付けられる。この重み付けは単に、加算ノードが異なればパルゼンノードから受ける出力の数も異なるという事実を考慮に入れるためである。各加算ノードはその出力が、これに出力を与えるパルゼンノードの数の逆数で重み付けされる。ヌルクラス加算ノードの場合、この重みは実際はヌルクラス利得パラメーターｇと組み合わされる。しかしその結果得られるヌルクラスの重みｇ／Ｎは二つの別個の因子ｇと１／Ｎとに分離し、これら二つの因子をそれぞれパルゼン層および加算層内で適用する方が便利である。これはデザインクラスに対してもおよびヌルクラスに対しても加算ノード層における一様な重み付け因子を与える。
【００６４】
さらに、実際はいくつかの異なるデザインクラスがあるのが通例である。これらは（大変に平易な表現をすれば）それぞれの「堀」に囲まれた多数の別個の「島々」とみなすことができる。各デザインクラスが一つの島に対応する。これらの「堀」はそれらの外延で浅い共通の「海」に融合する。
【００６５】
もしも二つのデザインクラスが互いに近接していると、それらの「島々」はヌルクラスとの関連性との議論に関するかぎり連なっているとみなすことができる。しかしながら二つのデザインクラス自体については、それら自身の「島々」はもちろん区別できる程に異なっており、ＰＮＸネットワークの加算層および出力層は二つのデザインクラスのうちより大きな出力和を有するものを選択する。
【００６６】
どのデザインクラスからも遠いヌルクラス入力ベクトルの場合は、二次パルゼンノードの出力はすべて小さい。すなわち、「海」はその点で浅い。所望であればそのような入力ベクトルに対してもヌルクラス出力が確実に発生されることを保証するため、そのヌルクラスに対する加算ノードＬ４-０に対する入力（図２には図示してなし）に小さな正のバイアスをかけることができる。
【００６７】
議論を一つのデザインクラスに対する一次パルゼン関数の和と対応する二次パルゼン関数の和との差から、これらの関数それぞれの和に戻そう。デザインクラスの境界とはこれら二つの関数が等しくなる（すなわち交差する）線であり、この境界に囲まれた領域（area）がデザインクラスである。デザインクラスに対する二次パルゼンノードのパラメーターを一次ノードに対して相対的に調節することにより、この境界の位置（すなわちこのクラスの寸法）を調節することができる。このクラス寸法の調節を行なったことの効果は実質的にそのクラスに限定され、いろいろのクラスが適当に離れている限り事実上他のクラスへの影響はない。このように当該クラスに対する（一次および二次）パルゼンノードを調節することにより、各クラスの寸法を調節することができる。
【００６８】
図７はノードＬ５-２の様な出力ノードのブロック線図である。上述したように層Ｌ５は選択随意であることを了解されたい。このノードは、その二つの入力間の差を決定してその差が正又はゼロなら１を、差が負なら０を発生する差エレメント５０からなる。さらに、これら出力ノードの組は一つの共通回路としてバッファ５２に出力を与えるアナログＯＲゲート５１を有する。これら出力ノードの正入力端はそれぞれの加算ノードからの信号を与えられる。これらの信号は又ＯＲゲート５１にも与えられ、これら信号の最大のものがゲート５１の出力となり、バッファ５２を介して出力ノードの差エレメント５０の負入力端に与えられる。  それゆえ、出力ノードのちょうど一つだけがその差エレメントの正負入力端に同じ信号を有することとなり、その結果論理０の出力を生ずる。
【００６９】
所望であれば、この差エレメントに対する判別レベルをまさしく０とするような小さなバイアスを導入することができる。また二つ以上の加算ノードからの出力が等しいときでも二つ以上の１出力が生じること防止するため、差エレメントの出力端に論理回路を追加することもできる。
【００７０】
【発明の効果】
以上に説明したように、本確率論的ネットワークは一次パルゼンノードごとに、ヌル加算ノードに出力を与える二次パルゼンノードを有し、各二次パルゼンノードはデザインクラスから「十分に」異なる入力ベクトル（ヌルクラスベクトル）を検出する。すなわちヌルクラスはヌルクラスベクトルによって確定されるのではなく、デザインクラスへの参照によって確定される。したがってヌルクラスベクトルが未知でもヌルクラスを、従ってヌルクラスに属するヌルベクトルをデザインクラスから識別することができる。
【００７１】
また本ネットワークは、単純な一様ヌルクラス密度を使用するだけのヌルクラス確定法よりももっと精密かつ正確にこのヌルクラスを確定する。このためヌルクラスの性質に関する特定の知識がないときでも、ニューラルネットワーク内にヌルドメインを確定することができる。
【００７２】
本発明は以上の特性から、銀行券認識および認証を行なう用途に適用できる。
【図面の簡単な説明】
【図１】  銀行券同定システムのブロック線図である。
【図２】  図１のシステムのＰＮＸネットワークのブロック線図である。
【図３】  図２のＰＮＸネットワークの入力ノードのブロック線図である。
【図４】  図２のＰＮＸネットワークの模範ノードの線図である。
【図５】  図２のＰＮＸネットワークのパルゼンノードの線図である。
【図６】  図２のＰＮＸネットワークの加算ノードの線図である。
【図７】  図２のＰＮＸネットワークの出力ノードの線図である。
【図８】  ＰＮＸネットワークにおける一次および二次パルゼンノードのオペレーションを示す一組のグラフである。
【符号の説明】
１０        紙幣移送機構
１１-１３   感知ステーション
１２        感知ステーション
１３        検知ステーション
１４        イメージ格納兼処理ユニット
１５        ＰＮＸネットワーク
１６        正規化ユニット
１７        証明論理ユニット
１８        決定論理ユニット
Ｌ１        入力ノード層
Ｌ２        模範ノード層
Ｌ３        パルゼンノード層
Ｌ４        加算ノード層
Ｌ５        出力ノード層
２５        バッファ増幅器
３２-１〜３２-４  平方ユニット
６０              銀行券
【図１】
0003705619.tif 000003
【図２】
0003705619.tif 000004
【図３】
0003705619.tif 000005
【図４】
0003705619.tif 000006
【図５】
0003705619.tif 000007
【図６】
0003705619.tif 000008
【図７】
0003705619.tif 000009
【図８】
0003705619.tif 000010