(57)【特許請求の範囲】
【請求項１】
入力パターン又はその部分（以下「入力パターン」と総称する）が、所与又は所定のカテゴリーに属するか否かを判定する判定手段として、当該入力パターンに対応したパターンベクトル（４）と、所定の重みベクトルとの内積を算出し、該算出された内積と、所定のスレーショルドとの大小比較演算を実行し、かつシステム構成要素のクラスタリングに際しては、自己増殖の手段により、該システム構成要素を生成するタイプの素子（以下「識別関数素子」と称する）を、システム構成要素として有し、かつ上記入力パターンは、各次元の成分が論理的な３値又は論理的な２値のいずれかで表現されるｎ次元ベクトル（但し、ｎは有限）であるものと規定し、かつ上記入力パターンを示す上記ｎ次元ベクトルに対応する上記パターンベクトルの各次元の成分を決定する規則は、上記パターンベクトルの各次元の成分として、上記ｎ次元ベクトルの各成分が３値表現の場合には、該各成分に対応して実数値の−１又は０又は＋１のいずれか一つをそれぞれ割り当て、上記ｎ次元ベクトルの各成分が２値表現の場合には、該各成分に対応して実数値の−１又は＋１のいずれか一つをそれぞれ割り当てる如きものとし、かつ上記パターンベクトル全体及びそれらの代数的な演算結果、を元とする空間（以下「パターン空間」と称する）は、各次元の成分の絶対値が１を越えない実数値を取るような、ｎ次元ベクトル全体、を元とするベクトル空間とし、かつ上記重みベクトルとして、当該識別関数素子が上記所与又は所定のカテゴリーに属するものと判定（以下、このような判定を「同定」と称する）すべき代表的な入力パターンの集合に対応し、前記集合に属する入力パターンによるｎ次元ランダムウォーク試行をモデルとして有意に導出可能となる相加平均ベクトル、即ち、上記パターンベクトル全体（１）の各次元対応の成分各々の相加平均又はその近似値を各次元毎に算出して定まる相加平均ベクトル（２１）（以下「標的ベクトル」と称する）に、該標的ベクトルの変異分（２３）（以下「変異ベクトル」と称する）を加算した加算結果から、上記パターン空間内で任意に定義された類似度に関する基準の集合（２）に属するパターンベクトル全体の各次元対応の成分各々の相加平均又はその近似値を各次元毎に算出して定まる相加平均ベクトル（２２）（以下「基準ベクトル」と称する）を減算した結果として定まるベクトル（３）が使用され、かつ既存のニューラルネットワークの出力、及び／又は観測機構の出力、及び／又は他システムの出力、及び／又はこれらの出力を所与又は所定の論理で結合した論理演算結果の出力、を入力する入力端子の中から、任意に選んだ２通りの入力端子の組み合わせで組を構成すると共に、該組の少なくとも一つが伝達する信号から、前記パターンベクトルの少なくとも一つの次元の成分を構成したことを特徴とするニューラルネットワーク。
【請求項２】
請求の範囲第１項記載の識別関数素子にあっては、自己の標的ベクトル（２１）と自己の重みベクトル（３）との内積若しくはその近似値を算出し、該算出された値を目安として、自己のスレーショルドを設定する請求の範囲第１項記載のニューラルネットワーク。
【請求項３】
識別関数素子にあっては、自己増殖機能により、新たに生成するシステム構成要素は、有限個の素子（以下「子識別関数素子」と称する）であるものとし、かつ上記子識別関数素子には、上記識別関数素子が識別すべき所与又は所定のカテゴリーに対応したパターン空間内の集合の１以上かつ有限個の所定の部分集合を識別せしめる役割を与え、かつ該役割を担う子識別関数素子を生成する過程には、所与又は所定の条件が満たされるまで、上記識別関数素子と内部パラメータまで含めて構造的に同一の子識別関数素子を１以上かつ有限個複製する過程と、上記複製された子識別関数素子それぞれに対応した所与又は所定の乱数発生過程と、該乱数発生過程から得られる１以上かつ有限個の乱数それぞれを使用して、上記複製された子識別関数素子それぞれに対応するベクトル（以下「乱数ベクトル」と称する）をそれぞれ構成する過程と、該構成された乱数ベクトルそれぞれを、対応する上記複製された子識別関数素子それぞれの変異ベクトルとして設定する過程、とが含まれる請求の範囲第１項又は第２項記載のニューラルネットワーク。
【請求項４】
識別関数素子にあっては、請求の範囲第３項記載の乱数発生過程に関して、該乱数発生過程を制御する一つ以上の所定の制御因子（以下「履歴ベクトル」と称する）を、最初の乱数の発生に先立つ時点で設置しておき、上記乱数発生過程に於いて、発生させる乱数の値の値域を制限せしめる為に上記各履歴ベクトルを所与又は所定の規則により参照せしめ、かつ上記乱数発生過程の後に、所与又は所定の方法により上記各履歴ベクトルを更新する過程を設置した請求の範囲第３項記載のニューラルネットワーク。
【請求項５】
識別関数素子にあっては、請求の範囲第４項記載の乱数発生過程に関し、各履歴ベクトル対応に、かつ当該各履歴ベクトルの各次元毎に乱数を発生させるものとし、かつ上記発生させる乱数の値の値域を制限させる制御手段として、上記発生させる乱数の下限を零とし、かつ上限を、当該各履歴ベクトルの対応する次元の成分を示す座標軸上の位置から該座標軸上の端点（＋１）に至るまでの区間の長さ、と制限せしめた請求の範囲第４項記載のニューラルネットワーク。
【請求項６】
識別関数素子にあっては、請求の範囲第４項記載の各履歴ベクトルを更新する更新過程として、請求の範囲第５項記載の方法により発生させた各履歴ベクトル対応でかつ各次元対応の乱数を、各履歴ベクトル対応でかつ各次元対応に、当該各履歴ベクトルに、それぞれ加算する過程を設置した請求の範囲第４項記載のニューラルネットワーク。
【請求項７】
識別関数素子にあっては、最初の子識別関数素子を生成するに先立つ自己のすべての履歴ベクトルの各次元の成分を、学習期間終了後に於ける、自己の標的ベクトルの対応する次元の成分の絶対値に等しく一致させて設定した請求の範囲第４項〜第６項のいずれか１項に記載のニューラルネットワーク。
【請求項８】
識別関数素子にあっては、所与又は所定のカテゴリーに同定されるべきことが、システム内部又はシステム外部からの指示に於いて示される代表的な入力パターン、に対応するパターンベクトル全体の相加平均ベクトルを、自己の標的ベクトルとして設定した請求の範囲第１項〜第７項のいずれか１項に記載のニューラルネットワーク。
【請求項９】
識別関数素子にあっては、所与又は所定のカテゴリーに同定されるべき入力パターンの集合に対応するパターン空間内の或る集合を、包含する集合であることが先験的に明らかにされているパターン空間内の任意の集合、のいずれか一つに属する代表的なパターンベクトル全体の相加平均ベクトルを、自己の基準ベクトルとして設定した請求の範囲第１項〜第８項のいずれか１項に記載のニューラルネットワーク。
【請求項１０】
識別関数素子を、既存の複数個の識別関数素子を融合して形成される識別関数素子（以下「融合識別関数素子」と称する）とし、かつ該融合識別関数素子の該形成手段には、所与又は所定又は任意の次元対応で、上記既存の複数個の識別関数素子すべての標的ベクトルの相加平均ベクトルを算出し、これを上記融合識別関数素子の標的ベクトルとして設定する手段と、上記と同じ次元対応で、上記既存の複数個の識別関数素子すべての基準ベクトルの相加平均ベクトルを算出し、これを上記融合識別関数素子の基準ベクトルとして設定する手段とが含まれている請求の範囲第１項〜第７項のいずれか１項に記載のニューラルネットワーク。
【請求項１１】
識別関数素子にあっては、自己の標的ベクトル及び／又はその算出機構と、基準ベクトル及び／又はその算出機構と、重みベクトル及び／又はその算出機構と、履歴ベクトル及び／又はその更新機構と、変異ベクトル及び／又はその算出機構と、スレーショルド及び／又はその算出機構のうち、少なくともその一つを自己の内部機構に保持した請求の範囲第１項〜第１０項のいずれか１項に記載のニューラルネットワーク。
【請求項１２】
アナログデバイス、及び／又はディジタルデバイス、及び／又はコンピュータ、及び又は少なくとも工程の一部に於いて人工的手段を用いて形成されたバイオ素子、及び／又は上記装置の少なくとも一部を１個以上の回路に集積した集積回路素子、及び／又は該集積回路素子を要素として含む回路、を使用して、少なくともシステムの一部が製造された請求の範囲第１項〜第１１項のいずれか１項に記載のニューラルネットワーク。
【発明の詳細な説明】
技術分野
本発明は、先進的乃至は究極的な人工知能の基礎原理を与える。それは、ディジタル情報の新しい利用技術を含んでいる。本発明は人間の持つパターン認識能力と同等以上の能力を必要とする広範な分野に使用され得る。
具体的には、本発明は漢字を含む本格的な手書き文字認識システムや一般的な物体認識システム、更には不特定話者対象の音声認識システムに使用され得る。
本発明は、一般的な予測システムとしても使用され得る。それらの代表的なものとしては、気象予測や地震予知，更には一般的な物理系に於ける状態の推移予測,株価や為替を含む各種経済指標の予測等が挙げられる。
本発明は、コンピュータで代表される一般的なデータ処理システムそれ自体の新規機能、とりわけ大規模データベースの一般的なハッシング機能としても使用され得る。本発明は連想記憶システムを含む画像検索システムとしても使用され得る。本発明は高度に集積化されたディジタルメモリー乃至はアナログメモリーのセンス機能乃至はアクセス機能としても使用され得る。更に、
本発明は、大規模データベースの高速度検索に使用され得る。
本発明は、情報処理装置全般の自動回路設計に使用され得る。
本発明は、高度な自動制御システムの構築にも使用され得る。
本発明は、高度な自動運転システムの構築にも使用され得る。
本発明は、高度な目標追跡システムの構築にも使用され得る。
本発明は、高度な目標識別システムの構築にも使用され得る。
本発明は、高度な自動診断システムの構築にも使用され得る。
本発明は、高度な人工知能システムの構築にも使用され得る。
本発明は、高度な暗号化通信システムとしても使用され得る。
本発明は、高度なロボットの頭脳部の構築にも使用され得る。
背景技術
従来からパターン認識を含む人工知能の分野には多くの試みがなされた。その代表的なもののみを列記すれば、知識の体系を論理的に表現し尽くせるものと仮定した手法や、何らかの評価関数や、特殊な速度乃至は距離空間を導入する方法、及び所与若しくは所定のパターンと該パターンが所属するカテゴリーとを結合し得るような仕組みを数理科学的手法で、機械的形式的に構成する方法（いわゆるコネクショニストモデル）、及びコンピュータ内部で生物進化の模擬を試みる（いわゆる“人工生命”の手法）等があった。
しかしながら、従来技術にあっては、認識系に入力される入力情報を何らかの属性を有する何らかの物理量に依存した時には、これらを一括して処理し得る一般的かつ一元的な測度の導入乃至は距離空間の構築に成功していなかった。
又、認識対象のありのままの状態を、逐一、２値や３値のディジタル情報に変換して認識系に入力する方式の場合、惜しいことに、以後の認識過程に於いては、該ディジタル情報を論理的な意味情報として取り扱う段階から脱し切れていなかった。例えば、上記コネクショニストモデルに於いても、該ディジタル情報は、類似度の算出に際しては、一応は算術的な数値として取り扱われてはいるが、重みベクトル算出の過程では、当該重みベクトルを調整する為の論理的な指令信号にしか過ぎない取り扱いがなされており、現在に至るも、このような取扱い上の二面性については何の疑いも持たれないままに放置されていた。蛇足ながら、ディジタル化された情報を論理的にしか取り扱わない傾向は、人工知能に対する他の論理的なアプローチに於いては一層顕著であり、常識的な一つの慣行、乃至は不文律となっていた。他方、“人工生命”の手法についても、現在の所、既成の製品の性能を凌駕するような実用的な成果は報じられていない。
ところで、人工知能の課題に対する前述の従来技術それぞれは、その理論上の基礎的部分に於いて致命的とも言える問題点を未解決のままに包含していた。
従来の人工知能の１例として、エキスパートシステムを取り上げれば、その基本的手法として、“if A then B”なる表現形式のいわゆる知識の断片を集積することが開示されている。しかしながら、一般的な問題領域にあっては、この“A”なる事象の成立そのこと自体が一般的なパターン認識を必要とする問題であるから、その成立を常に確定的な事柄として扱う手法には推論上の誤りの可能性を残すことになる。更には、このような知識の断片を、対象領域から必要なだけ汲み取ること自体が一般には困難な場合が多い。更にはノイマンが提唱したとされる課題、すなわち「不確定性を有する事象を数多く集積することにより、確定性を高める」を解決する為の一般的な回答が用意されていない。更には上記表現形式の知識の断片をジグソーパズルのように集めて、最終ターゲットのカテゴリーをカバーし尽くすこと（すなわち、最終ターゲットへ統合すること）は、方法論的にも一般には困難であるし、かつその理論的可能性は保証されていない。
以上の事柄は、従来の人工知能をパターン認識の領域に応用しょうと試みる時にとりわけ顕著になり、従来の人工知能の方法では実用的なパターン認識の問題に必要となる巨大な（情報量の）パターン空間を効果的に扱う事が出来ない。（実はパターン認識の問題こそ、人工知能の課題が本質的に解決すべき課題であって、この事を無視した人工知能は生物の能力を決して超えることは出来ない。但し、人工知能の問題に於いて、エキスパートによって知識の断片が収集されることと、パターン認識の問題に於いて“研究者”によって“特徴抽出”がなされることとは、実は同値の問題と考えるので、ここでは区別していない。）
更に、三段論法を使用する人工知能の場合、前述と同様の問題点に加えて、最終ターゲットが複合情報（複数個のパターン空間上に分散しているカテゴリーを統合したカテゴリー）である場合には、該最終ターゲットの下位概念（該複合情報に包含されるカテゴリー）への展開（具体化）が困難となる場面があった。
評価関数を使用する人工知能の場合には、評価関数の関数形が一般には定まらないといった問題点や、評価関数に於いて、所定の割合の下に互いに加算される複数個の変数の属性乃至はその単位系を統一的に定められないといった問題等の理論上の基礎的な問題点が、物理的に理解出来る形で解決されていなかった。距離空間を使用する人工知能の場合、或る同定されるべき所与の対象と、該対象の構成要素とは、測度を、従来の物理的属性を有する物理量とする限りは、一般には同一の距離空間が共有されないので、両者間の距離を論ずることは一般には不可能である。よって、該構成要素が該対象の同定を支持する為の貢献度を両者間の距離に依存する試みは一般には適用出来なかった。又、力学的な方法には多体問題から類推される厄介な問題が予想された。
測度を確率とする人工知能の方法にあっては、確率の演算体系が、大規模で複雑な階層構造が要求される人工知能システムの組織構成に馴染まなかった。この事は、この方面の代表的な推論法とされる“ベイズ推定法”を少しだけでも吟味すれば本来、一目瞭然の事であった。すなわち、確率は“比”として定義される量であり、確率専門の特殊な演算体系を必要とするが、パターン認識に本質的に必要な計量は通常の四則演算が可能な量であるべきことが明らかとなった。
次に、コネクショニストモデルについて吟味すると、近年はバックプロパゲーション等の工夫がなされたが、学習時の学習用パターン入力回数（パス数）の多さは依然として問題であった。この事は、識別関数素子の動作速度のみを改善しても、それこそ「頭隠して尻隠さず」の典型例であり、本来的には学習用パターンを記録している外部的な入出力装置や制御系等も含めた全体的な処理速度向上が要求される問題であった。更に、“過学習”の問題などと称されてはいるが、実は理論的な面での曖昧さがあった。又、物理的階層構造と論理的階層構造との対応関係（意味付け）を与えることが出来なかった。又、多種多様な学習用パターンの作成にも多大の労力を要し、かつそれらの投入順序等も予め人間が配慮しなければならず、これではエキスパートシステムに於いてエキスパートが必要であることと、大同小異であった。以上の問題点は、対象の統計的性質が大きく様変わりする局面に於いて致命的であり、又、新しい問題領域への素早い適用を妨げる要因となっていた。又、様々な入力データを次々と大量にトライしてみて、これらから有効な“特徴抽出”を迅速に行うことなどは最も苦手であった。
次に、“人工生命”なる手法に目を転じれば、該手法は我々人類を含む全生物の“種”の起源を確認する意味から、学術的な意義はあるかと思われる。しかしながら、原核生物から真核生物への移行や、更には単細胞生物から多細胞生物への移行に見られるような、いわゆる一種の“相転換”を伴うような大規模な変革を、途中で既成の知識の導入を図ること無く（すなわちカンニング無しで）実現せしめるには、最初の“種”となる作業仮説や道具立てに余程卓越したものが必要となろう。少なくともそうした道具立てに、論理学の象徴のようなオートマトンなどを何の疑いも無く、安易に使用しているようなことでは、とてもではないが、成功はおぼつかないであろう。果して、太古の厳しい環境の中で、原始細胞なるものが、おっとりと“高貴”で研ぎ澄まされた論理学などを研鑚する余裕があったであろうか？大いに疑問とせざるを得ない。更には、この手法の研究者に関しては、いわゆる「電子の速度」なるものに多くの信奉を寄せているように思われるが、歴史的に俯瞰するならば、そもそも、コンピュータが扱える計算量は“天文学的数”留まりであって、“組み合わせ論的数”の扱いは苦手とされているのが従来の定評であり、これをどのようにして覆すのかも定かではない。この間にコンピュータの性能にも長足の進歩があったとの説には、『少し高い木に登ったので月にも届くと錯覚するようなもの』との先哲の批判があり、今なお、穏やかな表現であると思われる。“竹槍”をコンピュータの速度で並び変えれば、“水爆”が作れるといった類の楽観的に陥ることがないように熟慮されるべきであろう。
更に、従来の人工知能の方法一般に於いては、システム構成要素の配置が生物一般の脳に於けるシステム構成要素の配置と、前後関係が逆転しているので、常に“目詰まり”（すなわち我慢の出来ない遅さ）の現象を引き起こしていた。しかしながら、生物一般の場合には、目の粗い“パターンフィルター”が目の細かい“パターンフィルター”に先行し、場合によっては目の粗い“パターンフィルター”だけでノイズ・カット（検索打ち切り）されるような場面も存在する。これに対し、現行の人工知能は、このような処理（すなわち“自明の処理”乃至は大局的な判断）の実行可能なシステムを（人間の介在無しで）自動的に構築し得る一般的な手法にまでは到達していなかった。
人工知能やパターン認識の分野に関しては従来から夥しい特許出願がなされて来たが、それらは上記問題点や疑問点をクリアし得るものではなかった。又、上記の様々な従来技術に関しては、コンピュータのソフトウェアやバイオ素子を使用して製品化したり、若しくは製品化を目指す試みがあまた存在していたが、肝心の理論乃至はアルゴリズムが上記のような問題点を擁したままなので、“ジェネリック・テクノロジー”などと呼ばれるには程遠い状態にあった。
よって、本発明の第一の目的は、上記の様々な問題点や疑問点を一掃し、パターン認識機能を含む、真に実用的な人工知能システムを構築する為の簡単でかつ強力な基本的原理、並びにその具体的な構築方法を提供することにある。
本発明の第二の目的は、大規模データベース向けの、画像検索システムを含む高速度な情報検索システムを提供することにある。マクロな情報のハッシング機構や内容検索機構（コンテンツ・メモリー）の実現が意図される。
本発明の第三の目的は、自然物，人工物、物理的なもの，数学的なもの等の区別を問わずに、（非平衡系や複雑系を含む）森羅万象を対象とすることが出来、かつ統一的な手法によって実現することが出来る簡単でかつ強力なパターン認識方法乃至は予測方法を提供することにある。この課題が解決されることにより、「翻訳」等のいわゆる言語の領域にも人工知能が本格的に進出し得る資格が得られるものと期待される。更には意味を“理解”した上で流暢な発音で新聞や雑誌を読み上げる機械も作れて、光を失った人には朗報となろう。又、一般に、予測問題の場合は、観測データの採集が困難なケースも散見されるが、それ以前に、採集された観測データの正しい使用方法が提供されていない場面が殆どであったと言えよう。観測データは既に豊富に存在する場面であっても、それらを余すところ無く、有効にかつ正しく使用する方法が与えられていなかったと言える。（例えば、地震の前兆現象に関する議論などもこの典型例であろう。）又、カオス理論では、複雑な現象の背後に簡単な規則が存在するのではないかと指摘することは可能であっても、カオス理論それ自体が、その簡単な規則を見つけ出す為の一般的な理論でないことは明瞭であった。又、従来の量子論では複数の異なる属性の物理量を同時刻に測定出来ない場合を指摘し、それによって決定理論が決定的に放棄されていた。本発明のシステムを吟味することにより、これらの何が問題であったのかが、はっきりと理解されるであろう。
発明の開示
本発明は後述する請求の範囲の記述で見る限りは数学的な内容に尽きるように感じられるかも知れない。しかしながら、本発明の原理（簡単に見えても結構、奥行きのある原理と思われる）は、厳密には物理的モデルに依存して初めて完全に説明し得るものである。以下、それについても、順を追って説明する。
本発明のニューラルネットワークに於いては、入力パターン又はその部分（以下「入力パターン」と総称する）が、所与又は所定のカテゴリーに属するか否かを判定する判定手段としては、当該入力パターンに対応したパターンベクトルと、所定の重みベクトルとの内積を算出し、該算出された内積と、所定のスレーショルドとの大小比較演算を実行し、かつシステム構成要素のクラスタリングに際しては、自己増殖の手段により、該システム構成要素を生成するタイプの素子（以下「識別関数素子」と称する）を、システム構成要素として有し、かつ上記入力パターンは各次元の成分が論理的な３値又は論理的な２値のいずれかで表現されるｎ次元ベクトル（但しｎは有限）であるものと規定し、かつ上記入力パターンを示す上記ｎ次元ベクトルに対応する上記パターンベクトルの各次元の成分を決定する規則は、上記パターンベクトルの各次元の成分として、上記ｎ次元ベクトルの各成分が３値表現の場合には、該各成分に対応して実数値の−１又は０又は＋１のいずれか一つをそれぞれ割り当て、上記ｎ次元ベクトルの各成分が２値表現の場合には、該各成分に対応して実数値の−１又は＋１のいずれか一つをそれぞれ割り当てる如きものとし、かつ上記パターンベクトル全体及びそれらの代数的な演算結果、を元とする空間（以下「パターン空間」と称する）は、各次元の成分の絶対値が１を超えない実数値を取るような、ｎ次元ベクトル全体、を元とするベクトル空間とし、かつ上記重みベクトルとして、当該識別関数素子が上記所与又は所定のカテゴリーに属するものと判定（以下、このような判定を「同定」と称する）すべき代表的なパターンの集合に対応した上記パターンベクトル全体の各次元対応の成分の相加平均又はその近似値を算出して定まる相加平均ベクトル（以下「標的ベクトル」と称する）に該標的ベクトルの変異分（以下「変異ベクトル」と称する）を加算した加算結果から、上記パターン空間内で任意に定義された類似度に関する基準の集合に属するパターンベクトル全体の各次元対応の成分の相加平均又はその近似値を算出して定まる相加平均ベクトル（以下「基準ベクトル」と称する）を減算した結果として定まるベクトルが使用される。ここで、上記の変異ベクトルについては、以下に説明する本発明の基本原理とは直接的な関係を有するものではないので、以下ではこれを零ベクトルとして説明する。変異ベクトルについては、後段の実施例に於いて詳述されるが、識別関数素子が生成した“子孫”の識別関数素子に自己の仕事を縦割りに分担させる際に必要となるものであり、その為に形式的に付加された内部パラメータである。なお、上記パターン空間は識別関数素子に対応して識別関数素子に於いて定義される空間であることにも留意されたい。次に、本発明の原理的根拠を与える物理的なモデルの説明に移る。本発明のシステムに配される識別関数素子には、各次元の成分が論理的な2値若しくは3値で表現された上記のn次元ベクトルが入力される。上記の論理値は数学的な論理変数が取る値とは限らず、実在の森羅万象が織りなす状態や事象が観測機構により検出され、これが所定の規則に則ってディジタル化されて送られて来た情報であってもよい。通常の、すなわち従来技術に於ける情報処理にあっては、少なくともその中間段階に於いては、上記ディジタル情報は、通常の量、すなわち物理的な量として物理的に取り扱われることもある。しかしそれは、より正確に表現するならば、上記ディジタル情報を表現している信号レベルに対してのものであり、その中身(すなわち意味)が取り扱われる場合には、上記信号レベルから決定された論理値に対して、所定の規則に則ったアナログ化乃至は復号化がなされる。ここで、一般には上記信号レベルと上記論理値との物理的な対応関係は遮断されている。しかしながら、本発明のシステムに配される識別関数素子にあっては、上記の復号化は、物理的な対応関係を保存してなされる。すなわち、先ず最初に、入力されるディジタル情報（すなわち入力パターン）を表現している信号から論理値が所定の基準に則って決定される（ここまでは従来技術にも存在するが、該所定の基準は一般には識別関数素子側だけが知っているものである）。次に当該論理値に対応する物理的でかつ正規化された量（すなわちパターンベクトル）が決定される。（この時、入力パターンを示すディジタル情報を表現する信号の信号レベルと上記パターンベクトルを表現する信号の信号レベルとを一致させておくならば、便宜的にパターンベクトルヘの上記変換を省略することが出来る。）このような段階を経て、次に、上記の復号化は該認識された物理的でかつ正規化された量（パターンベクトル）を所定の物理法則に則って物理的に取り扱うことによってなされる。ここで、注目すべき事は、所定の規則に則って最初に認識される認識対象（入力パターン）は、論理値ではあっても、該論理値を表現している信号の信号レベルについては一般には不問にされているということである。次に注目すべき点は、信号レベルを不問にした上記信号から、正規化された物理量が抽出されることである。上記二つの事柄の意味する所は、本発明のシステムに配される識別関数素子にあっては、意味のある認識対象（パターンベクトル）としては、そもそもの最初から、量子化された物理量としての存在であることのみを前提としているという事に他ならない。上記の復号化に話しを進めると、すなわち、上記識別関数素子にあっては、上記パターンベクトルは上記パターン空間に対応する物理的な空間（ｎ次元ユークリッド空間）に存在して、かつ単位の質量を有する１個の物理的な質点を示すものと見なされる。更に、該質点は、上記入力パターンが上記の規則に則って変換されたところの、上記パターンベクトルで表現された速度ベクトルを持つものと見なされる。従って、上記単位の質量を１とすれば、該質点は、結果的には、上記パターンベクトルによって表現される１単位の運動量（Momentum）を持つものと見なされたことになる。（但し、この時、該質点の位置は不問に付される。）さて、上記のモデル化を進めると、任意の或るカテゴリーに関しては、これを該カテゴリーに包含されるすべてのパターンに対応する前記物理的な質点を要素とする質点系と見なすことが出来る。ならば、該質点系に関してはその重心の移動速度を考えることも出来る。更に、該質点系重心の移動速度は、簡単な力学の法則からこれを実際に算出することが出来る。それは、結果的には、上記カテ��リーに属するすべてのパターンに対応するすべてのパターンベクトルの総和を、上記カテゴリーに属するすべてのパターンの個数で除したものである。前記の相加平均ベクトルは、上記算法、又はそれに準じるものとして与えられるが、上記の結果はそれの物理的な定義を与える。（従って、前記の標的ベクトルや基準ベクトルもそれぞれ質点系重心の移動速度を示すものと考えることが出来る。又、上記の「単位の質量」としては、具体的にはどのような属性のどのような物理量を充当しても、上記質点系の移動速度を示す正規の算式からは、これが分母分子で相殺されることにも留意のこと。）上記の質点系重心の移動速度はカテゴリーが定義されれば、識別関数素子に於いて確定することが出来る量であり、カテゴリーを特徴付ける為に使用出来る。（以下、これを「特徴ベクトル」と呼称する）更に、所与若しくは所定のカテゴリーへの同定が判定されるべき一つの入力パターンに対しても、これをただ１個の要素だけを持つカテゴリーと見なし、該カテゴリーと前記所与若しくは所定のカテゴリーとの間で、前記特徴ベクトルを比較し、その類似度に従って、前記の同定をなすことが出来る。
なお、上記特徴ベクトルについての理解を助ける為に上記質点系重心移動速度の数学的な意味について言及しておく。それは、ｎ次元ランダムウォーク（ｎ次元の酔歩）をモデルとする考察である。学習用パターンが１個入力される毎に、該パターンに対応したパターンベクトルの各次元について、歩幅が１の仮想的なランダムウォークが１回分試行される。上記ランダムウォークの質点は初期値としては通常は原点に置かれているが、上記ランダムウォーク試行１回分による上記質点の上記ｎ次元ランダムウォーク空間に於ける各座標軸上の各移動量は、上記入力パターンに対応した上記パターンベクトルの各次元の成分にそれぞれ等しい。３値入力の場合で、対応するパターンベクトルの成分が零である次元については上記質点の移動がなされないが、試行回数のみが＋１だけ増加される。上記学習がすべての学習用パターンについて終了した時点に於いて、上記パターンベクトルの各次元毎に、上記質点の原点からの上記各座標軸上の移動距離それぞれを上記ランダムウォークの試行回数で除した商をそれぞれ算出し、該商をそれぞれ対応する次元の成分とするベクトルを考えれば、これがすなわち上記の特徴ベクトルに他ならない。（なお、上記ランダムウォーク試行に於ける上記質点の初期位置はかならずしも座標の原点と限られるものではない。）
上記の説明は、本発明の基本原理の一面を担うものではあるが、実用の為には更に以下に示す別の原理を追加しなければならない。
カテゴリー対応の前記質点系重心移動速度（標的ベクトルや基準ベクトル）は座標の原点から見た移動速度（絶対速度）に過ぎない。従って、これを用いた前記類似度は常に絶対的な原点を基準として判断される量であり、詳しく考察するとパターン認識問題の解決に、本質的には役立たない。（詳細は後述する）よって、本発明の方法ではパターンとカテゴリーとの類似度を算出する際に、もう一つ基準となるカテゴリーを用意し、該カテゴリーを基準とする相対類似度を算出するが、該算出の際に使用するのが前記の標的ベクトルと基準ベクトルとの差として求まる差ベクトルに他ならない。相対類似度は日常的にも我々の会話に見られることがある。すなわち、「この子は父親よりも母親似である」といった会話がそれである。ここでも三者の関係が論じられている。この会話の場合は、子が“入力パターンベクトル”に、父親が“基準ベクトル”に、母親が“標的ベクトル”に相当する。
相対類似度を使用することは、理論を一般化する為の形式的な措置ではなく、実はパターン認識問題一般に不可避の要請であることが判明された。パターン認識の問題は決定問題ではあるが、その本質は選択問題である。従って、究極的には、紛らわしい候補カテゴリーとの二者択一がなされなければならない。候補カテゴリーの特徴ベクトルそのものは、パターン認識問題の解決には直接的には役立たない。例えば、特徴ベクトルの先端座標などを評価することは正解ではない。特徴ベクトルはカテゴリーを要約したスケルトンのようなものに過ぎないから、たとえ、どのような要約がなされたとしても、パターン認識の問題それ自体は棚上げされたままに残される。実を言えば、相対類似度の概念なくしてはこの問題は解決し得ない。たとえ、パターンと候補カテゴリーの間に著しく顕著な共通の特徴が見られたとしても、この特徴を大きく評価することは場合によっては誤りである。何故ならば、他の候補カテゴリーにも同じ特徴が顕著に見られる場合があるからである。“鼻の高い人”や“目の青い人”などの特徴はその人が西洋人であることを推定することには役立つかも知れないが、西洋人の中の特定の人物を推定するにはそれほど役立たないであろう。これとは逆に、量的には取るに足らないような微かな特徴であっても、それが候補カテゴリー全体を通じて他に見られないユニークな特徴であるならば、それを大きく評価しなければならない場合もあろう。
相対類似度の採用は上記の点に着目したものであったが、この措置により、後述の実施例で開示されるようにクラスタリングの問題、すなわち認識系の内部構造を如何に構築すべきかの問題も自然発生的に解決されることが判明した。
以上の説明を要約し、理論を固める為に、以下では図を使用して説明する。
図１は本発明の要点を解説する為の説明図である。本図では、前記パターン空間（ｎ次元ベクトル空間）のイメージを便宜的に２次元の座標空間で示したものであり、従って図は正確ではない（第一に、すべてのパターンベクトルの次元の成分は超立方体上の端点にあるので、その集合はこの図では示せない。第二に、見易さを考慮した縦横比となっているので、座標軸の目盛りの長さの比は１：１ではない。）図中、１０は座標原点を示し、１１は座標のＹ軸、１２は座標のＸ軸、１は上記の所与又は所定のカテゴリーに同定されるべき代表的なパターン若しくはその部分に対応するパターンベクトルの集合、２は上記の基準カテゴリーに属する代表的なパターンに対応するパターンベクトルの集合、２１は上記標的ベクトル、２２は上記基準ベクトル、２３は上記変異ベクトル、４は上記入力パターンに対応するパターンベクトル、３は標的ベクトル２１と変異ベクトル２３との和から、基準ベクトル２２を減じた上記重みベクトルである。（なお、便宜上、以下の説明に於いても、上記変異ベクトル２３は零ベクトルと考えるので、数式等からはこれを除外して表現する。変異ベクトル２３が零ベクトルではないケースについては後述の実施例に於いて説明する。）
図２は上記所与又は所定のカテゴリーに対応するパターンベクトルの集合１と基準カテゴリーに対応するパターンベクトルの集合２との関係を集合論的に図示したものである。図の（ａ）のケースは両者間に包含関係が存在しない場合を示し、（ｂ）のケースは両者間に部分的な包含関係が存在する場合を示し、（ｃ）のケースは上記集合１が上記集合２の真の部分集合である場合を示す。これらの関係は至極一般的な話しではあるが、いずれの場合に於いても基準カテゴリーの存在が有効であり、かつ相対的な関係は従来は無意味な概念乃至は形式的な概念と思われていたが、実は重要な概念であることが判明しているので、敢えて図示したものである。ちなみに、（ｃ）の場合は或る物理的なモデルに例えることが出来る。それは混合ガスの中の或る特定成分のガスの拡散の状況であり、これに例えれば、図１のベクトル３は一種の拡散速度を示すものと考えられる。
なお、パターン空間で仮想的に表現し得る限りのすべてのパターンを要素に持つカテゴリー（以下、全カテゴリーと呼ぶ）については、その重心の移動速度は零ベクトルである。何となれば、全カテゴリーの定義により、該カテゴリーの任意の一つの要素に対応するパターンベクトルについてはこれと相補的なパターンベクトルが１：１対応で仮想的に必ず一つ存在するからである。すなわち、上記相補的なパターンベクトルは各次元について、成分の絶対値が上記パターンベクトルの対応する成分の絶対値にすべて等しく、その符号だけが互いに反転したものとなる。ちなみに、従来使用されて来た絶対的な類似度は、上記の零ベクトルを常に基準ベクトルとして使用した相対類似度である。しかし、一般に、実入力ではこの限りではないので、本発明のシステムに於いては、上記の絶対的な類似度はシステム内の最前段の階層等に於いて、基準ベクトルの値を先験的又は実証的に零ベクトルとして求め得る識別関数素子に於いてのみ使用されることもあるが、それとても、上記他のベクトルも含めた新規の計量（すなわち、上記ｎ次元パターン空間内の、論理的な入力に対応する実数値の２値若しくは３値を各次元の成分とするパターンベクトル、の集合に対応したｎ次元ユークリッド空間内質点系重心の移動速度）と組み合わせて使用されるものであり、公知ではない。
次に、蛇足ではあるが、以下では上記図１のイメージを使用して本発明で使用する前記の類似度の算式を数学的に誘導する。（但し、以下の説明では、パターンベクトルを便宜上、上記の２値成分とするが、上記の３値成分でも結果は同じとなる。）最初にその記号法を述べる。まず、入力パターンの同定が問われる所与又は所定のカテゴリーに対応するパターンベクトルの集合をχで示し、基準カテゴリーに対応するパターンベクトルの集合をοで示す。次に、前記の定義によるχの重心の移動速度をＶ（χ）で示して、Ｖ（χ）の各成分をｖ（χ）i(i=1,2,....n)で示す。更に、οの重心の移動速度をＶ（ο）として、Ｖ（ο）の各成分をｖ（ο）i(i=1,2,....n）で示す。所与又は所定のカテゴリーへの同定が問われている入力パターンベクトルについては、これをｐで示し、該パターンベクトルただ一つを要素とするパターンベクトルの集合の、前記の定義による重心の移動速度をＶ（ｐ）として、Ｖ（ｐ）の各成分をｖ（ｐ）i(i=1,2,....n)で示すことにする。Ｖ（ｐ）とＶ（χ）との距離、すなわちｄ（Ｖ（ｐ），Ｖ（χ））は、表現が煩雑になるので、これをｐとχとの距離と見なして、ｄ（ｐ，χ）と略記することにする。この時、本発明のシステムに於いては、これを、
ｄ（ｐ，χ）＝Σ｜ｖ（ｐ）i−ｖ（χ）i｜i｜(i=1,2,....n)……（１）
と定義する。（ｐとοとの距離やχとοとの距離についても上記に準じる。）ちなみに、この距離は数学的には位相解析に於ける直積距離空間の距離であり、Minkowskiのr-metricに於いてr=1の場合に該当する。
この距離は又、City block（市街距離）や、Manhattan metricなる別名を持ち、パターン認識の分野では、従来からしばしば使用されて来たものである。なお、本発明に於いて上記の距離を使用した理由は、上記の距離が最も取扱いが簡単であったからである。
次に、前記に則り、本案で使用される類似度すなわち、相対類似度の定義を与える。通常の類似度の概念では「ｐはχにどれほど類似しているか？」といった設問を前提とした答えとしての類似度が論じられるが、前述の通り、本発明にあっては、基準となるカテゴリーが少なくとも一つ用意され、今、それに対応するパターンベクトルの集合をοとして「ｐはοに比較してχにどれほど類似しているか？」といった設問に対する答えとしての類似度が使用される。よって上記の距離を使用した場合のかかる相対類似度は、これをＴp（χ，ο）で示すと、
Ｔp（χ，ο）＝ｄ（ｐ，ο）−ｄ（ｐ，χ）……（２）
で定義される。
ここで、（１）式に戻り、パターンベクトルに関する本発明の前記の速度成分の定義により、｜ｖ（ｐ）i｜＝１≧｜ｖ（χ）i｜なる関係があることに着目して、（１）式の右辺を以下に示す通りに変形する。
ｄ（ｐ，χ）＝Σsgn（ｖ（ｐ）i）（ｖ（ｐ）i−ｖ（χ）i）(i=1,2,...，ｎ)……（３）
但し、上式に於いてsgn（ｖ（ｐ）i）は符号関数であり、ｖ（ｐ）i＞０の時は＋１、ｖ（ｐ）i＜０の時は−１なる値を取る関数である。しかるに、｜ｖ（ｐ）i｜＝１であるから、sgn（ｖ（ｐ）i）＝ｖ（ｐ）iとなり、これを（３）式に代入すれば、
ｄ（ｐ，χ）＝Σｖ（ｐ）i（ｖ（ｐ）i−ｖ（χ）i）(i=1,2,...,n)……（４）
を得る。同様に、
ｄ（ｐ，ο）＝Σｖ（ｐ）i（ｖ（ｐ）i−ｖ（ο）i）(i=1,2,...,n)……（５）
を得る。（４）および（５）式を（２）式に代入すれば、
Ｔp（χ，ο）＝Σｖ（ｐ）i（ｖ（χ）i−ｖ（ο）i）(i=1,2,...,n)……（６）
が得られる。本発明の発明者は（６）式で示される類似度（相対類似度）をトートロピー（Tautolopy）と仮称している。この呼称はentropyとtotalとtautologyとの合成語である。ちなみに、（６）式右辺の括弧内の減算式は重みベクトル（ここでは標的ベクトルと基準ベクトルとの差ベクトル）のタームに他ならない。（６）式を類似度としてそのまま用いてもよいが、位取り上の便宜乃至はハードウェア上の信号レベルを考慮して、一般には（６）式の右辺に任意の正の実数を乗じておいてもよい。このような処置を物理的にも意義あるものとする為に、該乗数はパターンベクトルｐに対応する上記ユークリッド空間上の上記（単位の）質点の、質量に掛かる乗数ｍであるものとし、（６）式を、
Ｔp（χ，ο）＝ｍΣｖ（ｐ）i（ｖ（χ）i−ｖ（ο）i）(i=1,2,...,n)……（７）
と変形してもよい。（但し、この処置は必ずしも強制されるものではない。）
距離と内積との関係は、一般には通信の符号理論の分野に於いても論じられているものであり、本発明はその延長上に位置付けることが出来る。
なお、本発明のシステムを説明する物理モデルは、必ずしも上記の力学モデルに限定されるものではない。
前述の標的ベクトルや基準ベクトルは前記のランダムウォークを実行する為のｎ個の符号付き２進カゥンターと、該ランダムウォークの試行回数をカゥントしておく為の１個の符号有り又は符号無しカゥンターによって記憶しておくことが出来る。なお、後述するように、計算図表的な工夫を施した適当な物理モデルを採用すれぱ、質点の速度成分算出に必要な除算も省略することが出来る。（但し、この場合は上記質点の速度成分の近似値が算出される。）
前記の標的ベクトルや基準ベクトル（ひいては重みベクトル）は学習用パターンをただ１回入力するだけ（１−パス入力）で求めることが出来る。
学習期間に於ける識別関数素子への学習用パターンの取り込みは無条件で取り込む場合と、教師（システムの内部由来の教師と外部由来の教師があり得る）の指示によって取り込む場合とがあり、更に、上記のそれぞれの場合について、該学習用パターンに対応して算出される上記相対類似度を或る一定の所定値と比較し、それが該所定値を超えた場合にのみ取り込む場合と、このような比較処理無しで取り込む場合とがある。
学習期間が終了した時点にあっては、以後のシステムの安定動作を保証する意味合いから、識別関数素子に於ける入力パターンの取り込みを停止させることが必要となる場合もある。その際には、相対類似度の大きさが所与若しくは所定のスレーショルドを超える結果となる際には、出力部から結果の出力（発火信号）を発信すると共に、該出力を入力部に逆伝播させ、入力部は該逆伝播信号の存在により、直前の学習分をキャンセルする方法が使用出来る。（該キャンセルの方法としては、直前の学習済入力パターンベクトルと各次元について成分の絶対値がすべて等しく、その符号だけが互いに反転したパターンベクトルを学習させることが出来る。）
下記の表１は本発明の方法による計算例を纏めたものである。本例では５次元のパターン空間が扱われる。入力パターンベクトルは２値の場合であり、その値は乱数処理により発生させたものである。最初に記号法について補足しておく。本例では、候補カテゴリーに対応した、αとβなる２個のパターンベクトルの集合と、基準カテゴリーに対応した、φ（前述の全カテゴリーに対応したパターンベクトルの集合）とο（ο≡α∪β）なる２個のパターンベクトルの集合が存在する。（但し、定義により、Ｖ（φ）は零ベクトルである。）パターンベクトルｐの右上の括弧付きの添字は対応する入力パターンの管理上の番号を示す。速崖ベクトルＶ（ｐ）、並びに相対類似度Ｔp（ο，φ）や、Ｔp（α，ο）の右上の括弧付きの添字はこれらの添字に対応している。
αの要素はｐ(1)，ｐ(2)，ｐ(3)の３個であり、βの要素はｐ(4)，ｐ(5)，ｐ(6)の３個である。本例の計算結果は二つの事実を示唆している。先ず一つ目は、οのφを基準とする相対類似度Ｔp（ο，φ）はοに属するすべてのパターンベクトルに対して零以上の値を取ることであり、他の一つは、αのοを基準とする相対類似度Ｔp（α，ο）はαに属するすべてのパターンベクトルに対しては正の値を取り、βに属するすべてのパターンベクトルに対しては負の値を取ることである。
表１に示すケースとその計算結果は決して作為的なものではない。乱数発生で作成した任意のパターンベクトルの集まりに対する他の試行に於いても、概ね表１のケースと同様の結果が得られる。注目すべき点は、上記の計算例に用いたテストパターンが、乱数発生で作成した任意のパターンベクトルの集まりである点であり、最初から何らかの類似性の認められるテストパターンを使用しての結果ではないし、ましてや、それらの類似性を実験者が“特徴抽出”して予めシステムに教え込んであったものでもないという点である。これにより、本発明の計算方法による相対類似度は、提示された任意の認識対象から後追い的に、かつ自動的に構成されていくものであり、それは一種の凝集力（“類”を一つに纏めるべく作用する力）の存在に他ならないことが立証されるであろう。又、この時、上記重みベクトルが「テンプレート法」と呼ばれるパターン認識の一手法に於けるいわゆる“テンプレート”として作用することも認められるであろう。（本発明の発明者はこの“テンプレート”を「自然のテンプレート」と呼んでいる。）
従来技術に於ける「テンプレート法」には、とかくの批判も多いが、パターン認識の分野に於いて、簡単にして、かつ最も強力な実績を示して来た手法であったことには間違いが無い。しかしながら、上記した通り、批判も多いので、ここで、上記批判の中身を吟味すると、それは、従来技術の“テンプレート”が、人手によって“特徴抽出”された結果や、或いは“特徴抽出”すべき物理的な箇所を予め反映させた、作り付けの固定的なものであったということに尽きよう。それ故に、パターンの物理的な変動に対するフレキシビリティが欠落しており、例外的なパターンがたちまちにして出現し、その都度、この“テンプレート”を手直しするか、或いは上記と同様にして“テンプレート”を作成し、追加しなければならなかったのである。無数とも言えるほど個数の多いテストパターンに耐えれる“テンプレート”を作成することは、それこそ“至難の業”、と言うよりも、不可能そのものであった。これに対し、本発明の方法に於ける“テンプレート”はテストパターンを一通り入力させるだけで、自動的に、かつ一瞬にして作成出来る。しかも、フレキシビリティがあり、かつ追加的な作業も容易である。
しかしながら、上記の他の試行結果を評価すると、実際には、一つのカテゴリーとして同定すべきパターンの集まりの中には、どうしても共存させたくないパターン（例外的な少数派のパターン）も存在してしまうケースが存在する。これはむしろ当然のことであるが、このようなパターンの存在が凝集力を低下させる原因となっているのである。このような場合も含めて、識別能力が高く、かつコストの安いシステムを如何に効率良く構築していくべきかの問題、すなわちシステムの構造化の問題が生じるが、これについては後段の実施例で開示される。
（上記の表１は以下に示すものとする）
0003796755.tif 000002
図３は、本発明システムのインプリメンテーションをアナログ的な手法乃至はバイオロジカルな手段でなす一つのモデルである。以下、図３を使用して、本発明システムのインプリメンテーションをアナログ的な手法乃至はバイオロジカルな手段でなすに際しての参考情報を示す。
先ず、前述のランダムウォークの実行についてであるが、これには互いに相補的な正反２極の物理的性質を有する物質を使用する。該物質は混合操作によって該物理的性質の強度が瞬時に平均化されることが必要である。このような平均化の性質を更に補足すれば、正反が互いに打ち消された分については先ずはニュートラルな物質が残り、次の瞬間、正又は反の物理的性質残留分がこれらニュートラルな物質にも均等に分け与えられるような平均化である。上記の物質については適当なコントロール下で局所的な移動や混合が素早くなされることも必要である。上記の条件を満たす一つの候補としては荷電した物体が考えられ、更に条件を絞って、荷電した液体、具体的には電解質イオンが好適である。従って、図３の３１ｉは入力パターンベクトルの任意の或る次元の成分に対応する上記物質である。２２ｉは該次元に対応した基準ベクトルの成分であるが、ここでは該成分を求める為のランダムウォークが実行される小部屋と考える。２１ｉは該次元に対応した標的ベクトルの成分であるが、ここでは該成分を求める為のランダムウォークが実行される小部屋と考える。ここで、計算図表的な工夫を施し、上記物質３１ｉが占める体積は、単位の体積（＝１）よりはるかに小さい値（＝Δ）に設定し、小部屋２２ｉや２１ｉの容積は上記単位の体積（＝１）に相当する大きさに設定する。上記成分に対応する物質３１ｉが（体積Δだけ）小部屋２２ｉや２１ｉに注入されると、該注入分とこれらの小部屋の該注入直前の中身との平均化がそれぞれ素早くなされ、余剰分は小部屋の外部に放出される。該余剰分物質の前記物理的性質の強度は、該平均化による平均値を持つ。
本方法によれば、小部屋の大きさを１に設定したので、該ランダムウォークの結果としての質点の移動速度を算出するのに必要な除算が不要となる。但し、勿論この場合の質点の移動速度は近似値として求まるものである。３２ｉは前述の相対類似度に於ける上記次元に対応する寄与分を担う物質である。３２ｎは他の次元に対応する相対類似度の寄与分を担う物質を示す。３３はこれら各次元の寄与分の総和すなわち相対類似度が計算される小部屋である。（但し、実際にはこれら寄与分の相加平均が計算されることになり、これはすなわち相対類似度に或る係数が掛かったものとなるが、比較対象のスレーショルドにも同じ係数が掛けられるので不都合は無い。）３４は該相対類似度を担う物質であり、３５のパターン平均相対類似度を算出する小部屋に注入される。該小部屋３５は同定されるべき入力パターンから算出される相対類似度の現在入力分までの平均値を保持している。ちなみに、後述する実施例に於いて、上述のパターン平均相対類似度が上記とは別の方法で算出され、かつ使用される場合が示される。３６は本発明とは直接の関係を有することのない機構であるが、上記各計算結果を保持する記憶機構であり、上述の各小部屋から放出された余剰分の少なくとも一部が、該記憶機構で利用される。（なお、上記の各小部屋や記憶機構に保持されている物質の物理的性質の初期値は必ずしもニュートラル、すなわち零と限定されているものではない。パターンベクトルの平均化を担う各小部屋については、この値は上記ランダムウォーク試行における質点の初期位置に相当する。）
但し、図３は本発明を説明する過程に於ける中間段階のものであるから、古典的な概念をそれほど超えているものではなく、かなり観念的とも言える概念図である。実際、この方法では何故に平均相対類似度を求めるのかが、開示されていないし、又、平均相対類似度を求めるにしても、それは重みベクトルが求まってからの話しであるから、その後で更に、データ入力の１−パス分を費やしてしまい、重みベクトルを求める為の１−パス分と合わせて計２−パス分のデータ入力を必要とする。又、個々の相対類似度とスレーショルドとの比較演算を具体的にどのような仕組みで実行するのかが開示されていない。これらの疑問点を解明するには後段の実施例の段階を経なければならない。
本発明に於ける識別関数素子の識別対象となるパターンベクトルの成分は上述したように２値又は３値と規定されているが、実は上述の理論はパターンベクトルの成分が４値以上の多値の場合にも拡張可能であって、該拡張により、成分が４値以上の入力パターンベクトルについても、これを直接的に取り扱うことが出来る。（但し、ここではそのアルゴリズム等の詳細説明を割愛するが、多値成分のうち、１値には、通常、“非”有為情報分として、零成分が使用される。）
他方、本発明に於ける識別関数素子の出力は後述の実施例で開示するように、基本的には２値（パルスがあるか無いか）である。複数個の識別関数素子それぞれの出力を所定の論理で結合してもよい。このような出力を伝達する複数の信号線の出力から、後段の識別関数素子に於いて３値又は２値成分のパターンベクトルが組み立てられ得る。ここで３値の場合、その一つの値である零成分には二つの役割があると考えられる。一つはすべての場合について普遍的な役割であり、後段の識別関数素子すなわち当該識別関数素子の出力を入力とする識別関数素子に一種の“忘却”機能を与えることである。すなわち、後段の識別関数素子に於いて、該零成分の次元については上述のランダムウォーク試行によっても質点の位置は変化しないが、試行回数に１が加えられるので、当然ながら質点移動速度の絶対値が減少する。他方、該零成分の次元の今一つの役割は、後述する或る種の実施例に於いて開示されるものであるが、すなわち当該識別関数素子が同定すべきでないと判断した入力パターンが到来したことを当該識別関数素子の出力として表示することである。後段の識別関数素子は該零成分の次元については当然ながら自動的に相対類似度への寄与分を零とすることが出来る。（因みに、有為情報に零成分を割り当てると当該有為情報は無視される）もしも、パターンベクトルとして２値（一１，＋１）成分が使用されるならば、前段の識別関数素子によって有為でないと推定されたデータ（すなわち、ノイズパターンの可能性のあるデータ）を該パターンベクトルでもって表現することが出来ない。本発明のシステムでは上記の理由により、入力パターンは３値が正規のものと考えている。上記の記述からも明らかなように、本発明のシステム内部で生成され、かつシステム内を通過するデータの流れは、入力パターンの単なる写像データとしての性格を持つに留まらず、実施例によってはコマンドに近い性格も合わせ持つ。但し、本発明のシステムで使用されるコマンドは上記のような自己生成型のものに限定されるものではなく、何らかのユーザー（システムの内部由来か外部由来かは問わない）の意思を継承した教師によって伝達されるものも存在し得る。本発明のシステムに配される識別関数素子は、既存のニューラルネットワークの出力、及び／又は観測機構の出力、及び／又は他システムからの出力、及び／又はこれらの出力に所与又は所定の論理演算を施してなる出力、を入力パターンとし得る。すなわち、本発明のシステムに配される識別関数素子の入力パターンは、前段システムの出力データを適当な論理回路を介してデータ拡張したものであってもよい。拡張前のデータとトートロジー（すなわち論理的に同値）なものを除くすべての拡張データが識別関数素子の入力として取り込まれ得る。
本発明のシステムに配される識別関数素子は、既存のニューラルネットワークの出力、及び／又は観測機構の出力、及び／又は他システムの出力、及び／又はこれらの出力を所与又は所定の論理で結合した論理演算結果の出力、を入力する入力端子の中から、任意に選んだ２通りの入力端子の組み合わせで組を構成し、かつ該組の少なくとも一つが伝達する信号から、パターンベクトルの少なくとも一つの次元の成分を構成してもよい。ここの部分を更に詳細に記せば、識別関数素子に伝達された入力信号のうちから、任意に選ばれた２通りの入力端子を介して伝達される信号に関して、一方の入力端子の信号を正極（従って、もしパルスが有ればそれは＋１成分の到来を意味する）と見なし、他方の入力端子の信号を負極（従って、もしパルスが有ればそれは−１成分の到来を意味する）と見なして、両者間で当該識別関数素子内に於いて上記ランダムウォークを実行し、該ランダムウォークの結果により、該識別関数素子の基準ベクトルや標的ベクトル（ひいては重みベクトル）を構築してもよい。識別関数素子の直接的な識別対象となるパターンベクトルのこのような形成方法は、本発明のシステムに配される識別関数素子としては最も標準的なものであるが、このような手法は、一般的には使用する金物の量を節約したデータ拡張機能ともなっていることが判明している。（上記については、後段の実施例で更に具体的に説明する。なお、上記よりもはるかに効果的なデータ拡張法も判明しているが、それらが単なるデータ拡張法であるからには、既成の論理回路でも実現出来るので、ここではその詳細を割愛する。）
本発明のシステムの基本原理は、認識対象の特徴抽出を直接的になすものではなく、観測機構又は前段の階層を介して伝達されたデータの特徴抽出（重みベクトルの算出）を行うものに過ぎない。しかしながら、それに要する所要時間は従来方法に比較して飛躍的に短縮されている（すなわち、データの１−パス入力で実現される）ので、短時間でもって、拡張されたデータを次々とトライ＆カットすることが出来る。それ故、前段の階層（及び／又は現在の階層の前段）に自動的なデータ拡張機構を配し（少なくとも、前述のデータ拡張機能もその一つの候補）、かつ現在の階層内のどこかに識別関数素子の重みベクトル（正確にはその成分の絶対値の大きさ）を評価する機構を適当に配するならば、認識対象からの自動的特徴抽出システムを構築することも出来る。なお、一般に、重みベクトルの成分に関しては、その絶対値が所与又は所定の大きさに満たない次元について当該次元を切り捨てることが出来る。この処置は次元を構成する金物（資材）の節約に貢献する。
後段の或る実施例で述べられる本発明のニューラルネットワークの出力には、従来のニューラルネットワークの出力とはパラダイムの異なるものがある。従来のニューラルネットワークの各階層の出力は、最初の階層から決定機構の出力となり、信号線の本数も漸次減少していく（このことはパターン空間の縮小を意味する）。すなわち、決定結果の出力は元の入力されたデータを集約したものであるから、入力の信号線本数よりも出力の信号線本数の方が一般に少なくなることは当然であり、やむを得ない道理である。（勿論、本発明のシステムにも後段に於いてはこのような決定過程が存在する、しかしそれは、決定と言うよりも併合処理に近いものである。）一般に、信号線の中身は階層の後段に向かうにつれてデータとしての性格から漸次意味情報乃至はコマンドとしての性格に変じていき、それに伴って信号線の本数が漸次逓減していくが、従来システムにあっては最初の階層からこのような構造となっているのである。しかし、これでは後段の識別関数素子の識別に役立つデータを作成する役割（データ構成機能）は最初の階層から最後の階層に至るまで放棄されたことになる。一般に、後段に上行するにつれてカテゴリーの包含関係に於けるより詳細なカテゴリーの決定を要求されるものであるから、これでは矛盾とも言える不都合である。
本発明の方法に於ける或る種の実施例では、かかる従来方法の矛盾に鑑みて、システム内の各階層は後段の階層が必要とするだけの情報量を持ったデータに十分な冗長性を加味したデータを送出し得る。場合によっては、同定されるべき入力パターンのすべてを個々のパターンとして一意に識別する（すなわち一意名を付与する）に必要なデータに十分な冗長性を付加したデータですら、後段の階層に伝達することが出来る。しかも、十分な冗長性を付加したとしても、それに必要な情報量はオリジナルなパターンを表現するのに必要な情報量（＝観測パターン空間の次元数）よりもはるかに逓減されている。これはすなわち効果的なデータ圧縮がなされることを意味する。なおかつ、これらの各階層はただの伝達系ではなく、伝達と共に識別決定も行っている。すなわち、これらの各階層は、当該階層で同定されるべきではない入力パターン（すなわちノイズパターン）に対応する出力データとしては、非“発火”、すなわち零を出力するが、後段の階層に於いては当該零出力データから３値成分のパターンベクトルが櫓成される際に、対応する次元の成分として、零を割当てることが出来るので、もしもそのように仕組めば、これらの処置はとりもなおさず上記識別決定の一形態であると言えよう。この実施例のシステムは上記の一種の識別決定を実行しながら同時並行的に上記のデータ圧縮を実行する。最終的にはその結果（データ）を、受持ちのカテゴリーに同定されるべき入力パターンであったか否かを示す為の、１カテゴリー当たりに１ビットの情報に集約することも出来る。以上の事柄を要約すると、この実施例のシステムに於いては、その或る階層までは、ノイズパターンを除去する為の一種のパターンフィルターとして機能すると言うことが出来る。
本発明のシステムをアナログ的な手法乃至はバイオロジカルな手段で実現するに際して、上記ランダムウォークの実行を電解質イオンを用いてなす場合には、該電界質イオンには該ランダムウォーク実行の役割に加えて、各次元の電界質イオンを適当に混合拡散させることにより、その過程で結果的には複雑なデータ拡張の役割の一翼をも担わせることが出来る。（勿論、データ拡張はこれだけでなされるのではなく、電界質イオンチャネルの選択の仕方によってもなされる。）更に、該電界質イオンには、出力部の出力線に於ける出力パルスの電位を高める役割を担わせることも出来る。この場合には電解質イオンは識別関数素子の言わば電源系を形成する一要素となる。但し、上記ランダムウォークを実行する機構や後述するスレーショルドの機構は、上記のデータ拡張機構や電源系の機構に比較してはるかに微小なものとなろう。（ちなみに、生体の神経系に関する従来の研究は主として、上記電源系のものであったと言えよう。これに対して、上記ランダムウォークの実行を含む本発明のシステムの原理は識別関数素子の情報系に関するものを主体としている。生体の情報系については、それが余りにも微小な機構で構築されている箇所もあるので、研究の必要性は認識されてはいても、現実問題としては、解剖学的な研究が困難な部分があったことは否めない事実であろう。又、頭脳研究に於ける解剖学的手法には倫理的な問題点が存在しょう。）
本発明のシステムで使用される上記パターンベクトルに対応するｎ次元ユークリッド空間内の質点の質量は、それを具体的にインプリメンテーションする時に、その大きさを任意に設定し得る。パターンベクトルのすべての次元に於いて等しい大きさのものを使用すべきこと（正規化）だけが要請される条件である。
本発明のシステムの認識対象が物理量を持った存在である時、該物理量の測定値の持つ性質（例えば、或る所定の値に等しいか否かや、或る所定の区間に入るか否か、等々の性質）を事象の有無に対応させて、入力パターンを構成することが出来る。（通常、これらの性質を検出することはセンサー乃至観測機構の役割である。）
本発明のシステムが使用する識別関数素子それ自体は線形識別関数素子であるが、その入力は事象の生起を伝達する２値若しくは３値のディジタル情報であるので、すべての属性のすべての物理量を量子化し、これを多次元に含めた（織り込んだ）上記ディジタル情報に変換することにより、本発明のシステムの認識対象を、非線形な要因によって生起する対象にまで拡張することが出来る。
データの次元数が多くなり過ぎる場合には、適当な非線形観測機構を介すること等により、これらを削減することが出来る。（従って、従来の定説は一考を要するものと思われる。）
本発明のシステムの認識対象は従来の量子論に於いて明らかにされた限界に拘束されない。複数の属性の物理量には同時刻で測定し得ない組み合わせが存在することは従来の量子論で明らかにされた厳粛な事実である。しかし、だからと言って、このような物理的対象から観測データを抽出するタイプの予測問題がそれから先に進まない訳ではない。すなわち、同時刻では測定出来ない複数の属性の物理量の組み合わせに対しては、もし必要なら、これらの属性の物理量（但し、完全に独立である必要はない）を、それぞれが測定可能な時刻に於いて別々に測定すればよい。それらの測定値や測定時刻（あるいは測定順序）の組み合わせは本発明のシステムが使用するパターンベクトルに於いて、次元の区別として表現される。なお、該測定を学習段階と実行段階の２段階で実施し、かつ両段階に於いて同一の観測システムを使用し、かつ学習段階に於いて、系全体の一要素として、該観測システムを含めた上での、該測定終了後の非観測系の振る舞い（結果カテゴリー）を入力パターンと対応させて該観測系に教えれば、観測系が非観測系に与える影響は、該観測系の認識結果に対しては織り込み済みとし得る。
一般に、物理的な或る一つの事象の生起の前後には、無数の他の事象の生起や消滅が見られる。これらの無数の他の事象のうち、上記の物理的な或る一つの事象の生成／消滅に関与する影響度が大きいと思われるものの幾つかを代表に選んで、本発明システムの入力パターンを構成することが出来る。
一般に、上記パターンは、上記の物理的な或る一つの事象とｎ：１対応している。これらのことから、上記の物理的な或る一つの事象は、これらのパターンを要素に持つ一つのカテゴリーと等価な存在と見なすことが出来る。ならば、上記事象の生起／消滅を判定する作業は、これらのパターンを上記一つのカテゴリーに同定する作業に還元出来る。該事象の生起以前の関連データ（先行指標）を学習用パターンとして積み重ねて判定するケースは、該事象が将来に於いて生起するであろうことの予測となり、該事象の生起後の関連データ（後行指標）を、学習用パターンとして積み重ねて判定するケースは、該事象が過去に於いて生起したであろうことの推定となる。
【図面の簡単な説明】
図１は、本発明の基本原理を示す説明図である。
図２は、本発明の適用可能な３つのケースを示す説明図である。
図３は、本発明の基本原理をアナログ素子又はバイオ素子で実現し、かつ計算図表の原理を用いて最適化した参考事例を示す。
図４は、本発明に於ける垂直方向へのクラスタリングを解説する為の雛型である。
図５は、本発明に於ける融合識別関数素子の形成方法を示す説明図である。
図６は、本発明の基本原理をアナログ素子又はバイオ素子で実現する際のスレーショルドの大きさとその作用を示した説明図である。
図７は、本発明に於ける履歴ベクトルを使用した乱数発生過程を示す説明図である。
図８は、本発明の基本原理をアナログ素子又はバイオ素子で実現する際の、標的ベクトルに変異を与える重みベクトルの構成方法、及びスレーショルドの大きさとその作用を示した説明図である。
図９は、本発明の基本原理をアナログ素子又はバイオ素子で実現する際の、基準ベクトルに変異を与える重みベクトルの構成方法、及びスレーショルドの大きさとその作用を示した説明図である。
図１０は、本発明のシステム内の、或る階層に位置する識別関数素子又は子識別関数素子によるパターン空間上の部分空間切り出しの様子を示した説明図である。
図１１は、本発明のシステム内の、或る階層に位置する子識別関数素子により切り出されるパターン空間上の部分集合と、該階層の後段に位置する識別関数素子に於ける入力パターンベクトル構成方法との関係を示すための説明図である。
図１２は、本発明の基本原理をアナログ素子又はバイオ素子で実現する際の、識別関数素子に於ける、極性を有する入力端子の理想的な組み合わせ方法を示した説明図である。
発明を実施するための最良の形態
本発明のシステムは、ハードウェア面での実施例としては、従来の情報処理用のデバイスを使用して構築することも可能である。具体的には、アナログデバイス、及び／又はディジタルデバイス、及び／又はコンピュータ、及び／又は少なくとも工程の一部に於いて人工的手段を用いて形成されたバイオ素子、及び／又は上記装置の少なくとも一部を１個以上の回路に集積した集積回路素子、及び／又は該集積回路を要素として含む回路、等を使用して全体若しくはその一部を製造することが出来る。更に、ソフトウェア面の実施例としては、識別関数素子や子識別関数素子の機能として記述されている箇所を、例えば、コンピュータ・プログラム等、の手続きとして実現し得る。いずれにしても、上記手段によるインプリメンテーションは、すべて本発明システムの権利範囲に属する。
以下では主として本発明のソフトウェア面の実施例を図面を補助に使用して説明する。該実施例は本発明システムの構造化を主題にして述べるものであり、具体的には、識別関数素子のクラスタリング（但し、該クラスタリングなる用語には、ここではネットワーキングを含むものとする）の手法に関するものである。
本発明による識別関数素子のクラスタリングには大別して３種類が存在する。それは本発明の発明者の呼称で言えば、▲１▼マクロ識別のクラスタリング，▲２▼ミクロ識別のクラスタリング，▲３▼マクロ・ミクロ連合識別のクラスタリング、の三つである。これらについては、後述の具体的な実施例の項で説明するが、最初に断っておくべきことは、これらの実施例の多くは図２の（ｃ）のケースを想定して述べられていることである。しかしながら図２の（ａ）や（ｂ）のケースについても、やはりクラスタリングが可能であり、これらに対応する実施例も少々開示される。なお、以下に説明する実施例では、本発明の原理として示された、基本的なシステムに配される識別関数素子を主体にして述べる。これらの識別関数素子はそれ自体が単独で働く場合と、後述の“元祖”識別関数素子となって、幾つかの“子孫”識別関数素子を生成する場合とがある。“元祖”識別関数素子となる場合には、前記した変異ベクトルは一般には零ベクトルと考えてよい。
図４は本発明の基本的な説明図であり、以下の実施例では本図を雛型として使用する。図４に於いて、２１は識別関数素子の標的ベクトル、４１は同定すべき入力パターンを要素とする集合、１は上記集合４１に対応したパターンベクトルの集合、２２は識別関数素子の基準ベクトル、４２は該基準ベクトル形成の基となるカテゴリー（すなわち相対類似度算出の基準に用いる任意に定義されたパターンの集合）、２は上記集合４２に対応したパターンベクトルの集合、４１１は上記パターンベクトルの集合１の全要素の相加平均が標的ベクトル２１となることを示す説明上の矢印であり、４２２は上記パターンベクトルの集合２の全要素の相加平均が基準ベクトル２２となることを示す説明上の矢印である。
最初に、本発明の最も代表的な実施例を示す。
本実施例では、システムに配される識別関数素子には、所与又は所定のカテゴリーに同定されるべきことが、システム内部又はシステム外部からの指示により示される代表的な入力パターン、に対応するパターンベクトル全体の相加平均ベクトルが、標的ベクトルとして設定される。図４で言えば、集合４１はシステム内部又は外部からの指示により示された、所与又は所定のカテゴリーに同定されるべき代表的な入力パターンを要素とする集合となる。このような標的ベクトルを求める過程は、すなわち上記識別関数素子の学習過程である。
本実施例は、標的ベクトルの設定に関与するものを除く、他のすべての実施例との組み合わせが可能である。
図５に示す実施例は、生体の目の機能等に準じる機能を設計する際に必要となる実施例である。この場合は、識別関数素子の標的ベクトルが複数のカテゴリーの和集合に対応して作成され、図５はその様子を説明する説明図である。
これは、バイオロジカルな方法としては、上記複数のカテゴリーそれぞれに対応する上記質点系の重心を標的ベクトルとする識別関数素子それぞれを融合すること（すなわち、それら複数の識別関数素子の標的ベクトルの相加平均ベクトルと基準ベクトルの相加平均ベクトルとを算出し、それらを該融合により新たに構成される識別関数素子のそれぞれ標的ベクトルと基準ベクトルとすること）によってなされる。図５では、説明上この複数のカテゴリーを５１，５２，５３で代表させているが、一般には勿論この限りではない。（又、基準ベクトル対応カテゴリーの図示は省略している）生体の目の機能を実現するには、パターンの大規模な変形や、大きさや位置の変動を吸収していく必要がある。その為にはパターン空間を複数個の縮小されたパターン空間に分割し、或る縮小されたパターン空間とその近傍の複数個の縮小されたパターン空間とは、規格化され、かつ正しく入力された、入力パターンに対応した、それぞれのパターンベクトルに対して、これを、あたかも自パターン空間上のパターンベクトルであるかのように、次元の枠を取り払って、互いに共有する必要がある。（どの程度の近傍を融合範囲とするかは入力パターンの変動の程度による。）識別関数素子のこのような融合手段は複数個の識別関数素子が互いに情報を共有する手段である。なお、本実施例の融合識別関数素子は、後述の、“元祖”識別関数素子として用いることが、最も代表的な使用方法である。融合識別関数素子をこのような“元祖”の識別関数素子として使用することにより、“類”（入力パターン又はパターンベクトルの集合）は随意に融合され、かつ後述の手段により、再分割され得る。
本実施例は、標的ベクトル又は基準ベクトルの設定に関与するものを除く、他のすべての実施例との組み合わせが可能である。
本発明のシステムは、既存のニューラルネットワーク（以下、本発明のシステムであるか否かは問われないものとする）の誤りを訂正することにも使用され得るが既存のニューラルネットワークをあたかも観測機構として利用する方針に於いても使用され得る。以下はその一実施例である。この場合に使用される識別関数素子では、図４の集合４１は所与又は所定のカテゴリーに同定されるべきにもかかわらず、上記既存のニューラルネットワークによって同定されるべきではないと判断された代表的な入力パタ」ン、を要素とする集合となる。
但し、ここで言う既存のニューラルネットワークの意味は、本発明のシステムに限定されるものではない。本実施例の場合は、既存のニューラルネットワークの決定結果に対する追加の訂正がなされよう。本実施例も、標的ベクトルの設定に関与するものを除く他のすべての実施例との組み合わせが可能である。
以下の実施例も、主として既存のニューラルネットワークの誤りを訂正する際に使用され得るが、上記と同様、既存のニューラルネットワークをあたかも観測機構として利用する方針に於いても使用され得る手段である。この場合に使用される識別関数素子では、図４の集合４１は所与又は所定のカテゴリーに同定されるべきではないにもかかわらず、既存のニューラルネットワークによって同定されるべきと判断された代表的なパターン、を要素とする集合となる。但し、ここで言う既存のニューラルネットワークも、本発明のシステムに限定されるものではない。本実施例の場合には、最終的には既存のニューラルネットワークの決定結果の一部を無効にし、更に絞り込むような訂正がなされよう。
本実施例も、標的ベクトルの設定に関与するものを除く他のすべての実施例との組み合わせが可能である。
以下の実施例も、主として既存のニューラルネットワークの誤りを訂正する際に使用され得るが、上記と同様、既存のニューラルネットワークをあたかも観測機構として利用する方針に於いても使用され得る手段である。この場合に使用される識別関数素子では、図４の基準カテゴリー４２は所与又は所定のカテゴリーに同定されるべきではないにもかかわらず、既存のニューラルネットワークによって同定されるべきと誤判断された代表的な入力パターン、を要素とする集合とされる。本実施例に於いては、該集合はノイズパターンの集合又はその部分集合として利用され、通常、標的ベクトル１ａには、所与又は所定のカテゴリーに同定されるべき入力パターンの集合、に対応するパターンベクトル全体の相加平均ベクトルが使用されることになり、やはり既存のニューラルネットワークの決定結果を更に絞り込むような訂正がなされよう。但し、ここで言う既存のニューラルネットワークも、本発明のシステムに限定されるものではない。
本実施例は、前項の実施例と、基準ベクトルの設定に関与する実施例を除く、他のすべての実施例との組み合わせが可能である。
以下に示す実施例は、上記したマクロ識別のクラスタリングに関与している。そのうちの一実施例では、図４に於いて、基準ベクトル２２には、所与又は所定のカテゴリーに同定されるべき入力パターン、の集合に対応するパターン空間内の或る集合を包含する集合であることが先験的に明らかにされているパターン空間内の任意の集合、のいずれか一つに属する、代表的なパターンベクトル全体の相加平均ベクトルが設定される。上記記述に於ける“先験的”なる包含関係には二つのケースが存在する。一つのケースは、カテゴリー間の先験的な包含関係である。その実例としては、−“文字”なるカテゴリーは“日本語の文字”なるカテゴリーを包含する−，−“日本語の文字”なるカテゴリーは“漢字”なるカテゴリーを包含する−，−“漢字”なるカテゴリーは“人偏の付いた漢字”なるカテゴリーを包含する−，−“人偏の付いた漢字”なるカテゴリーは“作”なる漢字のカテゴリーを包含する−，−“文字”なるカテゴリーは“アルファベット２６文字”なるカテゴリーを包含する−，等がある。我々はカテゴリー間のこのような先験的な包含関係を継続的に利用して、識別関数素子の階層構造を作り、目標のカテゴリーの識別に迫ることが出来る。例えば、図４の２２には、しかるべき階層の識別関数素子に於いて、“日本語の文字”なるカテゴリーに対応した基準ベクトルが設定される。この時、標的ベクトル２１には“漢字”なるカテゴリーに対応した標的ベクトルが設定される。次の階層（後段の階層）の識別関数素子では、基準ベクトル２２には“漢字”なるカテゴリーに対応した基準ベクトルが設定され、標的ベクトル２１には“人偏の付いた漢字”なるカテゴリーに対応する標的ベクトルが設定される。更に、その次の後段の階層の識別関数素子に於いては、基準ベクトル２２には、“人偏の付いた漢字”なるカテゴリーに対応した基準ベクトルが設定され、標的ベクトル２１には“作”なる漢字のカテゴリーに対応した標的ベクトルが設定される。判定の最終結果は、これら全階層の識別関数素子の出力の論理積で決定される。（通常、前段の階層の出力があった時にのみ自己を作動させるようにしたゲート回路を識別関数素子に仕組むことにより、上記論理積の演算を各階層に分散してなすことが出来る。）上記の手法は、一般的にはもっと人為的に構成されたカテゴリーと、それらの包含関係に対しても適用することが出来る。この一実施例の場合には、図４に於いて、基準ベクトル２２には、所与又は所定のカテゴリーに同定されるべきと指示された入力パターンの集合に対応するパターン空間内の集合と、上記カテゴリーに同定されるべきではないと指示された入力パターンに対応するパターン空間内の集合との和集合、に属する代表的なパターンベクトル全体の相加平均ベクトルが設定される。先験的な包含関係を利用したクラスタリングのもう一つのケースは、システムそれ自体の出力に先験的に見られる包含関係を利用することである。識別関数素子のスレーショルドを適当に選べば、該識別関数素子の識別を甘くすることが出来る。すなわち、該識別関数素子は所与又は所定のカテゴリーに同定すべきパターンはすべて同定し、同定すべきではないパターンをも、そのうちの幾分かは同定してしまうように上記スレーショルドを設定することが出来る。そうすれば、該識別関数素子が同定するパターンの集合は、所与又は所定のカテゴリーを包含することが先験的に明らかと言える。このような識別関数素子を配したニューラルネットワークを、既存のニューラルネットワークとして前段に設置した場合、後段の識別関数素子に於いては、該既存のニューラルネットワークが所与又は所定のカテゴリーに同定した代表的な入力パターンに対応したパターンベクトル全体の相加平均ベクトルを、図４の基準ベクトル２２に設定すればよい。この時、通常、図４の標的ベクトル２１には、所与又は所定のカテゴリーに対応した標的ベクトルが設定されることになろう。なお、上記のどのケースに於いても、幾つかの連続する階層に於いて存在する識別関数素子の、各標的ベクトルに対応するカテゴリーを不変、すなわち同一のカテゴリーとし得る。但し、この場合も当然ながら、各識別関数素子の基準ベクトルに対応するカテゴリーは、上記標的ベクトルに対応するカテゴリーをそれぞれ包含する必要がある。
上記のいずれの実施例も、基準ベクトルの設定に関与する実施例を除く、他のすべての実施例との組み合わせが可能である。なお、マクロ識別のクラスタリングに必要な各階層の学習開始前の識別関数素子は、少なくとも１世代のシステムにあっては、標的ベクトルと基準ベクトルとを、共に零ベクトルに等しく一致させて設定した識別関数素子と構造的に同一の識別関数素子を、必要数だけ複製して使用することが出来る。（このような識別関数素子それ自体も本発明の一実施例であり、標的ベクトル若しくは基準ベクトルの設定に関与する実施例を除く、他のすべての実施例との組み合わせが可能である。）しかしながら、２世代以降のシステムについてはこの限りではなく、“種”として各階層に配付される識別関数素子の内部パラメータが、初期値を有するものであってもよい。又、階層毎に或る程度の学習過程が進行した識別関数素子を“種”として用いてもよい。
マクロ識別のクラスタリングは予測問題や検索問題に於いて特に重要であり、認識系が具現すべき階層構造の本質が解明されているので、従来のコネクショニストの方法とは比較にならない高度な認識を可能にする。しかしながら、これだけではもっと高度な認識はなし得ない。その理由は、階層が後段に向かうに連れて、識別関数素子の基準ベクトルが標的ベクトルに接近し、遂には両者が一致してしまうような局面を迎えるからである。かかる局面に於いては重みベクトルが零ベクトルとなってしまうので、識別関数素子の識別機能が無能化することが明らかである。（但し、マクロ識別のクラスタリングに於いては、生成される識別関数素子の変異ベクトルは一般には零ベクトルとする）又、上記論理積演算の具体的実施手段にも一工夫したい。更には、識別関数素子の出力データは同定結果であって、後段の識別関数素子は該出力データのみに、その入力を依存することが出来ず、入力データの多くは、未だに観測機構からのオリジナルな入力データに依存しなければならないこと等が、理想的なシステムとしては未完であることを示唆している。但し、上記の、識別関数素子の識別機能が無能化する局面に於いては、所与又は所定のカテゴリーを、場合によってはパターンの大きさや変動の分布をも含めて、人為的に更に下位のカテゴリー（以下「サプカテゴリーと称する」）を構成し、標的ベクトルとしては、該サプカテゴリーに対応したものを使用する方法が、その対策として存在する。これはとりもなおさず、後述するミクロ識別のクラスタリングの基本となった考え方である。
次に開示するのは、ミクロ識別のクラスタリング若しくはマクロ・ミクロ連合識別のクラスタリングの基本コンセプトを含む実施例であり、すなわち子識別関数素子の生成に関与する実施例である。ミクロ識別のクラスタリングは、前記実施例に於いて識別関数素子の識別機能が無能化する局面一般についての、機械的かつ形式的な解決手段となる（但し、“親”と“子”の識別関数素子間で前記のような論理積演算を必要とする）。マクロ・ミクロ連合識別のクラスタリングに於いては、識別関数素子の識別機能が無能化していない最前段の階層から、標的ベクトルに対応するカテゴリーを、形式的に構成したサプカテゴリーとしておくものである（この場合は、上記の論理積演算は出力デー夕の存在によって代行されるので不要となる）。以下に示すすべての実施例に於いては、実施例それ自体としてはミクロ識別のクラスタリングとマクロ・ミクロ連合識別のクラスタリングとの違いは無い。両者の違いは、該実施例を適用する際の、識別関数素子に於ける内部パラメータの違いに過ぎない。すなわち、ミクロ識別のクラスタリングの場合には、該実施例が適用される時点で、前記の自己増殖機能を有する識別関数素子に関して、標的ベクトル＝基準ベクトル若しくは標的ベクトル≒基準ベクトルの関係が成立している。これに対して、マクロ・ミクロ連合識別のクラスタリングの場合には、上記の関係が成立していない。記号≒の使用からも明らかなように、両者の違いは原理的に厳格なものにはなり得ないし、又、厳格にする必要もない。但し、標的ベクトル＝基準ベクトルの関係を有する識別関数素子を配したニューラルネットワークは本発明システムの一実施例であり、基準ベクトルの設定に関与する実施例を除く、他のすべての実施例との組み合わせが可能である。以下の一実施例は、本発明の原理として示した、基本的なニューラルネットワークに配される識別関数素子に於けるシステム構成要素の生成機能を具体的に示したものである。本実施例の識別関数素子にあっては、自己増殖機能により新たに生成するシステム構成要素は、有限個の素子（以下「子識別関数素子」と称する）であるものとし、かつ上記子識別関数素子には、上記識別関数素子が識別すべき所与又は所定のカテゴリーに対応したパターン空間内の集合の１以上かつ有限個の所定の部分集合を識別せしめる役割を与え、かつ該役割を担う子識別関数素子を生成する過程には、所与又は所定の条件が満たされるまで、上記識別関数素子と内部パラメータ（具体的には、標的ベクトル，基準ベクトル，重みベクトル，スレーショルド、及び後述する履歴ベクトルや変異ベクトル等の各値を指す）まで含めて構造的に同一の子識別関数素子を１以上かつ有限個複製する過程と、上記複製された子識別関数素子それぞれに対応した所与又は所定の乱数発生過程と、該乱数発生過程から得られる１以上かつ有限個の乱数それぞれを使用して上記複製された子識別関数素子それぞれに対応するベクトル（以下「乱数ベクトル」と称する）をそれぞれ構成する過程と、該構成された乱数ベクトルそれぞれを、対応する上記複製された子識別関数素子それぞれの変異ベクトルとして設定する過程、とが含まれる。上記に於いて、「所与又は所定の条件が満たされるまで」なる表現をしている箇所は、上記自己増殖機能が発揮される期間に或る一定の制限を課するものである。上記に於いて、「所与又は所定のカテゴリーに対応したパターン空間内の集合の、１以上かつ有限個の所定の部分集合を識別せしめる役割を与え」なる表現をしている箇所は、上記部分集合が乱数を使用して定義されるような、非常に恣意的なものであり、前述のサブカテゴリーに類した概念で表現することは不適切であるとの判断に基づいている。（しかしながら、上記部分集合に対応した何らかのカテゴリーは存在しているものと考えられる。）上記実施例で注目すべき点は、上記生成された子識別関数素子の標的ベクトルと基準ベクトルとは、どちらも“親”識別関数素子のものをそっくりそのまま引き継いでいることである。よって“子孫”の識別関数素子に至るまで、これらは引き継がれる。（但し、変異ベクトルは更新されるので、重みベクトルは自動的に更新される。）システム構成要素の生成機能を具体的に示す、他の一実施例に於ける識別関数素子にあっては、前項実施例記載の識別関数素子と同一条件にしてかつ同一処理手続きの、子識別関数素子複製過程と乱数ベクトル構成過程とを有し、かつ該乱数ベクトル構成過程の後に、自己の標的ベクトルに上記乱数ベクトル構成過程から得られた乱数ベクトルそれぞれを、それぞれ加算した加算結果として定まるベクトルそれぞれを、上記乱数ベクトルに対応する上記複製された子識別関数素子それぞれの標的ベクトルとして設定する過程と、零ベクトルを上記子識別関数素子それぞれの変異ベクトルとして設定する過程、とを設置するものである。本実施例と、以下に示す実施例では、“元祖”識別関数素子の“分身”ともなる子識別関数素子が生成され、“元祖”識別関数素子の仕事の縦割りを、よりきめ細かくなす（すなわち、無能化を防止する）ことが出来る。又、標的ベクトル又は基準ベクトルは乱数ベクトルによる更新次第では、その先端はｎ次元パターン空間内をランダムウォークし得る。（これに対して、後述する各履歴ベクトルの各成分は、座標軸のプラス方向への単調増加となる。）
システム構成要素の生成機能を具体的に示す、他の一実施例に於ける識別関数素子にあっては、前項実施例記載の識別関数素子と同一条件にしてかつ同一処理手続きの、子識別関数素子複製過程と乱数ベクトル構成過程とを有し、かつ該乱数ベクトル構成過程の後に、自己の基準ベクトルから上記乱数ベクトル構成過程から得られた乱数ベクトルそれぞれを、それぞれ減算した減算結果として定まるベクトルそれぞれを、上記乱数ベクトルに対応する上記複製された子識別関数素子それぞれの基準ベクトルとして設定する過程と、零ベクトルを上記子識別関数素子それぞれの変異ベクトルとして設定する過程、とを設置するものである。
本実施例は重みベクトルを定める演算式には、標的ベクトルと基準ベクトルとの差ベクトルの部分があることに着目して形式的に構成されたものであり、標的ベクトルは“親”のものを踏襲するが、重みベクトルとしては実質的には上記実施例と等価となる。しかしながら、基準ベクトルまで動かすので、図２の（ａ）や（ｂ）のイメージによるネットワーキングがなされるものとも考えられる。
更に、システム構成要素の生成機能を具体的に示す、他の一実施例に於ける識別関数素子にあっては、前項実施例記載の識別関数素子と同一条件にしてかつ同一処理手続きの、子識別関数素子複製過程と乱数ベクトル構成過程とを有し、かつ該乱数ベクトル構成過程の後に、上記乱数ベクトル構成過程から得られた乱数ベクトルそれぞれに関し、該乱数ベクトルそれぞれに対応する内部パラメータの組として、上記乱数ベクトル一つにつき三つの新たなベクトル、で構成された組をそれぞれ用意し、かつ上記の組それぞれについて、上記三つのベクトルの総和が上記対応する乱数ベクトルそれぞれに等しくなるように上記三つのベクトルそれぞれを定め、かつ上記乱数ベクトルに対応して複製された子識別関数素子それぞれの標的ベクトルには、当該標的ベクトルに、上記乱数ベクトルに対応する上記ベクトルの組の、いずれか一つのベクトルを加算した加算結果を設定し、上記に対応する基準ベクトルには、該基準ベクトルから、上記残りのベクトルのいずれか一方を減算した減算結果を設定し、上記に対応する変異ベクトルには、該変異ベクトルに、上記他方のベクトルを加算した加算結果を設定する過程を設置するものである。本実施例は前記三つの実施例を包含するものである。重みベクトルの方向成分は一層急速に多様化するが、変異自体は緩やかに調整し得る。
以下に開示する実施例は、識別関数素子の上記スレーショルドに関するものである。しかしながら、本発明のシステムに配される識別関数素子のスレーショルドは、以下の実施例に限定されるものではない。
本実施例の識別関数素子にあっては、自己の標的ベクトルと自己の重みベクトルとの内積若しくはその近似値を算出し、該算出された値を目安として、自己のスレーショルドを設定するものである。
本実施例は、他のすべての実施例と組み合わせることが出来る。
特に、本実施例が、前記実施例で生成される子識別関数素子の生成に関与する実施例と組み合わされるケースに於いては、上記開示されたスレーショルドは、識別関数素子（誤解がないように表現するならば、“親”の識別関数素子）が構成し、かつ設置した子識別関数素子の標的ベクトル（前記実施例で示したように三つのケースが存在する）に対応するパターン空間内の集合を、それぞれの子識別関数素子によって、ほぼ均等に（すなわち、互いの要素数がほぼ等しくなるように）２分割させる機能を持ったスレーショルドとなる。（以下、上記のような分割の仕方を「集合をほぼ均等に２分割する」と記す。）なお、上記子識別関数素子それぞれは、多次元ベクトルを使用して上記分割をなすものであるから、その結果として、前述した“類”の凝集力には十分な冗長性が付与されるので、使用されるこれらの次元間には多少の相関関係があったとしても、全体として、上記分割の独立性は保証される。上記生成された子識別関数素子の一つは、上記集合を、自己が同定したパターンに対応する集合と、それ以外の集合（他の子識別関数素子が同定すべきパターン及びノイズパターン、に対応する集合）とに２分割する。上記生成された残りの子識別関数素子それぞれも、上記集合を、自己が同定したパターンに対応する集合と、それ以外の集合（自己が同定しなかったパターンに対応する集合、すなわち他の子識別関数素子が同定すべきパターン及びノイズパターン、に対応する集合）とに２分割する。その結果、いずれの子識別関数素子にも同定されなかったパターンが紛れもなくノイズパターンとして確定する。（なお、これら生成された子識別関数素子それぞれが同定したパターンの中にも、誤って同定されてしまう“紛らわしい”ノイズパターンが存在するが、これについては後段の階層で漸次除去される。他方、“紛らわしくない”ノイズパターンについては、その程度に応じて、階層の浅い段階からカットすることが出来る。このことはすなわち大局的な判断が出来ることを意味している。）上記子識別関数素子それぞれには、前述した“類”の凝集力を発揮せしめる機能が存在するので、上記子識別関数素子それぞれは、上記集合をただ漫然と２分割するのではなく、自己が識別すべきパターンに凝集力を作用させながら上記集合を２分割する。従って、このような子識別関数素子全体の連携機能として上記ノイズパターンは排斥される。（すなわち、どの出力信号線も“発火”しない。）
上記で、「該算出された値を目安として」なる表現をしている箇所は、設定されるべきスレーショルドが上記算出された値に、或る幅を持たせた値であってもよいことを示している。（通常は、該算出された値をそのままスレーショルドとして使用するが、本特許の権利範囲としてはそれに限定されるものではない。）
ここで、注意すべきことは、上記「目安」なる表現は、上記算出された値が大雑把な値であることを意味するものではなく、一般にスレーショルドには一定の幅を持たせることが慣例であることに対応したものに過ぎない。事実、上記の値は、もしも該値がそのまま子識別関数素子のスレーショルドとして使用されたならば、該子識別関数素子の標的ベクトルに対応したパターンベクトルの集合を、ほぼ均等に２分割し得る機能を有している。子識別関数素子のスレーショルドの目安としては、種々、考えられる所である。例えば、重みベクトルと基準ベクトルとの内積を使用する方式も考えられる。しかしながら、それらは、ターゲットとして示された上記集合に狙いを定めて、これを的確に２分割せしめる機能（最終的にはどうしても必要となる機能）としては失格であり、もしもそれらを使用した時には、隔靴掻痒の感が免れないであろう。
（以上は、少し本題から外れるが、重要なポイントであるので、加筆した）
次に、上記２分割を可能ならしめるスレーショルドが何故に上記の算出方法になるのかを説明する。上記２分割を可能ならしめるスレーショルドには、数多くの考え方があると思われるが、本実施例に於いては、それを、上記子識別関数素子の標的ベクトルに対応するパターン空間内の集合に属するすべてのパターンベクトルを、上記子識別関数素子にそれぞれ入力してみて計算される相対類似度の平均と考える。それはすなわち、上記パターンベクトルと、上記子識別関数素子の重みベクトルとの間に於いて、それぞれ算出される内積の平均値であり、上記重みベクトルは一定であるから、上記平均値は、上記パターンベクトル全体の相加平均ベクトルと、上記子識別関数素子の重みベクトルとの内積に等しい。ここで、上記パターンベクトル全体の相加平均ベクトルなるものは、すなわち、上記子識別関数素子の標的ベクトルそれ自体に他ならない。
上記スレーショルドの計算方法は、重みベクトルが１−パスのデータ入力で求められた後の時点で、追加的なデータ入力無しで求めることが可能であることを意味している。ここで前記の事柄をもう一度整理しておくと、上記子識別関数素子に関して、「相対類似度＝入力パターンベクトル×（子識別関数素子の重みベクトル）」（但し、以下では記号「×」をベクトルの内積を算出する演算子とする）なる関係と、「スレーショルド＝（子識別関数素子の標的ベクトル）×（子識別関数素子の重みベクトル）」なる関係とが成立する。それ故、相対類似度とスレーショルドとを比較することは、（子識別関数素子の重みベクトル）×（入力パターンベクトル−子識別関数素子の標的ベクトル）なる式の値を評価することと同値問題になる。（以下、上記の式を「判定式」と称する。）ここで注意すべきことは、蛇足ながら、上記判定式の評価を簡約して、（入力パターンベクトル−子識別関数素子の標的ベクトル）なる式の値を評価してはならないと言うことである。何故ならば、それは単なるベクトルであってスカラー（量）にはならないからである。
なお、上記とは異なるが、上記と同じ論法により、“親”識別関数素子乃至は“元祖”識別関数素子、すなわち基本原理として開示されたニューラルネットワークのシステム構成要素として使用される識別関数素子についても、上記と同じ算出方法のスレーショルドを考えることが出来る。これは、或る傾向を持ったパターンのみでカテゴリーを形成しておき、該カテゴリーに属するパターンの中から前記傾向が最も強い（典型的な）ものから順に、約半数個のパターンを抽出すべき時などに適用される機能であり、本発明の一実施例となっている。
重みベクトルと標的ベクトルとスレーショルドとが上記の関係を持つ量であることが明らかになった時点で、我々はこれらをアナログ素子乃至はバイオロジカルな素子で実現することが容易になったことを知る。図６は上記判定式を評価する判定機構の一実施態様を記したものである。図に於いて、６２ｉはベクトルの次元ｉに対応した乗算機構、６０ｉは重みベクトルの次元ｉの成分の保持機構，６３ｉはベクトルの次元ｉに対応した減算機構、６４ｉは相対類似度からスレーショルドを減算した結果の次元ｉ対応分を担う物質、６４ｎは上記結果の他の次元対応分を担う物質、６５は上記値（物理量）のすべての次元対応分の総和を演算する総和演算機構、６６は総和機構６５の出力（上記総和結果に比例）を示す。減算機構６３ｉについては、入力パターンベクトル３１ｉの符号を反転させたベクトルを用いて標的ベクトルを形成しておくことにより、これを電荷同志の代数和として実現出来る。総和機構６５は各次元対応分の内積の総和を求める機構であるが、これについては各次元対応分の内積をクーロン力等の力学的な力として符号付きで出力しておき、これらをパスカルの原理を応用して互いに符号付きで加算し、最終的には圧電素子を用いてこれを電位に変換する方法でもよいし、より直接的に（すなわち電気的に）これら各次元対応分内積の総和を求める方法でもよい。上記判定機構の出力６６が微小である時には、これを“種火”として電源機構（本格的なパルス出力部）のスイッチを押させる方式も存在する。
以下の実施例は、前記実施例記載の乱数発生過程に関するものである。
本実施例の識別関数素子にあっては、上記乱数発生過程に関し、該乱数発生過程を制御する一つ以上の所定の制御因子（以下「履歴ベクトル」と称する）を、最初の乱数の発生に先立つ時点で設置しておき、上記乱数発生過程に於いて、発生させる乱数の値の値域を制限せしめる為に上記各履歴ベクトルを所与又は所定の規則により参照せしめ、かつ上記乱数発生過程の後に、所与又は所定の方法により上記各履歴ベクトルを更新するものである。
本実施例のコンセプトは、上記履歴ベクトルなる制御因子を識別関数素子に設置することにより、上記乱数の発生の仕方を完全にフリーにはしないで、上記履歴ベクトル毎に一元管理しょうとの戦略に根ざすものである。すなわち、過去に発生された乱数が、現時点での乱数発生過程に何らかの影響を与えるように画策するものである。通常、このような戦略は、子識別関数素子の標的ベクトルに於いて、その成分の絶対値が、一度大きな値を取った次元については、以後の子識別関数素子の生成に際しては、二度と大きな絶対値を取らさないようにとの配慮から仕組まれるものである。このような配慮は、それぞれの子識別関数素子の部分集合の切り出し方（以下、子識別関数素子によって同定されるパターンベクトルを要素とする部分集合を「該子識別関数素子によって切り出された部分集合」と表現することがある）が、互いになるべく独立であるようにしょうとの配慮に他ならない。ちなみに、このような配慮の目的は、システムのコスト／パーフォーマンスを低下させないことにあるが、通常はこのような配慮の下に、なおかつ、十分な個数の子識別関数素子が後述の方法により生成されて、後段の階層が識別機能を発揮するに十分な情報量が送出される。
以下の実施例は、前項実施例記載の乱数の発生方法を更に具体化したものである。本実施例の識別関数素子にあっては、前記実施例記載の乱数発生過程に関し、各履歴ベクトル対応に、かつ当該履歴ベクトルの各次元毎に乱数を発生させるものとし、かつ上記発生させる乱数の値の値域を制限させる制御手段として、上記発生させる乱数の下限を零とし、かつ上限を、当該各履歴ベクトルの対応する次元の成分を示す座標軸上の位置から該座標軸上の端点（＋１）に至るまでの区間の長さ、と制限せしめるものである。子識別関数素子（又は識別関数素子）の重みベクトルの形成に関与する内部パラメータ（すなわち標的ベクトル若しくは基準ベクトル）の各次元の成分の絶対値の値域は、そもそも区間（０，＋１）として許されているので、本実施例に於いては、該区間の長さの範囲内で、更には、該範囲から、過去に既に発生されてしまった値域分の区間の長さ（前記したように、過去分については一般には履歴ベクトルに示されている）、を除いた範囲内での乱数発生を試みるものである。上記値域が、区間（＋１，＋１）となってしまった時点に於いては、発生される乱数の値は上記区間の長さ＝零となり、該乱数の値（＝零）を使用した重みベクトルは、該乱数に対応する次元については、事実上、変異出来なくなり、子識別関数素子の重みベクトルの上記次元の成分は、“親”識別関数素子の対応する次元の成分と等しくなってしまう。これはすなわち、上記次元は、子識別関数素子に於ける上記部分集合の切り出しには何等の関与もしなくなってしまったことを意味している。（ただし、マクロ・ミクロ連合識別のクラスタリングの場合には、上記次元が上記のような状態となってしまったとしても、上記次元はマクロな識別に対しては、今までと変わらずに寄与することになる。）ここで、前記の実施例で示した識別関数素子の自己増殖機能に関する期間制限を上記次元の上記状態に関連付けることも出来る。すなわち、所与又は所定の次元若しくはすべての次元が上記の状態になった時点で、識別関数素子の以後の自己増殖機能を停止させるような実施態様があり得る。
以下の一実施例は、上記した履歴ベクトルの更新方法を具体的に示したものである。本実施例の識別関数素子にあっては、前記実施例記載の各履歴ベクトルを更新する更新過程として、前項実施例記載の方法により発生させた各履歴ベクトル対応でかつ各次元対応の乱数を、各履歴ベクトル対応でかつ各次元対応に、当該各履歴ベクトルに加算する過程を設置したものである。図７は上記の乱数発生過程と上記一つの履歴ベクトルの更新過程との関係を総合的に示した一実施例である。７０ｉは、次元ｉに対応する上記履歴ベクトルの座標軸（正方向のみとする）を示す線分である。７１１ｉは、最初の乱数発生に際しての上記履歴ベクトルの次元ｉの成分（すなわち上記履歴ベクトルの次元ｉに対応する成分の初期値を意味する）に対応する長さを持った線分である。７２１ｉは最初の乱数発生に際しての、該乱数の上限に対応する長さを持った線分である。７３１ｉは最初に発生させた乱数の値に対応する長さを持った線分である。７１２ｉは、２回目の乱数発生に際しての上記履歴ベクトルの次元ｉの成分に対応する長さを持った線分である。７２２ｉは２回目の乱数発生に際しての該乱数の上限に対応する長さを持った線分である。７３２ｉは２回目に発生させた乱数の値に対応する長さ、を持った線分である。７１ｋｉは、ｋ回目の乱数発生に際しての上記履歴ベクトルの次元ｉの成分に対応する長さを持った線分である。７２ｋｉはｋ回目の乱数発生に際しての該乱数の上限に対応する長さを持った線分である。７３ｋｉはｋ回目に発生させた乱数の値に対応する長さを持った線分である。
以下は、履歴ベクトルの更新過程に関する実施例である。該実施例に於ける識別関数素子にあっては、少なくとも一つの履歴ベクトルの更新過程を、ノー・オペレーション（すなわち更新後の当該履歴ベクトルの内容を更新前の内容のままに保たせる過程）とするものである。本実施例も、履歴ベクトルに関与する他のすべての実施例と組み合わせることが出来る。
以下の一実施例は、前記した子識別関数素子の生成過程を更に具体化したものである。本実施例の識別関数素子にあっては、前記実施例記載の子識別関数素子の生成過程に於いて複製する子識別関数素子の個数を２とし、かつ前記実施例記載の乱数発生過程に於いて参照する履歴ベクトルの個数を１とし、かつ前記実施例記載の乱数発生過程といずれかの履歴ベクトル更新過程を使用し、かつ上記履歴ベクトル更新過程の後の、乱数ベクトル構成過程に於いて、上記乱数発生過程に於いて発生させた乱数それぞれの符号を所与又は所定の規則、若しくはアト・ランダムな方法により発生させた符号でもってそれぞれ更新し、該符号の更新された乱数それぞれによって構成される乱数ベクトルと、−１に上記乱数ベクトルを乗算した乗算結果として定まる乱数ベクトル、とをそれぞれ得るものである。
本実施例は、通常は、スレーショルドに関する前記実施例と組み合わせて使用する。本実施例に於いて、生成される子識別関数素子の個数を２と限定した理由は、前記実施例記載のスレーショルドを使用した一つの子識別関数素子によって切り出される部分集合は、前記したように、子識別関数素子の標的ベクトルに対応するパターンベクトルの集合を、該子識別関数素子によってほぼ均等に２分割されて得られる二つの部分集合の方であるから、他方の部分集合が上記集合に相補的な集合として存在することが判明しており、かつその為の標的ベクトルは、上記子識別関数素子の生成に使用した乱数ベクトルの符号反転ベクトルを使用してア・プリオリに求めることが出来るので、これを、更に別の子識別関数素子を使用して切り出しておくものである。（本実施例でも、実質的には上記複製された２個の子識別関数それぞれに対応した乱数発生過程が存在するものと考えてよい。）上記実施例で、乱数の符号を置き換える過程は、ノーオペレーションであってもよい。ノーオペレーションにし得ることは、上記の「所与又は所定の規則、若しくはアト・ランダムな方法により発生させた符号」なる表現に織り込まれているものとする。図８は本実施例をアナログ素子乃至はバイオロジカルな素子を使用してインプリメンテーションする際の一実施態様である。
図において、２３ｉは変異ベクトルのｉ次元に対応する成分を示し、８ｉは加算又は減算の演算子を示す。図９は上記実施例をアナログ素子若しくはバイオ素子を用いてインプリメンテーションする際の他の一実施態様であり、上記子識別関数素子のいずれか１個分に相当する図である。図９において、９ｉは減算又は加算の演算子を示す。本実施態様では標的ベクトルに変異ベクトルが加算される代替案として、基準ベクトルから変異ベクトルが減算されている様子が示されているが、重みベクトルとしては、両者は数式的に等価である。
図１０は、前述の実施例で説明した内容をイメージとして補佐する為の説明図である。図の（ａ）のケースは、“親”の識別関数素子が上記スレーショルドを使用して部分集合を切り出す場合のイメージを示し、図中、１０１は該“親”の識別関数素子が上記スレーショルドを使用して切り出す部分集合を示す。
（ｂ）のケースは、ミクロ識別のクラスタリングに於いて、上記の互いに相補的な２個の子識別関数素子が上記スレーショルドを使用して、それぞれに対応する部分集合を切り出す場合のイメージを示し、図中、１００はノイズパターンに対応するパターンベクトルの集合を示し、１０ａは上記の２個の子識別関数素子の一方が切り出す部分集合を示し、２３ａは該部分集合１０ａを切り出す子識別関数素子の変異ベクトルを示す。１０ｂは他方の子識別関数素子が切り出す部分集合を示し、２３ｂは該部分集合１０ｂを切り出す子識別関数素子の変異ベクトルを示す。（ｂ）のケースは、ミクロ識別のクラスタリングであるから、標的ベクトル２１と基準ベクトル２２とは等しく一致している（従って、図では重なっている）。（ｃ）のケースは、マクロ・ミクロ連合識別のクラスタリングに於いて（ｂ）のケースと同じことがなされる場合のイメージを示す。図中、３ａは上記した一方の子識別関数素子の重みベクトルを示し、３ｂは上記した他方の子識別関数素子の重みベクトルを示す。（但し、マクロ・ミクロ連合識別のクラスタリングの場合にも、（ｂ）のケースで示す状態になることがあるので、留意されたい。）上記の（ｂ），（ｃ）いずれのケースに於いても、通常、部分集合１０ａと部分集合１０ｂにも、それぞれ、上記ノイズパターンとは別のノイズパターンに対応するパターンベクトルが含まれているが、それらは後段の階層に於いて漸次取り除かれる。なお、上記の（ｂ），（ｃ）いずれのケースに於いても、通常はシステム内の階層が上行するにつれて、標的ベクトル２１は座標の原点に接近する。その理由は集合１がほぼ均等に２分割されて、出力が形成されるからである。更に、既に前記しているが、（ｃ）のケースに於いては、通常、システム内の階層が上行するにつれて、基準ベクトル２２が標的ベクトル２１に接近する。その理由は、通常、この種のクラスタリングに於いては、基準ベクトルに対応するパターンの集合は、標的ベクトルに対応するパターンの集合と、ノイズパターンの集合との和集合であり、かつ該ノイズパターンは階層が上行するにつれて漸次除去されていくからである。（但し、上記ノイズパターンには、他の識別関数素子によって同定されるべきパターンも含む。）
以下は、履歴ベクトルの初期値に関する実施例である。該実施例に於ける識別関数素子にあっては、最初の子識別関数素子を生成するに先立つ自己のすべての履歴ベクトルの各次元の成分を、学習期間終了後に於ける、自己の標的ベクトルの対応する次元の成分の絶対値に等しく一致させて設定する。該実施例は、履歴ベクトルに関与する他のすべての実施例と組み合わせることが出来る。
前記実施例に於いて、一つの“親”が存続して“子”を生成し続けるケースが存在する。すなわち、上記の子識別関数素子の生成に関与する実施例に於いて、乱数発生から子識別関数素子の生成に至るまでの一連の全過程を反復するケースは本発明システムの実施例となる。
本実施例は、子識別関数素子の生成に関与する他のすべての実施例との組み合わせが可能である。
子識別関数素子が少なくとも２個生成されたならば、図１０の（ａ）からも理解出来るように、実は“親”となった識別関数素子の存在は、後段階層の入力情報の形成に於いて、それほど有意義なものではなくなる。（等分２分割はなされるが、切断面が有意義ではない。）そこで、上記の“親”の識別関数素子にあっては、最初の子識別関数素子の生成過程終了以降に、自己の全機能の停止、及び／又は自己の全存在の消滅、をなす実施例が適用されてもよく、これは子識別関数素子の生成に関与するすべての実施例に付加的に適用出来る実施例となる。
以下に示す実施例は、上記の子識別関数素子を本発明のシステムに於いてどのように使用するかを示したものである。既に基本原理にも示しているように、上記の子識別関数素子は、本システムの構成要素として、識別関数素子の自己増殖手段により生成されたものであるから、これを元の識別関数素子と同様の機能を持つ素子として使用することが出来る。すなわち、前述した箇所に於いて、「識別関数素子」又は「“親”識別関数素子」又は「“元祖”識別関数素子」なる表現をしている文章については、該表現箇所を上記の子識別関数素子に置き換えても同様に文意が成立するものとする。もしも上記の子識別関数素子が上記の子識別関数素子の生成過程で識別関数素子又は“親”識別関数素子として使用されるようなケースが反復するならば、このような一連のケースは、最初の“親”識別関数素子を“元祖”識別関数素子とする“子孫”の系列を生成することとなる。このケースと前項の実施例とを組み合わせると、これはすなわち、“細胞分裂”に相当する実施例となる。（上記系列の“子孫”について、前記実施例に於いては、その主要な内部パラメータから見たタイプとして便宜的に四つのケースに分類しており、そのうちの二つのケースについては、標的ベクトルが“元祖”識別関数素子の標的ベクトルをそのまま継承しているので、上記“子孫”の識別関数素子の標的ベクトルについては便宜的に三つのケースに分類している。）
図１１は、後段階層に於ける該後段階層の為の入力情報の形成方法を示す一実施例である。（ａ）のケースで１１ａは、前段に生成された或る子識別関数素子が切り出した部分集合を示す。１１ｂは、上記子識別関数素子と“兄弟”の関係を有し、かつ相補的な関係にある別の子識別関数素子が切り出した部分集合を示す。上記いずれの子識別関数素子の出力も、それぞれ、入力パターンを同定した時には“発火”すなわち、＋１出力となっている。又、入力パターンを同定しない時には零出力となっている。上記２個の子識別関数素子の出力の２項組から、３値の出力が得られる。すなわち（＋１，０），（０，０），（０，＋１）なる３つの２項組に対応する３値であり、それを３値（−１，０，＋１）で示すと、該３値が、前記後段の階層に於いて、一つの識別関数素子の入力パターンベクトルの一つの次元の成分として使用される。なお、上記（ａ）のケースは以下に示す（ｂ）のケースの特殊な場合であり、通常は区別されずに、以下の（ｂ）のケースに包含されて扱われる。（ｂ）のケースで１１ｃは、前段に生成された或る子識別関数素子が切り出した部分集合を示す。１１ｄは、上記子識別関数素子と“兄弟”、若しくは上記子識別関数素子の“子孫”の関係にある別の子識別関数素子が切り出した部分集合を示す。１１１は上記いずれの子識別関数素子からも同定されたパターンに対応するパターンベクトルの集合である。上記２個の子識別関数素子の出力の２項組から、４値の出力が得られる。すなわち（＋１，０），（０，０），（０，＋１），（＋１，＋１）なる４つの２項組に対応する４値である。ここで、上記の（＋１，＋１）なる２項組の出力を吟味すると、それは１個のパターンが入力され、該パターンは上記いずれの子識別関数素子からも同定されたことを示している。このケースでも、対応する上記ｎ次元ユークリッド空間上の質点を１個としてよい。（何となれば、入力されたのは前記の通り１個のパターンである。）しかも、前記ランダムウォークの試行結果により、該ランダムウォークの質点の座標成分は、すべての座標軸に於いて＋方向にも一方向にも移動しないから、これらを総合して、これを２項組の出力（０，０）と実質的に同値と見なしてもよい。それ故、上記４値は上記（ａ）のケースと同じく、３値（−１，０，＋１）に集約され、該３値が前記後段の階層に於いて、一つの識別関数素子の入力パターンベクトルの一つの次元の成分として使用される。
（ｃ）のケースでは、１１ｅと１１ｆは、それぞれ、前段に生成された２個の子識別関数素子が切り出した部分集合であり、上記（ｂ）の関係と同じ仕組みにより、集約してみると、同じく３値の成分を形成するものであるが、上記２個の子識別関数素子の入力パターンベクトルそれぞれは、互いに共通の次元を有しない異なったパターン空間（恐らくは縮小されたパターン空間）の元であることが、上記（ａ），（ｂ）のケースとの違いである。
図１２は、前項実施例をアナログ素子乃至はバイオ素子で実現する際の一実施態様を示す。最初に、不都合な一実施態様を図１２の（ａ）と（ｂ）とによって示し、次に、好適な一実施態様を（ｃ）と（ｄ）とによって示す。図１２に於いて、１２１ｉ、１２１ｊは、識別関数素子に設置されるプラスの極性を持つ入力端子であり、該入力端子に入力される前段子識別関数素子由来の＋１出力を、入力パターンベクトルの一つの次元の＋１成分として取り込む。（なお、図１２に於いて符号を省略している白丸も、それぞれ上記プラスの極性を持つ入力端子である。）これに対し、１２０ｉは、同じく上記識別関数素子に設置されるマイナスの極性を持つ入力端子であり、該入力端子に入力される前段子識別関数素子由来の＋１出力を、入力パターンベクトルの一つの次元の−１成分として取り込むものである。（なお、図１２に於いて符号を省略している黒丸も、それぞれ上記マイナスの極性を持つ入力端子である。）
図１２の（ａ）は、上記入力端子の一つの配置を示し、同時に、このような配置にあっては、例えば入力端子１２１ｉと入力端子１２０ｉとをペアにして入力パターンベクトルの一つの次元を構成することが出来ることを（実線で）示したものである。（すなわち、図では省略しているが、入力端子１２１ｉからの入力と入力端子１２０ｉからの入力とで、上記のランダムウォークが試行されるような機構が設置される。）しかしながら、（ｂ）は、入力端子の配置を（ａ）と同じにし、このような入力端子の配置にあっては、例えば入力端子１２１ｉと入力端子１２１ｊのペアで示すように、上記したような入力パターンベクトルの一つの次元を構成することが出来ない組み合わせが生じてしまうことを（破線で）示したものである。このケースに於いて、入力端子１２１ｉと入力端子１２１ｊとは隣接して設置されるものではなく、従って互いの相関関係は希薄である可能性が高いと考えられるので、もしもこのペアによって重みベクトルの次元の成分が構成されたならば、それは十分に有意義な情報になり得るのではないかとの期待が持たれ、少なくとも該重みベクトルの次元の成分の絶対値の大きさを評価してもらえる資格は存在していたはずであるから、上記（ａ）・（ｂ）で示す事情はシステムを最適化するには不都合な事情であると言えよう。これに対し、入力端子の配置が（ｃ）のように隣接するペアでなされると、これと同じ配置を持った（ｄ）の（実線）で示すように、有意義と思われる（すなわち隣接していない）すべての入力端子の組み合わせでもって次元の成分を構成することが出来る。
最後に示す実施例は、識別関数素子の内部パラメータ又はその算出機構の設置場所に関するものであり、すなわち本実施例に於いては、識別関数素子の標的ベクトル及び／又はその算出機構と、基準ベクトル及び／又はその算出機構と、重みベクトル及び／又はその算出機構と、履歴ベクトル及び／又はその更新機構と、変異ベクトル及び／又はその算出機構と、スレーショルド及び／又はその算出機構とを、それぞれ当該識別関数素子の内部機構に保持することが出来る。
上記で、「内部機構」なるものは物理的な包含関係のみを意味するものではなく、当該識別関数素子の機能を分担する他のすべてのシステムの機構も含まれるものとする。本実施例は他のすべての実施例と組み合わせることが出来る。
産業上の利用可能性
以上にのべたように、本発明は、従来は困難であった、ヒトや、或る種の生物が持つパターン認識機能、若しくはそれ以上の高度なパターン認識機能や予測機能の実現（機械化）を可能にする。又、エキスパートシステムや翻訳システム等の人工知能を簡単に構築することが出来る。すなわち本発明の主だった利点乃至は効果は、以下に示す通りである。
システムへ入力する情報を論理的な３値又は２値情報としたので、画像情報や音声情報等の非コード化情報のみならず、人工知能等の構築に必要な一般的な知識情報をも取り扱うことが出来る。（基本原理として説明済み）
認識のアルゴリズムは、認識対象に依存せずに一元化し得る。又、使用する素子はただ１種類に絞ることも出来るので、これを規格化すれば、大量生産にも適している。
学習段階での入力データの投与は、システムの１階層当たりに、ただの１回でよいので、学習期間が短時間で完了する。（すなわち１−パス入力が可能）
目的地の検索に地図を使用する場合、一般に地図の縮尺は、縮尺比の大きいものから徐々に小さいものへと切り換えられていくが、このような原理に基づく認識乃至は検索が可能となる。このことは、認識精度を高めると共に、認識速度を高速にすることに寄与する。（基準ベクトルの機能）
大量の観測データを更に内部でデータ拡張して、特徴抽出のトライ＆カットをなすことができるので、強い特徴を抽出し得る。結果として認識精度や予測精度を高めることが出来る。又、事象入力なので、非線形な対象をも認識出来る。使用する素子それ自体に、簡単にして強力なデータ拡張機能を内蔵させることが出来る。すなわち、図１２の（ｄ）で示すように、一般にｒ個のペア入力端子（＝２ｒ個の入力端子）から、rＣ2＝ｒ（ｒ−１）／２通りの組み合わせが得られ、該組み合わせの数に等しい次元数のパターンベクトルを構成することが出来る。又、これらの次元数は特徴抽出の結果として削減することが出来る。従って、これらの事柄はすべて素子の入力端子数を逓減することに役立つことになる。
素子へ伝達されるべき信号（人力信号）の配線が任意的であり、フレキシビリティに富む。（図１１参照のこと）
場合によっては階層の浅い段階でノイズパターンを排斥することができる。すなわち、大局的な判断が出来る。（パターンフィルターとしての機能）
システム内の階層をマクロな識別機構からミクロな識別機構へと自動的に、かつ、それらが準静的に（滑らかな切り換えで）なされるように構築し得る。
様々な縮小されたパターン空間の情報、すなわちローカルな情報を集積して、それらのいずれにも対応し得る素子を形成し、かつ該素子を再びローカルな場所に分配することが出来るので、パターンの大規模な変動に対応出来る。（融合識別関数素子の機能）
効率的な２分法を使用することにより、内部データ（像パターン）が構成され得るので、システム構築に必要な資材を節約することが出来る。（変異ベクトル等による“子孫”識別関数素子の生成機能）
システム内部に分散して配置されたシステム構成要素が、それぞれ並列的に動作するので、動作速度が速く、かつ、結果の信頼性が高い。
識別関数素子に世代継承をさせることと、融合をさせることとにより、高度な適応能力を生じさせることが出来る。すなわち、高度な文化の形成（知的資産とその利用技術の蓄積）が、本発明システムの集団に於いて可能となる。
以上は、本発明の代表的な利点乃至は効果に過ぎず、ここでは省略するが、他にも多くの利点乃至は効果が存在する。又、システム内部の構成方法にしても、階層の上下を部分的に反転ループさせて資材を節約する等の方法も存在する。
【図１】
0003796755.tif 000003
【図２】
0003796755.tif 000004
【図３】
0003796755.tif 000005
【図４】
0003796755.tif 000006
【図５】
0003796755.tif 000007
【図６】
0003796755.tif 000008
【図７】
0003796755.tif 000009
【図８】
0003796755.tif 000010
【図９】
0003796755.tif 000011
【図１０】
0003796755.tif 000012
【図１１】
0003796755.tif 000013
【図１２】
0003796755.tif 000014
0003796755.tif 000015
0003796755.tif 000016
0003796755.tif 000017