(57)【特許請求の範囲】
【請求項１】
複数の連想ニューロン（Ｎ１ないしＮｍ）を備え、その各々が連想信号を受ける複数の並列連想入力（Ａ１ないしＡｎ）と、コンセプト入力信号を受けるコンセプト入力（Ｓ）とを有する連想人工ニューラル・ネットワークの出力信号を形成する方法であって、
信号選択回路（ＳＥＬ１ないしＳＥＬｊ）によって、少なくとも１群（Ｇ１ないしＧｊ）の時系列的連想入力信号（Ｇ１１ないしＧｊｌ）を受けるステップと、
各群の前記信号（Ｇ１１ないしＧｊｌ）をメモリ手段（ＭＥＭ）に供給し、これらを時間的に並列な連想信号（Ａ１１１ないしＡｊｑｌ）に変換し、前記ニューロン（Ｎ１ないしＮｍ）の前記連想入力（Ａ１ないしＡｎ）に有効に供給するステップと、を含む方法において、選択手段（ＳＥＬａ）によって、
各群（Ｇ１ないしＧｊ）において一度にアクティブになる信号が最大でも１つとなることを保証し、
少なくとも１つの所定の基準に基づいて、一度に最大でも１つのニューロン（Ｎ１ないしＮｍ）から主に出力信号（Ｏ１ないしＯｍ）を選択する、
ことを実行することを特徴とする方法。
【請求項２】
連想人工ニューラル・ネットワークであって、
その各々が連想信号を受ける複数の並列連想入力（Ａ１ないしＡｎ）、及びコンセプト入力信号を受けるコンセプト入力（Ｓ）を有する複数の連想ニューロン（Ｎ１ないしＮｍ）と、
前記ニューラル・ネットワークの前記時系列的連想入力信号（Ｇ１１ないしＧｊｌ）を時間的に並列な信号（Ａ１１１ないしＡｊｑｌ）に変換するように構成され、該時間的に並列な信号（Ａ１１１ないしＡｊｑｌ）を前記ニューロン（Ｎ１ないしＮｍ）の前記連想入力（Ａ１ないしＡｎ）に有効に接続するメモリ手段（ＭＥＭ）と、
を備えるネットワークにおいて、
前記ニューラル・ネットワークが、更に、
少なくとも１つの所定の基準に基づいて、一度に前記ニューロン（Ｎ１ないしＮｍ）の一部のみから出力信号（ＳO）を選択するように構成された第１選択手段（ＳＥＬａ）を備えることを特徴とする連想人工ニューラル・ネットワーク。
【請求項３】
請求項２記載のニューラル・ネットワークにおいて、前記第１選択手段（ＳＥＬａ）が、異なるニューロン（Ｎ１ないしＮｍ）の出力信号（ＳO）がアクティブになる順序に基づいて、前記出力信号（ＳO）を選択するように構成されていることを特徴とするニューラル・ネットワーク。
【請求項４】
請求項３記載のニューラル・ネットワークにおいて、前記第１選択手段（ＳＥＬａ）が、最も早くアクティブになったニューロン（Ｎ１ないしＮｍ）から、前記出力信号（ＳO）を選択するように構成されていることを特徴とするニューラル・ネットワーク。
【請求項５】
請求項２記載のニューラル・ネットワークにおいて、更に、一度にアクティブになるのは最大でも１つのニューロン（Ｎ１ないしＮｍ）の前記コンセプト入力信号（ＳO）であることを保証する第２選択手段（ＳＥＬｂ）を備えることを特徴とするニューラル・ネットワーク。
【請求項６】
請求項２または５記載のニューラル・ネットワークにおいて、前記時系列入力信号（Ｇ１１ないしＧｊｌ）が群（Ｇ１ないしＧｊ）に構成され、前記ニューラル・ネットワークが、各群において、一度に最大でも１つの信号（Ｇ１ないしＧｊ）がアクティブとなるシステムと接続されることを特徴とするニューラル・ネットワーク。
【請求項７】
請求項６記載のニューラル・ネットワークにおいて、更に、各群（Ｇ１ないしＧｊ）において、一度にアクティブにある信号が最大でも１つであることを保証する第３選択手段（ＳＥＬ１ないしＳＥＬｊ）を備えることを特徴とするニューラル・ネットワーク。
【請求項８】
請求項６記載のニューラル・ネットワークにおいて、前記コンセプト入力信号（ＣＳ１ないしＣＳｍ）も群に構成されていることを特徴とするニューラル・ネットワーク。
【請求項９】
請求項２ないし８のいずれかに記載のニューラル・ネットワークにおいて、前記メモリ手段（ＭＥＭ）がマトリクス状のブロック（Ｍ１１ないしＭｊｑ）に構成されており、
前記マトリクスの一方の次元（ｊ）を、前記連想入力信号群（Ｇ１ないしＧｊ）の数に基づいて決定し、他方の次元（ｑ）を、前記メモリ手段（ＭＥＭ）が遡って覚えておくべき時間の長さに基づいて決定し、
各ブロックにおける別個のメモリ・エレメントの数を、関係する群（Ｇ１ないしＧｊ）に含まれる信号数に基づいて決定する、
ことを特徴とするニューラル・ネットワーク。
【請求項１０】
請求項２ないし９のいずれかに記載のニューラル・ネットワークにおいて、更に、前記出力信号（Ｏ１ないしＯｍ）がアクティブである期間に上限を設定する手段（６０６）を備えることを特徴とするニューラル・ネットワーク。
【請求項１１】
請求項２ないし１０のいずれかに記載のニューラル・ネットワークにおいて、マイクロ回路として実現されることを特徴とするニューラル・ネットワーク。
【請求項１２】
請求項２ないし１０のいずれかに記載のニューラル・ネットワークにおいて、適切にプログラムされたコンピュータによって実現されることを特徴とするニューラル・ネットワーク。
【発明の詳細な説明】
発明の背景
本発明は、連想人工ニューラル・ネットワーク(associative artificial neural network)に関する。
人工ニューラル・ネットワークでは、例えばパーセプトロン（フランク・ローゼンブラット(Frank Rosenblatt)、１９５７年）の異なる変形である、マックロー・ピッツ(McCullogh-Pitts)（１９４３）ニューロンから得られるニューロンが用いられる。ニューラル・ネットワークは、例えば、Anil K. Jain（アニル  Ｋ．ジェイン）、Jianchang Mao（ジャンチャン・マオ）およびK.M.Mohiuddin（Ｋ．Ｍ．モヒウディン）による論文"Artificial Neural Networks:A Tutorial"（人工ニューラル・ネットワーク：教本）において論じられている（IEEE Computer, １９９６年３月、３１〜４４ページ）。
図１において、使用Ｘ1ないしＸnは人工ニューロンの入力であり、Ｙは出力信号である。入力信号Ｘ1ないしＸnの値は、絶えず変化している（アナログ）場合や、２進量である場合もあり、出力信号Ｙは通常正の値および負の値双方で与えることができる。Ｗ1ないしＷnは重み係数、即ち、シナプス重み(synaptic weight)であり、これも正または負いずれを取ることもできる。場合によっては、正の信号値および／または重み係数のみを用いる場合もある。ニューロンのシナプス１１1ないし１１nは、重み係数Ｗ1ないしＷnによって、対応する入力信号に重み付けを行う。加算回路１２が、重み付けした和Ｕを計算する。和Ｕは、スレショルド比較関数(thresholding function)回路１３に供給され、スレショルド比較関数回路１３の出力はＶである。スレショルド関数は変化することができるが、通常Ｓ字状(sigmoid)または断片的な線形関数を用いることにより、出力信号に所与の連続値を与える。従来のニューロンでは、スレショルド比較関数回路１３の出力信号Ｖは、同時に、ニューロン全体の出力信号Ｙとなる。
この種のニューロンを人工ニューラル・ネットワークに用いる場合、ネットワークをトレーニング（訓練）しなければならない。即ち、重み係数Ｗ1ないしＷnに適切な値を求めなければならない。この目的のために、異なるアルゴリズムが開発されている。例えば、ある入力とある状況というような異なる信号を組み合わせることによって、繰り返し供給される情報を記憶することができるニューラル・ネットワークを、連想ニューラル・ネットワーク(associative neural network)と呼ぶ。連想ニューロンでは、ヘッブ規則(ヘッブ・ルール：Hebb rule)として知られているものの異なる変形を用いることが多い。ヘッブ規則によれば、重み係数に対応する入力がアクティブであり、ニューロンの出力がアクティブであるべきときには、重み係数を常に増大させる。このアルゴリズムによる重み係数の変更を、ニューラル・ネットワークの訓練と呼ぶ。
既知の人工ニューロンから、並列にニューロンを接続して層を形成し、これらの層を前後に（次々に）配列することによって、ニューラル・ネットワークを組み立てることができる。出力信号を入力信号としてフィード・バックすることによって、ネットワークにフィードバックを実装することができる。本発明のネットワークはフィードバックを備えていないので、最も密接に関係する対応ネットワークは、単一層パーセプトロン、多層パーセプトロンおよび放射状ネットワークとなる。これらのネットワークの特有の特徴は、その動作が、異なるアルゴリズムによる入力の重み係数の調節に基づくということにある。
しかしながら、従来既知のニューラル・ネットワークは、時系列的（時間的に直列の）信号を他の信号と関連付けることができない。
発明の簡単な説明
本発明の目的は、ニューラル・ネットワークの訓練という前述の問題を解決可能な方法、およびその方法を実施する機器を提供することである。より正確に言えば、本発明の目的は、最小の訓練期間に基づいて、ニューラル・ネットワークが時系列的信号を他の信号、即ち、コンセプト信号(concept signal)と関連付けることが可能とする機構を提供することである。
本発明の目的は、独立項に記載することを特徴とする方法および機器によって達成される。本発明の好適な実施形態は、従属項において請求されている。
本発明は、適切に接続されたメモリ手段によるニューラル・ネットワークの連想的拡張(associative expansion)、および出力信号が正しい可能性が最も高い数個のニューロンのみからの出力信号の選択に基づくものである。その目的は、曖昧でない選択を常に達成し、一度に最大でも１つのニューロンから出力信号を選択することである。
本発明は、多数の連想ニューロンから成り、その各々が連想信号を受ける多数の連想入力と、コンセプト入力信号を受けるコンセプト入力とを有する、従来型のニューラル・ネットワークを拡張することによって実現することができる。また、本発明のニューラル・ネットワークは、更に、
ニューラル・ネットワークの時系列（時間的に連続する）連想入力信号を時間的に並列な信号に変換し、ニューロンの前記連想入力に有効に接続されるメモリ手段と、
少なくとも１つの所定の基準に基づいて、一度にニューロンの一部のみから、好ましくは一度に最大でも１つのニューロンから、出力信号を選択するように構成された選択手段と、を備えている。
ニューラル・ネットワークの時系列的入力信号（連想入力およびコンセプト入力双方）は、信号群に組み立てることが好ましい。本願では、「群（グループ）」という用語は、各群において一度に最大でも１つの信号がアクティブとなるという選択肢（オプション）も包含するものとする。これは、自動的にこの条件を満たすシステムにニューラル・ネットワークを接続することによって、または各群において一度にアクティブになる信号が最大でも１つとなることを保証する選択手段を、ニューラル・ネットワークに追加することによって実現することができる。
本発明の方法またはニューラル・ネットワークの利点は、訓練期間の後、どのニューロンが、連想信号に最も対応する信号を出力したかを確定できることである。これを行う最も簡単な方法は、ニューロンにおいて１（シナプスの重み係数）に対応する励起した、即ち、アクティブな連想信号の数をカウントすることである。次に、かかる信号の最大数を有するニューロンを、励起するニューロンとする。本願の技術を用いた場合、計算されるのは、実際には、ニューロンの出力信号の値ではなく、励起値である。最も強く励起したニューロンが最も早く出力信号を供給する。その信号の値は、励起の強度には無関係に、例えば、厳密に１である。また、出力信号の強度も励起信号の強度に応じて変化させることができる。
本発明のニューラル・ネットワークは迅速に学習し、最小の一例でも十分な場合もある。ニューラル・ネットワークの訓練直後に、一般化することが可能となる。連続信号のある最小部分が、ネットワークに教えた信号に対応する場合、ネットワークは、応答として、それが学習したコンセプトを形成する。本発明による機構は柔軟性および多様性があるので、可能な限り広くこのニューラル・ネットワークを適用することが可能である。また、この機構は比較的簡単であるので、ニューラル・ネットワークを構築するコストは低く維持される。
【図面の簡単な説明】
以下では、好適な実施形態により、添付図面を参照しながら本発明について更に詳しく説明する。
図１は、人工ニューロンの概略図である。
図２は、本発明のニューラル・ネットワークの概略図である。
図３ないし図６は、一例として、ニューラル・ネットワークにおいて単一のニューロンの詳細を実行する方法を示す。
図７は、本発明のニューラル・ネットワークの選択回路を実現する方法を示す。
図８は、本発明のニューラル・ネットワークのメモリ回路を実現する方法を示す。
発明の詳細な説明
図２において、本発明のニューラル・ネットワークの入力信号は、連想信号（信号群）Ｇ１ないしＧｊおよびコンセプト信号ＣＳ１ないしＣＳｍである。図２は、連想信号がｊ個の群に組み立てられているが、コンセプト信号ＣＳ１ないしＣＳｍは１つの群のみを形成する例を示す。他の配列も可能である。入力信号は、例えば、音声認識との関連において用いることにより、訓練期間中に、音声の連続表現(serial presentation of speech)を少なくとも１つの連想信号群Ｇ１ないしＧｊに供給し、認識可能なコンセプト（システムによって認識される別個の音素（フォニーム）、コマンド等）をコンセプト入力ＣＳ１ないしＣＳｍに供給することができる。信号Ｏ１ないしＯｍは、ニューラル・ネットワークの出力信号（例えば、ニューラル・ネットワークによって認識される音素、単語（ワード）またはコマンド）である。
ニューラル・ネットワークの連続（時系列）信号群Ｇ１ないしＧｊは、メモリ手段ＭＥＭによって、ニューラル・ネットワークのニューロンＮ１ないしＮｍの入力に適応されている。図２の実施形態では、メモリ手段ＭＥＭは、ｊ*ｐマトリクスＭ１１ないしＭｊｑに配列されており、ｊは信号群Ｇ１ないしＧｊの数に対応し、ｑはメモリＭＥＭが遡って覚えておくべき時間の長さに基づいて決定される。メモリ回路Ｍ１１ないしＭｊｑの時間的に並列な出力信号Ａ１１１ないしＡｊｐｌは、各連想ニューロンＮ１ないしＮｍの連想入力に接続されている。ニューロンＮ１ないしＮｍ全ての連想入力は、単純に並列に接続することができる。個々のニューロンの連想入力間には階層(hierarchy)は不要であるが、入力は、図３のニューロンの入力Ａ１ないしＡｎに直接対応する。ニューラル・ネットワークが動作状態にある場合、時間並列信号Ａ１１１ないしＡｊｑｌは、ニューロンＮ１ないしＮｍ内の関連するニューラル信号を励起する。最も早く励起即ち活性化された出力信号が、最大数の連想信号によって励起されたニューロンの出力信号となる。次いで、ニューロンＮ１ないしＮｍの出力信号に接続されている選択回路ＳＥＬａが、ある基準（例えば、活性化率または順序）に基づいて、正しい可能性が最も高い出力信号を選択する。
１つ以上の連想入力信号群Ｇ１ないしＧｊが可能である。各信号群Ｇ１ないしＧｊでは、一度にアクティブになることができる信号は、最大でも１つである。これは、ａ）各信号群において一度に最大でも１つの信号をアクティブにする環境においてニューラル・ネットワークを用いること、あるいはｂ）メモリ手段ＭＥＭと各信号群Ｇ１ないしＧｊに対応する入力との間で、各信号群内で最大でも１つの信号、例えば、最も早く活性化した信号を選択する選択手段即ち回路ＳＥＬ１ないしＳＥＬｊを配置することのいずれかによって、確保することができる。
以下では、本発明のニューラル・ネットワークの詳細について更に細かく検討する。図３ないし図６は、単一のニューロンの詳細に関する。
図３のニューロンは、主信号入力Ｓ、および任意数の補助信号入力Ａ1，Ａ2，．．．，Ａnを含んでいる。図３ないし図６は、拡張ニューロン(expanded neuron)を示し、少なくとも１つの制御(control)、または制入力Ｃおよび少なくとも１つの禁止入力Ｉ（＝Inhibit（禁止））、ならびに多数の出力を含む。図２の例では、ニューロンの出力は、ＳO，ＹO，ＮOおよびＮaである。入力および出力信号は、例えば、電圧レベルまたは２進信号とすることができる。その最も簡単な形態では、ニューラル・ネットワークは、各ニューロン内に正確には１つの主信号入力Ｓを備えている。
ブロック２１1，２１2，．．．，２１nは、ニューロンのシナプスであり、その中に、関係する補助信号Ａ1，Ａ2，．．．，Ａnに対応する重み係数が記憶されている。実際には、シナプスは、例えば、回路ユニットである。ブロック１２は加算回路であり、ここで、シナプス２１1，２１2，．．．，２１nの出力信号Ａｔ1，．．．，Ａｔ3が加算される。ブロック１３はスレショルド回路であり、単純な比較器として実現することができ、その入力信号レベル、即ち、加算回路１２の出力信号レベルが予め設定してあるスレショルド値を超過する場合にのみ、アクティブ出力信号を供給する。
ブロック２２をニューロンの核と呼ぶ。その機能は、例えば、スレショルド回路１３の出力信号に基づいて主信号Ｓを調和させる(key)とともに調節(adjust)し、論理演算および／または関数を信号間で形成することである。特に有用な論理演算は、論理ＯＲ（信号ＳO）および論理ＡＮＤ（信号ＹO）である。ＡＮＤと同様に他の論理演算も使用可能であり、例えば、主信号Ｓを最初に反転（信号ＮO）したり、またはスレショルド回路１３の出力信号Ｖを最初に反転（信号Ｎa）することができる。
本発明の好適な実施形態では、核２２は、ニューロンの入力に何が発生したかには無関係に、信号の開始後ある時間期間が経過したときに出力信号ＳOを非活性化する回路も備えている。また、回路は、ある復元（回復）期間が過ぎるまでは、新たな出力パルスが開始できないようにすることも可能である。また、核２２には、禁止入力信号Ｉ(Inhibit)も接続することができ、この信号が活性化されると、全ての出力を禁止する（それらを不活性状態に強制する）。制御入力信号Ｃ(Control)は、シナプスの学習を制御する。
図４ないし図８は、入力および出力が電圧信号である実施形態を示す。信号は、その電圧が正である場合に「アクティブ」と呼び、その電圧が本質的に０である場合に「インアクティブ」と呼ぶことにする。
図４は、図３のニューロンのシナプス２１1ないし２１nを実現する方法を示す。この案(solution)では、補助信号Ａ1および主信号Ｓが同時にアクティブであるときはいつでも、シナプスの重み係数に対応する電圧は、抵抗４１およびダイオード４２を介してコンデンサ４３に格納（記憶）される。（主信号Ｓとキー信号Ｋとの間に可能な連想については、図６のゲート６３２に関連付けて説明する。）抵抗４１およびコンデンサ４３は、時定数を規定し、この時定数に応じてコンデンサ４３の電圧が増大する。ダイオード４２は、電圧がＡＮＤゲート４０を介して放電するのを禁止する。コンデンサ４３の電圧は、電圧フォロアとして機能する演算増幅器４４に供給される。この増幅器の入力インピーダンスは非常に高い（即ち、それによって発生するコンデンサ４３の放電は無視し得る程度である）。シナプスの出力は、入力信号Ａ1から得られる信号Ａｔ1であり、ダイオード４５および抵抗４６によって重み係数に対応する電圧レベルにこれをロックすることによって得られる。第２電圧フォロア４７が、出力信号をバッファする。入力信号Ａ1がアクティブであるときは常に、出力信号Ａｔ1は、重み係数の電流値に比例する。
図５は、図３のニューロンの加算ブロック１２を実現する方法を示す。シナプス２１1ないし２１3から得られる電圧Ａｔ1ないしＡｔ3は、抵抗ネットワーク５０ないし５３によって加算される。（入力Ａｔ1ないしＡｔ3の数および抵抗５１ないし５３の数は任意であることは容易に理解することができよう。）比較器５４においてスレショルド比較(thresholding)が行われ、ここでは、比較器５４の正入力における加算電圧Ｕが、負入力におけるスレショルド値を超過するときにのみ、比較器５４の出力がアクティブになるように、スレショルド比較を急峻(abrupt)にする（図５の例におけるスレショルド値は、定電圧電源５５の出力電圧である）。
図６は、図３のニューロンの核２２を実現する方法を示す。入力された主信号Ｓがアクティブであるか、あるいはスレショルド比較後の加算電圧Ｖがアクティブである場合、ＯＲ回路６０２が出力信号ＳOを発生する。核２２は、点線で囲まれたブロック６０６を含む。このブロックは遅延回路として機能する。図６の例では、遅延回路６０６は、バッファ６０８および反転器（インバータ）６１０、抵抗６１２ないし６１４、ならびにコンデンサ６１６ないし６１８から成る。遅延回路６０６の出力は通常アクティブであるので、ＡＮＤゲート６０４は出力信号を通過させる。遅延回路６０６の構成部品の構造によって生ずる遅延が経過したとき、出力パルスは、反転してＡＮＤゲート６０６に到達し、出力信号ＳOを不活性化する。出力信号ＳOは、遅延回路６０６の出力における遅延出力パルスが終了し終えるまで、再度活性化することはできない。論理ＡＮＤ演算ＹOが、ＡＮＤ回路６２０によって形成され、この演算における第１のエレメントは主信号Ｓであり、第２のエレメントは、補助信号Ａ１ないしＡｎの重み係数によって重み付けされ、次いでスレショルドと比較された加算信号Ｖである。対応するＡＮＤ演算ＮOが、ＡＮＤ回路６２２によって形成されるが、主信号Ｓの反転値が最初にＮＯ回路６２６によって形成される（即ち、信号を反転する）点が異なる。対応するＡＮＤ演算Ｎaは、ＡＮＤ回路６２４によって形成されるが、スレショルド比較後の加算電圧Ｖが最初にＮＯ回路６２８によって反転される点が異なる。全ての出力信号は、Ｉ信号によって禁止することができる。Ｉ信号は、（ここでは）ＮＯ回路６３０によって反転され、次いで反転形態でＡＮＤ回路６２０ないし６２４に供給される。シナプスは、ヘッブ規則（図２参照）にしたがって、Ｋ信号によって制御される。制御信号Ｃを用いて、いつ学習が許可されるのかを完全に規定する。キー信号Ｋの発生は、制御信号Ｃがインアクティブの場合、ＡＮＤ回路６３２によって禁止される。図６は、拡張した核２２を示す。最も重要な部分は、出力信号ＳOを発生するＯＲ回路６０２、および学習をいつ許可するかを制御するＡＮＤ回路６３２である。他の回路は、任意の追加的な機能を行う。
図７は、選択回路ＳＥＬａ，ＳＥＬｂ，およびＳＥＬ１ないしＳＥＬｊを実現する方法を示す。この回路は次のように動作する。入力信号ＩＰ１ないしＩＰ４の全てが０の場合、ＡＮＤ回路７１ないし７４の出力は０となり、ＮＯＲ（ＯＲＮＯＴ）回路の出力は１となる。例えば、入力信号ＩＰ２が１に変化した場合、対応するＡＮＤ回路７２の出力は１に変化し、その他の入力に対応するＮＯＲ回路７５，７７および７８の出力は０に変化する。これによって、これらに対応する入力が１に変化しても、その他の出力ＯＰ１，ＯＰ３およびＯＰ４を０に変化させる。
図７の回路において、次のように仮定する。ａ）回路は、一度に最大でも１つの信号を通過させるだけにすべきである。ｂ）選択基準は、回路の入力信号がアクティブになる順序とする。ｃ）信号は２つの状態（アクティブおよびパッシブ）を有し、アクティブ状態が論理１に対応する。ｄ）信号の数は４とする。最後に述べた限定は、同じ思想の範囲内で容易に拡張できる。図７の回路は、ほぼ同時にアクティブとなる数個の信号を通過させるように、変換することができる。これは、例えば、回路内に同期ロジックを用いて、回路内にある時間窓(time window)を形成し、これにより、同じクロック・パルス中に生じた全ての変化を同時と解釈することによって実現することが可能である。実際には、数個のニューロンＮ１ないしＮｍの出力信号がほぼ同時にアクティブになった場合、ニューラル・ネットワークは曖昧でない連想信号（音声、パターン等）を認識することができない状況が発生するように、前述の構成を実現することができる。ここで、最後の選択をユーザまたは他の推理(reasoning)ロジック（図示せず）に残すことができる。しかしながら、正常な状況および目標とする状況は、ニューラル・ネットワーク自体が、最も早く励起されるニューロンを選択することがある。
図８は、メモリ回路Ｍ１１ないしＭｊｑの１エレメントを実現する方法を示す。各メモリ・ブロックＭ１１ないしＭｊｑにおいて、関係する入力信号群Ｇ１ないしＧｊ内にある個別の信号の数だけ、図８の回路がある（例えば、メモリブロックＭ１１には、図８の回路がｋ個ある）。ＩＰは入力を表わし、ＯＰは出力を表わす。アクティブ信号（ここでは、論理１）が入力ＩＰに供給されると、対応する電圧がコンデンサ８０８に格納される（バッファ８０２、ダイオード８０４および抵抗８０６を介して）。しかしながら、出力ＯＰはパッシブ（論理０）のままである。何故なら、ＮＯ回路８１０が、ＡＮＤ回路８１２の一方の入力を０に保持しているからである。入力信号ＩＰが０に戻ると、ＮＯ回路８１０の出力が１に変化する。この電圧およびコンデンサ８０８に格納されている電圧が、出力信号ＯＰを１に変化させる。ダイオード８１４および抵抗８１６を経由するパッシブ・フィードバックが、コンデンサ８０８を充電状態に保持するので、出力ＯＰはアクティブのまま留まることになる。入力Ｉ１，Ｉ２，．．．は、禁止入力であり、これらは、同じ群の並列なメモリ・エレメントの対応する出力ＯＰに接続されている。同じ群内の別のメモリ・エレメントの出力が１に変化した場合、ＮＯＲ回路８１８は、抵抗８２０およびコンデンサ８２２を介して、ＡＮＤ回路８１２の一方の入力を０にセットする。ＡＮＤ回路８１２の正フィードバックは中断され、このためにコンデンサ８０８は抵抗８２８を介して放電し、メモリ・エレメントの出力ＯＰは、入力ＩＰにおいて前述の動作が繰り返されるまで、０に永続的に留まる。
時として、メモリ・エレメントの出力信号の持続時間をある最大値に制限することが好ましい場合がある。これは、例えば、図６に関連して説明した遅延回路６０６に対応する回路によって実現することができる。更に別の有用な代替案として、連想信号Ｇ１ないしＧｊ関連して説明したのと同様に、群（グループ）をコンセプト信号ＣＳ１ないしＣＳｍで形成することがあげられる。１つのニューラル・ネットワークの出力信号を次のニューラル・ネットワークに入力信号として供給する際、前者のニューラル・ネットワークの出力において、後者のニューラル・ネットワークの入力におけるのと同じ階層に従えば、当然有用となる。
実際には、ニューラル・ネットワークには膨大な数のニューロン（通常１０4ないし１０6）が必要となる。本発明のニューロンは、例えば、半導体によって実現される音声記憶回路を製造するために用いられるＥＥＰＲＯＭ技術により、大規模集積に適したプロセスによって実現することができる。あるいは、ニューロンおよびニューラル・ネットワークは、デジタル・プロセッサ内で実行するコンピュータ・プログラムによってシミュレートすることができる。ニューロンのシナプスの重み係数に対応する値は、ここではメモリ位置（例えば、マトリクス変数）に格納され、ニューロンおよびニューラル・ネットワークの他の部分は、ソフトウエア・ロジックによって実現される。
本発明は、広範な人工ニューラル・ネットワークを用いて情報を処理する領域に適用可能である。これらの領域には、例えば、オーディオビジュアル情報の処理、知覚情報一般、特に音声および画像の解釈、ならびに抵抗の形成が含まれる。本発明は、マンマシン・インターフェース、個人用電子補助機器および／または通信、マルチメディア、バーチャル・リアリティ（仮想現実）、ロボット、人工知能、人工的創造性(artificial creativity)の手段のような、多くの最新工業分野において適用可能である。可能な実施形態の１つは、単語およびコンセプトを組み合わせるものである。ここでは、ある単語の時系列音素に対応する信号が、入力Ｇ１ないしＧｊに供給される。連想コンセプトは、入力ＣＳ１ないしＣＳｍに供給される。連想の後、入力Ｇ１ないしＧｊに供給された信号が歪んでいたりあるいは不完全であっても、ある単語に対応し入力Ｇ１ないしＧｊに供給された信号が、対応するコンセプトを励起する。選択回路ＳＥＬａは、ここでは、最も強く（最も多い連想によって）励起され、正しいことの可能性が最も高いコンセプトを確実に選択する。
技術の発展に伴って、本発明の基本思想が多くの異なる方法で実現され得ることは、当業者には自明であろう。したがって、本発明およびその実施形態は、前述の例に限定される訳ではなく、請求の範囲内で多様な変更が可能である。
【図１】
0003729868.tif 000002
【図３】
0003729868.tif 000003
【図７】
0003729868.tif 000004
【図２】
0003729868.tif 000005
【図８】
0003729868.tif 000006
【図４】
0003729868.tif 000007
【図５】
0003729868.tif 000008
【図６】
0003729868.tif 000009