(57)【特許請求の範囲】
【請求項１】
ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合された改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・前記ｐ個の構成要素ノルムを保管し、前記ｐ個の構成要素ノルムを各ニューロンに適用するグローバル記憶手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素を保管するプロトタイプ・メモリと、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素およびそれに関連する対応する構成要素ノルムを同時に転送し、対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
【請求項２】
前記グローバル記憶手段が、グローバル構成要素ノルム（Ｇ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、前記ＡＮＮのすべての前記ニューロンに共通の物理メモリからなる、請求項１に記載の改良されたＡＮＮ。
【請求項３】
前記グローバル記憶手段が、グローバル構成要素ノルム（Ｇ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、前記ＡＮＮのすべての前記ニューロンに共通の物理グローバル・メモリと、ローカル構成要素ノルム（Ｌ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、各ニューロン内に配置される複数の専用メモリとからなる、請求項１に記載の改良されたＡＮＮ。
【請求項４】
Ｃ＿ｎｏｒｍとして前記Ｇ＿Ｃ＿ｎｏｒｍまたは前記Ｌ＿Ｃ＿ｎｏｒｍのいずれかを選択する手段をさらに含む、請求項４に記載の改良されたＡＮＮ。
【請求項５】
前記距離ノルム（Ｄ＿ｎｏｒｍ）を適用する前記手段が、すべての前記ニューロンに共通のレジスタ（Ｇ＿Ｄ＿ｎｏｒｍ）または各ニューロン内のローカル・レジスタ（Ｌ＿Ｄ＿ｎｏｒｍ）のいずれかからなる、請求項１に記載の改良されたＡＮＮ。
【請求項６】
ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合され、ｍ個の異なるグローバル・コンテキストに対応するニューロンのｍ個のグループに区分されるように適合された、改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・グローバル・コンテキストを各ニューロンに適用するコンテキスト伝送手段と、
・前記ｐ個の構成要素ノルムを、決定されたコンテキストと共に保管し、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する複数のｍ個のグローバル記憶手段であって、各グローバル記憶手段が、
・前記ｐ個の構成要素ノルムを保管するメモリと、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｍ個のグローバル記憶手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素を保管するプロトタイプ・メモリと、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、およびそれに関連する対応する構成要素ノルムを同時に転送し、対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
【請求項７】
ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合された改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素または前記ｐ個の構成要素ノルムのいずれかを保管することができ、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用することができる、メモリと、
・前記プロトタイプ構成要素を距離評価手段に適用する（標準モード）か、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する（Ｃ＿ｎｏｒｍモード）かのいずれかを行うように適合された手段と、
・いずれかのモードを選択するように適合された手段と、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、およびそれに関連する対応する構成要素ノルムを同時に転送し、対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
【請求項８】
ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合され、ｍ個の異なるグローバル・コンテキストに対応するニューロンのｍ個のグループに区分されるように適合された、改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素または前記ｐ個の構成要素ノルムのいずれかを保管することができ、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用することができる、メモリと、
・前記プロトタイプ構成要素を距離評価手段に適用する（標準モード）か、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する（Ｃ＿ｎｏｒｍモード）かのいずれかを行うように適合された手段と、
・いずれかのモードを選択するように適合された手段と、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、およびそれに関連する対応する構成要素ノルムを同時に転送し、対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人工ニューラル・ネットワーク（ＡＮＮ）に関し、具体的には、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力パターンの各構成要素にノルムを関連付ける方法および回路に関する。その方法によれば、距離評価処理中にそのようなニューラル・ネットワークに提示される入力パターンの各構成要素の基本（または部分的）距離の計算を適応させるために、異なるタイプのノルムを距離評価処理で使用することが可能になる。
【０００２】
【従来の技術】
現在のデータ処理では、多数の認識タスク、予測タスク、および計算タスクが、入力データの特徴を表すのに使用される基準データベースを使用して実行される。解決する問題に応じて、これらの基準データベースには、データのサブイメージ、サブ信号、サブセット、およびこれらの組合せであるパターンが含まれる。これらの基準データベースに保管されるパターンを、以下ではプロトタイプと呼称する。当業者に既知であるように、これらは、一般にベクトルすなわちｐ次元空間の配列によって表現される。基準データベースを使用する、新しい（未知の）パターン（以下では入力パターンと呼称する）の特徴を表す周知の方法は、Ｋ最近接近傍（ＫＮＮ）または影響領域（ＲＯＩ）などの入力空間マッピング・アルゴリズムに基づく。これらのアルゴリズムの基本原理は、所定の閾値に依存してまたはこれに依存せずに、最も近いプロトタイプを見つけるために、入力パターンと保管されたプロトタイプのそれぞれとの間の距離（dist）を計算することである。米国特許第５６２１８６３号明細書に、ＺＩＳＣニューロン（ＺＩＳＣはIBM Corp社の登録商標である）と称する新しいタイプの革新的な基本プロセッサを含む、そのような入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークが記載されている。ＺＩＳＣニューロンの本質的な特性は、その並列動作能力すなわち、入力パターンがＡＮＮに提示される時に、すべてのＺＩＳＣニューロンが、入力パターンとそれぞれの保管されたプロトタイプの間の距離を同時に計算することである。このアルゴリズムの重要な態様の１つが、距離評価処理で使用される、「ノルム」と称する距離評価関係である。このノルムの選択は、一方では解決される問題によって決定され、もう一方ではこの問題を解くのに使用される知識によって決定される。ＺＩＳＣニューロンでは、入力パターンＡと、それに保管されたプロトタイプＢ（それぞれがｐ個の構成要素を有する）の間の距離が、マンハッタン距離（Ｌ１ノルム）すなわちdist=sum(abs(Ak-Bk))、または最大距離（Ｌｓｕｐノルム）すなわちdist=max(abs(Ak-Bk))のいずれかを使用して計算される。ここで、ＡｋおよびＢｋは、それぞれ入力パターンＡおよび保管されたプロトタイプＢのランクｋ（変数ｋは１からｐまで変化する）の構成要素である。「abs」が、「絶対値（absolute value）」の通常の省略形であることに留意されたい。他のノルムが存在し、たとえば、dist=square root(sum(Ak-Bk)2)などのＬ２ノルムが存在する。Ｌ２ノルムは、「ユークリッド」と言われ、Ｌ１ノルムおよびＬｓｕｐノルムは「非ユークリッド」ノルムの例であるが、これらのすべてが、距離関係での各構成要素の差(Ak-Bk)の処理を暗示する。他のユークリッド・ノルムまたは非ユークリッド・ノルム（一致／不一致など）が、ＡＮＮ分野の当業者に既知である。ＺＩＳＣニューロンでは、Ｌ１ノルムまたはＬｓｕｐノルムの選択が、ニューロンに保管される、「ノルム」ビットＮｏと称する単一のビットの値によって決定される。
【０００３】
その一方で、「コンテキスト」の概念が、ＺＩＳＣニューロンによって導入された新規の概念であった。コンテキストは、異なるタイプの入力パターンを区別するのに有利に使用することができる。たとえば、コンテキストを使用して、大文字と小文字を区別することができる（または、異なるタイプのフォントを区別することができる）。ＺＩＳＣニューロンでは、この手法が、ニューロンに保管されるローカル・コンテキストＣｘｔと、ＺＩＳＣチップの共通レジスタで保持されるグローバル・コンテキストＣＸＴを用いて実装される。その結果、コンテキスト手法を用いると、決定されたコンテキストに関して学習したニューロンを選択でき、ＡＮＮ内の他のすべてのニューロンを使用禁止にすることができるようになる。認識中に、グローバル・コンテキストの値が、各ニューロンに保管されたローカル・コンテキストと比較され、同一であることがわかった場合に、そのニューロンが選択され、そうでない場合には、そのニューロンは使用禁止にされる。その結果、コンテキストを用いると、単一ニューラル・ネットワークとして、またはあるグループのすべてのニューロンが同一のローカル・コンテキストを有する、ニューロンの別々のグループの配置としてのいずれかでＡＮＮを構成できるようになる。ＺＩＳＣニューロンに関する限り、コンテキスト（ローカルまたはグローバル）は、７ビットでコード化される値である。
【０００４】
したがって、ＺＩＳＣニューロンには、１ビット・ノルムＮｏと７ビット・コンテキストｃｘｔの信号を保管する、ローカル・ノルム／コンテキスト（Ｎｏ／ｃｘｔ）レジスタと称する固有のレジスタがある。エンゲージメント（engagement）／学習プロセスの最後に、ローカル・ノルム／コンテキスト・レジスタの内容が、ＡＮＮに保管されるグローバル・ノルム／コンテキストに自動的にロードされる。１ビット・ノルム信号および７ビット・コンテキスト信号は、ＺＩＳＣチップの制御ロジック回路に印加される。
【０００５】
これまでは、保管されたプロトタイプの構成要素の全体に対して１つのノルムだけが使用されてきた。ＺＩＳＣニューロンでは、各構成要素に適用されるノルムで、演算子「差の絶対値」が使用される。その後、Ｌ１ノルムの場合には連続する値が合計され、Ｌｓｕｐノルムの場合にはその最大値が選択される。しかし、構成要素の性質に起因して、いくつかの場合に、応用例に応じて入力パターン／保管されたプロトタイプの構成要素ごとに異なるものとすることができるノルムを関連付ける価値があるに違いない。たとえば、サブイメージの特性を表す保管されたプロトタイプの２つの構成要素で、カラー・インデックスと、サブイメージ内のそのカラー・インデックスの画素の数が記述される場合に、カラー・インデックスに関連する構成要素に一致／不一致のノルムを適用し、画素数に関連する構成要素に絶対値ベースのノルムを適用することが有用になるはずである。通常のＡＮＮを使用する時のこの手法の扱いにおける主な問題は、入力ベクトル／保管されたプロトタイプの構成要素に異なるノルムを関連付け、これらの特定の条件で距離評価処理を行うためにシリコン・チップ内で必要になるメモリおよび論理回路の量が多いことである。
【０００６】
結果として、この非常に望ましい特徴を可能にする技法は、現在まで知られていない。実際、前述の米国特許明細書に記載の人工ニューラル・ネットワークでは、ニューロンあたり１つのノルムしか使用することができず、したがって、保管されたプロトタイプのすべての構成要素に関しても同一である。これは、従来の入力空間マッピング・アルゴリズムに基づくニューラル・ネットワークの使用の拡張、具体的には異なる性質の構成要素を有する入力パターン／保管されたプロトタイプを扱う必要がある時のＺＩＳＣニューロンを用いて構成されるＡＮＮの使用の拡張に対する深刻な制限である。
【０００７】
【発明が解決しようとする課題】
したがって、本発明の主目的は、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【０００８】
本発明のもう１つの目的は、距離評価処理で異なるノルムの使用を可能にするために、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【０００９】
本発明のもう１つの目的は、異なる性質の構成要素を有する入力パターンを処理する必要がある時に、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【００１０】
本発明のもう１つの目的は、すべてのノルムがグローバル・メモリに記憶される、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【００１１】
本発明のもう１つの目的は、ノルムの複数の組を扱うように適合された、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【００１２】
本発明のもう１つの目的は、ノルムがニューロン内で記憶される、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワークに提示される入力の各構成要素にノルムを関連付ける方法および回路を提供することである。
【００１３】
【課題を解決するための手段】
上記および他の関係する目的の達成は、入力空間マッピング・アルゴリズムに基づく人工ニューラル・ネットワーク（ＡＮＮ）に提示される入力パターンの各構成要素にノルムを関連付けることを目指す本発明の方法および回路によって達成される。「構成要素」ノルムと称するノルムの組を、ＡＮＮ内の固有の記憶手段に記憶する。第１の実施形態では、すべてのニューロンに共通の、すべての構成要素ノルムを記憶するグローバル・メモリを有する改良されたＡＮＮを提供する。入力パターンの構成要素ごとに、ニューロンが、ニューロンにローカルに保管されたローカル構成要素ノルムまたはグローバル・メモリに保管されたグローバル構成要素ノルムのいずれかの間で選択して、距離評価処理の基本（または部分的）計算を実行することができる。その後、「距離」ノルムを使用して基本計算を組み合わせて、入力パターンと保管されたプロトタイプのそれぞれとの間の最終距離を判定する。第２の実施形態では、構成要素ノルムの組を、ニューロン自体に記憶する。この実施形態では、ＡＮＮがシリコン・チップに集積される時に消費されるシリコン面積を大幅に最適化することができる。したがって、ニューロンのプロトタイプ構成要素記憶手段が、グローバル・メモリ機能を満たすように適合され、その結果、固有のグローバル・メモリが、もはや物理的に必要でなくなる。
【００１４】
【発明の実施の形態】
本発明の基本原理は、距離評価処理で入力パターン／保管されたプロトタイプの各構成要素に関連するノルム（すなわち、上で述べた演算子）を使用することである。このノルム（したがって、構成要素ごとに異なるものとすることができる）を、以下では、「構成要素」ノルムまたは省略形でＣ＿ｎｏｒｍと呼称する。Ｃ＿ｎｏｒｍは、ニューロン内にローカルに、またはＡＮＮ全体に共通の「グローバル・メモリ」内のいずれかに保管される。この場合、グローバル・メモリは、Ｃ＿ｎｏｒｍの組全体を記憶し、その結果、決定された入力パターン構成要素について、同一のノルムが、すべてのニューロンに関連付けられる。Ｃ＿ｎｏｒｍを、第１の場合には「ローカルＣ＿ｎｏｒｍ」、省略形でＬ＿Ｃ＿ｎｏｒｍと呼称し、第２の場合には「グローバルＣ＿ｎｏｒｍ」、省略形でＧ＿Ｃ＿ｎｏｒｍと呼称する。入力パターンが、ニューロンに保管されたプロトタイプと比較される時には、それに関連するＣ＿ｎｏｒｍを使用する対応する構成要素の対（Ａｋ、Ｂｋ）のそれぞれの処理によって、基本（または部分的）距離値がもたらされる。各構成要素について得られる基本距離値を組み合わせて、「距離」ノルムと称する第２のノルムを使用して、最終距離値を提供する。たとえば、Ｌ１ノルムでは、Ｃ＿ｎｏｒｍが、「絶対値」演算子であり、距離ノルムが、「加算」演算子である。Ｌｓｕｐノルムでは、Ｃ＿ｎｏｒｍがまだ「絶対値」演算子である場合に、距離ノルムが、「最大値」演算子になる。構成要素ノルムおよび距離ノルムの性質に応じて、最終的な値を、純粋に数学的な意味での距離（たとえば、Ｌ１ノルムまたはＬｓｕｐノルムが使用される場合）またはそれ以外のいずれかとみなすことができる。しかし、上で述べた米国特許に関する単純さのために、以下の説明で使用する用語「距離」および「ノルム」は、包括的なものとして理解されなければならない。言い換えると、入力ベクトルと保管されたプロトタイプの間の比較の結果の値は、数学的な定義のすべての判断基準を完全に満たしていない場合であっても、「距離」と呼ぶ。以下の説明は、前記の「距離」ノルムに関して行われ、この「距離」ノルムは、省略形で、各ニューロンにローカルに保管される時にはＬ＿Ｄ＿ｎｏｒｍ、ＡＮＮのすべてのニューロンに共通である時にはＧ＿Ｄ＿ｎｏｒｍと呼称する。
【００１５】
本質的に、グローバル・メモリ（通常はレジスタの組）は、独立のメモリである。本明細書に記載の革新的解決策は、シリコン・チップの入出力端子数を増やさず、ホスト・コンピュータでの特定のデータ前処理（認識フェーズでの）を必要としない。さらに、追加されるメモリの量は、すべてのニューロンに存在するプロトタイプ構成要素記憶手段すなわち、ＡＮＮを構成するニューロンに配置されるすべてのプロトタイプ・メモリの合計と比較して非常に少ない。その結果、この原理は、（１）ホスト・コンピュータでのデータの前処理時間、（２）評価／記憶手段の複雑さ、および（３）ＡＮＮを集積したシリコン・チップの入出力の数を増やさずに、実施することができる。さらに、シリコン面積は、後で詳細に説明するように、１つのニューロン（または複数）をこのメモリ機能の実現専用にすることによって、さらに最適化することができる。
【００１６】
図１に、本発明の第１の実施形態による、改良された人工ニューラル・ネットワーク（ＡＮＮ）１０のブロック・アーキテクチャを概略的に示す。改良されたＡＮＮ１０は、ＡＮＮ１１と、上で述べたグローバル・メモリ１２からなる。グローバル・メモリ１２は、ｐ個の構成要素ノルム（すなわち構成要素あたり１個）を保管するように設計される。ホスト・コンピュータまたは制御ロジック（図示せず）からくるデータは、標準としてデータ・イン・バス１３を介してＡＮＮ１１に供給される。ＡＮＮ１１は、包括的に符合１４によって参照される、複数のｎ個の独立のニューロン１４−１ないし１４−ｎからなる。図１に示された特定の実施形態では、ニューロン１４が、基本的に、上で簡単に説明した通常のＺＩＳＣニューロンである。図１では、各ニューロン、たとえばニューロン１４−１に、距離評価機構１５−１と、通常はプロトタイプ・メモリ１６−１と称する、プロトタイプ構成要素を保管するローカル・メモリが含まれる。距離評価機構１５−１は、データ・イン・バス１３を介してホスト・コンピュータに接続され、そのプロトタイプ・メモリ１６−１に接続されて、標準として対応する構成要素の各対を処理して基本距離を計算することによって、入力パターンと保管されたプロトタイプの間の距離評価を実行する。距離評価機構１５−１には、さらに、この基本距離計算の実行に使用される、それぞれＬ＿Ｃ＿ｎｏｒｍおよびＬ＿Ｄ＿ｎｏｒｍを記憶するレジスタ１７−１および１８−１が含まれる。代替案では、専用バスを介して各ニューロン１４にＧ＿Ｄ＿ｎｏｒｍを供給する、改良されたＡＮＮ１０全体に共通の単一のレジスタを有することになる。説明のこの段階では、ＡＮＮ１１およびニューロン１４−１の内部構成（レジスタ１７−１を除くならば）が、実質的に前述の米国特許に記載のものである。しかし、その文書に関して、距離評価機構１５−１が、Ｇ＿Ｃ＿ｎｏｒｍバス１９と称するバスを介してグローバル・メモリ１２に接続され、前記レジスタ１７−１にも接続されることを考慮に入れるために、ＺＩＳＣニューロンの構成がわずかに変更されている。さらに、アドレス・バス２０は、ＺＩＳＣチップで実践されているようにニューロン１４−１ないし１４−ｎのそれぞれに配置されたプロトタイプ・メモリに接続されるだけではなく、グローバル・メモリ１２にも接続され、その結果、入力パターン構成要素ごとに、それに関連する対応するノルムをそこから出力できるようになっている。
【００１７】
複数の改良されたＡＮＮ１０を単一のＡＮＮに組み合わせ、したがって、この組み合わされたＡＮＮに、複数のグローバル・メモリ（改良されたＡＮＮごとに１つ）またはすべてに共通の１つのグローバル・メモリだけが含まれるようにすることができることに留意されたい。その一方で、各ニューロンに保管されるプロトタイプの特定のＣ＿ｎｏｒｍを記憶するために、グローバル・メモリ機能が各ニューロンで複製される、改良されたＡＮＮ１０を考えることもできる。
【００１８】
さらに図１を参照すると、改良されたＡＮＮ１０の動作の原理は、比較的単純である。説明のために、グローバル・メモリ１２が、標準としてレジスタの組によって構成されると仮定する。入力パターン構成要素が、シーケンシャルな形で改良されたＡＮＮ１０に提示されるという仮説を使用すると、ホスト・コンピュータがデータ・イン・バス１３を介して改良されたＡＮＮ１０に入力パターン構成要素を提示するたびに、改良されたＡＮＮ１０は、対応するＧ＿Ｃ＿ｎｏｒｍを出力するためにグローバル・メモリ１２内の決定されたアドレスを指し、対応するプロトタイプ構成要素を選択するためにアドレス・バス２０を介してプロトタイプ・メモリ１６−１ないし１６−ｎのすべての決定されたアドレスを指す。その結果、ニューロン１４のそれぞれで、そのアドレスに対応する、Ｇ＿Ｃ＿ｎｏｒｍ（またはＬ＿Ｃ＿ｎｏｒｍ）、保管されたプロトタイプ構成要素、および入力パターン構成要素が、同時に、距離評価機構１５で使用可能にされる。各ニューロン１４は、その後、関連付けられたＧ＿Ｃ＿ｎｏｒｍ（またはＬ＿Ｃ＿ｎｏｒｍ）を使用して、入力パターン構成要素と対応する保管されたプロトタイプ構成要素との間の基本（または部分的）距離計算を実行する。基本距離を組み合わせて、標準として、選択されたＬ＿Ｄ＿ｎｏｒｍを用いて距離を更新する。この処理は、入力パターンのすべての構成要素が処理され、最終距離値が得られるまで、順番に継続される。
【００１９】
入力パターン構成要素が、並列の形で改良されたＡＮＮ１０に提示される時に、同一の方法を使用することができることを理解されたい。本発明を実施するもう１つの方法は、改良されたＡＮＮ１０に一緒に供給するために、ホスト・コンピュータ内でＧ＿Ｃ＿ｎｏｒｍと入力パターン構成要素を関連付けることである。この場合、グローバル・メモリ機能は、ホスト・コンピュータ自体に埋め込まれることになる。しかし、この解決策は、本明細書では詳細に説明しない。というのは、この解決策にいくつかの短所があるからであり、具体的には、ホスト・コンピュータの処理時間または入出力の数もしくはその両方が大幅に増えるからである。
【００２０】
図２に、これらの処理ステップを要約した流れ図を示す。
【００２１】
図３に、グローバル・メモリと唯一のニューロンに限定した、図１のアーキテクチャを示す。具体的には、図３には、Ｇ＿Ｃ＿ｎｏｒｍを記憶するのに使用されるグローバル・メモリ１２の内部編成と、基本的にはＺＩＳＣニューロンであるが、本発明の教示に従って変更された、第１のニューロン１４−１の本質的な要素が示されている。
【００２２】
グローバル・メモリ１２の内部編成が、図３の左側に概略的に示されている。図３からわかるように、ホスト・コンピュータによってアドレス・バス２０を介して発行されるアドレス（アドレス１からアドレスｐまで）によってアクセスされる入力パターン／保管されたプロトタイプのｐ個の構成要素に対応するｐ個のメモリ位置がある。メモリ位置のそれぞれに、アドレスに関連するＧ＿Ｃ＿ｎｏｒｍのコード化された値が保管される。２つの連続するアドレスは、同一の演算子または２つの異なる演算子のいずれかを表すことができる。後者の場合には、アドレス１に保管されるノルムＧ＿Ｃ＿ｎｏｒｍ  １と、アドレス２に保管されるノルムＧ＿Ｃ＿ｎｏｒｍ  ２を、たとえば、差の絶対値演算子と一致／不一致演算子とすることができる。
【００２３】
ここで図３の右側に移ると、ニューロン１４−１の本質的な要素が詳細に示されている。距離評価機構１５−１には、まず、ブロック２１−１、２２−１、および２３−１が含まれる。ブロック２１−１は、対応する構成要素の対すなわち、同一ランクの対に対する基本距離計算を実行するので、Ｃ＿ｄｉｓｔ評価というラベルが付けられている。このブロックは、データ・イン・バス１３を介してホスト・コンピュータに接続され、プロトタイプ・メモリ１６−１にも接続される。Ｄ＿ｄｉｓｔ評価というラベルを付けられたブロック２２−１は、レジスタ１８−１に保管された距離ノルムを表す演算子（たとえば、Ｌｓｕｐノルムの場合には「最大値」演算子）によって制御され、構成要素のカウントが進行するにつれて、計算された基本距離（部分的結果）を用いて距離を更新する。距離レジスタというラベルを付けられたブロック２３−１には、すべての構成要素が処理された時に最終的な距離が保管される。距離評価機構１５−１は上で述べた通りであり、プロトタイプ・メモリ１６−１（アドレス・バス２０を介してホスト・コンピュータに接続される）およびＬ＿Ｄ＿ｎｏｒｍを記憶するレジスタ１８−１は、実質的に前述の米国特許明細書に記載の説明との一貫性を有する。本発明によれば、距離評価機構１５−１に、さらに、２ウェイのマルチプレクサ２４−１が含まれ、このマルチプレクサ２４−１は、一方ではレジスタ１７−１に、他方ではＧ＿Ｃ＿ｎｏｒｍバス１９に接続される。マルチプレクサ２４−１は、ノルム状況レジスタ２５−１に保管された状況ビットによって制御されて、ブロック２１−１の制御入力に印加される、Ｌ＿Ｃ＿ｎｏｒｍまたはＧ＿Ｃ＿ｎｏｒｍのいずれかを選択する。しかし、Ｌ＿Ｃ＿ｎｏｒｍのレジスタ１７−１、１ビットのノルム状況レジスタ２５−１、およびマルチプレクサ２４−１は、必須ブロックではなく、Ｃ＿ｄｉｓｔ評価のブロック２１−１を、グローバル・メモリ１２に保管されたＧ＿Ｃ＿ｎｏｒｍによって、Ｇ＿Ｃ＿ｎｏｒｍバス１９を介して直接に制御することができる。
【００２４】
入力パターン構成要素が、ホスト・コンピュータによってデータ・イン・バス１３上でニューロン１４−１に送られるたびに、それに関連するグローバル・メモリ１２に保管されたＧ＿Ｃ＿ｎｏｒｍ（ホスト・コンピュータによって定義されるアドレスにある）も、Ｇ＿Ｃ＿ｎｏｒｍバス１９を介してニューロン１４−１に同時に伝送される。プロトタイプ・メモリ１６−１にローカルに保管されたプロトタイプ構成要素（そのアドレスに対応する）が、直接に使用可能である。標準としてグローバル・メモリ１２およびプロトタイプ・メモリ１６−１の両方のアドレッシング機能を実行するのは、ホスト・コンピュータの制御下のアドレス・バス２０の役割である。ここで、マルチプレクサ２４−１を制御する１ビットのノルム状況レジスタ２５−１に保管された２進値に応じて、レジスタ１７−１に記憶されたＬ＿Ｃ＿ｎｏｒｍまたはグローバル・メモリ１２に保管されたＧ＿Ｃ＿ｎｏｒｍのいずれかが選択される。選択されたノルムは、検討中の構成要素の対に対する基本距離計算を実行する際にブロック２１−１を制御するのに使用される。その後、レジスタ１８−１に保管されたＬ＿Ｄ＿ｎｏｒｍを使用して、入力パターンと保管されたプロトタイプの間の距離が、ブロック２２−１で更新され、それがＺＩＳＣニューロンで実践される際に、入力パターンのすべての構成要素が処理され、最終距離「ｄｉｓｔ」が評価され、ブロック２３−１に記憶されるまで、距離評価が、ループ処理を介して継続される。最終距離がＬ１ノルムまたはＬｓｕｐノルムのいずれかだけを用いて得られるＺＩＳＣ  ＡＮＮと異なって、この制限がもはや存在せず、本発明の改良されたＡＮＮ１０は、それに関してはるかに高い柔軟性を提供することに留意されたい。
【００２５】
図１の改良されたＡＮＮ１０の動作と、具体的に、入力パターン構成要素および保管されたプロトタイプ構成要素の、本発明の本質的な特徴であるそれらに関連付けられたＣ＿ｎｏｒｍを用いる同時処理の原理を、図４および図５に関して詳細に説明する。入力パターン構成要素のそれぞれに対して、ホスト・コンピュータ（または制御ロジック）が、グローバル・メモリ１２内の関連するＧ＿Ｃ＿ｎｏｒｍおよび対応する保管されたプロトタイプ構成要素に同時にアクセスするのに使用されるアドレスを発行する。実用的な例を示す。第１のアドレス（アドレス１）によって、図４に示されているように、グローバル・メモリ１２の第１位置にあるＧ＿Ｃ＿ｎｏｒｍ  １と、ニューロン１４−１ないし１４−ｎのプロトタイプ・メモリ１６のそれぞれの第１のプロトタイプ構成要素、構成要素１が選択される。したがって、第１入力パターン構成要素が、改良されたＡＮＮ１０に供給される時に、Ｇ＿Ｃ＿ｎｏｒｍ  １および第１のプロトタイプ構成要素、構成要素１が、第１の基本距離計算のためにそれに同時に関連付けられる。その後、第２の入力パターン構成要素が、改良されたＡＮＮ１０に供給される時に、その構成要素に、図５に示されているように、アドレス２にある第２のノルムＧ＿Ｃ＿ｎｏｒｍ  ２と、第２のプロトタイプ構成要素、構成要素２が同一の形で関連付けられて、前記第１の基本距離計算の部分的結果が更新される。これらのステップは、最後の入力パターン構成要素が処理されるまで繰り返される。この例でアドレスが連続的である場合に、実質的なハードウェア変更なしでそれをランダム・アドレスにすることができることに留意されたい。
【００２６】
異なる種類のプロトタイプが、ＡＮＮ内に保管される時には、決定された種類のプロトタイプの選択が、コンテキストすなわち、上で説明したように保管されるプロトタイプのそれぞれに割り当てられる特定のラベルを使用して実行される。この場合、コンテキストに依存する構成要素ごとにＧ＿Ｃ＿ｎｏｒｍを使用することが有用になる可能性がある。改良されたＡＮＮ１０のアーキテクチャは、この目的に合致するように完全に適合されている。というのは、異なるＧ＿Ｃ＿ｎｏｒｍ構成を記憶する、所望の数のグローバル・メモリを実装することが可能だからである。
【００２７】
図６に、２つのコンテキストを実装することによって、本発明のもう１つの重要な特徴に従って、１組ではなく２組のＧ＿Ｃ＿ｎｏｒｍを処理するように適合された、図１の改良されたＡＮＮの変形形態である改良されたＡＮＮ１０'を示す。Ｇ＿Ｃ＿ｎｏｒｍの決定された組は、コンテキストによって選択され、このコンテキストによって、改良されたＡＮＮ１０'内のニューロンの適当なグループも活動化される。図６に移って、改良されたＡＮＮ１０'には、２つのグローバル・メモリ１２−１および１２−２（上の説明との一貫性のためにこの符号を付す）と、複数のニューロン１４−１ないし１４−ｎが含まれる。コンテキスト・バス２６と称する追加のバスによって、グローバル・コンテキストが保管されるホスト・コンピュータ（または制御ロジック）内のグローバル・コンテキスト・レジスタが、選択ユニットと称する専用のブロックに接続される。これらの選択ユニットは、グローバル・メモリ１２−１および１２−２内では符号２７−１および２７−２、ニューロン１４−１ないし１４−ｎ内では符号２８−１ないし２８−ｎによって参照される。類似する選択ユニットが、コンテキスト実施のためにＺＩＳＣニューロンに既に存在する（図を明瞭にするために図１および図３ではニューロン１４内に示されていない）ことに留意されたい。図６では、グローバル・メモリおよびニューロンが、前記選択ユニットの追加によって、図１の対応するグローバル・メモリ１２およびニューロン１４と異なるのみである。本質的に、選択ユニット２７または２８は、ローカル・コンテキストが保管されるレジスタと、ホスト・コンピュータによって選択されたグローバル・コンテキストとローカル・コンテキストの間の比較を実行する比較器からなる。その比較の結果に応じて、決定されたニューロンのグループだけが、活動化され、他のニューロンは使用禁止にされる。改良されたＡＮＮ１０'のアーキテクチャは、図６に示された２つのコンテキストの実装に制限されず、これによって、より高い柔軟性が回路設計者に与えられる。改良されたＡＮＮ１０'の動作は、図４および図５の参照によって上で説明した改良されたＡＮＮ１０と基本的に同一である。
【００２８】
しかし、Ｇ＿Ｃ＿ｎｏｒｍ記憶手段（図６の場合、グローバル・メモリ１２−１および１２−２）を最適化して、コンテキストと同数のグローバル・メモリの実装を回避することができる。いくつかの場合に、メモリが全く利用されない場合または実際に必要でない時に発生するはずのメモリ浪費を避ける価値がある可能性がある。この目的は、やはり本発明のもう１つの重要な特徴に従って、これまで通常に実践されてきたようにプロトタイプ構成要素を記憶するのではなく、１つのニューロン１４（または複数）をＧ＿Ｃ＿ｎｏｒｍの記憶専用にすることによって満たされる。その結果、グローバル・メモリ１２は、もはや物理的に必要でなくなり、その機能が、そのような専用ニューロンによって効果的に実現される。その目的のために、機能フラグ・ビットと称する新しいフラグ・ビットを各ニューロンに割り当てて、その機能すなわちＧ＿Ｃ＿ｎｏｒｍ記憶またはプロトタイプ構成要素記憶を与える。第１の場合には、ニューロンのメモリ機能およびコンテキスト選択機能だけが使用されるが、第２の場合には、ニューロンが、標準として、距離評価を実行するように働く。
【００２９】
図７に移ると、改良されたニューロン１４'−１は、図１のニューロン１４−１から直接に派生した内部構造を有する。上で述べた機能フラグ・ビットは、セレクタ３０−１を制御する機能フラグ・レジスタ２９−１に保管される。機能フラグ・ビットの値に応じて、セレクタ３０−１は、Ｃ−ｄｉｓｔ評価機構であるブロック２１−１へのプロトタイプ構成要素の適用、またはＧ＿Ｃ＿ｎｏｒｍバス１９に接続された選択されたニューロンのすべてによる利用のためのＧ＿Ｃ＿ｎｏｒｍバス１９へのＧ＿Ｃ＿ｎｏｒｍの伝送のいずれかを行う。したがって、ニューロン１４'−１は、２つの動作モードを有する。第１のモードでは、ニューロン１４'−１が、ニューロン１４−１と同様に動作するが、第２のモードでは、ニューロン１４'−１が、グローバル・メモリ１２の役割を演ずる（機能フラグ・レジスタ２９−１とセレクタ３０−１を追加するコストだけで）。その結果、ニューロン１４'−１のプロトタイプ・メモリ１６−１は、２つの異なるタイプのデータすなわちプロトタイプ構成要素またはＧ＿Ｃ＿ｎｏｒｍを保管するように適合される。
【００３０】
図８に、やはり本発明による、図７の改良されたニューロンがＧ＿Ｃ＿ｎｏｒｍの記憶に使用される時の図１の改良されたＡＮＮ１０のアーキテクチャを示す。この変形形態である改良されたＡＮＮ１０"を用いると、Ｇ＿Ｃ＿ｎｏｒｍ記憶に必要なメモリの量を減らすことができる。図８では、図７のニューロン１４'−１内に示された回路ブロックの一部が、プロトタイプ・ユニット３１−１に組み合わされている。Ｇ＿Ｃ＿ｎｏｒｍを含む専用ニューロンは、その選択ユニット（コンテキストに関して）およびその機能フラグ・レジスタ（動作モードに関して）によって選択される。入力パターン構成要素が改良されたＡＮＮ１０"に供給されるたびに、そのプロトタイプ・ユニットに記憶された適当なＧ＿Ｃ＿ｎｏｒｍが、出力され、改良されたＡＮＮ１０"の他の残りのニューロンのすべてでの距離評価のためにそれに関連付けられる。
【００３１】
図８の改良されたＡＮＮ１０"の動作を、図９および図１０を参照することによって説明する。図９に、改良されたニューロンをＧ＿Ｃ＿ｎｏｒｍの保管専用にする必要がない場合を示す。この場合、すべての機能フラグ・レジスタに、０が保持され、すべてのニューロン１４'が、標準として動作し、デフォルトのノルム（たとえばＬ１）が、距離評価に使用される。
【００３２】
単一のコンテキストが使用され、入力パターン構成要素に関して異なるＧ＿Ｃ＿ｎｏｒｍが必要である時には、１つの改良されたニューロンだけが、このタスクを実行する必要がある。図１０に移って、ニューロン１４'−１が、Ｇ＿Ｃ＿ｎｏｒｍの記憶専用であると仮定すると、その機能フラグ・レジスタ２９−１に１がセットされる。その結果、そのプロトタイプ・ユニット３１−１の記憶手段が、Ｇ＿Ｃ＿ｎｏｒｍの保管に使用され、その距離評価機構１５−１が使用禁止にされる。これを、複数のコンテキストに一般化することができる。その場合には、異なるコンテキストの数と同数の改良されたニューロンが、Ｇ＿Ｃ＿ｎｏｒｍ記憶タスク専用にされる、すなわち、その機能フラグ・レジスタに１がセットされ、その記憶手段が、Ｇ＿Ｃ＿ｎｏｒｍの記憶だけに使用される。
【００３３】
上で述べた方法を、並列コンピューティング・システムでの距離の評価にさらに一般化することができる。
【００３４】
まとめとして、本発明の構成に関して以下の事項を開示する。
【００３５】
（１）ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合された改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・前記ｐ個の構成要素ノルムを保管し、前記ｐ個の構成要素ノルムを各ニューロンに適用するグローバル記憶手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素を保管するプロトタイプ・メモリと、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、それに関連する対応する構成要素ノルム、および対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に同時に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
（２）前記グローバル記憶手段が、グローバル構成要素ノルム（Ｇ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、前記ＡＮＮのすべての前記ニューロンに共通の物理メモリからなる、上記（１）に記載の改良されたＡＮＮ。
（３）前記グローバル記憶手段が、ローカル構成要素ノルム（Ｌ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、各ニューロン内に配置される専用メモリからなる、上記（１）に記載の改良されたＡＮＮ。
（４）前記グローバル記憶手段が、グローバル構成要素ノルム（Ｇ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、前記ＡＮＮのすべての前記ニューロンに共通の物理グローバル・メモリと、ローカル構成要素ノルム（Ｌ＿Ｃ＿ｎｏｒｍ）と称する前記構成要素ノルムを記憶するための、各ニューロン内に配置される複数の専用メモリとからなる、上記（１）に記載の改良されたＡＮＮ。
（５）Ｃ＿ｎｏｒｍとして前記Ｇ＿Ｃ＿ｎｏｒｍまたは前記Ｌ＿Ｃ＿ｎｏｒｍのいずれかを選択する手段をさらに含む、上記（４）に記載の改良されたＡＮＮ。
（６）前記距離ノルム（Ｄ＿ｎｏｒｍ）を適用する前記手段が、すべての前記ニューロンに共通のレジスタ（Ｇ＿Ｄ＿ｎｏｒｍ）または各ニューロン内のローカル・レジスタ（Ｌ＿Ｄ＿ｎｏｒｍ）のいずれかからなる、上記（１）に記載の改良されたＡＮＮ。
（７）ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合され、ｍ個の異なるグローバル・コンテキストに対応するニューロンのｍ個のグループに区分されるように適合された、改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・グローバル・コンテキストを各ニューロンに適用するコンテキスト伝送手段と、
・前記ｐ個の構成要素ノルムを、決定されたコンテキストと共に保管し、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する複数のｍ個のグローバル記憶手段であって、各グローバル記憶手段が、
・前記ｐ個の構成要素ノルムを保管するメモリと、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｍ個のグローバル記憶手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素を保管するプロトタイプ・メモリと、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、それに関連する対応する構成要素ノルム、および対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に同時に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
（８）ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合された改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素または前記ｐ個の構成要素ノルムのいずれかを保管することができ、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用することができる、メモリと、
・前記プロトタイプ構成要素を距離評価手段に適用する（標準モード）か、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する（Ｃ＿ｎｏｒｍモード）かのいずれかを行うように適合された手段と、
・いずれかのモードを選択するように適合された手段と、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、それに関連する対応する構成要素ノルム、および対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に同時に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
（９）ｐ個の構成要素を有する入力パターンと改良された人工ニューラル・ネットワーク（ＡＮＮ）のニューロンに保管されたプロトタイプとの間の最終距離を評価する処理で前記入力パターンの各構成要素に構成要素ノルム（Ｃ＿ｎｏｒｍ）を関連付けるように適合され、ｍ個の異なるグローバル・コンテキストに対応するニューロンのｍ個のグループに区分されるように適合された、改良されたＡＮＮであって、
・入力パターン構成要素を各ニューロンに適用するデータ・イン伝送手段と、
・複数のｎ個のニューロンであって、各ニューロンが、
・プロトタイプの前記ｐ個の構成要素または前記ｐ個の構成要素ノルムのいずれかを保管することができ、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用することができる、メモリと、
・前記プロトタイプ構成要素を距離評価手段に適用する（標準モード）か、前記ｐ個の構成要素ノルムをＣ＿ｎｏｒｍバスを介して各ニューロンに適用する（Ｃ＿ｎｏｒｍモード）かのいずれかを行うように適合された手段と、
・いずれかのモードを選択するように適合された手段と、
・前記プロトタイプ・メモリ、前記グローバル記憶手段、および前記データ・イン伝送手段に結合された距離評価手段と、
・ローカル・コンテキストを保管する手段と、そのローカル・コンテキストが前記グローバル・コンテキストに一致するニューロンだけを活動化し、それ以外のニューロンを使用禁止にするために、そこに保管されたローカル・コンテキストとの比較を行うように適合された、前記グローバル・コンテキストに応答する手段と
を含む、複数のｎ個のニューロンと、
・前記入力パターン構成要素、それに関連する対応する構成要素ノルム、および対応する保管されたプロトタイプ構成要素を各ニューロン内の前記距離評価手段に同時に適用するアドレッシング手段と、
・前記距離評価手段に距離ノルム（Ｄ＿ｎｏｒｍ）を適用する手段と
を含み、前記距離評価手段が、前記入力パターンおよび前記保管されたプロトタイプの前記対応する構成要素の間の基本（または部分的）距離計算を、それに関連する前記対応する構成要素ノルムを使用して実行し、距離ノルム（Ｄ＿ｎｏｒｍ）を使用して前記最終距離を判定するために距離評価処理で前記基本計算を組み合わせるように適合される、改良されたＡＮＮ。
（１０）距離ノルムを使用して、外部メモリ（ホスト）に保管された入力パターン（ｐ個の構成要素を有する）と人工ニューラル・ネットワーク（ＡＮＮ）のｎ個のニューロンに保管されたプロトタイプとの間の最終距離の評価の処理で、構成要素ノルムを、前記入力パターンの各構成要素およびすべての前記プロトタイプの対応する構成要素に関連付ける方法であって、
ａ）各ニューロンの前記最終距離を０にリセットするステップと、
ｂ）構成要素に対応するアドレスを指すステップと、
ｃ）そのアドレスに対応する入力パターン構成要素を各ニューロンに提示するステップと、
ｄ）そのアドレスに対応する構成要素ノルムを得るステップと、
ｅ）ニューロンのそれぞれについて前記構成要素ノルムを使用して基本距離を計算するステップと、
ｆ）ニューロンのそれぞれについて前記距離ノルムを使用して前記基本距離を更新するステップと、
ｇ）ｐ個の構成要素のすべてが処理されるまでステップｂ）ないしｆ）を繰り返すステップであって、これによって、ニューロンのそれぞれの前記最終距離の評価を可能にするステップと
を含む方法。
（１１）距離ノルムを使用して、外部メモリ（ホスト）に保管された入力パターン（ｐ個の構成要素を有する）の各構成要素と、それぞれが決定されたコンテキストを有する複数のｍ個のグループに分割された人工ニューラル・ネットワーク（ＡＮＮ）のｎ個のニューロンに保管されたプロトタイプの少なくとも１つのグループの対応する構成要素とに、前記入力パターンと前記少なくとも１つのグループの各ニューロンの前記プロトタイプとの間の最終距離の評価の処理で、構成要素ノルムを関連付ける方法であって、
ａ）コンテキスト値を設定するステップと、
ｂ）このコンテキスト値を有するニューロンのそれぞれの前記最終距離を０にリセットするステップと、
ｃ）構成要素に対応するアドレスを指すステップと、
ｄ）このコンテキスト値を有するニューロンのそれぞれに、そのアドレスに対応する前記入力パターン構成要素を提示するステップと、
ｅ）そのアドレスに対応する前記構成要素ノルムを得るステップと、
ｆ）このコンテキスト値を有する前記ニューロンのそれぞれについて、前記構成要素ノルムを使用して前記基本距離を計算するステップと、
ｇ）このコンテキスト値を有する前記ニューロンのそれぞれについて、前記距離ノルムを使用して前記基本距離を更新するステップと、
ｈ）ｐ個の構成要素のすべてが処理されるまでステップｃ）ないしｇ）を繰り返すステップであって、これによって、このコンテキスト値を有する前記ニューロンのそれぞれの前記最終距離の前記評価を可能にするステップと
を含む方法。
【図面の簡単な説明】
【図１】本発明による、入力パターン／保管されたプロトタイプの構成要素に関連する構成要素ノルムの組を記憶するグローバル・メモリと、複数のニューロンとを含む改良された人工ニューラル・ネットワーク（ＡＮＮ）のブロック・アーキテクチャを概略的に示す図である。
【図２】本発明の方法の主要なステップを要約した流れ図である。
【図３】グローバル・メモリの内部編成とニューロンの本質的な要素を示すために１つのニューロンに限定した、図１のブロック・アーキテクチャを示す図である。
【図４】おそらくは入力パターン／保管されたプロトタイプの構成要素ごとに異なるノルムを用いる、入力パターンと保管されたプロトタイプの間の最終距離を計算するための距離評価処理でのアドレス・バスの役割を指摘する、図１の改良されたＡＮＮの動作を示す図である。
【図５】おそらくは入力パターン／保管されたプロトタイプの構成要素ごとに異なるノルムを用いる、入力パターンと保管されたプロトタイプの間の最終距離を計算するための距離評価処理でのアドレス・バスの役割を指摘する、図１の改良されたＡＮＮの動作を示す図である。
【図６】対応する数のグローバル・メモリを実装することによって複数のコンテキストを使用するように適合された、図１の改良されたＡＮＮのアーキテクチャを示す図である。
【図７】やはり本発明による、グローバル・メモリ機能を内部的に満たす能力を追加す
るために変更された、図３のニューロンを示す図である。
【図８】改良されたＡＮＮがシリコン・チップに集積される時に消費されるシリコン面
積を最適化するために図７のニューロンを組み込まれた、図１の改良されたＡＮ
Ｎのブロック・アーキテクチャを示す図である。
【図９】図８の改良されたＡＮＮの動作、特にコンテキストが実施されない時の機能フ
ラグ・レジスタの役割を示す図である。
【図１０】図８の改良されたＡＮＮの動作、特に１つのコンテキストが実施される時の機
能フラグ・レジスタの役割を示す図である。
【符号の説明】
１０  改良された人工ニューラル・ネットワーク（ＡＮＮ）
１１  ＡＮＮ
１２  グローバル・メモリ
１３  データ・イン・バス
１４−１  ニューロン
１４−ｎ  ニューロン
１５−１  距離評価機構
１６−１  プロトタイプ・メモリ
１６−ｎ  プロトタイプ・メモリ
１７−１  Ｌ＿Ｃ＿ｎｏｒｍレジスタ
１７−ｎ  Ｌ＿Ｃ＿ｎｏｒｍレジスタ
１８−１  Ｌ＿Ｄ＿ｎｏｒｍレジスタ
１８−ｎ  Ｌ＿Ｄ＿ｎｏｒｍレジスタ
１９  Ｇ＿Ｃ＿ｎｏｒｍバス
２０  アドレス・バス
【図１】
0003759002.tif 000002
【図２】
0003759002.tif 000003
【図３】
0003759002.tif 000004
【図４】
0003759002.tif 000005
【図５】
0003759002.tif 000006
【図６】
0003759002.tif 000007
【図７】
0003759002.tif 000008
【図８】
0003759002.tif 000009
【図９】
0003759002.tif 000010
【図１０】
0003759002.tif 000011