(57)【要約】異なるタイプ（カテゴリ、コンテキスト、など）のグローバル・リソースを、付加されたアドレスと共に単一のデータ・バス上でセレクタを介して伝送するための手段と、ホスト・コンピュータ／ユーザの監視の下で学習段階および認識段階時にニューロンの適切なオペレーションを保証するための制御論理手段とを具備する、人工ニューラル・ネットワーク（ＡＮＮ）について記載されている。さらに、各ニューロンにそのニューロンがフリーであるか否かを示すための手段が提供された複数のニューロンと、前記各タイプのグローバル・リソースを格納するための専用レジスタと、グローバル・リソースが修正されるとすぐにグローバル・リソースをすべてのフリー・ニューロンの対応する専用レジスタにローカル・リソースとして格納するように前記アドレスに応答する、専用バスを介して前記制御論理手段に接続された事前荷電手段とを具備する。その結果、グローバル・リソースと、すべてのフリー・ニューロンの専用レジスタに格納された対応するローカル・リソースとの間に正確かつ永続的な対応関係が存在することになる。【選択図】図２
2004531811.tif 000002
【特許請求の範囲】
【請求項１】
ホスト・コンピュータ／ユーザの監視の下で、セレクタを介して単一のデータ・バス上でそれぞれのタイプを識別するアドレスと共に異なるタイプのグローバル・データを伝送するための手段と、
前記単一のデータ・バスに並列に接続された複数のニューロンとを具備する人工ニューラル・ネットワーク（ＡＮＮ）であって、各ニューロンにそのニューロンがフリーであるか否かを示すための手段が提供され、さらに前記ＡＮＮが、単一のデータ・バス上にある前記グローバル・データを格納するためのメモリ手段と、グローバル・データが修正されるとすぐにこれをすべてのフリー・ニューロンの前記メモリ手段の対応する専用部分にローカル・データとして格納できるようにする事前荷電手段と、
依然として前記ホスト・コンピュータ／ユーザの監視の下で学習段階および認識段階時にニューロンの適切なオペレーションを保証するために、各タイプのグローバル・データに関する識別子（前記アドレスと同一であるかまたはこれに関係する）を前記事前荷電手段に伝送するために専用バスを介して各ニューロンに接続された制御論理手段とを含み、
その結果、グローバル・データとすべてのフリー・ニューロンのメモリ手段に格納された対応するローカル・データとの間に正確かつ永続的な対応関係が存在することになる、ＡＮＮ。
【請求項２】
前記事前荷電手段が、前記識別子を復号し、前記メモリ手段に印加される少なくとも１つの許可信号を生成するために、前記制御論理手段に接続された復号器手段を具備する、請求項１に記載のＡＮＮ。
【請求項３】
各タイプのグローバル・データに関して、前記復号器手段が、復号済み信号を生成する復号器回路と、前記復号済み信号とニューロンがフリーであるか否かを示す信号とを受信する論理ゲートからなり、論理ゲートから出力された信号は、ニューロンがフリーであり識別子が前記グローバル・データのタイプと一致する場合にのみ、メモリ手段がグローバル・データをその対応する専用部分に格納できるようにするものである、請求項２に記載のＡＮＮ。
【請求項４】
前記復号器手段が、各タイプのデータに特有の復号済み信号を生成する復号器回路と、対応する数の論理ゲートからなり、それぞれが前記特有の復号済み信号とニューロンがフリーか否かを示す信号とを受信し、論理ゲートから出力される信号は、ニューロンがフリーであり識別子がグローバル・データのタイプと一致する場合にのみ、それぞれが各タイプのグローバル・データをその対応する専用部分に格納できるようにするものである、請求項２に記載のＡＮＮ。
【請求項５】
前記グローバル・データがコンテキストを含み、メモリ手段の対応する専用部分がローカル・コンテキスト・レジスタである、請求項１に記載のＡＮＮ。
【請求項６】
ニューロンがフリーでない場合にグローバル・コンテキストが修正されるとすぐに、ローカル・コンテキスト・レジスタのコンテンツとグローバル・コンテキストとを比較するように適合された比較手段をさらに含む、請求項５に記載のＡＮＮ。
【請求項７】
前記グローバル・データが、入力パターン構成要素と、カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、およびコンテキストなどのグローバル・リソースとを含む、請求項１に記載のＡＮＮ。
【請求項８】
ニューロンがフリーであるか否かを示すための前記手段が、前および次のニューロンのデイジー・チェーン回路と直列に接続されたデイジー・チェーン回路からなる、請求項１に記載のＡＮＮ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人工ニューラル・ネットワーク（ＡＮＮ）に関し、より具体的には、学習および認識（または分類）段階時にＡＮＮのすべてのフリー・ニューロンの対応するレジスタにおいて、カテゴリ、グローバル・コンテキスト／ノーム、ＭａｘＩＦ／ＭｉｎＩＦなどのグローバル・リソースを事前荷電するための回路に関する。さらに本発明は、状況に応じて修正された改良型ニューロンおよびその結果生じるＡＮＮも包含する。
【背景技術】
【０００２】
例示のために、技術文献ではＺＩＳＣニューロンと呼ばれる特定のニューロンで構築された従来のＡＮＮについて考察してみる（ＺＩＳＣはＩＢＭ  Ｃｏｒｐの登録商標である）。米国特許第５６２１８６３号はＺＩＳＣニューロン・アーキテクチャについて記載しており、米国特許第５７１７８３２号は、より詳細には、シリコン・チップに集積されたＺＩＳＣ  ＡＮＮのアーキテクチャを対象としている。どちらの米国特許もＩＢＭ  Ｃｏｒｐに譲渡されている。本質的には、シリコン・チップに集積されたＺＩＳＣ  ＡＮＮは、ホスト・コンピュータ（または制御装置）またはユーザから入力パターン構成要素およびグローバル・リソースを受信するための手段およびそれらを格納するための手段、適切なＡＮＮオペレーションに必要な異なる処理ステップを適時に実行するためにホスト・コンピュータ／ユーザに結合された制御論理手段、複数のＺＩＳＣニューロン、ならびに最終的には、前記手段を前記複数のうちのそれぞれのニューロンに接続するためおよびそれらの間のニューロンを相互接続するためのいくつかのバスを含む。グローバル・リソースにより、カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、およびコンテキスト／ノームという、前述の米国特許で採用された用語を使用することが意図されているが、他のパラメータも同様に使用可能である。ＭａｘＩＦおよびＭｉｎＩＦは、それぞれＡＩＦ（実影響領域／Ａｃｔｕａｌ  Ｉｎｆｌｕｅｎｃｅ  Ｆｉｅｌｄ）の最大値および最小値であることに留意されたい。次に、各ＺＩＳＣニューロンが、学習段階および認識段階の両方で必要なプロトタイプとして入力パターンの構成要素を格納するための重みメモリ（ＲＡＭ）、プロトタイプに割り当てられたカテゴリを格納するカテゴリ・レジスタ、グローバル・コンテキスト／ノームを格納するためのコンテキスト／ノーム・レジスタ、ＡＩＦ削減プロセスの結果としてＭａｘＩＦとＭｉｎＩＦとの間の任意の中間値を格納するためのＡＩＦレジスタ、ならびに最後は距離レジスタを含む。前述の前記グローバル・リソースは、ＺＩＳＣニューロン内に格納されるとローカル・リソースになる。
【０００３】
初期設定時に学習済みのＺＩＳＣニューロンはなく、すべてが「フリー」である。ニューロンが入力パターンを学習するとすぐに、すなわち、このニューロンに付加されたプロトタイプの構成要素を表すために入力パターン構成要素が重みメモリに格納されるとすぐに、もはやフリーではなくなり、「使用中」ということになる。ＡＮＮに提示された入力パターンをＡＮＮがプロトタイプとして格納することを決定すると、これをロードするのに必要なクロック・サイクル数を減らすために、この入力パターンは、入力パターン提示中に第１のフリー・ニューロン内で事前荷電される。この重要な特徴を実施するために、ＩＢＭ  Ｃｏｒｐに譲渡された米国特許第５７０１３９７号では「事前荷電回路」について詳細に記載されている。この事前荷電回路は、「デイジー・チェーン回路」と呼ばれる他の不可欠な回路と緊密に動作するが、これについてはＩＢＭ  Ｃｏｒｐに譲渡された米国特許第５７１０８６９号で詳細に記載されている。デイジー・チェーン回路は各ニューロンの状態、すなわち第１のフリーまたは使用中を示すものであり、その役割は、並列に動作しているニューロンのチェーンとしてＡＮＮを構造化することである。
【０００４】
標準ＺＩＳＣニューロンで構築されたＡＮＮでは、入力パターン構成要素のみが学習段階で専用バスを介して第１のフリー（または「学習準備のできた」）ニューロンの重みメモリ内で事前荷電される。入力パターンが学習されると、この第１のフリー・ニューロンが使用中（またはコミット済み）として宣言され、前述のローカル・リソースを作成するために、このニューロン内の前記専用レジスタにグローバル・リソース（カテゴリ、グローバル・コンテキストなど）がロードされる。実際のところ、カテゴリ・レジスタには、Ｃａｔバスを介してホスト・コンピュータ／ユーザによって発信されたカテゴリがロードされる。コンテキスト／ノーム・レジスタおよびＡＩＦレジスタは、それぞれコンテキスト／ノーム・バスおよびＭａｘＩＦ／ＭｉｎＩＦバスという２本のバスを介して更新される。ＡＩＦレジスタは、ＭａｘＩＦ／ＭｉｎＩＦバスを介してロードされる。距離は認識段階でのみ評価されるため、学習段階では距離レジスタにロードされないことに留意されたい。
【０００５】
ここで読者が理解しやすくするために、入力パターン構成要素およびグローバル・リソースを、前述の事前荷電およびデイジー・チェーン機能を含む米国特許第５６２１８６３号で開示されたような標準ＺＩＳＣニューロンに印加するための、ＺＩＳＣ  ＡＮＮのアーキテクチャおよび基本データ伝送原理が略図で示された図１を参照しながら、上記の解説について説明する。
【０００６】
次に図１を見ると、複数のＺＩＳＣニューロン１１−１から１１−ｎと、すべてのニューロンに共通のいくつかのグローバル・リソース、すなわちＡＮＮのすべてのニューロンに同時に印加されなければならないデータとを含む、参照番号１０の簡略化されたＡＮＮのアーキテクチャが示されている。グローバル・リソースは、レジスタ（たとえばコンテキスト・レジスタ）に格納されるか、またはニューロンに伝送される前にホスト・コンピュータ／ユーザによって送信される（たとえばカテゴリ）。本明細書で言及する各ニューロンに収容されたレジスタは、簡略化するために図１には示されていない。たとえば１１−１などの各標準ＺＩＳＣニューロンは、上記で示したようにその状態を見分けるために、たとえば１２−１のデイジー・チェーン回路を組み込む。１３から１７のラベルが付けられた５本のデータ・バスを使用して、異なるタイプのデータが前記複数のニューロンに搬送される。Ｃｏｍｐバス１３は、第１のフリー・ニューロンで入力パターン構成要素を事前荷電するために、それらを移送する。入力パターンがプロトタイプとして第１のフリー・ニューロンに格納されるとすぐに、Ｃａｔバス１４を介してこれにカテゴリが割り当てられる。学習時に各ニューロンで必要なＭａｘＩＦは、ＭａｘＩＦ／ＭｉｎＩＦバス１５を介してＡＩＦレジスタに格納される。ほとんどの場合に必要でないＭｉｎＩＦは、マルチプレクサ１８のために必要な場合は必ず、制御論理回路１９によって生成される制御信号（図示せず）に応じて、各ニューロンで使用可能になる。同様に、学習または認識段階で任意の基本オペレーションを実行するために、各ニューロンは、通常はグローバル・コンテキスト／ノーム・レジスタに格納されるグローバル・コンテキスト／ノーム値（この値はいつでも変更可能である）を知っていなければならない。その目的でコンテキスト／ノーム・バス１６は、この共通の値をそのローカル記憶のためにすべてのニューロン１１−１から１１−ｎに印加する際に使用されるが、グローバル・コンテキスト値とローカル・コンテキスト値とを比較する際に比較の目的でも使用される。グローバル・コンテキストがローカル・コンテキストと一致すれば、そのニューロンは「選択済み」と呼ばれ、すなわち、入力パターンの認識に参加することができる。最後に、Ａｄｄ／Ｃｔｌバス１７とラベル付けされた５番目のバスは、制御論理回路１９を前記複数のニューロンそれぞれと相互接続させる。このバスは、ホスト・コンピュータ／ユーザの監視の下、必要なアドレスおよび制御信号を移送する。さらに図１について考察すると、任意のデイジー・チェーン回路１２に関係するいくつかの信号が略図で示されている。ＤＣＩはチェーン内での前のニューロンの状態を表し、ＤＣＯは考慮の対象となるニューロンの状態を表す。信号ＣＯ（コミット済みを表す）およびＲＳ（格納準備済みを表す）は、考慮の対象となるニューロンが使用中であるかどうか（たとえばＣＯ＝１およびＲＳ＝０）、または第１のフリー・ニューロンであるかどうか（ＣＯ＝０およびＲＳ＝１）を示すビットである。図１に示された様々な要素を指定するために使用される表記は、前述の米国特許で使用される表記とほぼ同じであるか、またはそれらから容易に導出することができることに留意されたい。
【０００７】
図１に示されたＡＮＮアーキテクチャで明らかなように、４本のバス１３から１６は、ＡＮＮが入力パターンの学習を決定するとすぐに、入力パターン構成要素（第１のフリー・ニューロンで事前荷電するため）およびグローバル・リソース（カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、およびコンテキスト／ノーム）を、依然として第１のフリー・ニューロンの対応するローカル・レジスタにロードするために移送するのに必要である。図１の従来のアーキテクチャ１０は、いくつかの点で十分でない。
【０００８】
当分野の技術者であれば周知のように、ＺＩＳＣ  ＡＮＮは大量の標準ＺＩＳＣニューロン（１０００またはそれ以上）を含むことができるため、バス１３〜１７が長くなり、その結果、相互接続ネットワークの複雑さが劇的に増す可能性がある。次に、必要なレベルの高い電流を供給するために、数個の非常に大きなドライバ（または多数の小型ドライバ）のいずれかを設計する必要がある。こうした大型のドライバをシリコン・チップに集積するためには余地が必要である上に、シリコン・チップ表面に重要な電線網を作り上げるには無視できない障害のリスクもある。
【０００９】
したがって、シリコン・チップ表面で所望の接続／相互接続を実行するために使用されるバスの数を減らすことは、現在ではＡＮＮ性能を向上させるための主要な要素である。可能であればいつでも（または少なくとも限定数のバス上では）単一のバス上で直列にデータを伝送するように構成された解決策は、伝送遅延に関して満足のいくものではない。前記グローバル・リソースの値は、学習および認識段階で変更が生じることが多いため、ニューロン内のローカル・レジスタを何度も変更する必要がある。その結果、バスおよび制御論理回路が非常にビジーとなり、制御論理回路１９で必要なクロック・サイクルの数が増えることから、ＡＮＮはグローバル・リソースのアップデート・タスクを実行するために多くの時間を費やすことになる。標準ＺＩＳＣニューロンを含む図１に示された従来のＡＮＮアーキテクチャのインスタント例では、入力パターン構成要素およびグローバル・リソースを表すデータをＡＮＮのすべてのニューロンに搬送するように、回路設計者によって妥協策が保持された。この特定のケースでは、一部のデータが直列に伝送され（たとえば、入力パターン構成要素）、一部の他のデータが並列に伝送される（たとえば、グローバル・コンテキスト）。
【００１０】
より一般的には、並列様コンピューティング（ＺＩＳＣ  ＡＮＮなど）に基づくアーキテクチャおよび超並列コンピュータでは、多数のニューロンまたは基本プロセッサが同時処理のために並列に接続されるため、高速の計算が得られる。その結果、現在では、高速のデータ処理にとって並列様または並列のアーキテクチャがかなりの評価を得ている。こうした並列様または並列のアーキテクチャでは、ニューロンまたは基本プロセッサを相互に接続するか、またはそれらすべてに共通のグローバル・リソースに接続しなければならない。したがって、バスの数および相互接続ネットワークの複雑さがかなり増加する可能性がある。
【特許文献１】
米国特許第５６２１８６３号
【特許文献２】
米国特許第５７１７８３２号
【特許文献３】
米国特許第５７０１３９７号
【特許文献４】
米国特許第５７１０８６９号
【発明の開示】
【発明が解決しようとする課題】
【００１１】
そこで、並列様または並列のシステム・アーキテクチャの性能を著しく向上させるために、バスの数、ネットワーク接続／相互接続の複雑さ、および処理時間の点から、各ニューロンまたは基本プロセッサを最適化することが大いに望まれる。
【課題を解決するための手段】
【００１２】
したがって本発明の主な目的は、学習および認識段階で、ＡＮＮのすべてのフリー・ニューロンの専用レジスタにおいて、異なるグローバル・リソース（カテゴリ、コンテキスト、ＭａｘＩＦ／ＭｉｎＩＦなど）を事前荷電するための回路を提供することである。
【００１３】
本発明の他の目的は、学習および認識段階で、ＡＮＮのすべてのフリー・ニューロンの専用レジスタにおいて、制御論理回路監視の下で単一のバスおよびセレクタを介して、異なるグローバル・リソースを事前荷電するための回路を提供することである。
【００１４】
本発明の他の目的は、学習および認識段階で、ＡＮＮのすべてのフリー・ニューロンの専用レジスタにおいて、制御論理回路がローカル・リソースを更新するのに必要なクロック・サイクル数を増加させることなくバス数の大幅な削減を可能にする、異なるグローバル・リソースを事前荷電するための回路を提供することである。
【００１５】
本発明の他の目的は、学習および認識段階で、ＡＮＮのすべてのフリー・ニューロンの専用レジスタにおいて、必要な基本論理回路／ゲートの数が最も少ない、異なるグローバル・リソースを事前荷電するための回路を提供することである。
【００１６】
本発明の他の目的は、学習および認識段階で、ＡＮＮのすべてのフリー・ニューロンの専用レジスタにおいて、どのニューロンがフリーであるかを示すことによって異なるグローバル・リソースを事前荷電するための前記回路で働くように適合された、改良型デイジー・チェーン回路を提供することである。
【００１７】
本発明の他の目的は、単一バスを介して異なるグローバル・リソースを格納するように適合された改良型ＺＩＳＣニューロンのアーキテクチャを、対応するローカル・リソースおよび複数のこうした改良型ＺＩＳＣニューロンを組み込んだＡＮＮのアーキテクチャとして提供することである。
【００１８】
本発明により、異なるグローバル・リソースとフリーなすべてのニューロン内に配置された専用レジスタに格納された対応するローカル・リソースとの間で、正確かつ永続的な対応関係を維持するための方法および回路が記載されている。グローバル・リソース（カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、コンテキスト／ノームなど）は、ＡＮＮの制御論理回路の監視下にある、Ｄａｔａバスと呼ばれるすべてのグローバル・リソースに共通の単一バス上で、セレクタを介して印加される。次に、Ｄａｔａバスは、すべてのニューロン内の前記専用レジスタに並列に接続される。各専用レジスタは、それ独自の書込み許可（ＷＥ／Ｗｒｉｔｅ  Ｅｎａｂｌｅ）信号によって制御される。ＷＥ信号は、Ａｄｄ／Ｃｔｌバスと呼ばれるアドレス／制御バスを介して前記制御論理回路に接続されたアドレス復号器と、第１の入力上の前記アドレス復号器の出力および他の入力上のデイジー・チェーン回路によって生成されたＦＲＥＥ信号とを受信するＡＮＤゲートとを具備する、事前荷電回路によって生成される。ＦＲＥＥ信号の役割は、ニューロンがフリーであるか否かを示すことである。
【００１９】
グローバル・リソースがホスト・コンピュータ／ユーザによって更新されると、識別子、典型的にはアドレスが、制御論理回路に送信される。セレクタは更新された値をＤａｔａバス上に印加し、それと同時に制御論理は、どのグローバル・リソースがすべてのニューロンに送信されるかを識別するために、このアドレス（またはそれに関係するアドレス）をＡｄｄ／Ｃｔｌバス上に印加する。ＷＥ信号は、すべてのフリー・ニューロンの対応する専用レジスタのみが、前記更新されたグローバル・リソースをローカル・リソースとしてそこにロードできるようにするものである。
【００２０】
本発明の方法および回路は、グローバル・リソースと対応するローカル・リソースとの間で正確かつ永続的な対応関係を維持することができるようにするものであるため、グローバル・リソースがすでに事前にロードされており、もはやニューロンを学習するたびにグローバル・リソースをロードする必要はない。したがって提案された解決策は、クロック・サイクル数を増やすことなく入力バスの数を削減できるものである（以前は標準ＺＩＳＣ  ＡＮＮで５本のバスが使用されていたのに代わって、このケースでは２本しか必要としない）。
【００２１】
本発明の特徴と考えられる新しい機能については、添付の特許請求の範囲に記載されている。ただし本発明それ自体、ならびに本発明の他の目的および利点は、添付の図面と共に読まれる例示された好ましい実施形態の以下の詳細な説明を参照することで、最も良く理解することができる。
【発明を実施するための最良の形態】
【００２２】
本発明の基底にある原理によれば、フリーなＡＮＮのすべてのニューロン内では、異なるグローバル・リソース（カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、およびコンテキスト／ノーム）とそれぞれのローカル・リソースとの間の正確かつ永続的な対応関係が連続して維持される。そのために、ここでは改良型ＺＩＳＣニューロンと呼ばれる革新的な回路が、各標準ＺＩＳＣニューロンに配置されている。学習または認識段階でグローバル・リソースが更新されると、前記それぞれのリソースを入力信号として受信するセレクタは、前記更新済みグローバル・リソースを、制御論理回路が監視する中、すべての前記グローバル・リソースおよび入力パターン構成要素を移送するように適合された単一のＤａｔａバス上に印加する。制御論理回路は、ローカル記憶用のＡＮＮのすべてのフリー・ニューロンの対応する専用レジスタ内で更新されたグローバル・リソースを事前荷電するために、特定のアドレスをＡｄｄ／Ｃｔｌバス１７上に印加する。このアドレスはＡｄｄｒｅｓｓと呼ばれ、グローバル・リソースを識別するためにホスト・コンピュータ／ユーザによって発信されるＡＤＤＲＥＳＳと呼ばれるアドレスと同一かまたはこれに関係するものである。各ニューロンは革新的な事前荷電回路を含み、その主な要素は、特定のアドレス復号器および、ＡＮＮ内のすべてのフリー・ニューロンを識別するために信号を生成するように適合された新規のデイジー・チェーン回路である。各標準ＺＩＳＣニューロンにはアドレス復号器がすでに存在するが、これは異なる目的のため、たとえば決められたニューロンにアクセスしなければならないときにローカルＡＩＦレジスタをアドレス指定するために実施されていることに留意されたい。したがって各改良型ＺＩＳＣニューロン内に配置された本発明の革新的な事前荷電およびデイジー・チェーン回路は、グローバル・リソースが更新されるとすぐに、すべてのフリー・ニューロンにこれをロードすることができる。その結果、グローバル・リソースはいつでも修正可能であるが、ＡＮＮのすべてのフリー・ニューロンについて、各グローバル・リソースと専用レジスタに格納されたその対応するローカル・リソースとの間に永続的かつ正確な対応関係が存在することになる。第１のフリーの改良型ＺＩＳＣニューロン内にある入力パターン構成要素の事前荷電に関する限り、それらを移送するための特定のＣｏｍｐバスがもはやないことを除けば、標準ＺＩＳＣニューロンに関する大幅な変更はないが、代わりに前記単一のＤａｔａバスが使用されることになる。
【００２３】
図２は、この新しい方法について示したものである。図２を見ると、今度は参照番号１１'−１から１１'−nが付けられた改良型ＺＩＳＣニューロンで構築されたＡＮＮの、参照番号２０が付けられたアーキテクチャが示されている。図１に示されたＡＮＮアーキテクチャ１０と比較すると、データの配布にいくつかの重要な変更がある。図２で明らかなように、各グローバル・リソース（カテゴリ、ＭａｘＩＦ／ＭｉｎＩＦ、コンテキスト／ノーム）および入力パターン構成要は、参照番号１８'が付けられたセレクタに印加される。グローバル・リソースが更新されるとすぐに、更新されたグローバル・リソースは、制御論理回路１９の監視の下、Ｄａｔａバスとラベル表示され参照番号１３'が付けられた共通バス上で、セレクタ１８'を介して送信される。各ニューロンたとえば１１'−１に、ニューロンがフリーであるか否かを示すＦＲＥＥ信号を生成することのできる革新的なデイジー・チェーン回路たとえば１２'−１と、Ｄａｔａバス１３'上に存在するグローバル・リソースのロードが可能なように適合された事前荷電回路たとえば２１−１が提供される。フリーなすべての改良型ＺＩＳＣニューロンの対応するレジスタへの前記グローバル・リソースの前記ロードを実行するために、適切なＡｄｄｒｅｓｓをＡｄｄ／Ｃｔｌバス１７上に印加することは、制御論理回路１９の役割であり、ここでグローバル・リソースはローカル・リソースになる。図１のＡＮＮアーキテクチャ１０では、ホスト・コンピュータによって送信された決定されたグローバル・リソース、たとえばＭａｘＩＦに関するＡＤＤＲＥＳＳのみが、このグローバル・リソースを、その対応するグローバル・レジスタ（あれば）、たとえばＭａｘＩＦグローバル・レジスタにロードするために使用された。しかしここでは、このＡＤＤＲＥＳＳは制御論理回路１９によって使用されることになり、次にこの回路が、このグローバル・リソースを、フリーのＡＮＮのすべてのニューロンのＡＩＦレジスタにロードするために使用される、そこから導出されたＡｄｄｒｅｓｓと呼ばれるアドレスを発信する。言い換えれば、このＡｄｄｒｅｓｓは、Ｄａｔａバス１３'上に存在するグローバル・リソースの性質を識別できるようにするものである（すべてのグローバル・リソースを移送するように設計されていることを想起されたい）。
【００２４】
図３、４、および５は、それぞれリセット後、入力パターン学習後、およびＭａｘＩＦ更新オペレーション後の、グローバル・リソース、すなわち第１の４つの改良型ＺＩＳＣニューロン１１'−１から１１'−４に関する（簡略化するため）ＭａｘＩＦおよびグローバル・コンテキストを含む、２つのグローバル・レジスタのコンテンツを示す図である。
【００２５】
次に図３を見ると、リセット・オペレーション後のＡＮＮ  ２０の構成の一部が示されている。４つのニューロンがフリーであることを示すために、ＦＲＥＥ信号は高位（ＦＲＥＥ＝１）である。グローバル・リソース・レジスタは省略時値に設定されており、たとえば、ＭａｘＩＦは１０００に設定され、グローバル・コンテキストは０に設定されている。リセット・オペレーションは、Ｄａｔａバス１３'を使用して、前記４つのフリー・ニューロンの対応するローカル・レジスタ、すなわち、ＡＩＦレジスタおよび以下では簡略化するためにＣＸＴレジスタと呼ぶコンテキスト／ノーム・レジスタに、前記値をロードするためのいくつかのステップを有する。
【００２６】
図４は、学習段階後の図３の状況を示す図であるため、いくつかのニューロン、この場合は２つのニューロンが使用中になっている。これら２つの使用中ニューロン１１'−１および１１'−２ではＦＲＥＥ信号が０に設定され、２つのフリー・ニューロン１１'―３および１１'−４ではＦＲＥＥ信号は１に設定されたままである。そのＡＩＦが削減プロセス中（内部的）に８００に減じられたことが想定されるニューロン１１'−２を除き、すべてのニューロンのＡＩＦは１０００に設定されている。リセット・オペレーション後にはＡＩＦおよびグローバル・コンテキスト値がすでにロードされているので、学習段階ではこれらの値を伝送するためのクロック・サイクルは不要であることに留意されたい。
【００２７】
図５は、ＭａｘＩＦ値を５０に更新した後の図４の構成を示す図である。２つのフリー・ニューロン１１'−３および１１'−４内のローカルＡＩＦレジスタのコンテンツが更新される。１０００から５０へのこの変更はグローバル・リソースの更新オペレーション中に生じたものであるため、特別な時間は必要としなかった。
【００２８】
ここで必然的に第１のフリーの（たとえば１１'―３）新しいニューロンが使用中になる場合、ローカル・コンテキスト（ＣＸＴ）レジスタが０に設定され、ＡＩＦレジスタが５０に設定される（その間にそれ以上の削減が発生しなかった場合）。
【００２９】
図６は、ＭａｘＩＦ値の更新に関する、参照番号２２が付けられた流れ図を示す図である。この流れ図は、すべてのフリー・ニューロン内のＭａｘＩＦ値（グローバル・リソース）とＡＩＦレジスタのコンテンツ（ローカル・リソース）との間で正確な対応関係（ミラー効果）を維持する方法を説明するものである。最初にブロック２３で、各更新オペレーションについて、（前述のようにホスト・コンピュータによって各グローバル・リソースに割り当てられた）ＡＤＤＲＥＳＳに基づき、グローバル・リソースがＭａｘＩＦであるかどうかを判別するためのテストが実行される。ＭａｘＩＦである場合、このＭａｘＩＦ値はＭａｘＩＦレジスタにグローバル・リソースとして格納され（ブロック２４）、ＡＮＮのすべてのニューロンが単一のバス、Ｄａｔａバス１３'（本発明によればすべてのグローバル・リソースを移送する）を介してＭａｘＩＦ値を使用できるようになり、Ａｄｄ／Ｃｔｌバス１７上にＡｄｄｒｅｓｓが印加される（ブロック２５）。次に、各ニューロンに対して以下のプロセスが開始される。各ニューロンでは、ブロック２６でＡｄｄｒｅｓｓがテストされ、このＡｄｄｒｅｓｓがＭａｘＩＦの更新と一致しない場合は、ローカル・リソースのコンテンツ（ＡＩＦレジスタ）も更新する必要がない。これに対して、このアドレスがＭａｘＩＦの更新に対応する場合、ニューロンがフリーの場合にのみグローバル・リソースとローカル・リソースとの間で所望のミラー効果を有するように、ローカル値を更新しなければならない。したがって、ブロック２７でニューロンの状態がテストされ、フリーであることがわかれば、ブロック２８でＭａｘＩＦを使用してＡＩＦレジスタのコンテンツが更新される。
【００３０】
図７は、グローバル・コンテキストの更新に関するプロセス流れ図２９を示す図である。同様に、この流れ図も、すべてのフリー・ニューロン内のグローバル・コンテキスト・リソースとローカル・コンテキスト・レジスタのコンテンツとの間で、正確な対応関係（ミラー効果）を維持するための方法を説明するものである。最初にブロック３０で、各更新オペレーションについて、ＡＤＤＲＥＳＳに基づき、グローバル・リソースがグローバル・コンテキストであるかどうかを判別するためのテストが実行される。グローバル・コンテキストである場合、このグローバル・コンテキスト値はグローバル・リソースとしてグローバル・コンテキスト・レジスタに格納され（ブロック３１）、ＡＮＮのすべてのニューロンがＤａｔａバス１３'を介してグローバル・コンテキストを使用できるようになり、Ａｄｄ／Ｃｔｌバス１７上にＡｄｄｒｅｓｓが印加される（ブロック３２）。次に、各ニューロンに対して以下のプロセスが開始される。各ニューロンでは、ブロック３３でＡｄｄ／Ｃｔｌバス１７上にあるＡｄｄｒｅｓｓがテストされ、このアドレスがグローバル・コンテキストの更新と一致しない場合は、ローカル・リソースのコンテンツ（コンテキスト・レジスタ）を更新する必要がない。これに対して、このアドレスがグローバル・コンテキストの更新に対応する場合、ニューロンがフリーの場合にのみローカル・リソースとグローバル・リソースとの間で所望のミラー効果を有するように、ローカル値を更新しなければならない。したがって、ブロック３４でニューロンの状態がテストされ、フリーであることがわかれば、ブロック３５でグローバル・コンテキストを使用してコンテキスト・レジスタのコンテンツが更新される。ただし、使用中のニューロンに対しては、制御論理回路内で必要なフラグを「選択済み」に設定するために、ローカル・コンテキスト（ＣＸＴ）レジスタのコンテンツとグローバル・コンテキスト・レジスタのコンテンツとを比較する必要があるため、ブロック３６で比較が実行される。
【００３１】
図８は、ニューロンがフリーであるか否かを示す信号（ＦＲＥＥ）を生成するように適合された、本発明に従って各改良型ＺＩＳＣニューロンに配置された革新的なデイジー・チェーン回路を示す図である。ＦＲＥＥ信号は、チェーン内の第１のフリー・ニューロンのみにフラグを立てる標準ＺＩＳＣニューロン内に配置されたデイジー・チェーン回路によって生成されるＲＳ信号とは異なる。
【００３２】
次に図８をみると、革新的デイジー・チェーン回路１２'は、依然として、前と次の改良型ＺＩＳＣニューロンの２つの隣接するデイジー・チェーン回路間で直列に接続されているため、ＡＮＮのすべてのニューロンがチェーンを形成する。デイジー・チェーン回路１２'は、基本的には前述の米国特許第５７１０８６９号に記載された回路６００と同一である。この回路は、新しいニューロンが使用中であるときに、初期設定時または学習段階にアクティブな格納許可信号（ＳＴ）によって制御される１ビット・レジスタ３７の周囲に構築される。２路ＡＮＤゲート３８の第１の入力にＤＣＩ信号が印加され、このゲートの他の入力はＲＥＳＥＴ＿信号を受信する。ＡＮＤゲート３８の出力はレジスタ３７の入力に接続される。レジスタ３７の出力は２路ＯＲゲート３９に接続され、このゲートの他の入力はＡＬＬ信号を受信する。ＯＲゲート３９の出力ではＤＣＯ信号が使用可能である。回路１２'には依然として、それぞれＲＳ信号およびＣＯ信号を生成するための参照番号４１および４２が付けられた２路ＸＯＲおよび２路ＡＮＤゲートからなる、参照番号４０の制御論理ブロックが含まれる。ゲート４１は信号ＤＣＩおよびＤＣＯのＸＯＲを実行し、ゲート４２は信号ＤＣＯおよびＮＳのＡＮＤを実行する（ＮＳは選択済みニューロンに対して高位である）。新しい点は、ブロック４０で、レジスタ３７の出力に接続され本発明の実施に不可欠なＦＲＥＥ信号を生成するインバータ４３が加えられたことにある。デイジー・チェーン回路１２'のオペレーションは、回路６００とほぼ同じである。以下の表は、ＤＣＩ／ＤＣＯ信号の組合せに応じた異なるニューロンの状態を示すものである。
【００３３】
【表１】
2004531811.tif 000003
【００３４】
図９は、改良型ＺＩＳＣニューロンを使用して構築されたＡＮＮの参照番号４４が付けられた部分的なアーキテクチャを示す概略図である。次に図９を見ると、破線内に示されたブロック４５で、通常はレジスタに格納されるグローバル・リソースがグループ化されており、その出力はセレクタ１８'に接続される（図２を参照のこと）。さらに図９には、ローカル専用レジスタ４６と、それぞれ参照番号２１および１２'が付けられた本発明の革新的事前荷電回路およびデイジー・チェーン回路からなるブロック４７とが示されている（図２を参照のこと）。事前荷電回路２１の役割は、Ｄａｔａバス１３'（すべてのグローバル・リソースを区別なく移送する）上にあるグローバル・リソースをローカル・レジスタ４６にロードできるようにすることである。その結果、ニューロン内には、グローバル・リソースを使用してロードされるローカル・レジスタと同じ数のブロック２１が存在することになり、この場合は３つ（カテゴリ、コンテキスト／ノーム、およびＭａｘＩＦ／ＭｉｎＩＦ）である。さらに図９を参照すると、Ｄａｔａバス１３'は、直接、または何らかの特定の印加に関して何らかの内部データもロードできる場合は任意選択でマルチプレクサを介して、ローカル・レジスタ４６に接続される。事前荷電回路２１は、ローカル・レジスタ４６にグローバル・リソースをロードできるかまたはできないようにするグローバル・リソースの更新と同期化された、信号ＷＥ（書込み許可（Ｗｒｉｔｅ  Ｅｎａｂｌｅ）を表す）を生成するという点で不可欠である。事前荷電回路２１は、各グローバル・リソースに付加された（Ａｄｄ／Ｃｔｌバス１７上にある）Ａｄｄｒｅｓｓを復号するアドレス復号器４９と、２路ＡＮＤゲート５０からなる。復号器４９は、Ａｄｄ／Ｃｔｌバス１７を介して制御論理回路１９に接続される。その出力はＡＮＤゲート５０の第１の入力に接続され、他の入力はデイジー・チェーン回路１２'からのＦＲＥＥ信号を受信する。アドレス復号器４９が、Ａｄｄ／Ｃｔｌバス１７上のＡｄｄｒｅｓｓがＤａｔａバス１３'上にあるグローバル・リソースと一致することを認識すると、復号器４９によって出力される信号はアクティブ、たとえば１に等しくなり、ＦＲＥＥ信号も高位（ＦＲＥＥ＝１）であれば、ＷＥ信号はこのフリー・ニューロンに対して高位となって、これにより、レジスタ４６にグローバル・リソースをロードすることができる。その結果、ＷＥ信号は、グローバル・リソースの更新と一致するようにローカル・レジスタ４６のコンテンツを変更しなければならない場合を決定し、信号ＷＥが１に設定されると、更新されたグローバル・リソースを使用してローカル・レジスタ４６がロードされる。図９に概略的に示された革新的な事前荷電回路２１は、グローバル・リソースが更新されるたびにグローバル・リソースとローカル・リソースの間で所望の正確かつ永続的な対応関係を維持するように設計されている。本発明によれば、ホスト・コンピュータ／ユーザによってグローバル・リソースが更新されるとすぐに、その値は、ＡＮＮのすべてのフリー・ニューロン内にある対応するローカル・レジスタにロードされる。
【００３５】
図１０および１１はそれぞれ、ＭａｘＩＦおよびグローバル・コンテキストを処理するように適合された場合の、図９の事前荷電回路のより詳細な構成を示す図である。
【００３６】
図１０は、基本的にハードウェア内で図６の流れ図を実施する。図１０に示されたアーキテクチャは、図９に示された参照番号４４が付けられた部分的なアーキテクチャから導出されたものであるが、より具体的にはＭａｘＩＦを処理するように適合されている。図１０を見ると、ここで参照番号５１が付けられたＡＮＮの部分的アーキテクチャには、ＡＩＦ削減プロセスの特異性を考慮に入れるための図９のアーキテクチャに関するいくつかの変更箇所が含まれる。ブロック５２では、事前荷電回路２１は同じであり、その出力信号は２路ＯＲゲート５３で、２路ＡＮＤゲート５４でのＣＯ信号およびＲＡ信号のＡＮＤの結果として生じる信号とＯＲされる。前述のように、ニューロンが使用中（コミット済み）の場合はＣＯ信号が高位であり、ＡＩＦ削減プロセスがアクティブの場合はＲＡ信号が高位である。その一方で、マルチプレクサ５７を介して（ニューロン制御論理の監視の下で）ローカル・レジスタ５５に格納可能なデータは、Ｄａｔａバス１３'上にあるデータまたは距離レジスタ５６に格納された距離のいずれかである。したがってこの場合、ＯＲゲート５３から出力されるＷＥ信号は、どちらかのデータをローカルＡＩＦレジスタ５５に格納することができる。
【００３７】
図１１は、基本的にハードウェア内で図７の流れ図を実施する。図１１に示されたアーキテクチャは、図９に示された参照番号４４が付けられた部分的なアーキテクチャから導出されたものであるが、より具体的にはグローバル・コンテキストを処理するように適合されている。図１１を見ると、ここで参照番号５８が付けられたＡＮＮの部分的アーキテクチャには、この場合に必要な比較の特異性を考慮に入れるための図９のアーキテクチャに関するいくつかの変更箇所が含まれる。ブロック５９では、事前荷電回路２１は同じであり、その出力信号ＷＥはローカル・レジスタに、この場合はコンテキスト／ノーム（ＣＸＴ）レジスタ６０に直接伝送される。Ａｄｄｒｅｓｓ復号器４９から出力される復号済み信号は、２路ＡＮＤゲート６１でＣＯ信号とＡＮＤされ、そこから出力される信号は、ニューロンが「選択済み」であるか否かを示す「フラグ」を格納する１ビット・レジスタ６２を制御する。Ｄａｔａバス１３'上にあるグローバル・リソースおよびＣＸＴレジスタ６０のコンテンツは、比較回路６３で比較される。比較の結果（一致があるか否かに依存する）は、フラグ・ビットとしてレジスタ６２に格納される。このフラグ・ビットは、Ａｄｄｒｅｓｓがグローバル・コンテキスト・アドレスである場合に、使用中のニューロンに対してのみ高位である。
【００３８】
図１２は、それぞれ図１０および１１に示された参照番号５１および５８が付けられた部分的なアーキテクチャから導出されたものであるが、より具体的には単一の事前荷電回路を使用してＭａｘＩＦおよびグローバル・コンテキストの両方を処理するように適合されている。次に図１２を見ると、ここで参照番号６４が付けられたＡＮＮの部分的なアーキテクチャには、復号器４９'（ＭａｘＩＦアドレス）と４９"（グローバル・コンテキスト・アドレス））の両方を組み合わせた単一のアドレス復号器回路６６によって特徴付けられる、ブロック６５が提供されている。この場合、２つの許可信号ＷＥ１およびＷＥ２が生成される。この方法は、複数のグローバル・リソース・アドレスに一般化することができる。
【００３９】
以上、本発明について、その好ましい実施形態に関して具体的に説明してきたが、当分野の技術者であれば、本発明の精神および範囲を逸脱することなく形式および詳細の前述および他の変更が実行可能であることを理解されたい。
【図面の簡単な説明】
【００４０】
【図１】入力パターン構成要素および異なるグローバル・リソースをＡＮＮのすべてのニューロンに配布するのに必要な４本の入力バスの役割を強化するために標準ＺＩＳＣニューロンで構築された、従来のＡＮＮのアーキテクチャを示す概略図である。
【図２】本発明により、ＡＮＮのすべてのニューロンに入力パターン構成要素および異なるグローバル・リソースを配布するために、１本のバスおよびセレクタしか必要としなくなった、ＡＮＮのアーキテクチャを示す図である。
【図３】リセット後の、ＡＮＮの４つのニューロンに関する２つのグローバル・レジスタおよび対応するローカル・レジスタのコンテンツを示す図である。
【図４】学習後の、ＡＮＮの４つのニューロンに関する２つのグローバル・レジスタおよび対応するローカル・レジスタのコンテンツを示す図である。
【図５】ＭａｘＩＦ更新後の、ＡＮＮの４つのニューロンに関する２つのグローバル・レジスタおよび対応するローカル・レジスタのコンテンツを示す図である。
【図６】本発明の方法を例示するための、グローバル・リソースであるＭａｘＩＦに関するデータ流れ図を示す図である。
【図７】本発明の方法を例示するための、グローバル・リソースであるコンテキストに関するデータ流れ図を示す図である。
【図８】本発明により、ニューロンがフリーであるか否かを示す信号を生成するように適合された、各改良型ＺＩＳＣニューロンに配置された革新的なデイジー・チェーン回路を示す図である。
【図９】本発明により、フリーなＡＮＮの改良型ＺＩＳＣニューロンすべての対応する専用レジスタ内で１つのグローバル・リソースを事前荷電するために各ニューロンに配置された、革新的な事前荷電回路を示す図である。
【図１０】図９の事前荷電回路がＭａｘＩＦを処理するように適合された場合の、この回路のより詳細な構成を示す図である。
【図１１】図９の事前荷電回路がグローバル・コンテキストを処理するように適合された場合の、この回路のより詳細な構成を示す図である。
【図１２】図９の事前荷電回路が単一回路内でＭａｘＩＦおよびグローバル・コンテキストの両方を処理するように適合された場合の、この回路のより詳細な構成を示す図である。
【図１】
2004531811.tif 000004
【図２】
2004531811.tif 000005
【図３】
2004531811.tif 000006
【図４】
2004531811.tif 000007
【図５】
2004531811.tif 000008
【図６】
2004531811.tif 000009
【図７】
2004531811.tif 000010
【図８】
2004531811.tif 000011
【図９】
2004531811.tif 000012
【図１０】
2004531811.tif 000013
【図１１】
2004531811.tif 000014
【図１２】
2004531811.tif 000015
【国際公開パンフレット】
2004531811.tif 000016
2004531811.tif 000017
2004531811.tif 000018
2004531811.tif 000019
2004531811.tif 000020
2004531811.tif 000021
2004531811.tif 000022
2004531811.tif 000023
2004531811.tif 000024
2004531811.tif 000025
2004531811.tif 000026
2004531811.tif 000027
2004531811.tif 000028
2004531811.tif 000029
2004531811.tif 000030
2004531811.tif 000031
2004531811.tif 000032
2004531811.tif 000033
2004531811.tif 000034
2004531811.tif 000035
2004531811.tif 000036
2004531811.tif 000037
2004531811.tif 000038
2004531811.tif 000039
2004531811.tif 000040
2004531811.tif 000041
2004531811.tif 000042
2004531811.tif 000043
2004531811.tif 000044
2004531811.tif 000045
2004531811.tif 000046
2004531811.tif 000047
【国際公開パンフレット（コレクトバージョン）】
2004531811.tif 000048
2004531811.tif 000049
【国際調査報告】
2004531811.tif 000050
2004531811.tif 000051
2004531811.tif 000052