(57)【要約】  連想コンピュータメモリを形成するための方法は、抑制性記憶行列ＡＩ＝−（Ａｐ−Ａ）を形成するステップを含む。アドレスパターンおよびコンテンツパターンの所定の組から構成されるＷｉｌｓｈａｗモデルとランダム行列構造とにしたがっている。【選択図】図８
2010531030.tif 000002
【特許請求の範囲】
【請求項１】
連想コンピュータメモリを形成するための方法であって、
以下の式にしたがって抑制性記憶行列（ＡＩ）を形成するステップを含み、
ＡＩ＝−（Ａｐ−Ａ）
Ａは、アドレスパターン（ｕμ）およびコンテンツパターン（ｖμ）の所定の組から構成されるＷｉｌｌｓｈａｗモデルにしたがう記憶行列（Ａ）であり、前記組がサイズＭを有し、Ａｐがネットワーク構造を表わすランダム行列である、方法。
【請求項２】
スパースランダムパターン（ｗμ１）の組を形成するステップであって、前記組がサイズＭを有し、ランダムパターンがサイズｎ１を有するとともにｌ１個のアクティブな構成要素を有する、ステップと、
アドレスパターン（ｕμ）およびパターン（ｗμ１）から抑制性記憶行列（ＡＩ’）を形成するステップと、
スパースランダムパターン（ｗμ１）を使用してスパースランダム行列（Ｗ１）を形成するステップと、
コンテンツパターン（ｖμ）を使用してコンテンツパターン行列（Ｖ）を形成するステップと、
を更に含む請求項１に記載の方法。
【請求項３】
サイズｎ１が以下の式にしたがって概算され、
【数１】
2010531030.tif 000091
ｋがアドレスパターンｕμの平均アクティビティである請求項２に記載の方法。
【請求項４】
スパースランダム行列およびコンテンツパターン行列（Ｗ１，Ｖ）を使用して圧縮ルックアップテーブル（ｃＬＵＴ）を形成するステップを更に含む請求項２に記載の方法。
【請求項５】
スパースランダム行列（Ｗ１）の各ランダムパターン（ｗμ１）では、２つの構成要素だけがアクティブ（ｌ１＝２）である請求項２に記載の方法。
【請求項６】
スパースランダム行列（Ｗ１）は、以下の均一な単位使用量
【数２】
2010531030.tif 000092
が全てのｊ＝１，．．．，ｎ１に関してほぼ同一となるように最適化される請求項２に記載の方法。
【請求項７】
スパースランダム行列（Ｗ１）が以下のアルゴリズム、すなわち、
【数３】
2010531030.tif 000093
を使用して最適化される請求項６に記載の方法。
【請求項８】
スパースランダム行列（Ｗ１）は、以下のシナプス使用量
【数４】
2010531030.tif 000094
が全てのｊ＝１，．．．，ｎ１に関してほぼ同一となるように最適化され、ＡおよびＡＩがそれぞれＷｉｌｌｓｈａｗモデルの興奮性解釈および抑制性解釈の記憶行列である請求項２に記載の方法。
【請求項９】
スパースランダム行列（Ｗ１）が以下のアルゴリズム、すなわち、
【数５】
2010531030.tif 000095
を使用して最適化される請求項８に記載の方法。
【請求項１０】
ライン（９ｄ）における最小化は、シナプス使用量
【数６】
2010531030.tif 000096
で行なわれる請求項９に記載の方法。
【請求項１１】
ライン（９ｄ）における最小化は、コリジョンをもたらし得る単位を積極的に避ける請求項９に記載の方法。
【請求項１２】
請求項１にしたがって形成される連想コンピュータメモリからパターンを検索するための方法であって、
検索結果のベクトル
【数７】
2010531030.tif 000097
を形成し、
【数８】
2010531030.tif 000098
がアドレスパターンであるステップと、
以下の式を満たす閾値ΘＩを適用するステップと、
を含み、
【数９】
2010531030.tif 000099
Θは、基礎を成すＷｉｌｌｓｈａｗモデル（Ａ）のための閾値の組であり、θは入力アクティビティのベクトルである、方法。
【請求項１３】
請求項２にしたがって形成される連想コンピュータメモリからパターンを検索するための方法であって、
検索結果のベクトル
【数１０】
2010531030.tif 000100
を形成し、
【数１１】
2010531030.tif 000101
がアドレスパターンであるステップと、
第１の中間検索結果
【数１２】
2010531030.tif 000102
を得るために請求項１２に規定される閾値θＩを適用するステップと、
第２の中間検索結果のベクトル
【数１３】
2010531030.tif 000103
を形成するステップと、
最終出力結果としてコンテンツパターン行列（Ｖ）のμ番目のラインを選択し、μが
【数１４】
2010531030.tif 000104
の最大構成要素であるステップと、
を含む方法。
【請求項１４】
自動視覚オブジェクト認識または自動聴覚音声認識のために検索結果が出力されて使用される請求項１２または請求項１３に記載の方法。
【請求項１５】
文書検索のために検索結果が出力されて使用される請求項１２または請求項１３に記載の方法。
【請求項１６】
Ｎ−ｇｒａｍコードを適用することによって文書中の単語が表わされる請求項１５に記載の方法。
【請求項１７】
コンピュータで実行されるときに請求項１から１６のいずれか一項に記載の方法を実施する命令を記憶するコンピュータ可読媒体。
【請求項１８】
コンピュータメモリ内に多数のパターンを記憶するための装置であって、
以下の式にしたがって抑制性記憶行列（ＡＩ）を形成するための手段を備え、
ＡＩ＝−（Ａｐ−Ａ）
ＡはＷｉｌｌｓｈａｗモデルにしたがう記憶行列（Ａ）であり、Ａｐはランダム行列である、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、抑制性ニューラルネットワークを使用して連想メモリを実現するための方法および装置に関する。
【背景技術】
【０００２】
ニューラルネットワークがｆ：ｕ→ｖといった類のマッピングを計算できることは長い間指摘されてきた。ここで、ｕ，ｖはそれぞれ、通常、シナプス前およびシナプス後のニューロン母集団のアクティビティパターンベクトルとして解釈される。実際には、多層ニューラルネットワークが任意の精度をもって任意の関数ｆを近似できる（これは、隠れ層において非常に多数のニューロン数を必要とする場合があるが）ことが分かってきた。ニューラル連想メモリネットワークは、マッピングがアドレスパターンｕμおよびコンテンツパターンｖμ（μ＝１，．．．，Ｍ）の別個の組同士の間である特別なケースである。ノイズのあるアドレスパターン
【数１】
2010531030.tif 000003
が与えられる場合、通常のメモリタスクは、
【数２】
2010531030.tif 000004
を最小にする最も類似するｕμを見つけて、対応するコンテンツｖμを戻すことである。このタスクは、本質的に、最良一致問題または最近隣問題であり、幾つかのサンプル点間を補間することによって連続マッピングｆを再び実施するように拡張させることができる。最良一致問題に対する効率的な解決策は、オブジェクト認識、クラスタリング、または、大きなデータベースでの情報検索などの幅広い用途を有する。
【０００３】
ＷＩＬＬＳＨＡＷモデルにおけるパターンの記憶および検索
生物学的モデリングおよび用途の両方にとって魅力のあるニューラル連想メモリのモデルは、図１に示されるバイナリニューロンおよびシナプスを伴ういわゆるＷｉｌｌｓｈａｗモデルまたはＳｔｅｉｎｂｕｃｈモデルである。各アドレスパターンｕμは、平均してｋ個の１エントリおよびｍ−ｋ個の０エントリを含む長さｍのバイナリベクトルである。同様に、各目標パターンｖμは、ｌ個の１エントリおよびｎ−ｌ個の０エントリを含む長さｎのバイナリベクトルである。一般に、パターンはスパースである。すなわち、ｋ≪ｍおよびｌ≪ｎである。
【０００４】
図１は、（ヘテロ連想のための）バイナリＷｉｌｌｓｈａｗモデルの作用原理を示している。左側では、学習段階中、アドレスパターンｕμとコンテンツパターンｖμとの間のＭ個の連想が、アドレス母集団ｕからコンテンツ母集団ｖへの接続のバイナリシナプス重量を表わすバイナリ記憶行列Ａ内に記憶される。初めは、全てのシナプスが非アクティブである。パターン連想の学習中、シナプスは、Ｈｅｂｂｉａｎ同時学習（式１）にしたがってアクティブにされる。右側では、検索のため、アドレスパターン
【数３】
2010531030.tif 000005
がネットワークを介して伝播される。ベクトル−行列乗算が膜電位
【数４】
2010531030.tif 000006
をもたらす。検索結果
【数５】
2010531030.tif 000007
（ここでは、ｖ１に等しい）を得るため、閾値Θが適用される。パターン部分検索
【数６】
2010531030.tif 000008
のため、当初のパターン（すなわち、欠損１エントリがない）の上位集合
【数７】
2010531030.tif 000009
をもたらすＷｉｌｌｓｈａｗ閾値
【数８】
2010531030.tif 000010
を単に選択してもよい。
【０００５】
Ｍ個のパターン対がバイナリ記憶行列Ａａ∈｛０，１｝ｍ×ｎ内にヘテロ連想的に記憶される。ここで、
【数９】
2010531030.tif 000011
【０００６】
モデルは、行列内にノイズのある１エントリおよび０エントリを許容することによって僅かに拡張されてもよい。
【数１０】
2010531030.tif 000012
および
【数１１】
2010531030.tif 000013
が２つの２値ランダムｍ×ｎ行列であるとする。ここで、各行列エントリは、確率
【数１２】
2010531030.tif 000014
および
【数１３】
2010531030.tif 000015
をそれぞれ独立に有するエントリである。
【数１４】
2010531030.tif 000016
をノイズのある１シナプスの組として解釈し、
【数１５】
2010531030.tif 000017
をノイズのある０シナプスの組として解釈すると、結果として得られるシナプス行列は、
【数１６】
2010531030.tif 000018
となる。
【０００７】
学習後、アドレスパターン
【数１７】
2010531030.tif 000019
を適用して、記憶された情報を検索することができる。ベクトル−行列乗算は、目標母集団のニューラル電位
【数１８】
2010531030.tif 000020
をもたらし、また、閾値Θを課すと、（１ステップ）検索結果
【数１９】
2010531030.tif 000021
【数２０】
2010531030.tif 000022
が与えられる。
【０００８】
高い検索品質のための臨界必要条件は、閾値Θの正しい選択である。非常に低い値は、誤った１エントリ（付加エラー）の高い割合をもたらし、一方、非常に高い値は、誤った０エントリ（ミスエラー）の高い割合をもたらす。この閾値選択は、アドレス内に存在するエラーのタイプに応じて、簡単となる可能性があり、あるいは、かなり難しくなる可能性がある。以下において、ｃおよびｆは、アドレス中の正しい１エントリおよび誤った１エントリの数をそれぞれ示している。
【数２１】
2010531030.tif 000023
およびエラーが無いアドレス（ｃ＝ｋおよびｆ＝０）またはパターン部分検索において、すなわち、アドレスがミスエラーだけを含むとき（ｃ＝λｋおよびｆ＝０（０＜λ≦１））、最適な閾値は、アドレスパターンの簡単な関数
【数２２】
2010531030.tif 000024
である。この閾値は、当初のＷｉｌｌｓｈａｗモデルにおいて使用されており、したがって、Ｗｉｌｌｓｈａｗ閾値と称される。Ｗｉｌｌｓｈａｗモデルの詳細な説明は、Ｄ．  Ｊ．  Ｗｉｌｌｓｈａｗ等によるオリジナルの論文（非特許文献１“Non-holographic associative memory”, Nature, 222:960-962, 1969）において見出すことができる。
【０００９】
記憶負荷
最初に、記憶負荷ｐ１、すなわち、記憶行列内の１エントリの一部分が決定される。Ｍ個のパターン対の学習中にシナプスがアクティブにされる確率は、
【数２３】
2010531030.tif 000025
であり、したがって、ノイズのあるシナプスを考慮すると、シナプスがアクティブである確率は、
【数２４】
2010531030.tif 000026
【００１０】
検索エラーおよび高い忠実度
ノイズのあるアドレスパターン
【数２５】
2010531030.tif 000027
がｕμのｃ個の正しい１エントリとｆ個の誤った１エントリを有する更なるノイズとを含んでいるとする。このとき、所定の閾値Θにおいて、付加エラーの確率ｐ０１およびミスエラーの確率ｐ１０は、
【数２６】
2010531030.tif 000028
である。ここで、ｐＷＰ，ｌｏは、「低い」単位のポテンシャル分布（ｖμの０エントリに対応する）であり、ｐＷＰ，ｈｉは、「高い」単位のポテンシャル分布（ｖμの１エントリに対応する）である。
【００１１】
検索または出力ノイズεは、
【数２７】
2010531030.tif 000029
とｖμとの間の期待ハミング距離ｄＨにしたがって規定されてもよい。パターンアクティビティｌに対する正規化を行なうと、
【数２８】
2010531030.tif 000030
が得られる。
【００１２】
バイナリチャネルの情報Ｉおよび伝達情報（または、相互情報）Ｔに基づく別の定義は、
【数２９】
2010531030.tif 000031
である。
【００１３】
後者の定義は、ｌ≪ｎにおいてスパースパターンにおける低品質検索を解析するときに特に有用である。前者の定義は、それがパターン容量および記憶容量に関して洗練された解析を可能にするため有用である。このとき、最適な閾値Θｏｐｔ∈｛０，１，．．．，ｃ＋ｆ｝は、ε（または、εＴ）を最小にすることによって規定することができる。ε≪１においては、「高−忠実度」検索が得られる。
【００１４】
記憶容量
ここで、パターンの最大数Ｍεは、検索ノイズが最大でεとなるように計算されてもよい。（Θを最適化する）最小ハミング距離は明らかにＭと共に増大しているため、（品質レベルεの）パターン容量Ｍεは以下のように規定されてもよい。
【数３０】
2010531030.tif 000032
【００１５】
個々のコンテンツパターンのＳｈａｎｎｏｎ情報を考慮すると、シナプス毎にビット単位の正規化されたネットワーク記憶容量が得られる。
【数３１】
2010531030.tif 000033
【００１６】
ここで、
【数３２】
2010531030.tif 000034
は、学習されたコンテンツパターンと検索されたコンテンツパターンとの間の伝達情報（または、相互情報）である。ネットワーク容量から、記憶負荷ｐ１≠０．５において記憶行列の圧縮性を使用するシナプス容量ＣＳおよび情報容量ＣＩなどの更なる性能指標が得られる。
【数３３】
2010531030.tif 000035
ここで、ｐ１εは、Ｍ個のパターン対を記憶した後の記憶行列負荷であり、また、
Ｉ（ｐ１ε）：＝−ｐ１εｌｄｐ１ε−（１−ｐ１ε）ｌｄ（１−ｐ１ε）
は、記憶行列成分のＳｈａｎｎｏｎ情報である。本質的に、ＣＳは、記憶された情報を非サイレントシナプス（全てのシナプスではない）の数に対して正規化する。変数ＣＳは、生物に類似する各シナプスがハードウェアにおいて実現されなければならないＷｉｌｌｓｈａｗモデルのＶＬＳＩ実施において関連する。同様に、ＣＩは、記憶された情報を、記憶行列を表わすことが実際に求められる物理メモリの量に対して正規化する。これは、主に、デジタルコンピュータのメモリにおいてＷｉｌｌｓｈａｗ行列が維持されなければならない技術用途において関連する。
【００１７】
Ｗｉｌｌｓｈａｗ閾値を用いる検索の近似解析
最大“Ｗｉｌｌｓｈａｗ”閾値
【数３４】
2010531030.tif 000036
を用いる検索においては、エラー確率の２項近似に基づく洗練された解析が存在する。残念ながら、これは、
【数３５】
2010531030.tif 000037
、すなわち、ノイズのある０エントリが記憶行列中に無い場合、および、ｆ＝０、すなわち、誤った１エントリがアドレスパターン
【数３６】
2010531030.tif 000038
中に無い（パターン部分検索）場合にのみ有用である。その場合、
【数３７】
2010531030.tif 000039
およびｆ＝０のとき、ミスノイズの確率はｐ１０＝０であり、また、付加ノイズの確率は、記憶行列中に独立に生成される１エントリがあり且つλ：＝ｃ／ｋと仮定すると、以下のように近似できる。
【数３８】
2010531030.tif 000040
【００１８】
この仮定は、多くのケースにとっては、大きなネットワークの限界で正しくなる。高い忠実度レベルεを求めると、限界ｐ０１≦εｌ／（ｎ−ｌ）が得られる。ｐ１に関して解くと、高忠実度記憶負荷ｐ１εが得られ、また、これにより、高忠実度容量は以下のようになる。
【数３９】
2010531030.tif 000041
【００１９】
ここで、ηは通常はほぼ１である。
【数４０】
2010531030.tif 000042
【００２０】
なお、式１７は、アドレス母集団のための最小アセンブリサイズｋｍｉｎを示している。更に小さいアセンブリに関しては、単一の連想を記憶する場合であっても、高い忠実度εを得ることが不可能である。
【００２１】
スパースおよび高密度ポテンシエーション
２項近似解析による主な結論は、ｋ〜ｌｏｇ  ｎおよび記憶負荷ｐ１＝０．５を有するスパースパターンにおいて１シナプス当たりほぼ０．７ビットという非常に高い記憶容量を得ることができることである。この場合、高い検索品質をもってＭ〜ｍｎ／（ｌｏｇ  ｎ）２オーダーのパターン連想を記憶してもよい。式１７，１９から、漸近的に、
【数４１】
2010531030.tif 000043
であることを理解するのは容易である。
【００２２】
したがって、解析は、ニューラル連想メモリが対数的にスパースなパターンに関してのみ効率的（Ｃ＞０）であることを示唆する。ｋ／ｌｏｇ  ｎ→０の準対数的なスパースパターンにおいてはｐ１→０を有し、ｋ／ｌｏｇ  ｎ→∞の超対数的なスパースパターンにおいてはｐ１→１を有し、いずれのケースも、失われていくネットワーク記憶容量Ｃε→０を示唆する。
【００２３】
以下において、３つのケースｐ１→０／ｃ／１は、スパースなシナプスポテンシエーション、バランスのとれたシナプスポテンシエーション、および、高密度シナプスポテンシエーションと称される。
【００２４】
なお、この結論は、ネットワーク記憶容量の定義によって偏らされる場合があり、また、ネットワークの圧縮性を考慮する記憶容量の別の定義が異なる結論をもたらす。例えば、Ｗｉｌｌｓｈａｗモデルの技術的実施において、記憶行列をｐ１→０に関して圧縮することができ、また、（情報）記憶容量がファクタＩ（ｐ１）：＝−ｐ１ｌｄｐ１−（１−ｐ１）ｌｄ（１−ｐ１）だけ向上する。これは、「圧縮」容量ＣＩ：＝Ｃ／Ｉ（ｐ１）およびＣＳ：＝Ｃ／ｍｉｎ（ｐ１，１−ｐ１）の定義をもたらす（式１４，１５，１９参照）。
【００２５】
興味深いことに、また、ネットワーク容量Ｃとは対照的に、ＣＩおよびＣＳの最適化は、ｐ１→０およびｐ１→１に関して最も高い容量を示す。これにより、超スパースなパターンおよび中程度にスパースなパターン（または、セルアセンブリ）を用いる形態が高い注目を得た。
【００２６】
しかしながら、正確な値へ向けた２項近似の収束は疑わしい場合がある。特に、ｐ０ε＝１−ｐ１ε→０、超対数的スパース性ｋ／ｌｏｇ  ｎ→∞、および、
【数４２】
2010531030.tif 000044
を伴う高密度ポテンシエーションの場合、小さいネットワークの数値シミュレーションは、２項近似解析によって容量を非常に過大評価する可能性があることを明らかにする。それにもかかわらず、発明者は、大きなネットワークのための漸近解析において、先の２項近似解析が少なくともｋ＝Ｏ（ｎ／ｌｏｇ２ｎ）において正確になることを示した。したがって、高密度ポテンシエーションの形態は、実際に、非常に広範囲のパターンアクティビティのための高性能ネットワークをもたらす。
【００２７】
（興奮性）希薄Ｗｉｌｌｓｈａｗモデル
以下では、平均してｍｎ個のシナプスのうちの一部分ｐだけが実際にネットワークで実現されると仮定する。より正確には、他のシナプスとは無関係に確率ｐを伴って想定し得るシナプスが実現されると仮定する。すなわち、ネットワークが不完全に接続されると仮定する。
【００２８】
言うまでもなく、このケースは、
【数４３】
2010531030.tif 000045
を使用することによって先に与えられた理論的なフレームワークに既に含められている。簡潔にするため、実現されたシナプスの行列は、
【数４４】
2010531030.tif 000046
として示される。
【００２９】
残念ながら、既に述べたように、ｐ＜１においては、もはや明らかな最適閾値が存在しない。その代わり、閾値を「手動で」調整する必要がある。例えば、アドレスパターンの統計値（ｃおよびｆ）が知られている場合には、期待ハミング距離（式１０，１１）を最小にするために閾値を最適化することができる。しかしながら、数値評価は、興奮性Ｗｉｌｌｓｈａｗモデルのこのナイーブ実施の性能がｐ＜１において非常に悪くなることを示唆している。特に、シナプス記憶容量はｐ→０においてゼロになるＣ→０。
【００３０】
以前の研究は、希薄ネットワークのための最適閾値法を見つけることに焦点を合わせてきた。ニューロンｊに接続されるアクティブなアドレスニューロンの数として規定される、いわゆる入力アクティビティ
【数４５】
2010531030.tif 000047
に応じて、各コンテンツニューロンｊ毎に個別に閾値Θｊを選択することが提案されてきた（図２、左パネル参照）。Θｊ＝θｊを単に使用することは、以前のＷｉｌｌｓｈａｗ閾値に対応し、この場合も、ｐ１０＝０、すなわち、検索結果にミスノイズが無いことを意味する。ｆ＝０（アドレスパターンに付加ノイズが無い）におけるパターン部分検索において、この閾値法は、入力アクティビティ以外に更なる情報が使用されない場合に最適である。しかしながら、興奮性解釈において、この方法は厳しい欠点を有する。すなわち、技術的用途において、実現されたシナプスの行列Ａｐを明示的に表わさなければならず、それにより、記憶容量が必然的に減少する。これは、Ａを圧縮できる場合にｐ１→０またはｐ１→１において特に厳しくなる。このとき、メモリ要件がＡｐによって支配され、したがって、記憶容量がゼロになる。
【００３１】
以下では、ナイーブ閾値制御（この節の冒頭で説明した）および最適閾値制御（式２５）を伴う２つのモデル変形例がそれぞれナイーブ興奮性希薄Ｗｉｌｌｓｈａｗモデルおよび最適興奮性希薄Ｗｉｌｌｓｈａｗモデルと称される。
【先行技術文献】
【特許文献】
【００３２】
【非特許文献１】“Non-holographic associative memory”, Nature, 222:960-962, 1969
【発明の概要】
【発明が解決しようとする課題】
【００３３】
これらの解析を踏まえて、本発明の目的は、ニューラルネットワークに基づいて連想メモリを実現するための改良された方法および装置を提供することである。
【課題を解決するための手段】
【００３４】
この目的は、独立請求項に係る連想メモリを形成するための方法および装置により本発明にしたがって達成される。有利な実施形態が従属請求項に規定される。
【００３５】
連想メモリは、汎用デジタルコンピュータのデジタルメモリ内に対応するマトリクスまたは構造を構築することによって形成され或いは実現されてもよく或いは並列（ＶＬＳＩ，ＦＰＧＡ）ハードウェアアーキテクチャで物理的に実施されてもよいデジタルコンピュータメモリである。
【００３６】
本発明に係る方法および装置は以下の利点を有する。
【００３７】
希薄ネットワークにおいて入力アクティビティを使用する場合であっても、閾値法が非常に簡単になる。すなわち、例えば、興奮性モデルの最適な閾値が、オフセットｃに関して、Θｊ＝θｊ＋ｃであるとする。そのとき、抑制性モデルにとって最適な閾値は、単にｃであり、すなわち、この場合も個々の入力アクティビティと無関係である。
【００３８】
その結果として、Ａｐを明示的に表わす必要がなく、Ａを圧縮できる場合には記憶容量を劇的に増大させることができる。
【００３９】
本発明の更なる態様および利点は、添付図面に関連する以下の詳細な説明を考慮する際に当業者に更に明らかになる。
【図面の簡単な説明】
【００４０】
【図１】バイナリＷｉｌｌｓｈａｗモデルの作用原理を示している（ヘテロ連想）。
【図２】不完全接続興奮性および抑制性Ｗｉｌｌｓｈａｗモデルのネットワークにおける学習および検索を示している。
【図３】所定サイズのネットワークにおいて本発明に係るモデルの検索品質とナイーブ興奮性モデルの検索品質とを比較している
【図４】本発明に係る最適興奮性モデルおよび抑制性モデルに関して漸近的ネットワーク容量、シナプス容量、および、情報容量を記憶負荷の関数として示している。
【図５】２層Ｗｉｌｌｓｈａｗモデルの構造と３層拡張構造とを比較している。
【図６】本発明の１つの実施形態に係る情報検索のための４層システムを示している。
【図７】図６に示されるシステムにおける記憶容量および検索品質に関する改善を示している。
【図８】本発明の１つの実施形態に係る連想メモリを使用する視覚オブジェクト認識のためのシステムのブロック図を示している。
【発明を実施するための形態】
【００４１】
本発明に係る連想コンピュータメモリを形成するための方法は、Ｗｉｌｌｓｈａｗモデルの抑制解釈を使用する。
【００４２】
抑制性Ｗｉｌｌｓｈａｗモデル
興奮性Ｗｉｌｌｓｈａｗモデルは、前節で説明された興奮性モデルの問題を回避するＡｎｔｉ−Ｈｅｂｂｉａｎ学習に対応する等価な抑制性解釈を有する。記憶行列Ａ（式２）、アドレスパターン
【数４６】
2010531030.tif 000048
【００４３】
、および、（場合により個々の）閾値Θ（式３、２５参照）を用いた共通の興奮性解釈での検索を考慮されたい。また、
【数４７】
2010531030.tif 000049
が入力アクティビティのベクトルであるとする（式２５）。このとき、対応する抑制性モデルは、以下を用いて抑制性記憶行列ＡＩおよび検索閾値ΘＩによって規定される。
【数４８】
2010531030.tif 000050
【００４４】
興奮性モデルおよび抑制性モデルは実際には等価である。すなわち、以下により、興奮性モデルおよび抑制性モデルにおける検索結果は同一である（図２の右パネル参照）。
【数４９】
2010531030.tif 000051
【００４５】
これらの変数は、興奮性および抑制性タイプの不完全接続Ｗｉｌｌｓｈａｗネットワーク（ｐ＝０．８）における検索および学習を表わす図２に示されている。
【００４６】
図２の左側部分（２ａ）は、従来技術に係る希薄興奮性ネットワークにおけるパターン検索を示している。パターン部分検索のための１ステップアルゴリズムの自然一般化（ｆ＝０  付加ノイズを用いる）は、各標的ニューロンｊ毎に入力アクティビティθｊに等しい閾値Θｊを適用しなければならない（式２５参照）。
【００４７】
図２の右側部分（２ｂ）は、本発明の第１の実施形態に係る希薄抑制性ネットワークにおけるパターン検索を示している。抑制性Ｗｉｌｌｓｈａｗモデルでは、興奮性モデルの０−シナプスが−１−シナプスになり、１−シナプスが０−シナプスになる。抑制性モデルおよび興奮性モデルは機能的に等価であるが、抑制性モデルにおける最適な閾値制御はさらに簡単である。すなわち、ここでは、各ニューロンが同じ閾値ΘＩ＝０を有する。
【００４８】
また、希薄抑制性ネットワークの解析も非常に簡単になる。欠損シナプスが０−シナプスに置き換えられてもよい（図２参照）。等価な興奮性モデルにおいて、これはノイズのある１−シナプスになる。したがって、接続性ｐおよびシナプスノイズ
【数５０】
2010531030.tif 000052
を伴う抑制性モデルは、シナプスノイズを伴う完全接続興奮性モデルと同等である。
【数５１】
2010531030.tif 000053
【００４９】
したがって、
【数５２】
2010531030.tif 000054
においては、抑制性希薄モデルを上記のように解析することができ、それにより、興味深い漸近的結果がもたらされる（式１７〜２３）。
【００５０】
検索品質
図３は、ｃ＝５０個の正しく誤りのない単位（ｆ＝０）を用いてアドレス指定する際の、ｍ＝ｎ＝１０００、ｋ＝ｌ＝１００、および、接続性ｐ＝０．５のネットワークに関する、ナイーブ興奮性モデル（緑色に関する‘ｇ’）と比べた抑制性モデル（赤色に関する‘ｒ’）の検索品質を示している。
【００５１】
左側のプロットは、記憶負荷ｐ１＝０．８１７（または、ｐ１ａ＝０．６３４；式４参照）に対応するＭ＝１００個のパターン連想が記憶される際の低単位（細い）および高単位（太い）における樹状突起電位の分布を示している。樹状突起電位におけるｘ軸は、いずれの場合にも０が最適な閾値に対応するようにシフトされる。抑制性モデルはΘ＝０において最適な検索品質を達成し、それにより、エラー確率ｐ０１＝０．０００９４４、ｐ１０＝０、および、出力ノイズε＝０．００８５０がもたらされる（式１０参照）。興奮性モデルはΘ＝２５において最適であり、それにより、ｐ０１＝０．０２０８、ｐ１０＝０．４４４となり、したがって、かなり高い出力ノイズε＝０．６３１２がもたらされる。
【００５２】
右側のプロットは、記憶された連想の数Ｍの関数として最小出力ノイズεを示している（式１０参照）。
【００５３】
図３に示されるように、ｐ＜１の希薄ネットワークにおいて、抑制性モデルの検索品質は、一般に、ナイーブ興奮性モデルの場合よりもかなり良好である。プロットは、同じ数Ｍの記憶されたパターン連想では興奮性モデルにおいて出力ノイズε（式１０参照）がかなり悪いことを示している。それに対応して、一定の検索品質を維持しなければならない場合には、抑制性モデルがかなり多数のパターンを記憶することができる。すなわち、抑制性モデルがかなり大きな記憶容量を有する。
【００５４】
記憶容量
最適な閾値制御を用いる抑制性希薄Ｗｉｌｌｓｈａｗモデルおよび興奮性モデルの両方における最大記憶負荷ｐ１εおよびパターン容量Ｍεの解析は、前述した完全接続興奮性モデルの解析とほぼ同じである（式２９，３０参照）。例えば、接続性ｐがとられるが、シナプスノイズがない場合には、アドレスパターンに付加モイズを伴わないパターン部分検索において、（ｆ＝０）式１７，１８（
【数５３】
2010531030.tif 000055
および
【数５４】
2010531030.tif 000056
）を使用してもよい。このときネットワークはｐｍｎシナプスだけを有しているため、式１９の記憶容量Ｃεはファクタ１／ｐ分だけ大きくなる。
【数５５】
2010531030.tif 000057
において、ここで、Ｔは、Ｍεに比例する記憶（伝達）情報において使用された。
【００５５】
同様に、「圧縮容量」ＣＳおよびＣＩが計算されてもよい（式１４，１５参照）。異なるモデル変形例における異なる容量が以下に示される表にまとめられている。シナプス容量ＣＳにおいては、全てのサイレントシナプスを排除することにより性能が向上されてもよい。したがって、ＣＳは、ナイーブ興奮性モデルに関してはファクタ１／ｐ’１ε分だけ増大し、また、抑制性モデルに関してはファクタ１／（１−ｐ１ε）分だけ増大する。なお、最適興奮性モデルは、式３１の場合と同じファクタ１／ｐだけを有する。これは、ここでは、０−シナプスが入力アクティビティ式２５を計算しなければならないため、０−シナプスを排除できないからである。情報容量ＣＩにおいては、ビットストリームとして解釈される記憶行列をＨｕｆｆｍａｎコードまたはＧｏｌｏｍｂコードによって圧縮できると仮定された。したがって、ナイーブ興奮性および抑制性モデルにおける向上はそれぞれファクタ１／Ｉ（ｐ’１ε）および１／Ｉ（ｐ１ε）であるが、最適興奮性モデルにおいてはファクタ１／Ｉ（１−ｐ，１−ｐ１ε）にすぎない。すなわち、ここでは、想定し得るシナプスの一部１−ｐが欠けており、他の一部１−ｐ１εがゼロであり、また、残りのシナプスが１である。
【００５６】
以下の表は、Ｗｉｌｌｓｈａｗモデル（ナイーブ興奮性モデル、最適興奮性モデル、および、抑制性モデル）の異なる実施における記憶容量Ｃ、シナプス容量ＣＳ、および、情報容量ＣＩ（式１３〜１５参照）を示している。ｍｎはネットワークサイズであり、ｐ＜１は接続性であり、ｐ１εは記憶負荷であり、また、Ｔεは、所定の品質制約ε下での最大の記憶可能な情報を示している。漸近的な近似式は式３１から得られる。ナイーブ興奮性モデルにおいて、記憶可能な情報Ｔ’εおよび対応する記憶負荷ｐ’１εは、通常は、最適モデル変形例の場合よりも小さい。Ｉ（ｐ）およびＩ（ｐ，ｑ）はそれぞれ２値および３値ランダム変数の情報である。また、式は、最適興奮性モデルのシナプス容量ＣＳεを除き、完全接続性（ｐ＝１）に関しても正しい。すなわち、ここでは、分母においてｐがｐ１εに取って代えられなければならない。
【表１】
2010531030.tif 000058
【００５７】
ナイーブ興奮性モデルのための（洗練された）理論は存在しないが、数値評価は、それが常にかんばしくないことを示している。ナイーブ興奮性モデルがｐ１ε→０におけるスパースポテンシエーションおよび準対数スパースパターンに関してうまく行なうという望みは、ｐ＝１の場合だけに当てはまる。
【００５８】
図４は、異なるネットワーク接続性ｐにおいて、漸近的ネットワーク容量Ｃ、シナプス容量ＣＳ、および、情報容量ＣＩを記憶負荷ｐ１εの関数として示している（上記の表を参照）。曲線は、最適興奮性モデルにおける容量ＣＳｅ（ｐ＜１において、＝Ｃｅ），ＣＩｅおよび抑制性モデルにおける対応する容量Ｃｉ（＝Ｃｅ），ＣＳｉ，ＣＩｉを示している。ｐ＝１において（左上のパネル）、破線は、ここではＣＳｅと異なるＣｅ（＝Ｃｉ）を示している。ｐ＜１においては、抑制性モデルだけが大きな容量≧１ｂｐｓを得ることができる。
【００５９】
これらの結果に基づいて、以下を主張できる。
【００６０】
抑制性モデルのネットワーク容量Ｃ（非圧縮）は、興奮性モデルと同一であり、平衡ポテンシエーションのための適度に高い容量をもたらす。
【００６１】
ｐ１ε→０におけるスパースポテンシエーションの形態では、高い圧縮容量ＣＳ，ＣＩを完全接続ネットワークにおいてのみ得ることができる。ここでは、ＣＳ→∞およびＣＩ→１において興奮性モデルが抑制性モデルよりも優れている。
【００６２】
しかしながら、希薄ネットワークに関しては、ｐ１ε→０におけるスパースポテンシエーションが２つの理由により実行できない。すなわち、第１に、記憶行列の圧縮性がＡｐによって制限される。第２に、レベルεでのｈｉｆｉ−検索がｐ１ε→０において不可能である。なぜなら、これがｋ／ｌｏｇ  ｎ→０を示す（セクション）が、実際にはｋが少なくともｌｏｇ  ｎと共に増大しなければならないからである（ｐ１，ｍｉｎ＝１−ｐに関する式１７参照）。
【００６３】
ｐ１ε→１における高密度ポテンシエーションの形態では、抑制性モデルによってのみ高い容量ＣＳ，ＣＩが得られる。ここでは、ｐ→０の希薄ネットワークの場合であってもＣＳｉ→∞および０．８５≦ｌｉｍＣＩ≦１である。一方、興奮性モデルの容量は低い。
【００６４】
要約すると、完全ネットワーク接続性（ｐ＝１）においては、興奮性モデルおよび抑制性モデルの両方が高い容量を得ることができる。興奮性モデルは、記憶負荷ｐ１ε→０および非常にスパースなパターンｋ／ｌｏｇ  ｎ→０におけるスパースポテンシエーションに関して特に良好に行なうが、抑制性モデルは、ｐ１ε→１および中程度のスパース性ｋ／ｌｏｇ  ｎ→∞における高密度ポテンシエーションに関して最も高い容量を得る。しかしながら、ｐ＜１の希薄ネットワークの場合には、抑制性モデルだけが高い容量ＣＳ，ＣＩを得る。
【００６５】
計算の複雑性
Ｗｉｌｌｓｈａｗモデルの時間的コストは、本質的に、検索を行なうために必要なシナプス演算の数である。明らかに、これは、シーケンスデジタルコンピュータでの技術的実施のための重要な性能指標である。
【００６６】
学習のための時間的コストは全てのモデル変形例に関して同じである。すなわち、パターン連想の学習は以下の時間を要する。
【数５６】
2010531030.tif 000059
【００６７】
また、
【数５７】
2010531030.tif 000060
アクティブ単位を伴うアドレスパターンにおけるナイーブ検索（圧縮されていない記憶行列を用いる）も３つの全てのモデル変形例に関して同じ時間を要する。
【数５８】
2010531030.tif 000061
【００６８】
同様に、記憶容量に関しては、サイレントシナプスが飛ばされる場合に性能を高めることができる。したがって、ナイーブ興奮性モデル変形例、最適興奮性モデル変形例、および、抑制性モデル変形例における検索時間ｔｎｅｒｅｔ，ｔｅｒｅｔ，ｔｉｒｅｔは、機能的に関連するシナプスだけが例えば目標リストに明確に表わされると仮定すると、以下の通りである。
【数５９】
2010531030.tif 000062
【００６９】
以下の結論をなすことができる。
【００７０】
興奮性モデルは、ｐ１ε→０におけるスパースポテンシエーションに関して有益であるが、最適興奮性モデルは、所定のｐ＜１に関してのみ僅かな利点を有する。
【００７１】
一方、抑制性モデルは、ｐ１ε→１における高密度ポテンシエーションおよび任意の接続性ｐに関して常に有益である。
【００７２】
したがって、抑制性モデルを記憶されるべきパターン数に適合させることができる。すなわち、所定のｍ，ｎ，ｋ，ｌに関して、記憶されるべきパターンの実際の数ＭがＭεよりも小さい場合には、ネットワーク接続性を完全接続性からＭ＝Ｍε（ｐ）となるような適切な値ｐ＜１へと減らしてもよい。これにより、所望の検索品質および高い記憶容量を維持しつつ検索時間が短縮される。
【００７３】
圧縮ルックアップテーブルとの比較
連想メモリを実施するための一般的な方法は単にルックアップテーブルによるものである。この場合、各パターン連想ｕμ→ｖμは、テーブルの行のうちの１つに明示的に記憶される。Ｗｉｌｌｓｈａｗモデルは２層ニューラルネットワークであるが、ルックアップテーブルは、更なる隠し「グランドマザーセル」層ｗを有する３層ニューラルネットワーク（図５参照）としての解釈を有する。ここでは、各アドレスパターンｕμは、ｕからｗへの接続を表わすＭ×ｍシナプス行列Ｕの別個の行に記憶される。同様に、各コンテンツパターンｖμは、ｗからｖへの接続を表わすＭ×ｎシナプス行列Ｖの行に記憶される。
【００７４】
検索は容易である。すなわち、アドレスパターン
【数６０】
2010531030.tif 000063
が、層ｗニューロンの可能性を与える第１のシナプス行列Ｕと掛け合される。その後、最も大きな可能性を有する勝者ニューロンが選択されて、対応するコンテンツパターンが検索結果として戻される。
【００７５】
以前の研究は、Ｗｉｌｌｓｈａｗネットワークがルックアップテーブルのナイーブ実施よりもかなり効率的にスパースパターンの検索を実施できることを指摘してきた。しかしながら、ルックアップテーブルは、適切に圧縮される（例えば、ＨｕｆｆｍａｎまたはＧｏｌｏｍｂコーディングによって）場合には非常に効率的になることができる。ここでは、第１のシナプス行列Ｕの列（行ではない）を圧縮することが絶対不可欠である。このとき、圧縮ルックアップテーブル（ｃＬＵＴ）が情報容量ＣＩ→１を有し、また、検索が
【数６１】
2010531030.tif 000064
【００７６】
ステップのみを必要とする。同じパターン数Ｍを記憶する（
【数６２】
2010531030.tif 000065
として式７参照）完全接続圧縮Ｗｉｌｌｓｈａｗモデル（式３４，３６参照）と比較すると、これは、
【数６３】
2010531030.tif 000066
をもたらす。
【００７７】
ここで、使用される
【数６４】
2010531030.tif 000067
は、ｐ１ε→１のために使用された（式２２参照）。準対数、対数、または、超対数のｋ（ｎ）において記憶行列がスパースなもの（ｐ１ε→０）、バランスのとれたもの（０＜δ＜ｐ１ε＜１−δ）、あるいは、高密度なもの（ｐ１ε→１）である（式２１参照）ことを思い出されたい。
【００７８】
したがって、Ｗｉｌｌｓｈａｗモデルは、抑制性ニューロンと共に実施される場合には、高密度ポテンシエーション（ｐ１ε→１）においてのみｃＬＵＴよりも効率が良い。抑制性Ｗｉｌｌｓｈａｗモデルの利点は、大きいｋおよび小さいｌを有する非対称ネットワークにおいて最も重要である。ｍ＝ｎおよびｋ＝ｌとなることが必要とされる場合（例えば、自動連想に関して）、Ｗｉｌｌｓｈａｗモデルは、ν→λｄ／（１−ｄ）においては略線形なｋ＝ｎｄ（１／（１＋λ）＜ｄ＜１）に関してのみ優れている。
【００７９】
次の節で提案されるモデルは、高密度ポテンシエーションの最も効率的な形態で作用する抑制性Ｗｉｌｌｓｈａｗモデルおよび非対称なパターンアクティビティ（ｌ≪ｋ）を使用する。
【００８０】
情報検索のための４層システム
図６は、本発明の一実施形態に係る情報検索のための４層システムを示している。アドレス母集団ｕから第１の中間母集団ｗ１への第１の投影が抑制性Ｗｉｌｌｓｈａｗ連想メモリ（ＩＡＭ）である。ｗ１から他の中間母集団ｗ２およびコンテンツ母集団ｖへの第２および第３の投影は、前の節で説明した圧縮ルックアップテーブル（ｃＬＵＴ）である。アドレスパターンｕμが極度にスパースでない場合（通常の用途ではそうである）、この４層モデルにおける検索は、圧縮ルックアップテーブルの場合よりもかなり速い。
【００８１】
このモデルのための動機は、以下の所見によるものである。
【００８２】
アドレスパターンｕμは、一般に、圧縮ルックアップテーブル（または、劣悪な興奮性Ｗｉｌｌｓｈａｗモデル）の効率的な実施のために必要とされるほどスパースではない。例えば、一般的には、ｋ＝ｍｄ（ｄは一般に約０．５）であると仮定される場合がある。
【００８３】
ここでは、抑制性モデルは、特にコンテンツパターンｖμのアクティビティｌが極めて低い場合に、圧縮ルックアップテーブルよりも大きな利点を有する。
【００８４】
しかしながら、ｌは一般にｋと同じオーダーで増大し、自動連想においては例えばｋ＝ｌである。ランダムパターンｗμ１を有する中間層ｗ１を導入することにより、この層が望み通りにスパースとして選択されてもよい。ｎ１が層ｗ１のサイズであり、ｌ１が層ｗ１のパターンアクティビティであるとする。この場合、例えばｌ１＝２、および、
【数６５】
2010531030.tif 000068
を選択してもよい。
【００８５】
ここで、ｎ１は、ｎに関して式２３を解くことによって選択された。そのことは、高い忠実度を保証するために中間層ｗ１が可能な限り小さく設計されることを意味する。Ｍ、したがってｎ１があまり速く増大しない場合、すなわち、
【数６６】
2010531030.tif 000069
となる場合には、実際に高密度ポテンシエーションを得る（式１７）。この場合、この第１の投影のための検索時間は、
【数６７】
2010531030.tif 000070
である（式３６，２２参照）。
【００８６】
残るものは、非常にスパースなｗ１母集団からコンテンツ母集団ｖへの投影である。これは、Ｍ個の各連想毎に１つのセルを有する第２の中間グランドマザーセル母集団ｗ２を介して圧縮ルックアップテーブルによって最も効率的に実施することができる。なお、この第２の母集団は、第１の投影によって引き起こされる想定され得るエラーを修正できる。付加的な検索時間は、
【数６８】
2010531030.tif 000071
である。
【００８７】
したがって、総検索時間
【数６９】
2010531030.tif 000072
は、
【数７０】
2010531030.tif 000073
の場合、あるいは、一般的にはｋ＝ｍｄ、Ｍ≫ｍ２−２ｄｌｎｍにおいては、最初の部分
【数７１】
2010531030.tif 000074
によって決定付けられる。
【００８８】
したがって、十分に大きいＭにおいて、圧縮ルックアップテーブルと比べたこの４層モデルの相対的な効率は、一般に、
【数７２】
2010531030.tif 000075
である。
【００８９】
これは、４層システムが一般にルックアップテーブルの検索時間の一部分ｍ−ｄだけを必要とすることを示している。
【００９０】
同様に、２層抑制性Ｗｉｌｌｓｈａｗモデルと比べたこの４層モデルの相対的な効率は、
【数７３】
2010531030.tif 000076
【００９１】
である（式４２，３６，２２参照）。この場合、Ｍは２層モデルの最大パターン容量Ｍεに一致している（例えば、接続性ｐを適合させることにより）ものとする。したがって、４層モデルは、少なくともｎ１＜ｎに関して、２層抑制性Ｗｉｌｌｓｈａｗモデルよりも速い。また、４層モデルの大きな利点は、記憶可能なパターンの数Ｍがコンテンツパターン統計値ｌ，ｎに依存していないという点である。特に、４層モデルでは、任意の数のパターンを記憶できる（中間層ｗ１のサイズｎ１を増大することにより）が、抑制性Ｗｉｌｌｓｈａｗモデルのパターン容量は式１８によって制限される。
【００９２】
検索時間のこの大規模な改善は、ｗ１母集団のＭ個のランダムパターンを記憶するのを２回犠牲にする。すなわち、第１に、（暗に）抑制性Ｗｉｌｌｓｈａｗ行列において犠牲にする。第２に、ルックアップテーブルの行列Ｗ１において犠牲にする。抑制性Ｗｉｌｌｓｈａｗモデルの情報容量はほぼ１であるため、必要とされるメモリは、おおよそ、
【数７４】
2010531030.tif 000077
であり、これは、一般に、当初のアドレスパターンＭｋｌｏｇ  ｍを表わすために必要なメモリと比較して無視できる。ｋ≫ｌ１、および、一般にｌｏｇ  Ｍ〜ｌｏｇ  ｍ（Ｍがｍの多項式よりも速く増大しない場合）だからである。
【００９３】
なお、４層システムでは、実際には、アドレスパターンｕμを明示的に記憶する必要がない。したがって、ヘテロ連想シナリオの場合には、３層ルックアップテーブルと比べてメモリを保存することさえできる。
【００９４】
モデル変形例および最適化
圧縮希薄ルックアップテーブルの使用
先で紹介した４層アーキテクチャは、抑制性連想ネットワークを第１の処理段階として使用する。多くのパラメータに関して、特に４層システムで必要とされるパラメータ（すなわち、極めてスパースな母集団ｗ１）に関して、抑制性ネットワークが圧縮ルックアップテーブルよりも効率が良いことが示される場合がある。しかしながら、アドレスパターン統計値およびパターン連想の数に応じて、抑制性ネットワークの代わりに希薄ルックアップテーブルを使用することが時として良い場合がある。両方のモデル変形例は、それらが非常に特有のスパースな（すなわち、グランドマザーセルのような）応答特性を有する中間セル層を導入することによって検索をスピードアップするという共通点がある。
【００９５】
中間表示の最適化：ＵＵＵネットワークおよびＵＳＵネットワーク
抑制性Ｗｉｌｌｓｈａｗネットワークの解析は、検索エラー確率の２項近似に依存する。この近似は、特に小さな有限ネットワークにおいて、あるいは、アドレスパターンが十分にスパースでない場合に、Ｗｉｌｌｓｈａｗネットワークの性能の著しい過大評価を引き起こす可能性がある。
【００９６】
しかしながら、４層システムにおいては、エラー確率を最小にするために、層ｗ１の中間パターン表示（図６参照）が最適化されてもよい。標準的なモデルでは、サイズｎ１およびアクティビティｌ１を有するパターンｗμ１が無作為に生成される（式４０）。したがって、ｗ１ニューロンのいわゆる単位使用量は、パラメータＭおよびｌ１／ｎに伴ってほぼ２項的に分配される（ニューロンの単位使用量は、ニューロンが属するパターンの数として規定される）。
【００９７】
４層システムでは、例えば単位使用量が全てのｗ１ニューロンにおいてほぼ等しくなるように中間ｗ１パターンを任意に選択してもよい。すなわち、行列Ｗ１は、分散Ｅ（（ｕｕ［ｊ］−Ｍｌ１／ｎ１）２）が最小限に抑えられるという意味で単位使用量がほぼ均一となるように最適化されてもよい。ここで、Ｅはｊを超える期待値であり、Ｍｌ１／ｎ１は平均単位使用量である。これは、例えば、以下の欲張りアルゴリズムによって実現させることができる。
【００９８】
１．ＡＬＧＯＲＩＴＨＭ  ＵＵＵ：Ｍ１，ｎ１，ｌ１を与えて、均一な単位使用量を伴うサイズｎ１およびアクティビティｌ１のＭ個のバイナリパターンｗμ１を形成する。すなわち、
【数７５】
2010531030.tif 000078
は全てのｊ＝１，．．．，ｎ１に関して（ほぼ）同一である。
【数７６】
2010531030.tif 000079
【００９９】
探索数値シミュレーションは、ｗ１パターンのこの選択が真のエラー確率ｐ０１をかなり減少させることができることを示している。
【０１００】
本発明の更なる実施形態では、２項近似を下回ってもエラー確率ｐ０１を減少させることができる第２の可能な手法が存在する。すなわち、均一な単位使用量を伴うパターン組を形成する代わりに、（ほぼ）均一シナプス使用量と呼ばれてもよいパターン組を形成することもできる。ここでは、コンテンツニューロンｊのシナプス使用量は、樹枝状のニューロンｊにおけるアクティブ（１−）シナプスの数として規定される（ｐ＝１の完全接続性を仮定する）。
【数７７】
2010531030.tif 000080
【０１０１】
ここで、ＡおよびＡＩは、Ｗｉｌｌｓｈａｗモデルの興奮性解釈および抑制性解釈のそれぞれの記憶行列（式２および式２６）である。
【０１０２】
この場合も先と同様、同一のシナプス使用量の近似は、シナプス使用量の分散Ｅ（（ｓｕ［ｊ］−Ｅ（ｓｕ[ｊ]））２）の最小化を意味する。この場合も、Ｅはｊを超える平均値である。
【０１０３】
略均一なシナプス使用量を伴うパターン組を形成するための１つの想定し得る欲張りアルゴリズムは以下の通りである。
【０１０４】
１．ＡＬＧＯＲＩＴＨＭ  ＵＳＵ：Ｍ，ｎ１，ｌ１およびＭ個のバイナリパターンベクトルｕμを与える。その後、均一な単位使用量を伴うサイズｎ１およびアクティビティｌ１のＭ個のバイナリパターンｗμ１を形成する。すなわち、ｓｕ［ｊ］は全てのｊ＝１，．．．，ｎ１に関して（ほぼ）同一である（式５０参照）。
【数７８】
2010531030.tif 000081
【０１０５】
なお、ライン６，７において、バイナリパターンベクトルｕμおよびｗμ１は、それらのアクティブ（１−）構成要素の組と同一に扱われる。また、無論、このアルゴリズムが非常に均一なシナプス使用量を伴うパターン組を形成できないことに留意されたい。それにもかかわらず、欲張りアルゴリズムは、高速（小さいｌ１に関して）であり、シナプス使用量の分散が純粋なランダムパターンの場合よりも小さくなるようにパターン組を形成する。この特性は、結果として得られるエラー確率ｐ０１が実際に２項概算式１６よりも小さい１つの理由である。
【０１０６】
ＵＳＵアルゴリズムの変形例（“ＵＳＵ２”）において、ライン５の最小化は、シナプス使用量
【数７９】
2010531030.tif 000082
に関して行なわれてもよく、これにより、パターンｕμの記憶が予測される。このアルゴリズムは、確かに、エラー確率が２項近似式１６をかなり下回る非常に良好な性能をもたらす。しかしながら、この変形例は、かなり多数の「コリジョン」を層ｗ１中に形成する（すなわち、この場合、２つのｕ−パターンが同じｗ１パターンに対してマッピングされる）という欠点を有する。これは、外側出力層ｖにおいて重ね合わせの検索を引き起こす。
【０１０７】
したがって、ＵＳＵアルゴリズムの更に他の変形例（“ＵＳＵ３”）では、ライン５の最小化プロセスが、コリジョンをもたらし得る単位を積極的に回避する。特に、刺激パターンｕμのそれぞれは、層ｗ１中の対応するランダムパターンｗμ１に対してマッピングされてもよい。コリジョンの自然な意味は、２つの異なる刺激パターンが同じランダムパターンに対してマッピングされることであり、ハッシュアルゴリズムにおけるコリジョンの意味と非常に類似している。より正確には、２つのランダムパターンｗμ１１，ｗμ２１は、それらが等しい場合には、衝突すると言われる場合がある。
【０１０８】
一般に、４層システムの性能は、ｗμ１１およびｗμ２１が最小の重なりを有する場合に良好になる。ＵＳＵ３アルゴリズムは、シナプス使用量およびランダムパターン同士の重なり（したがって、コリジョンの数）の両方が最小となるようにランダムパターンｗμ１（μ＝１，．．．，Ｍ）の組を計算する。このように、ＵＳＵ３は、本発明の４層システムにおいて最も低い出力ノイズレベルをもたらす（図７参照）。すなわち、
【数８０】
2010531030.tif 000083
【０１０９】
ライン（１）は記憶行列Ａを初期化する。ライン（２）〜（３０）の主要なループはランダムパターンを計算する。すなわち、μ番目のループ実行はパターンｗμ１を計算する。ライン（３）はｗμ１に対応する配列ｐａｔＷ１を初期化する。ライン（４）は「予測」シナプス使用量ｓｕ’をを計算する。すなわち、ｓｕ’［ｊ］は、ニューロンｊがパターンｗμ１においてアクティブであると仮定してμ番目のパターンｕμを記憶した後のニューロンｊのシナプス使用量である。
【０１１０】
ライン（５）はバイナリ配列ｆｕｌｌＯｖｌｐを初期化する。ｆｕｌｌＯｖｌｐ［μ１］＝０のケースは、前に生成されたパターンｗμ１１が現在のパターンｐａｔＷ１と衝突しないこと、すなわち、２つのパターンが完全な重なりを有していないことを示している。ライン（６）〜（２８）によって規定されるループの各実行ｂでは、ｐａｔＷ１の１つのアクティブな構成要素が計算される。ライン（７）〜（１１）はバイナリ配列ｆｒｂを計算する。この場合、ｆｒｂ［ｊ］＝１は、ｐａｔＷ１におけるニューロンｊをアクティブにすることが「禁じられている」ことを示している。禁じられたニューロンは、本質的に、ｐａｔＷ１において既にアクティブであるニューロン、または、前のパターンのうちの１つとの完全な重なりを有するニューロンである。
【０１１１】
ライン（１２）は最小（予測）シナプス使用量を計算する。ライン（１３）は、ｐａｔＷ１において既にアクティブであるニューロン、禁止されていないニューロン、および、最小のシナプス使用量を有するニューロンのリストｍｉｎｓｕｌｉｓｔを計算する。結果として得られるリストが空である場合、ライン（１４）〜（１６）は、禁じられたニューロンを排除することなくリストを再計算する。結果として得られるリストが依然として空である場合、リスト（１７）〜（１９）は、ｐａｔＷ１において依然として非アクティブな任意のニューロンを考慮してリストを再計算する。ライン（２０）は、結果として得られるリストから１つの要素ｊ１を無作為に選択する。ライン（２１）はｐａｔＷ１［ｊ１］をアクティブにし、ライン（２２）〜（２４）はｆｕｌｌＯｖｌｐを更新する。ライン（２５）〜（２７）は記憶行列Ａを更新する。ライン（２９）は、現在計算されたパターンｐａｔＷ１に等しいｗμ１を設定する。
【０１１２】
この変形例は、前の変形例とほぼ同程度にうまく行なうが、ｗ１パターンを無作為に選択するよりも多くのコリジョンを生成しない。
【０１１３】
図７は、ＵＵＵ／ＵＳＵネットワークを使用することによる４層システム（図）の検索品質および記憶容量の向上を示している。第１の層ｕは、ｍ＝１０００およびｋ＝３００のパターンを記憶する。中間層ｗ１は有するパターンを記憶する。プロットは、半アドレスパターン（すなわち、ｃ＝１５０、ｆ＝０）を用いてアドレス指定する際のｋ／ｍ＝３００／１０００のアドレス層ｕおよびｌ１／ｎ１＝２／５００の中間層ｗ１について、記憶パターンの数Ｍに対する出力ノイズεを示している。異なる曲線は、層ｗ１におけるパターンを構成するための異なる方法に対応している。すなわち、ＲＮＤ：ランダムパターンを有する標準的なモデル。実線は厳密な理論に対応し、クロス（×）はシミュレーションに対応する。破線は、２項近似式１６によって予測された出力ノイズに対応する。ＵＵＵ：均一単位使用量アルゴリズムＵＵＵを使用してパターンが構成される（星）。ＵＳＵ：均一シナプス使用量アルゴリズムＵＳＵを使用してパターンが構成される（＋）。ＵＳＵ２／３：ＵＳＵアルゴリズムの２つの最適化されたバージョンを使用してパターンが構成される（三角形、ダイヤモンド）。なお、これらのアルゴリズムにおいて、出力ノイズは、２項近似によって予測されるよりもかなり少ない。
【０１１４】
図７は、ＵＵＵネットワークおよびＵＳＵネットワークが一般に標準的なＷｉｌｌｓｈａｗネットワークよりもかなり良好に機能することを示す数値シミュレーションからのデータをまとめている。同じ数Ｍの記憶パターンにおいては、検索エラーの確率をオーダーの大きさ分だけ減らすことができる。その結果、所定のエラーレベルεにおいては、パターン容量Ｍεがかなり増大する。例えば、ε＝１０−２のエラーレベルにおいては、ＵＵＵ／ＵＳＵアルゴリズムがパターン容量をファクタ２を超える大きさだけ増大させ、また、ＵＳＵ２／３アルゴリズムがパターン容量をファクタ３をかなり超える大きさだけ増大させる。最も興味深いことには、ＵＳＵ２／３は、２項近似式１６によって予測されるよりもかなり良好な結果をもたらす。エラー確率をファクタ１０を超える大きさだけ減少させることができ、それに対応して、パターン容量Ｍεも特に比較的低い忠実度に関してかなり増大される（例えば、ε＝１において、ほぼ３０％だけ増大される）。このことは、４層システムの性能がどちらかというと下限として見られるべきことを意味する。
【０１１５】
本発明は、以下の最良一致問題を解決するためのニューラルネットワークアーキテクチャを提案する。すなわち、アドレスパターンｕμからコンテンツパターンｖμへのＭ個の連想から成るデータベース｛（ｕμ→ｖμ）：μ＝１，．．．，Ｍ｝お、よび、通常は全てのノイズのあるアドレスパターン
【数８１】
2010531030.tif 000084
が与えられる場合、メモリタスクは、距離
【数８２】
2010531030.tif 000085
が最小となるようにインデックスμ（および、対応するコンテンツｖμ）を見出すことである。
【０１１６】
最良一致問題は最近隣探索としても知られており、また、効率的な解決策が広範囲におよぶ用途を有する。特に、図６に関連して前述した「情報検索のための４層システム」は、スパースプロトタイプパターンの大きなデータベースに依存するオブジェクト認識システムにおいて有益な用途を有する。特に、本発明に係るシステムは、検索時間およびメモリ要件の両方をオーダーの大きさ分だけ減らすことができる。
【０１１７】
特に、脳と同様に、従来技術の視覚オブジェクト認識システムは、知覚入力を、非常に高い次元であるがスパースな特徴ベクトル表示へと変換する。すなわち、この場合、ベクトル成分の大部分がゼロまたはほぼゼロである。
【０１１８】
新たなオブジェクトまたはオブジェクトビューのオンライン学習は、適切なスナップショットが対応するオブジェクトラベルと共に高次元特徴ベクトルとして大きなデータベースに記憶されるように機能する。その後、新たな知覚入力とデータベースに記憶された情報とを比較することによってオブジェクト認識を達成することができる。このことは、知覚入力からの特徴ベクトルに最も類似するデータベース特徴ベクトルを分類システムが見つけなければならないことを意味する。
【０１１９】
多数のオブジェクトまたはオブジェクトビューがデータベースで学習された場合には、最近隣探索が障害になる可能性がある。ここでは、ここで提案された最良一致問題に対する効率的な解決策が、効率的なオブジェクト認識システムを構築するのに寄与し得る。
【０１２０】
図８は、Ｗｅｒｓｉｎｇ  およびその仲間（Ｈ．Ｗｅｒｓｉｎｇ，  Ｅ．  Ｋｏｅｒｎｅｒ．  Ｌｅａｒｎｉｎｇ  ｏｐｔｉｍｉｚｅｄ  ｆｅａｔｕｒｅ  ｆｏｒ  ｈｉｅｒａｒｃｈｉｃａｌ  ｍｏｄｅｌｓ  ｏｆ  ｉｎｖａｒｉａｎｔ  ｏｂｊｅｃｔ  ｒｅｃｏｇｎｉｔｉｏｎ．  Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ，  １５：１５５９−１５８８，  ２００３；  Ｓ．Ｋｉｒｓｔｅｉｎ，  Ｈ．  Ｗｅｒｓｉｎｇ，  Ｅ．  Ｋｏｅｒｎｅｒ：  Ａ  ｂｉｏｌｏｇｉｃａｌｌｙ  ｍｏｔｉｖａｔｅｄ  ｖｉｓｕａｌ  ｍｅｍｏｒｙ  ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  ｏｎｌｉｎｅ  ｌｅａｒｎｉｎｇ  ｏｆ  ｏｂｊｅｃｔｓ．  Ｎｅｕｒａｌ  Ｎｅｔｗａｏｒｋｓ，  ２１  （１）：６５−７７，  ２００８参照）によって記載された視覚オブジェクト認識システムと同じ階層構造および機能を有する視覚オブジェクト認識のためのシステムのブロック図を示している。
【０１２１】
階層オブジェクト認識システムは、複雑さを増大させるという特徴を抽出する幾つかのニューラル層から成る。各階層段階で、ニューロンは、前の段階からの入力を表わすためにスパースコーディングパラダイム（Ｂ．  Ａ．  Ｏｌｓｈａｕｓｅｎ，  Ｄ．  Ｊ．  Ｆｉｅｌｄ：  Ｓｐａｒｓｅ  ｃｏｄｉｎｇ  ｗｉｔｈ  ａｎ  ｏｖｅｒｃｏｍｐｌｅｔｅ  ｂａｓｉｓ  ｓｅｔ：  Ａ  ｓｔｒａｔｅｇｙ  ｅｍｐｌｏｙｅｄ  ｂｙ  Ｖ１？  Ｖｉｓｉｏｎ  Ｒｅｓｅａｒｃｈ，  ３７：３３１１−３３２５，  １９９７参照）にしたがって最適な特徴を学習する。特徴学習を完了した後、オブジェクト学習および分類のためにシステムを使用できる。システムの基本的な役割は、最も低い入力層における各入力画像Ｉ（通常は、分類されるべきオブジェクトを含む）を最も高い層におけるスパースな（しかし、依然として漸進的な）アクティブ化ベクトルｕ＊へと変換することである。
【０１２２】
学習中、関連するオブジェクトラベルｖμを有するＭ個の入力画像Ｉμの組は、最も高い層のアクティブ化ベクトルｕ＊μ（μ＝１，．．．，Ｍ）の組をもたらすネットワークへと与えられる。このとき、例えばパーセプトロンまたはＬＶＱなどのプロトタイプベースの方法を使用して標準的な分類子を階層の上端に教え込むために、データセット（ｕ＊μ，ｖμ）を用いることができる。
【０１２３】
本発明によれば、階層の上端のこの標準的な分類子は、本発明の４層システムによって置き換えられ或いは補完されてもよい。特に、簡単な閾値要素を使用して、漸進的なパターンｕ＊μ（または、ＬＶＱによって抽出されるプロトタイプ）をバイナリパターンｕμへと変換してもよい。
【０１２４】
本発明の１つの実施形態では、パターンベクトルの平均アクティビティがｋであったように全てのニューロンのために単一の閾値が選択されてもよい。この場合、ｋは、スパースバイナリパターンベクトルを得るためにベクトルサイズｍと比べて小さく選択された。あるいは、各ニューロンがＭ／ｋ回アクティブとなるように閾値が各ニューロン毎に個別に選択されてもよい。または、ｋ個の最も興奮したニューロンが各パターンにおいてアクティブ化されてもよい。いずれにしても、バイナリアドレスパターンｕμの結果として得られる組は、その後、前述した本発明の４層システムを使用してオブジェクトラベルｖμと関連付けられてもよい。
【０１２５】
検索中、前記階層を使用して所定の入力画像
【数８３】
2010531030.tif 000086
が分類されてもよく、また、最も類似するトレーニング例（または、プロトタイプ）が戻されてもよい。そのため、特徴階層を介して、その後、閾値要素を介して
【数８４】
2010531030.tif 000087
を伝播することにより、学習中と同じ方法で
【数８５】
2010531030.tif 000088
がバイナリパターン
【数８６】
2010531030.tif 000089
へと変換されてもよい。最後に、前述した本発明の４層システムにおいて最良一致検索のために
【数８７】
2010531030.tif 000090
が使用されてもよく、また、最も一致するμおよびｖμが戻されてもよい。
【０１２６】
他の想定し得る用途は以下の用途を含む。
【０１２７】
これらの議論は、視覚オブジェクト認識のためだけでなく、無論、スパース高次元特徴ベクトルに基づく任意の他の認識タスク（例えば、聴覚音声認識など）のために適用することができる。
【０１２８】
パターンベクトルが高次元で且つスパースである場合、および、非常に多数のパターンベクトルを記憶しなければならない場合、想定し得る用途は、ＬＶＱ（学習ベクトル定量化）の効率的な実施を含む。
【０１２９】
同様に、クラスタプロトタイプが大きく且つプロトタイプベクトルが高次元でスパースである場合、想定し得る用途は、クラスタリングアルゴリズムまたは自己組織化マップの効率的な実施を含む。
【０１３０】
他の想定し得る用途は文書検索である。すなわち、ここでは、データベースは、例えばインターネットから取得されたテキスト文書の大きな組から成っていてもよい。各テキスト文書は、（場合により多くの）単語から成るとともに、キーワードの比較的小さい組を選択することによってインデックス付けすることができる。その結果は、各テキスト文書のためのスパースバイナリ特徴ベクトルである。キーワードの組から成るクエリーが与えられる場合、タスクは、最も関連する文書を見つけることである。この検索は、ここで提案された方法によって速めることができる。
【０１３１】
補足的な考えは、Ｎ−ｇｒａｍコードを適用することによってテキスト文書中の単語を表わすことである。例えば、単語“ｍｅｍｏｒｙ”の１グラム（またはモノグラム）は、単に、文字“ｍ”、“ｅ”、“ｍ”、“ｏ”，“ｒ”，“ｙ”である。同様に、２グラム（または、ダイグラム）は“ｍｅ”、“ｅｍ”、“ｍｏ”、“ｏｒ”、“ｒｙ”であり、また、３グラムは“ｍｅｍ”、“ｅｍｏ”、“ｍｏｒ”、“ｏｒｙ”である。それにより、スパースなフォールト・トレラントコードａｌｒａｄｙを単語レベルで非常に自然に得ることができる。例えば、２６文字のアルファベットにおいて、２グラムコードは、寸法２６６＝６７６のバイナリベクトルによって単語“ｍｅｍｏｒｙ”を表わす。この場合、５つの構成要素だけがアクティブである。この方法は、例えば、前の項目で説明したキーワードのためのフォールト・トレラントコードを実施するために使用できる。また、Ｎ−ｇｒａｍ方法は、この出願で議論された連想メモリモデルに適する態様でキーワード順序およびキーワードシーケンスをコード化するために使用できる。
【０１３２】
この出願で提案された抑制性ニューラルネットワークおよびアルゴリズムは、並列（ＶＬＳＩ）ハードウェアアーキテクチャで実施される場合に特に効率が良い。現在の並列ハードウェアはオンライン学習に関してあまり柔軟ではないため、特別な用途のための並列ハードウェア実施をもたらすことが依然として有益な場合がある。例えば、容易に学習されるオブジェクト認識システムの最良一致探索をハードウェア（ＶＬＳＩ、ＦＰＧＡなど）で実施することが有益である。
【０１３３】
要約すると、この出願で提案された抑制性ニューラルネットワークおよびアルゴリズムは、基礎をなすパターンベクトルが高次元で且つスパースな場合に、最良一致問題または最近隣問題を伴う任意の用途において使用できる。
【図１】
2010531030.tif 000105
【図２】
2010531030.tif 000106
【図３】
2010531030.tif 000107
【図４】
2010531030.tif 000108
【図５】
2010531030.tif 000109
【図６】
2010531030.tif 000110
【図７】
2010531030.tif 000111
【図８】
2010531030.tif 000112
【国際調査報告】
2010531030.tif 000113
2010531030.tif 000114
2010531030.tif 000115
2010531030.tif 000116
2010531030.tif 000117