(57)【要約】【課題】入力情報とは非常に距離の遠い参照情報も順次、想起可能な情報連想装置の提供を目的とする。【解決手段】入力情報から確率的に抽出された参照情報を、次の入力情報の一部または全部として新入力情報とし、抽出を再度行うという動作を繰り返すことで、一度では到達できない広範囲の参照情報を連想的に抽出する。この動作により人間の記憶の連鎖的な想起が可能となり、当初の入力情報からは非常に距離の遠い参照情報も順次、想起することができるようになる。【選択図】図１
2008181267.tif 000002
【特許請求の範囲】
【請求項１】
入力情報と、複数の参照情報と、前記入力情報と前記参照情報との距離を演算する複数の距離演算器と、前記複数の距離演算器からの出力を比較して参照情報を選択する比較器とからなる情報連想装置であって、
前記入力情報と前記参照情報の値が時間的に揺らぎ、前記入力情報の一部または全部を前記選択された参照情報に置き換えて次の入力情報とすることを特徴とする情報連想装置。
【請求項２】
揺らぎを発生する揺らぎ発生器と、前記入力情報及びまたは前記複数の参照情報に前記揺らぎ発生器の出力を加える混合器を具備したことを特徴とする請求項１に記載の情報連想装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ある入力情報に対し参照情報を連想的に想起する演算を実行する情報連想装置に関する。
【背景技術】
【０００２】
人間は目などの感覚器から得た信号を情報として特徴化し、それを記憶保持している。次に、それと類似した視覚入力があると、嘗ての記憶を思い出したり（想起）することができる。
【０００３】
同様の認識処理やマッチング処理を行おうとする例はニューラルネットワークなど非常に多くの手法があるが、どちらかというと機械的にこれを行おうとする部類に属するのがベクトルマッチングという手法である。これは入力器などから得られた信号の特徴量をベクトル化して、参照情報としてメモリーなどに記憶しておき、次に入力情報を同様に特徴ベクトル化して、参照情報との距離を演算し、その距離が小さいものが、入力情報と「似た」情報であると見なす情報処理法である。何よりもニューラルネットワークのように学習過程が無く、数値演算としてシンプルで曖昧性が無い。何よりも参照情報を後から見てその内容を理解できるという利点が大きい。
【０００４】
一方で、上記のように、参照情報の中に必ず近い入力情報がある場合は良いが、一般に、入力情報は誤差を含むなどして、参照情報と一致しないことが多い。このような状況に対応し、ベクトルマッチングの距離演算を確率的に実行することで、このような誤差を確率的に減らすアプローチが研究されている。このような例として、例えば、非特許文献１が挙げられる。
【０００５】
図１１に、従来例の情報連想装置の構成を示す。
【０００６】
図１１の情報連想装置は、デジタルデータの一致／不一致を確率的に演算する装置である。入力情報１０１と参照情報１０３とが一致する場合（両者とも１または両者とも０の場合）はＸＮＯＲ回路１２０により１が出力される。ＸＮＯＲ回路１２０の出力側にはパルス幅がランダムに変化する変動パルス幅発生器１２１が接続されている。ここで幅が変動するパルスが発生した後、ある時間後にラッチ信号１０５をラッチ回路１２２に入力すると、そのときの入力が保持される。ラッチ回路１２２には幅が変動する信号が入力されているので、ラッチ回路１２２が保持する値がＨｉｇｈとなる動作は確率的動作となる。そしてＨｉｇｈが保持されるとスイッチ１０９がＯＮとなり電流源１０７により電流が供給される。これら電流の総和を検出し、上位抽出回路１１１により比較することで、入力情報１０１の群と参照情報１０３の群が近いものほど電流が確率的に大きく検出されるので、ベクトル間の近さ（この場合ハミング距離）を確率的に演算することができるのである。
【非特許文献１】ＩＥＩＣＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｖｏｌ．Ｅ８４−Ｃ，  Ｎｏ．１２，  ２００１，  ｐｐ．１７２３−１７２９に記載の"Ａ  ＣＭＯＳ  Ｓｔｏｃｈａｓｔｉｃ  Ａｓｓｏｃｉａｔｉｖｅ  Ｐｒｏｃｅｓｓｏｒ  Ｕｓｉｎｇ  ＰＷＭ  Ｃｈａｏｔｉｃ  Ｓｉｇｎａｌｓ．"
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来の情報連想装置においては、変動パルス幅発生器の出力幅の分布の範囲で選択される参照情報は確率的に変化するものの、分布の範囲以外の参照情報が選択されることは無かった。
【０００８】
一方で、人間の記憶の想起については、範囲を限定されることなく、非常に広い範囲から情報を連想することができる。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するため、本発明の情報連想装置では、入力情報から確率的に得られた参照出力情報を、入力情報の一部に和して新入力情報とすることを繰り返すことにより、一度では連想できなかった、広範囲の参照情報を連想することを可能とする。
【発明の効果】
【００１０】
以上のように、本発明の情報連想装置によれば、人間のような記憶の連鎖的に想起を繰り返し、当初の入力情報とは非常に距離の遠い参照情報も順次、想起することができるようになる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の実施の形態について、図面を参照しながら説明する。
【００１２】
（実施の形態）
図１は、本発明の実施の形態における情報連想装置の構成図である。図１において、１は情報連想装置である。３は入力情報である。７は入力切替器である。９は参照情報出力器である。１１ａ，１１ｂ，１１ｃは参照情報である。本実施形態では参照情報１１が３つの場合について説明しているが、これはいくつであってもよい。１３は距離計算器である。１５ａ，１５ｂ，１５ｃは距離演算部であり距離計算器１３を構成している。距離演算部１５ａ，１５ｂ，１５ｃは先の参照情報１１ａ，１１ｂ，１１ｃと同数設けられており、本実施形態では３つとしている。１７は比較器であり、例えば距離演算部１５ａ，１５ｂ，１５ｃで演算されたそれぞれの距離値を相互に比較し、距離が最短と判断されたベクトルの参照情報１１ａ，１１ｂ，１１ｃのいずれかを出力する。
【００１３】
以上のように構成された情報連想装置について、以下、図１を用いその動作を説明する。
【００１４】
図１で入力情報３は入力切替器７を経て距離計算器１３へ向けて出力される。ここで距離演算部１５ａ，１５ｂ，１５ｃの数だけ出力されるため、例えば本実施形態では３つの出力が出されている。
【００１５】
最初のループでは、入力情報３の出力がそのまま入力切替器７を経て出力される。参照情報出力器９には複数の参照情報が格納されているが、上述の通り本実施形態では参照情報が３つの参照情報１１ａ，１１ｂ，１１ｃの場合について記載している。参照情報出力器９出力は距離演算器１３の各距離演算部１５ａ，１５ｂ，１５ｃにそれぞれ入力される。距離演算部１５ａ，１５ｂ，１５ｃではそれぞれ入力情報３と参照情報１１ａ，１１ｂ，１１ｃに従って距離演算を行い、結果を比較器１７に出力する。比較器１７では最も距離が小さい参照情報を出力する。比較器出力の一部は入力切替器へとフィードバックされる。
【００１６】
本発明の情報連想装置では、比較器１７からの出力が入力されると、入力切替器７は入力情報３からの信号にこれを和して出力するようにしているが、本実施形態ではその最も極端な例として、２回目以降のループでは比較器１７からの出力そのものを出力し、入力情報３からの情報は全く付加しないようにしている。すなわち２回目のループではの比較器１７出力と参照情報１１ａ，１１ｂ，１１ｃの距離が距離演算部１５ａ，１５ｂ，１５ｃで計算され、再び比較器１７で比較され、距離が一番近い参照情報が出力されることとなる。
【００１７】
ここで２回目以降のループでは比較器１７の出力は参照情報１１ａ，１１ｂ，１１ｃのいずれかであるのでこのままでは選択された参照情報が距離がゼロで最短となり、ずっと同じ比較器出力が得られることとなる。
【００１８】
しかし、本発明の情報連想装置では距離演算部１５ａ，１５ｂ，１５ｃに、ゆらぎを投入することで、比較器１７への出力に変化をもたせている。
【００１９】
図２は距離演算部１５ａの構成図である。図２では距離演算部の代表として１５ａを示したが、他の距離演算部１５ｂ，１５ｃにおいても同様の構成としている。なお、同図において図１と同一物には同一番号を附記し、説明を省略する。図２において２１ａはゆらぎ発生器である。例えば、ホワイトガウシアンノイズである。２３ａは混合器である。２５ａは要素間距離演算部である。２７ａは混合器出力である。なお図示しないが他の距離演算部１５ｂ，１５ｃにおいても同様にこれらの素子は配置されている。
【００２０】
以下、図２を用いてその動作を説明する。
【００２１】
入力切替器７からの出力にゆらぎ発生源２１ａから発生された出力を混合器２３ａで混合した混合出力２７ａとする。要素間距離演算部２５ａへ送り、混合出力２７ａと参照情報１１ａの要素間距離を要素間距離演算部２５ａにて演算し、結果を比較器１７へ出力する。
【００２２】
ゆらぎ発生源からのゆらぎ出力の大きさによって、混合出力２７ａと参照情報１１ａの距離が変化する。これは他の要素間距離演算部２５ｂ，２５ｃでも同様である。この効果により、必ずしも前回に最短距離と判断された比較器１７出力が次回も最短の参照情報であると判断されない確率が生じるのである。
【００２３】
なお図２では入力切替器７からの出力に揺らぎを加えたが、図３に示すように、参照情報に揺らぎを加えることも同様に可能である。
【００２４】
図３は距離演算部１５ａの別の構成図である。図３において図２と同一物には同一番号を附記し説明を省略する。図３において３１ａは混合器である。３３ａは混合器出力である。
【００２５】
図３の距離演算部１５ａでは参照情報１１ａと揺らぎ発生源２１ａからの揺らぎ信号を混合器３１ａにより混合し、混合器出力３３ａとして要素間距離演算部２５ａへ入力し、入力切替器７の出力との距離演算が実行し、結果を比較器１７へ出力するようにしている。図２の場合とは要素間距離演算部２５ａへ入力される信号を変えている。このような動作でも同様に前回の最短参照情報以外が選ばれる可能性が発生する。
【００２６】
以上の動作を以下、数式を用いて詳しく説明する。
【００２７】
ベクトル間距離にはユークリッド距離やマンハッタン距離といったいくつかの定義があるが、本実施形態ではマンハッタン距離を距離として説明する。マンハッタン距離（Ｄ）は、ｎ次元のベクトルｘ（ｉ）とｙ（ｉ）（ｉは１〜ｎの自然数）に対して、
【００２８】
【数１】
2008181267.tif 000003
と表される。すなわち各要素間の差分絶対値の総和である。
【００２９】
なお、ベクトルの各要素値は、例えばその最小値が０、最大値が１となるように正規化されている。
【００３０】
本実施形態の情報連想装置では、参照情報として、予めｎ次元のベクトルがｍ列からなるベクトル列Ｒ（ｉ,ｊ）が準備されているとし（ｉは１〜ｎの自然数、ｊは１〜ｍの自然数）、ｎ次元の入力ｘ（ｉ）と、ｊ列目のベクトル列Ｒ（ｉ,ｊ）のマンハッタン距離をＤ1（ｊ）とすると、
【００３１】
【数２】
2008181267.tif 000004
となる。
【００３２】
ここで、入力ｘ（ｉ）及び／または参照情報Ｒ（ｉ，ｊ）に揺らぎが加わる場合について考察する。図２または図３で示したように揺らぎはｘ（ｉ）とＲ（ｉ，ｊ）の両者または一方に加わっても良いが、ベクトル要素間で独立、すなわち無相関である方が望ましい。なお、以下ではゆらぎはｘ（ｉ）にのみ加わる図２の場合について考察する。また、ゆらぎの統計的な分布については、図４に示すような標準偏差１、平均０のガウシアン分布となるようにしている。このゆらぎξ（ｉ）を用いて、次の式で距離ＤM（ｊ）の演算を実行する場合について説明する。
【００３３】
【数３】
2008181267.tif 000005
ここで、αはゆらぎ投入率であり、α＝０で通常の距離演算となり、αが大きくなるほど、乱数の影響を強く受け、逆に元の距離演算では得られにくかった結果が得られるようになる。すなわちαが大きくなると、ランダム性の強い演算結果となる。ξ（ｉ）の性質を考えれば、αによりゆらぎの標準偏差を変調していると考えても良い。
【００３４】
本発明の情報連想装置は、距離演算を行って得られた演算結果情報ベクトルの各要素の一部を入力情報ベクトルの一部または全てにフィードバックさせるが、このような動作の効果を以下、説明する。ここで、時間ｔ＝ｔの時にＤM（ｊ）が最小のベクトルをＵ（ｉ，ｔ）とするとき、次の式で入力ベクトルｘ（ｉ）(t)を更新するとする。
【００３５】
【数４】
2008181267.tif 000006
ここでβは入力減衰率である。本実施形態で検討している条件は、β=０で表され、入力情報が毎回完全に更新されるような挙動を示す。すなわち、入力ベクトルｘ（ｉ）(t+1)が、時間ｔ＝ｔで距離が最小であったベクトルＵ（ｉ，ｔ）に完全に更新される場合である。式で示すと、
【００３６】
【数５】
2008181267.tif 000007
と表すことができる。
【００３７】
ここで、一般的なベクトルマッチングであれば、最も距離が近い参照情報ベクトルが選択され、入力が変化しなければ、そのまま選択される参照情報ベクトルも変化することはない。しかし、本発明の情報連想装置では、例えば式（２）で示されるように入力ｘ（ｉ）がξ（ｉ）だけ値がゆらぐため、その分、マンハッタン距離も変動して計算される。すなわち、距離演算結果も揺らいで、必ずしも正解ではない近い距離のベクトルが選択される場合が発生する。
【００３８】
このような確率的動作について説明する。
【００３９】
図５〜図１０は２次元ベクトルに対する連想動作について説明する図である。図５には１６９点の参照情報についてＲ（１,ｊ）をＸ軸にＲ（２,ｊ）をＹ軸にとって２次元にプロットしたものである（ｊ＝１〜１６９）。なお参照情報は０≦Ｒ（ｉ,ｊ）≦１と正規化している。
【００４０】
このような参照情報に対し、入力ｘ（ｉ）を入力すると、式（３）でα＝０とした場合の、揺らぎの無い従来のマンハッタン距離演算では、一番近いポイントが選択され、その後、そのポイントが入力ｘ（ｉ）となった後は、次も同じポイントが必ず距離ゼロで最小となるため、選択される。すなわち、連想的な動作は生じない。
【００４１】
これに対して、αが０より大きくなれば、ゆらぎによって厳密には最短でない距離の参照ベクトルが選択される確率が発生する。αが０.０３と小さい場合を図６に示した。この図６は式（３）と式（５）に従う連想動作を１００回行った場合について示した図である。この場合、ゆらぎを加えても非常に値が小さいために、ほとんどの場合は現在のベクトル位置の距離が最小となる。しかし、確率的に大きなゆらぎも発生するため、近傍のポイントが最短となる場合が発生し、その情報ポイントへ推移する。このため、図６に示すような参照情報間の移動が発生することとなる。近くの参照情報は内容が近いと考えられるため、このような動作は、近い知識（参照情報）の連想動作である。
【００４２】
さらに図７〜図１０に示すように、それぞれα＝０．０５,０．１，０．３，１．０と大きくしていくと、移動の確率が徐々に増加していく様子が観察される。すなわち同じ連想動作でも探索範囲が広がる。しかし、σが０．３を越えるぐらいから、移動がその時々のゆらぎに強く支配され、参照情報間の距離がほとんど影響しなくなってくる。例えば図に示したσ＝１.０の場合に顕著であるが、ほとんどランダムに参照情報間を推移する性質が見られるようになる。最適なαの値は、対象となる参照ベクトル群の性質に左右されるため、一意的に決定することはできないが、σの値によって連想の範囲や速度を規定する性質を制御できる。
【００４３】
以上、本発明の情報連想装置は、入力情報及びまたは参照情報に揺らぎを与えることで、距離演算を確率的に実行し、さらに確率的に得られた最短距離のベクトルを次の入力として一部または全部置き換えることで、入力を起点として参照情報を連想的に最短ベクトルとして選択することができるものである。このような動作は、入力情報や参照情報が完全に正しい情報でない場合、すなわち曖昧な情報の場合に効果を発揮する。すなわち、近い参照情報が順次選択されることにより、本来の正解に近い参照情報が選ばれる可能性が生じ、連想に近い動作を得ることができるのである。
【００４４】
また、距離についてはマンハッタン距離の場合について説明したが、ユークリッド距離など他の距離による比較でも同様の効果が得られる。さらには相関係数などによる評価でも同様の効果が得られることは言うまでも無い。
【００４５】
また、本実施の形態では見易さの観点から２次元のベクトルについて説明したが、さらに高次のベクトルでも同様の効果が得られる。
【００４６】
また、複数の情報連想装置を備え、それぞれの参照ベクトルの組み合わせを用いることにより、より高次の連想的動作を得ることもできる。このような処理は人間の無意識下での並列的な連想処理の心理学的モデルと非常に類似している処理である。
【００４７】
また、全てのベクトル要素を用いなくとも、各次元の表す意味が予め分かっている場合には、所望の情報に絞り込んで連想を行うこともできる。ベクトル要素を絞ることにより、着目的な機能を得ることができる。
【００４８】
また連想の途中で着目する次元を切り替えるなどして、さらに柔軟な情報処理を行うことも可能である。このような情報処理は、人間の連想と非常によく類似した結果を提供するものである。
【産業上の利用可能性】
【００４９】
本発明にかかる情報連想装置は、入力情報及びまたは参照情報に揺らぎを与えることで距離演算を確率的に実行して得られた最短距離のベクトルを次の入力として一部または全部置き換え、入力情報に近い参照情報を連想的に順次選択することができる機能を有する。このような動作は、入力情報や参照情報が曖昧性を有する場合に、入力情報に近い参照情報を得る処理に有用である。
【図面の簡単な説明】
【００５０】
【図１】本発明の実施の形態における情報連想装置の構成図
【図２】同実施の形態における距離演算部の構成図
【図３】同実施の形態における距離演算部の別の構成図
【図４】同実施の形態におけるゆらぎの統計的分布説明図
【図５】同実施の形態における２次元ベクトルに対する連想動作説明図
【図６】同実施の形態における連想動作説明図（ゆらぎ投入率α＝０．０３）
【図７】同実施の形態における連想動作説明図（ゆらぎ投入率α＝０．０５）
【図８】同実施の形態における連想動作説明図（ゆらぎ投入率α＝０．１）
【図９】同実施の形態における連想動作説明図（ゆらぎ投入率α＝０．３）
【図１０】同実施の形態における連想動作説明図（ゆらぎ投入率α＝１）
【図１１】従来の情報連想装置の構成図
【符号の説明】
【００５１】
１  情報連想装置
３  入力情報
７  入力切替器
９  参照情報出力器
１１ａ，１１ｂ，１１ｃ  参照情報
１３  距離計算器
１５ａ，１５ｂ，１５ｃ  距離演算部
１７ 比較器
２１ａ，２１ｂ，２１ｃ  ゆらぎ発生器
２３ａ，２３ｂ，２３ｃ，３１ａ，３１ｂ，３１ｃ  混合器
２５ａ，２５ｂ，２５ｃ  要素間距離演算部
２７ａ，２７ｂ，２７ｃ，３３ａ，３３ｂ，３３ｃ  混合器出力
１０１  入力情報
１０３  参照情報
１２０  ＸＮＯＲ回路
１０５  ラッチ信号
１２２  ラッチ回路
１０９  スイッチ
１０７  電流源
１１１  上位抽出回路
ｘ（ｉ）  入力
Ｒ（ｉ，ｊ）  参照情報
ξ（ｉ）  ゆらぎ
ｉ  １〜ｎの自然数
ｊ  １〜ｍの自然数
α  ゆらぎ投入率
Ｄ，Ｄ1，ＤM  マンハッタン距離
【図１】
2008181267.tif 000008
【図２】
2008181267.tif 000009
【図３】
2008181267.tif 000010
【図４】
2008181267.tif 000011
【図５】
2008181267.tif 000012
【図６】
2008181267.tif 000013
【図７】
2008181267.tif 000014
【図８】
2008181267.tif 000015
【図９】
2008181267.tif 000016
【図１０】
2008181267.tif 000017
【図１１】
2008181267.tif 000018