(57)【特許請求の範囲】
【請求項１】
予め与えられる複数の画像の空間周波数成分を、ニューロンの平衡状態として記銘するニューラルネットワークと、
入力画像を空間周波数成分に直交変換して前記ニューラルネットワークに入力する変換手段と、
前記変換手段の入力動作に伴う状態遷移を経て前記ニューラルネットワークから前記ニューロンの状態を取り出し、前記状態が示す空間周波数成分を逆直交変換して想起画像を得る逆変換手段と
を備え、
前記ニューロンは、複素空間上の絶対値一定の複素数を状態にとる複素ニューロンであり、
前記変換手段は、
前記入力画像に離散フーリエ変換を施して空間周波数成分を求めるフーリエ変換手段と、
前記フーリエ変換手段によって求めた空間周波数k、lの振幅成分|v(k,l)|および位相成分α(k,l)を次式に基づいて多重化し、
Ｘphase(k,l)=exp[i(α(k,l)+cos-1(|v(k,l)|/vmax))]  ・・・［式１］
（ただし、vmaxは、|v(k,l)|の最大値）
絶対値一定の複素数からなる行列Ｘphaseを生成する位相多重化手段と、
前記行列Ｘphaseの各要素を前記複素ニューロンの状態に設定する位相設定手段とを具備し、
前記逆変換手段は、
前記複素ニューロンの状態からなる行列Ｘを次式に基づいて逆変換し、
ｕ=Re[IDFT(Ｘ)]     ・・・［式２］
（ただし、Re[]は実部を抽出する関数、IDFT()は逆離散フーリエ変換）
想起画像ｕを得る
ことを特徴とする画像連想装置。
【請求項２】
請求項１に記載の画像連想装置において、
前記ニューラルネットワークは、
所定位相を平衡状態として常に記銘される複素ニューロンを具備し、状態遷移によって該複素ニューロンに生じる所定位相からの位相ずれに応じて、複素ニューロン全体の位相シフトを補正する
ことを特徴とする画像連想装置。
【請求項３】
請求項１に記載の画像連想装置において、
前記ニューラルネットワークは、
前記空間周波数成分の少なくとも一つの成分に対応するニューロンを省くことによりニューロン数が削減される
ことを特徴とする画像連想装置。
【請求項４】
請求項１に記載の画像連想装置において、
前記ニューラルネットワークは、
前記空間周波数成分の直流成分に対応するニューロンの状態を一定値とする
ことを特徴とする画像連想装置。
【請求項５】
コンピュータを、請求項１ないし請求項４のいずれか１項に記載の前記変換手段、前記ニューラルネットワークおよび前記逆変換手段として機能させるための画像連想プログラムを記録した
ことを特徴とする機械読み取り可能な記録媒体。
【請求項６】
請求項１ないし請求項４のいずれか１項に記載の画像連想装置と、
被写界を撮像して入力画像を生成する撮像手段と、
前記撮像手段により生成された入力画像を前記画像連想装置に入力して画像連想を実施し、画像連想の結果に基づいて経路案内情報を生成する情報生成手段と
を備えたことを特徴とするナビゲーションシステム。
【請求項７】
請求項１ないし請求項４のいずれか１項に記載の画像連想装置と、
入力画像を前記画像連想装置に入力して、前記画像連想装置内の前記ニューラルネットワークのエネルギーを検出するエネルギー検出手段と、
前記エネルギー検出手段により検出された前記エネルギーに基づいて、入力画像と前記ニューラルネットワークに予め記銘される画像との照合度を評価する評価手段と
を備えたことを特徴とする画像照合システム。
【請求項８】
予め与えられる複数の画像の空間周波数成分を算出して、前記算出結果に基づいてニューロンネットワークのニューロンの平衡状態として記銘する準備ステップと、
外部より入力される入力画像を空間周波数成分に直交変換して前記ニューラルネットワークに入力する変換ステップと、
前記変換ステップによって入力された前記入力画像の空間周波数成分に伴う前記ニューロンの状態遷移を前記ニューラルネットワークから取得して、前記ニューロンの状態が平衡状態に到達したか否かを判定する判定ステップと、
前記平衡状態に達したと前記判定ステップによって判定された時の前記ニューロンの状態が示す空間周波数成分を逆直交変換して想起画像を得る逆変換ステップと
を有し、
前記ニューロンは、複素空間上の絶対値一定の複素数を状態にとる複素ニューロンであり、
前記変換ステップは、
前記入力画像に離散フーリエ変換を施して空間周波数成分を求めるフーリエ変換ステップと、
前記フーリエ変換ステップによって求めた空間周波数ｋ、ｌの振幅成分|v(k,l)|および位相成分α(k,l)を次式に基づいて多重化し、
Ｘphase(k,l)=exp[i(α(k,l)+cos-1(|v(k,l)|/vmax))]  ・・・［式１］
（ただし、vmaxは、|v(k,l)|の最大値）
絶対値一定の複素数からなる行列Ｘphaseを生成する位相多重化ステップと、
前記行列Ｘphaseの各要素を前記複素ニューロンの状態に設定する位相設定ステップとを具備し、
前記逆変換ステップは、
前記複素ニューロンの状態からなる行列Ｘを次式に基づいて逆変換し、
ｕ=Re[IDFT(Ｘ)]     ・・・［式２］
（ただし、Re[]は実部を抽出する関数、IDFT()は逆離散フーリエ変換）
想起画像ｕを得る
ことを特徴とするコンピュータによる画像連想方法。
【請求項９】
請求項８に記載の画像連想方法において、
前記ニューラルネットワークの複素ニューロンを、所定位相を平衡状態として常に記銘する記銘ステップと、
前記状態遷移によって該複素ニューロンに生じる前記所定位相からの位相ずれに応じて、前記複素ニューロン全体の位相シフトを補正する補正ステップを有する
ことを特徴とする画像連想方法。
【請求項１０】
請求項８に記載の画像連想方法において、
前記空間周波数成分の少なくとも一つの成分に対応するニューロンを省いて、前記ニューラルネットワークのニューロン数を削減する削減ステップを有する
ことを特徴とする画像連想方法。
【請求項１１】
請求項８に記載の画像連想方法において、
前記ニューラルネットワークの前記空間周波数成分の直流成分に対応するニューロンの状態を一定値に設定する設定ステップを有する
ことを特徴とする画像連想方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力画像に基づいて自己連想を行い、想起画像を生成する画像連想装置に関する。
本発明は、画像連想装置をコンピュータ上で実現するためのプログラム記録媒体に関する。
本発明は、画像連想装置を利用したナビゲーションシステムに関する。
本発明は、画像連想装置を利用した画像照合システムに関する。
本発明は、入力画像に基づいて自己連想を行い、想起画像を生成する画像連想方法に関する。
【０００２】
【従来の技術】
我々人間は、例えば「赤い」という言葉から「りんご」を思い出し、「梅干し」からは「酸っぱい」を思い出す。また家族や友人の「顔の一部」を見れば，「顔の全体像」をすぐに想い描くことができる．このような情報処理を連想と呼び，前者の「赤い」から「りんご」を思い出す連想を相互連想、後者の「顔の一部」から「顔の全体像」を思い出す連想を自己連想と呼ぶ。
【０００３】
Hopfieldは、ニューラルネットワークにエネルギーという量を導入し、エネルギーの極小化を目指して動作する相互結合型のニューラルネットワークを提案した。
このようなニューラルネットワークにおいて、複数の画像をエネルギー極小の状態に配置し（以下、この動作を『記銘する』という）、出発点の状態としてある入力画像をニューロンに与える。すると、ネットワーク内のニューロンは、エネルギー極小を目指して動作し、記銘された画像の一つに到達する。このような動作により、自己連想の処理が実現される。
【０００４】
ところで、この種のニューラルネットワーク上で多値画像を表現する手法として、次の２つの内容が従来知られている。
▲１▼多値画像の画素値を、２値ニューロンの組み合わせに対応付けて表現するもの。
（例えば、Y. Zhou, R. Chellappa, A. Vaid, and B. K. Jenkins，"Image Restoration Using a Neural Network，"IEEE Trans. on Acoustics, Speech, and Signal Processing, vol.36, no.7, pp.1141-1151 (1988)、および M.Takeda and J.W.Goodman，"Neural networks for computation: Number representations and programming complexity，"Appl. Opt., vol.25, pp.3033-3046 (1986)）
▲２▼多値画像の画素値を、複素ニューロンの位相に対応付けて表現するもの。
（例えば、Donq-Liang Lee and Wen-June Wang，"A multivalued bidirectional associative memory operating on a complex domain，"Neural Networks, vol.11, pp.1623-1635, (1998)）
【０００５】
【発明が解決しようとする課題】
しかしながら、前者の従来技術▲１▼では、画素単位に複数の２値ニューロンを設けなければならない。そのため、画像全体を表現するにあたってニューロン数が極端に増大しやすく、ハード構成が複雑化したり、演算処理量が多くなるという問題点があった。
また、後者の従来技術▲２▼では、１つの複素ニューロンの位相状態を用いて複数階調を簡潔に表現できる。しかしながら、真っ白な画素値と真っ黒な画素値が、隣り合った位相状態として不自然に表現される。そのため、複素ニューロンのわずかな状態変化によって、画面内の白階調が黒階調に反転してしまうなど、画像処理上の不具合を生じやすい。
【０００６】
そこで本発明では、上述した問題点に鑑みて、多値画像の有効な表現技術を提案し、その技術を利用した画像連想装置などを提供することを目的とする。
【０００７】
【課題を解決するための手段】
以下、課題を解決するための手段を請求項ごとに説明する。なお、ここでの説明は、例示または参考のためであり、本発明を限定するものではない。
【０００８】
《請求項１》
請求項１の画像連想装置は、複数の画像（以下『記銘画像』という）の空間周波数成分が、ニューロンの平衡状態としてニューラルネットワークに記銘される。変換手段は、入力画像を直交変換して空間周波数成分を求め、この空間周波数成分をニューラルネットワークに入力する。
ニューラルネットワークでは、この入力動作によりエネルギーが増大し、平衡状態からずれる。その結果、ニューラルネットワーク内では、新たな平衡状態へ向かって状態遷移が生じる。ここで、入力画像の空間周波数成分が、特定の記銘画像の空間周波数成分を想起させ得る程度に類似していた場合、新たな平衡状態として、この特定の記銘画像の空間周波数成分に到達する。
逆変換手段は、このような状態遷移を経て、ニューロンの状態（平衡状態または平衡状態へ収束途中の状態）を取り出す。逆変換手段は、この状態が示す空間周波数成分を逆直交変換して想起画像を得る。
【０００９】
さらに、請求項１の画像連想装置は、複素ニューロンを使用する。この複素ニューロンは、絶対値一定の複素数を状態としてとることができる。
フーリエ変換手段は、入力画像に離散フーリエ変換を施して空間周波数成分を求める。このとき得られる空間周波数成分は、振幅成分|v|と位相成分αとを有する。
位相多重化手段は、この振幅成分|v|と位相成分αとを［式１］を用いて多重化する。
Ｘphase(k,l)=exp[i(α(k,l)+cos-1(|v(k,l)|/vmax))]・・・［式１］
（ただし、vmaxは、|v(k,l)|の最大値）
このように多重化して得られる行列Ｘphaseの要素は、絶対値一定の複素数となる。位相設定手段は、この行列Ｘphaseの各要素を複素ニューロンの状態に設定する。ニューラルネットワークは、この入力動作により平衡状態からずれる。そのため、ニューラルネットワークでは、想起しうる程度に類似する平衡状態に向かって状態遷移が生じる。
逆変換手段は、このような状態遷移を経て、複素ニューロンの状態からなる行列Ｘを取り出す。逆変換手段は、この行列Ｘを［式２］を用いて逆変換し、多重化された位相値から直接的に想起画像ｕを生成する。
ｕ=Re[IDFT(Ｘ)]                 ・・・［式２］
（ただし、Re[]は実部を抽出する関数、IDFT()は逆離散フーリエ変換）
【００１０】
《請求項２》
一般に、ニューラルネットワークの状態遷移則が、複素ニューロンの位相シフトに対して不変な性質を有する場合、ある平衡状態から一律に位相シフトした状態も平衡状態となりうる。そのため、状態遷移の過程で位相シフトが生じると、誤った平衡状態に辿り着き、所望の想起画像ｕを想起できないといった不具合が生じる。
そこで、請求項２に記載の画像連想装置では、基準の複素ニューロンを用意し、既知の所定位相を平衡状態として記銘する。ニューラルネットワークは、この基準の複素ニューロンの位相ずれを検知して、複素ニューロン全体の位相シフトを補正する。その結果、上記不具合を確実に回避することが可能となる。
【００１１】
《請求項３》
ニューラルネットワークのニューロン数を削減することにより、演算処理量やハードウェア構成を削減できることは公知である。しかしながら、従来技術のように、画像の画素値をニューロンに割り当てた場合、ニューロン数の削減は、画像の画素間引きや階調数の減少に直結する。そのため、画像劣化を回避することは、非常に困難であった。
しかしながら、請求項３の発明では、画像の空間周波数成分をニューロンに割り当てる。したがって、ニューロン数の削減は、空間周波数成分の部分的な省略に該当する。したがって、視覚的に目立たない空間周波数成分（例えば高域成分など）に対応するニューロンを削除することにより、画像劣化をなるべく回避しながらニューロン数を効果的に削減することが可能となる。
【００１２】
《請求項４》
請求項４に記載の画像連想装置では、空間周波数の直流成分に対応するニューロンの状態を一定値とする。したがって、画像想起の過程において直流成分の寄与はなくなる。その結果、夕暮れの暗い入力画像から出発して、昼間の明るい想起画像に到達するなどの柔軟かつ自然な画像連想が可能となる。
このような画像連想は、画素値を直にニューロンの状態に割り当てる従来技術においては、特に困難な動作であった。
【００１３】
《請求項５》
請求項５に記載の記録媒体を使用することにより、コンピュータ上において、請求項１ないし請求項４のいずれか１項に記載の画像連想装置を実現することが可能となる。
【００１４】
《請求項６》
請求項６に記載のナビゲーションシステムは、請求項１ないし請求項４のいずれか１項に記載の画像連想装置を用いて、被写界の画像から想起画像を連想する。
このとき、車や通行人のような一過性の被写体や視点の僅かなずれなどに影響されずに、道筋や建物などから正しい想起画像に到達することができる。
情報生成手段は、この画像連想の結果に基づいて現在位置や被写界の様子などを推測し、経路案内情報を生成する。したがって、測位誤差が大きい状態や測位不可能な状態においても、被写界の画像に基づいて経路案内情報を柔軟に生成することが可能となる。
【００１５】
《請求項７》
請求項７に記載の画像照合システムは、請求項１ないし請求項４のいずれか１項に記載の画像連想装置に入力画像を入力して、ニューラルネットワークのエネルギーを検出する。このエネルギーには、連想の経過や状況がつぶさに現れる。そこで、評価手段は、このエネルギーから連想の容易さなどを判断し、入力画像と記銘画像との照合度を評価する。
【００１６】
《請求項８〜１１》
請求項８〜１１に記載の発明は、請求項１〜４の画像連想装置と同様の課題解決手段を、コンピュータによる画像連想方法として実現する。
【００２０】
【発明の実施の形態】
以下、図面に基づいて本発明における実施の形態を説明する。
【００２１】
《第１の実施形態》
【００２２】
（画像連想装置１０の構成説明）
図１は、第１の実施形態における画像連想装置１０の構成を示す図である。
図１において、入力画像は、２次元離散フーリエ変換部（２-Ｄ ＤＦＴ部）１１に与えられる。この２次元離散フーリエ変換部１１からは、空間周波数成分ごとに振幅成分|v|および位相成分αがそれぞれ出力される。この振幅成分|v|は、位相化部１３を介して多重化部１４に与えられる。また、位相成分αは、多重化部１４に直接与えられる。この多重化部１４の出力は、量子化部１５に与えられる。この量子化部１５の出力は、複素数型連想記憶モデル（ＣＡＭＭ）１６に与えられる。
【００２３】
このＣＡＭＭ１６の状態は、２次元逆離散フーリエ変換部（２-Ｄ ＩＤＦＴ部）１７に与えられる。この２次元逆離散フーリエ変換部１７の出力は、実部抽出部１８を介して処理された後、想起画像ｕとして外部に出力される。
また、画像連想装置１０には、ＣＡＭＭ１６に画像を随時に記銘するための記銘処理部１９と、ＣＡＭＭ１６の位相ずれを補正するための位相補正部２０とが設けられる。
【００２４】
次に、上述したＣＡＭＭ１６の内部構成について説明する。
ＣＡＭＭ１６の内部には、Ｎ個の複素ニューロン２１が設けられる。これら複素ニューロン２１の各状態ｘは、次式に示されるＫ個の離散的な複素数値をとる。
x=exp(iθKs)  ，s=0,1,・・・K-1      ・・・［式３］
ただし、θK ＝２π／Ｋ
これら複素ニューロン２１は、エルミート行列である結合荷重行列Ｗによって互いに結合される。すなわち、ニューロンｊからニューロンｋへの結合荷重をＷｋｊと表すと、ＷｋｊとＷｊｋは複素共役の関係となる。なお、自己への結合荷重Ｗｋｋは常にゼロとする。
【００２５】
ここで、複素ニューロン２１の各状態ｘからなる縦ベクトルＸと、結合荷重行列Ｗとを用いて、ＣＡＭＭ１６のエネルギー関数Ｅ（Ｘ）を
E(X)=-1/2(X*tWX)          ・・・［式４］
と定義する。なお、上式中の＊は共役を表し、ｔは転置を表す。
このようなエネルギー関数Ｅ（Ｘ）を最大限に減少させる状態遷移規則は、
x(t+1;k)=csgn(u(t;k))      ・・・［式５］
ただし、
【数１】
0004404285.tif 000002
【数２】
0004404285.tif 000003
となる。なお、上式中のｘ（ｔ；ｋ）は、時刻ｔにおけるｋ番目の複素ニューロン２１の状態を表す。また、［θ］は、θを超えない最大整数を表す。
【００２６】
（画像連想装置１０の動作説明）
図２は、画像連想装置１０の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って、動作説明を行う。
【００２７】
ステップＳ１：  記銘処理部１９は、Ｐ個の記銘画像の空間周波数成分に基づいて、複素ニューロン２１の状態ベクトル｛Ｘ1，Ｘ2，・・ＸP｝を定める。なお、状態ベクトルの具体的な求め方は、後述するステップＳ２〜Ｓ５と同様の手順であるため、ここでの説明を省略する。
記銘処理部１９は、これらの状態ベクトルをＣＡＭＭ１６の平衡状態とするため、結合荷重行列Ｗを
【数３】
0004404285.tif 000004
とする。なお、上式中のＩNは、Ｎ×Ｎの単位行列を表す。また、Ｐは、記銘する画像の数を表す。
記銘処理部１９は、求めた結合荷重行列ＷをＣＡＭＭ１６に設定する。
【００２８】
ステップＳ２：  ２次元離散フーリエ変換部１１は、Ｌ×Ｌ画素からなる入力画像ｕ＝｛ｕ（ｍ，ｎ）｝を取り込み、次式を用いて２次元離散フーリエ変換を行い、空間周波数(k,l)の成分v(k,l)を求める。
【数４】
0004404285.tif 000005
【数５】
0004404285.tif 000006
ただし、θL＝２π／Ｌ
このとき、図３の斜線部に示すような高域成分については、ニューロン数を制限するため、計算を省略する。また、直流成分についても、以下の処理で使用しないため、計算を省略する。
【００２９】
ステップＳ３：  上記で求めた周波数成分v(k,l)は、振幅成分|v(k,l)|と位相成分α(k,l)とからなる複素数である。位相化部１３は、この振幅成分|v(k,l)|を、
【数６】
0004404285.tif 000007
【数７】
0004404285.tif 000008
を用いて位相化する。
【００３０】
ステップＳ４：  多重化部１４は、位相化された振幅成分γ(k,l)と、位相成分α(k,l)とを、
【数８】
0004404285.tif 000009
を用いて多重化し、位相行列Ｘphaseを作成する。
【００３１】
ステップＳ５：  多重化部１４は、位相行列Ｘphaseの各要素を、所定の位相刻み（２π／Ｋ）で量子化し、量子化位相行列Ｘquanを作成する。多重化部１４は、この量子化位相行列Ｘquanの各要素を、各複素ニューロン２１の状態に割り当てて状態設定を行う。なお、この量子化工程において、所定の不等間隔な位相刻みで量子化を行ってもよい。
このとき、直流成分に対応する複素ニューロン（図１に示す直流ニューロン２１ｄ）については、位相値π／２として状態設定がなされる。
【００３２】
ステップＳ６：  ＣＡＭＭ１６は、［式５〜７］に示した状態遷移規則に従って、エネルギー関数Ｅ（Ｘ）を極小化する方向へ向かって、状態遷移を行う。
【００３３】
ステップＳ７：  ＣＡＭＭ１６は、［式４］を用いてエネルギーＥ（Ｘ）を算出し、エネルギーＥ（Ｘ）の変化分から、平衡状態に到達したか否かを判断する。ＣＡＭＭ１６は、平衡状態と判断するまで、ステップＳ６に動作を戻し、状態遷移を繰り返す。一方、ＣＡＭＭ１６は、平衡状態と判断すると、状態遷移を停止して、ステップＳ８に動作を移行する。
（なお、ＣＡＭＭ１６は、エネルギーＥ（Ｘ）の値が平衡状態に近いと見なしうる程度に小さくなった段階で状態遷移を停止して、連想時間を短縮してもよい。）
【００３４】
ステップＳ８：  位相補正部２０は、直流ニューロン２１ｄの位相を検出する。記銘画像を記銘するに際して、直流ニューロン２１ｄの位相値はπ／２に設定されている。したがって、直流ニューロン２１ｄの位相値がπ／２であれば、記銘された平衡状態に到達したと判断できる。一方、直流ニューロン２１ｄの位相値がπ／２以外の場合、状態遷移規則が位相シフトに不変となる性質を有するため、記銘時の平衡状態から位相シフトを生じたと判断できる。
そこで、位相補正部２０は、直流ニューロン２１ｄの位相ずれの分だけ、複素ニューロン２１全体の位相を補正し、記銘時の平衡状態へ戻す。
【００３５】
ステップＳ９：  ２次元逆離散フーリエ変換部１７は、ＣＡＭＭ１６から複素ニューロン２１の各状態を取り出し、量子化位相行列Ｘquanを作成する。このとき、ニューロン数を削減するために省略された周波数成分については、位相値π／２が設定される。また、直流成分については、適当な平均輝度レベルに対応する位相値が設定される。
２次元逆離散フーリエ変換部１７は、このように作成した量子化位相行列Ｘquanを、
【数９】
0004404285.tif 000010
【数１０】
0004404285.tif 000011
を用いて逆フーリエ変換する。
【００３６】
ステップＳ１０：  実部抽出部１８は、逆フリーエ変換結果IDFT(Ｘquan)から実部を抽出し、
ｕ=Re[IDFT(Ｘquan)]                  ・・・［式２ａ］
想起画像ｕを得る。なお、振幅成分は正規化されているため、ここで適当な階調幅（例えば、ステップＳ３で求めたvmaxなど）を想起画像ｕに乗じて、階調幅を調整してもよい。
以上の一連の動作により、画像連想装置１０の画像連想動作が実施される。
なお、上述した［式２］および［式２ａ］は、次のように証明される。
【００３７】
（式２および式２ａの証明）
２次元離散フーリエ変換では、一対の空間周波数成分v(k,l),v(L-k,L-l)の間に、
v(k,l)＝v*(L-k,L-l)      ・・・［式１６］
の関係が成り立つ。同様に、行列ｆにおいても、
【数１１】
0004404285.tif 000012
の関係が成り立つ。これにより２次元逆離散フーリエ変換を、次のように表現することができる。
【数１２】
0004404285.tif 000013
一方、位相行列Ｘphaseの２次元逆離散フーリエ変換を求めると、
【数１３】
0004404285.tif 000014
となる。
ここで［式１８］と［式１９］とを比較することにより、［式２］が得られる。また、位相の量子化誤差を無視することにより、［式２ａ］が得られる（証明終わり）。
【００３８】
（第１の実施形態の効果など）
第１の実施形態では、高域の空間周波数成分に対応する複素ニューロン２１を省いて、ＣＡＭＭ１６の規模縮小と処理速度の向上を図っている。図４は、このようなニューロン数の削減に伴う画質低下の影響を示す図である。
この図４中の（ａ）は、５０×５０画素からなる２５６階調の元画像である。一方、図４中の（ｂ）は、この元画像の空間周波数成分をＣＡＭＭ１６上においてニューロン数Ｎおよびニューロンの状態数Ｋで表現した後に、逆変換した得られた画像である。この実験結果から、状態数Ｋを２００程度とし、ニューロン数Ｎを全画素数の半分ないし１／３程度としても、画質低下の影響は極めて小さい。
【００３９】
次に、第１の実施形態の具体的な効果を示すため、画像連想装置１０の出力結果を数例挙げて説明する。
図５は、画像連想装置１０に、２０％を白マスクした部分欠落画像を入力した場合の出力結果である。この実験結果では、３〜４回程度の状態遷移を経た段階で、良好な想起画像に到達している。
図６は、画像連想装置１０に、３０％を白マスクした部分欠落画像を入力した場合の出力結果である。この場合は、状態遷移を繰り返すのみでは、良好な想起画像に到達しない。しかしながら、位相補正部２０を用いて想起画像の位相補正を行うことにより、良質な想起画像を得ている。
図７は、画像連想装置１０に、一様乱数ノイズを重畳した画像を入力した場合の出力結果である。この場合も、状態遷移を繰り返すのみでは、良好な想起画像に到達しない。しかしながら、位相補正部２０を用いて想起画像の位相補正を行うことにより、良質な想起画像を得ている。
【００４０】
図８は、入力画像中のガウシアンノイズ量を増減させた場合の想起成功率を示す図である。ここでは、ニューロン数Ｎ＝１２０１、状態数Ｋ＝２００とし、ＣＡＭＭ１６に予め記銘する画像の数をＰ＝４０，１２０，２４０に変えて実験を行っている。この実験結果から、例えばＰ＝２４０の場合、Ｓ／Ｎ＝２［ｄＢ］程度以上を確保できれば、想起成功率を１００％まで高めることが可能となる。すなわち、想起成功率１００％を得るためのおおよその目安としては、ＣＡＭＭ１６の記憶容量Ｐ／Ｎについてみると、ノイズ量に対しておよそ０．２と考えることができる。
【００４１】
図９は、ＣＡＭＭ１６のエネルギー関数Ｅ（Ｘ）の変化を示す図である。この実験結果から、平衡状態への状態遷移が初期段階において急激に進む様子がわかる。特に、７，８回目以降の状態遷移においては、エネルギー変化が極めて微小となり、人間の目で見ても画像の変化を確認することができない。したがって、厳密な平衡状態（図中の状態遷移３４回目）に到達する前に、初期段階で状態遷移を打ち切っても、十分良質な想起画像を得ることができる。したがって、画像連想装置１０のように、エネルギーの監視結果に基づいて状態遷移の終了条件を定めることにより、画像連想時間を大幅に短縮することが可能となる。
次に、別の実施形態について説明する。
【００４２】
《第２の実施形態》
第２の実施形態は、ナビゲーションシステムの実施形態である。
図１０は、ナビゲーションシステム４０の構成を示す図である。
図１０において、ナビゲーションシステム４０には撮影レンズ４１が装着される。この撮影レンズ４１の像空間には、撮像部４２の受光面が配置される。この撮像部４２の画像出力は、画像処理部４３を介してＡ／Ｄ変換、階調変換などの処理が施された後、画像連想装置１０に入力される。なお、画像連想装置１０の内部構成については、第１の実施形態（図１）と同様であるため、ここでの説明を省略する。この画像連想装置１０で生成された想起画像は、情報生成部４４へ出力される。
一方、ナビゲーションシステム４０は、ＧＰＳ測位部４５を備える。情報生成部４４は、このＧＰＳ測位部４５から測位結果を取得する。また、ナビゲーションシステム４０は、位置情報をキーにして地図情報および結合荷重行列Ｗを登録したデータベース４６を備える。情報生成部４４は、このデータベース４６にアクセスして地図情報および結合荷重行列Ｗを検索する。このとき検索された地図情報は情報生成部４４に与えられ、結合荷重行列Ｗは画像連想装置１０に与えられる。
【００４３】
図１１は、ナビゲーションシステム４０の動作を説明する流れ図である。以下、図１１に示すステップ番号に沿って、動作説明を行う。
ステップＳ３１：  情報生成部４４は、ＧＰＳ測位部４５の測位結果に基づいて、現在位置の測位が可能か否かを判断する。測位可能であれば、情報生成部４４は、データベース４６から地図情報を取得することで、通常のナビゲーション動作を実施する。一方、測位が不可能な（または測位誤差が大きい）場合、情報生成部４４は、ステップＳ３２に動作を移行する。
ステップＳ３２：  情報生成部４４は、測位結果の過去の履歴に基づいて、現在の位置を推定する。
ステップＳ３３：  情報生成部４４は、推定位置をキー情報として、データベース４６から結合荷重行列Ｗを検索する。この結合荷重行列Ｗは、推定位置の周辺の画像を画像連想装置１０に記銘することで生成されたものである。画像連想装置１０は、この結合荷重行列Ｗを取り込み、内部のＣＡＭＭに設定する。
ステップＳ３４：  撮像部４２では、被写界の撮像画像が生成され、入力画像として画像連想装置１０に与えられる。
ステップＳ３５：  画像連想装置１０は、推定位置の周辺画像の中で、入力画像から連想しうる想起画像を出力する。情報生成部４４は、この想起画像を取得する。
ステップＳ３６：  この想起画像には撮像位置に関する位置情報が、ノイズの影響を受けない程度に冗長性を持たせた状態で予め埋め込まれている。情報生成部４４は、この位置情報を想起画像から抽出する。
ステップＳ３７：  情報生成部４４は、この位置情報をキー情報としてデータベース４６から地図情報を検索し、経路案内情報を生成する。
【００４４】
以上の一連の動作により、ナビゲーションシステム４０の動作が実現する。したがって、測位誤差が大きい状態や測位不可能な状態においても、被写界の撮像画像を元にして、正確な経路案内情報を生成することが可能となる。
なお、上述した第２の実施形態では、測位不可能または測位誤差が大きい場合に画像連想装置１０を使用しているが、これに限定されるものではない。ＧＰＳ測位が可能な状態においても画像連想装置１０を併用することにより、測位精度をより高めたり、被写界の様子に応じた経路案内情報を生成してもよい。
次に、別の実施形態について説明する。
【００４５】
《第３の実施形態》
第３の実施形態は、画像照合システムの実施形態である。
図１２は、画像照合システム５０の構成を示す図である。
図１２において、画像照合システム５０は、画像連想装置１０を具備する。この画像連想装置１０の内部構成については、第１の実施形態（図１）と同様であるため、ここでの説明を省略する。この画像連想装置１０には、照合すべき複数の画像が予め記銘されている。この画像連想装置１０で生成された想起画像は、ＩＤ情報抽出部５１に与えられる。また、画像連想装置１０からは、内部のニューロン状態が出力され、エネルギー検出部５２に与えられる。このエネルギー検出部５２の出力は、評価部５３に与えられる。
【００４６】
図１３は、画像照合システム５０の動作を説明する流れ図である。以下、図１３に示すステップ番号に沿って、動作説明を行う。
ステップＳ５１：  外部から入力画像（例えば、指紋、虹彩または印影などの画像）が、画像連想装置１０に入力される。画像連想装置１０では、入力画像によってエネルギーが一時的に上昇し、状態遷移が生じる。
ステップＳ５２：  エネルギー検出部５２は、状態遷移に伴うＣＡＭＭのエネルギーの推移を監視する。
ステップＳ５３：  このような状態遷移を経て、画像連想装置１０からは、入力画像に類似するものが想起画像として出力される。ＩＤ情報抽出部５１は、この想起画像を取得する。
ステップＳ５４：  この想起画像には、個体識別に関するＩＤ情報が、ノイズの影響を受けない程度に冗長性を持たせた状態で予め埋め込まれている。ＩＤ情報抽出部５１は、このＩＤ情報を想起画像から抽出する。
ステップＳ５５：  評価部５３は、エネルギー検出部５２で検出されるエネルギーの推移から、画像の照合度合いを評価する。例えば、エネルギーの値が低いほど、照合の度合いが高いと評価する。あるいは、状態遷移の初期段階においてエネルギーが激減するほど、照合度合いが高いと評価する。また、エネルギーが収束するまでの遷移回数が少ないほど、照合度合いが高いと判断する。
ステップＳ５６：  ＩＤ情報抽出部５１からはＩＤ情報が出力され、評価部５３からは画像の照合度合いが出力される。
以上の一連の動作により、画像照合システム５０の動作が実現する。この画像照合システム５０を用いることにより、部分的に欠落した入力画像や、ノイズの重畳した入力画像についても、信頼性の高い画像照合を行うことが可能となる。
【００４７】
《実施形態の補足事項など》
なお、上述した実施形態では、ＡＳＩＣ（特定用途向けＩＣ）化を考慮し、ハードウェアによって構成する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、本発明では、上述した流れ図（図２，図１１，または図１３）をコンピュータ上で実行するプログラムを作成し、そのプログラムを機械読み取り可能な記録媒体（請求項５の記録媒体に対応する）に格納してもよい。なお、この場合の記録媒体は、不揮発性の記録媒体に限定されるものではない。例えば、このプログラムを通信回線を介して配送し、配送先の揮発性の記録媒体（配送先のコンピュータのハードディスクやメモリなど）に一時的に格納してもよい。
【００４８】
また、上述した実施形態では、離散フーリエ変換を使用する場合について説明した。この場合、［式２］に示すように逆変換を簡略化できるという利点がある。しかしながら、本発明は、一般的に直交変換であれば何でもよく、例えば、離散コサイン変換などでもよい。
【００４９】
なお、上述した実施形態では、ニューロンを一つずつ選択して状態遷移を行う非同期式の状態遷移規則（式５）を示した。しかしながら、本発明はこれに限定されるものではない。複数のニューロンを一斉に更新する同期式動作を行っても勿論よい。
【００５０】
また、上述した実施形態では、複素ニューロン２１が離散的な位相値をとる場合について説明した。しかしながらこれに限定されるものではなく、複素ニューロン２１が連続的な位相値をとるようにしてもよい。
【００５１】
なお、上述した実施形態において説明した、絶対値一定の複素数による空間周波数成分の表現形式は、ニューラルネットワークに限らず、画像処理全般に適用できる。例えば、画像の空間周波数成分を絶対値一定の複素数で表現した状態で記憶し、逆直交変換および射影処理を介して画像を復元することが可能である。このような動作により画像記憶再生装置を実現することができる。また、空間周波数成分を絶対値一定の複素数によって表現した状態で、任意の演算処理を行い、逆直交変換および射影処理を介して画像を復元することにより、自由度の高い画像フィルタ処理を実現することもできる。
【００５２】
また、上述した実施形態では、［式２ａ］および［式２］において、実軸に射影して画像復元を行う場合について説明した。しかしながら、［式１］中の『cos-1』 を『sin-1』に置き換えた場合には、［式２ａ］および［式２］において虚軸に射影して画像復元を行えばよい。より一般的には、この射影軸を複素空間上において任意の角度に設定することが可能であり、［式１］，［式２］および［式２ａ］と等価な式を無数に作成することが可能である。これらの等価式は、本発明と均等な作用効果を当然に有する。
【００５３】
なお、上述した実施形態では、本発明を、ナビゲーションシステムおよび画像照合システムに適用する場合について説明した。しかしながら、本発明の適用分野はこれに限定されるものではない。本発明の画像連想装置は、例えば、下記のような適用分野にも有効である。
▲１▼衛星画像、航空写真から目標域を探索したり、変化域（雲など）を除去または抽出する画像処理分野
▲２▼ロボットビジョンにおける目標物認知や、障害物などの影響除去。
▲３▼記銘画像に関連する画像データを、通信回線を介して自動収集する画像データ検索ロボット。
▲４▼文字などの重畳ノイズの除去、ＯＣＲの欠落フォント修正。
▲５▼ゲノム情報を用いた遺伝子鑑別。
【００５４】
【発明の効果】
請求項１または請求項８の発明では、画像の空間周波数成分をニューロンに割り当てる。そのため、空間周波数領域上の状態遷移（連想）という新しい動作により、画像連想を実現することが可能となる。また、画素値をニューロンに割り当てる場合とは異なり、真っ白な画素値と真っ黒な画素値が隣接して不自然に表現されることがない。その結果、僅かなニューロン変化によって白黒反転が生じるなどの画像処理上の不具合を改善することができる。
【００５５】
さらに、複素ニューロンを用いて画像の空間周波数成分を表現する。したがって、２値ニューロンを使用する場合に比べて、ニューロン数を削減することができる。また、空間周波数成分は、複素空間上に存在するので、複素ニューロン上での表現（対応付け）に無理がなく、自然な連想処理が実現できる。
【００５６】
請求項２または請求項９の発明では、所定位相に基準化した複素ニューロンの位相ずれから複素ニューロン全体の位相シフトを補正する。したがって、状態遷移中に位相シフトした想起画像を本来の状態へ戻すことが可能となる。その結果、画像連想の成功率を格段に向上させることが可能となる。
【００５７】
請求項３または請求項１０の発明では、空間周波数成分を割り当てるニューロンを削減するので、画像劣化を少なく抑えながらニューロン数を効果的に削減することが可能となる。
【００５８】
請求項４または請求項１１の発明では、空間周波数の直流成分に対応するニューロンの状態を一定値とする。したがって、画像連想の過程において直流成分の影響がなくなる。その結果、夕暮れの暗い入力画像から出発して、昼間の明るい想起画像に到達するなどのより柔軟かつ自然な画像連想が可能となる。
【００５９】
請求項５に記載の記録媒体を使用することにより、コンピュータ上において、請求項１ないし請求項４のいずれか１項に記載の画像連想装置を実現することが可能となる。
【００６０】
請求項６に記載のナビゲーションシステムでは、本発明の画像連想装置を用いて被写界の画像から想起画像を連想し、この連想結果から経路案内情報を生成する。したがって、測位不可能な状況においても、被写界の画像に基づいて経路案内情報を生成することが可能となる。
【００６１】
請求項７に記載の画像照合システムでは、本発明の画像連想装置のエネルギーを検出し、このエネルギーに基づいて照合度合いを判断する。したがって、部分欠落画像（印影の欠けなど）のように、従来の画像照合手法では一律に低く評価される入力画像においても、連想の容易さなどからより自然な照合度合いを求めることが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態における画像連想装置１０の構成を示す図である。
【図２】画像連想装置１０の動作を説明する流れ図である。
【図３】２次元離散フーリエ変換の基底画像における周波数成分の高低と、ニューロン数の削減との関係を示す図である。
【図４】ニューロン数の削減による画質低下の影響を示すためのディスプレー上の中間調画像の写真である。
【図５】画像連想装置１０に、２０％を白マスクした部分欠落画像を入力した場合の出力結果を示すためのディスプレー上の中間調画像の写真である。
【図６】画像連想装置１０に、３０％を白マスクした部分欠落画像を入力した場合の出力結果を示すためのディスプレー上の中間調画像の写真である。
【図７】画像連想装置１０に、一様乱数ノイズを重畳した画像を入力した場合の出力結果を示すためのディスプレー上の中間調画像の写真である。
【図８】入力画像中のガウシアンノイズ量を変化させた場合の想起成功率を示す図である。
【図９】ＣＡＭＭ１６のエネルギー関数Ｅ（Ｘ）の変化を示す図である。
【図１０】ナビゲーションシステム４０の構成を示す図である。
【図１１】ナビゲーションシステム４０の動作を説明する流れ図である。
【図１２】画像照合システム５０の構成を示す図である。
【図１３】画像照合システム５０の動作を説明する流れ図である。
【符号の説明】
１０  画像連想装置
１１  ２次元離散フーリエ変換部
１３  位相化部
１４  多重化部
１５  量子化部
１６  ＣＡＭＭ
１７  ２次元逆離散フーリエ変換部
１８  実部抽出部
１９  記銘処理部
２０  位相補正部
２１  複素ニューロン
４０  ナビゲーションシステム
４１  撮影レンズ
４２  撮像部
４３  画像処理部
４４  情報生成部
４５  ＧＰＳ測位部
４６  データベース
５０  画像照合システム
５１  ＩＤ情報抽出部
５２  エネルギー検出部
５３  評価部
【図１】
0004404285.tif 000015
【図２】
0004404285.tif 000016
【図３】
0004404285.tif 000017
【図４】
0004404285.tif 000018
【図５】
0004404285.tif 000019
【図６】
0004404285.tif 000020
【図７】
0004404285.tif 000021
【図８】
0004404285.tif 000022
【図９】
0004404285.tif 000023
【図１０】
0004404285.tif 000024
【図１１】
0004404285.tif 000025
【図１２】
0004404285.tif 000026
【図１３】
0004404285.tif 000027