(57)【要約】【課題】  色情報に着目した画像検索を好適に実行することが可能な画像相関装置を提供する。【解決手段】  対象画像入力部１１から入力される対象画像と、比較対象データベース１２に格納されている比較画像とについて、画像内での色度分布を色度図上でヒストグラム化した対象色度画像、比較色度画像をそれぞれ用意し、対象色度画像と比較色度画像とが並置された検索画像を用いて、光相関演算装置３０においてＪＴＣ法による光学的な相関演算を行って、差分演算部６２による演算を加味した相関データを取得する。そして、画像検索処理部１５において、得られた相関データから画像の類似性を判断することで画像検索処理を行う。【選択図】  図１
2010238164.tif 000002
【特許請求の範囲】
【請求項１】
情報検索の対象となる対象情報を入力する対象情報入力部と、
比較情報を複数、データベース化して記憶する比較情報データベースと、
前記対象情報の対象色度情報と前記比較情報の比較色度情報とを用意して、ＪＴＣにより、それらの相関データから類似性を判断することで情報検索処理を行う情報検索処理部と、
前記対象色度情報と前記比較色度情報との間で光学的な相関演算を行って、得られた相関データを出力する光相関演算部とを備え、
前記光相関演算部は、
前記対象色度情報に基づく対象光像をフーリエ変換して、前記対象色度情報についての対象フーリエ変換光像を形成し、前記対象フーリエ変換光像をフーリエ変換して、光像データを取得する光像データ取得部と、
前記対象色度情報と前記比較色度情報とが並置された検索情報に基づく検索光像を出力し、前記検索光像をフーリエ変換して、前記対象色度情報と前記比較色度情報とについての結合フーリエ変換光像を形成し、前記結合フーリエ変換光像をフーリエ変換して、前記対象色度情報と前記比較色度情報との間の相関度を示す相関基礎データを取得する相関データ取得部と、
前記光像データ取得部で取得された光像データと、前記相関データ取得部で取得された相関基礎データとの差分を取ることにより、相関データを作成する差分演算部と、
を備えたことを特徴とする情報相関装置。
【請求項２】
前記比較前処理部を備え、前記対象情報または前記比較情報について色度分布の色度図上でのヒストグラム化を行い、かつ、該ヒストグラムの２値化を行い、対応する前記対象色度情報または前記比較色度情報を生成する請求項１記載の情報相関装置。
【請求項３】
前記相関データ取得手段は、前記相関データとして、前記対象色度情報と前記比較色度情報とについての自己相関ピークと、相互相関ピークとを含む相関情報を取得する請求項１または２記載の情報相関装置。
【請求項４】
前記光相関演算部は、空間光変調器と、該空間光変調器からの光を受けフーリエ変換を行う１つのフーリエ変換レンズと、該フーリエ変換レンズからの光を検出するセンサと、該センサからの信号を受ける相関データ取得装置と、を備え、前記光像データ取得部及び相関データ取得部において、最初にフーリエ変換された光像を前記相関データ取得装置のメモリに記憶し、該光像に相当する電気信号を前記空間光変調器にフィードバックし、該電気信号に基づいて２回目のフーリエ変換を行い、これにより生成された光像を前記相関データ取得装置のメモリに記憶することを特徴とする請求項１〜３のいずれか１項記載の情報相関装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色情報に着目して情報を検索する情報相関装置に関するものである。
【背景技術】
【０００２】
画像技術や通信技術が著しく発達した現代社会では、遠隔医療・診断、電子商取引、色を取り入れた各種デザインなど、厳格な色管理が必要な分野が成長している。また、このような分野において、複数の比較画像をデータベース化し、検索しようとする対象画像と複数の比較画像のそれぞれとを比較して画像検索を行うことで、対象画像についての情報を得る方法が検討されている。
【０００３】
対象画像と比較画像とを比較してその類似性等を判断する処理手法として、対象画像と比較画像とが並置された検索画像を利用する結合変換相関法（ＪＴＣ：Joint Transform Correlation）が知られている。これは光学的な演算処理を利用した画像の類似性の判断手法である。この方法では、光相関演算によって高速で画像比較、及びそれを用いた画像検索を実行することが可能である（例えば、特許文献１参照）。この発明は、色情報に着目した画像検索を好適に実行することが可能な画像相関装置、及び画像検索方法を提供することを目的とする。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３４３２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の発明では、電気的にデータを書き込み光でデータを読み出す装置と、光で書き込み光で読み出す装置の組み合わせであるので、光学系が複雑化、大型化する問題があった。また、ＪＴＣ法に特有の自己相関データと相互相関データを生成するのであるが、比較的小さな２つの相互相関データの間に比較的大きな自己相関データが出現し、この自己相関データが相互相関データと重なって読み取りにくいなど、画像の精度に問題があり、また、画像の解析が困難である。そのため、対象画像と比較画像との間で形状等の類似性を判断することが困難であるという問題を有している。
【０００６】
本発明は、以上の問題点を解決するためになされたものであり、情報検索装置をコンパクトにするとともに、ＪＴＣ法の相互相関データの精度を向上させ、形状等の類似性の判定を容易にすることを目的とする。
【課題を解決するための手段】
【０００７】
このような目的を達成するために、請求項１に係る発明は、情報検索の対象となる対象情報を入力する対象情報入力部と、比較情報を複数、データベース化して記憶する比較情報データベースと、前記対象情報の対象色度情報と前記比較情報の比較色度情報とを用意して、ＪＴＣにより、それらの相関データから類似性を判断することで情報検索処理を行う情報検索処理部と、前記対象色度情報と前記比較色度情報との間で光学的な相関演算を行って、得られた相関データを出力する光相関演算部とを備え、前記光相関演算部は、前記対象色度情報に基づく対象光像をフーリエ変換して、前記対象色度情報についての対象フーリエ変換光像を形成し、前記対象フーリエ変換光像をフーリエ変換して、光像データを取得する光像データ取得部と、前記対象色度情報と前記比較色度情報とが並置された検索情報に基づく検索光像を出力し、前記検索光像をフーリエ変換して、前記対象色度情報と前記比較色度情報とについての結合フーリエ変換光像を形成し、前記結合フーリエ変換光像をフーリエ変換して、前記対象色度情報と前記比較色度情報との間の相関度を示す相関基礎データを取得する相関データ取得部と、前記光像データ取得部で取得された光像データと、前記相関データ取得部で取得された相関基礎データとの差分を取ることにより、相関データを作成する差分演算部と、を備えたことを特徴とする情報相関装置である。
【０００８】
前記比較前処理部を備え、前記対象情報または前記比較情報について色度分布の色度図上でのヒストグラム化を行い、かつ、該ヒストグラムの２値化を行い、対応する前記対象色度情報または前記比較色度情報を生成することが好ましい。
【０００９】
前記相関データ取得手段は、前記相関データとして、前記対象色度情報と前記比較色度情報とについての自己相関ピークと、相互相関ピークとを含む相関情報を取得することが好ましい。
【００１０】
前記光相関演算部は、空間光変調器と、該空間光変調器からの光を受けフーリエ変換を行う１つのフーリエ変換レンズと、該フーリエ変換レンズからの光を検出するセンサと、該センサからの信号を受ける相関データ取得装置と、を備え、前記光像データ取得部及び相関データ取得部において、最初にフーリエ変換された光像を前記相関データ取得装置のメモリに記憶し、該光像に相当する電気信号を前記空間光変調器にフィードバックし、該電気信号に基づいてフーリエ変換を行い、これにより生成された光像を前記相関データ取得装置のメモリに記憶することを特徴とすることが好ましい。
【００１１】
ここでいう「情報」には、例えば０と１の２値化パターンなどの一般デジタルデータ、画像データとが挙げられる。この画像データには、色度ヒストグラム、テクスチャー、形状データなどが挙げられる。
【００１２】
色度ヒストグラムの２値化については、色度分布の濃淡、あるいは、輪郭のみで判定することが好ましい。
【００１３】
テクスチャーの特徴量の算出は、濃度共起行列を用いた演算が好ましい。
【００１４】
形状データは、データの輪郭抽出により画定された輪郭データが好ましい。
【００１５】
上記した情報相関装置の具体的態様においては、情報検索対象の対象情報、及び比較・検索対象の比較情報のそれぞれについて、情報内での色度分布を色度図上でヒストグラム化し且つ２値化した色度値ヒストグラム情報である対象色度情報、比較色度情報を用意する。そして、これらの対象色度情報及び比較色度情報について、対象色度情報と比較色度情報とが並置された検索情報を用いた光学的な相関演算を行って、前記した差分演算を行うことにより得られた相関データから情報の類似性を判断している。このような構成によれば、色情報に着目した情報検索を、充分な精度で、かつ高速に実行することが可能となる。
【００１６】
ここで、情報相関装置は、対象情報または比較情報について色度分布の色度図上でのヒストグラム化及び２値化を行って、対応する対象色度情報または比較色度情報を生成する光相関演算部を備えることが好ましい。
【００１７】
このように、元情報から色度情報を生成することにより、上記した対象色度情報及び比較色度情報を用いた情報検索を好適に実行することが可能となる。なお、色度画像として用いられる色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での輪郭で表した２次元画像等を用いることができる。具体的には、色度図上での色度分布を画像上での強度分布（濃淡）を閾値で２値化することにより、輪郭情報を表す２次元画像が好ましい。また、対象画像については、対象画像に代えて対象色度画像を直接に入力する構成としても良い。同様に、比較画像についても、比較画像に代えて比較色度画像を直接にデータベース化しておく構成としても良い。
【００１８】
また、情報相関装置は、相関データ取得手段が、相関データとして、対象色度情報と比較色度情報とについての自己相関ピークと、相互相関ピークとを含む相関情報を取得することが好ましい。同様に、情報検索方法は、相関データ取得ステップにおいて、相関データとして、対象色度情報と比較色度情報とについての自己相関ピークと、相互相関ピークとを含む相関情報を取得することが好ましい。
【００１９】
また、光相関演算手段の具体的な構成について、情報相関装置は、フィードバック方式により、第２回目のフーリエ変換を電気信号に基づいて行うので、光学系を小型化できる。空間光変調器は輝度変調式が好ましい。
【発明の効果】
【００２０】
本発明の情報相関装置によれば、前記光像データ取得部で取得された光像データと、前記相関データ取得部で取得された相関基礎データとの差分を取ることにより、相関データを作成する差分演算部を設けたので、十分な精度で、かつ高速に実行することが可能となる。また、画像の解析が容易になる。さらに、比較前処理部でデータの２値化を行うことで、演算速度を速くすることができる。
【図面の簡単な説明】
【００２１】
【図１】画像相関装置の実施形態１の構成を概略的に示すブロック図である。
【図２】色度画像に用いられるｘｙ色度図を示す図である。
【図３】対象画像（ａ）、及びそれに対応する対象色度画像（ｂ）の一例を模式的に示す図である。
【図４】（ａ）〜（ｃ）は色度画像Ｐ１を用いた画像検索について模式的に示す図である。
【図５】（ａ）〜（ｃ）は色度画像Ｐ１，Ｐ２を用いた画像検索について模式的に示す図である。
【図６】画像相関装置の実施形態１によるＪＴＣの結果を示す画像である。
【図７】画像相関装置の実施形態１〜３の構成による処理を示すフローチャートである。
【図８】（ａ）（ｂ）は本実施形態１〜３における２値化の様子を示す説明図である。
【図９】本実施形態１〜３におけるテクスチャ特徴量の演算を示す説明図である。
【図１０】同テクスチャ特徴量抽出エンジンの演算を示す説明図である。
【図１１】画像相関装置の実施形態２の構成を概略的に示すブロック図である。
【図１２】画像相関装置の実施形態２によるＪＴＣの結果を示す画像である。
【図１３】画像相関装置の実施形態３の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００２２】
以下、本発明による情報相関装置の好適な実施形態について図面を参照して詳細に説明する。
【００２３】
図１は、本発明による情報相関装置としての画像相関装置１についての実施形態１の構成を概略的に示すブロック図である。本実施形態による画像相関装置１は、画像検索制御装置１０と、光相関演算装置３０とを備えて構成されたものであり、対象画像と比較画像との間で色情報に着目した画像検索を行うことが可能に構成されている。
【００２４】
画像検索制御装置１０は、対象画像入力部１１と、比較対象データベース１２と、色度画像生成部１３と、検索領域設定部１４と、画像検索処理部１５と、比較前処理生成部１６と、を有して構成されている。対象画像入力部１１は、画像検索の対象となる対象画像、またはそれに対応する対象色度画像を入力する対象画像入力手段である。また、比較対象データベース１２は、対象画像に対する比較対象となる比較画像、またはそれに対応する比較色度画像を複数、データベース化して記憶するものである。
【００２５】
また、これらの対象画像入力部１１及び比較対象データベース１２に対して、色度画像生成部１３が設けられている。この色度画像生成部１３は、対象画像入力部１１から入力された対象画像、または比較対象データベース１２から読み出された比較画像について所定のデータ処理を行って、対応する対象色度画像、または比較色度画像を生成するものである。
【００２６】
画像検索に用いられる対象色度画像は、元画像である対象画像内での色度分布（色度値の分布）を図２に示す色度図（ｘｙ色度図）上でヒストグラム化した色度値ヒストグラム画像である。すなわち、色度画像とは、ｘ，ｙ色度値を色度座標上にマッピングし、そのカウントを積み重ねてヒストグラム化した画像をいう。ここで、色度図におけるｘ、ｙ色度値については、ＣＩＥ−ＸＹＺ表色系における三刺激値Ｘ、Ｙ、Ｚから、ｘ＝Ｘ／（Ｘ＋Ｙ＋Ｚ）、ｙ＝Ｙ／（Ｘ＋Ｙ＋Ｚ）によって求めることができる。
【００２７】
また、図２のｘｙ色度図において、実線で示した馬蹄形の曲線の内側の領域が、人間の可視領域となる。なお、以下に示す色度画像においては、参考のため、この可視領域を示す馬蹄形の曲線を破線によって示すが、実際に画像検索に用いる色度画像においては、このような曲線は画像中に示さなくても良い。また、本発明において色度画像に用いられる色度図については、上記したｘｙ色度図に限らず、例えばＵＣＳ色度図、ＣＩＥ−ＬＡＢ表色系での色度図など、他の色度空間での色度図を用いても同様の処理が可能である。
【００２８】
このような色度画像である色度値ヒストグラム画像については、具体的には例えば、色度図上での色度分布を画像上での強度分布（濃淡）を閾値で２値化することにより、輪郭情報を表す２次元画像等を用いることができる。また、その他の方法で色度分布を示した２次元画像を色度画像としても良い。図３は、対象画像（ａ）、及びそれに対応する対象色度画像（ｂ）の一例を模式的に示す図である。ここでは、対象画像（ａ）の一例として花の画像を示している。また、対象色度画像（ｂ）においては、色度値データがある程度の強度で分布している領域を斜線を付して模式的に示している。このように、対象色度画像は、対象画像の色情報、すなわち画像内での各色成分の分布量等を反映した強度分布画像となる。
【００２９】
対象色度画像としては、対象画像入力部１１において対象色度画像が入力された場合には、それがそのまま画像検索に用いられる。また、対象画像入力部１１において元画像である対象画像が入力された場合には、色度画像生成部１３において、対象画像について色度分布の色度図上でのヒストグラム化が行われ、対応する対象色度画像が生成される。
【００３０】
また、対象色度画像と比較される比較色度画像は、対象色度画像と同様に、元画像である比較画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である。比較色度画像としては、比較対象データベース１２において比較色度画像が格納されている場合には、それがそのまま読み出されて画像検索に用いられる。また、データベース１２において元画像である比較画像が格納されている場合には、色度画像生成部１３において、比較画像について色度分布の色度図上でのヒストグラム化が行われ、対応する比較色度画像が生成される。
【００３１】
画像検索処理部１５は、対象色度画像と比較色度画像とを用意し、ＪＴＣにより、それらの相関データから類似性を判断することで画像検索処理を行うものである。具体的には、画像検索処理部１５は、対象画像入力部１１から入力された対象画像または対象色度画像の画像データ、及び比較対象データベース１２から読み出された比較画像または比較色度画像の画像データに基づき、必要に応じて色度画像生成部１３において色度画像生成処理を行って、画像検索に用いられる対象色度画像と比較色度画像とを用意する。そして、光相関演算装置３０を用いて対象色度画像と比較色度画像との相関データを取得し、得られた相関データから画像の類似性を判断することで画像検索処理を行う。
【００３２】
検索領域設定部１４は、画像検索処理部１５で実行される画像検索において相関データである相関画像に対して検索領域を適用する方法が用いられる場合に、検索領域をあらかじめ設定するためのものある。この検索領域等については、具体的な画像検索処理とともに後述する。
【００３３】
比較前処理生成部１６は、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行った画像について２値化を行い、対応する対象色度画像または比較色度画像を生成するものである。
【００３４】
画像検索制御装置１０には、画像検索処理部１５に対して、画像出力部１８、及び相関データ入力部１９が設けられている。画像出力部１８は、画像検索処理部１５からの指示により、第１段階で対象色度画像、第２段階で対象色度画像と比較色度画像とが並置された画像である検索画像を生成し、光相関演算装置３０へと出力する。また、相関データ入力部１９は、光相関演算装置３０において取得された対象色度画像と比較色度画像との相関データを入力し、画像検索処理部１５へと送出する。
【００３５】
画像検索制御装置１０は、具体的には、例えば、画像検索処理等の各種の処理を実行するＣＰＵと、処理動作に必要な各ソフトウェアプログラム等が記憶されるＲＯＭと、比較対象データベース１２に用いられる内部メモリまたは外部記憶装置などの記憶装置とを有して構成される。また、図１に示した構成では、画像検索制御装置１０に対して、入力装置２１、表示装置２２、及び外部Ｉ／Ｆ２３が接続されている。
【００３６】
入力装置２１は、画像相関装置１における画像検索処理等の処理動作に必要な情報、指示の入力に用いられる入力手段である。このような入力装置２１としては、例えばキーボード、マウス、あるいは各種のボタン、スイッチなどが挙げられる。表示装置２２は、例えば液晶ディスプレイ等によって構成され、必要に応じて、画像検索処理に必要なデータや情報の表示、及び得られた画像検索結果の表示などに用いられる。
【００３７】
また、外部Ｉ／Ｆ２３は、画像検索制御装置１０に対して他の記憶装置、処理装置などの外部装置を接続する際に用いられる。なお、これらの入力装置２１、表示装置２２、外部Ｉ／Ｆ２３については、必要に応じて設ければ良い。また、対象画像入力部１１による対象画像または対象色度画像の入力については、例えば、上記構成において入力装置２１または外部Ｉ／Ｆ２３を介して画像データを入力する構成を用いることができる。
【００３８】
光相関演算装置３０は、レーザ・ダイオード３１（たとえば、波長が５３２ｎｍ）と、ピンホール部３２と、コリメートレンズ３３、透過型の空間光変調器３４と、空間光変調器３４からの光を受けフーリエ変換を行う１つのフーリエ変換レンズ３５と、フーリエ変換レンズ３５からの光に基づいて画像を検出する面センサ３６と、相関データ取得装置３７とを有して構成されている。相関データ取得装置３７は、対象画像を取得する光像データ取得部６０と、相関基礎画像を取得する相関データ取得部６１と、対象画像と相関基礎画像との差分を取り相関画像を作成する差分演算部６２と、対象画像を記憶する第１メモリ６３ａ、相関基礎画像を記憶する第２メモリ６３ｂと、第１電気信号及び第２電気信号を空間光変調器３４に送信するビデオカード６４と、ＣＣＤ或いはＣＭＯSセンサから構成される画像取り込みカード６５と、を備えて構成される。
【００３９】
レーザ・ダイオード３１は、レーザー光を出力するものである。ピンホール部３２はレーザー光を点光源とするものである。コリメートレンズ３３は波面位相の揃った平行光線とするものである。空間光変調器３４は、画像出力部１８から、対象画像、及び、対象色度画像と比較色度画像とが並置された検索画像を入力し、これらの画像に基づいて空間光変調を行い、対象光像及び検索光像を生成しフーリエ変換レンズ３５に出力する光像生成装置である。フーリエ変換レンズ３５は、対象光像及び検索光像を光学的にフーリエ変換して、それぞれ、対象色度画像についての対象フーリエ変換光像を形成し、及び、対象色度画像と比較色度画像とについての結合フーリエ変換光像とを形成するものである。また、再度、第２対象光像をフーリエ変換して、差分用対象光像を形成し、及び、第２検索光像をフーリエ変換して相関光像を形成するものである。詳細は後述する。面センサ３６は、ＣＣＤまたはＣＭＯＳなどから構成され、フーリエ変換された光像を画像データとして検出するものである。画像取り込みカード６５は面センサ３６で検出された画像を取り込むものである。レーザ・ダイオード３１は、例えばレーザ光源などの読み出し光源であり、読み出し光源から供給された読み出し光をピンホール部３２を介してコリメートレンズ３３へと導く導光光学系を構成することができる。このように、空間光変調器３４を用いて光相関演算装置３０を構成することにより、対象色度画像と比較色度画像とについての光相関演算を好適に実行することができる。
【００４０】
また、相関データ取得装置３７は、対象光像を光学的な相関演算を行い差分用対象画像を取得するとともに、対象色度画像と比較色度画像との間で光学的な相関演算を行い相関基礎画像を取得し、これらの差分演算を行って、出力値を画像検索制御装置１０の相関データ入力部１９へと出力するものである。
【００４１】
光像データ取得部６０は、面センサ３６から画像取り込みカード６５を介して得られる、対象色度画像に基づく対象光像に基づく画像により、差分用対象画像を生成するものである。
【００４２】
相関データ取得部６１は、面センサ３６から画像取り込みカード６５を介して得られる、対象色度画像と比較色度画像とが並置された検索画像に基づく相関基礎画像を取得するものである。この相関データ取得部６１は、相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関基礎画像を取得するものである。
【００４３】
光相関演算装置３０では、空間光変調器３４で対象色度画像から対象光像を生成し、フーリエ変換レンズ３５で最初に対象光像がフーリエ変換され対象フーリエ変換光像が生成され、これを面センサ３６で受けて、対象フーリエ変換画像に変換し、画像取り込みカード６５を経て、光像データ取得部６０において、この対象フーリエ変換画像を第１メモリ６３ａに記憶し、ビデオカード６４が第１メモリ６３ａから対象フーリエ変換画像を読み出し、この画像から第１電気信号を作成し、空間光変調器３４にフィードバックし、この第１電気信号に基づいて、空間光変調器３４が第２対象光像に変調し、フーリエ変換レンズ３５で２回目のフーリエ変換を行い、これにより生成された対象光像を面センサ３６で受け、差分用対象画像として、光像データ取得部６０に送信するとともに第１メモリ６３ａに記憶し、差分演算部６２に送信するものである。
【００４４】
光相関演算装置３０は、空間光変調器３４で検索画像から検索光像を生成し、フーリエ変換レンズ３５で最初に検索画像がフーリエ変換された結合フーリエ変換光像が生成され、これを面センサ３６で受けて、結合フーリエ変換光像の画像に変換し、画像取り込みカード６５を経て、相関データ取得部６１において、この結合フーリエ変換画像を第２メモリ６３ｂに記憶し、ビデオカード６４が第２メモリ６３ｂから結合フーリエ変換光像の画像を読み出し、この画像から第２電気信号を作成し、空間光変調器３４にフィードバックし、この第２電気信号に基づいて、空間光変調器３４が第２検索光像に変調し、フーリエ変換レンズ３５で２回目のフーリエ変換を行い、これにより生成された相関光像を面センサ３６で受け、画像取り込みカード６５を経て、相関画像として相関データ取得部６１に送信するとともに、第２メモリ６３ｂに記憶し、差分演算部６２に送信するものである。
【００４５】
差分演算部６２は、光像データ取得部６０で取得された差分用対象画像と、相関データ取得部６１で取得された相関画像との差分を取ることにより、相関画像を作成するものである。
【００４６】
図１に示した画像相関装置１においては、画像検索対象の対象画像と比較対象の比較画像のそれぞれ（図３の画像（ａ）参照）について、画像検索処理部１５において、画像内での色度分布を色度図上でヒストグラム化した色度値ヒストグラム画像である対象色度画像、比較色度画像を用意する（図３の画像（ｂ）参照）。そして、これらの対象色度画像及び比較色度画像について、光相関演算装置３０において、前記した光学的な相関演算を行って、得られた相関データから画像の類似性を判断している。
【００４７】
このように、元画像をそのまま用いるのではなく、それに対応する色度値ヒストグラム画像を用いて比較前処理生成部１６により必要に応じて２値化された画像を比較するとともに、ＪＴＣ法による光相関演算を利用して色度画像の相関度を計測して画像検索を行う構成によれば、色情報に着目した画像検索を、充分な精度で、かつ光演算によって高速に実行することが可能となる。
【００４８】
このような画像検索の応用の一例として、図３に示した花の画像の検索が挙げられる。例えば、対象画像入力部１１から入力された検索対象の花の画像を、比較対象データベース１２に登録された全国の産地の花の画像のそれぞれと、対応する色度画像によって比較する。そして、データベース１２に登録された産地のうち、最も類似度が高いと判断された産地を選択するという画像検索方法が考えられる。
【００４９】
あるいは、画像検索の応用の他の例として、人肌の画像の検索が挙げられる。このような人肌の画像の検索は、例えば皮膚病の診断、化粧品についてのアドバイスなどの分野において有効であると考えられる。また、比較対象データベース１２に登録された人肌の画像に診断内容、化粧品番号などの情報を付加しておけば、画像検索の結果に基づいて、それらの付加情報を有効に利用することが可能となる。
【００５０】
ここで、図１に示した画像相関装置１では、画像検索制御装置１０において、対象画像または比較画像について色度分布の色度図上でのヒストグラム化を行って、対象色度画像または比較色度画像を生成する色度画像生成部１３を設けている。このように、画像相関装置１内において、元画像から色度画像を生成することが可能な構成とすることにより、上記した対象色度画像及び比較色度画像を用いた画像検索を好適に実行することが可能となる。
【００５１】
なお、対象画像については、上記したように、対象画像入力部１１において、対象画像に代えて対象色度画像を直接入力する構成としても良い。同様に、比較画像についても、比較対象データベース１２において、比較画像に代えて比較色度画像を直接データベース化しておく構成としても良い。このような場合、色度画像生成部１３については、不要であれば設けなくても良い。
【００５２】
また、光相関演算装置３０に用いられる相関データ取得装置３７は、対象色度画像と比較色度画像との相関データとして、対象色度画像と比較色度画像とについての自己相関ピークと、相互相関ピークとを含む相関基礎画像を取得し、差分演算を行うものである。このように、対象色度画像と比較色度画像との間の相関度についての情報を含む相関画像を取得し、画像検索処理部１５において相関画像を用いて画像の類似性の判断、及びそれに基づく画像検索処理を行うことにより、色度画像を用いた画像検索を精度良く実行することが可能となる。このような相関画像取得装置としては、例えばＣＣＤなどの撮像素子を用いることができる。
【００５３】
また、このように光相関演算装置３０において相関画像が取得される場合、画像検索処理部１５においては、相関画像に対して、相互相関ピークの位置に対応してあらかじめ設定された検索領域を適用し、検索領域内で取得された相関強度を参照して対象色度画像と比較色度画像との類似性を判断することが好ましい。このように、光相関演算によって取得された相関画像に対して所定の検索領域を適用して、対象色度画像と比較色度画像との相関度についての情報を取得することにより、色度画像の相関データを用いた画像検索を確実に実行することが可能となる。
【００５４】
また、このような検索領域について、図１に示す構成では、画像検索制御装置１０において、検索領域を設定するための検索領域設定部１４を設けている。この場合の検索領域の設定方法としては、例えば、あらかじめ光相関演算装置３０において対象色度画像同士の間で光学的な相関演算を行い、得られた相関画像を参照して検索領域を設定する方法が挙げられる。このような方法によれば、相関画像に対する検索領域を、相互相関ピークの位置に確実に対応するように設定することが可能である。
【００５５】
上記実施形態１による画像相関装置１の処理の流れについて図２乃至図７を参照して説明する。
【００５６】
図１に示した画像相関装置１を用いた画像検索方法について、図２乃至図７を参照してさらに具体的に説明する。なお、以下においては、画像検索に用いる画像として、元画像ではなく、対象色度画像、及び比較色度画像が用意されている場合について説明し、元画像からの色度画像の生成（図３参照）については、説明を省略する。
【００５７】
本実施形態の画像検索方法においては、まず、図１の画像相関装置１において、画像検索制御装置１０の対象画像入力部１１から画像検索の対象となる対象色度画像Ｐ１を入力する。この対象色度画像Ｐ１には、図４の色度画像（ａ）に模式的に示すように、色度値データがある程度の強度で分布しているデータ領域Ａ１が１または複数存在している。
【００５８】
このような対象色度画像Ｐ１に対し、検索領域設定部１４において、相関画像に対する検索領域を設定するための処理を行う。具体的には、図４の検索画像（ｂ）に示すように、同一の対象色度画像Ｐ１が２つ並置された画像を検索領域設定用の検索画像として生成する。ここでは、対象色度画像Ｐ１の幅を２ｄとし、対象色度画像Ｐ１を＋ｄだけ移動させた画像Ｐ１ａと、−ｄだけ移動させた画像Ｐ１ｂとを並置して検索画像としている。また、これらの画像Ｐ１ａ、Ｐ１ｂには、それぞれ対象色度画像Ｐ１でのデータ領域Ａ１に対応する領域Ａ１ａ、Ａ１ｂが含まれている。
【００５９】
ここで、ＪＴＣ法を用いた光相関演算によって得られる相関画像について、簡単に説明しておく。比較対象として検索画像において並置される２つの画像をａ（x，y）、ｂ（x，y）とし、これらの画像をそれぞれ＋ｄ、−ｄだけ離して並置した画像を検索画像ｆ（x，y）とする。ｘ，ｙは座標である。この検索画像ｆ（ｘ，ｙ）は、下記の式（１）
数１：  ｆ（ｘ、ｙ）＝ａ（ｘ−ｄ、ｙ）＋ｂ（ｘ＋ｄ，ｙ）
によって表される。また、画像ｆ（x，y）をフーリエ変換した関数をＦ（Ｖx，Ｖy）とすれば、このＦ（ｋ）は下記の式（２）
【数２】
2010238164.tif 000003
によって求められる。
【００６０】
この関数Ｆ（Ｖx，Ｖy）に対して、複素共役の関数を利用して｜Ｆ（Ｖｘ，Ｖｙ）｜2をとり、さらに、これを実空間上のパワースペクトルＰに変換すると、以下の式（３）が得られる。
【数３】
2010238164.tif 000004
ここで、式（３）において、上付き記号★は共役複素数を示す。
【００６１】
また、この式（３）の右辺において、第１項、及び第２項は、図４（ｃ）に示す相関画像における自己相関ピークＢ１に対応している。また、第３項、及び第４項は、自己相関ピークから±２ｄ離れた相互相関ピークＦ１ａ、Ｆ１ｂにそれぞれ対応している。
【００６２】
式（４）はパワースペクトルＰのフーリエ変換を示す。式中＊はコンボリューション、上付き★は共役複素数を示す。したがって、式（４）の第３項と第４項はａ，ｂの相関データとなる。
【数４】
2010238164.tif 000005
【００６３】
ここで、上記したように対象色度画像同士の間で光学的な相関演算を行った場合には、Ａ（Ｖx，Ｖy）＝Ｂ（Ｖx，Ｖy）であるので、２つの相互相関ピークＦ１ａ、Ｆ１ｂのピーク強度（相関強度）は互いに等しくなる。また、このような対象色度画像同士についての相関画像を参照し、相関画像に現れる２つの相互相関ピークＦ１ａ、Ｆ１ｂに基づいて検索領域を設定することにより、その対象色度画像に対する画像検索処理を精度良く実行することが可能となる。
【００６４】
対象色度画像同士についての相関画像を参照しての検索領域の具体的な設定方法については、例えば、表示装置２２に表示された相関画像を参照して、操作者が入力装置２１を構成するマウスの操作等によって手動で検索領域を設定する方法を用いることができる。あるいは、相関画像に対してピーク識別のための閾値等をあらかじめ設定しておき、それらの設定条件に基づいて自動で検索領域を設定する方法を用いても良い。また、検索領域の形状については、例えば矩形状、円形状等の領域を用いることができる。
【００６５】
次に、上記のように設定された検索領域を用い、対象色度画像Ｐ１についての画像検索を実行する。比較対象データベース１２に格納された複数の比較色度画像のうちで比較対象とする比較色度画像Ｐ２を選択して読み出して、対象色度画像Ｐ１と比較色度画像Ｐ２とを用意する。そして、図５の検索画像（ａ）に示すように、対象色度画像Ｐ１と比較色度画像Ｐ２とが並置された検索画像を生成する。この画像（ａ）の例では、検索画像中の左側に対象色度画像Ｐ１が、また、右側に比較色度画像Ｐ２が配置されている。また、これらの画像Ｐ１、Ｐ２では、色度値データがある程度の強度で分布しているデータ領域Ａ１、Ａ２の位置、範囲等が互いに異なる。
【００６６】
つぎに比較前処理生成部１６で２値化を行う。具体例を以下に示す。
【００６７】
図８（ａ）に示す通り、色度ヒストグラムの２値化を行う。ここでは頂点からＮ％ダウンしたところで、色度ヒストグラムを水平にスライスし、しきい値をとり、これを２次元データのパターンに変換する。また図８（ｂ）に示す通り、形状データの輪郭を抽出することにより、２値化を行うこともある。２値化を行うことで、２値化のパターン同士を比較することで色分布の類似性を検出できる。これにより、ＯＮ／ＯＦＦ制御型、液晶型の空間光変調器でも十分な処理速度を得ることができる。
【００６８】
また、図９に示す通り、画像データが、空間の紋様（テクスチャー）、つまり、テクスチャ特徴量に基づく場合について説明する。濃度共起行列（Co-occurrence Matrix）（２次元結合確率密度関数の評価に基づく方法）を説明する。この２次元結合確率密度関数とは、濃度値ｉを持った画素からθ方向に距離ｄだけ離れた画素が濃度値ｊを持つ可能性を示す確率密度関数である。濃度共起行列はテクスチャが粗い場合には対角画素付近の値が大きくなり、テクスチャが細かい場合には比較的に一様に分布する。
【００６９】
図１０に示す通り、テクスチャ特徴量抽出エンジンはソース画像をグレイスケール化し、正規化し、θ＝０の濃度共起行列を生成し、θ＝４５°の濃度共起行列を生成し、θ＝９０°の濃度共起行列を生成し、θ＝１３５°の濃度共起行列を生成し、それらのループ処理を行うものである。この処理は図１及び図7の比較前処理生成部１６で行う。
【００７０】
次に比較前処理生成部１６で生成され２値化された対象光像について第１段階の処理を行う。すなわち、対象光像を画像出力部１８から光相関演算装置３０の空間光変調器３４に出力する。空間光変調器３４の読み出し部３４ｂには、コリメートレンズ３３を介して、レーザ・ダイオード３１からピンホール部３２からの読み出し光が入力されている。そして、この読み出し光によって対象光像が読み出し部３４ｂから出力される。この対象光像がフーリエ変換レンズ３５により光学フーリエ変換され対象フーリエ変換光像となり、面センサ３６で受光した対象フーリエ変換画像を検出する。これを画像取り込みカード６５を経て光像データ取得部６０に送信し、第１メモリ６３ａに対象フーリエ変換画像を記憶させ、ビデオカード６４から対象フーリエ変換画像に該当する第１電気信号を空間光変調器３４の書き込み部３３ａに送信する。そして、空間光変調器３４の読み出し部３４ｂから第２対象光像が読み出され、フーリエ変換部レンズ３４で光学フーリエ変換され差分用対象光像となり、面センサ３６で受光した差分用対象画像を読み出す。画像取り込みカード６５を経てこれを光像データ取得部６０に送信する。得られた差分用光像画像は、第１メモリ６３ａを経て差分演算部６２に送信される。
【００７１】
つぎに比較前処理生成部１６で生成され２値化された検索光像について第２段階を説明する。検索画像を画像出力部１８から光相関演算装置３０の空間光変調器３４に出力する。空間光変調器３４の読み出し部３４ｂには、コリメートレンズ３３を介して、レーザ・ダイオード３１からピンホール部３２からの読み出し光が入力されている。そして、この読み出し光によって検索光像に対応して生成された光像が、読み出し部３４ｂから出力される。この検索光像がフーリエ変換レンズ３５により光学フーリエ変換され結合フーリエ変換光像が生成される。面センサ３６で受光した結合フーリエ変換画像を検出する。これを画像取り込みカード６５を経て相関データ取得部６１に送信し、第２メモリ６３ｂに結合フーリエ変換画像を記憶させ、ビデオカード６４から結合フーリエ変換光像に該当する第２電気信号を空間光変調器３４の書き込み部３３ａに送信する。そして、空間光変調器３４の読み出し部３４ｂから第２検索光像が読み出され、フーリエ変換部レンズ３４で光学フーリエ変換され相関光像となり、面センサ３６でフーリエ変換された相関画像を検出する。これを画像取り込みカード６５を経て相関データ取得部６１に送信する。得られた相関基礎画像は、差分演算部６２に送信される。
【００７２】
このように、結合変換相関法（ＪＴＣ法）により形成された、差分用対象画像と、対象対象色度画像と比較色度画像との間の相関度についての情報を含む図５（ｂ）に示す相関基礎画像（ｂ）が取得される。
【００７３】
相関基礎画像（ｂ）には、自己相関ピークＢ１と、ピークＢ１から±方向にそれぞれ２ｄだけ離れた２つの相互相関ピークＦ１ａ、Ｆ１ｂとがれる。
【００７４】
差分演算部６２では、差分用対象画像と相関基礎画像（ｂ）の差分を取る。これにより、差分用対象画像の自己相関ピークと、相関基礎画像（ｂ）の自己相関ピークＢ１が打ち消され、相互相関ピークＦ１ａ、Ｆ１ｂが残された、相関画像（ｃ）が得られる。そして、その差分された後の相関画像が相関データ入力部１９に送信される。なお、自己相関ピークＢ１が打ち消され、その消え残り部分が多少出る場合があるが、処理には何ら問題ない。
【００７５】
なお、検索領域設定部１４では、この相関画像（ｃ）を参照し、相互相関ピークＦ１ａ、Ｆ１ｂの位置、及び範囲等に基づいて検索領域が設定される。
【００７６】
以上のように、検索画像を画像出力部１８から光相関演算装置３０へと出力し、光相関演算装置３０において並置された対象色度画像と比較色度画像との間で光学的な相関演算を行って、図７に示すような相互相関ピークＦ１ａ、Ｆ１ｂが残された相関画像（ｃ）を取得する。画像検索処理部１５は、このようにして得られた相関画像（ｃ）から画像の類似性を判断することで、画像検索処理を行う。
【００７７】
具体的には、図５（ｃ）或いは図７の相関画像には、自己相関ピークＢ２が現れないか、あるいは、ほとんど現れなくなる。また、自己相関ピークＢ２から±方向にそれぞれ２ｄだけ離れた２つの相互相関ピークＦ２ａ、Ｆ２ｂが、対象色度画像と比較色度画像との間の相関度に応じた強度で現れる。これに対して、相関画像に基づいて設定された矩形状の検索領域Ｒａ、Ｒｂを適用する。そして、画像検索処理部１５において、検索領域Ｒａ、Ｒｂ内で取得された相関強度を参照して、対象色度画像と比較色度画像との類似性が判断される。第１段階の処理を予め行っておけば、画像の大きさがほとんど同じ場合など、ほとんどの場合、自己相関データは大きくは変わらないと考えられるので、他の種類の対象画像の第２段階の処理にも利用でき、第１段階の処理を繰り返す必要がなくなり、処理が簡素化する。
【００７８】
このような対象色度画像と比較色度画像との画像比較処理、及び類似性の判断処理を、比較対象データベース１２に格納された複数の比較色度画像のそれぞれについて順次実行する。これにより、例えば複数の比較画像のうちで対象画像と色情報に関して最も類似度が高い画像を抽出するなどの画像検索が可能となる。また、画像相関装置１によれば、光像データ取得部６０で取得された差分用対象画像と、相関データ取得部６１で取得された相関基礎画像との差分を取ることにより、相関画像を作成する差分演算部６２を設けたので、十分な精度で、かつ高速に実行することが可能となる。また、画像の解析が容易になる。さらに比較前処理部１６でデータの２値化を行うことで、演算速度を速くすることができる。さらにＪＴＣを用いているので、光学系を小型化できる。例えば、光検出器の画素ピッチは細かいので（１．５μ程度）、レンズのｆ値を抑えられる。ただし、レーザーの出力をある程度上げる必要がある。マッチドフィルタではレンズのｆ値が高く、大型化される。光学調整が容易である。レンズｆ値が小さい。
【００７９】
ここで、上記したように相関画像に対して検索領域を適用し、検索領域内で取得された相関強度を参照して画像検索を行う構成では、相関画像から取得される相関強度は、対象色度画像と比較色度画像との類似性の定量的な指標となる。すなわち、上記方法では、対象色度画像と比較色度画像とで色度分布がある程度異なっていた場合、相互相関ピークは現れるが、その強度が同一の色度分布の場合よりも小さくなる。したがって、相関画像から取得される相関強度の値を参照することにより、例えば、複数の比較画像を対象画像との類似度が高い順に並べるなど、画像検索を利用した様々な情報の取得が可能となる。
【００８０】
図１１に示す実施形態２の画像相関装置１１０について説明する。なお、動作は概ね実施形態１と同様であるので、部品番号を１００番台とし、説明は援用し、相違点を説明する。この画像相関装置１１０は反射型のハーフミラー１３９を設けている点で相違している。図１２に画像相関装置１１０による処理結果を示す。画像相関装置１１０によれば、画像相関装置１と同様の効果を奏する。
【００８１】
図１３に示す実施形態３の画像相関装置２１０について説明する。なお、動作は概ね実施形態１と同様であるので、部品番号を２００番台とし、説明は援用し、相違点を説明する。この画像相関装置２１０はタンデム型の画像相関装置２１０であり、再度、空間光変調器２４４、フーリエ変換レンズ２４５、面センサ２４６を縦列に接続する点、カード６４が不必要である点で相違している。画像相関装置２１０によれば、画像相関装置１と同様の効果を奏する。ただし、実施形態１、２と対比して、装置は大きくなるが、処理速度が速くなる効果がある。また、空間光変調器２３４、２４４は磁気光学効果型が好ましい。なお、タンデム接続の単位タンデム構成をモジュール化することにより、これを複数個（ここでは２個）接続することもできる。
【００８２】
本発明による画像相関装置は、上記した実施形態及び実施例に限られるものではなく、様々な変形が可能である。例えば、上記実施形態では、光相関演算装置３０の相関データ取得装置３７などとして、ＣＣＤなどの画像取得装置を用いる例を説明したが、例えば相互相関ピークを選択的に検出するように配置された光検出器など、他の構成の光検出装置を用いても良い。また、空間光変調器は液晶型、磁気光学効果型、光アドレス型PAL-SLMなど種々なる態様で実施できる。
【産業上の利用可能性】
【００８３】
本発明は、色情報に着目した画像検索を好適に実行することが可能な画像相関装置として利用可能である。
【符号の説明】
【００８４】
１…画像相関装置  １０…画像検索制御装置  ３０…光相関演算装置
１１…対象画像入力部  １２…比較対象データベース  １３…色度画像生成部
１４…検索領域設定部  １５…画像検索処理部  １６…比較前処理生成部
１８…画像出力部  １９…相関データ入力部  ２１…入力装置
２２…表示装置  ２３…外部Ｉ／Ｆ  ３１…レーザ・ダイオード
３２…ピンホール  ３３…コリメートレンズ  ３４…空間光変調器
３４ａ…書き込み部  ３４ｂ…読み出し部  ３５…フーリエ変換レンズ
３６…面センサ  ３７…相関データ取得装置  ６０光像データ取得部
６１…相関データ取得部  ６２…差分演算部  ６３ａ…第１メモリ
６３ｂ…第２メモリ  ６４…ビデオカード  ６５…画像取込カード
【図１】
2010238164.tif 000006
【図２】
2010238164.tif 000007
【図３】
2010238164.tif 000008
【図４】
2010238164.tif 000009
【図５】
2010238164.tif 000010
【図７】
2010238164.tif 000011
【図８】
2010238164.tif 000012
【図９】
2010238164.tif 000013
【図１０】
2010238164.tif 000014
【図１１】
2010238164.tif 000015
【図１３】
2010238164.tif 000016
【図６】
2010238164.tif 000017
【図１２】
2010238164.tif 000018