(57)【特許請求の範囲】
【請求項１】
入力画像に対して２次元フーリエ変換を施すことにより、その画像の２次元パワースペクトルを算出するパワースペクトル演算手段と、
前記パワースペクトル演算手段によって算出した２次元パワースペクトルを、２次元座標系において複数ブロックに分割し、それらブロック毎にパワースペクトル成分の標準偏差を算出すると共に、算出した標準偏差の行列を生成する標準偏差行列生成手段と、
前記標準偏差行列生成手段によって生成された行列に対して、注目する方向毎に予め用意した該行列の形態に対応する所定のマスクパターンを用いてマスキングすることにより、各方向毎の特徴量として標準偏差の和を算出する特徴量算出手段と、
前記特徴量算出手段によって算出された特徴量に基づいて、前記画像が有する方向性を判定する特徴判定手段と、
前記画像と、前記特徴量算出手段によって算出した特徴量とを、前記特徴判定手段による方向性の判定結果を基に分類して記憶する記憶手段と、
前記記憶手段に記憶した特徴量と判定結果とに基づいて類似画像の検索を行う画像検索手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記パワースペクトル演算手段は、算出した２次元パワースペクトルを新たな画像とみなし、その画像に対してエッジ抽出を行うことにより、前記２次元パワースペクトルに含まれるピークを強調するエッジ抽出手段を含む
ことを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記標準偏差行列生成手段は、分割した複数ブロックのうち、前記２次元座標系の第１及び第２象限に対応するブロックについて標準偏差の行列を生成する
ことを特徴とする請求項１記載の画像検索装置。
【請求項４】
前記注目する方向毎のマスクパターンは、その注目する方向をピークとして重み付けがなされた多値のマスクパターンである
ことを特徴とする請求項１記載の画像検索装置。
【請求項５】
入力画像に対して２次元フーリエ変換を施すことにより、その画像の２次元パワースペクトルを算出するパワースペクトル演算工程と、
前記パワースペクトル演算工程にて算出した２次元パワースペクトルを、２次元座標系において複数ブロックに分割し、それらブロック毎にパワースペクトル成分の標準偏差を算出すると共に、算出した標準偏差の行列を生成する標準偏差行列生成工程と、
前記標準偏差行列生成工程にて生成した行列に対して、注目する方向毎に予め用意した該行列の形態に対応する所定のマスクパターンを用いてマスキングすることにより、各方向毎の特徴量として標準偏差の和を算出する特徴量算出工程と、
前記特徴量算出工程にて算出した特徴量に基づいて、前記画像が有する方向性を判定する特徴判定工程と、
前記画像と、前記特徴量算出工程によって算出した特徴量とを、前記特徴判定工程による方向性の判定結果を基に分類して記憶する記憶工程と、
前記記憶工程にて記憶した特徴量と判定結果とに基づいて類似画像の検索を行う画像検索工程と、
を有することを特徴とする画像検索方法。
【請求項６】
前記パワースペクトル演算工程において、算出した２次元パワースペクトルを新たな画像とみなし、その画像に対してエッジ抽出を行うことにより、前記２次元パワースペクトルに含まれるピークを強調する
ことを特徴とする請求項５記載の画像検索方法。
【請求項７】
前記標準偏差行列生成工程において、分割した複数ブロックのうち、前記２次元座標系の第１及び第２象限に対応するブロックについて標準偏差の行列を生成する
ことを特徴とする請求項５記載の画像検索方法。
【請求項８】
前記注目する方向毎のマスクパターンは、その注目する方向をピークとして重み付けがなされた多値のマスクパターンである
ことを特徴とする請求項５記載の画像検索方法。
【請求項９】
請求項５乃至請求項８記載のいずれかの画像検索方法をコンピュータによって実現可能なプログラムコードが格納されている
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を検索する画像検索装置及び画像検索方法及びコンピュータ読み取り可能な記憶媒体に関する。
【０００２】
【従来技術】
従来より類似画像を検索する種々の技術が提案されている。特に、テクスチャ画像については、そのテクスチャ画像の特徴の抽出にフーリエ変換を利用する手法が知られており（Ｒ．Ｂａｊｃｓｙ：Ｃｏｍｐｕｔｅｒ  ｄｅｓｃｒｉｐｔｉｏｎ  ｏｆ  Ｔｅｘｔｕｒｅｄ  Ｓｕｒｆａｃｅｓ，  Ｐｒｏｃ．  ３ｒｄ  Ｉｎｔ．  Ｃｏｎｆ．  ｏｎ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｐｐ．５７２〜５７９，１９７３）、この方法を適用した画像検索装置が考えられる。
【０００３】
ここで、このフーリエ変換を利用したテクスチャ画像の特徴抽出手法について概説する。この手法では、まず、予め入力された画像ｆ（ｘ，ｙ）の２次元フーリエ変換を、式（１）
【０００４】
【数１】
0003809305.tif 000002
によって計算すると共に、当該画像ｆの周波数成分の大きさを示すパワースペクトルｐを、式（２）
ｐ（ｉ，ｊ）＝｜Ｆ（ｉ，ｊ）｜2  ・・・・（２），
によって求める（ここで、ｉ，ｊは自然数である（以下、同様））。
【０００５】
このとき、画像ｆ（ｘ，ｙ）が含まれるところの、互いに直交するＸ軸及びＹ軸がなす２次元座標系の４つの象限において、第１象限と第３象限とを入れ替え、且つ第２象限と第４象限とを入れ替えることにより、式（２）によって算出した画像ｆの周波数成分の大きさを示すパワースペクトルｐを、ゼロ周波数がスペクトルの中心になるように調整する。
【０００６】
次に、調整したパワースペクトルｐ’に対して極座標変換を施すことにより、周波数がｒの成分の総和ｐ（ｒ）とθ方向の周波数成分の総和ｐ（θ）を、式（３）及び式（４）によって求める（ここで、ｒは原点からの距離であり、θは当該極座標の原線とｒとがなす角である（以下、同様））。
【０００７】
【数２】
0003809305.tif 000003
【０００８】
式（４）によって算出されたｐ（θ）の分布によれば、当該画像ｆ（ｘ，ｙ）が有するテクスチャの方向性を知ることができ、この方向性の認識は、入力画像が方向性θであれば、角度θにおいてパワースペクトル上にピークが現れることを利用している。そこで、このパワースペクトルに含まれるピークの数とその大きさとを検出し、その検出の結果、ピークの数が１つならば「１方向性」、２つなら「２方向性」、そして３つ以上のピークが含まれるならば「方向性はもたない」なる判断を行う。
【０００９】
【発明か解決しようとする課題】
しかしなから、上記の特徴抽出手法を画像検索に適用するには、以下に説明する問題がある。即ち、
（１）上記の式（４）に示す如くパワースペクトルｐの全空間に対する総和を算出しないと、ピーク検出による方向性の判断が行えない。このため、計算に要する時間が問題となり、実用を考慮するとある程度計算処理能力の高い装置を採用せざるを得ないため、トータルコストが高くなるという問題がある。
【００１０】
（２）２つの入力画像の方向性を比較することにより、当該両画像の類似度を判断する場合には、一般に、それら２つの画像がそれぞれ有するパワースペクトルの分布を正規化し、その正規化後の両画像のパワースペクトル同士を比較する方法等が考えられるが、この場合も前記（１）で述べた同様な問題があるため、実用性に乏しい。
【００１１】
（３）入力されたテクスチャ画像の方向性を判断した結果、その画像が実際には３つ以上の方向性を持っていた場合も、上述したように「方向性はもたない」と判定されてしまう。
【００１２】
本発明は上記の問題に鑑みてなされたものであり、実用的な所要時間で正確且つ高精度に画像の検索を行う画像検索装置及び画像検索方法及びコンピュータ読み取り可能な記憶媒体の提供を目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するため、本発明に係る画像検索装置は、以下の構成を特徴とする。
【００１４】
即ち、入力画像に対して２次元フーリエ変換を施すことにより、その画像の２次元パワースペクトルを算出するパワースペクトル演算手段と、前記パワースペクトル演算手段によって算出した２次元パワースペクトルを、２次元座標系において複数ブロックに分割し、それらブロック毎にパワースペクトル成分の標準偏差を算出すると共に、算出した標準偏差の行列を生成する標準偏差行列生成手段と、前記標準偏差行列生成手段によって生成された行列に対して、注目する方向毎に予め用意した該行列の形態に対応する所定のマスクパターンを用いてマスキングすることにより、各方向毎の特徴量として標準偏差の和を算出する特徴量算出手段と、前記特徴量算出手段によって算出された特徴量に基づいて、前記画像が有する方向性を判定する特徴判定手段と、前記画像と、前記特徴量算出手段によって算出した特徴量とを、前記特徴判定手段による方向性の判定結果を基に分類して記憶する記憶手段と、前記記憶手段に記憶した特徴量と判定結果とに基づいて類似画像の検索を行う画像検索手段とを備えることを特徴とする。
【００１５】
また、例えば前記標準偏差行列生成手段は、分割した複数ブロックのうち、前記２次元座標系の第１及び第２象限に対応するブロックについて標準偏差の行列を生成することを特徴とする。
【００１６】
また、例えば前記注目する方向毎のマスクパターンは、その注目する方向をピークとして重み付けがなされた多値のマスクパターンであることを特徴とする。
【００１７】
また、例えば前記検索手段は、検索対象として指定された元画像と、類似画像の候補となる他の画像とについてそれぞれ前記記憶手段に記憶されているところの、前記注目する方向毎に算出された特徴量をベクトルとみなし、そのベクトルの内積演算を行うことにより、該元画像と他の画像との類似度を算出することを特徴とする。
【００１８】
上記の目的を達成するため、本発明に係る画像検索方法は、以下の構成を特徴とする。
【００１９】
即ち、入力画像に対して２次元フーリエ変換を施すことにより、その画像の２次元パワースペクトルを算出するパワースペクトル演算工程と、前記パワースペクトル演算工程にて算出した２次元パワースペクトルを、２次元座標系において複数ブロックに分割し、それらブロック毎にパワースペクトル成分の標準偏差を算出すると共に、算出した標準偏差の行列を生成する標準偏差行列生成工程と、前記標準偏差行列生成工程にて生成した行列に対して、注目する方向毎に予め用意した該行列の形態に対応する所定のマスクパターンを用いてマスキングすることにより、各方向毎の特徴量として標準偏差の和を算出する特徴量算出工程と、前記特徴量算出工程にて算出した特徴量に基づいて、前記画像が有する方向性を判定する特徴判定工程と、前記画像と、前記特徴量算出工程によって算出した特徴量とを、前記特徴判定工程による方向性の判定結果を基に分類して記憶する記憶工程と、前記記憶工程にて記憶した特徴量と判定結果とに基づいて類似画像の検索を行う画像検索工程とを有することを特徴とする。
【００２０】
更に、上記の画像検索装置及び画像検索方法を、コンピュータによって実現するプログラムコードが格納されている、コンピュータ読み取り可能な記憶媒体を特徴とする。
【００２１】
【発明の実施の形態】
以下、本発明に係る画像検索装置の実施形態を、図面を参照して詳細に説明する。
【００２２】
図１は、本実施形態における画像検索装置の装置構成を示すブロック図である。
【００２３】
同図において、１０１はＣＰＵであり、本実施形態に係る画像検索装置の各種制御を実行する。１０２はＲＯＭであり、本実施形態に係る画像検索装置の起動時にＣＰＵ１０１によって実行されるブートプログラムや各種データが格納されている。１０３はＲＡＭであり、ＣＰＵ１０１が処理する各種制御プログラムを格納すると共に、それらの制御プログラムをＣＰＵ１０１が実行する際の作業領域を提供する。１０４は入力装置としてのキーボードである。１０５は、補助入力装置としてのマウスである。キーボード１０４及びマウス１０５は、ユーザに対して当該画像検索装置への入力操作環境を提供する。
【００２４】
また、１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスクドライブ、或いはＣＤ−ＲＯＭ等で構成される。１０７はＣＲＴ等の表示器であり、マンマシンインタフェースとして各種情報を表示する。１０８はネットワークインタフェースであり、ネットワーク上の外部機器との通信を可能とする。１１０は対象とする原稿画像を読み取ることにより、その原稿画像を表わす画像データを生成する一般的なスキャナである。１０９はインタフェースであり、スキャナ１１０と当該画像検索装置とのデータの送受信を制御する。
【００２５】
そして、上述した各ユニットは、内部バス１１１によって接続されている。尚、上記の構成においてスキャナ１１０や外部記憶装置１０６は、ネットワーク上に配置されたもので代用してもよい。
【００２６】
図２は、本実施形態における画像検索装置の機能構成を示すブロック図である。以下の説明において、モジュールとは、ある機能を実現させるための機能単位であり、例えばＣＰＵ１０１に実行させる一群のソフトウエア、或いは当該機能単位を実行する専用のハードウエアを意味する。
【００２７】
同図において、１１はユーザインタフェースモジュールであり、表示器１０７、キーボード１０４及びマウス１０５を用いて、ユーザからの各種の操作入力を検出する。１２は画像入力モジュールであり、スキャナ１１０等による画像の読み込みを行う。１３は画像メモリであり、画像入力モジュール１２によって得られたイメージデータをＲＡＭ１０３の所定の領域に格納する。
【００２８】
１４は画像特徴抽出モジュールであり、画像メモリ１３に格納した画像ｆ（ｘ，ｙ）について、後述の手順で特徴量を抽出する。１８は画像特徴判定モジュールであり、特徴量から方向性の判定を行う。１５は画像検索モジュールであり、画像蓄積モジュール１６に予め蓄積した複数種類の画像の特徴量と、検索対象の画像（元画像）の特徴量とのマッチングを行うことにより、元画像と他の画像との類似度Ｒを算出する。
【００２９】
１６は画像蓄積モジュールであり、画像入力モジュール１２等によって得られた画像データを蓄積する。１７は画像管理データベース（以下、画像管理ＤＢ）であり、例えば図３に示すデータフォーマットに従って、画像蓄積モジュール１６に格納された画像データを管理する。図３に示す例では、画像ＩＤをキーとして、蓄積する画像（画像データファイル）の格納場所を所定のルートディレクトリからのフルパスで表わすファイル名、並びにその画像についての特徴量、方向性ＩＤ、そしてその他の属性の各フィールドが有る。
【００３０】
１９は方向性分類テーブルであり、画像特徴判定モジュール１８で判定された方向性に従って、例えば図１０に示すテーブルにより、画像ＩＤの分類と管理が行われる。
【００３１】
以上のような構成を備えた本実施形態に係る画像検索装置の動作例を、以下に説明する。
【００３２】
＜画像の登録処理＞
はじめに、画像を画像検索装置に登録する際に行う処理について説明する。
【００３３】
図４は、本実施形態における画像登録処理の手順を示すフローチャートである。
【００３４】
同図において、ステップＳ５０１０：ユーザインタフェースモジュール１１を介して入力されたユーザの指示に応じて、原稿画像を、画像入力モジュール１２を用いて画像データｆ（ｘ，ｙ）として読み込み、その読み込んだ画像ｆを画像メモリ１３に記憶する。
【００３５】
ステップＳ５０２０：画像特徴抽出モジュール１４は、画像メモリ１３を参照することにより、当該メモリ内にステップＳ５０１０にて記憶した画像がカラー画像であるか否かをを判断する。この判断においてＹＥＳ（カラー画像）のときにはステップＳ５０３０に進み、ＮＯ（グレースケール画像）のときにはステップＳ５０４０に進む。
【００３６】
ステップＳ５０３０：画像メモリ１３に記憶しているカラー画像を、グレースケール画像に変換する。即ち、当該カラー画像を構成する複数画素を表わす多値画像データのＲ（赤）、Ｇ（緑）、Ｂ（青）の値を、各画素毎に式（５）に代入することにより、当該カラー画像をグレイスケール信号（Ｙ）に変換することができる。
【００３７】
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ  ・・・・・・・（５），
ステップＳ５０４０：グレースケール画像のコントラストを強調するために、濃度ヒストグラムの平坦化を行う。この処理は、当該グレースケール画像を構成する画素の濃度値についてヒストグラムを算出し、その算出したヒストグラムを全ての濃度値においてヒストグラムの高さ（各濃度値に対応する画素）が一定になるように、各画素の濃度値を変換する処理である。
【００３８】
ステップＳ５０５０：ステップＳ５０４０で得たグレースケール画像に対して、２次元フーリエ変換を施すことによってパワースペクトルｐを得る。２次元フーリエ変換は、従来の技術にて上述したように、式（１）及び式（２）を利用して行えば良い。
【００３９】
ステップＳ５０６０：算出したパワースペクトルｐに対してローパスフィルタをかけることにより、雑音を除去する等の後処理を施す。
【００４０】
ステップＳ５０７０：ステップＳ５０６０にてローパスフィルタを通されたパワースペクトルｐ’を新たに画像とみなしてエッジ抽出処理を施すことにより、そのパワースペクトルｐ’に現れているピークを強調させる。この処理には、例えばＳｏｂｅｌオペレータによってフィルタリングする等の方法を採用すれば良い。
【００４１】
ステップＳ５０８０：ピークが強調されたパワースペクトルｐ’’を、図５に示すように５×５の複数ブロックに分割する。ここで、５×５のブロックへ分割するのは、本実施形態では説明を簡単にするために４つの方向性、即ち０度、４５度、９０度、１３５度方向に注目するためであり、更に細かい方向性に注目する場合には更に細かく分割すれば良い。例えば、８方向に注目する場合には、１３×１３の複数ブロックに分割するのが好ましい。
【００４２】
次に、入力画像ｆ（ｘ，ｙ）の方向性を表すところの、パワースペクトルに含まれるピークは、画像ｆ（ｘ，ｙ）が含まれるところの、互いに直交するＸ軸及びＹ軸がなす２次元座標系において原点を通る直線となることが判っている。そこで、当該２次元座標系の４つの象限のうち、第１象限と第２象限とのみに注目し、それら第１及び第２象限に存在する画像ｆ（ｘ，ｙ）のパワースペクトルについて標準偏差を算出する。このとき、処理に要する時間を問題としなければ、全てのブロックに対して計算を行ってもよいが、０度方向は、Ｘ軸上に分布していることを考慮すれば、以下に説明するように、計算処理に要する時間を短縮することができる。
【００４３】
即ち、図５に示す５×５のブロック中において、○印で示した５×３の各ブロックについて注目し、この注目したブロック毎にパワースペクトル成分の標準偏差を計算する。標準偏差とは、標本となるデータの平均値からの散らばりの度合（程度）を表わす値であるから、あるブロック中にピークが存在することによって偏差分布が偏っていれば、その影響によって標準偏差の値は大きくなる。従って、この標準偏差が十分に大きいブロックが有れば、そのブロック中にパワースペクトルのピークが存在すると判断することができる。
【００４４】
ステップＳ５０９０：このようにして算出した５×３の各ブロックに対する標準偏差の行列に対して、図６に示す如く本実施形態にて注目する４つの方向性（０度、４５度、９０度、１３５度）に対応した多値のマスクパターンを用いてマスキングを施すことにより、当該各方向毎の特徴量を算出する。
【００４５】
ここで、ステップＳ５０８０で算出した５×３の各ブロックのパワースペクトルの標準偏差が、例えば図７に示す点線に沿ってピークを有する場合、即ち４５度の方向性を持っている場合について述べる。このとき、図６に示す４つのマスクのうち、例えば４５度方向のマスクパターン（図６の（ｂ））を用いてマスキングを施すことにより、ブロック毎の標準偏差の和を算出し、その算出した値を４５度方向の特徴量とする。算出した４５度方向の特徴量は、図７の各ブロックの場合は以下のようになる。
【００４６】
７×１＋２０×２＋２０×２＋７×１＝９４，
同様な特徴量の計算を、図６の（ａ），（ｃ），（ｄ）の各方向のマスクパターンを用いて行うことにより、０度方向の特徴量として３５、９０度方向の特徴量として３１、そして１３５度方向の特徴量として２４を得る。この場合、算出した４方向の特徴量で最も値が大きいのは４５度方向の特徴量であるため、図７に示すパワースペクトルの標準偏差は、「４５度方向に強い方向性を持っている」と判断することができる。
【００４７】
ここで、図６に示した方向別のマスクパターンについて更に詳しく説明する（尚、図６に示すパターンは一例であり、特徴量を効率良く検出できるのであればこれに限られるものではない）。
【００４８】
まず、図６に示す４つのマスクパターンにおいて、５×３の各ブロックのうち、当該２次元座標系をなすＸ軸とＹ軸の交点（原点）に相当するブロックは、何れのマスクパターンも０と設定している。これは、原点の周りには常に高いピークが見られるため、敢えて評価しないようにするためである。
【００４９】
次に、図６に示す４つのマスクパターンは、それぞれの方向のピークが現れるブロックの重みを２に設定すると共に、そのブロックの近傍のブロックには１を設定することにより、特徴量検出のためのマスクに方向性の幅を多少もたせている。この図６に示すような重み付けがなされた方向別のマスクパターンを、本実施形態で採用した理由について、図８を参照して説明する。
【００５０】
いま、図８に示したように、４５度方向のピーク［１］と、９０度方向のピーク［３］との間の範囲に位置するピーク［２］について考える。ピーク［２］は、４５度方向のピーク［１］に近ければブロックＢを通り、ピーク［１］と９０度方向のピーク［３］とのほぼ中間くらいに位置すればブロックＡを通る。図６（ｂ）に示す４５度方向のマスクパターンにおいては、図８のブロックＡに相当するブロックは重み１、ブロックＢは重み２に設定されているので、同じ強さのピークであればマスキング後の特徴量の値は、ピーク［２］が４５度方向に近い場合に大きくなることが判る。
【００５１】
反対に、当該マスクパターンの重みをブロックＡ、Ｂともに１に設定したとすれば、ピーク［２］が４５度方向に非常に近い方向性をもつ場合も、４５度からやや離れている方向性をもつ場合についても、算出した特徴量の和は同じになってしまい、区別をつけることができない。また、マスクパターンに方向性の幅を持たせずにブロックＡ等の重みを１に設定したブロックを０に設定した場合には、４５度からやや離れたピークの方向性は、特徴量が極端に小さくなってしまう。本実施形態の図６のようにマスクパターンを設定すれば、係る場合にあっても方向性を正確に判別することができる。
【００５２】
また、本実施形態では、ピーク［２］がピーク［１］とピーク［３］のほぼ中間を通る場合には、ピーク［２］がピーク［３］により近い程、ピーク［２］はブロックＣを多く通過するため、９０度方向の特徴量は４５度方向の特徴量よりやや大きくなる。反対に、ピーク［２］がピーク［１］により近い程、ピーク［２］はブロックＤを多く通過するため、４５度方向の特徴量は９０度方向の特徴量よりやや大きくなる。このように中間の方向性をもつ場合については、ピーク近傍の２つの注目する方向性の特徴量に反映することができる。
【００５３】
また、本実施形態では、各マスクパターンの重みの総和が等しくなるように設定している。これは、各方向間で特徴量の差がでないようにするためである。よって０度方向については、本来第４象限にくるブロックを原点対称の位置にあたる第２象限のブロックで使用することで調整している。
【００５４】
ステップＳ５０９５：ステップＳ５０９０で算出した各方向の特徴量に基づいて、現在対象としている画像を、本実施形態にて注目している４つの方向のうちどの方向に分類できるかを判定する。即ち、現在対象としている画像について算出したパワースペクトルに含まるピークが、本実施形態にて注目している４つの方向性の領域内に存在するかを判定する。この判定により、当該画像が例えば４５度の方向性を持っていることが判ったときには、その画像に対して方向性ＩＤを「４５度」と割り当て、方向性を持たないと判断したときには「方向性なし」と割り当てる（詳細は後述する）。
【００５５】
ステップＳ５１００：ステップＳ５０９５までの処理で得られた各方向別の特徴量（本実施形態では４方向）、方向性ＩＤや画像データを、画像蓄積モジュール１６、画像管理ＤＢ１７に格納する。即ち、ステップＳ５０１０で読み込んだ画像データを画像蓄積モジュール１６に格納する。そして、画像蓄積モジュール１６に蓄積した画像データに画像ＩＤを対応付けすることによって図３に示す画像管理ＤＢレコードを生成し、その生成したレコードを画像管理ＤＢ１７に登録する。
【００５６】
ステップＳ５１１０：ステップＳ５１００で画像ＩＤや方向性ＩＤ等を登録した画像について、方向性分類テーブル１９に、その方向性ＩＤをキーとして当該画像ＩＤを追加する（図１０参照）。本ステップは、ステップＳ５０９５で方向性ＩＤが「方向性なし」と判断された画像（画像ＩＤ）については省略される。
【００５７】
（方向性の判定処理）
ここで、図４のステップＳ５０９５の方向性の判定処理の詳細な手順について、図１１のフローチャートを用いて説明する。
【００５８】
図１１は、本実施形態における画像登録処理のうち、方向性の判定処理の手順を示すフローチャートである。
【００５９】
同図において、ｉ，ｊ，ｋは本判定処理において注目する方向性に順番に付与されるインデックス番号であり、本実施形態では、上述したように方向性を４方向としているため、インデックス番号の最大値ｉmax，ｊmax，ｋmaxは全て４である。そしてＶｉは、インデックス番号ｉの特徴量を示す。例えば、本実施形態において特徴量Ｖ2は、４５度方向の特徴量である。
【００６０】
まず、本判定処理における手順の概要を説明する。ステップＳ１１０２０〜ステップＳ１１０５０において、所定の値より小さい特徴量であれば、その方向の特徴量を補正する。次に、ステップＳ１１０６０〜ステップＳ１１１１０において、ｊ番目の方向の特徴量とその両隣方向（ｊ−１，ｊ＋１）の特徴量との重み付け和Ｖ’を求める（重み付け和Ｖ’の算出方法については後述する）。次に、ステップＳ１１１２０〜ステップＳ１１１５０において、上記の重み付け和Ｖ’が所定の値より小さいものは０に補正する（重み付け和の補正方法については後述する）。このようして求まった重み付け和Ｖ’に従って方向性を判定する。次に、個々のステップについて詳細に説明する。
【００６１】
ステップＳ１１０１０：インデックス番号の初期化を行う。
【００６２】
ステップＳ１１０２０，ステップＳ１１０３０：特徴量Ｖiが所定の特徴量Ｖs以下であるかを判断し（ステップＳ１１１０）、ＮＯ（Ｖi＞Ｖs）のときにはステップＳ１１０４０に進み、ＹＥＳ（Ｖi≦Ｖs）のときにはＶsに補正する（ステップＳ１１０３０）。
【００６３】
ここで、ステップＳ１１０３０の補正処理は、特徴量Ｖiが十分に小さいことはパワースペクトル上で見ればｉ番目に相当する方向の領域にピークか含まれていないために行われる。この補正を行わなければ、低い特徴量であってもある程度ばらつきをもっていれば次の重み付け和Ｖ’を算出したときに十分大きな値となってしまい、最終的に方向性を持っているという判定結果になってしまう。例えば、特徴量Ｖが｛５，１５，３，８０｝のような場合、特徴量Ｖ2の重み付け和Ｖ’は１１となり、４５度方向にも方向性を持つことになってしまう。そこで多くの画像に対する実験により、統計的に所定の値Ｖｓを決定する。ここで、この値Ｖｓが例えば４０であるとすると、このとき、上記の例の特徴量Ｖは｛４０，４０，４０，８０｝に補正される。もしこのとき０に補正してしまうと、所定値Ｖs付近で特徴量がばらつきをもっている場合、例えば特徴量Ｖ（３５，４２，４１，８０｝は、｛０，４２，４１，８０｝と補正され、Ｖ2の重み付け和Ｖ’が４から２１．５へと急激に変わってしまい、正確な方向性の判断に大きく影響してしまうことになる。
【００６４】
ステップＳ１１０４０，ステップＳ１１０５０：ｉがｉmaxより小さいかを判断することにより、処理終了の判断を行う（ステップＳ１１０４０）。この判断でＹＥＳ（ｉ＜ｉmax）のときには、ステップＳ１１０５０においてｉをカウントアップし、ステップＳ１１０２０に戻る。一方、ＮＯ（ｉ≧ｉmax）のときにはステップＳ１１０６０に進む。
【００６５】
次に、重み付け和Ｖ’の算出方法の詳細を説明する。重み付け和Ｖ’jはステップＳ１１０７０において、ｊ番目の方向の特徴量を１、その両隣方向（ｊ−１、ｊ＋１）の特徴量を−０．５と重み付けする式（６）により、
Ｖ’j＝（−０．５）×Ｖj-1＋（１）×Ｖj＋（−０．５）×Ｖj+1  ・・・（６）
から算出される。式（６）によれば、Ｖj-1＜Ｖj＞Ｖj+1であるときに、Ｖ’jは正の値をとる。もちろんＶj−Ｖj-1，Ｖj−Ｖj+1が大きいほどＶ’jは大きな値を採る。また、Ｖj-1＜Ｖj＜Ｖj+1、或いはＶj-1＞Ｖj＞Ｖj+1であるときは負の値になる。即ち、ｊ方向にピークが含まれているときＶjが両隣のＶj-1，Ｖj+1より大きくなってＶ’jは正の値を取り、そうでないときは負の値を取る。
【００６６】
ステップＳ１１０８０からステップＳ１１１１０：jがjmaxより小さいかを判断することにより、処理終了の判断を行う（ステップＳ１１０８０）。この判断でＹＥＳ（j＜jmax）のときには、ステップＳ１１０９０においてjをカウントアップし、全ての方向の特徴量に対して重み付け和Ｖ’jを求める。このとき、ｊ＝ｊmax（即ちｊ＝４で方向性が１３５度）のときに、本実施形態では４５度間隔の方向に注目しているので、ｊ＋１は、１３５度＋４５度＝１８０度であり、これは０度方向と同じである。従って、ステップＳ１１１００ではｊ＝ｊmaxであれば、ステップＳ１１１１０においてＶj+1＝Ｖ1とする。同様にｊ＝１のときも周期性からステップＳ１１０６０に戻ってＶj-1＝Ｖjmaxとする。一方、ＮＯ（j≧jmax）のときにはステップＳ１１１２０に進む。
【００６７】
次に、ステップＳ１１１２０からステップＳ１１１５０にて行われる重み付け和Ｖ’の補正処理の詳細について述べる。
【００６８】
ある方向性にピークを持たなくても、特徴量Ｖにばらつきがあれば、算出した重み付け和Ｖ’が正の値となる場合が存在する。これによる誤判定を避けるために、本実施形態では、以下の処理を行う。
【００６９】
ステップＳ１１１２０：重み付け和Ｖ’kが、所定の値Ｖ’t以下であるかを判断し（ステップＳ１１１２０）、ＮＯ（Ｖ’k＞Ｖ’t）のときにはステップＳ１１１４０に進み、ＹＥＳ（Ｖ’k≦Ｖ’t）のときにはＶ’kを０に補正する（ステップＳ１１１３０）。ここでＶ’ｔは、多くの画像に対する実験から統計的に求めることができる。
【００７０】
ステップＳ１１１４０，ステップＳ１１１５０：kがkmaxより小さいかを判断することにより、処理終了の判断を行う（ステップＳ１１１４０）。この判断でＹＥＳ（k＜kmax）のときには、ステップＳ１１１５０においてkをカウントアップし、ステップＳ１１１２０に戻る。一方、ＮＯ（k≧kmax）のときには、方向性の判定処理を終了する。
【００７１】
このようにして求まった重み付け和Ｖ’kが正の値である方向を表わす方向性ＩＤを、現在対象としている画像の方向性ＩＤとして割り当てる。このとき、算出した重み付け和Ｖ’kがすべて０であれば、「方向性なし」を表わす方向性ＩＤを割り当て、図４のステップＳ５１００に進む。
【００７２】
以上、図４及び図１１のフローチャートを参照して説明した処理が、類似画像の検索処理に先立って行われる画像登録処理である。
【００７３】
＜類似画像の検索処理＞
次に、上述した如く登録した複数種類の画像の中から、ユーザが指定した元画像に類似する画像を検索する処理について説明する。
【００７４】
図９は、本実施形態における画像検索処理の手順を示すフローチャートである。
【００７５】
同図において、ステップＳ１００１０，ステップＳ１００２０：ユーザインタフェースモジュール１１により、ユーザが類似画像の検索を行うべき対象となる元画像を指定すると（ステップＳ１００１０）、指定された元画像の画像ＩＤが画像管理ＤＢ１７から取得され、更に画像管理ＤＢ１７から当該元画像の特徴量（本実施形態では４つの方向性に関する特徴量）と方向性ＩＤとが取得される。
【００７６】
ステップＳ１００２５：図１０に示す方向性分類テーブルより、ステップＳ１００１０で指定された元画像の画像ＩＤが属する方向性ＩＤに属する他の画像ＩＤを取得する。このとき、当該元画像の方向性ＩＤが「方向性なし」のときには、方向性分類テーブルを参照せずにすぐ次のステップに移る。また、当該元画像が複数の方向性ＩＤを持つ場合、即ち、図１０に示した方向性分類テーブルの例で説明すれば、例えば当該元画像が０度と９０度の方向性ＩＤを持つ場合には、方向性ＩＤが０度に属する画像ＩＤ｛１，４，５，１０｝と９０度に属する画像ＩＤ｛３，４，１０｝とを得る。
【００７７】
この例において、元画像と全く同じ方向性を持っている画像（画像ＩＤ）のみを検索したければ、２つの画像ＩＤの組の論理積を取ればよい。従って、このときは画像ＩＤ｛４，１０｝を得る。
【００７８】
また、元画像の持つ方向性ＩＤと方向性ＩＤが何れか１つでも同じ画像の中から検索したければ、２つの画像ＩＤの組の論理和を採れば良い。従ってこのときは画像ＩＤ｛１，３．４．５，１０｝を得る。
【００７９】
ステップＳ１００２８：ステップＳ１００２６において同じ方向性を持つ画像が存在したかどうかを判断し、ＮＯ（存在しなかった）のときは処理をアボートし、存在しなかったことをユーザに提示し、ＹＥＳ（存在する）のときにはステップＳ１００３０に進む。
【００８０】
ステップＳ１００３０：元画像の４つの方向性の特徴量と、ステップＳ１００２５において求めた元画像と同じ方向性を持つ画像の４つの方向性の特徴量とを比較することにより、それら画像の類似度Ｒを算出する。ここで、同じ方向性をもつ画像の特徴量は、その画像ＩＤをキーとして画像管理ＤＢ１７を参照することによって得ることができる。
【００８１】
類似度Ｒは、元画像をＡ，比較対象（比較候補）となる画像をＢとし、それら画像の０度の方向性の特徴量をＨ０００，４５度の方向性の特徴量をＨ０４５，９０度の方向性の特徴量をＨ０９０，１３５度の方向性の特徴量をＨ１３５と表せば、各画像の特徴量を４次元のベクトルとみなした内積の式（７）から算出することができる。
【００８２】
【数３】
0003809305.tif 000004
【００８３】
式（７）によって得られた類似度Ｒが、所定のしきい値以上の画像Ｂを、類似度Ｒが大きい順にソートし、そのソート結果として、算出した類似度Ｒと画像Ｂの画像ＩＤと対にして出力する。
【００８４】
ステップＳ１００４０：ステップＳ１００３０のソート出力に含まれる画像Ｂの画像ＩＤをキーとして画像管理ＤＢ１７を参照することにより、その画像Ｂのフルパスのファイル名を取得し、そのファイル名を表示器１０７によってユーザに提示する。
【００８５】
以上、図９のフローチャートを参照して説明した処理が、類似画像の検索処理である。
【００８６】
上述した本実施形態に係る画像検索装置によれば、まず、入力画像に対して２次元フーリエ変換を行って得られた２次元パワースペクトルを２次元座標系において５×５の複数ブロックに分割し、それらブロックのうち５×３のブロック毎にパワースペクトル成分の標準偏差を求め、次に、算出したブロック毎の標準偏差（標準偏差の行列）に対して、注目する方向毎に予め用意した所定のマスクパターンを用いてマスキングすることにより、それら方向毎の特徴量として標準偏差の和を求め、その特徴量の大きさに従って当該入力画像がどの方向性を有するかを判定し、更に、当該入力画像について算出した特徴量と方向性の判定結果とを対応付けて記憶し、これら記憶した情報を利用して類似画像の検索を行う。
【００８７】
即ち、テクスチャ画像の方向性を示す特徴量を、注目する４つの方向性それぞれについて算出しており、更に、これら特徴量を利用して元画像と他の画像との類似度Ｒを算出することにより、画像検索装置を実現している。
【００８８】
また、注目している４方向のうち、テクスチャ画像がどの方向に方向性を持っているかを、その画像について算出した特徴量に基づいて方向性分類テーブル（図１０）の如く分類することができ、その分類した情報を利用して類似画像検索時の画像候補の絞り込み処理を行うことにより、高速な検索処理を実現することができる。
【００８９】
尚、本実施形態では４方向に注目し、３方向以上の方向性を持ったテクスチャ画像も分類可能としたが、ブロック分割をより詳細にする等により、より多くの方向性についてテクスチャ画像を分類できる。
【００９０】
［実施形態の変形例］
上述した本実施形態においては、パワースペクトルのピークを強調するために、Ｓｏｂｅｌオペレータを用いてエッジ抽出処理を行ったが、Ｒｏｂｅｒｔｓオペレータを使用する等、他の手法によってエッジ抽出処理を行うことによっても実現可能である。
【００９１】
尚、上記実施形態においては、パワースペクトルのピークを強調するためにエッジ抽出処理を行ったのは、後段の処理で算出する特徴量に強く反映させて高い検索精度を得るためであり、処理速度を向上のために特徴量の精度を多少犠牲にしても構わなければ、当該エッジ抽出処理は省略が可能である。
【００９２】
また、上記の実施形態においては、４つの方向性に注目したときに５×５へのブロックへの分割を行ったが、処理速度が遅くなっても構わなければ、より細かいブロックへの分割を行っても良い。
【００９３】
また、上記の実施形態においては、４つの方向性に注目したが、ブロック分割数とマスクパターンを調整すれば、より多くの方向性に注目してそれぞれの特徴量を算出することも可能である。
【００９４】
また、上記の実施形態においては、パワースペクトルの対称性に注目して、第１及び２象限に相当するブロックについて標準偏差を算出したが、処理速度が遅くなっても構わなければ、第３及び第４象限を含む全てのブロックについて算出しても良い。
【００９５】
また、上記の実施形態においては、図６に示すようなマスクパターンを使用したが、重み付けの値を大きくする等、様々なバリエーションか存在する。これらのマスクパターンによっても、十分にチューニングされたものであれば、実現可能である。
【００９６】
また、上記の実施形態においては、画像特徴判定モジュールで重み付け和を算出するのに重みを−０．５，１，−０．５としたが、−０．４，０．８，−０．４とする等の様々なバリエーションが存在する。
【００９７】
［他の実施形態］
尚、本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタ等）から構成されるシステムに適用しても、一つの機器からなる専用の装置として構成しても良い。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９９】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図４，図９、並びに図１１に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１０１】
【発明の効果】
以上説明したように本発明によれば、実用的な所要時間で正確且つ高精度に画像の検索を行う画像検索装置及び画像検索方法及びコンピュータ読み取り可能な記憶媒体の提供が実現する。
【図面の簡単な説明】
【図１】本実施形態における画像検索装置の装置構成を示すブロック図である。
【図２】本実施形態における画像検索装置の機能構成を示すブロック図である。
【図３】画像管理ＤＢレコードのデータ構成例を示す図である。
【図４】本実施形態における画像登録処理の手順を示すフローチャートである。
【図５】パワースペクトル画像のブロック分割の例を示す図である。
【図６】本実施形態における方向性の特徴量抽出のためのマスクパターンである。
【図７】マスクパターンを施して処理する際のパワースペクトルの各ブロック毎に標準偏差を算出した一例を示す図である。
【図８】方向性を表すピークが、４５度，９０度、とその間に現れた場合についてマスクパターンがどのように作用するかを説明する図である。
【図９】本実施形態における画像検索処理の手順を示すフローチャートである。
【図１０】方向性分類テーブルの一例を示す図である。
【図１１】本実施形態における画像登録処理のうち、方向性の判定処理の手順を示すフローチャートである。
【図１】
0003809305.tif 000005
【図２】
0003809305.tif 000006
【図３】
0003809305.tif 000007
【図４】
0003809305.tif 000008
【図５】
0003809305.tif 000009
【図６】
0003809305.tif 000010
【図７】
0003809305.tif 000011
【図８】
0003809305.tif 000012
【図９】
0003809305.tif 000013
【図１０】
0003809305.tif 000014
【図１１】
0003809305.tif 000015