(57)【特許請求の範囲】
【請求項１】
画像を複数のブロックに分割し、各ブロックについて特徴量に応じて付与されたラベルのヒストグラムを表すラベルヒストグラム情報を複数の画像データの各々に関して格納する格納手段と、
各ラベルをキーとして当該ラベルを含む画像の画像ＩＤと当該ラベルの含有数とを登録したインデックスを生成する生成手段と、
検索元画像のラベルヒストグラム情報に基づいて、検索対象ラベルとその含有数範囲を決定し、決定された前記検索対象ラベルを前記含有数範囲で含む画像を前記インデックスを参照して抽出する抽出手段と、
前記抽出手段によって予め定められた上限値を超える数の画像が抽出された場合、前記抽出手段で用いていない別の検索対象ラベルとその含有数範囲を前記ラベルヒストグラム情報に基づいて新たに決定し、前記抽出された画像に対して、前記別の検索対象ラベルを前記新たに決定された含有数範囲で含む画像を前記インデックスを参照して再抽出することを繰り返すことにより抽出画像数を前記上限値以下に絞り込み、この絞り込みの結果、抽出画像数が予め定められた下限値を下回る場合は一つ前の再抽出の結果に戻して絞り込み結果とする絞込手段と、
前記抽出手段若しくは前記絞込手段での抽出画像数が前記上限値以内の場合、前記ラベルヒストグラム情報に基づく内積演算により類似画像検索を行う検索手段とを備えることを特徴とする画像検索装置。
【請求項２】
前記抽出手段及び前記絞込手段は、前記検索元画像のラベルヒストグラム情報における上位のラベルから順次用いるラベルを選択することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
画像を複数のブロックに分割し、各ブロックについて特徴量に応じて付与されたラベルのヒストグラムを表すラベルヒストグラム情報を複数の画像の各々に関して格納したデータベースと、各ラベルをキーとして当該ラベルを含む画像の画像ＩＤと当該ラベルの含有数とを登録したインデックスを用いた画像検索方法であって、
検索元画像のラベルヒストグラム情報に基づいて、少なくとも１つの検索対象ラベルとその含有数範囲を決定し、決定された前記検索対象ラベルを前記含有数範囲で含む画像を前記インデックスを参照して抽出する抽出工程と、
前記抽出工程によって予め定められた上限値を超える数の画像が抽出された場合、前記抽出手段で用いていない別の検索対象ラベルとその含有数範囲を前記ラベルヒストグラム情報に基づいて新たに決定し、前記抽出された画像に対して、前記別の検索対象ラベルを前記新たに決定された含有数範囲で含む画像を前記インデックスを参照して再抽出することを繰り返すことにより抽出画像数を前記上限値以下に絞り込み、この絞り込みの結果、抽出画像数が予め定められた下限値を下回る場合は一つ前の再抽出の結果に戻して絞り込み結果とする絞込工程と、
前記抽出工程若しくは前記絞込工程での抽出画像数が前記上限値以内の場合、前記ラベルヒストグラム情報に基づく内積演算により類似画像検索を行う検索工程とを備えることを特徴とする画像検索方法。
【請求項４】
画像を複数のブロックに分割し、各ブロックについて特徴量に応じて付与されたラベルのヒストグラムを表すラベルヒストグラム情報を複数の画像の各々に関して格納したデータベースと、各ラベルをキーとして当該ラベルを含む画像の画像ＩＤと当該ラベルの含有数とを登録したインデックスを用いた画像検索処理をコンピュータに実現させるための制御プログラムを格納する記憶媒体であって、該制御プログラムが、コンピュータに、
検索元画像のラベルヒストグラム情報に基づいて、少なくとも１つの検索対象ラベルとその含有数範囲を決定し、決定された前記検索対象ラベルを前記含有数範囲で含む画像を前記インデックスを参照して抽出する抽出工程と、
前記抽出工程によって予め定められた上限値を超える数の画像が抽出された場合、前記抽出手段で用いていない別の検索対象ラベルとその含有数範囲を前記ラベルヒストグラム情報に基づいて新たに決定し、前記抽出された画像に対して、前記別の検索対象ラベルを前記新たに決定された含有数範囲で含む画像を前記インデックスを参照して再抽出することを繰り返すことにより抽出画像数を前記上限値以下に絞り込み、この絞り込みの結果、抽出画像数が予め定められた下限値を下回る場合は一つ前の再抽出の結果に戻して絞り込み結果とする絞込工程と、
前記抽出工程若しくは前記絞込工程での抽出画像数が前記上限値以内の場合、前記ラベルヒストグラム情報に基づく内積演算により類似画像検索を行う検索工程とを実行させることを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、自然画像等の類似する画像を検索する画像検索装置及びその方法に関する。
【０００２】
【従来の技術】
一般に、ある程度の実用化レベルに達している類似画像検索システムにおいて、自然画像を類似検索する場合には、色情報を画像特徴量として用いることが多い。そして、その多くが、色情報に関するヒストグラム（以下、カラーヒストグラム）を取ることによりＲＧＢの割合や画像中に多く存在する色の組み合わせを算出し、これを特徴量として用いて検索するものである。このような検索処理においては、その比較の手段として、カラーヒストグラムの内積演算が行なわれることになる。
【０００３】
【発明が解決しようとする課題】
しかしながら、上述のカラーヒストグラムの内積演算は、登録画像数に比例して計算量が増える性質があり、大量の画像が存在する場合は検索処理時間がかかるという問題があった
本発明は上記の問題に鑑みてなされたものであり、カラーヒストグラムの内積演算に先立って行なう、或いはカラーヒストグラムの内積演算等に代わる高速な画像検索（或いは絞り込み）を行える画像検索装置及び方法を提供することを目的とする。
【０００４】
また、本発明の他の目的は、インデックスファイルを用いて高速にプリサーチを行なうことにより、稼動するシステムの性能に見合った画像数に絞り込むことを可能とすることにある。
【０００５】
また、本発明の他の目的は、ユーザーが指定する検索の曖昧さを加味した絞り込みを可能とすることにある。
【０００６】
【課題を解決するための手段】
上記の目的を達成するための本発明の一態様による画像検索装置は、例えば以下の構成を備える。すなわち、
画像を複数のブロックに分割し、各ブロックについて特徴量に応じて付与されたラベルのヒストグラムを表すラベルヒストグラム情報を複数の画像データの各々に関して格納する格納手段と、
各ラベルをキーとして当該ラベルを含む画像の画像ＩＤと当該ラベルの含有数とを登録したインデックスを生成する生成手段と、
検索元画像のラベルヒストグラム情報に基づいて、検索対象ラベルとその含有数範囲を決定し、決定された前記検索対象ラベルを前記含有数範囲で含む画像を前記インデックスを参照して抽出する抽出手段と、
前記抽出手段によって予め定められた上限値を超える数の画像が抽出された場合、前記抽出手段で用いていない別の検索対象ラベルとその含有数範囲を前記ラベルヒストグラム情報に基づいて新たに決定し、前記抽出された画像に対して、前記別の検索対象ラベルを前記新たに決定された含有数範囲で含む画像を前記インデックスを参照して再抽出することを繰り返すことにより抽出画像数を前記上限値以下に絞り込み、この絞り込みの結果、抽出画像数が予め定められた下限値を下回る場合は一つ前の再抽出の結果に戻して絞り込み結果とする絞込手段と、
前記抽出手段若しくは前記絞込手段での抽出画像数が前記上限値以内の場合、前記ラベルヒストグラム情報に基づく内積演算により類似画像検索を行う検索手段とを備える。
【０００７】
また、本発明の他の態様によれば、上記画像検索装置によって実現される画像検索方法が提供される。また、本発明の他の態様によれば、前記画像検索方法をコンピュータに実現させるための制御プログラムを格納する記憶媒体が提供される。
【０００８】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な一実施形態を説明する。
【０００９】
図１は本実施形態による画像検索装置の制御構成を示すブロック図である。同図において、１０１はＣＰＵであり、本実施形態の画像検索装置における各種制御を実行する。１０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納するとともに、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。１０４はキーボード、１０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００１０】
１０６は外部記憶装置であり、ハードディスクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成される。１０７はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はインターフェース、１１０は画像読み取りのためのスキャナである。また、１１１は上記の各構成を接続するバスである。なお、後述の各フローチャートに示される処理を実現する制御プログラムは、ＲＯＭ１０２に格納されていてもよいし、外部記憶装置１０６よりＲＡＭ１０３にロードされてもよい。
【００１１】
なお、上記の構成においてスキャナ１１０や外部記憶装置１０６はネットワーク上に配置されたもので代用してもよい。
【００１２】
図２は本実施形態の画像検索装置の機能構成を示すブロック図である。同図において、１１はユーザインターフェース部であり、表示器１０７、キーボード１０４及びマウス１０５を用いて、ユーザからの各種の操作入力を検出する。１２は画像入力部であり、スキャナ１１０による画像の読み取りを行う。１３は画像メモリであり、画像入力部１２によって得られたイメージデータをＲＡＭ１０３の所定の領域に格納する。１４は画像特徴量抽出部であり、画像メモリ１３に格納した画像について、後述の手順で特徴量を抽出する。１５は特徴量ラベル化部であり、画像特徴量抽出部１４によって得られた特徴量をラベル化し、そのヒストグラム情報を生成する。１６はパターンマッチング部であり、指定された画像のヒストグラム情報と、画像蓄積部１７に蓄積されている画像のヒストグラム情報に基づいて、両者の類似度を算出し、類似画像を検索する。本実施形態では、特徴量ラベルのヒストグラムの内積を演算することによって類似画像検索を行う。なお、特徴量ラベルのヒストグラムとは、各特徴量ラベル毎の当該画像による含有数を表すものである。また、パターンマッチング部１６は、上記の類似度計算に先立って、後述の１次検索（プリサーチ）を行い、画像検索速度を向上する。
【００１３】
１７は画像蓄積部であり、画像入力部１２等によって得られた画像データを蓄積する。１８は画像管理データベース（以下、画像管理ＤＢ）であり、図３で示されるデータ形態で画像蓄積部１７に格納された画像データを管理する。また、１９は成分インデックスであり、図４に示される成分インデックスファイルを格納する。なお、成分インデックスの利用については、添付のフローチャートにより後述する。
【００１４】
以上のような構成を備えた本実施形態の画像検索装置の動作例を以下に説明する。なお、以下の例では色に着目した画像特徴量として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での処理を用いて説明する。
【００１５】
［画像の登録処理］
先ず画像登録の際に行う処理を説明する。図５は本実施形態による画像登録処理の手順を表すフローチャートである。まず、ステップＳ１１において、ユーザーインターフェース部１１を介したユーザの指示により、画像入力部１２を用いて画像を読み込み、これを画像メモリ１３に保持する。次に、ステップＳ１２において、この画像を複数のブロックに分割する。本実施形態では、画像を縦横の複数ブロックに分割する。図６は本実施形態による画像のブロック分割例を示す図である。同図に示されるように、本実施形態では、説明のため３×３の計９個のブロックに画像を分割する。次にステップＳ１３において、分割された各ブロックの特徴量を算出し、得られた特徴量を以下の手順でラベル化する。
【００１６】
なお、本実施形態で用いる３×３への分割はあくまで説明のためのものである。実際には、自然画であれば１０×１０以上の分割数とするのが好ましい。また、白の無地背景に商品が写っているような場合であれば、１３×１３以上の分割数とするのが好ましい。
【００１７】
図７は本実施形態による多次元特徴量空間を説明する図である。図７に示すように、多次元特徴量空間（ＲＧＢカラー空間）を複数のブロック（色ブロック）、即ちセル（色セル）に分割し、夫々のセル（色セル）に対して通し番号でユニークなラベルを付与する。ここで、多次元特徴量空間（ＲＧＢカラー空間）を複数のブロックに分けたのは微妙な特徴量（色）の違いを吸収するためである。
【００１８】
なお、多次元特徴量空間に関しては、画像特徴量をそのまま用いるものではなく各パラメータを平均と分散を実験によって求め規格化（正規化）した後、例えば、主成分分析等の直交変換を行い、意味のある次元にしたものを用いることが考えられる。なお、「意味のある次元」とは、主成分分析において、寄与率が大きな主成分軸で構成される次元である。
【００１９】
ステップＳ１３では、ステップＳ１２で得られた各分割ブロックに対して、定められた画像特徴量計算処理を行い、上記多次元特徴量空間上のどのセルに属するかを求め、対応するラベルを求める。この処理を全てのブロックに対して行う。すなわち、分割画像ブロックに対して、全ての画素がどの色セルに属するかの計算処理を行い、もっとも頻度の多い色セルのラベルをその分割画像ブロックのパラメータラベル（カラーラベル）として決定し、この処理を全てのブロックに対して行う。
【００２０】
以上のようにして各ブロックに対してパラメータラベルが付与されると、ステップＳ１４において、一枚の画像における全ての分割画像ブロック群で決定したラベルのヒストグラム情報を得る。続いて、ステップＳ１５において、当該画像データの画像ＩＤを取得し、画像管理ＤＢ１８へ当該画像データへのアドレス、ステップＳ１４で得られたヒストグラム情報等の属性を、図３に示すごとく登録する。
【００２１】
更に、ステップＳ１６において、ラベルをキーとして、そのラベルを含む画像ＩＤと各画像がそのラベルを含む個数を対にして記憶する、図４に示すような成分インデックスへ反映させる。なお、成分インデックスへ反映するかどうかは、各ラベルの当該画像が含む個数に応じて決定する。例えば、所定のしきい値と各ラベルの含有数を比較して、成分インデックスへ反映するか反映しないかを決定する。言い換えれば、所定のしきい値を越える含有数のラベルについて成分インデックスを更新する。なお、このしきい値は必要に応じてチューニングを行なう。
【００２２】
以上が画像登録時に行われる処理である。
【００２３】
［類似画像検索処理］
次に本実施形態による類似画像検索の処理を説明する。図８は本実施形態による類似画像検索処理の手順を説明するフローチャートである。
【００２４】
まずステップＳ１０１において、ユーザインターフェース部１１を介して類似検索元画像を指定すると、ステップＳ１０２において１次検索（以下、プリサーチということもある）が行われ、その検索結果がユーザインターフェース部１１によって提示される。その検索結果によってユーザは２次検索（以下、主検索ということもある）を実行するか否かを指示する。そして、２次検索を実行する旨が指示されると、ステップＳ１０３からステップＳ１０４へ進み、先の１次検索で取得された画像について２次検索を実行する。本実施形態では、２次検索においては、ヒストグラムの内積演算を行なうことにより類似画像を検索する。ステップＳ１０５ではステップＳ１０４の２次検索によって得られた画像を提示する。詳細には、２次検索によって最終的に取得された画像ＩＤより、画像管理ＤＢ１８を参照してフルパスのファイル名を得て、これをユーザに提示する。
【００２５】
本実施形態では、１次検索処理（プリサーチ）を実行するが、その最大の目的は、２次検索における処理負荷の軽減である。数万枚の画像ＤＢから類似画像検索を行なう場合において、ユーザーが全ての画像を類似度の高い順番で見ることは殆ど希であり、その多くはせいぜい類似度の高い順から数百枚並べれば満足するものである。
【００２６】
そこで、本実施形態の画像検索装置では、システムの処理能力とユーザーに最大で提供するヒット数を考慮して、検索ヒット数目標範囲の上限を決定する。また、これと同時に、検索ヒット数目標範囲の下限を設定するが、この値は例えばユーザーにとってみすぼらしい検索結果としたくなければ、ヒット表示画面で一読できる数の画像を検索するようにすれば良い。換言すれば、ヒット表示画面によって一度に表示し得る画像数を下限とする。
【００２７】
そこで、本実施形態では例えば、予めシステム導入時に２次検索処理が負担にならないようなヒット数を決めるための実験を行なう。そして、そのヒット数が３００件であったとすると、プリサーチの目標範囲の上限をやや多めの４００件と設定する。また、ヒット表示画面１ページの表示数が２０であれば、やはり予めシステム導入時に、プリサーチの目標範囲の下限を表示画面１ページの表示数そのものの２０とする。
【００２８】
このプリサーチ処理により絞った画像のみに対してヒストグラムの内積演算を行なうことにより、類似度を伴う検索結果を従来の全てに画像に対して直接内積計算を行なうよりはるかに高速に得ることが可能となる。
【００２９】
次に、図９及び図１０を参照して、本実施形態によるプリサーチの手順を詳細に説明する。図９は本実施形態のプリサーチの全体の処理手順を説明するフローチャートである。図１０は本実施形態のプリサーチにおける、曖昧度に応じた画像抽出の手順を説明するフローチャートである。
【００３０】
まず、ステップＳ２１において、考慮すべきヒストグラム数Ｎとプリサーチの目標範囲（上限値Ｐmax、下限値Ｐmin）をシステム記憶領域より取得する。なお、考慮すべきヒストグラム数Ｎおよびプリサーチの目標範囲の利用については以下の説明で明らかになろう。
【００３１】
次に、ステップＳ２２において、類似検索を行いたい画像（以下、類似検索元画像）を選択するとともに、類似検索の曖昧度を指定する。なお、本実施形態では、類似検索元画像を複数の提示画像群の中から選択するものとするが、上述のステップＳ１０１において既に類似検索元画像が指定されるので、ここでの指定は省略してよい。また、検索の曖昧さについては、初期状態で所定のデフォルト値が設定され、ユーザが所望に変更するような形態でも構わない。
【００３２】
ユーザーから検索の指示が出されると、ステップＳ２３において、検索元画像に対応する画像ＩＤを取得し、画像管理ＤＢ１８から当該検索元画像のヒストグラム情報を得る。そして、ステップＳ２４において、取得されたヒストグラム情報から得られるラベル数と、考慮すべきラベル数Ｎのうち、小さい方の値をＨmaxに設定する。そして、ステップＳ２５においてＨに１をセットする。
【００３３】
以上のステップＳ２１〜Ｓ２５までの処理により、処理中のヒストグラム順位を表す変数Ｈ、当該プリサーチにおいて考慮すべき最大のラベル数Ｈmax、プリサーチによる取得画像数の上限値Ｐmax、プリサーチによる取得画像数の下限値Ｐminが設定されることになる。
【００３４】
次に、ステップＳ２６において、ヒストグラム情報の第１位のラベルを、当該類似検索元画像と同程度の個数含む画像を成分インデックス１９を参照して取得し、取得された画像ＩＤを検索仮結果に登録するとともに、その取得数をＰとする。なお、この処理で、「同程度の個数」とは、設定された曖昧度等によって異なってくる。この点に関しては、ステップＳ２６の処理の詳細は、図１０を参照して後述する。
【００３５】
上記ステップＳ２６の処理の結果、取得された画像数Ｐが設定された取得画像数Ｐmaxよりも大きい場合は、取得画像の絞り込みを行うためにステップＳ２８〜Ｓ３１の処理を行う。
【００３６】
ステップＳ２８では、処理対象のヒストグラム順位を一つ下げる（ＨにＨ＋１を代入する）。そして、ステップＳ２９において、ヒストグラム情報における次の順位（第Ｈ位）に対応するラベルを当該類似検索元画像と同程度含む画像（画像ＩＤ）を取得する。次に、ステップＳ３０において、前回までの検索仮結果に含まれている画像ＩＤと、ステップＳ２９で取得された画像ＩＤとの論理積を取り、その結果を新たな検索仮結果とする。また、ステップＳ３１では、その新たな検索仮結果に含まれる画像ＩＤの数で取得数Ｐを更新する。
【００３７】
以上のステップＳ２８〜Ｓ３１による「更なる絞り込み処理」は、取得画像数ＰがＰmax以下になるか、或いは処理したラベル数（ヒストグラム順位Ｈ）が考慮すべきラベル数の最大値Ｈmaxに達するまで繰り返される（ステップＳ２７）。
【００３８】
ステップＳ２７において、取得数Ｐが目標上限値Ｐmax以下であるか、或いは処理したラベルのヒストグラム順位ＨがＨmax以上になった場合には、ステップＳ３２へ進む。ステップＳ３２では、取得数Ｐが目標下限値Ｐminより大きいか否かを判定する。ここで、取得数Ｐが目標下限値以下であった場合は、ステップＳ３３へ進み、検索仮結果を前回の結果（一つ上位のヒストグラム順位までの絞り込みの結果）へ戻す。そして、ステップＳ３６でその検索仮結果を提示する。ただし、Ｈ＝１である場合は「前回の結果」が存在しないので、ステップＳ３３はスキップされる。
【００３９】
一方、ステップＳ３２において取得数Ｐが目標下限値Ｐminよりも大きければ、ステップＳ３４へ進み、ヒストグラム順位ＨがＨmax以上かつ取得数Ｐが目標上限値Ｐmaxより大きい場合は、ステップＳ３５へ進み、取得された検索仮結果の画像ＩＤについて、先頭からＰmax個を取り出し、これを検索仮結果とし、ステップＳ３６でユーザに提示する。一方、ステップＳ３４からＮＯ分岐する場合は、取得数ＰがＰmin≦Ｐ≦Ｐmaxを満足するものであり、そのまま検索仮結果の内容がユーザに提示される。
【００４０】
以上をまとめると、ステップＳ２６の処理によって、成分インデックス１９を参照し、適合する画像ＩＤ群を取得し、その数がプリサーチの目標範囲上限値Ｐmax以下であればその画像ＩＤ群を検索仮結果として処理を終了する。また、プリサーチの目標範囲上限より大きければ次のヒストグラム順位のラベルに関して同上の処理を行ない、先の検索仮結果の画像ＩＤとの論理積を取って取得画像の絞り込みを行う。そして、その結果、その数Ｐがプリサーチの目標範囲上限Ｐmax以下となり、かつプリサーチの目標範囲下限Ｐminより大きければ、その画像ＩＤ群を検索仮結果として処理を終了する。また、取得された画像ＩＤ数Ｐがプリサーチの目標範囲下限Ｐminを下回れば、前回の結果に戻して本処理を終了する。
【００４１】
また、取得数Ｐがプリサーチの目標範囲上限Ｐmaxより大きければ、上述の絞り込み処理をＨmaxで予め決められた回数と検索指定元画像のラベル種類数−１で求まる回数のうちのどちらか小さな方の回数だけ、再帰的に処理を繰り返す。ヒストグラム順位ＨがＨmaxに達した時点で依然として取得数Ｐが目標範囲上限Ｐmaxより大きい場合は、最新の論理積による絞り込み結果から、プリサーチの目標範囲上限Ｐmaxまでの画像ＩＤをその最終結果とする。
【００４２】
次に、ステップＳ２６及びステップＳ２９で実行される画像の抽出処理について図１０のフローチャートを用いて説明する。
【００４３】
この画像抽出処理では、ヒストグラムの第Ｈ位のラベルから、当該類似検索元画像のそのラベルの含有数に基づいてラベル数の範囲を決定し、そのラベルを決定されたラベル数範囲で含む画像を、成分インデックス１９を参照して探す。
【００４４】
まず、ステップＳ４１において、検索キーとなるラベルＫ、当該類似検索元画像が含むラベルＫの個数（含有数Ｆ）、曖昧度を設定する。なお、検索キーとなるラベルＫは、ヒストグラム順位Ｈによって決定されるものである。次に、ステップＳ４２において、抽出結果をクリアして、以下の抽出処理に備える。
【００４５】
ステップＳ４３では、曖昧検索を行うか否かを判定する。ユーザが指定した曖昧度が最小値の場合（もしくは曖昧検索を行わない旨の設定がなされている場合）には、ステップＳ５０へ進み、当該検索キーとなっているラベルＫだけで成分インデックスファイルを検索する（ステップＳ５０〜Ｓ５１）。一方、それ以外の場合には、ラベルＫに対して、曖昧度に対応したペナルティー範囲内のペナルティー距離を持つラベルを抽出し、抽出されたラベル群に関しても成分インデックスを参照して画像の抽出を行う（ステップＳ４４〜Ｓ４９）。そして、これらの抽出結果の論理和を取ることにより、曖昧な検索を実現する。もちろん曖昧度が高いほどペナルティー距離の大きなラベルも考慮するようにする。
【００４６】
まず、曖昧検索時の処理を順を追って説明する。ステップＳ４４では、処理回数をカウントするための変数Ｊを１に初期化する。そして、ステップＳ４５において、ラベルＫに対して、曖昧度に応じたペナルティー値の範囲にあるラベルを図１１のごときペナルティーマトリクスを参照して獲得し、ラベル群LABEL[n]を生成する。なお、ラベル群LABEL[n]にはラベルＫも含まる。また、LABEL[n]が含むラベルの個数をＮとし、各ラベルをLABEL[1]…LABEL[N]と表す。例えば、図１１のペナルティーマトリクスにおいて、ラベル３について、ペナルティー値範囲が４以下である場合は、LABEL[1]＝３、LABEL[2]＝５、LABEL[3]＝６、LABEL[4]＝８…となる。
【００４７】
次に、ステップＳ４６において、Ｊ＜Ｎであれば、ステップＳ４７へ進み、LABEL[J]の含有数が0.5×Ｆ〜１.5×Ｆの範囲である画像の画像ＩＤを取得する。本実施形態では、画像の拡大縮小に対しても安定性のあるプリサーチを行なうため、面積比２倍の相似比の画像を検索するため、これを考慮した実験に基づき、全てのラベルに対し固定的な割合、例えば類似検索元画像中の頻度値（Ｆ）に対してラベル数の範囲を５０％〜１５０％としている。なお、含有数の範囲は、類似検索元画像中の頻度値（Ｆ）を含む範囲となるが、その範囲の決定方法に関してはステップＳ１０４で行われる２次検索の性質により様々な方法があり、上記実施形態に限定されるものではない。例えば、他の方法として、ラベル夫々に対し統計的な処理を行ない１画像中あたりの頻度の平均と分散を求めておき、検索元画像中の頻度値の標準偏差を求め偏差に応じたラベル数の範囲を設定する方法もある。
【００４８】
次に、ステップＳ４８において、ステップＳ４７で取得された画像ＩＤとそれまでの抽出結果に含まれる画像ＩＤとの論理和をとり、その結果を新たな抽出結果とする。ステップＳ４９では処理回数カウンタＪを１つ増加して、ステップＳ４６へ処理を戻すことにより、抽出されたラベル群LABEL[1]〜LABEL[N]の全てについてステップＳ４７、Ｓ４８の処理が行われることになる。そして、ラベル群の全ラベルについて処理を終えると、ステップＳ５２へ進み、最終的に得られた抽出結果とその画像数を出力する（画像数は、ステップＳ２６における取得数Ｐとして用いられる）。
【００４９】
一方、曖昧検索を行わない場合は、ステップＳ５０へ進み、ラベルＫの含有数が0.5Ｆ〜1.5Ｆである画像の画像ＩＤを成分インデックス１９を参照して抽出する。そして、ステップＳ５１で、抽出された画像ＩＤを抽出結果とし、ステップＳ５２でその画像数とともに出力される。なお、ステップＳ５２における「出力」とは、図８に示される制御プログラムへデータを渡すことである。
【００５０】
以上説明したように、本発明によれば、ヒストグラムの内積演算等を用いた類似画像検索処理に先立って、成分インデックスファイルを用いたプリサーチを行うことで高速に画像を絞り込むことが可能となる。このため、稼動するシステムの性能に見合った画像数に絞り込むことができ、検索速度、システムの負荷の軽減がなされる。また、ユーザーが指定する検索の曖昧さを加味したプリサーチが行なえるので、効果的な絞り込みが行える。
【００５１】
上記実施形態においては、自然画像検索を行う例を説明したが、本実施形態の画像検索処理は、ＣＧやＣＡＤ等の人工的な画像の検索のプリサーチ処理へも適応可能である。
【００５２】
また、本実施形態では画像特徴量として色情報を選んだが、これに限定されるものではなく、その他の画像パラメータを画像分割ブロック毎に求めることで実施することも可能である。
【００５３】
また、上記実施形態では、ヒストグラムの含有数に基づく検索処理をプリサーチとして使用するが、このような検索処理を類似度を伴う検索に応用することも可能である。例えば、１００％一致する画像の検索を行なうには、成分インデックス１９を参照する際のラベル含有数の範囲を検索元画像の着目ラベルの出現値として検索を行えば良い。そして、類似度を上げ、ラベル含有数範囲の上限と下限を類似度に応じて広げて、上述のプリサーチに相当する処理を行い、前回の結果とＯＲをとって累積する。このように、徐々に類似度を上げて、上記処理を繰り返してゆくことにより、類似度に応じた検索を行なうことが可能となる。
【００５４】
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００５５】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５６】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５７】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５８】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５９】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、カラーヒストグラムの内積演算に先立って行なう、或いはカラーヒストグラムの内積演算等に代わる高速な画像検索（或いは絞り込み）が提供される。
【００６１】
また、本発明によれば、インデックスファイルを用いて高速にプリサーチを行なうことにより、稼動するシステムの性能に見合った画像数に絞り込むことが可能となり、検索速度が向上する。
【００６２】
また、本発明によれば、ユーザーが指定する検索の曖昧さを加味した絞り込みが可能となり、効果的な絞り込みを行える。
【００６３】
【図面の簡単な説明】
【図１】本実施形態による画像検索装置の制御構成を示すブロック図である。
【図２】本実施形態の画像検索装置の機能構成を示すブロック図である。
【図３】画像管理データベース１８による格納データのデータ構成例を示す図である。
【図４】成分インデックス１９による格納データのデータ構成例を示す図である。
【図５】本実施形態による画像登録処理の手順を表すフローチャートである。
【図６】本実施形態による画像のブロック分割例を示す図である。
【図７】本実施形態による多次元特徴量空間を説明する図である。
【図８】本実施形態による類似画像検索処理の手順を説明するフローチャートである。
【図９】本実施形態のプリサーチの全体の処理手順を説明するフローチャートである。
【図１０】本実施形態のプリサーチにおける、曖昧度に応じた画像抽出の手順を説明するフローチャートである。
【図１１】本実施形態のペナルティマトリクスを示す図である。
【図１】
0004298001.tif 000002
【図２】
0004298001.tif 000003
【図３】
0004298001.tif 000004
【図４】
0004298001.tif 000005
【図５】
0004298001.tif 000006
【図６】
0004298001.tif 000007
【図７】
0004298001.tif 000008
【図８】
0004298001.tif 000009
【図９】
0004298001.tif 000010
【図１０】
0004298001.tif 000011
【図１１】
0004298001.tif 000012