(57)【特許請求の範囲】
【請求項１】
さまざまな構成をもつ特定の種別の特徴量を用いて、入力として与えられる問い合わせ画像と類似した画像を、被検索対象画像から探し出す画像検索装置において、
問い合わせ画像から抽出した問い合わせ画像特徴量の構成が、類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記問い合わせ画像特徴量を第一の特徴量に変換する、第一の特徴量変換手段と、
前記被検索対象画像から抽出した登録画像特徴量の構成が、前記類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、前記類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記登録画像特徴量を第二の特徴量に変換する、第二の特徴量変換手段とを備え、
前記第一の特徴量と前記第二の特徴量の類似性を比較することで前記問い合わせ画像と前記被検索画像の間の類似度を算出することを特徴とする画像検索装置
【請求項２】
前記問い合わせ画像から抽出した問い合わせ画像特徴量の構成と、前記被検索対象画像から抽出した登録画像特徴量の構成とを参照し、前記類似度算出に用いる画像特徴量の構成を算出する構成情報判定手段を有することを特徴とする請求項１に記載の画像検索装置
【請求項３】
前記登録画像特徴量の構成として複数のものが使われている場合に、前記類似度を、前記類似度算出に用いる画像特徴量の構成を参照して正規化することを特徴とする請求項１または２記載の画像検索装置
【請求項４】
前記特徴量の構成は、特徴量の要素の組合せパターンであることを特徴とする請求項１から３のいずれか1項に記載の画像検索装置
【請求項５】
前記構成は、特徴量の種別が周波数分布である場合には、周波数変換の結果得られた係数のうちどれを利用するかを表す情報であることを特徴とする請求項4記載の画像検索装置
【請求項６】
コンピュータにより、さまざまな構成をもつ特定の種別の特徴量を用いて、入力として与えられる問い合わせ画像と類似した画像を、被検索対象画像から探し出す画像検索方法において、
問い合わせ画像から抽出した問い合わせ画像特徴量の構成が、類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記問い合わせ画像特徴量を第一の特徴量に変換する、第一の特徴量変換工程と、
前記被検索対象画像から抽出した登録画像特徴量の構成が、前記類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、前記類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記登録画像特徴量を第二の特徴量に変換する、第二の特徴量変換工程とを有し、
前記第一の特徴量と前記第二の特徴量の類似性を比較することで前記問い合わせ画像と前記被検索画像の間の類似度を算出することを特徴とする画像検索方法
【請求項７】
前記問い合わせ画像から抽出した問い合わせ画像特徴量の構成と、前記被検索対象画像から抽出した登録画像特徴量の構成とを参照し、前記類似度算出に用いる画像特徴量の構成を算出する工程を有することを特徴とする請求項６に記載の画像検索方法
【請求項８】
前記登録画像特徴量の構成として複数のものが使われている場合に、前記類似度を、前記類似度算出に用いる画像特徴量の構成を参照して正規化することを特徴とする請求項６または７記載の画像検索方法
【請求項９】
前記特徴量の構成は、特徴量の要素の組合せパターンであることを特徴とする請求項６から８のいずれか1項に記載の画像検索方法
【請求項１０】
前記構成は、特徴量の種別が周波数分布である場合には、周波数変換の結果得られた係数のうちどれを利用するかを表す情報であることを特徴とする請求項９記載の画像検索方法
【請求項１１】
コンピュータにより、さまざまな構成をもつ特定の種別の特徴量を用いて、入力として与えられる問い合わせ画像と類似した画像を、被検索対象画像から探し出す画像検索処理を実行させるためのプログラムにおいて、
問い合わせ画像から抽出した問い合わせ画像特徴量の構成が、類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記問い合わせ画像特徴量を第一の特徴量に変換する、第一の特徴量変換処理と、
前記被検索対象画像から抽出した登録画像特徴量の構成が、前記類似度算出に用いる画像特徴量と種別が同じではあるものの構成が異なる場合に、前記類似度算出用画像特徴量構成情報に基づいて前記類似度算出に用いる画像特徴量の構成に応じて前記登録画像特徴量を第二の特徴量に変換する、第二の特徴量変換処理とを有し
前記第一の特徴量と前記第二の特徴量の類似性を比較することで前記問い合わせ画像と前記被検索画像の間の類似度を算出することを特徴とする画像検索用プログラム
【請求項１２】
前記問い合わせ画像から抽出した問い合わせ画像特徴量の構成と、前記被検索対象画像から抽出した登録画像特徴量の構成とを参照し、前記類似度算出に用いる画像特徴量の構成を算出する処理を有することを特徴とする請求項１１に記載の画像検索用プログラム
【請求項１３】
前記登録画像特徴量の構成として複数のものが使われている場合に、前記類似度を、前記類似度算出に用いる画像特徴量の構成を参照して正規化することを特徴とする請求項１１または１２記載の画像検索用プログラム
【請求項１４】
前記特徴量の構成は、特徴量の要素の組合せパターンであることを特徴とする請求項１１から１３のいずれか1項に記載の画像検索用プログラム
【請求項１５】
前記構成は、特徴量の種別が周波数分布である場合には、周波数変換の結果得られた係数のうちどれを利用するかを表す情報であることを特徴とする請求項１４記載の画像検索用プログラム
【発明の詳細な説明】
【0001】
【発明の属する技術分野】
本発明は、個々の画像の類似性を判定し指定された画像に類似する画像を検索する画像検索装置および方法および画像検索用プログラムに関し、特に画像の特徴を用いた検索を行う際に問合せ画像特徴量および比較対象となる画像特徴量について、類似度算出に用いる画像特徴量と種別が同じで画像特徴量の構成が異なる場合における類似度を算出する画像検索装置および方法および画像検索用プログラムに関する。
【０００２】
【従来の技術】
従来より、画像の特徴をデータ化して画像特徴量により示し、画像特徴量を用いて各画像の類似性を判定し、又類似する画像を（例えば、蓄積されている画像の中から）検索する画像検索が行われており、そのための装置やコンピュータプログラムが開発されている。
【０００３】
こうした画像検索の従来の技術では、主として、画像より抽出した特徴量を用いて、この画像特徴量の類似性から類似画像を検索する方法が採用されている。
【０００４】
ここで、従来の画像特徴量を用いた画像検索システムを図８に示す。図８は、従来の画像検索システムの構成を示すブロック図である。この従来の画像検索システムは、第１の画像特徴量生成手段１０２と、第２の画像特徴量生成手段２０２と、画像特徴量類似度算出手段１０７と、類似度評価部１０９と、検索結果を出力する出力装置１１１とからなる。本システムにおいては、問合せ画像の画像特徴量と被検索対象画像の画像特徴量との比較を実現するために、どのような特徴量をどのような構成で抽出するかあらかじめ定めておく必要がある。まず、第１の画像特徴量生成手段１０２は、問合せ画像１０１および画像特徴量の構成を記載した問合せ画像特徴量構成情報１００から画像特徴量１０３を生成する。第２の画像特徴量生成手段２０２は、被検索対象画像２０１と被検索対象画像特徴量の構成を記載した被検索対象画像特徴量構成情報から画像特徴量２０３を生成する。画像特徴量１０３と画像特徴量２０３との類似度１０８を算出する画像特徴量類似度算出手段１０７と、算出された類似度１０８に基づき類似度を評価し検索結果１１０を返す類似度評価部１０９と、検索結果を出力する出力装置１１１とからなる。
【０００５】
一方、従来の技術の一例として、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する従来の画像検索システムが、特開２０００−２５９８３２号公報に開示されている。ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。また、構成情報は、周波数分布特徴量としてどの帯域を利用しているかについて記述したものである。ここで、問合せ画像の周波数分布特徴量と被検索対象画像から抽出した周波数分布特徴量が異なる構成を持つ場合、例えば問合せ画像特徴量が１８個の変換係数（輝度６係数、色差各６係数）を、被検索対象画像特徴量は１２個の変換係数（輝度６係数、色差各３係数）を持つ場合などに双方の類似度を算出する手段が提供されていなかった。このように、複数種類の構成を持つ画像特徴量が混在した環境で画像検索を行うためには、問合せ画像の特徴量の持つ構成に対応した画像特徴量データベース及び類似度算出手段が必要となるため、画像特徴量の構成の種類分の類似度算出手段及び画像特徴量データベースを備えることが必要となり、このため装置も複雑になり製造コストも高くなるという問題点があった。
【０００６】
一方，上記の問題を、双方に共通する係数のみを比較し類似度を算出することにより対処する方法が考えられるが、この場合算出される類似度の次元が画像のもつ係数の構成により異なるため、同じ類似度を利用して比較できないという問題点がある。例えば、問合せ画像が１８係数で、被検索対象画像の画像特徴量がそれぞれ１２係数、１８係数持つ場合、１２係数のみを比較して算出された類似度と、１８係数比較して算出された類似度はそれぞれ異なる重みを持つため、これらの類似度を同じレベルで評価できない。
【０００７】
【発明が解決しようとする課題】
上述したように従来の装置では、以下に述べるような問題点があった。
【０００８】
第１に、画像の特徴を示す画像特徴量を構成する要素の数、要素の構成には様々な種類があり、画像の比較や検索を行うためには、共通の構成を持つ画像特徴量を比較（検索）対象の双方の画像のそれぞれに用意することが必要であった。
【０００９】
第２に、上述の問題を、双方の特徴量に共通する構成要素のみを比較し類似度を算出することにより対処する方法が考えられるが、この場合算出される類似度の次元が画像により異なるため、同じ類似度を利用して比較できないという問題点がある。異なる係数の異なる特徴量が示される画像の比較を行うことができなかった。
【００１０】
本発明の第１の目的は、上記従来技術の欠点を解決し、さまざまな構成を持つ画像特徴量が混在するシステムで各画像の比較や検索を、簡易な装置構成により実現する画像検索装置、画像検索方法、及び画像検索プログラムを提供することである。
【００１１】
本発明の第２の目的は、上記従来技術の欠点を解決し、さまざまな構成を持つ画像特徴量の比較により算出された類似度の値を、同一尺度により比較し検索を実現する画像検索装置、画像検索方法、及び画像検索プログラムを提供することである。
【００１２】
【課題を解決するための手段】
本発明の画像検索装置は、
画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置において、
類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量を第１の画像特徴量に変換する第１の画像特徴量変換手段と、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する。
【００１３】
また、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せ画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定手段と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報を参照し、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定手段と、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報が、第１の構成情報候補選定手段より得られる構成情報リストと、第２の構成情報候補選定手段より得られる構成情報リストとの双方に含まれているか否かを判定する構成情報判定手段と、構成情報判定手段で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換手段と、構成情報判定手段で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出してもよい。
【００１４】
また、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した入力として与えられた類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定手段と、判定手段で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定手段と、判定手段で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換手段と、判定手段で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出してもよい。
【００１５】
また、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成手段と、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換手段と、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出してもよい。
【００１６】
また、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せの画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定手段と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報より、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定手段と、第１の構成情報選定手段より得られる構成情報リストと、第２の構成情報選定手段より得られる構成情報リストとを参照し、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を決定する構成情報決定手段と、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換手段と、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出してもよい。
【００１７】
また、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成手段と、構成情報生成手段により生成された類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定手段と、判定手段で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定手段と、判定手段で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換手段と、判定手段で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換手段とを備え、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出してもよい。
【００１８】
また、構成情報生成手段は、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報とを参照し、類似度算出用画像特徴量構成情報を生成してもよい。
【００１９】
また、第１の画像特徴量と前記第２の画像特徴量との類似度を算出する際に、類似度算出用画像特徴量構成情報の内容に応じて正規化された類似度を算出する機能を備えていてもよい。
【００２０】
また、画像特徴量は、特徴量抽出の対象となる画像より縮小画像を生成し、縮小画像に対して周波数変換および量子化を施すことによって生成された画像特徴量であってもよい。
【００２１】
また、類似度算出用画像特徴量構成情報は、画像特徴量を構成する周波数変換係数の構成に関する情報であってもよい。
【００２２】
また、画像特徴量は、画像の１つまたは複数の代表色であり、類似度算出用画像特徴量構成情報は、代表色に関する情報であってもよい。
【００２３】
また、画像特徴量は、画像のエッジの方向性を表す特徴量であり、類似度算出用画像特徴量構成情報は、エッジの方向性の種類に関する情報であってもよい。
【００２４】
また、画像特徴量は、画像のテクスチャを表す特徴量であり、類似度算出用画像特徴量構成情報は、テクスチャの種類に関する情報であってもよいることを特徴とする請求項１から請求項９のいずれか１項に記載の画像検索装置。
【００２５】
また、画像特徴量は、画像の形状を表す特徴量であり、類似度算出用画像特徴量構成情報は、形状の種類に関する情報であってもよい。
【００２６】
また、画像特徴量は、画像の動きを表す特徴量であり、類似度算出用画像特徴量構成情報は、動きの種類に関する情報であってもよい。
【００２７】
また、画像特徴量は、画像を矩形領域に分割したうえ各矩形領域の特徴量を抽出することによって生成された画像特徴量であり、類似度算出用画像特徴量構成情報は、矩形領域に関する情報であってもよい。
【００２８】
本発明の画像検索方法は、
第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、第１の画像特徴量変換手段が、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の画像特徴量を第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００２９】
本発明の画像検索方法は、
第１の構成情報候補選定手段と、第２の構成情報候補選定手段と、構成情報判定手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、第１の構成情報候補選定手段が、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せ画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定工程と、第２の構成情報候補選定手段が、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報を参照し、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定工程と、構成情報判定手段が、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報が、第１の構成情報候補選定工程より得られる構成情報リストと、第２の構成情報候補選定工程より得られる構成情報リストの双方に含まれているか否かを判定する構成情報判定工程と、第１の画像特徴量変換手段が、構成情報判定工程で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、構成情報判定工程で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００３０】
本発明の画像検索方法は、
判定手段と、構成情報再選定手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、判定手段が、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した入力として与えられた類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定工程と、構成情報再選定手段が、判定工程で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定工程と、第１の画像特徴量変換手段が、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、構類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００３１】
本発明の画像検索方法は、
構成情報生成手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、構成情報生成手段が、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成工程と、第１の画像特徴量変換手段が、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００３２】
本発明の画像検索方法は、
第１の構成情報候補選定手段と、第２の構成情報候補選定手段と、構成情報決定手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、第１の構成情報候補選定手段が、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せ画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定工程と、第２の構成情報候補選定手段が、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報を参照し、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定工程と、構成情報決定手段が、第１の構成情報選定工程より得られる構成情報リストと、第２の構成情報選定工程より得られる構成情報リストを参照し、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を決定する構成情報決定工程と、第１の画像特徴量変換手段が、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００３３】
本発明の画像検索方法は、
構成情報生成手段と、判定手段と、構成情報再選定手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段とを備えるコンピュータから構成される、画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索装置を用いた画像検索方法であって、構成情報生成手段が、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成工程と、判定手段が、構成情報生成工程により生成された類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および前記被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定工程と、
構成情報再選定手段が、判定工程で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定工程と、第１の画像特徴量変換手段が、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換工程と、第２の画像特徴量変換手段が、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換工程と、画像特徴量類似度算出手段が、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する工程とを有する。
【００３４】
また、構成情報生成工程は、構成情報生成手段が、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報とを参照し、類似度算出用画像特徴量構成情報を生成してもよい。
【００３５】
本発明の画像検索用プログラムは、
画像特徴量を利用して被検索対象画像の中から所定の問合せ画像に類似する画像を検索する画像検索処理をコンピュータに実行させるための画像検索用プログラムにおいて、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を第１の画像特徴量に変換する第１の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の画像特徴量を第２の画像特徴量に変換する第２の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させる。
【００３６】
また、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せ画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定処理と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報を参照し、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定処理と、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を受信し、類似度算出用画像特徴量構成情報が、第１の構成情報候補選定処理より得られる構成情報リストと、第２の構成情報候補選定処理より得られる構成情報リストの双方に含まれているか否かを判定する構成情報判定処理と、構成情報判定処理で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換処理と、構成情報判定処理で双方に含まれていると判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させてもよい。
【００３７】
また、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した入力として与えられた類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定処理と、判定工程で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定処理と、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換処理と、判定工程で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換処理と、構類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させてもよい。
【００３８】
また、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成処理と、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させてもよい。
【００３９】
また、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報を参照し、問合せ画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第１の構成情報候補選定処理と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報を参照し、被検索対象画像の画像特徴量から再構成可能な特徴量構成の構成情報リストを出力する第２の構成情報候補選定処理と、第１の構成情報選定処理より得られる構成情報リストと、第２の構成情報選定処理より得られる構成情報リストを参照し、類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を決定する構成情報決定処理と、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させてもよい。
【００４０】
また、問合せ画像の画像特徴量の種類と被検索対象画像の画像特徴量の種類から類似度算出に用いるための画像特徴量の種類とその次元数を示す画像特徴量の構成について記述した類似度算出用画像特徴量構成情報を生成する構成情報生成処理と、構成情報生成処理により生成された類似度算出用画像特徴量構成情報に基づいて、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能か否かを判定する判定処理と、判定処理で変換が不可能と判定された場合に、問合せ画像の画像特徴量および被検索対象画像の画像特徴量双方の変換が可能な類似度算出用画像特徴量構成情報を選定する構成情報再選定処理と、判定処理で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、問合せ画像の画像特徴量を類似度計算に用いる第１の画像特徴量に変換する第１の画像特徴量変換処理と、判定処理で変換が可能と判定された場合に、類似度算出用画像特徴量構成情報に基づき、被検索対象画像の画像特徴量を類似度計算に用いる第２の画像特徴量に変換する第２の画像特徴量変換処理と、類似度算出用画像特徴量構成情報に基づき、第１の画像特徴量と第２の画像特徴量との類似度を算出する処理とをコンピュータに実行させてもよい。
【００４１】
また、構成情報生成処理は、問合せ画像の画像特徴量の構成について記述した問合せ画像特徴量構成情報と、被検索対象画像の画像特徴量の構成について記述した被検索対象画像特徴量構成情報とを参照し、類似度算出用画像特徴量構成情報を生成してもよい。
【００４２】
このような構成を採用し、被検索対象画像の画像特徴量と、入力された問合せ画像の画像特徴量とを、類似度計算に用いる画像特徴量を構成する構成情報を双方のもつ構成要素を元に類似度計算に利用する画像特徴量の構成情報を決定し、決定された構成情報に基づき、被検索対象画像の画像特徴量と前記問合せ画像特徴量を比較し両者の類似度を算出することによって、本発明の第１の目的を達成することができる。
【００４３】
また、画像特徴量の類似度を、利用している構成情報の内容に応じて正規化することによって、本発明の第２の目的を達成することができる。
【００４４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００４５】
（本発明の第１の実施の形態）
図１を参照すると、本発明の第１の実施の形態は、第１の画像特徴量生成手段１０２と、第１の画像特徴量変換手段１０と、第２の画像特徴量生成手段２０２と、第２の画像特徴量変換手段２０と、画像特徴量類似度算出手段１０７と、類似度評価部１０９とを備えている。
【００４６】
第１の画像特徴量生成手段１０２は、問合せ画像特徴量の構成について記述した問合せ画像特徴量構成情報１００に基づき、問合せ画像１０１より問合せ画像特徴量１０３を生成する。
【００４７】
第２の画像特徴量生成手段２０２は、被検索対象画像特徴量の構成について記述した被検索対象画像特徴量構成情報２００に基づき、被検索対象画像２０１より被検索対象画像特徴量２０３を生成する。事前に被検索対象画像を生成しておき、データベースなど記憶装置を用意し、画像特徴量と構成情報を蓄積しておく実装も考えられる。また、問合せ画像より画像特徴量を抽出するかわりに、データベースに蓄積された画像特徴量を問合せ画像特徴量として利用することもできる（図２）。
【００４８】
第１の画像特徴量変換手段１０は、与えられた類似度算出に用いる画像特徴量の構成について記述した類似度算出用画像特徴量構成情報３０に基づいて、問合せ画像特徴量１０３を類似度計算に用いる第１の画像特徴量１１に変換する。第１の画像特徴量変換手段１０において、問合せ画像の画像特徴量の構成情報１００が、与えられた類似度算出用画像特徴量構成情報３０に含まれていない場合に、問合せ画像特徴量１０３に適切な要素を補間することができる。要素の補間方法としては、固定値を補間する方法、補間の対象となる構成情報から適性値を推定し補間する方法、比較の対象となる構成情報から適性値を推定し補間する方法等がある。ここで、類似度算出用画像特徴量構成情報３０は、１つの構成情報として与えることも、複数の構成情報を集合として与えることも、複数の構成情報を逐一与えることもできる。また、類似度算出用画像特徴量構成情報３０は、外部から与えることも、内部パラメータとして与えておくこともできる。
【００４９】
第２の画像特徴量変換手段２０は、類似度算出用画像特徴量構成情報３０に基づいて、被検索対象画像特徴量２０３を類似度計算に用いる第２の画像特徴量２１に変換する。第２の画像特徴量変換手段２０において、被検索対象画像の画像特徴量の構成情報２００が、与えられた類似度算出用画像特徴量構成情報３０に含まれていない場合に、被検索対象画像特徴量２０３に適切な要素を補間することができる。要素の補間方法は第１の画像特徴量変換手段１０と同様の例が考えられる。
【００５０】
画像特徴量類似度算出手段１０７は、類似度算出用画像特徴量構成情報３０に基づき、第１の画像特徴量１１と第２の画像特徴量２１とを比較し、類似度を算出する。ここで、複数の画像に対して、異なる類似度算出用画像特徴量情報３０が適用される場合には、第１の画像特徴量１１と第２の画像特徴量２１とを比較し、類似度を算出する際に、類似度算出画像特徴量構成情報３０の内容に応じて正規化する。ここで、正規化方法の例として、要素の数で類似度を割ることにより正規化する方法、各要素について個別に重み付け加算する方法、要素をグルーピングし、各グループごとに重み付けを行う方法など挙げられる。
【００５１】
類似度評価部１０９は、算出された類似度１０８に基づき、被検索対象画像の画像特徴量のうち問合せ画像との類似度の高い、すなわち第１の画像特徴量１１との間の距離が近いものを選択し、当該被検索対象画像の第２の画像特徴量２１に対応する画像を問合せ画像の類似画像として検出する。
【００５２】
本実施の形態では、与えられた類似度算出用画像特徴量構成情報３０に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな係数の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００５３】
（本発明の第２の実施の形態）
次に、本発明の第２の実施の形態について図面を参照して詳細に説明する。
【００５４】
図３を参照すると、本発明の第２の実施の形態は、図１に示された第１の実施の形態に加え、第１の構成情報候補選定手段６１、第２の構成情報選定手段６２、構成情報判定手段６３、とを有する点で異なる。
【００５５】
第１の構成情報候補選定手段６１は、問合せ画像特徴量構成情報１００を参照し、問合せ画像特徴量が取りうる特徴量構成のリストを構成情報リスト６４として出力する。また、第２の構成情報候補選定手段６２は、被検索対象画像特徴量構成情報２００を参照し、被検索対象画像特徴量が取りうる特徴量構成のリストを構成情報リスト６５として出力する。
【００５６】
構成情報判定手段６３は、与えられた類似度算出用画像特徴量構成情報３０が、第１の構成情報候補選定手段より得られる構成情報リスト６４と、第２の構成情報候補選定手段より得られる構成情報リスト６５の双方に含まれているか否か判定する。含まれている場合、与えられた類似度算出用画像特徴量構成情報３０を類似度算出用画像特徴量１０４として出力する。
【００５７】
本実施の形態では、与えられた類似度算出用画像特徴量構成情報３０に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな係数の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。
【００５８】
また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００５９】
（本発明の第３の実施の形態）
次に、本発明の第３の実施の形態について図面を参照して詳細に説明する。
【００６０】
図４を参照すると、本発明の第３の実施の形態は、図１に示された第１の実施の形態に加え、判定手段８０と構成情報再選定手段８１とを有する点で異なる。
【００６１】
判定手段８０は、与えられた類似度算出用画像特徴量構成情報３０または構成情報再選定手段８１により生成された類似度算出用画像特徴量構成情報８３に基づいて、問合せ画像特徴量および被検索対象画像特徴量双方の変換が可能か否かを判定する。構成情報再選定手段８１は、判定手段８０で変換が不可能と判定された場合に、再度、類似度算出用画像特徴量構成情報８３を選定する。ここで、再度、類似度算出用画像特徴量構成情報を選定する際に、一度不可能と判定された構成情報を再度出力しないことが望ましい。また、繰り返し、構成情報を選定した回数に応じて処理を打ち切ることができる。また、考えられる全ての構成情報について不可能と判定された場合にも処理を打ち切ることができる。さらに、処理が打ち切られた場合、類似度として最悪値を出力することができる。
【００６２】
判定手段８０で変換が可能と判定された場合には、判定手段８０より生成された類似度算出用画像特徴量構成情報８４を出力する。
【００６３】
画像特徴量変換手段１０は、類似度算出用画像特徴量構成情報８４に基づいて、問合せ画像特徴量１０３を類似度計算に用いる第１の画像特徴量１１に変換する。また、第２の画像特徴量変換手段２０は、類似度算出用画像特徴量構成情報８４に基づいて、被検索対象画像特徴量２０３を類似度計算に用いる第２の画像特徴量２１に変換する。
【００６４】
本実施の形態では、与えられた類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな要素の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。
また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００６５】
（本発明の第４の実施の形態）
次に、本発明の第４の実施の形態について図面を参照して詳細に説明する。
【００６６】
図５を参照すると、本発明の第４の実施の形態は、図１に示された第１の実施の形態に加え、構成情報生成手段４０を有する。
【００６７】
第１の画像特徴量生成手段１０２は、問合せ画像特徴量の構成について記述した問合せ画像特徴量構成情報１００に基づき、問合せ画像１０１より問合せ画像特徴量１０３を生成する。
【００６８】
第２の画像特徴量生成手段２０２は、被検索対象画像特徴量の構成について記述した被検索対象画像特徴量構成情報２００に基づき、被検索対象画像２０１より被検索対象画像特徴量２０３を生成する。事前に被検索対象画像を生成しておき、データベースに画像特徴量と構成情報を蓄積しておく実装も考えられる。また、問合せ画像より画像特徴量を抽出するかわりに、データベースに蓄積された画像特徴量を問合せ画像特徴量として利用することもできる。
【００６９】
構成情報生成手段４０は、問合せ画像特徴量構成情報１００と、被検索対象画像特徴量構成情報２００とを参照し、画像特徴量間の類似度を算出するために利用する構成情報を決定し、類似度算出用画像特徴量構成情報４１として出力する。画像特徴量間の類似度を算出するために利用する構成情報の決定方法としては、例えば問合せ画像または被検索対象画像のうちいずれか一方の特徴量のもつ構成に合わせる方法、問合せ画像または被検索対象画像の特徴量に含まれる構成要素の共通部分のみを利用する方法、問合せ画像または被検索対象画像の特徴量における構成要素のうちいずれか一方の要素の存在する部分全てを利用する方法、常に一定の値を補間する方法、共通の構成要素のうち、類似度計算に最適と思われるもののみを取り出す方法、希望処理時間に応じて共通の構成情報の中からさらに要素の取捨選択を行う方法などさまざまな方法が考えられる。
【００７０】
第１の画像特徴量変換手段１０は、類似度算出用画像特徴量構成情報４１に基づいて、問合せ画像特徴量１０３を類似度計算に用いる第１の画像特徴量１１に変換する。第１の画像特徴量変換手段１０において、問合せ画像の画像特徴量の構成情報１００が、与えられた類似度算出用画像特徴量構成情報３０に含まれていない場合に、問合せ画像特徴量１０３に適切な係数を補間することができる。係数の補間方法としては、固定値を補間する方法、補間の対象となる係数情報から適性値を推定し補間する方法、比較の対象となる係数情報から適性値を推定し補間する方法等がある。
【００７１】
第２の画像特徴量変換手段２０は、類似度算出用画像特徴量構成情報４１に基づいて、被検索対象画像特徴量２０３を類似度計算に用いる第２の画像特徴量２１に変換する。
【００７２】
第２の画像特徴量変換手段２０において、被検索対象画像の画像特徴量の構成情報２００が、類似度算出用画像特徴量構成情報４０に含まれていない場合に、被検索対象画像特徴量２０３に適切な係数を補間することができる。係数の補間方法としては、固定値を補間する方法、補間の対象となる係数情報から適性値を推定し補間する方法、比較の対象となる係数情報から適性値を推定し補間する方法等がある。
【００７３】
画像特徴量類似度算出手段１０７は、類似度算出用画像特徴量構成情報３０に基づき、第１の画像特徴量１１と第２の画像特徴量２１とを比較し、類似度を算出する。そして、類似度評価部１０９は、算出された類似度１０８に基づき、被検索対象画像の画像特徴量のうち問合せ画像との類似度の高い、すなわち第１の画像特徴量１１との間の距離が近いものを選択し、当該被検索対象画像の第２の画像特徴量２１に対応する画像を問合せ画像の類似画像として検出する。
【００７４】
本実施の形態では、共通の類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな係数の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。
【００７５】
また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００７６】
（本発明の第５の実施の形態）
次に、本発明の第５の実施の形態について図面を参照して詳細に説明する。
【００７７】
図６を参照すると、本発明の第５の実施の形態は、図５に示された第４の実施の形態において、構成情報生成手段４０が、第１の構成情報候補選定手段６１、第２の構成情報候補選定手段６２、構成情報決定手段７０、とから構成される点で異なる。
【００７８】
第１の構成情報候補選定手段６１は、問合せ画像特徴量構成情報１００を参照し、問合せ画像特徴量が取りうる特徴量構成のリストを構成情報リスト６４として出力する。また、第２の構成情報候補選定手段６２は、被検索対象画像特徴量構成情報２００を参照し、被検索対象画像特徴量が取りうる特徴量構成のリストを構成情報リスト６５として出力する。
【００７９】
構成情報決定手段７０は、第１の構成情報候補選定手段６１より得られる構成情報リスト６４と、第２の構成情報候補選定手段６２より得られる構成情報リスト６５とを参照し、構成情報リスト６４と６５の双方に含まれている構成情報が存在するか否かを判定する。双方に含まれている構成情報が存在する場合、類似度計算に最適と思われる構成情報を類似度算出用画像特徴量１０４として出力する。
【００８０】
画像特徴量間の類似度を算出するために利用する構成情報の決定方法としては、例えば問合せ画像または被検索対象画像のうちいずれか一方の特徴量のもつ構成に合わせる方法、問合せ画像または被検索対象画像の特徴量含まれる構成要素の共通部分のみを利用する方法、問合せ画像または被検索対象画像の特徴量における構成要素のうちいずれか一方の要素の存在する部分全てを利用する方法、常に一定の値を補間する方法等がある。
【００８１】
本実施の形態では、共通の類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな係数の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。
また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００８２】
（本発明の第６の実施の形態）
次に、本発明の第６の実施の形態について図面を参照して詳細に説明する。
【００８３】
図７を参照すると、本発明の第６の実施の形態は、図５に示された第４の実施の形態に加え、判定手段８０と構成情報再選定手段８１とを有する点で異なる。
【００８４】
判定手段８０は、構成情報生成手段４０より生成された類似度算出用画像特徴量構成情報４１または構成情報再選定手段８１により生成された類似度算出用画像特徴量構成情報８３に基づいて、問合せ画像特徴量および被検索対象画像特徴量双方の変換が可能か否かを判定する。構成情報再選定手段８１は、判定手段８０で変換が不可能と判定された場合に、再度、類似度算出用画像特徴量構成情報８３を選定する。判定手段８０で変換が可能と判定された場合には、判定手段８０より生成された類似度算出用画像特徴量構成情報８４を出力する。
【００８５】
第１の画像特徴量変換手段１０は、類似度算出用画像特徴量構成情報８４に基づいて、問合せ画像特徴量１０３を類似度計算に用いる第１の画像特徴量１１に変換する。また、第２の画像特徴量変換手段２０は、類似度算出用画像特徴量構成情報８４に基づいて、被検索対象画像特徴量２０３を類似度計算に用いる第２の画像特徴量２１に変換する。
【００８６】
本実施の形態では、共通の類似度算出用画像特徴量構成情報に基づいて、被検索対象画像の特徴量と問合せ画像の特徴量とを変換したうえで比較し両者の類似度を算出するため、共通の構成を持つ画像特徴量を事前に用意することなくさまざまな係数の構成をもつ画像特徴量が混在するシステムで各画像の比較や検索を行うことができる。このため、簡易な装置構成により画像検索を実現できる。
【００８７】
また、画像特徴量の類似度を、利用している構成情報の内容により正規化することによって、さまざまな構成を持つ画像特徴量同士の比較により算出された類似度の値を、同一尺度により比較し検索を実現することができる。
【００８８】
【実施例】
次に、本発明の実施例について説明する。
【００８９】
（第１の実施例）
本第１の実施例は、入力装置としてキーボードおよびマウスを、画像検索装置としてパーソナルコンピュータを、記憶装置として磁気ディスク記憶装置を、出力装置としてディスプレイを備えている。
【００９０】
パーソナルコンピュータは、第１の画像特徴量生成手段と、第１の画像特徴量変換手段と、第２の画像特徴量変換手段と、画像特徴量類似度算出手段と、類似度評価部として機能する中央演算装置を有しており、また磁気ディスク記憶装置には、画像に対する画像特徴量および構成情報が記憶されている。
【００９１】
ここでは、画像特徴量の例として画像の周波数分布特徴量を利用する。生成方法は以下のようにして行った。画像を８×８ブロックに分割し、各ブロックの平均色を算出して、固定サイズ（８画素×８画素）の縮小画像を生成する。次に、縮小画像に対して離散コサイン変換（ＤＣＴ変換）を行い、得られた係数の内、輝度信号（Ｙ）と色差信号（Ｃｂ，Ｃｒ）の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量とした。
【００９２】
今、静止画像と動画像の混在するシステムで、動画像から抽出したフレーム（画像）については、輝度信号６係数、色差信号各３係数合計１２係数からなる周波数分布特徴量を持ち、静止画像については輝度信号６係数、色差信号各６係数合計１８係数からなる周波数分布特徴量を持つものとする。これらの周波数分布特徴量および周波数分布特徴量の構成（例：輝度信号６係数色差信号各６係数合計１８係数）を記した構成情報が磁気ディスク装置に記憶されている。
【００９３】
今、入力画像がキーボードまたはマウスにより指定されたとする。また、本実施例では、入力画像の画像特徴量として輝度信号６係数色差信号各３係数合計１２係数からなる周波数分布特徴量を利用するものとする。
【００９４】
中央演算装置は、入力された輝度信号６係数色差信号各３係数合計１２係数という構成情報と、磁気ディスクに記憶されている１８係数および１２係数という情報と比較し、類似度計算にいくつ係数を利用するかを表す構成情報を生成する。例えば利用する係数の決定方法を、係数の少ないほうを採用するという方法にすると、係数情報は常に輝度信号６係数色差信号各３係数合計１２係数、ということになる。また、双方の構成情報を比較することなく、あらかじめ類似度計算に利用する構成情報を例えば常に輝度信号６係数色差信号各３係数合計１２係数に固定しておくこともできる。
【００９５】
また、構成情報を生成する際には、問合せ画像特徴量が取りうる特徴量構成のリストと、被検索対象画像の画像特徴量が取りうる特徴量構成のリストを作成し、双方のリストから類似度計算に最適な構成を選択することもできる．たとえば、問合せ画像特徴量が１２係数で、例えば輝度信号の係数が低次元から０，１，３，６係数、色差信号の係数が各０，１，３係数のいずれかというパターンにしか変換できないという情報と、記憶されている被検索対象画像の特徴量が１８係数となる場合が、例えば輝度信号の係数が低次元から０，１，３，６係数、色差信号の係数が各０，１，３，６係数のいずれかというパターンにしか変換できないという情報、の双方の情報から、双方の画像特徴量が変換可能な組合せは輝度信号０，１，３，６係数、色差信号各０，１，３係数であると判定することができる。さらに、最も係数の数の多い輝度信号６係数色差信号各３係数合計１２係数という組合せで構成情報を生成することができる。また、外部より入力された類似度計算に用いる構成情報が双方のリストに含まれているか確認したうえで利用することも可能である。
【００９６】
次に、中央演算装置は、例えば輝度信号６係数色差信号各３係数合計１２係数、という構成情報を受け取って、入力画像の周波数分布特徴量について輝度信号６係数色差信号各３係数合計１２係数からなる画像特徴量と、各被検索対象画像の画像特徴量より輝度信号６係数色差信号各３係数合計１２係数からなる画像特徴量を生成し、各画像の特徴量間の距離計算を行う。
【００９７】
そして、中央演算装置は、問合せ画像の周波数分布特徴量との間の距離が近いものを選択し、当該被検索対象画像の周波数分布特徴量に対応する画像データベース中の画像を問合せ画像の類似画像としてディスプレイに出力する。
【００９８】
（第２の実施例）
次に第２の実施例を説明する。
【００９９】
本実施例は第１の実施例と構成を同じとするが、パーソナルコンピュータの中央演算装置が、問合せ画像または被検索対象画像の画像特徴量に適切な係数を補間する手段としても機能する点で第１の実施例と異なる。
【０１００】
また、静止画像と動画像の混在するシステムで、動画像から抽出したフレーム（画像）および静止画像の双方にについて、輝度信号６係数、色差信号各３係数合計１２係数からなる周波数分布特徴量を持つものとする。これらの周波数分布特徴量および周波数分布特徴量の構成情報（例：輝度信号６係数色差信号各３係数合計１２係数）を記した係数情報が磁気ディスク装置に記憶されている。
【０１０１】
今、入力画像がキーボードまたはマウスにより指定されたとする。また、本実施例では、入力画像の画像特徴量として輝度信号６係数色差信号各６係数合計１８係数からなる周波数分布特徴量を利用するものとする。
【０１０２】
次に、中央演算装置は、入力された輝度信号６係数色差信号各６係数合計１８係数という構成情報と、磁気ディスクに記憶されている１２係数という構成情報と比較し、類似度計算にいくつ係数を利用するかを表す構成情報を生成する。ここで、利用係数決定方法を、係数の多いほうを採用するという方法にすると、構成情報は常に輝度信号６係数色差信号各６係数合計１８係数、ということになる。
【０１０３】
中央演算装置は、被検索対象画像の周波数分布特徴量（輝度信号６係数色差信号各３係数合計１２係数）に対して、利用係数として採用されている１８係数（輝度信号６係数色差信号各６係数）に変換するために、不足している色差信号各３係数に適切な値を補間する。
【０１０４】
次に、中央演算装置は、輝度信号６係数色差信号各６係数合計１８係数、という係数情報を受け取って、入力画像の周波数分布特徴量について輝度信号６係数色差信号各６係数合計１８係数と、係数が補間されて輝度信号６係数色差信号各６係数合計１８係数となった各被検索対象画像の画像特徴量を取り出し、各画像の特徴量間の距離計算を行う。
【０１０５】
そして、中央演算装置は、問合せ画像の周波数分布特徴量との間の距離が近いものを選択し、当該被検索対象画像の周波数分布特徴量に対応する画像データベース中の画像を問合せ画像の類似画像としてディスプレイに出力する。
【０１０６】
（第３の実施例）
次に第３の実施例を説明する。
【０１０７】
本実施例は第１の実施例と構成を同じとするが、パーソナルコンピュータの中央演算装置が、類似度を正規化する手段としても機能する点で第２の実施例と異なる。
【０１０８】
今、静止画像と動画像の混在するシステムで、動画像から抽出したフレーム（画像）については、輝度信号６係数、色差信号各３係数合計１２係数からなる周波数分布特徴量を持ち、静止画像については輝度信号６係数、色差信号各６係数合計１８係数からなる周波数分布特徴量を持つものとする。これらの周波数分布特徴量および周波数分布特徴量の構成情報（例：輝度信号６係数色差信号各６係数合計１８係数）を記した構成情報が磁気ディスク装置に記憶されている。
【０１０９】
今、入力画像がキーボードまたはマウスにより指定されたとする。また、本実施例では、入力画像の画像特徴量として輝度信号６係数色差信号各６係数合計１８係数からなる周波数分布特徴量を利用するものとする。
【０１１０】
次に、中央演算装置は、入力された輝度信号６係数色差信号各６係数合計１８係数という係数情報と、磁気ディスクに記憶されている１２係数という係数情報と比較し、類似度計算にいくつ係数を利用するかを表す係数情報を生成する。ここで、構成情報決定方法を、係数の少ないほうを採用するという方法にすると、被検索対象が静止画像の場合、係数情報は輝度信号６係数色差信号各６係数合計１８係数となり、被検索対象が動画像中のフレームの場合、係数情報は輝度信号６係数色差信号各３係数合計１２係数、ということになる。
【０１１１】
次に、中央演算装置は、係数情報を受け取って、係数情報に記載された係数に対して各画像の特徴量間の距離計算を行う。
【０１１２】
次に、中央演算装置は、係数情報を受け取って、算出された距離に対して、利用する係数の数や種類に応じて重み付けを行うことにより、距離の値を正規化する。例えば、１２係数利用する場合には単純に１２で割り算する方法、各要素について個別に重み付け加算、例えば低周波成分の重みを重くし、高周波成分の重みを軽くする方法など挙げられる。
【０１１３】
そして、中央演算装置は、問合せ画像の周波数分布特徴量との間の距離が近いものを選択し、当該被検索対象画像の周波数分布特徴量に対応する画像データベース中の画像を問合せ画像の類似画像としてディスプレイに出力する。
【０１１４】
なお、係数の構成情報として用意した数を１２，１８係数とした場合について説明したが、任意の数や組み合わせを取ることができる。
【０１１５】
画像特徴量および構成情報も周波数分布特徴量に関するものだけでなく、エッジ、テクスチャ、色、形状、動き等に関する特徴量も用いることもできる。
【０１１６】
例えば、画像特徴量を画像のエッジまたはテクスチャを表す特徴量、例えばエッジまたはテクスチャの方向性などとし、構成情報を、エッジまたはテクスチャの方向性の種類に関する情報とすることもできる。この際、エッジの方向の種類が、例えば方向性なしのほかに４種類の方向を持つ特徴量と、８種類の方向を持つ特徴量とを比較する場合に、８種類の特徴量のうち４種類の特徴量に含まれないものに関しては、その頻度や割合に応じて残りの４種類のいずれかに含めるという方法などにより種類をそろえてから比較し検索を行う、などといった実装が考えられる。
【０１１７】
また、例えば画像特徴量は画像の１つまたは複数の代表色とその頻度や分布状況であり、構成情報が代表色の数や色空間に関する情報とすることもできる。この際、例えば代表色の数や色空間が異なる特徴量を比較する場合、共通の色空間、共通の色数に変換統一したうえで比較することなどできる。
【０１１８】
また、画像特徴量を画像の形状を表す特徴量として、構成情報を形状の種類や密度など関する情報とすることもできる。この際、形状のパターンが、例えば４種類を持つ特徴量と、８種類を持つ特徴量とを比較する場合に、８種類の特徴量のうち４種類の特徴量に含まれないものに関しては、その形状パターンや頻度や割合に応じて残りの４種類のいずれかに含めるという方法などにより種類をそろえてから比較し検索を行う、などといった実装が考えられる。
【０１１９】
また、画像特徴量を画像の動きを表す特徴量として、構成情報を動きの種類や動きの範囲などに関する情報とすることもできる。この際、動きのパターンが、例えば４種類を持つ特徴量と、８種類を持つ特徴量とを比較する場合に、８種類の特徴量のうち４種類の特徴量に含まれないものに関しては、その動きパターンや動き範囲や頻度や割合に応じて残りの４種類のいずれかに含めるという方法などにより種類をそろえてから比較し検索を行う、などといった実装が考えられる。
【０１２０】
さらに画像特徴量を、画像を矩形領域に分割したうえ各矩形領域の特徴量を抽出することによって生成された画像特徴量であり、前記構成情報を、矩形領域（分割数）に関する情報とすることもできる。この際、分割数が異なる画像特徴量同士を比較する際に、領域数などをそろえるなり、最適な領域数に変換してからから比較し検索を行うすることが考えられる。また領域は矩形である必要はなく、任意形状の領域とすることも可能である。また、画像も画像全体だけでなく、任意の領域を対象に特徴量の抽出を行うことができる。
【０１２１】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１２２】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【０１２３】
第１の効果は、さまざまな構成を持つ画像特徴量が混在するシステムで各画像の比較や検索を、簡易な装置構成により実現することにある。
【０１２４】
その理由は、被検索対象画像の画像特徴量と、入力された問合せ画像の画像特徴量とを、類似度計算に用いる画像特徴量を構成する要素の組合せパターンを双方のもつ要素を元に類似度計算に利用する要素の組合せパターン（構成情報）を決定し、決定された要素の組合せパターンに基づき、被検索対象画像の画像特徴量と問合せ画像特徴量を比較し両者の類似度を算出するためである。
【０１２５】
第２の効果は、さまざまな構成情報をもつ画像特徴量の比較により算出された類似度の値を、同一尺度により比較し検索を実現することにある。
【０１２６】
その理由は、また、画像特徴量の類似度を、類似度計算に利用する構成情報を用いて正規化することによって、さまざまな構成を持つ画像特徴量の比較により算出された類似度の値を、同一尺度により比較し検索するためである。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【図２】  記憶装置を用いた本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【図３】  本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。
【図４】  本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。
【図５】  本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。
【図６】  本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。
【図７】  本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。
【図８】  従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１０    第１の画像特徴量変換手段
１１    第１の画像特徴量
２０    第２の画像特徴量変換手段
２１    第２の画像特徴量
３０    類似度算出用画像特徴量構成情報
４０    構成情報生成手段
４１    構成情報生成手段より生成された類似度算出用画像特徴量構成情報
６１    第１の構成情報候補選定手段
６２    第２の構成情報候補選定手段
６３    構成情報判定手段
６４    構成情報リスト
６５    構成情報リスト
７０    構成情報決定手段
８０    判定手段
８１    構成情報再選定手段
８２    構成情報
８３    構成情報再選定手段より生成された類似度算出用画像特徴量構成情報
８４    判定手段より生成された類似度算出用画像特徴量構成情報
１００    問合せ画像特徴量構成情報
１０１    問合せ画像
１０２    第１の画像特徴量生成手段
１０３    問合せ画像特徴量
１０４    類似度算出用画像特徴量
１０７    画像特徴量類似度算出手段
１０８    類似度
１０９    類似度評価部
１１０    検索結果
１１１    出力装置
２００    被検索対象画像特徴量構成情報
２０１    被検索対象画像
２０２    第２の画像特徴量生成手段
２０３    被検索対象画像特徴量
【図１】
0004527322.tif 000002
【図２】
0004527322.tif 000003
【図３】
0004527322.tif 000004
【図４】
0004527322.tif 000005
【図５】
0004527322.tif 000006
【図６】
0004527322.tif 000007
【図７】
0004527322.tif 000008
【図８】
0004527322.tif 000009