(57)【特許請求の範囲】
【請求項１】
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、
さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換手段と、
前記変換画像を定められた複数のブロックに分割する画像分割手段と、
各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出手段とから構成される周波数分布特徴量変換手段を備え、
前記周波数分布特徴量生成手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出手段を備えることを特徴とする画像検索システム。
【請求項２】
前記色分布特徴量抽出手段は、
前記画像分割手段により分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１に記載の画像検索システム。
【請求項３】
前記色分布特徴量抽出手段は、
前記画像分割手段により分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項２に記載の画像検索システム。
【請求項４】
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、
さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定手段と、
各前記ブロックの代表色を画素とする画像を生成する画像生成手段と、
前記画像生成手段により生成された画像のサイズを、定められたサイズに変換する画像サイズ変換手段と、
前記画像サイズ変換手段により変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出手段とから構成される色分布特徴量変換手段を備え、
前記色分布特徴量変換手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出手段を備えることを特徴とする画像検索システム。
【請求項５】
前記検索対象の各画像を、前記画像特徴量の種類を変換する対象として設定し、
前記検索対象の各画像の画像特徴量の種類を変換して、前記問合せ画像の画像特徴量の種類に一致させることを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。
【請求項６】
前記問合せ画像を、前記画像特徴量の種類を変換する対象として設定し、
前記問合せ画像の画像特徴量の種類を変換して、前記検索対象の各画像の画像特徴量の種類に一致させることを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。
【請求項７】
前記問合せ画像と前記検索対象の各画像の双方を、前記画像特徴量の種類を変換する対象として設定し、
前記問合せ画像及び前記検索対象の各画像の画像特徴量の種類を変換することを特徴とする請求項１から請求項４のいずれか一つに記載の画像検索システム。
【請求項８】
前記問合せ画像の画像特徴量の種類を変換する回路と、前記検索対象の各画像の画像特徴量の種類を変換する回路とを、それぞれに独立に備えることを特徴とする請求項７に記載の画像検索システム。
【請求項９】
前記色分布特徴量は、
特徴を示す対象である画像を、定められた複数のブロックに分割し、各前記ブロックの代表色を判定し、各前記ブロックのそれぞれに対応する前記代表色のデータとして生成される画像特徴量とすることを特徴とする請求項１から請求項８のいずれか一つに記載の画像検索システム。
【請求項１０】
前記周波数分布特徴量は、
特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換を施すことにより生成される画像特徴量とすることを特徴とする請求項１から請求項９のいずれか一つに記載の画像検索システム。
【請求項１１】
前記周波数分布特徴量は、
特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換及び量子化を施すことにより生成される画像特徴量とすることを特徴とする請求項１から請求項９のいずれか一つに記載の画像検索システム。
【請求項１２】
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、
前記画像検索手段が、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、
さらに、前記画像検索手段が、
与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、
前記変換画像を定められた複数のブロックに分割する画像分割ステップと、
各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップとを含み、
前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを含むことを特徴とする画像検索システムにおける画像検索方法。
【請求項１３】
前記画像検索手段において、
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１２に記載の画像検索システムにおける画像検索方法。
【請求項１４】
前記画像検索手段において、
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項１３に記載の画像検索システムにおける画像検索方法。
【請求項１５】
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、
前記画像検索手段が、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、
さらに、前記画像検索手段が、
与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、
各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、
前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、
前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップとを含み、
前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを含むことを特徴とする画像検索システムにおける画像検索方法。
【請求項１６】
コンピュータに、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、
さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップを実行させ、
前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、
前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを実行させ、
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させるための画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。
【請求項１７】
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする請求項１６に記載の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。
【請求項１８】
前記色分布特徴量抽出ステップは、
前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする請求項１７に記載の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。
【請求項１９】
コンピュータに、
検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、
前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、
さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップを実行させ、
前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、
前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを実行させ、
色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させるための画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、個々の画像の類似性を判定し、指定された画像に類似する画像を検索する画像検索に関し、特に、画像の特徴が異なる方式により示される場合にも、その各方式による画像特徴量を基に画像の類似性を判定し又類似する画像を検索する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体に関する。
【０００２】
【従来の技術】
従来より、画像の特徴をデータ化して画像特徴量により示し、画像特徴量を用いて各画像の類似性を判定し、又類似する画像を（例えば、蓄積されている画像の中から）検索する画像検索が行われており、そのための装置やコンピュータプログラムが開発されている。
【０００３】
こうした画像検索の従来の技術では、主として、画像中に含まれる色の構成を表現する特徴量（以降、色構成特徴量と呼ぶ）を用いて、この色構成の類似性から類似画像を検索する方法が採用されている。
【０００４】
ここで、色構成特徴量とは、画像内の代表色とその構成割合等により画像の色構成を表現する画像特徴量であり、又、画像に含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を用いることもできる。
【０００５】
しかし、この色構成特徴量を用いる方式では、画像中の物体の持つ形状や位置関係といった画像の構造特徴を反映することができないという問題点がある。
【０００６】
ここで、画像の持つ構造特徴を反映させるための従来の技術の一例が、特開平１１−３１６８１９号公報に開示されている。特開平１１−３１６８１９号公報の従来技術では、画像を複数のブロックに分割して各ブロック中に含まれる色構成特徴量を計算し、その各ブロック毎の色構成特徴量の値の集合を色分布特徴量として、これを類似性の判定や検索に用いる方法が提案されている。この色分布特徴量では、各ブロック毎の色構成特徴量が示されるため、画像の持つ構造特徴を類似性の判定に反映することができる。
【０００７】
更に他の方法として、画像の持つ色構造を周波数領域で表現した周波数分布特徴量を画像特徴量として利用する従来の画像検索システムが、特開２０００−２５９８３２号公報に開示されている。
【０００８】
ここで、画像の周波数分布特徴量とは、画像の色（平均色）のスペクトラムの周波数分布を複数の帯域に分割し、周波数解析して得られた帯域毎のエネルギーを示す画像特徴量である。
【０００９】
図１１は、この特開２０００−２５９８３２号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、入力される画像データ１０１から周波数分布特徴量１０３を生成する画像特徴量生成部１０２と、検索対象の画像の周波数分布特徴量を予め記憶しておく周波数分布特徴量記憶部１０４と、入力された画像の周波数分布特徴量１０３と周波数分布特徴量記憶部１０４に記憶された特徴量１０５とを用いて類似度１０７を算出する類似度算出部１０６を備えている。ここで、画像特徴量生成部１０２では、画像データ１０１から縮小画像１１１を生成する縮小画像生成手段１１０と、生成された縮小画像１１１に対して周波数解析を行う周波数解析手段１１２と、周波数解析手段１１２から得られる直交変換係数１１３の内、直流成分及び一部交流成分を周波数分布特徴量１０３として抽出する直流成分及び一部交流成分抽出手段１１４を備えている。
【００１０】
以上のように、画像特徴量の例としては、色構成特徴量、色分布特徴量、周波数分布特徴量等があり、これらを用いることにより画像の類似性の判定や画像の検索を行うことができる。
【００１１】
また、特開平０９−２３７３４３号公報に開示された従来技術では、この内の色構成特徴量として色ヒストグラムを用い、周波数分布特徴量として直交変換係数とを混在させた画像検索システムが提案されている。
【００１２】
図１２は、この特開平０９−２３７３４３号公報の画像検索システムの要部の構成を示すブロック図である。この従来の画像検索システムでは、画像特徴量を入力するための入力装置２０１と、画像特徴量を記憶する画像特徴量記憶部２０２と、入力装置２０１から入力された画像特徴量と画像特徴量記憶部２０２に記憶されている画像特徴量との間の類似度を算出する類似度算出部２０３を備えている。
【００１３】
この画像特徴量記憶部２０２は、画像の周波数分布特徴量を記憶する直交変換係数記憶部２０４と、色構成情報を記憶する色ヒストグラム記憶部２０５を備えている。
【００１４】
類似度算出部２０３は、画像特徴量判定手段２０６と、色ヒストグラム類似度算出手段２０７と、直交変換係数類似度算出手段２０８を備えている。画像特徴量判定手段２０６は、入力装置２０１から入力された画像特徴量２０９が、色ヒストグラム情報であるか又は直交変換係数であるかを判定する。色ヒストグラム類似度算出手段２０７は、画像特徴量判定手段２０６で色ヒストグラム情報と判定された場合に、画像特徴量判定手段２０６から出力された色ヒストグラム情報からなる画像特徴量２１０と、色ヒストグラム記憶部２０５から読み出された色ヒストグラム情報２１１との類似度２１２を算出する。直交変換係数類似度算出手段２０８は、画像特徴量判定手段２０６で直交変換係数と判定された場合に、画像特徴量判定手段２０６から出力された直交変換係数からなる画像特徴量２１３と、直交変換係数記憶部２０４から読み出された直交変換係数２１４との類似度２１５を算出する。
【００１５】
このように、複数種類の画像特徴量が混在した環境で画像検索を行うためには、問合せ画像の特徴量に対応した画像特徴量データベース及び類似度算出手段が必要となるため、画像特徴量の種類分の類似度算出手段及び画像特徴量データベースを備えることが必要であり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００１６】
特願２０００−２７０７００号公報に開示された従来技術では、この問題点を解決するために、色構成特徴量及び周波数分布特徴量を用いた画像検索とが混在する場合においても、簡易な装置構成により画像検索を実現する画像検索システムが提案されている。
【００１７】
この特願２０００−２７０７００号公報の画像検索システムでは、装置内に周波数分布の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、その色構成特徴量から平均色を算出し周波数分布特徴量に変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００１８】
また、色構成特徴量の類似度算出手段のみを備える場合に、問合せ画像や検索対象画像の特徴量が周波数分布特徴量であった場合には、周波数分布特徴量を逆変換することにより画像を復元し復元された画像の色構成情報を抽出した上で、その色分布特徴量に基づいて類似度計算を行う。
【００１９】
また、システムが周波数分布特徴量の類似度算出手段のみを備える場合、問合せ画像や検索対象画像の特徴量が色構成特徴量であった場合には、色構成特徴量から平均色を算出し、平均色を周波数分布特徴量の直流成分とすることにより変換した上で、その周波数分布特徴量に基づいて類似度計算を行う。
【００２０】
この結果、色構成特徴量や周波数分布特徴量により特徴量が示される画像の類似性の判定や検索を、いずれか１種類の類似度算出手段を備えるのみで実行することができる。
【００２１】
しかし、画像の構造特徴を持つ画像特徴量である色分布特徴量と周波数分布特徴量との間の、画像特徴量の相互変換方法は実現されていなかった。
【００２２】
【発明が解決しようとする課題】
上述したように従来の装置では、以下に述べるような問題点があった。
【００２３】
第１に、画像の特徴を示す画像特徴量には様々な種類があり、画像の比較や検索を行うためには、共通の種類の画像特徴量を比較（検索）対象の双方の画像のそれぞれに用意することが必要であった。
【００２４】
また、たとえ双方の画像の共通の種類の画像特徴量を備えたとしても、その画像特徴量に基づく比較や検索の機能を画像検索システムの側が備える必要があった。画像検索システムが、分布特徴量や周波数分布特徴量等の様々な種類の画像特徴量に基づく比較や検索を実現するためには、そのそれぞれの画像特徴量に基づく類似度算出手段を備える必要があり、このため装置も複雑になり製造コストも高くなるといる問題点があった。
【００２５】
第２に、従来の装置では、色分布特徴量と周波数分布特徴量のそれぞれにより特徴量が示される画像の比較を行うことができなかった。これは従来では、色分布特徴量と周波数分布特徴量と間における、実用に値するレベルの交互変換の技術が実現されていなかったからである。
【００２６】
例えば、問合せ画像の画像特徴量が周波数分布特徴量である場合には、この問合せ画像に類似する画像を、検索対象画像の色分布特徴量を記録するデータベースから検索することができなかった。
【００２７】
本発明の第１の目的は、上記従来技術の欠点を解決し、色分布特徴量又は周波数分布特徴量により特徴が示される各画像の比較や検索を、検索性能を損なうことなく簡易な装置構成により実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２８】
本発明の第２の目的は、上記従来技術の欠点を解決し、各画像の画像特徴量が、画像の周波数分布特徴量であるか色分布特徴量であるかにかかわらず、その比較や検索を実現する画像検索システムとその画像検索方法、及び画像検索プログラムを記録した記憶媒体を提供することである。
【００２９】
【課題を解決するための手段】
上記目的を達成するため本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換手段と、前記変換画像を定められた複数のブロックに分割する画像分割手段と、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出手段とから構成される周波数分布特徴量変換手段を備え、前記周波数分布特徴量生成手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出手段を備えることを特徴とする。
【００３０】
請求項２の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００３１】
請求項３の本発明の画像検索システムは、前記色分布特徴量抽出手段は、前記画像分割手段により分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００３２】
請求項４の本発明の画像検索システムは、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索システムにおいて、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させる手段と、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する手段を備え、さらに、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定手段と、各前記ブロックの代表色を画素とする画像を生成する画像生成手段と、前記画像生成手段により生成された画像のサイズを、定められたサイズに変換する画像サイズ変換手段と、前記画像サイズ変換手段により変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出手段とから構成される色分布特徴量変換手段を備え、前記色分布特徴量変換手段により、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出手段を備えることを特徴とする。
【００３３】
請求項５の本発明の画像検索システムは、前記検索対象の各画像を、前記画像特徴量の種類を変換する対象として設定し、前記検索対象の各画像の画像特徴量の種類を変換して、前記問合せ画像の画像特徴量の種類に一致させることを特徴とする。
【００３４】
請求項６の本発明の画像検索システムは、前記問合せ画像を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像の画像特徴量の種類を変換して、前記検索対象の各画像の画像特徴量の種類に一致させることを特徴とする。
【００３５】
請求項７の本発明の画像検索システムは、前記問合せ画像と前記検索対象の各画像の双方を、前記画像特徴量の種類を変換する対象として設定し、前記問合せ画像及び前記検索対象の各画像の画像特徴量の種類を変換することを特徴とする。
【００３６】
請求項８の本発明の画像検索システムは、前記問合せ画像の画像特徴量の種類を変換する回路と、前記検索対象の各画像の画像特徴量の種類を変換する回路とを、それぞれに独立に備えることを特徴とする。
【００３７】
請求項９の本発明の画像検索システムは、前記色分布特徴量は、特徴を示す対象である画像を、定められた複数のブロックに分割し、各前記ブロックの代表色を判定し、各前記ブロックのそれぞれに対応する前記代表色のデータとして生成される画像特徴量とすることを特徴とする。
【００３８】
請求項１０の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換を施すことにより生成される画像特徴量とすることを特徴とする。
【００３９】
請求項１１の本発明の画像検索システムは、前記周波数分布特徴量は、特徴を示す対象である画像を、定められたサイズの縮小画像に変換し、前記縮小画像に対して周波数変換及び量子化を施すことにより生成される画像特徴量とすることを特徴とする。
【００４０】
請求項１２の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップとを含み、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを含むことを特徴とする。
【００４１】
請求項１３の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおける代表色を判定し、前記代表色の集合を色分布特徴量として抽出することを特徴とする。
【００４２】
請求項１４の本発明の画像検索システムにおける画像検索方法は、前記画像検索手段において、前記色分布特徴量抽出ステップは、前記画像分割ステップにより分割された各前記ブロックのそれぞれにおけるブロック内の画素の色平均を算出し、前記算出された色平均の色を前記代表色として判定することを特徴とする。
【００４３】
請求項１５の本発明の画像検索システムにおける画像検索方法は、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の、類似性を判定し類似する画像を検索する画像検索手段を備えた画像検索システムにおける画像検索方法において、前記画像検索手段が、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップとを含み、さらに、前記画像検索手段が、与えられた色分布特徴量における各ブロックの代表色を判定する代表色決定ステップと、各前記ブロックの代表色を画素とする画像を生成する画像生成ステップと、前記画像生成ステップにより生成された画像のサイズを、定められたサイズに変換する画像サイズ変換ステップと、前記画像サイズ変換ステップにより変換された画像を周波数変換することにより、前記与えられた色分布特徴量より示される画像の特徴と同様の特徴を示す周波数分布特徴量を抽出する周波数分布特徴量抽出ステップとから構成される色分布特徴量変換ステップとを含み、前記色分布特徴量変換ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て周波数分布特徴量とし、前記問合せ画像の周波数分布特徴量を、前記検索対象の各画像の周波数分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する周波数分布類似度算出ステップを含むことを特徴とする。
【００４４】
請求項１６の本発明の画像検索プログラムをコンピュータにより読み取り可能に記録した記録媒体は、コンピュータに、検索対象の各画像及び問合せ画像の内で、画像特徴量の種類を変換する対象として設定されている画像に対して、当該画像の画像特徴量の種類を変換することにより、前記検索対象の各画像と前記問合せ画像との画像特徴量の種類を一致させるステップと、前記変換された画像特徴量を基に、前記問合せ画像の画像特徴量を前記検索対象の各画像の画像特徴量と比較し、それぞれの類似性を判定し類似する画像を検索するステップを実行させ、さらに、与えられた周波数分布特徴量を逆周波数変換し変換画像を生成する逆周波数変換ステップと、前記変換画像を定められた複数のブロックに分割する画像分割ステップと、各前記ブロックのそれぞれの色構成特徴量を算出することにより、前記与えられた周波数分布特徴量より示される画像の特徴と同様の特徴を示す色分布特徴量を抽出する色分布特徴量抽出ステップとから構成される周波数分布特徴量変換ステップを実行させ、前記周波数分布特徴量生成ステップにより、検索対象の各画像と問合せ画像との画像特徴量の種類を全て色分布特徴量とし、前記問合せ画像の色分布特徴量を前記検索対象の各画像の色分布特徴量と比較し、それぞれの類似性を判定し類似する画像を検索する色分布類似度算出ステップを実行させ、色分布特徴量と周波数分布特徴量とのいずれかの画像特徴量により特徴が示される画像の類似性を判定させ、類似する画像を検索させることを特徴とする。
【００５５】
本発明の画像検索システムは、画像の周波数分布特徴量を復号して画像に変換し、変換された画像を複数のブロックに分割して得られる各ブロックより代表色を抽出してその集合を色分布特徴量として生成することにより、周波数分布特徴量から色分布特徴量への変換を実現する。また、色分布特徴量に含まれる各ブロックの代表色から各ブロックの平均色を算出し、各ブロックの平均色を画素とする画像を生成し、この画像を拡大縮小した上で周波数解析を行い周波数分布特徴量を生成することにより、色分布特徴量から周波数分布特徴量への変換を実現する。
【００５６】
このため、画像特徴量として色分布特徴量と周波数分布特徴量とが混在する場合においても、その特徴量の種類を相互に変換することにより種類を統一して類似性を判定することができる。
【００５７】
これにより、画像特徴量の種類に依存することなく類似画像の検索が実現される。また、色分布特徴量と周波数分布特徴量の一方の画像特徴量のみに類似度の判定機能が対応するシステムにおいても、いずれの画像特徴量に対してもその画像の類似度の算出や検索ができるようになる。
【００５８】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００５９】
図１は、本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【００６０】
図１の画像検索処理の例では、まず画像検索システムが、検索を問い合わせる画像である問合せ画像の画像特徴量の入力を受け付け、検索対象の各画像の画像特徴量のデータを参照する（ステップ１０１、１０２）。ここで、各画像の画像特徴量の種類は、色分布特徴量又は周波数分布特徴量のいずれかである。
【００６１】
ここで、問合せ画像と、検索対象の各画像の画像特徴量の種類が異なる場合には、類似度の判定や検索を行うことができないため、画像特徴量の種類を変換することにより双方の画像特徴量の種類を一致させる（ステップ１０３）。
【００６２】
そして、この変換された画像特徴量を用いて、問合せ画像の画像特徴量を、検索対象の各画像の画像特徴量のそれぞれと比較して類似度を算出し（ステップ１０４）、類似度の算出結果を出力する（ステップ１０５）。
【００６３】
ここで、検索対象画像のデータは、例えば、予めハードディスクや半導体メモリ等の記憶部に記憶されたデータを参照したり、通信ネットワークを介して外部のサーバに記憶されたデータを参照する等が可能である。
【００６４】
また、図１の例では、画像特徴量により、問合せ画像の受け付けや検索対象画像の参照をしているが、これは画像データのまま受け付けて（又、参照し）その画像データから画像特徴量を抽出し、ステップ１０３以下のステップを行う方式も同様に実施可能である。
【００６５】
また、このステップ１０３における、色分布特徴量と周波数分布特徴量との相互の画像特徴量の変換処理の方法は、以下の各実施の形態において詳細に説明される。
【００６６】
また、図１の例では、類似度の算出結果を出力して終了しているが、これ以外に、高い類似度の算出された画像を検索結果として出力する方式も同様に可能である。また、複数の検索対象の画像に対して、問合せ画像との類似度を算出する以外にも、検索対象の画像を１枚とし、この１枚の検索対象の画像と問合せ画像とによる類似度のデータを出力させる等の処理も同様に実施可能である。
【００６７】
第１の実施の形態
図２は、本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【００６８】
図２を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０は、逆周波数変換部２１、画像分割部２２、色分布特徴量抽出部２３を備えている。
【００６９】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。ここで画像の周波数分布特徴量とは、画像の周波数分布を表す特徴量であり、その例として画像を一定のサイズに変換した上で、画像の色のスペクトラムの周波数分布を複数の帯域に分割し、離散コサイン変換（Discrete Cosine Transform：ＤＣＴ）等の直交行列を用いて周波数解析して得られた、帯域毎のエネルギーを示す値からなるものが挙げられる。また、この周波数分布特徴量は、量子化を施した上で保存したものとしてもよい。
【００７０】
図３は、本実施の形態の周波数分布特徴量変換部２０の処理を説明するためのフローチャートである。
【００７１】
周波数分布特徴量変換部２０において、まず逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を生成し出力する（ステップ３０１）。逆周波数変換としては、周波数分布特徴量を生成する際の周波数解析方法として離散コサイン変換（ＤＣＴ）を用いた場合には逆離散コサイン変換（Inverse Discrete Cosine Transform：ＩＤＣＴ）を行い画像を復元する。
【００７２】
続いて、画像分割部２２は、入力された復号画像を定められた複数のブロックに分割する（ステップ３０２）。
【００７３】
そして、色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックにおいて色構成特徴量を決定し、その集合を色分布特徴量として抽出する（ステップ３０３）。ここで、各ブロックの色構成を表現する色構成特徴量とは、画像の各ブロックを表す代表色とその構成割合とからなる特徴量であり、各ブロックに含まれるすべての色についての頻度割合や、１つ又は複数の代表色とその色構成割合等を持たせることができる。
【００７４】
色分布類似度算出部４１は、問合せに用いる画像特徴量として入力された、問合せ画像の色分布特徴量と、周波数分布特徴量変換部２０によって生成された色分布特徴量との類似度を算出する。
【００７５】
次に、本実施の形態の画像検索システムの処理を、具体例を挙げて説明する。
【００７６】
まず、検索対象の各画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値（の色、画素）を算出して、８画素×８画素の縮小画像を作成する。次に、この縮小画像に対してＤＣＴを施し、得られる係数を元の画像の周波数分布特徴量とする。この方法により、検索対象の各画像の周波数分布特徴量を抽出して、予め周波数分布特徴量記憶部６２に保存しておく。
【００７７】
ここで、色の平均とは、色のデータをＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の各種の方法で示す場合における、数値データの平均値である。また、各種の色空間において、色の平均の独自の算出方法がある場合にはそれに従う。
【００７８】
また、問合せ画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックにおいて各ブロックを表す代表色とその構成割合とのデータによる色構成特徴量を抽出し、各ブロックとそのそれぞれの色構成特徴量の対応のデータの集合を問合せ画像の色分布特徴量とする。
【００７９】
ここで、問合せ画像の色分布特徴量を用いて、特徴の類似する画像を検索するためには、周波数分布特徴量記憶部６２に記憶される周波数分布特徴量のデータを色分布特徴量に変換し、双方をその色分布特徴量により比較して類似度を算出することになる。
【００８０】
このため画像検索システムは、まず、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量に対して、逆離散コサイン変換（ＩＤＣＴ）を行うことにより８画素ｘ８画素の画像を生成する。
【００８１】
次に、得られた８画素×８画素の画像を４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成特徴量を抽出する。
【００８２】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された色構成特徴量の集合である色分布特徴量と、問合せ画像の色分布特徴量と比較しその類似度を算出することによって検索を実現する。
【００８３】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００８４】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された色分布特徴量との類似度を算出することができる。また、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができるため、検索システムの構成規模を小さくすることができる。
【００８５】
更に、画像特徴量の種類が、色分布特徴量であるか周波数分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００８６】
第２の実施の形態
図４は、本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。図４を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、周波数分布特徴量変換部２０、２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０、２０ａは、それぞれ逆周波数変換部２１、２１ａ、画像分割部２２、２２ａ、色分布特徴量抽出部２３、２３ａを備えている。
【００８７】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である周波数分布特徴量を記憶する。
【００８８】
周波数分布特徴量記憶部６２の側の、周波数分布特徴量変換部２０においては、逆周波数変換部２１は、周波数分布特徴量記憶部６２から読み出された周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２は、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３は、画像分割部２２により分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００８９】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９０】
問合せ画像の入力を受ける側の、周波数分布特徴量変換部２０ａにおいては、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９１】
色分布類似度算出部４１は、周波数分布特徴量変換部２０によって生成された色分布特徴量と、周波数分布特徴量変換部２０ａによって生成された色分布特徴量との類似度を算出する。
【００９２】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、これを変換した色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【００９３】
以上説明したように、本実施の形態の画像検索システムによれば、画像特徴量である周波数分布特徴量を色分布特徴量に変換したものと、入力された周波数分布特徴量を色分布特徴量に変換したものとの類似度を算出することができる。このため、周波数分布類似度算出部を備えずに色分布類似度算出部４１を備えるのみの場合においても、周波数分布特徴量の比較を行うことができる。
【００９４】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【００９５】
第３の実施の形態
図５は、本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。図５を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、周波数分布特徴量変換部２０ａ、色分布類似度算出部４１を備えている。更に、周波数分布特徴量変換部２０ａは、逆周波数変換部２１ａ、画像分割部２２ａ、色分布特徴量抽出部２３ａを備えている。
【００９６】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【００９７】
周波数分布特徴量変換部２０ａにおいて、逆周波数変換部２１ａは、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量を逆周波数変換して、復号画像を出力する。画像分割部２２ａは、入力された復号画像を複数のブロックに分割する。色分布特徴量抽出部２３ａは、画像分割部２２ａにより分割された各ブロックより色構成特徴量を生成し、その集合を色分布特徴量として抽出する。
【００９８】
なお、ここで画像分割部２２が分割すべき（縦横の）ブロック数が、復号画像自体の（縦横の）画素数と一致する等の場合には、画像分割部２２は復号画像を分割する必要はない。この場合、色分布特徴量抽出部２３は、復号画像の各画素値を色構成特徴量として抽出すればよい。
【００９９】
色分布類似度算出部４１は、周波数分布特徴量変換部２０ａによって生成された色分布特徴量と、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量との類似度を算出する。
【０１００】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、その色分布特徴量と問合せ画像の周波数分布特徴量を変換した色分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１０１】
以上説明したように、本実施の形態の画像検索システムによれば、入力された画像の周波数分布特徴量を色分布特徴量に変換したものと、画像特徴量である色分布特徴量との類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１０２】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１０３】
第４の実施の形態
図６は、本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。図６を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０は、代表色決定部３１、画像生成部３２、画像サイズ変換部３３、周波数分布特徴量抽出部３４を備えている。
【０１０４】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１０５】
図７は、本実施の形態の色分布特徴量変換部３０の処理を説明するためのフローチャートである。
【０１０６】
色分布特徴量変換部３０において、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成情報情報から各ブロックの代表色を決定する（ステップ７０１）。ここで、代表色の決定方法としては、色構成特徴量に含まれる色の平均値を、それぞれの色にその割合を乗算して全部加算することによって計算する方式や、平均値計算の際には、各色を異なる色空間（例えば、ＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等）に変換してから平均値を求める方式や、この他にも、最頻値、中央値等を代表色にする等の様々な方式が可能である、
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する（ステップ７０２）。
【０１０７】
画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを定められたサイズに変更する（ステップ７０３）。この変換後の画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。
【０１０８】
周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を抽出する（ステップ７０４）。
【０１０９】
周波数分布類似度算出部４２は、問合せに用いる画像特徴量として入力された問合せ画像の周波数分布特徴量と、色分布特徴量変換部３０によって生成された周波数分布特徴量との類似度を算出する。
【０１１０】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した直交変換係数と問合せ画像の直交変換係数との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１１１】
次に、本実施の形態の画像検索システムの処理を具体例を挙げて概説する。
【０１１２】
まず、検索対象の各画像に対して、その画像を例えば４×４＝１６個のブロックに分割した後、個々のブロックについてブロックを表す代表色と、その構成割合とからなる色構成情報を抽出し、この集合を元の画像の色分布特徴量とする。この方法により、検索対象の各画像の色分布特徴量を抽出して、予め色分布特徴量記憶部６１に保存しておく。
【０１１３】
また、問合せ画像に対して、その画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を問合せ画像の周波数分布特徴量とする。
【０１１４】
ここで、問合せ画像の周波数分布特徴量を用いて、特徴の類似する画像を検索するためには、色分布特徴量記憶部６１に記憶される色分布特徴量のデータを周波数分布情報に変換し、双方をその周波数分布特徴量により比較して類似度を算出することになる。
【０１１５】
このため画像検索システムは、まず、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。代表色は、それぞれの色にその割合を乗算して、全部加算することによって計算することができる。
【０１１６】
そして、算出された各ブロックの代表色から構成される４画素×４画素の画像を生成する。
【０１１７】
次に、４×４画素の画像を、問合せ画像の周波数分布特徴量を生成する際に周波数変換を行う対象となる画像サイズである８×８画素に拡大する。
【０１１８】
次に、画像を例えば８×８＝６４個のブロックに分割した後、個々のブロックについて平均値を算出して、８画素×８画素の縮小画像を作成し、この縮小画像に対してＤＣＴを施し、得られる係数を検索対象画像の周波数分布特徴量として抽出する。
【０１１９】
この結果、問合せ画像と検索対象画像を同一次元の特徴で比較することができるため、抽出された周波数分布特徴量と、問合せ画像の周波数分布特徴量と比較しその類似度を算出することによって検索を実現する。
【０１２０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された周波数分布特徴量と、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布特徴量と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１２１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１２２】
第５の実施の形態
図８は、本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。図８を参照すると、本実施の形態の画像検索システムは、検索対象画像の色分布特徴量記憶部６１、色分布特徴量変換部３０、３０ａ、周波数分布類似度算出部４２を備えている。更に、色分布特徴量変換部３０、３０ａは、それぞれ代表色決定部３１、３１ａ、画像生成部３２、３２ａ、画像サイズ変換部３３、３３ａ、周波数分布特徴量抽出部３４、３４ａを備えている。
【０１２３】
検索対象画像の色分布特徴量記憶部６１は、検索対象画像を複数のブロックに分割した各ブロックの色構成特徴量の集合である色分布特徴量を検索対象画像の画像特徴量として記憶している。
【０１２４】
色分布特徴量記憶部６１の側の色分布特徴量変換部３０においては、代表色決定部３１は、検索対象画像の色分布特徴量記憶部６１から読み出された色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２５】
画像生成部３２は、代表色決定部３１により算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３は、画像生成部３２より生成された画像のサイズを変更する。画像サイズは、周波数分布特徴量を生成する際の元となる画像のサイズと一致させることができる。周波数分布特徴量抽出部３４は、画像サイズ変換部３３により得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２６】
問合せ画像の入力を受ける側の、色分布特徴量変換部３０ａにおいては、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色ヒストグラムに含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１２７】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１２８】
周波数分布類似度算出部４２は、色分布特徴量変換部３０によって生成された周波数分布特徴量と、色分布特徴量変換部３０ａによって生成された周波数分布特徴量との類似度を算出する。
【０１２９】
従って、検索対象画像の色分布特徴量記憶部６１に記憶されている複数の検索対象画像の色分布特徴量を順次読み出して、これを変換した周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の色分布特徴量記憶部６１にその色分布特徴量が記憶されている複数の検索対象画像中から特定することができる。
【０１３０】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の色分布特徴量を周波数分布特徴量に変換したものとの類似度を算出することができる。このため、色分布類似度の算出機能を備えない場合にも、色分布特徴量の比較を周波数分布類似度の算出機能を利用して処理することができる。
【０１３１】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１３２】
第６の実施の形態
図９は、本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。図９を参照すると、本実施の形態の画像検索システムは、検索対象画像の周波数分布特徴量記憶部６２、色分布特徴量変換部３０ａ、周波数分布類似度算出部４２を備えている。また、色分布特徴量変換部３０ａは、代表色決定部３１ａ、画像生成部３２ａ、画像サイズ変換部３３ａ、周波数分布特徴量抽出部３４ａを備えている。
【０１３３】
検索対象画像の周波数分布特徴量記憶部６２は、検索対象画像の画像特徴量である画像の周波数分布特徴量を記憶する。
【０１３４】
色分布特徴量変換部３０ａにおいて、代表色決定部３１ａは、問合せ画像の色分布特徴量に含まれる各ブロックの色構成特徴量から各ブロックの代表色を計算する。ここで、代表色は、色構成特徴量に含まれる色の平均値とすることができる。それぞれの色にその割合を乗算して、全部加算することによって計算することができる。また、平均値計算の際には、各色を異なる色空間に変換してから、平均値を求めてもよい。この他にも、最頻値、中央値等を代表色にすることもできる。
【０１３５】
画像生成部３２ａは、代表色決定部３１ａにより算出された各ブロックの代表色から構成される画像を生成する。画像サイズ変換部３３ａは、画像生成部３２ａより生成された画像のサイズを変更する。画像サイズは、画像と画像のサイズを一致させることができる。周波数分布特徴量抽出部３４ａは、画像サイズ変換部３３ａにより得られる画像に対して周波数変換を行い、周波数分布特徴量を生成する。
【０１３６】
周波数分布類似度算出部４２は、色分布特徴量変換部３０ａによって生成された周波数分布特徴量と、検索対象画像の周波数分布特徴量記憶部６２から読み出された周波数分布特徴量との類似度を算出する。
【０１３７】
従って、検索対象画像の周波数分布特徴量記憶部６２に記憶されている複数の検索対象画像の周波数分布特徴量を順次読み出して、この周波数分布特徴量と問合せ画像の色分布特徴量を変換した周波数分布特徴量との類似度を算出し、算出された類似度の大小に応じて検索対象画像を選択することによって、問合せ画像の類似画像を、検索対象画像の周波数分布特徴量記憶部６２にその周波数分布特徴量の記憶されている複数の検索対象画像中から特定することができる。
【０１３８】
以上説明したように、本実施の形態の画像検索システムによれば、問合せに用いる画像特徴量として入力された画像の色分布特徴量を周波数分布特徴量に変換したものと、画像特徴量である画像の周波数分布特徴量との類似度を算出することができる。このため、色分布情報と周波数分布特徴量との両方を、同一の類似度算出部で取り扱うことができ、検索システムの構成規模を小さくすることができる。
【０１３９】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１４０】
次に、本発明の検索システムに対して行った検索精度の実験を説明する。
【０１４１】
ここでは、本発明の検索システムによる検索処理を、画像５４６６枚のデータを記録するデータベースを用いて実験を行った。
【０１４２】
この際、５０枚の問合せ画像に対して、それぞれに主観評価によって類似している画像が事前に選定されていて、正解として定めている。問合せ画像と、データベースに含まれる画像の、画像特徴量間の類似度が近い順に並べ替えて、上位ｎ位以内に含まれる正解画像の順位及び数を“正規化平均検索順位”として評価することによって、検索性能を評価する。なお、正規化平均検索順位とは、上位ｎ位以内に検出された正解画像の順位の平均値から、正解画像が全て最上位で検出された場合の順位の平均値を引いた値を０から１の間に正規化した値とし、この値が小さいほど性能が高いことになる。なお、この“ｎ”は、事前に選定された正解画像数の４倍とし、上位ｎ位に検出されなかった正解画像については、全てｎ＋１位として検出されたものとして扱った。
【０１４３】
画像特徴量としては、以下の２種類を用意した。
【０１４４】
１つ目の画像特徴量としては、画像の周波数分布特徴量を利用する。生成方法は以下のようにして行った。静止画像を８×８ブロックに分割し、各ブロックの平均色を算出して、固定サイズ（８画素×８画素）の縮小画像を生成する。次に、縮小画像に対して離散コサイン変換（ＤＣＴ変換）を行い、得られた係数の内、輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ａとした。
【０１４５】
さらにもう一方の画像特徴量としては、色分布特徴量を利用する。静止画像を８×８ブロックに分割し、各ブロックから色構成情報を抽出し利用する。各ブロックから、１つ又は複数の代表色とその頻度を抽出して色分布特徴量Ａとした。
【０１４６】
次に、この周波数分布特徴量Ａ（ＤＣＴ係数）を、以下の方法によって色分布特徴量Ｂに変換する。
【０１４７】
まず、周波数分布特徴量ＡのＤＣＴ係数を逆直交変換し、８×８画素の画像を生成する。そして、８×８画素の画像の各画素をブロックとみなし、各ブロックより画素の色と割合（１００％）を色構成情報として抽出する。抽出された色構成情報の集合を、色分布特徴量Ｂと呼ぶ。
【０１４８】
また、この色分布特徴量Ａを、以下の方法によって周波数分布特徴量Ｂ（ＤＣＴ係数）に変換する。
【０１４９】
まず、各ブロックの色頻度の割合と画素値の積を各代表色について求め、その総和を平均色情報とする。次に、各ブロックの平均色からなる８×８画素の画像を生成する。そして生成された８×８画素の画像に対して、ＤＣＴ変換を行い、得られた係数の内輝度信号と色差信号の低次係数列を抽出する。更に、得られたＤＣＴ係数を変換テーブルを利用して変換して、周波数分布特徴量Ｂを生成する。
【０１５０】
周波数分布特徴量Ａと周波数分布特徴量Ｂのデータサイズ、及び色分布特徴量Ａと色分布特徴量Ｂのデータサイズをそれぞれほぼ同じにした上で、それぞれの画像特徴量を用いて検索を行った場合の、正規化平均検索順位を算出した。
【０１５１】
表１は、画像特徴量として周波数分布特徴量を用いた場合の、正規化平均検索順位を示し、表２は、画像特徴量として色分布特徴量を用いた場合の、正規化平均検索順位を示している。
【０１５２】
【表１】
0003658761.tif 000002
【０１５３】
【表２】
0003658761.tif 000003
【０１５４】
表１から、色分布特徴量を、原画像から生成する場合と比べて、周波数分布特徴量を変換して生成した色分布特徴量を利用した場合の正規化平均検索順位は４分の３程度の性能が得られていることがわかる。また、表２から、周波数分布特徴量を、原画像から生成する場合と比べて、色分布特徴量を変換して生成した周波数分布特徴量を利用した場合の正規化平均検索順位はほぼ一致しており、殆ど検索性能を損なう恐れがないことがわかる。
【０１５５】
このため、色分布特徴量と周波数分布特徴量との両方を同一の類似度算出部で取り扱うことができ、検索性能を大きく損なうことなく、システム構成を簡易化した画像検索システムを提供できることがわかる。
【０１５６】
更に、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１５７】
また、図１０は、本発明の画像検索システムのその他の実施の形態の構成を示すブロック図である。
【０１５８】
図１０の例の画像検索システムにおいては、検索処理部１００ｆが、問合せ画像特徴量入力部５０からの問合せ画像の画像特徴量の入力を受け、検索対象画像特徴量記憶部６０に対して検索対象の各画像の画像特徴量を参照し、その類似度を判定して出力する。
【０１５９】
また、検索処理部１００ｆには、画像特徴量の種類を変換するデータ処理部１０と、類似度を算出する類似度算出部４０を備えている。
【０１６０】
ここで、図１０の例の画像検索システムにおいては、問合せ画像や検索対象画像の画像特徴量が、周波数分布特徴量と色分布特徴量のいずれの場合にも適正に検索を行うことができるように、データ処理部１０においては、周波数分布特徴量変換部２０と色分布特徴量変換部３０の双方を備え、又類似度算出部４０においても、色分布類似度算出部４１と周波数分布類似度算出部４２の双方を備える。
【０１６１】
ここで、データ処理部１０は、問合せ画像特徴量入力部５０から入力される画像特徴量や、検索対象画像特徴量記憶部６０を参照して取得する画像特徴量を、切替部１１により適切に切り換えて、変換の必要な画像特徴量を変換しそうでないものはそのまま類似度算出部４０に渡す。
【０１６２】
そして、類似度算出部４０においても、データ処理部１０から渡される画像特徴量を、切替部１１により適切に切り換えて、色分布類似度算出部４１と周波数分布類似度算出部４２との、画像特徴量の種類に対応する側に渡して類似度を算出しこれを出力する。
【０１６３】
このため、本実施の形態の画像検索システムでは、色分布特徴量と周波数分布特徴量との両方を自由に取り扱うことができ、画像特徴量の種類が、周波数分布特徴量であるか色分布特徴量であるかに無関係に、検索を行うことが可能な画像検索システムを提供することができる。
【０１６４】
また、上記各実施の形態の画像検索システムは、色構成情報における色の種類は特定の色空間に限らず、例えばＲＧＢ色空間、ＹＣｂＣｒ色空間、ＨＳＶ色空間等の様々な色空間に適応することができる。
【０１６５】
また、代表色の決定方法としては、全ての成分色に対して加算し平均する必要はなく、一部の成分色のみの平均値を用いる方式も可能である。
【０１６６】
また、特徴量記憶部や類似度算出部等の各部を、全て同一の装置内に備える必要はなく、複数の装置に分散して設置されるものとしてもしてもよい。例えば、検索対象の画像のデータを、通信ネットワークを介して参照する形態も同様に可能である。
【０１６７】
なお、上記各実施の形態の画像検索システムは、データ処理部１０、周波数分布特徴量変換部２０、２０ａ、色分布特徴量変換部３０、３０ａ、類似度算出部４０、色分布類似度算出部４１、周波数分布類似度算出部４２等の機能や、その他の機能をハードウェア的に実現することは勿論として、各機能を備えるコンピュータプログラムを、コンピュータ処理装置のメモリにロードされることで実現することができる。このコンピュータプログラムは、磁気ディスク、半導体メモリ、ＣＤ−ＲＯＭその他の記録媒体９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆに格納される。そして、その記録媒体からコンピュータ処理装置にロードされ、コンピュータ処理装置の動作を制御することにより、上述した各機能を実現する。
【０１６８】
以上好ましい実施の形態及び実施例を挙げて本発明を説明したが、本発明は必ずしも上記実施の形態及び実施例に限定されるものではなく、その技術的思想の範囲内において様々に変形して実施することができる。
【０１６９】
【発明の効果】
以上説明したように本発明の画像検索システム及びその画像検索方法によれば、画像特徴量を変換してその種類を統一することによって、使用されている画像特徴量の種類が周波数分布特徴量であるか色分布特徴量であるかにかかわらず、問合せ画像の類似画像を検索対象となる画像中から特定することができ、かつ良好な検索性能を実現し、更に異なる画像特徴量に対しても同一の類似度の判定機能を適用することができるため画像検索システムの構成の簡易化が実現される。
【図面の簡単な説明】
【図１】  本発明の一実施例における画像検索システムの処理を説明するためのフローチャートである。
【図２】  本発明の第１の実施の形態の画像検索システムの構成を示すブロック図である。
【図３】  本発明の一実施例における周波数分布特徴量変換部の処理を説明するためのフローチャートである。
【図４】  本発明の第２の実施の形態の画像検索システムの構成を示すブロック図である。
【図５】  本発明の第３の実施の形態の画像検索システムの構成を示すブロック図である。
【図６】  本発明の第４の実施の形態の画像検索システムの構成を示すブロック図である。
【図７】  本発明の一実施例における色分布特徴量変換部の処理を説明するためのフローチャートである。
【図８】  本発明の第５の実施の形態の画像検索システムの構成を示すブロック図である。
【図９】  本発明の第６の実施の形態の画像検索システムの構成を示すブロック図である。
【図１０】  本発明のその他の実施の形態の画像検索システムの構成を示すブロック図である。
【図１１】  従来の画像検索システムの主要な構成を示すブロック図である。
【図１２】  従来の画像検索システムの主要な構成を示すブロック図である。
【符号の説明】
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ、１００ｅ、１００ｆ  検索処理部
１０  データ処理部
１１  切替部
２０、２０ａ  周波数分布特徴量変換部
２１、２１ａ  逆周波数変換部
２２、２２ａ  画像分割部
２３、２３ａ  色分布特徴量抽出部
３０、３０ａ  色分布特徴量変換部
３１、３１ａ  代表色決定部
３２、３２ａ  画像生成部
３３、３３ａ  画像サイズ変換部
３４、３４ａ  周波数分布特徴量抽出部
４０  類似度算出部
４１  色分布類似度算出部
４２  周波数分布類似度算出部
４３  切替部
５０  問合せ画像特徴量入力部
６０  検索対象画像特徴量記憶部
６１  色分布特徴量記憶部
６２  周波数分布特徴量記憶部
９０、９０ａ、９０ｂ、９０ｃ、９０ｄ、９０ｅ、９０ｆ  記録媒体
【図１】
0003658761.tif 000004
【図２】
0003658761.tif 000005
【図３】
0003658761.tif 000006
【図４】
0003658761.tif 000007
【図５】
0003658761.tif 000008
【図６】
0003658761.tif 000009
【図７】
0003658761.tif 000010
【図８】
0003658761.tif 000011
【図９】
0003658761.tif 000012
【図１０】
0003658761.tif 000013
【図１１】
0003658761.tif 000014
【図１２】
0003658761.tif 000015