(57)【要約】      （修正有）【課題】画像検索の際に、画像特徴毎の類似度のそれぞれに対する重みを適切に設定し、精度の高い画像検索を行うための技術を提供すること。【解決手段】  クエリ画像と登録画像とで特徴量毎の差分値を求め、求めた差分値のそれぞれに対する重み値を、クエリ画像の各特徴量の統計量に基づいて求め（Ｓ５０７）、求めた特徴量毎の差分値を求めた重み値でもって重み付けした結果に基づいて、登録画像とクエリ画像との類似度を求め（Ｓ５０８）、求めた類似度に基づいて、クエリ画像と類似している画像を一覧表示する（Ｓ５１０）。【選択図】図４
2006119723.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしてのメディアを入力する入力手段と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記２以上の特徴量は、画像の輝度特徴量と、エッジ特徴量であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重み計算手段における統計量とは、特徴量の分散であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重み決定手段は、前記特徴量取得手段が求めた特徴量の分散を、分散の値が所定の閾値より大きければ、最大の重みにし、小さければ、分散が小さくなるほど小さい重みとなるように決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記重み決定手段は、
前記特徴量取得手段が求めた特徴量の分散をＶａｒ，当該分散に対する所定の閾値をＶａｒ＿ｔｈ、前記特徴量の類似度に対する重み値をＷ、当該重み値について予め定めた最大値をＷ＿ｍａｘとすると、
前記重み値計算手段は、
Ｖａｒ≦Ｖａｒ＿ｔｈの場合には
Ｗｇ＝Ｗ＿ｍａｘ×（１−Ｖａｒ１／Ｖａｒ＿ｔｈ）
を計算し、
Ｖａｒ１＞Ｖａｒ＿ｔｈの場合には
Ｗ＝Ｗ＿ｍａｘ
を計算することで、前記特徴量の類似度に対する重み値を求める
ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記重み決定手段は、前記特徴量抽出手段によって抽出された特徴量の分散を算出し、分散の値が所定の閾値より大きければ、最大の重みにし、小さければ、重みを０となるように、決定することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶手段に記憶されている集計情報、に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項９】
前記特徴量の統計情報とは分散であり、前記集計情報とは、所定の閾値より小さい分散をもつ特徴量の量であり、
前記重み計算手段は、前記特徴量取得手段によって取得された特徴量の分散を算出し、分散の値と前記所定の閾値より小さい分散をもつ特徴量の量に応じて重みを決定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記重み計算手段は、前記特徴量取得手段によって取得された特徴量の分散を算出し、分散の値が所定の閾値より大きければ、最大の重みにし、分散の値が所定の閾値より小さければ、前記所定の閾値より小さい分散をもつ特徴量の量が小さければ重みを０とし、前記所定の閾値より小さい分散をもつ特徴量の量が大きければ、分散が小さくなるほど小さい重みとなるように、決定する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が子おナウ画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしてのメディアを入力する入力工程と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算工程と、
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１２】
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶工程と、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶工程で記憶されている集計情報、に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持工程で保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータに請求項１１乃至１３の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の検索に係る技術に関するものである。
【背景技術】
【０００２】
従来より、画像を解析し、色や輝度、形状、テクスチャなどに関する特徴量を抽出し、これをインデックスとして画像と関連付けて記憶しておき、入力された画像（クエリ画像）の特徴量と記憶された複数の画像の特徴量との類似度を求め、記憶された複数の画像の中からクエリ画像に近い画像（類似度が100％に近いものが最もクエリ画像に近い）を得るという画像検索方法が提案されている。
【０００３】
画像検索において複数の特徴量を用いる際は、類似度の計算において、各特徴量ごとの類似度に対して重みをつけて計算する。例えば、特徴量が２種類（特徴量１，特徴量２）で、それぞれの特徴量についての類似度がそれぞれＲ１，Ｒ２となるとき、それぞれの類似度に対する重みをＷ１，Ｗ２とすると、最終的な画像間の類似度Ｒは、次式のようになる。
【０００４】
Ｒ＝（Ｗ１×Ｒ１＋Ｗ２×Ｒ２）／（Ｗ１＋Ｗ２）            （１）
重みＷ１＝１、Ｗ２＝１とすると、２種類の特徴量を等価に扱うことになる。また、重みＷ１＝３，Ｗ２＝１とすれば、特徴量２よりも特徴量１を重視してクエリ画像と類似する画像を検索することになる。
【０００５】
高精度な画像検索を行うためには、この重みを適正に設定することが必要である。特許文献１では、重み付けをユーザが指定する方法が開示されている。この方法は、次のような場合に有効である。例えば、クエリ画像をユーザが記憶を頼りに手描きによって与えるとき、ユーザはよく覚えている特徴は正確に描くことができ、曖昧な特徴は正確に描くことが出来ない。このように、クエリ画像と所望の画像で、特定の特徴が他の特徴よりも類似しており、かつ、どの特徴がより類似しているかをユーザが把握できている場合である。
【特許文献１】特開２００１−１４３０８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
所望の画像に近い画像をクエリ画像として与えられるような場合であっても、画像の内容によって重視すべき特徴が変化する場合がある。例えば、一旦、オリジナル画像を印刷したものを、スキャナで読み取り、再び、スキャン画像としたものをクエリとするような場合である。このときはもちろん、スキャン画像とオリジナル画像は非常に似ているものになる。
【０００７】
例えば、画像が図１１（ａ）や図１１（ｂ）に示すような単純な線分で描かれた線画である場合は、形状に関する特徴が最も区別がつけやすく、逆に色や輝度の特徴はあまりないために、区別がつけにくい。図１１は線画の例を示す図である。
【０００８】
図１１（ａ）や図１１（ｂ）に示すような単純な線分で構成されたような画像であれば人間の目からも重視すべき特徴は判定しやすいが、同じ線画でも、より複雑な図形で構成され、それぞれの図形に網掛けなどが施されて、陰影がついているような場合は、輝度の特徴なども重要になってくる。
【０００９】
つまり、画像がより複雑な内容になればなるほど、どの特徴をどのくらい重視すべきかについて、人間の目で判断することは難しくなる。
【００１０】
このような場合は、特許文献１の方法では、適正な重みを指定することが難しく、従って、高精度な検索を行うことが困難であるという問題点があった。
【００１１】
また、大量にクエリを与えて、複数の検索を一度に行うような場合においても、特許文献１の方法を適用すると、その都度、重みを指定しなければならなくなるため、ユーザへの負担を強いるという問題点もあった。
【００１２】
本発明は以上の問題に鑑みてなされたものであり、画像検索の際に、画像特徴毎の類似度のそれぞれに対する重みを適切に設定し、精度の高い画像検索を行うための技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１４】
即ち、画像処理装置であって、
メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしてのメディアを入力する入力手段と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力手段と
を備えることを特徴とする。
【００１５】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１６】
即ち、画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする。
【００１７】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１８】
即ち、画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶手段に記憶されている集計情報、に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする。
【００１９】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００２０】
即ち、メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が子おナウ画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしてのメディアを入力する入力工程と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算工程と、
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力工程と
を備えることを特徴とする。
【００２１】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００２２】
即ち、画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする。
【００２３】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００２４】
即ち、画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶工程と、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶工程で記憶されている集計情報、に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持工程で保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする。
【発明の効果】
【００２５】
本発明の構成により、画像検索の際に、画像特徴毎の類似度のそれぞれに対する重みを自動的に、かつ、適切に設定し、精度の高い画像検索を行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００２７】
［第１の実施形態］
図１は、本実施形態に係る画像処理装置として機能するコンピュータの基本構成、及び周辺機器を示すブロック図である。なお、このコンピュータとしては例えば一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等が適用可能である。
【００２８】
同図において２０１はＣＰＵで、本コンピュータ全体の制御を行うと共に、本コンピュータが行う後述の各処理を実行する。
【００２９】
２０２はＲＯＭで、本コンピュータの設定データやブートプログラム等を格納する。
【００３０】
２０３はＲＡＭで、外部記憶装置２０６からロードされたプログラムやデータを一時的に記憶するためのエリア、ＮＩＣ（ネットワークインターフェース）２０８を介して受信したデータを一時的に記憶するためのエリア、Ｉ／Ｆ（インターフェース）２０９を介してスキャナ２１０やデジタルカメラ２１１から取り込んだ画像データを一時的に記憶するためのエリアを備えると共に、ＣＰＵ２０１が各種の処理を実行する際に使用するワークエリアを備える。
【００３１】
２０４、２０５はそれぞれキーボード、マウスで、周知の通りユーザが操作することで各種の指示をＣＰＵ２０１に対して入力することができる。
【００３２】
２０６は外部記憶装置で、ハードディスクドライブ装置などの大容量情報記憶装置として機能するものであり、ここにＯＳ（オペレーティングシステム）や、本コンピュータが行う後述の各処理をＣＰＵ２０１に実行させるためのプログラムやデータなどが保存されており、これらの一部もしくは全部はＣＰＵ２０１の制御によりＲＡＭ２０３にロードされ、これを用いてＣＰＵ２０１が処理を実行することで、本コンピュータは、本コンピュータが行うものとして後述する各処理を実行することができる。
【００３３】
２０７は表示装置で、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ２０１による実行結果を画像や文字などでもって表示することができる。
【００３４】
２０８はＮＩＣ（ネットワークインターフェース）で、ＬＡＮやインターネットなどのネットワークを介してデータの送受信を行う際のインターフェースとして機能するものである。なお、ネットワークが無線、有線の何れであろうと、このＮＩＣ２０８はそれに対応したものを用いればよい。
【００３５】
２０９はIEEE1394、USBなどのＩ／Ｆで、スキャナ２１０やデジタルカメラ２１１を本コンピュータに接続するためのものであり、このＩ／Ｆ２０９を介してスキャナ２１０が紙などの記録媒体上から読み取った画像のデータや、デジタルカメラ２１１が撮像した画像のデータを本コンピュータに入力することができる。
【００３６】
２１２は上述の各部を繋ぐバスである。
【００３７】
２１０は一般のスキャナ、２１１は一般のデジタルカメラである。
【００３８】
なお、上記の構成において、外部記憶装置２０６、スキャナ２１０、デジタルカメラ２１１については本コンピュータの構成に含めることに限定するものではなく、ネットワーク上に設置し、これらとＮＩＣ２０８を介してデータ通信を行うようにしても良い。
【００３９】
図２は、上記コンピュータの機能構成を示すブロック図である。
【００４０】
同図において３０１は画像入力部であり、スキャナ２１０、デジタルカメラ２１１などの機器で取得した画像を、インターフェース２０９を介して、或いは、インターネット上に存在する機器が保持する画像を、ＮＩＣ２０８を介して入力するものである。
【００４１】
３０２は入力された画像に対して前処理を行う前処理部である。３０３は前処理部３０２で前処理がなされた画像から特徴量を抽出する処理を行う特徴抽出部である。３０４は、前処理部３０２で前処理された画像と、特徴量抽出部３０３で抽出された特徴量とを関連付けて記憶・管理する画像データベース（ＤＢ）である。
【００４２】
３０５は、クエリとしての画像と、画像ＤＢ３０４に保持されている画像との類似度（画像間距離）を計算するのに用いる重み値を計算する処理を行う重み決定部である。３０６は、クエリとしての画像と、画像ＤＢ３０４に保持されている画像との類似度（画像間距離）を、重み決定部３０５から得た重み値を用いて求める画像間距離算出部である。３０７はユーザに対して画像検索の結果を行う表示部である。
【００４３】
＜登録処理＞
まず、本コンピュータに画像を登録する処理について、同処理のフローチャートを示す図３を用いて説明する。なお、同図のフローチャートに従った処理をＣＰＵ２０１に実行させるためのプログラムは外部記憶装置２０６に保存されており、これをＣＰＵ２０１の制御によりＲＡＭ２０３にロードし、これをＣＰＵ２０１が実行することで、本コンピュータは以下説明する各処理を実行することになる。
【００４４】
先ず、ＣＰＵ２０１は、Ｉ／Ｆ２０９を介してスキャナ２１０やデジタルカメラ２１１からの画像の転送を検知、もしくはＮＩＣ２０８を介した画像のダウンロードを検知すると、検知後、本コンピュータに入力される画像のデータを順次ＲＡＭ２０３に入力する（ステップＳ４０１）。
【００４５】
次に、ＣＰＵ２０１は、ＲＡＭ２０３に入力した画像（入力画像）がカラー画像であるのかグレースケール画像であるのかをチェックする（ステップＳ４０２）。そして入力画像がカラー画像である場合には処理をステップＳ４０３に進め、このカラー画像をグレースケール画像に変換する（ステップＳ４０３）。これは、本実施形態では輝度を元にした特徴量を採用しているためであり、他の特徴量を採用する場合はこれに応じた前処理を画像に施すことになる。
【００４６】
また、ステップＳ４０２におけるチェック処理（入力画像がカラー画像であるのかグレースケール画像であるのかのチェック処理）は、例えば入力画像がデジタルカメラ２１１から取得した場合などでは、画像のデータフォーマットを解析し、そのヘッダ情報を参照することで判定できる。また、スキャナ２１０から画像を取得した場合などでは、ユーザによるスキャン条件から判定できる。
【００４７】
また、ステップＳ４０３におけるグレースケール画像への変換は、カラー画像データ中の各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）の値からグレースケールの信号（Ｙ）へ次式でもって変換することができる。
【００４８】
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ      （２）
また、入力画像がグレースケール画像であった場合には処理をステップＳ４０１からステップＳ４０２を介してステップＳ４０５に進める。
【００４９】
次にＣＰＵ２０１は、入力画像（グレースケール画像）から、輝度特徴量を求める処理を行う（ステップＳ４０５）。本ステップにおける処理の詳細については後述する。
【００５０】
次にＣＰＵ２０１は、入力画像（グレースケール画像）から、エッジ特徴量を求める処理を行う（ステップＳ４０６）。本ステップにおける処理の詳細については後述する。
【００５１】
そしてＣＰＵ２０１は、ステップＳ４０５，Ｓ４０６でそれぞれ求めた輝度特徴量、エッジ特徴量を含むインデックスを入力画像（グレースケール画像）に関連付けて外部記憶装置２０６に保存する（ステップＳ４０７）。
【００５２】
これにより、１つの画像が外部記憶装置２０６に登録されたことになる。そして、このような処理を本コンピュータに入力された画像毎に行う。なお、外部記憶装置２０６に画像、インデックスを保存する際にはこれらを適宜圧縮するようにしても良い。その場合には以下の説明で、この画像、インデックスを読み出した後には復号処理を行う必要がある。
【００５３】
図７は各画像についてのインデックスの構成例を示す図である。同図に示す如く、インデックスには各画像に固有のＩＤ（識別子）、各画像の輝度特徴量、各画像のエッジ特徴量、そして各画像の外部記憶装置２０６内における保存位置（パス）が含まれている。
【００５４】
＜輝度特徴量抽出処理＞
次に、上記ステップＳ４０５における輝度特徴量の抽出処理の詳細について、図６のフローチャートを用いて説明する。図６は、ステップＳ４０５における輝度特徴量の抽出処理の詳細を示すフローチャートである。
【００５５】
先ず、入力画像を複数の矩形（ブロック）に分割する（ステップＳ７０１）。以下の説明では図５に示す如く、画像を３×３に分割するが、以下の説明の本質はこれに限定するものではない。図５は、画像の分割例を示す図である。
【００５６】
次に、ステップＳ７０２，Ｓ７０３における処理を全ての矩形（図５では９個の矩形）について行う。
【００５７】
先ず、矩形内の輝度値の平均値を求める（ステップＳ７０２）。即ち、矩形内の全ての画素の輝度値の平均値を求める。
【００５８】
次に、求めた輝度値に応じたラベルを特定する（ステップＳ７０３）。これは、例えば、平均輝度が８ビットで表現される（すなわち、輝度値が０から２５５で表現されている）場合には、以下のテーブルを用いて、対応するラベル値を特定する。
【００５９】
輝度値   0〜31  32〜63  64〜95  96〜127  128〜159  160〜191  192〜223  224〜255
ラベル値     0       1       2        3         4         5         6         7
なお、このテーブルは０〜２５５を８段階に分割し、それぞれの段階にラベルを付けているのであるが、段階数はこれに限定するものではない。
【００６０】
そして、分割した全ての矩形についてステップＳ７０２，Ｓ７０３における処理を行ったのか否かを判断し（ステップＳ７０４）、行っていない場合には処理をステップＳ７０２に戻し、以降の処理を行う。
【００６１】
一方、全ての矩形についてステップＳ７０２、Ｓ７０３における処理を行ったのであれば、同図に示したフローチャートに従った処理を終了し、図３のステップＳ４０６に処理をリターンする。
【００６２】
以上の処理により、それぞれの矩形について、平均輝度値に応じたラベル値を特定することができる。そして、各矩形について求めたラベル値の集合を輝度特徴量として、ＲＡＭ２０３に一時的に記憶する。
【００６３】
なお、ステップＳ７０２、Ｓ７０３における処理を行う為に参照する矩形の参照順は、例えば、左上の矩形から始めて、各行の左から右へ、そして、上の行から下の行へ向けて参照する。
【００６４】
＜エッジ特徴量抽出処理＞
次に、上記ステップＳ４０６におけるエッジ特徴量の抽出処理の詳細について、図８のフローチャートを用いて説明する。図８は、ステップＳ４０６におけるエッジ特徴量の抽出処理の詳細を示すフローチャートである。
【００６５】
先ず、入力画像を複数の矩形（ブロック）に分割する（ステップＳ９０１）。以下の説明では図５に示す如く、画像を３×３に分割するとするが、以下の説明の本質はこれに限定するものではない。
【００６６】
次に、ステップＳ９０２，Ｓ９０３における処理を全ての矩形（図５では９個の矩形）について行う。
【００６７】
先ず、矩形内のエッジを抽出する（ステップＳ９０２）。エッジの抽出方法としては、様々なものが考えられるが、例えば矩形内の各画素に周囲の画素を含めた範囲に対して、微分フィルタを用いて演算を行う方法が挙げられる。フィルタとしては、Sobelフィルタ、Robinsonフィルタ、Kirishフィルタなどがある。ここでは、Prewittフィルタを用いて演算する例を示す。
【００６８】
図９は、Prewittフィルタの構成例を示す図である。まず、注目する画素とその周りの８画素それぞれに対して、Prewittフィルタの値を係数として乗じ、総和を求めることによって、方向成分ごとのエッジ強度を求める。この中で最もエッジ強度が大きい方向成分を、注目画素のエッジ方向及びエッジ強度とする。ただし、最大のエッジ強度が所定の閾値よりも小さい場合は、エッジなしと判定する。
【００６９】
なお、エッジの抽出方法については上述の通り様々なものが考えられ、更にこれらの方法については周知のものであるので、これ以上の説明は省略する。
【００７０】
いずれにせよ、ステップＳ９０２における処理によって、矩形を構成する各画素のうち、エッジ部分を構成する画素を特定することができる。よって次にステップＳ９０３では、矩形内の全ての画素のうち、エッジ部分を構成する画素が占める割合を求める（ステップＳ９０３）。例えば矩形内の全ての画素数をＭ、エッジ部分を構成する画素数をＮとすると、ステップＳ９０３ではＮ／Ｍを求める。
【００７１】
そして、分割した全ての矩形についてステップＳ９０２，Ｓ９０３における処理を行ったのか否かを判断し（ステップＳ９０４）、行っていない場合には処理をステップＳ９０２に戻し、以降の処理を行う。
【００７２】
一方、全ての矩形についてステップＳ９０２、Ｓ９０３における処理を行ったのであれば、同図に示したフローチャートに従った処理を終了し、図３のステップＳ４０７に処理をリターンする。
【００７３】
以上の処理により、それぞれの矩形について、矩形を構成する画素のうちエッジ部分を構成する画素が占める割合を求めることができる。そして、各矩形について求めた割合の集合をエッジ特徴量として、ＲＡＭ２０３に一時的に記憶する。
【００７４】
なお、ステップＳ９０２、Ｓ９０３における処理を行う為に参照する矩形の参照順は、例えば、左上の矩形から始めて、各行の左から右へ、そして、上の行から下の行へ向けて参照する。
【００７５】
＜検索処理＞
次に、上述のようにして外部記憶装置２０６に登録された画像群のうち、クエリとして入力された画像（クエリ画像）に類似する画像の検索処理について、同処理のフローチャートを示す図４を用いて説明する。なお、同図のフローチャートに従った処理をＣＰＵ２０１に実行させるためのプログラムは外部記憶装置２０６に保存されており、これをＣＰＵ２０１の制御によりＲＡＭ２０３にロードし、これをＣＰＵ２０１が実行することで、本コンピュータは以下説明する各処理を実行することになる。また、同図のフローチャートにおいて、図３に示した各ステップと同じものについては同じステップ番号を付けている。
【００７６】
先ず、ＣＰＵ２０１は、Ｉ／Ｆ２０９を介してスキャナ２１０やデジタルカメラ２１１からのクエリ画像の転送、もしくはＮＩＣ２０８を介したクエリ画像のダウンロードを検知すると、検知後、本コンピュータに入力されるクエリ画像のデータをＲＡＭ２０３に入力する（ステップＳ４０１）。なお、クエリ画像のＲＡＭ２０３への入力方法はこれに限定するものではなく、その他にも例えば、外部記憶装置２０６が保持する画像群のうち一部もしくは全部をＲＡＭ２０３にロードして表示装置２０７の表示画面上にサムネイルの形態でもって一覧表示させ、そのうちの１つをユーザにキーボード２０４やマウス２０５などでもって選択させることで、選択した１つを以降用いるクエリ画像としても良い。
【００７７】
次に、ＣＰＵ２０１は、ＲＡＭ２０３に入力したクエリ画像がカラー画像であるのかグレースケール画像であるのかをチェックする（ステップＳ４０２）。チェック方法については上述の通りである。そしてクエリ画像がカラー画像である場合には処理をステップＳ４０３に進め、このクエリ画像をグレースケール画像に変換する（ステップＳ４０３）。変換方法については上述の通りである。
【００７８】
また、クエリ画像がグレースケール画像であった場合には処理をステップＳ４０１からステップＳ４０２を介してステップＳ４０５に進める。
【００７９】
次にＣＰＵ２０１は、クエリ画像（グレースケール画像）から、輝度特徴量を求める処理を行う（ステップＳ４０５）。本ステップにおける処理の詳細については上述の通り、図６のフローチャートに示したとおりである。
【００８０】
次にＣＰＵ２０１は、クエリ画像（グレースケール画像）から、エッジ特徴量を求める処理を行う（ステップＳ４０６）。本ステップにおける処理の詳細については上述の通り、図８のフローチャートに示したとおりである。
【００８１】
次に、ＣＰＵ２０１は、ステップＳ４０５で求めたクエリ画像の輝度特徴量に対する重み値Ｗｇ、ステップＳ４０６で求めたクエリ画像のエッジ特徴量に対する重み値Ｗｅを計算する（ステップＳ５０７）。本ステップにおける処理の詳細については後述する。
【００８２】
次にＣＰＵ２０１は、外部記憶装置２０６に上述のようにして登録された画像群のそれぞれと、クエリ画像との類似度を求める処理を行う（ステップＳ５０８）。より具体的には先ず、外部記憶装置２０６に登録されている画像（登録画像）に関連付けられているインデックス中の輝度特徴量、エッジ特徴量を読み出し、クエリ画像の輝度特徴量、エッジ特徴量との差分値を求める。
【００８３】
例えばクエリ画像の輝度特徴量が｛ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８，ａ９｝（本実施形態ではクエリ画像を９個の矩形に分割し、それぞれの矩形についてラベルを求めたので、輝度特徴量内の要素数は９である）、登録画像の輝度特徴量が｛ｂ１，ｂ２，ｂ３，ｂ４，ｂ５，ｂ６，ｂ７，ｂ８，ｂ９｝（本実施形態では登録画像を９個の矩形に分割し、それぞれの矩形についてラベルを求めたので、輝度特徴量内の要素数は９である）であるとき、クエリ画像の輝度特徴量と登録画像の輝度特徴量との差分（距離）Ｄ１は以下のようにして求めることができる。
【００８４】
９
Ｄ１＝Σ｜ａｎ−ｂｎ｜      （３）
ｎ＝１
一方、クエリ画像のエッジ特徴量と登録画像のエッジ特徴量との差分（距離）を求める方法についても同様で、クエリ画像のエッジ特徴量が｛ｃ１，ｃ２，ｃ３，ｃ４，ｃ５，ｃ６，ｃ７，ｃ８，ｃ９｝（本実施形態ではクエリ画像を９個の矩形に分割し、それぞれの矩形について割合を求めたので、エッジ特徴量内の要素数は９である）、登録画像のエッジ特徴量が｛ｄ１，ｄ２，ｄ３，ｄ４，ｄ５，ｄ６，ｄ７，ｄ８，ｄ９｝（本実施形態では登録画像を９個の矩形に分割し、それぞれの矩形について割合を求めたので、エッジ特徴量内の要素数は９である）であるとき、クエリ画像のエッジ特徴量と登録画像のエッジ特徴量との差分（距離）Ｄ２は以下のようにして求めることができる。
【００８５】
9
Ｄ２＝Σ｜ｃｎ−ｄｎ｜      （４）
n=1
即ち、輝度特徴量、エッジ特徴量のいずれについても、距離が小さいほど画像間の類似度は高いということになる。そこで、距離が０である場合には類似度１００％、距離が十分に大きい場合には類似度０％となるように、予め人間の感覚にあうように距離と類似度の相関を求めておき、距離から類似度へ変換する。例えば距離Ｄが取りうる最小値をＭ１（Ｄ＝Ｄ１の場合には０）、最大値をＭ２（Ｄ＝Ｄ１の場合には６３）とすると、Ｄ＝Ｍ１の場合には類似度Ｒが１００％、Ｄ＝Ｍ２の場合には類似度Ｒが０％であるので、距離Ｄと類似度Ｒとの関係式の一例を挙げると、以下のようになる。
【００８６】
Ｒ＝１００×（Ｄ−Ｍ２）／（Ｍ１−Ｍ２）
よってＣＰＵ２０１は、求めた距離Ｄに対応する類似度Ｒを、この式に従って求めることになる。これにより、クエリ画像の輝度特徴量と登録画像の輝度特徴量との類似度Ｒｇ、クエリ画像のエッジ特徴量と登録画像のエッジ特徴量との類似度Ｒｅを求めることができる。
【００８７】
次に、それぞれの特徴量（輝度特徴量、エッジ特徴量）について求めた類似度Ｒｇ、Ｒｅと、ステップＳ５０７でそれぞれの特徴量（輝度特徴量、エッジ特徴量）について求めた重み値Ｗｇ、Ｗｅとを用いて、それぞれの特徴量を総合的に見た場合の、クエリ画像と登録画像との類似度Ｒを以下の式に従って求める（ステップＳ５０８）。
【００８８】
Ｒ＝（Ｗｇ×Ｒｇ＋Ｗｅ×Ｒｅ）／（Ｗｇ＋Ｗｅ）            （５）
そして、このようにして求めた類似度Ｒと、登録画像のＩＤ（登録画像に関連付けられたインデックスに含まれているＩＤ）とをセットにしてＲＡＭ２０３に一時的に記憶する。
【００８９】
このように、外部記憶装置２０６に登録されているそれぞれの登録画像と、クエリ画像との類似度を求め、求めたそれぞれの類似度を、クエリ画像と比較した登録画像のＩＤと共にセットにしてＲＡＭ２０３に一時的に記憶する処理を行う。
【００９０】
そしてＣＰＵ２０１は、外部記憶装置２０６に登録されている全ての登録画像について、クエリ画像との類似度を求め、これと共に登録画像のＩＤをＲＡＭ２０３に一時的に記憶する処理を完了すると、次に、ＲＡＭ２０３に一時的に記憶した各セットを、類似度が高いもの順に参照し、参照したセット中のＩＤで特定される画像（より厳密には、参照したセット中のＩＤに対応するパスに保存されている画像）を外部記憶装置２０６からＲＡＭ２０３にロードし（ステップＳ５０９）、これをサムネイルの形式でもって類似度と共に表示装置２０７の表示画面上に列の左から右へ、上の列から下の列の順に表示する（ステップＳ５１０）。即ち、表示装置２０７の表示画面上には、列の左から右へ、上の列から下の列の順に、クエリ画像と類似度の高いもの順に登録画像のサムネイルの画像が、類似度と共に一覧表示されることになる。これにより、ユーザは表示された画像群のうち、クエリ画像に近いものを確認することができる。
【００９１】
なお、表示形態についてはこれに限定するものではなく、クエリ画像とある程度の類似度を有する登録画像のみを表示するようにしても良い。その場合にはＲＡＭ２０３に一時的に記憶されている複数セットを参照する際に、ある程度以上の類似度のセットのみについてそれに含まれるＩＤで特定される画像のロード処理を行うようにする。
【００９２】
また、表示装置２０７の表示画面上に表示するサムネイルの画像の数を限定するようにしても良い。
【００９３】
＜重み決定処理＞
次に、上記ステップＳ５０７における重み値の計算処理について説明する。ここで、外部記憶装置２０６には充分な数の登録画像が登録されているものとする。
【００９４】
ここで計算する重み値の性質は、特徴量の各要素の値にばらつきが大きいほど、類似しているものとそうでないもので、距離の差がつきやすく、従って区別がつきやすく、逆に、ばらつきが小さいものほど、類似しているものとそうでないものでも、距離の差がつきにくく、従って区別がつきにくい、ということに基づいている。ここでいう特徴量とは輝度特徴量、エッジ特徴量の両方を含む。
【００９５】
特徴量のばらつきの度合いは、その各要素の値の分散を求めることでわかる。例えばクエリ画像の輝度特徴量は上述の通り｛ａ１，ａ２，ａ３，ａ４，ａ５，ａ６，ａ７，ａ８，ａ９｝であるので、クエリ画像の輝度特徴量の分散は以下のようにして求めることができる。
【００９６】
i=n-1         i=n-1
１／（ｎ−１）×Σ（ａｉ  −  Σａｉ／ｎ）２        （５）
i=0           i=0
これは他の特徴量についても同様である。ここで、「特徴量の分散が小さい」とは、輝度特徴量を例にとり説明すると、ラベル値のばらつきが小さいということであり、例えば輝度特徴量が｛１，１，１，１，１，２，２，２，２｝なる構成を有する場合、「この輝度特徴量の分散は小さい」となる（このときの分散は約０．２８）。
【００９７】
逆に「分散が大きい」とは、輝度特徴量を例にとり説明すると、ラベル値のばらつきが大きいということであり、例えば輝度特徴量が｛０，１，２，３，４，５，６，７，１｝なる構成を有する場合、「この輝度特徴量の分散は大きい」となる（このときの分散は約５．９４）。
【００９８】
一般に、クエリ画像の特徴量の分散が小さく、登録画像の特徴量の分散が大きいとき、或いは、その逆のときは、クエリ画像の特徴量と登録画像の特徴量との差（距離）は常に大きくなる。例えばクエリ画像の輝度特徴量が｛１，１，１，１，１，２，２，２，２｝、登録画像の輝度特徴量が｛０，１，２，３，４，５，６，７，１｝である場合、その差分は２０となる。本実施形態の場合、それぞれの画像の輝度特徴量の差分値を求めた場合に、この差分値が取りうる最大値は６３であるので、この「２０」という差分値は決して小さいものとはいえない。
【００９９】
一方、クエリ画像、登録画像共に特徴量の分散が小さい場合には、クエリ画像の特徴量と登録画像の特徴量との差（距離）は常に小さくなる。この場合、特徴量の各要素のうち１つが少々変化したところで、特徴量の分散にはさほど影響はない。例えば、クエリ画像の輝度特徴量が｛１，１，１，１，１，２，２，２，２｝、登録画像の輝度特徴量が｛２，１，１，１，１，２，２，２，２｝である場合、それぞれの特徴量の分散は同じであり、且つそれぞれの特徴量の差（距離）は１と小さい。そしてもちろん、どの要素が１大きくなっている場合でも、距離はやはり１になる。
【０１００】
また、特徴量の要素の順番がどのように入れ替わっても、分散の値はもちろん変わらない。例えば、クエリ画像の輝度特徴量が｛１，１，１，１，１，２，２，２，２｝、登録画像の輝度特徴量が｛１，１，１，１，２，１，２，２，２｝である場合、それぞれの特徴量の分散は同じであり、且つそれぞれの特徴量の差（距離）は２と小さい。そしてもちろん、どの要素の順番が入れ替わっても、要素間の最大の差分が１で、異なる要素は４つのため、距離は０から８となり、小さくなる。
【０１０１】
このように特徴量の分散の値が小さいもの同士を比較した場合、距離は常に小さくなり、特徴量の分散の小さい画像はどれも類似していると判定される。
【０１０２】
しかしながら、例えば、図１１（ａ）、（ｂ）に例示したような線画の画像について、矩形分割し、それぞれの矩形についてラベルを特定する場合に、１つの矩形についての輝度値の平均値は０に近い値になってしまうため（線の部分を構成する画素の値を２５５，それ以外の部分を構成する画素の値を０とした場合）、それぞれの矩形について求めた平均輝度値はどれも０に近い値となり、このような線画の画像について得られる輝度特徴量の各要素はどれも同じような値となる。当然、線画の画像の輝度特徴量の分散は小さいものとなる。
【０１０３】
例えばクエリ画像として図１１（ａ）に示した線画、登録画像として図１１（ｂ）に示した線画を用いた場合、それぞれの画像の輝度特徴量は、その要素を並び替えたり、一部の要素のラベル値を少し変化させたりした程度の違いしかない。従って、この場合、クエリ画像の輝度特徴量と登録画像の輝度特徴量との距離は小さいものとなるので、上述の説明により、このようなクエリ画像と登録画像とは見た目にはかなり異なるものの、互いの類似度は高い値となってしまう。
【０１０４】
このように、特徴量の分散が低いもの同士を比較するときは、類似しているものとそうでないものとの区別が付きにくくなるので、その特徴量による検索はあまり有効でないといえる。
【０１０５】
一方、クエリ画像の特徴量、登録画像の特徴量の分散が共に大きい場合は、次のようになる。
【０１０６】
特徴量の要素の一つが少し変化したものは、平均から遠い要素が大きくなるほど分散の値が大きく変わることになるが、いずれにしても、特徴量の距離は小さくなる。これは距離を各要素の差分から求めているので、当然の結果である。例えば、特徴量｛０，１，２，３，４，５，６，７，１｝と特徴量｛０，１，２，３，４，５，６，７，０｝とではその距離は１になる。
【０１０７】
しかし、特徴量の順番が入れ替わったときは、分散の値は変わらないものの、その距離は、入れ替え方により幅がある。例えば特徴量｛０，１，２，３，４，５，６，７，１｝と、この特徴量の要素の並べ変えたもの｛７，５，４，３，２，１，１，０，６｝との距離は３６（最大値）となる。これは要素の値がばらつくために、要素間の差分も大きくなるからである。もちろん、｛０，１，２，３，４，５，６，７，１｝と｛７，５，４，３，２，１，１，０，６｝のように大きく要素が入れ替わっているときは、当然、画像そのものも大きく違っているはずである。また、前述したように一部の要素が少し違っているものは、画像としても類似しているはずである。
【０１０８】
このように特徴量の分散の値が大きいもの同士を比較した場合は、類似している場合とそうでない場合に、距離が大きく異なるので、その特徴量によって、似ているものとそうでないものの区別が付き易くなると言え、その特徴量による検索は非常に有効であるといえる。
【０１０９】
図１２は、クエリ画像の特徴量の分散と、クエリ画像と所定値以上の類似度（類似していると見なせる類似度）を有する登録画像（候補）の数との関係を示すグラフである。同図に示す如く、クエリ画像の特徴量の分散が小さいほど、このようなクエリ画像と類似していると見なせる登録画像の数も多くなり、逆にクエリ画像の特徴量の分散が大きいほど、このようなクエリ画像と類似していると見なせる登録画像の数は少なくなる。また同図に示す如く、クエリ画像と類似していると見なせる登録画像の数は、分散が所定値（同図では４００あたり）を越えると極端に少なくなる。
【０１１０】
ここで、クエリ画像と類似していると見なせる登録画像の数が多いということは、クエリ画像と類似していると見なせる登録画像とその他の登録画像との区別が付けにくいということであり、逆に、クエリ画像と類似していると見なせる登録画像の数が少ないということは、クエリ画像と類似していると見なせる登録画像とその他の登録画像との区別が付けやすいということである。
【０１１１】
よって、特徴量を用いて登録画像の検索（クエリ画像と類似している登録画像の検索）を行う場合、この特徴量は、クエリ画像の特徴量の分散値がこの所定値以上である場合、即ち、クエリ画像と類似していると見なせる登録画像とその他の登録画像との区別が付けやすい場合に有効であることがわかる。
【０１１２】
そこで、この所定値を予め求めておき、この所定値を閾値として、特徴量の分散がこの閾値よりも大きければ、この特徴量は検索に有効なものであるので、この特徴量に対する重み値を大きくし、逆に特徴量の分散がこの閾値よりも小さければ、この特徴量は検索に有効なものではないので、この特徴量に対する重み値を小さくする。
【０１１３】
以上のことを踏まえて、輝度特徴量に対する重み値、エッジ特徴量に対する重み値を計算する処理について説明する。
【０１１４】
図１０は、ステップＳ５０７における、重み値の計算処理の詳細を示す図である。
【０１１５】
先ず、クエリ画像の輝度特徴量の各要素の値を参照し、分散（Ｖａｒ１）を周知の計算方法により求める（ステップＳ１１０１）。次に、求めた分散Ｖａｒ１と、クエリ画像の輝度特徴量について予め統計的に求めた上記閾値（Ｖａｒ＿ｔｈ＿Ａ）との大小比較を行う（ステップＳ１１０２）。そしてＶａｒ１＞Ｖａｒ＿ｔｈ＿Ａの場合には処理をステップＳ１１０３に進め、輝度特徴量に対する重み値Ｗｇとして、予め定めた最大値Ｗ＿ｍａｘＡを設定する（ステップＳ１１０３）。
【０１１６】
一方、Ｖａｒ１≦Ｖａｒ＿ｔｈ＿Ａの場合には処理をステップＳ１１０４に進め、以下の式に従って輝度特徴量に対する重み値Ｗｇを設定する（ステップＳ１１０４）。
【０１１７】
Ｗｇ＝Ｗ＿ｍａｘＡ×（１−Ｖａｒ１／Ｖａｒ＿ｔｈ＿Ａ）        （６）
以上の処理により、輝度特徴量に対する重み値Ｗｇを設定することができる。次に、エッジ特徴量に対する重み値Ｗｅを設定する処理を行う。
【０１１８】
先ず、クエリ画像のエッジ特徴量の各要素の値を参照し、分散（Ｖａｒ２）を周知の計算方法により求める（ステップＳ１１０５）。次に、求めた分散Ｖａｒ２と、クエリ画像のエッジ特徴量について予め統計的に求めた上記閾値（Ｖａｒ＿ｔｈ＿Ｂ）との大小比較を行う（ステップＳ１１０６）。そしてＶａｒ２＞Ｖａｒ＿ｔｈ＿Ｂの場合には処理をステップＳ１１０７に進め、エッジ特徴量に対する重み値Ｗｅとして、予め定めた最大値Ｗ＿ｍａｘＢを設定する（ステップＳ１１０７）。
【０１１９】
一方、Ｖａｒ２≦Ｖａｒ＿ｔｈ＿Ｂの場合には処理をステップＳ１１０８に進め、以下の式に従ってエッジ特徴量に対する重み値Ｗｅを設定する。
【０１２０】
Ｗｅ＝Ｗ＿ｍａｘＢ×（１−Ｖａｒ２／Ｖａｒ＿ｔｈ＿Ｂ）        （７）
以上の処理により、輝度特徴量に対する重み値Ｗｅを設定することができる。そして処理を図４のステップＳ５０８にリターンする。
【０１２１】
このようにクエリ画像の特徴量の分散に応じた重み値を設定するので、クエリ画像と類似していると見なせる登録画像とその他の登録画像との区別が付けやすい特徴量については重きを置いて検索処理に用いるので、より高精度に検索を行うことができる。
【０１２２】
［第２の実施形態］
第１の実施形態では外部記憶装置２０６には充分な数の画像が登録されている、即ち、どのようなクエリ画像であっても、に類似しているであろう画像が登録されていることが前提であったが、登録している画像の数が少ない場合や、登録している画像の種類がある種のものに偏っている場合には以下のような問題が生ずる。
【０１２３】
例えば、輝度特徴量の分散が閾値Ｖａｒ＿ｔｈ＿Ａ未満である登録画像があまり外部記憶装置２０６には登録されておらず、更に、クエリ画像の輝度特徴量の分散が閾値Ｖａｒ＿ｔｈ＿Ａ未満となる場合について考える。
【０１２４】
このような場合は、輝度特徴量で検索するのは困難となる。なぜならば、第１の実施形態で説明したように、クエリ画像の特徴量の分散がＶａｒ＿ｔｈ＿Ａ未満である場合、このようなクエリ画像と類似していると見なせる登録画像とその他の登録画像との区別が付けにくい。そして更に、特徴量の分散がＶａｒ＿ｔｈ＿Ａ未満である登録画像の数も少ないことから更に、クエリ画像と高い類似度を有する登録画像が存在する確率も低くなっているの検索も困難となる。
【０１２５】
本実施形態では、このような場合には、輝度特徴量は検索に有用なものではないと考えられるので、輝度特徴量に対する重み値Ｗｇは０（もしくはそれに近い値）とする。これはエッジ特徴量についても同様である。
【０１２６】
本実施形態は、以下説明する点以外については第１の実施形態と同じである。従って、本実施形態に係る画像処理装置の基本構成、及び機能構成については第１の実施形態と同じである。
【０１２７】
＜登録処理＞
まず、本コンピュータに画像を登録する処理について、同処理のフローチャートを示す図１３を用いて説明する。なお、同図において図３と同じ部分については同じ番号を付けており、その説明は省略する。即ち、第１の実施形態と同様に、ステップＳ４０１〜ステップＳ４０７の処理を行うことで、入力画像（グレースケール画像）をインデックスと共に外部記憶装置２０６に登録するのであるが、その後、ステップＳ４０５で抽出した輝度特徴量の分散Ｖａｒ１を求める（ステップＳ１４０８）。そして求めた分散Ｖａｒ１と上記閾値Ｖａｒ＿ｔｈ＿Ａとの大小比較を行う（ステップＳ１４０９）。そして求めた分散Ｖａｒ１が閾値Ｖａｒ＿ｔｈ＿Ａ未満である場合には処理をステップＳ１４１０に進め、変数Ｎ＿Ａ（本処理の開始前には０に初期化されている）が保持する値を１つインクリメントする（ステップＳ１４１０）。即ち変数Ｎ＿Ａは、Ｖａｒ１＜Ｖａｒ＿ｔｈ＿Ａを満たす画像の数をカウントするための変数である。
【０１２８】
そして次に、ステップＳ４０６で抽出したエッジ特徴量の分散Ｖａｒ２を求め（ステップＳ１４１１）、求めた分散Ｖａｒ２と上記閾値Ｖａｒ＿ｔｈ＿Ｂとの大小比較を行う（ステップＳ１４１２）。そして求めた分散Ｖａｒ２が閾値Ｖａｒ＿ｔｈ＿Ｂ未満である場合には処理をステップＳ１４１３に進め、変数Ｎ＿Ｂ（本処理の開始前には０に初期化されている）が保持する値を１つインクリメントする（ステップＳ１４１３）。即ち変数Ｎ＿Ｂは、Ｖａｒ２＜Ｖａｒ＿ｔｈ＿Ｂを満たす画像の数をカウントするための変数である。そして変数Ｎ＿Ａ、Ｎ＿Ｂが保持する値を外部記憶装置２０６に保存する（ステップＳ１４１４）。
【０１２９】
これにより、１つの画像が外部記憶装置２０６に登録されたことになる。そして、このような処理を本コンピュータに入力された画像毎に行う。これにより、外部記憶装置２０６には、Ｖａｒ１＜Ｖａｒ＿ｔｈ＿Ａを満たす画像の数、Ｖａｒ２＜Ｖａｒ＿ｔｈ＿Ｂを満たす画像の数が保存されたことになる。
【０１３０】
なお、外部記憶装置２０６に画像、インデックスを保存する際にはこれらを適宜圧縮するようにしても良い。その場合には以下の説明で、この画像、インデックスを読み出した後には復号処理を行う必要がある。
【０１３１】
＜検索処理＞
次に、上述のようにして外部記憶装置２０６に登録された画像群のうち、クエリとして入力された画像（クエリ画像）に類似する画像の検索処理について、同処理のフローチャートを示す図１４を用いて説明する。なお、同図のフローチャートに従った処理をＣＰＵ２０１に実行させるためのプログラムは外部記憶装置２０６に保存されており、これをＣＰＵ２０１の制御によりＲＡＭ２０３にロードし、これをＣＰＵ２０１が実行することで、本コンピュータは以下説明する各処理を実行することになる。
【０１３２】
同図示したフローチャートは、ステップＳ１５０７における重み値の計算処理（図４ではステップＳ５０７）以外については、第１の実施形態と同じである。従って以下ではこのステップＳ１５０７における「重み値の計算処理」について説明する。
【０１３３】
図１５は、ステップＳ１５０７における重み値計算処理の詳細を示すフローチャートである。なお、同図において図１０と同じ部分については同じステップ番号を付けており、その説明は省略する。
【０１３４】
先ず、輝度特徴量に対する重み値Ｗｇを設定する処理を第１の実施形態と同様にして行うのであるが、ステップＳ１１０２における判断処理で、Ｖａｒ１≦Ｖａｒ＿ｔｈ＿Ａの場合には処理をステップＳ１６１１に進め、上記変数Ｎ＿Ａが保持する値と、予め統計的に求めておいた閾値Ｎ＿ｔｈ＿Ａとの大小比較を行う（ステップＳ１６１１）。そしてＮ＿Ａ＞Ｎ＿ｔｈ＿Ａの場合には処理をステップＳ１１０４に進め、第１の実施形態と同様にして重み値Ｗｇを設定する。一方、Ｎ＿Ａ≦Ｎ＿ｔｈ＿Ａの場合には処理をステップＳ１６１２に進め、重み値Ｗｇには０を設定する（ステップＳ１６１２）。
【０１３５】
次に、エッジ特徴量に対する重み値Ｗｅを設定する処理を第１の実施形態と同様にして行うのであるが、ステップＳ１１０６における判断処理で、Ｖａｒ２≦Ｖａｒ＿ｔｈ＿Ｂの場合には処理をステップＳ１６１３に進め、上記変数Ｎ＿Ｂが保持する値と、予め統計的に求めておいた閾値Ｎ＿ｔｈ＿Ｂとの大小比較を行う（ステップＳ１６１３）。そしてＮ＿Ｂ＞Ｎ＿ｔｈ＿Ｂの場合には処理をステップＳ１１０８に進め、第１の実施形態と同様にして重み値Ｗｅを設定する。一方、Ｎ＿Ｂ≦Ｎ＿ｔｈ＿Ｂの場合には処理をステップＳ１６１４に進め、重み値Ｗｅには０を設定する（ステップＳ１６１４）。
【０１３６】
［その他の実施形態］
第１，２の実施形態では画像検索を行う際に用いた画像特徴には輝度特徴量、エッジ特徴量の２つ用いたがこれに限定されるものではなく、その他にも例えばカラー特徴量、テクスチャ特徴量などを用いてもよい。また、特徴量の数は２つである必要はもちろんなく、３つ以上であっても構わない。
【０１３７】
また第１，２の実施形態では輝度特徴量としてそれぞれの矩形について平均輝度をラベル化したものを挙げたが、これに限定するものではなく、例えば、画像全体の輝度のヒストグラム、矩形毎の最頻輝度をラベル化したものなどであっても構わない。
【０１３８】
また、同様に、エッジ特徴量として矩形毎のエッジの割合に限定するものではなく、画像全体のエッジの総量、エッジの各方向ごとに集計したエッジを持つ画素の割合、或いは、ヒストグラムなどであっても構わない。
【０１３９】
また、第１，２の実施形態では、式３，４に示す如く、要素間の差分の絶対値の総和を求めることでクエリ画像と登録画像との距離を求めたが、求める方法はこれに限定するものではなく、例えば要素間の差分の自乗和でもって距離を計算するようにしても良い。
【０１４０】
また、重み値を求めるための式についても式６，７に限定するものではなく、例えばそれぞれの式を以下の式に置き換えても良い。
【０１４１】
Ｗｇ＝Ｗ＿ｍａｘＡ×（１−（Ｖａｒ１／Ｖａｒ＿ｔｈ＿Ａ）２）    （８）
Ｗｅ＝Ｗ＿ｍａｘＢ×（１−（Ｖａｒ２／Ｖａｒ＿ｔｈ＿Ｂ）２）    （９）
また、検索の精度が許容されるのであれば、計算した重み値が０に近い値の場合にはこれを０としても良く、例えば重み値を計算した後で行う、クエリ画像と登録画像との特徴量の差分を計算する処理において、重み値が０の特徴量については差分を計算しないようにする。これにより、全体の処理をより高速に行うことができる。
【０１４２】
また、第１、第２の実施形態においては、画像を検索対象とし、画像の特徴量を扱ったが、これに限ったのもではない。検索対象が動画像、音声、言語であっても、特徴量がN次元のベクトルで表現できるのであれば、その分散を算出し、適正な閾値を予め求めておくことにより、本発明と同様に重みの算出を行うことが出来る。更には、紙文書をスキャンした画像のように、写真部分と文字部分があり、それぞれ画像特徴量、文字特徴量による検索結果を、重み付けを用いて統合するような場合にも、本発明と同様な手法によって重みを算出することが出来る。
【０１４３】
以上、各種の実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１４４】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１４５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【０１４６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１４７】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１４８】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１４９】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１５０】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【０１５１】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１５２】
【図１】本発明の第１の実施形態に係る画像処理装置として機能するコンピュータの基本構成、及び周辺機器を示すブロック図である。
【図２】コンピュータの機能構成を示すブロック図である。
【図３】コンピュータに画像を登録する処理のフローチャートである。
【図４】外部記憶装置２０６に登録された画像群のうち、クエリとして入力された画像（クエリ画像）に類似する画像の検索処理のフローチャートである。
【図５】画像の分割例を示す図である。
【図６】ステップＳ４０５における輝度特徴量の抽出処理の詳細を示すフローチャートである。
【図７】各画像についてのインデックスの構成例を示す図である。
【図８】ステップＳ４０６におけるエッジ特徴量の抽出処理の詳細を示すフローチャートである。
【図９】Prewittフィルタの構成例を示す図である。
【図１０】ステップＳ５０７における、重み値の計算処理の詳細を示す図である。
【図１１】線画の例を示す図である
【図１２】クエリ画像の特徴量の分散と、クエリ画像と所定値以上の類似度（類似していると見なせる類似度）を有する登録画像（候補）の数との関係を示すグラフである。
【図１３】コンピュータに画像を登録する処理のフローチャートである。
【図１４】外部記憶装置２０６に登録された画像群のうち、クエリとして入力された画像（クエリ画像）に類似する画像の検索処理のフローチャートである。
【図１５】ステップＳ１５０７における重み値計算処理の詳細を示すフローチャートである。
【図１】
2006119723.tif 000003
【図２】
2006119723.tif 000004
【図３】
2006119723.tif 000005
【図４】
2006119723.tif 000006
【図５】
2006119723.tif 000007
【図６】
2006119723.tif 000008
【図７】
2006119723.tif 000009
【図８】
2006119723.tif 000010
【図９】
2006119723.tif 000011
【図１０】
2006119723.tif 000012
【図１１】
2006119723.tif 000013
【図１２】
2006119723.tif 000014
【図１３】
2006119723.tif 000015
【図１４】
2006119723.tif 000016
【図１５】
2006119723.tif 000017
【手続補正書】
【提出日】平成17年6月7日(2005.6.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像処理装置であって、
メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしてのメディアを入力する入力手段と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項２】
画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と、
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記２以上の特徴量は、画像の輝度特徴量と、エッジ特徴量であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記重み計算手段における統計量とは、特徴量の分散であることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記重み決定手段は、前記特徴量取得手段が求めた特徴量の分散を、分散の値が所定の閾値より大きければ、最大の重みにし、小さければ、分散が小さくなるほど小さい重みとなるように決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記重み決定手段は、
前記特徴量取得手段が求めた特徴量の分散をＶａｒ，当該分散に対する所定の閾値をＶａｒ＿ｔｈ、前記特徴量の類似度に対する重み値をＷ、当該重み値について予め定めた最大値をＷ＿ｍａｘとすると、
前記重み値計算手段は、
Ｖａｒ≦Ｖａｒ＿ｔｈの場合には
Ｗｇ＝Ｗ＿ｍａｘ×（１−Ｖａｒ／Ｖａｒ＿ｔｈ）
を計算し、
Ｖａｒ＞Ｖａｒ＿ｔｈの場合には
Ｗ＝Ｗ＿ｍａｘ
を計算することで、前記特徴量の類似度に対する重み値を求めることを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記重み決定手段は、前記特徴量抽出手段によって抽出された特徴量の分散を算出し、分散の値が所定の閾値より大きければ、最大の重みにし、小さければ、重みを０となるように、決定することを特徴とする請求項４に記載の画像処理装置。
【請求項８】
画像処理装置であって、
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段と、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶手段と、
前記保持手段から前記１セットを読み出す読み出し手段と、
クエリとしての画像を入力する入力手段と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得手段と、
前記読み出し手段が読み出した１セット中の２以上の特徴量と、前記特徴量取得手段が求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算手段と、
前記計算手段が求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得手段が求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶手段に記憶されている集計情報、に基づいて求める重み計算手段と、
前記計算手段が求めた特徴量毎の類似度を、前記重み計算手段が求めた重み値でもって重み付けした結果に基づいて、前記読み出し手段が読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算手段と
前記類似度計算手段が求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項９】
前記特徴量の統計情報とは分散であり、前記集計情報とは、所定の閾値より小さい分散をもつ特徴量の量であり、
前記重み計算手段は、前記特徴量取得手段によって取得された特徴量の分散を算出し、分散の値と前記所定の閾値より小さい分散をもつ特徴量の量に応じて重みを決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記重み計算手段は、前記特徴量取得手段によって取得された特徴量の分散を算出し、分散の値が所定の閾値より大きければ、最大の重みにし、分散の値が所定の閾値より小さければ、前記所定の閾値より小さい分散をもつ特徴量の量が小さければ重みを０とし、前記所定の閾値より小さい分散をもつ特徴量の量が大きければ、分散が小さくなるほど小さい重みとなるように、決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしてのメディアを入力する入力工程と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算工程と、
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１２】
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１３】
画像、及び当該画像の２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段に保持している前記特徴量それぞれの統計量を集計した情報を記憶する集計情報記憶工程と、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしての画像を入力する入力工程と、
前記クエリとしての画像の２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量と、前記集計情報記憶工程で記憶されている集計情報、に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応する画像と、前記クエリとしての画像との類似度を求める類似度計算工程と
前記類似度計算工程で求めた類似度に基づいて、前記保持工程で保持している画像群のうち、前記クエリとしての画像と類似している画像を出力する出力工程と
を備えることを特徴とする画像処理方法。
【請求項１４】
コンピュータに請求項１１乃至１３の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを格納することを特徴とする、コンピュータ読み取り可能な記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
即ち、メディア、及び当該メディアの２以上の特徴量、のセットを複数セット保持する保持手段を備える画像処理装置が行う画像処理方法であって、
前記保持手段から前記１セットを読み出す読み出し工程と、
クエリとしてのメディアを入力する入力工程と、
前記クエリとしてのメディアの２以上の特徴量を求める特徴量取得工程と、
前記読み出し工程で読み出した１セット中の２以上の特徴量と、前記特徴量取得工程で求めた２以上の特徴量とで、対応する特徴量同士の類似度を計算する計算工程と、
前記計算工程で求めた特徴量毎の類似度のそれぞれに対する重み値を、前記特徴量取得工程で求めた２以上の特徴量のそれぞれの統計量に基づいて求める重み計算工程と、
前記計算工程で求めた特徴量毎の類似度を、前記重み計算工程で求めた重み値でもって重み付けした結果に基づいて、前記読み出し工程で読み出した１セットに対応するメディアと、前記クエリとしてのメディアとの類似度を求める類似度計算工程と、
前記類似度計算工程で求めた類似度に基づいて、前記保持手段が保持しているメディア群のうち、前記クエリとしてのメディアと類似しているメディアを出力する出力工程と
を備えることを特徴とする。