(57)【要約】【課題】類似判別の処理を効率よく行う。【解決手段】低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれの低周波成分を表す低周波画像を作成する。色ヒストグラム算出部３２が、２つの低周波画像の色ヒストグラムを算出する。特徴量算出部３４が、２つの色ヒストグラムを所定数の色領域に分割し、分割した色領域毎に２つの色ヒストグラムの相関を表す特徴量を算出する。判別部３６が、特徴量に基づいて２つの画像の類似判別を行う。【選択図】図１
2007257466.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像のそれぞれの低周波成分を表す低周波画像を作成する低周波画像作成手段と、
前記２つの低周波画像の色ヒストグラムを算出する色ヒストグラム算出手段と、
前記２つの色ヒストグラムを所定数の色領域に分割し、分割した色領域毎に前記２つの色ヒストグラムの相関を表す特徴量を算出する特徴量算出手段と、
前記各色領域の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とする類似判別装置。
【請求項２】
前記特徴量算出手段は、人間の視覚特性に応じて前記２つの色ヒストグラムを分割する手段であることを特徴とする請求項１記載の類似判別装置。
【請求項３】
前記判別手段は、前記各色領域の特徴量を所定の重み係数により重みづけ加算することにより２つの総合特徴量を算出し、該２つの総合特徴量の差に基づいて前記類似判別を行う手段であることを特徴とする請求項１または２記載の類似判別装置。
【請求項４】
前記所定の重み係数は、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記特徴量とをあらかじめ学習することにより得られた、前記特徴量を重みづけする重み係数であることを特徴とする請求項１から３のいずれか１項記載の類似判別装置。
【請求項５】
２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像のそれぞれの低周波成分を表す低周波画像を作成し、
前記２つの低周波画像の色ヒストグラムを算出し、
前記２つの色ヒストグラムを所定数の色領域に分割し、
該分割した色領域毎に前記２つの色ヒストグラムの相関を表す特徴量を算出し、
前記各色領域の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とする類似判別方法。
【請求項６】
２つの画像が類似するか否かを判別する類似判別方法をコンピュータに実行させるためのプログラムにおいて、
前記２つの画像のそれぞれの低周波成分を表す低周波画像を作成する手順と、
前記２つの低周波画像の色ヒストグラムを算出する手順と、
前記２つの色ヒストグラムを所定数の色領域に分割する手順と、
該分割した色領域毎に前記２つの色ヒストグラムの相関を表す特徴量を算出する手順と、
前記各色領域の特徴量に基づいて前記２つの画像の類似判別を行う手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像が類似するか否かを判別する類似判別装置および方法、並びに類似判別方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、複数の画像を、各画像に付与された撮影時刻や撮影場所の情報に基づいて、複数のグループに分類することが行われている（特許文献１参照）。また、複数の画像のそれぞれについて、色、明るさ、周波数情報およびエッジ情報等の特徴量を算出し、この特徴量を重みづけして総合的な特徴量を算出し、これを画像間において比較して複数の画像を互いに類似する複数の画像からなるグループに分類する手法が提案されている（特許文献１，２参照）。さらに、あらかじめ類似する画像を学習パターンとして用いて学習を行い、この学習結果を用いて与えられた２つの画像が類似するか否かを判別する手法も提案されている（特許文献３参照）。また、類似判別の対象となる２つの画像の直交変換係数を求め、直交変換係数に含まれる色毎の出現頻度を表す色ヒストグラムを求め、色ヒストグラムを比較することにより類似判別を行う手法も提案されている（特許文献４参照）。ここで、色ヒストグラムは画像に含まれる被写体の位置や変形に影響されにくいため、色ヒストグラムを用いて類似判別を行うことにより、被写体の移動や変形に強い類似判別を行うことができる。
【特許文献１】特開２０００−１１２９９７号公報
【特許文献２】特開２０００−４８１８１号公報
【特許文献３】特開２０００−９０１１３号公報
【特許文献４】特開２００２−８２９８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献４に記載された色ヒストグラムを用いて類似判別を行う手法においては、２つの画像の色ヒストグラムの比較を、各画像に含まれるすべての色について行っているため、類似判別の処理に非常に長時間を有するものとなっている。
【０００４】
本発明は上記事情に鑑みなされたものであり、類似判別の処理を効率よく行うことを目的とする。
【課題を解決するための手段】
【０００５】
本発明による類似判別装置は、２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像のそれぞれの低周波成分を表す低周波画像を作成する低周波画像作成手段と、
前記２つの低周波画像の色ヒストグラムを算出する色ヒストグラム算出手段と、
前記２つの色ヒストグラムを所定数の色領域に分割し、分割した色領域毎に前記２つの色ヒストグラムの相関を表す特徴量を算出する特徴量算出手段と、
前記各色領域の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とするものである。
【０００６】
なお、本発明による類似判別装置においては、前記特徴量算出手段を、人間の視覚特性に応じて前記２つの色ヒストグラムを分割する手段としてもよい。
【０００７】
また、本発明による類似判別装置においては、前記判別手段を、前記各色領域の特徴量を所定の重み係数により重みづけ加算することにより２つの総合特徴量を算出し、該２つの総合特徴量の差に基づいて前記類似判別を行う手段としてもよい。
【０００８】
また、本発明による類似判別装置においては、前記所定の重み係数を、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た前記特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た前記特徴量とをあらかじめ学習することにより得られた、前記特徴量を重みづけする重み係数としてもよい。
【０００９】
学習としては、例えばマシンラーニング（machine learning）の手法を用いることができる。マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。
【００１０】
本発明による類似判別方法は、２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像のそれぞれの低周波成分を表す低周波画像を作成し、
前記２つの低周波画像の色ヒストグラムを算出し、
前記２つの色ヒストグラムを所定数の色領域に分割し、
該分割した色領域毎に前記２つの色ヒストグラムの相関を表す特徴量を算出し、
前記各色領域の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とするものである。
【００１１】
なお、本発明による類似判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１２】
本発明によれば、２つの画像のそれぞれの低周波成分を表す低周波画像が作成され、作成された２つの低周波画像の色ヒストグラムが算出される。次いで、２つの色ヒストグラムが所定数の色領域に分割され、分割された色領域毎に２つの色ヒストグラムの相関を表す特徴量が算出される。そして、算出された各色領域の特徴量に基づいて２つの画像の類似判別が行われる。このように本発明においては色ヒストグラムを所定数の色領域に分割し、分割した色領域毎に相関を表す特徴量を算出するようにしたため、画像に含まれるすべての色について色ヒストグラムを比較する場合と比較して、類似判別のための演算時間を短縮することができる。また、画像の低周波成分を表す低周波画像を用いて類似判別を行っているため、画像そのものを用いる場合と比較して、類似判別のための演算時間を短縮することができる。また、色領域毎に相関を求めているため、画像にノイズが含まれている場合であっても、そのノイズを色領域において吸収することができ、これにより、ノイズに影響されない精度のよい類似判別を行うことができる。
【００１３】
また、人間の視覚特性に応じて前記２つの色ヒストグラムを分割することにより、人間の視覚特性を反映させて類似判別を行うことができる。
【００１４】
また、色領域毎の特徴量を所定の重み係数により重みづけ加算することにより２つの総合特徴量を算出し、２つの総合特徴量の差に基づいて類似判別を行う際に、あらかじめ学習することにより得られた重み係数を用いることにより、実在する画像に適した重み係数を用いて類似判別を行うことができる。したがって、画像の類似判別をより効果的に行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による類似判別装置の構成を示す概略ブロック図である。図１に示すように本実施形態による類似判別装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００１６】
また、類似判別装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。
【００１７】
また、類似判別装置１は、低周波画像作成部３０、色ヒストグラム算出部３２、特徴量算出部３４および判別部３６を備える。
【００１８】
次いで、低周波画像作成部３０、色ヒストグラム算出部３２、特徴量算出部３４および判別部３６が行う処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、類似判別を行う２つの画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。ユーザが類似判別の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれについて、低周波成分を表す低周波画像を作成する（ステップＳＴ１）。
【００１９】
具体的には、低周波画像作成部３０は、画像に対してウェーブレット変換を施したり、画像を構成する画素を間引いて縮小したりすることにより、処理前の画像よりも低い所定の解像度を有する低周波画像を作成する。ここで、ウェーブレット変換を用いた場合には、ウェーブレット変換により得られるＬＬ成分を低周波画像として用いる。なお、画像を縮小する場合には、単純に線形変換により縮小するよりも、Cubicスプライン等の高次の補間演算式を用いて縮小することにより、画像の高周波成分を効果的に除去できるため、類似判別におけるノイズの影響を除去できる。また、低周波画像作成部３０は、２つの画像の解像度が異なる場合には、２つの画像の解像度が一致するように低周波画像を作成する。また、後の処理を容易に行うために、画像を正方形となるように変形してもよい。
【００２０】
次いで、色ヒストグラム算出部３２が、画像を構成する各画素における色ベクトルを算出する（ステップＳＴ２）。ここで、画像がＲＧＢの各色により構成されている場合には、Ｒ，Ｇ，Ｂ各色の画素値を色ベクトルとして算出する。また、画像がＹＣＣの各成分により構成されている場合は、Ｙ，Ｃｂ，Ｃｒの各成分の値を色ベクトルとして算出する。さらに、画像がＨＳＶの各成分により構成されている場合には、Ｈ，Ｓ，Ｖの各成分の値を色ベクトルとして算出する。
【００２１】
本実施形態においては、画像がＲＧＢの各色により構成されているものとし、Ｒ，Ｇ，Ｂ各色の画素値を色ベクトルとして用いるものとする。ここで、２つの画像が８ビットの色数を有する場合、Ｒ，Ｇ，Ｂ各色について０〜２５５の値をとることから、色ベクトルは２５６3個算出されることとなる。
【００２２】
さらに、色ヒストグラム算出部３２は、２つの画像のそれぞれについて、算出したすべての色ベクトルに対して出現する画素の数を色空間上にプロットすることにより色ヒストグラムを算出する（ステップＳＴ３）。図３は色ヒストグラムを示す図である。ここで、色ヒストグラムはＲ，Ｇ，Ｂの３つの成分からなる３次元の色ベクトルについての出現数をプロットするものであるため、ＲＧＢの３次元空間に出現数をプロットすることにより得られるものであるが、図３においては便宜的に色ヒストグラムを２次元に表した状態を示す。
【００２３】
図３に示す色ヒストグラムは、横軸に色ベクトルの値を、縦軸に各色ベクトルの出現数をプロットすることにより得られるものである。なお、横軸については（Ｒ，Ｇ，Ｂ）＝（０，０，０）〜（２５５，２５５，２５５）までの２５６3通りの値をとるため、説明を簡略化するために、図３においては一部の色ヒストグラムのみを示している。
【００２４】
次いで、特徴量算出部３４が、色ヒストグラム算出部３２が算出した２つの画像についての色ヒストグラムをそれぞれ所定数の色領域に分割する（ステップＳＴ４）。
【００２５】
図４は色ヒストグラムにおける色領域の分割を説明するための図である。図４に示すように、特徴量算出部３４は、色ヒストグラムを所定数の色領域（ここでは８個）に分割する。なお、分割数は８分割に限定されるものではなく、４分割、１６分割、３２分割等、適宜設定すればよい。なお、実際には色ヒストグラムはＲＧＢの３次元空間に存在するものであるため、３次元空間において各色成分を所定数の色領域に分割するものである。例えば、各色成分の分割数が４である場合には、図５に示すように４3個の色領域に分割する。
【００２６】
さらに、特徴量算出部３４は、分割した色領域毎に２つの色ヒストグラムの相関を表す特徴量を算出する（ステップＳＴ５）。具体的には、２つの色ヒストグラムについて、分割により得られた複数の色領域Ｃｉ（ｉ＝１〜ｎ、ｎは分割数）毎に頻度の総和を求め、これを領域内の色ベクトル数にて除算することにより、分割した色領域Ｃｉ毎に頻度の平均値を統計値として算出する。なお、平均値に代えて頻度の総和、中央値、最大値または最小値等を統計値として用いてもよい。そして、２つの色ヒストグラムについて、対応する色領域Ｃｉ間において統計値の差の絶対値の逆数を特徴量Ｔｉとして算出する。ここで、特徴量Ｔｉは、２つの色ヒストグラムの色領域Ｃｉ間の相関を表すものであり、値が大きいほど色領域Ｃｉ同士が類似する度合いが高いことを表すものとなる。
【００２７】
続いて、判別部３６が、２つの画像について算出した複数の特徴量Ｔｉを、下記の式（１）により重みづけ加算して総合類似度を算出する（ステップＳＴ６）。
【００２８】
総合類似度Ｓｍ＝ΣαｉＴｉ      （１）
ここで、αｉは特徴量Ｔｉを重みづける重み係数である。重み係数は、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た特徴量とを、例えばマシンラーニングの手法を用いて、あらかじめ学習することにより求められるものである。
【００２９】
なお、学習の際に、色ヒストグラムの分割数を８分割、１６分割および３２分割等の種々の分割数に設定しておくことにより、色領域の分割数に応じた重み係数αｉを求めておくことができる。また、サンプル画像として、風景画像、人物画像、テンプレート画像等の各種タイプの画像を用いて学習を行うことにより、画像のタイプに応じた重み係数αｉを求めておくことができる。これにより、類似判別を行う画像のタイプをあらかじめ設定しておけば、画像のタイプに応じた最適な重み係数αｉを用いて総合類似度Ｓｍを算出することができる。
【００３０】
また、ユーザ毎に学習を行うことにより、類似判別を行う画像を取得したユーザに最適な重み係数αｉを求めておくことができるため、ユーザの撮影傾向に応じた重み係数αｉを用いて総合類似度Ｓｍを算出することができる。
【００３１】
そして、判別部３６は総合類似度Ｓｍが所定のしきい値Ｔｈ１以上であるか否かを判定し（ステップＳＴ７）、ステップＳＴ７が肯定されると２つの画像は類似すると判定し（ステップＳＴ８）、処理を終了する。ステップＳＴ７が否定されると２つの画像は類似しないと判定し（ステップＳＴ９）、処理を終了する。
【００３２】
このように本実施形態においては、色ヒストグラムを所定数の色領域に分割し、分割した色領域毎に相関を表す特徴量を算出するようにしたため、画像に含まれるすべての色について色ヒストグラムを比較する場合と比較して、類似判別のための演算時間を短縮することができる。また、色領域毎に相関を求めているため、ノイズが含まれている場合であっても、そのノイズを色領域において吸収することができ、これにより、ノイズに影響されない精度のよい類似判別を行うことができる。
【００３３】
また、画像の低周波成分を表す低周波画像を用いて類似判別を行っているため、画像そのものを用いる場合と比較して、類似判別のための演算時間を短縮することができる。
【００３４】
また、２つの画像にウェーブレット変換を施すことにより低周波画像を作成することにより、簡易に低周波画像を得ることができる。また、ウェーブレット変換により高周波成分を除去することができるため、ノイズに強い類似判別を行うことができる。
【００３５】
また、特徴量を重みづける重み係数αｉをあらかじめ学習しておくことにより、実在する画像に適した重み係数を用いて類似判別を行うことができるため、画像の類似判別をより効果的に行うことができる。
【００３６】
なお、上記実施形態においては、色ヒストグラムをあらかじめ定められた所定数の色領域Ｃｉに分割しているが、ＲＧＢ各色成分毎に、人間の視覚特性を考慮した分割数により分割してもよい。ここで、人間の視覚特性は、Ｇ，Ｒ，Ｂの順で感度が高くなることから、例えば図６に示すように、Ｇ成分を８分割、Ｒ成分を４分割、Ｂ成分を２分割というように、分割数がＧ＞Ｒ＞Ｂとなるように色領域を分割すればよい。
【００３７】
また、上記実施形態においては、重み係数αｉを学習により求めているが、あらかじめ人為的に設定した重み係数αｉを用いてもよい。
【００３８】
また、上記実施形態においては、色ヒストグラムの各色領域の平均値の差の絶対値から特徴量Ｔｉを算出する際に、色領域Ｃｉの平均値（Ｍｉとする）を隣接する２つの領域Ｃi-1，Ｃi+1の平均値（Ｍi-1，Ｍi+1とする）と重みづけ加算することにより、領域Ｃi毎の平均値Ｍiを平坦化して平坦化平均値を算出し、平坦化平均値の差の絶対値から特徴量Ｔｉを算出してもよい。ここで、平坦化平均値を（Ｍｉ′とする）は下記の式（２）により算出することができる。
【００３９】
Ｍi′＝ａ・Ｍi-1＋ｂ・Ｍi＋ｃ・Ｍi+1      （２）
但し、ａ，ｂ，ｃは重み係数であり、ａ＋ｂ＋ｃ＝１となるように例えば、ａ＝ｃ＝０．２５、ｂ＝０．５の値を用いる。
【００４０】
これにより、色ヒストグラムの相関を見れば類似しないと判別されるような、わずかに色が異なる２つの画像についても類似すると判別することができ、これにより画像の変化に強い類似判別を行うことができる。
【００４１】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、低周波画像作成部３０、色ヒストグラム算出部３２、特徴量算出部３４および判別部３６に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態による類似判別装置の構成を示す概略ブロック図
【図２】本実施形態において行われる処理を示すフローチャート
【図３】算出した色ヒストグラムを２次元に表した図
【図４】色ヒストグラムの分割を説明するための図
【図５】色ヒストグラムの分割を説明するための図
【図６】人間の視覚特性を考慮した色ヒストグラムの分割を説明するための図
【符号の説明】
【００４３】
１    類似判別装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    低周波画像作成部
３２    色ヒストグラム算出部
３４    特徴量算出部
３６    判別部
【図１】
2007257466.tif 000003
【図２】
2007257466.tif 000004
【図３】
2007257466.tif 000005
【図４】
2007257466.tif 000006
【図５】
2007257466.tif 000007
【図６】
2007257466.tif 000008