(57)【要約】【課題】類似判別の処理を効率よく行う。【解決手段】低周波画像作成部３０が、２つの画像を所定解像度に縮小すると同時に、２つの画像のそれぞれの低周波成分を表す低周波画像を作成する。色ベクトル算出部３２が、２つの低周波画像の各画素における色ベクトルの大きさを算出する。特徴量算出部３４が、２つの低周波画像の相対応する画素における色ベクトルの大きさの相関を表す特徴量を算出する。判別部３６が、特徴量に基づいて２つの画像の類似判別を行う。【選択図】図１
2007257467.tif 000002
【特許請求の範囲】
【請求項１】
２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像を所定解像度に縮小すると同時に、該２つの画像のそれぞれの低周波成分を表す低周波画像を作成する低周波画像作成手段と、
前記２つの低周波画像の各画素における色ベクトルの大きさを算出する色ベクトル算出手段と、
前記２つの低周波画像の相対応する画素における前記色ベクトルの大きさの相関を表す特徴量を算出する特徴量算出手段と、
前記各画素の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とする類似判別装置。
【請求項２】
前記低周波画像作成手段は、前記２つの画像に対してウェーブレット変換を施すことにより、前記低周波画像を作成する手段であることを特徴とする請求項１記載の類似判別装置。
【請求項３】
前記色ベクトル算出手段は、人間の視覚特性に応じて前記色ベクトルの大きさを算出する手段であることを特徴とする請求項１または２記載の類似判別装置。
【請求項４】
前記低周波画像作成手段は、前記２つの画像のそれぞれを正方形に変形し、変形後の前記２つの画像から前記低周波画像を作成する手段であることを特徴とする請求項１から３のいずれか１項記載の類似判別装置。
【請求項５】
２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像を所定解像度に縮小すると同時に、該２つの画像のそれぞれの低周波成分を表す低周波画像を作成し、
前記２つの低周波画像の各画素における色ベクトルの大きさを算出し、
前記２つの低周波画像の相対応する画素における前記色ベクトルの大きさの相関を表す特徴量を算出し、
前記各画素の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とする類似判別方法。
【請求項６】
２つの画像が類似するか否かを判別する類似判別方法をコンピュータに実行させるためのプログラムにおいて、
前記２つの画像を所定解像度に縮小すると同時に、該２つの画像のそれぞれの低周波成分を表す低周波画像を作成する手順と、
前記２つの低周波画像の各画素における色ベクトルの大きさを算出する手順と、
前記２つの低周波画像の相対応する画素における前記色ベクトルの大きさの相関を表す特徴量を算出する手順と、
前記各画素の特徴量に基づいて前記２つの画像の類似判別を行う手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つの画像が類似するか否かを判別する類似判別装置および方法、並びに類似判別方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、複数の画像を、各画像に付与された撮影時刻や撮影場所の情報に基づいて、複数のグループに分類することが行われている（特許文献１参照）。また、複数の画像のそれぞれについて、色、明るさ、周波数情報およびエッジ情報等の特徴量を算出し、この特徴量を重みづけして総合的な特徴量を算出し、これを画像間において比較して複数の画像を互いに類似する複数の画像からなるグループに分類する手法が提案されている（特許文献１，２参照）。さらに、あらかじめ類似する画像を学習パターンとして用いて学習を行い、この学習結果を用いて与えられた２つの画像が類似するか否かを判別する手法も提案されている（特許文献３参照）。また、類似判別の対象となる２つの画像の縮小画像を生成し、縮小画像に対して周波数解析を行って周波数成分を算出し、算出した周波数成分から直流成分と一部の交流成分とを抽出し、抽出した直流成分と一部の交流成分とから２つの画像の特徴量を算出し、この特徴量間の相関値を算出することにより、２つの画像の類似判別を行う手法も提案されている（特許文献４参照）。
【特許文献１】特開２０００−１１２９９７号公報
【特許文献２】特開２０００−４８１８１号公報
【特許文献３】特開２０００−９０１１３号公報
【特許文献４】特開２００３−３２３６０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記特許文献４に記載された手法においては、類似判別の対象となる２つの画像を縮小してから周波数解析を行っているため、相関値を求める対象となる成分を得るための演算に長時間を要するものとなっている。
【０００４】
本発明は上記事情に鑑みなされたものであり、類似判別の処理を効率よく行うことを目的とする。
【課題を解決するための手段】
【０００５】
本発明による類似判別装置は、２つの画像が類似するか否かを判別する類似判別装置において、
前記２つの画像を所定解像度に縮小すると同時に、該２つの画像のそれぞれの低周波成分を表す低周波画像を作成する低周波画像作成手段と、
前記２つの低周波画像の各画素における色ベクトルの大きさを算出する色ベクトル算出手段と、
前記２つの低周波画像の相対応する画素における前記色ベクトルの大きさの相関を表す特徴量を算出する特徴量算出手段と、
前記各画素の特徴量に基づいて前記２つの画像の類似判別を行う判別手段とを備えたことを特徴とするものである。
【０００６】
なお、本発明による類似判別装置においては、前記低周波画像作成手段を、前記２つの画像に対してウェーブレット変換を施すことにより、前記低周波画像を作成する手段としてもよい。
【０００７】
また、本発明による類似判別装置においては、前記色ベクトル算出手段を、人間の視覚特性に応じて前記色ベクトルの大きさを算出する手段としてもよい。
【０００８】
また、本発明による類似判別装置においては、前記低周波画像作成手段を、前記２つの画像のそれぞれを、正方形の画像に変形し、変形後の前記２つの画像から前記低周波画像を作成する手段としてもよい。
【０００９】
本発明による類似判別方法は、２つの画像が類似するか否かを判別する類似判別方法において、
前記２つの画像を所定解像度に縮小すると同時に、該２つの画像のそれぞれの低周波成分を表す低周波画像を作成し、
前記２つの低周波画像の各画素における色ベクトルの大きさを算出し、
前記２つの低周波画像の相対応する画素における前記色ベクトルの大きさの相関を表す特徴量を算出し、
前記各画素の特徴量に基づいて前記２つの画像の類似判別を行うことを特徴とするものである。
【００１０】
なお、本発明による類似判別方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１１】
本発明によれば、２つの画像が所定解像度に縮小されると同時に、２つの画像のそれぞれの低周波成分を表す低周波画像が作成され、作成された２つの低周波画像の各画素における色ベクトルの大きさが算出される。次いで、２つの低周波画像の相対応する画素における色ベクトルの大きさの相関を表す特徴量が算出され、算出された各画素の特徴量に基づいて２つの画像の類似判別が行われる。このように本発明においては、２つの画像を所定解像度に縮小すると同時に画像の低周波成分を表す低周波画像を作成しているため、上記特許文献４に記載された手法のように、画像を縮小してから周波数解析を行う場合と比較して演算量を低減でき、その結果、類似判別のための演算時間を短縮することができる。
【００１２】
とくに、２つの画像にウェーブレット変換を施すことにより低周波画像を作成することにより、簡易に低周波画像を得ることができる。また、ウェーブレット変換により高周波成分を除去することができるため、ノイズに強い類似判別を行うことができる。
【００１３】
また、人間の視覚特性に応じて色ベクトルの大きさを算出することにより、人間の視覚特性を反映させて類似判別を行うことができる。
【００１４】
また、２つの画像のそれぞれを正方形の画像に変形した後に低周波画像を作成することにより、元の画像よりも画素数を低減でき、さらには特徴量を算出する際の画素の対応付けが容易となるため、類似判別を効率よく行うことができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による類似判別装置の構成を示す概略ブロック図である。図１に示すように本実施形態による類似判別装置１は、画像データの記録制御および表示制御等の各種制御を行うとともに、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラム、画像を閲覧するためのビューアソフトおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００１６】
また、類似判別装置１は、画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラム等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示を制御する表示制御部２８とを備える。
【００１７】
また、類似判別装置１は、低周波画像作成部３０、色ベクトル算出部３２、特徴量算出部３４および判別部３６を備える。
【００１８】
次いで、低周波画像作成部３０、色ベクトル算出部３２、特徴量算出部３４および判別部３６が行う処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、類似判別を行う２つの画像はメモリカード２から読み出されてハードディスク２４に保存されているものとする。また、画像はＲＧＢの各色８ビットの成分からなるものとする。ユーザが類似判別の指示を入力部１６から行うことによりＣＰＵ１２が処理を開始し、低周波画像作成部３０が、類似判別を行う２つの画像のそれぞれについて、２つの画像を縮小すると同時に、２つの画像のそれぞれの低周波成分を表す所定解像度の低周波画像を作成する（ステップＳＴ１）。
【００１９】
具体的には、低周波画像作成部３０は、画像に対してウェーブレット変換を施したり、画像を構成する画素を間引いて縮小したりすることにより、低周波画像を作成する。ここで、ウェーブレット変換を用いた場合には、ウェーブレット変換により得られるＬＬ成分を低周波画像として用いる。なお、画像を縮小する場合には、単純に線形変換により縮小するよりも、Cubicスプライン等の高次の補間演算式を用いて縮小することにより、画像の高周波成分を効果的に除去できるため、類似判別におけるノイズの影響を低減できる。また、低周波画像作成部３０は、２つの画像の解像度が異なる場合には、２つの画像の解像度が一致するように低周波画像を作成する。
【００２０】
次いで、色ベクトル算出部３２が、画像を構成する各画素における色ベクトルの大きさを算出する（ステップＳＴ２）。具体的には、下記の式（１）に示すように、最大値が１となるように正規化した色ベクトルの大きさＶ０を算出する。
【００２１】
Ｖ０＝√｛（Ｒ／２５６）2＋（Ｇ／２５６）2＋（Ｂ／２５６）2}    （１）
なお、下記の式（２）に示すように、ＲＧＢ各色成分毎に人間の視覚特性を考慮した重みづけを行って色ベクトルの大きさＶ０を算出してもよい。ここで、人間の視覚特性は、Ｇ，Ｒ，Ｂの順で感度が高くなることから、重み係数Ｗｒ，Ｗｇ，ＷｂをＷｇ＞Ｗｒ＞Ｗｂとなるように設定する。これにより、人間の視覚特性を考慮して画像の類似判別を行うことができる。
【００２２】
Ｖ０＝√｛Ｗｒ（Ｒ／２５６）2＋Ｗｇ（Ｇ／２５６）2＋Ｗｂ（Ｂ／２５６）2}（２）
次いで、特徴量算出部３４が、２つの低周波画像についての相対応する画素間において、色ベクトル算出部３２が算出した色ベクトルの大きさの相関を表す特徴量を算出する（ステップＳＴ３）。具体的には、下記の式（３）に示すように、相対応する画素（ｉ，ｊ）（（ｉ，ｊ）は低周波画像における各画素の位置を表す座標であり、ｉ＝１〜ｎ、ｊ＝１〜ｍ、ｎ，ｍは低周波画像の縦横の画素数）における色ベクトルの大きさの差分値の絶対値を算出し、差分値の絶対値を１から減算することにより特徴量Ｔ（ｉ，ｊ）を算出する。ここで、特徴量Ｔ（ｉ，ｊ）は、２つの色ベクトルの大きさの各画素間における相関を表すものであり、値が大きいほど相対応する画素同士が類似する度合いが高いことを表すものとなる。
【００２３】
Ｔ（ｉ，ｊ）＝１−差分値の絶対値      （３）
続いて、判別部３６が、２つの画像について算出した複数の特徴量Ｔ（ｉ，ｊ）を、下記の式（４）により重みづけ加算して総合類似度を算出する（ステップＳＴ４）。
【００２４】
総合類似度Ｓｍ＝Σα（ｉ，ｊ）Ｔ（ｉ，ｊ）    （４）
ここで、α（ｉ，ｊ）は特徴量Ｔ（ｉ，ｊ）を重みづける重み係数である。重み係数は、類似することが分かっている２つのサンプル画像からなる多数の正解データから得た特徴量と、類似しないことが分かっている２つのサンプル画像からなる多数の不正解データから得た特徴量とを、例えばマシンラーニング（machine learning）の手法を用いて、あらかじめ学習することにより求められるものである。マシンラーニングの手法としては、例えば、ニューラルネットワーク、ブースティング等の既知の手法を用いることができる。
【００２５】
ここで、学習により求められた重み係数α（ｉ，ｊ）は、画像の中心部ほど重みが大きくなる傾向がある。
【００２６】
なお、学習の際に、サンプル画像の解像度を種々の解像度に設定しておくことにより、種々の解像度の低周波画像に対応した重み係数α（ｉ，ｊ）を求めておくことができる。また、サンプル画像として、風景画像、人物画像、テンプレート画像等の各種タイプの画像を用いて学習を行うことにより、画像のタイプに応じた重み係数α（ｉ，ｊ）を求めておくことができる。これにより、類似判別を行う画像のタイプをあらかじめ設定しておけば、画像のタイプに応じた最適な重み係数α（ｉ，ｊ）を用いて総合類似度Ｓｍを算出することができる。
【００２７】
また、ユーザ毎に学習を行うことにより、類似判別を行う画像を取得したユーザに最適な重み係数α（ｉ，ｊ）を求めておくことができるため、ユーザの撮影傾向に応じた重み係数α（ｉ，ｊ）を用いて総合類似度Ｓｍを算出することができる。
【００２８】
次いで、判別部３６が総合類似度Ｓｍが所定のしきい値Ｔｈ１以上であるか否かを判定し（ステップＳＴ５）、ステップＳＴ５が肯定されると２つの画像は類似すると判定し（ステップＳＴ６）、処理を終了する。ステップＳＴ５が否定されると２つの画像は類似しないと判定し（ステップＳＴ７）、処理を終了する。
【００２９】
このように本実施形態においては、２つの画像をウェーブレット変換等により縮小すると同時に画像の低周波成分を表す低周波画像を作成しているため、上記特許文献４に記載された手法のように、画像を縮小してから周波数解析を行う場合と比較して、演算量を低減でき、その結果、類似判別のための演算時間を短縮することができる。
【００３０】
とくに、２つの画像にウェーブレット変換を施すことによって低周波画像を作成することにより、簡易に低周波画像を得ることができる。また、ウェーブレット変換により高周波成分を除去することができるため、ノイズに強い類似判別を行うことができる。
【００３１】
また、上記式（２）に示すように、人間の視覚特性に応じて色ベクトルの大きさを算出することにより、人間の視覚特性を反映させて類似判別を行うことができる。
【００３２】
また、特徴量を重みづける重み係数α（ｉ，ｊ）をあらかじめ学習しておくことにより、実在する画像に適した重み係数を用いて類似判別を行うことができるため、画像の類似判別をより効果的に行うことができる。
【００３３】
また、上記実施形態においては、重み係数α（ｉ，ｊ）を学習により求めているが、例えば、画像の中央部分ほど重みづけが多くなるように人為的に設定した重み係数α（ｉ，ｊ）を用いてもよい。
【００３４】
また、上記実施形態においては、低周波画像のすべての画素について算出した総合類似度Ｓｍがしきい値Ｔｈ１以上となるか否かにより類似判別を行っているが、特徴量Ｔ（ｉ，ｊ）が所定のしきい値Ｔｈ１以上となる画素が、所定数以上存在する場合に２つの画像が類似すると判別してもよく、特徴量Ｔ（ｉ，ｊ）が所定のしきい値Ｔｈ１以上となる画素が、所定サイズ以上となる領域にまとまって存在する場合に２つの画像が類似すると判別してもよい。
【００３５】
また、上記実施形態においては、ウェーブレット変換により得られるＬＬ成分を低周波画像として用いているが、ＨＬ成分やＬＨ成分をさらに用いて類似判別を行うようにしてもよい。
【００３６】
また、上記実施形態においては、類似判別の対象となる２つの画像そのものから低周波画像を作成しているが、低周波画像を作成する前に２つの画像を正方形に変形することが好ましい。例えば、図３（ａ）に示すように横長の画像Ｇ１と縦長の画像Ｇ２との類似判別を行う場合、図３（ｂ）に示すように横長の画像については横方向にのみ縮小し、縦長の画像については縦方向にのみ縮小することにより、２つの画像を正方形に変形すればよい。
【００３７】
このように、画像を正方形に変形した後に低周波画像を作成することにより、元の画像よりも画素数を低減でき、さらには特徴量を算出する際の画素の対応付けが容易となるため、類似判別を効率よく行うことができる。また、画像を縦方向または横方向に縮小しているため、画像の左右または上下の部分をカットして正方形とする場合と比較して、元の画像の情報が残されていることとなり、その結果、類似判別を精度良く行うことができる。
【００３８】
以上、本発明の実施形態に係る装置について説明したが、コンピュータを、低周波画像作成部３０、色ベクトル算出部３２、特徴量算出部３４および判別部３６に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も本発明の実施形態の１つである。また、このようなプログラムを、画像を閲覧するためのビューアソフトに組み込むようにしてもよい。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施形態による類似判別装置の構成を示す概略ブロック図
【図２】本実施形態において行われる処理を示すフローチャート
【図３】画像の変形を説明するための図
【符号の説明】
【００４０】
１    類似判別装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    低周波画像作成部
３２    色ベクトル算出部
３４    特徴量算出部
３６    判別部
【図１】
2007257467.tif 000003
【図２】
2007257467.tif 000004
【図３】
2007257467.tif 000005