(57)【要約】【課題】画像データの特徴量を取得する特徴量取得方法において、比較的小さい次元数の特徴量で、画像毎の特徴の違いを適切に反映する特徴量を求められるようにする。【解決手段】特徴量取得装置１が、前記画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める特徴量算出部３１４を具備する。データの特性を端的に示す指標である平均および分散に基づいて特徴量を算出することにより、画像毎の特性の違いを適切に反映し、比較的次元数の少ない特徴量を得ることができる。【選択図】図１
2012043397.tif 000002
【特許請求の範囲】
【請求項１】
画像データの特徴量を取得する特徴量取得装置の特徴量取得方法であって、
特徴量算出部が、前記画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める特徴量取得ステップを具備することを特徴とする特徴量取得方法。
【請求項２】
方向画像算出部が、前記画像データに基づいて、微分画像データを算出し、算出した微分画像データに基づいて、所定の各方向のエッジの有無および強さを画素毎に画素値にて示す方向画像データを算出する方向画像算出ステップを具備し、
前記特徴量算出部は、前記特徴量算出ステップにて、前記画像データの画素値に換えて、前記方向画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める
ことを特徴とする請求項１に記載の特徴量取得方法。
【請求項３】
ぼかし処理部が、前記画像データまたは前記方向画像データに対して画像中の輪郭をぼかすぼかしフィルタを適用してぼかし画像データを生成するぼかし処理を複数段階繰り返して行うぼかし処理ステップを具備し、
前記特徴量算出部は、前記特徴量取得ステップにて、前記画像データの画素値あるいは前記方向画像データの画素値に換えて、前記ぼかし処理の各段階にて得られる前記ぼかし画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める
ことを特徴とする請求項１または請求項２に記載の特徴量取得方法。
【請求項４】
領域決定部が、前記画像データまたは前記方向画像データまたは前記ぼかし画像データを分割する領域を、画素数における画像の中心からの、画素数にて示される距離に基づいて決定する領域決定ステップを具備し、
前記特徴量算出部は、前記特徴量算出ステップにて、前記領域毎に前記画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める
ことを特徴とする請求項１から３のいずれか一項に記載の特徴量取得方法。
【請求項５】
特徴量次元圧縮部が、前記特徴量に対して主成分分析を行い、得られるベクトルの上位から所定数の要素を選択して圧縮後特徴量を取得する特徴量次元圧縮ステップをさらに具備することを特徴とする請求項１から４のいずれか一項に記載の特徴量取得方法。
【請求項６】
類似画像検索部が、類似画像の候補である複数の候補画像の各々について、前記請求項１から５のいずれか一項に記載の特徴量取得方法を適用して得られる特徴量と、類似画像検索の元画像となる検索対象画像に前記候補画像に適用される前記特徴量取得方法と同一の特徴量取得方法を適用して得られる特徴量との間の類似度を示す距離に基づいて、前記複数の候補画像の中から類似画像を選択する類似画像検索ステップを具備することを特徴とする類似画像検索方法。
【請求項７】
画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める特徴量算出部を具備することを特徴とする特徴量取得装置。
【請求項８】
特徴量取得装置としてのコンピュータに、請求項１から５のいずれか一項に記載の特徴量取得方法を実行させるためのプログラム。
【請求項９】
類似画像検索装置としてのコンピュータに、請求項６に記載の類似画像検索方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの特徴量を取得する特徴量取得装置、特徴量取得方法、当該特徴量取得方法を用いた類似画像検索方法、および、これら特徴量取得方法または類似画像検索方法を実行するプログラムに関する。
【背景技術】
【０００２】
２次元画像の分類や類似画像検索を行うための指標として、当該画像の特徴を示す特徴量を抽出する手法が一般に用いられている。なかでも、非特許文献１で紹介されている、ＧＩＳＴと呼ばれる特徴量を抽出する手法は、画像の構図を反映した特徴量を抽出できる手法として、画像分類や類似画像検索に広く用いられている（例えば、非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Aude Oliva、他１名、「Modeling the shape of the scene: a holistic representation of the spatial envelope」、International Journal of Computer Vision、Vol. 42(3)、２００１年、p.145-175
【非特許文献２】Matthijs Douze、他４名、「Evaluation of GIST descriptors for web-scale image search」、International Conference on Image and Video Retrieval、２００９年７月
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来提案されている特徴量抽出手法では、一般に、抽出される特徴量の次元が大きいために特徴量を示すデータ量が膨大となり、特徴量に基づいて画像分類または類似画像検索等を行う際の計算量が膨大になっていた。例えば、一枚のカラー画像のＧＩＳＴの特徴量の次元数は９６０次元となっている。一方、特徴量の次元数を小さくすると、特徴量の数値精度が低くなり、すなわち、画像毎の特徴の違いが特徴量に適切に反映されなくなり、画像分類や類似画像検索等を適切に行えなくなるおそれがある。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、比較的小さい次元数の特徴量で、画像毎の特徴の違いを適切に反映する特徴量を求めることのできる特徴量取得方法、特徴量取得装置、類似画像検索方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
この発明は上述した課題を解決するためになされたもので、本発明の一態様による特徴量取得方法は、画像データの特徴量を取得する特徴量取得装置の特徴量取得方法であって、特徴量算出部が、前記画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める特徴量取得ステップを具備することを特徴とする。
【０００７】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得方法であって、方向画像算出部が、前記画像データに基づいて、微分画像データを算出し、算出した微分画像データに基づいて、所定の各方向のエッジの有無および強さを画素毎に画素値にて示す方向画像データを算出する方向画像算出ステップを具備し、前記特徴量算出部は、前記特徴量算出ステップにて、前記画像データの画素値に換えて、前記方向画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする。
【０００８】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得方法であって、ぼかし処理部が、前記画像データまたは前記方向画像データに対して画像中の輪郭をぼかすぼかしフィルタを適用してぼかし画像データを生成するぼかし処理を複数段階繰り返して行うぼかし処理ステップを具備し、前記特徴量算出部は、前記特徴量取得ステップにて、前記画像データの画素値あるいは前記方向画像データの画素値に換えて、前記ぼかし処理の各段階にて得られる前記ぼかし画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする。
【０００９】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得方法であって、領域決定部が、前記画像データまたは前記方向画像データまたは前記ぼかし画像データを分割する領域を、画素数における画像の中心からの、画素数にて示される距離に基づいて決定する領域決定ステップを具備し、前記特徴量算出部は、前記特徴量算出ステップにて、前記領域毎に前記画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求めることを特徴とする。
【００１０】
また、本発明の一態様による特徴量取得方法は、上述の特徴量取得方法であって、特徴量次元圧縮部が、前記特徴量に対して主成分分析を行い、得られるベクトルの上位から所定数の要素を選択して圧縮後特徴量を取得する特徴量次元圧縮ステップをさらに具備することを特徴とする。
【００１１】
また、本発明の一態様による類似画像検索方法は、類似画像検索部が、類似画像の候補である複数の候補画像の各々について、上述したいずれか一項に記載の特徴量取得方法を適用して得られる特徴量と、類似画像を検索する元画像となる検索対象画像に前記候補画像に適用される前記特徴量取得方法と同一の特徴量取得方法を適用して得られる特徴量との間の類似度を示す距離に基づいて、前記複数の候補画像の中から類似画像を選択する類似画像検索ステップを具備することを特徴とする。
【００１２】
また、本発明の一態様による特徴量取得装置は、画像データの画素値の平均および分散を算出し、算出した平均および分散に基づく特徴量を求める特徴量算出部を具備することを特徴とする。
【００１３】
また、本発明の一態様によるプログラムは、特徴量取得装置としてのコンピュータに、
上述したいずれか一項に記載の特徴量取得方法を実行させるためのプログラムである。
【００１４】
また、本発明の一態様によるプログラムは、類似画像検索装置としてのコンピュータに、上述の類似画像検索方法を実行させるためのプログラムである。
【発明の効果】
【００１５】
この発明によれば、画像毎の特徴の違いを適切に反映する特徴量を求めることができる。また、当該特徴量を用いることで、適切な類似画像検索を行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態における特徴量取得装置１の概略構成を示す構成図である。
【図２】同実施形態において、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順を示すフローチャートである。
【図３】同実施形態において、方向画像算出部３１１が微分画像データを求めるために用いるマスクの例を示す図である。
【図４】同実施形態において、ぼかし処理部３１２が４段階のぼかし処理を行ってぼかし画像データを生成する例を示す図である。
【図５】同実施形態において、領域決定部３１３が決定する領域の例を示す図である。
【図６】画像を縦および横に領域分割した領域の例を示す図である。
【図７】同実施形態において、特徴量算出部３１４が算出する特徴量のデータ構成を示す図である。
【図８】本発明の第２の実施形態における類似画像検索装置の概略構成を示す構成図である。
【図９】同実施形態において、類似画像検索装置６が行う画像検索の処理手順の概略を示すフローチャートである。
【図１０】同実施形態において、検索対象画像の指定に際して表示部６２が表示する画面の例を示す図である。
【発明を実施するための形態】
【００１７】
＜第１の実施形態＞
以下、図面を参照して、本発明の実施形態について説明する。
図１は、本発明の第１の実施形態における特徴量取得装置１の概略構成を示す構成図である。同図において、特徴量取得装置１は、画像取得部１１と、前処理部２１と、特徴量取得部３１と、特徴量次元圧縮部４１と、特徴量出力部５１とを具備する。前処理部２１は、対数演算部２１１と、フィルタリング部２１２と、色空間変換部２１３とを具備する。特徴量取得部３１は、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３と、特徴量算出部３１４とを具備する。
【００１８】
画像取得部１１は、特徴量を求める対象の画像データを取得して前処理部２１に出力する。例えば、画像取得部１１は、類似する複数の画像を検索する画像処理サービスを提供するウェブサーバから、当該ウェブサーバが画像処理に用いる画像のデータを受信し、受信した画像データを前処理部２１に出力する。以下では、画像取得部１１の取得する画像データを「入力画像データ」と称し、入力画像データの示す画像を「入力画像」と称する。
【００１９】
前処理部２１は、入力画像データに対して、特徴量を求めるための前処理を行って特徴量取得部３１に出力する。前処理部２１において、対数演算部２１１は、入力画像データの画素毎、かつ、入力画像がカラー画像の場合は色毎に画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データを生成する。フィルタリング部２１２は、対数演算部２１１が生成したコントラスト強調画像データから高周波成分を除去するフィルタリング処理を行って、高周波成分除去画像データを生成する。色空間変換部２１３は、高周波成分除去画像データの色空間を他の色空間に変換して色空間変換画像データを生成する。
【００２０】
特徴量取得部３１は、前処理部２１から出力される画像データの特徴量を取得して特徴量次元圧縮部４１に出力する。特徴量取得部３１において、方向画像算出部３１１は、色空間変換部２１３から出力される色空間変換画像データの方向画像データを算出する。ぼかし処理部３１２は、方向画像に対してぼかし処理を行ってぼかし画像データを生成する。領域決定部３１３は、ぼかし画像データ上において、特徴量を算出する際の処理の基準となる領域を決定する。特徴量算出部３１４は、領域決定部３１３が決定した領域毎に、ぼかし画像データの画素値の平均と分散を算出することにより、入力画像の特徴量を算出する。
【００２１】
特徴量次元圧縮部４１は、特徴量算出部３１４が算出した特徴量の次元数を減らした、圧縮後特徴量を算出する。
特徴量出力部５１は、特徴量次元圧縮部４１が算出した圧縮後特徴量を特徴量取得装置１の外部に出力する。例えば、特徴量出力部５１は、入力画像データの送信元のウェブサーバに、圧縮後特徴量を送信する。
【００２２】
次に、特徴量取得装置１の動作について説明する。
図２は、特徴量取得装置１が特徴量（圧縮後特徴量）を求める処理手順を示すフローチャートである。特徴量取得装置１は、画像取得部１１が画像データを取得すると同図の処理を開始する。
なお、以下では、入力画像がカラー画像であり、入力画像データが赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３チャンネルのデータである場合について説明する。入力画像がモノクロ画像の場合は、特徴量取得装置１は１チャンネルのデータを取得して、以下に説明する処理のうち１チャンネル分の処理を行う。
ステップＳ１１〜Ｓ１３では、前処理部２１が入力画像データに対する前処理を行う。まず、対数演算部２１１が、式（１）に基づいて、入力画像データＩに対して、画素毎かつチャンネル毎（色毎）に画素値の対数（ｌｏｇ）を取ったコントラスト強調画像データＩ’を生成する（ステップＳ１１）。
【００２３】
【数１】
2012043397.tif 000003
【００２４】
ここで、「Ｉ」はチャンネル毎かつ画素毎の画素値を要素とする行列であり、「Ｉ＋１」は、行列Ｉの各要素に１を加えることを示す。また、「ｌｏｇ（Ｉ＋１）」は、行列Ｉ＋１の各要素の対数を取ることを示す。
画素値の対数を取ることにより、画素値が比較的小さいレベル（人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。対数演算部２１１は、生成したコントラスト強調画像データＩ’をフィルタリング部２１２に出力する。
【００２５】
次に、フィルタリング部２１２は、対数演算部２１１から出力されるコントラスト強調画像の高周波成分を抑制するフィルタリング処理を行う。具体的には、フィルタリング部２１２は、式（２）に基づいて、フィルタリング処理を行い、高周波成分除去画像データｏｕｔを生成する（ステップＳ１２）。
【００２６】
【数２】
2012043397.tif 000004
【００２７】
ここで、「ｆｆｔ２」は、２次元ｆｆｔ（Fast Fourier Transform、高速フーリエ変換）を示し、「ｉｆｆｔ」は、２次元逆ｆｆｔを示す。また、「＊」は畳み込み演算を示す。また、「ｆ」は、式（３）で示されるフィルタである。
【００２８】
【数３】
2012043397.tif 000005
【００２９】
ここで、「ｆｘ２＋ｆｙ２」は、画素Ｉ（ｘ，ｙ）から入力画像の中心までの距離（画素数）の２乗を示す。また、ｓは定数である。
式（３）に示されるフィルタｆは、高周波成分を抽出するフィルタであり、式（２）では、コントラスト強調画像データＩ’の高周波成分を抽出し、抽出した高周波成分をコントラスト強調画像データＩ’から減算することにより、コントラスト強調画像データＩ’の高周波成分を除去している。高周波成分を除去することで、画像データの微細な部分の特徴量への影響を抑圧できる。これにより、類似画像を検索する際に、画像の微細部分にとらわれずに、より大局的に画像の類似度を評価できる。フィルタリング部２１２は、生成した高周波成分除去画像データを、色空間変換部２１３に出力する。
なお、定数ｓの値については、本願発明者の行った実験において、定数ｓの値を７．２〜７．５の間の値に設定したときに、より良好な結果が得られた。
【００３０】
次に、色空間変換部２１３は、フィルタリング部２１２から出力される高周波成分除去画像データの色空間を、他の色空間に変換した色空間変換画像データを生成する（ステップＳ１３）。
ここで、変換後の色空間は、照明変動に強い色空間であれば任意のものであってよい。例えば、色空間変換部２１３は、式（４）に基づいて、ＲＧＢ色空間をオポーネント（Opponent）色空間に変換する。
【００３１】
【数４】
2012043397.tif 000006
【００３２】
ここで、Ｒ、Ｇ、Ｂは各々、高周波成分除去画像データのうち、赤、緑、青のチャンネル分の部分行列を示す。
照明変動に強い色空間を用いることで、色の違いの特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
例えば、同じものを撮像したにもかかわらず、照明光の影響により異なる色となった２つの画像や、色は異なるが同じ型の自動車を撮像した、同様の構図の２つの画像に対して、オポーネント色空間では、Ｏ３の要素は、色合い、すなわちＲＧＢの画素値の比にかかわらず、ＲＧＢの輝度値の合計に応じて同一の値となる。したがって、オポーネント色空間を用いることにより、色の違いの特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
色空間変換部２１３は、色空間を変換して得られた色空間変換画像データを、方向画像算出部３１１に出力する。
【００３３】
ステップＳ１４〜Ｓ１７では、特徴量取得部３１が特徴量を取得する。
まず、方向画像算出部３１１が、色空間変換部２１３から出力される色空間変換画像データに基づいて方向画像データを生成する（ステップＳ１４）。
方向画像データを生成するために、方向画像算出部３１１は、まずｘ、ｙ方向それぞれについて微分画像データを生成する。
【００３４】
ここで、図３は、方向画像算出部３１１が微分画像データを求めるために用いるマスクの例を示す図である。例えば、方向画像算出部３１１は、色空間変換画像データの各チャンネルの各画素について、図３（ａ）に示すように、左隣の画素の画素値に０．５を乗じた値から、右隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｘ方向の画素値を得る。また、同図（ｂ）に示すように、上隣の画素の画素値に０．５を乗じた値から、下隣の画素の画素値に０．５を乗じた値を減算して、微分画像データにおけるｙ方向の画素値を得る。
これを式で表すと、式（５）のようになる。
【００３５】
【数５】
2012043397.tif 000007
【００３６】
ここで、「Ｏｉ」はチャンネルＯ１、Ｏ２、Ｏ３のいずれかを示し、方向画像算出部３１１は、各チャンネルについて式（５）に基づいて微分画像データを算出する。また、「Ｉ’Ｏｉ_ｘ（ｘ，ｙ）」は、チャンネルＯｉの座標（ｘ，ｙ）における、ｘ方向の微分画像データ値（画素値）を示す。同様に、Ｉ’Ｏｉ_ｙ（ｘ，ｙ）」は、チャンネルＯｉの座標（ｘ，ｙ）における、ｙ方向の微分画像データ値（画素値）を示す。
また、本実施形態では、ｘ座標は、左から右に設定されている。したがって、微分画像データを算出中の画素の座標（ｘ，ｙ）に対して、座標（ｘ−１，ｙ）が左隣の画素の座標であり、座標（ｘ＋１，ｙ）が右隣の画素の座標である。また、ｙ座標は、右から左に設定されている。したがって、座標（ｘ，ｙ−１）が上隣の画素の座標であり、座標（ｘ，ｙ＋１）が下隣の画素の座標である。
【００３７】
次に、方向画像算出部３１１は、式（６）に従って、微分画像データから方向画像データを算出する。
【００３８】
【数６】
2012043397.tif 000008
【００３９】
ここで、θは、方向画像を算出する方向（角度）を示す。例えば、４方向について方向画像データを算出する場合は、θ＝０°、９０°、１８０°、２７０°のいずれかの値をとる。したがって、方向画像算出部３１１は、各チャンネルの各画素について、４つの画素値を算出する。あるいは、８方向について方向画像データを算出する場合は、θ＝０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°のいずれかの値をとり、方向画像算出部３１１は、各チャンネルの各画素について、８つの画素値を算出する。
方向数が多いほど、より精密に画像の類否判断を行い得る特徴量を提供できるが、特徴量を算出するための計算量が増大し、また、特徴量のデータ量も増大する（すなわち、特徴量を記憶しておくために必要となるメモリ容量が増大する）。この、類否判断の精度と、計算量およびメモリ容量のとのトレードオフから、方向数を４〜１６のいずれかに設定することが妥当と思われる。
以下、本実施形態では、方向画像算出部３１１は、８方向について方向画像データを算出する。
【００４０】
方向画像算出部３１１が算出する方向画像データは、それぞれの方向におけるエッジの有無や強さを示すデータである。方向画像データに基づいて特徴量を算出することにより、画像中にてエッジを形成する物の輪郭等が特徴量に反映されるので、画像中に含まれる物の形状が強く反映された特徴量を得ることができる。
また、微分画像に基づいて方向画像を算出することにより、ガボールフィルタ（Gabor filter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
方向画像算出部３１１は、算出した方向画像データをぼかし処理部３１２に出力する。
【００４１】
次に、ぼかし処理部３１２は、方向画像算出部３１１から出力される方向画像データに対し、チャンネル毎、かつ、方向画像データの方向毎にぼかし処理を行って、ぼかし画像データを生成する（ステップＳ２２）。
ここで、図４は、ぼかし処理部３１２が４段階のぼかし処理を行ってぼかし画像データを生成する例を示す図である。例えば、ぼかし処理部３１２は、ガウシアンフィルタ（Gaussian filter）を用いて各段階のぼかし処理を行う。まず、ぼかし処理部３１２は、方向画像データに、カーネル（ぼかし強度を示す）がσ１のガウシアンフィルタを適用してぼかし画像データ１を生成する。次に、ぼかし処理部３１２は、ぼかし画像データ１に、カーネルがσ２のガウシアンフィルタを適用してぼかし画像データ２を生成する。さらに、ぼかし処理部３１２は、ぼかし画像データ２に、カーネルがσ３のガウシアンフィルタを適用してぼかし画像データ３を生成する。そして、ぼかし処理部３１２は、ぼかし画像データ３に、カーネルがσ４のガウシアンフィルタを適用してぼかし画像データ４を生成する。
ここで、カーネルσ１、σ２、σ３、σ４の値は、同じ値であってもよいし、異なる値であってもよい。本願発明者の実験では、各カーネルの値を１．２〜１．５の範囲で設定した場合に、良好な結果が得られた。
【００４２】
ここでいう「ぼかし処理」は、画像の輪郭をぼかす処理である。輪郭をぼかした画像データを生成しておくことにより、例えば類似画像検索において、ピントが合って輪郭がシャープに撮像された画像と、ピントが合わずに輪郭がぼけて撮像された画像との類比判断を行う際に、それぞれのボケ具合の画像を比較して、より適切な判断結果を得ることができる。
ぼかし処理部３１２は、生成した各段階のぼかし画像データを、領域決定部３１３に出力する。
【００４３】
次に、領域決定部３１３は、チャンネル毎、方向画像データの方向毎、かつ、ぼかし処理の段階毎の各ぼかし画像について、特徴量算出部３１４が特徴量を求める際の単位領域を決定する領域分割を行う（ステップＳ２３）。領域決定部３１３は決定した領域毎の画像データ（すなわち、チャンネル毎、方向画像データの方向毎、ぼかし処理の段階毎、かつ、領域毎のぼかし画像データ）を特徴量算出部３１４に出力する。
【００４４】
図５は、領域決定部３１３が決定する領域の例を示す図である。領域決定部３１３は、まず、ぼかし画像を同図に示す８×８のブロックに分割する。そして、中心部分の１６ブロックをまとめて中心領域Ａ１１とし、中心領域Ａ１１の周辺の２０ブロックをまとめて中間領域Ａ１２とし、中間領域Ａ１２の周辺の２８ブロックをまとめて外側領域Ａ１３とする。
このように、画像の中心からの距離（画素数）に基づいて領域分割を行うことにより、画像回転および撮像対象となる物体の回転にも対応することができる。この点について、図６を参照して説明する。
【００４５】
図６は、画像を縦および横に領域分割した領域の例を示す図である。同図の例では、画像（ぼかし画像）が、４行×４列の１６領域Ａ２１１〜Ａ２４４に分割されている。
ここで、左回りに９０°回転された画像が特徴量取得装置１に入力された場合の処理と、回転されていない画像が入力された場合の処理とを比較すると、回転されていない画像で領域Ａ２１４（図６の右上の領域）に含まれる画素が、回転された画像では、領域Ａ２１１（左上の領域）に含まれる。
このため、図６に示す領域分割によると、次のステップＳ２４で領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像と回転されていない画像とでは、平均や分散の並び順が異なる、すなわち、得られる特徴量が異なる。
【００４６】
これに対して、図５に示す領域分割によれば、回転されていない画像において右上端のブロックに含まれる画素が、回転された画像において左上端のブロックに含まれるようになっても、いずれも領域Ａ１３に含まれている。したがって、次のステップＳ２４で領域毎に平均および分散を算出して特徴量を求めた際に、回転された画像と回転されていない画像とで同一の特徴量が得られる。
【００４７】
次に、特徴量算出部３１４は、領域決定部３１３から入力される画像データについて、画素値の平均と分散とを領域毎に示す特徴量を算出する（ステップＳ２４）。
図７は、特徴量算出部３１４が算出する特徴量のデータ構成を示す図である。同図に示すように、特徴量算出部３１４は、領域決定部３１３から入力されるぼかし画像データの画素値の平均および分散を、チャンネル毎、方向画像データの方向毎、ぼかし処理の段階毎、かつ、領域毎に算出して、５７６次元の特徴量を生成する。すなわち、方向数８×ぼかし処理の段階数４×平均と分散とで次元数２×領域数３×チャンネル数３＝５７６次元となる。
【００４８】
具体的処理としては、まず、特徴量算出部３１４は、チャンネル毎、方向画像データの方向毎、ぼかし処理の段階毎に、（１）領域毎の画素値の平均および分散を算出し、（２）算出した平均および分散に、領域に応じた重み係数を乗算する。
この重み係数は、人間の視覚において画像の中心部が注目される特性に応じた特徴量を生成するために乗算されるものであり、中心領域の重み係数は、中間領域および外側領域の重み係数よりも大きい値とする。例えば、中心領域の重み係数ｗ＿ｃとして０．６、中間領域の重み係数ｗ＿ｍとして０．３、外側領域の重み係数ｗ＿ｃとして０．１を、それぞれ用いる。
【００４９】
次に、特徴量算出部３１４は、特徴量のデータ全体について値の総和を１とする正規化を行う。すなわち、５７６個のデータの合計値を算出し、算出した合計値で各平均および分散を除算する。
この正規化により、画像全体の明るさの影響を緩和した特徴量を得ることができる。
【００５０】
このように、特徴量算出部３１４は、方向画像における画素値の平均および分散に基づいて特徴量を算出する。平均や分散は、データの特性を端的に示す指標値であり、この平均および分散を特徴量に用いることにより、画像の特性を的確に捉えた特徴量を得られる。
特徴量算出部３１４は、算出した特徴量を、特徴量次元圧縮部４１に出力する。
【００５１】
次に、特徴量次元圧縮部４１は、特徴量算出部３１４から出力される特徴量の次元（データ数）を圧縮することによるデータ圧縮を行って、圧縮後特徴量を算出する（ステップＳ３１）。特徴量次元圧縮部４１は、特徴量の次元を圧縮する技術として、様々な既存の次元圧縮技術を用いることができる。例えば、特徴量次元圧縮部４１は、主成分分析（Principal Component Analysis；ＰＣＡ）を行って、以下のように次元圧縮を行う。
まず、特徴量取得装置１は、予め、Ｍ枚の学習画像の各々に対して、上述した入力画像の場合と同様の処理を行ってＮ次元（本実施形態では５７６次元）の特徴量を算出し、式（７）に示されるＮ×Ｍ次元の行列を得る。
【００５２】
【数７】
2012043397.tif 000009
【００５３】
ここで、行列Ｘの１列分が１枚の学習画像から得られるＮ次元の特徴量に相当し、このＮ次元の特徴量が学習画像の枚数に応じてＭ列並んでいる。
そして、特徴量次元圧縮部４１は、式（８）に基づいて、行列Ｘの分散共分散行列Σを算出する
【００５４】
【数８】
2012043397.tif 000010
【００５５】
ここで、「Σ」は分散協分散行列を示し、「Ｅ」は期待値を示し、「Ｔ」は転置行列を示す。
さらに、特徴量次元圧縮部４１は、式（９）を満たす、分散協分散行列の固有ベクトルＹと、期待値Ｅ［Ｘ］とを予め記憶しておく。
【００５６】
【数９】
2012043397.tif 000011
【００５７】
ここで、「Ｙ」は、分散協分散行列Σの固有ベクトルを示し、「λ」は、分散協分散行列Σの固有値を示す。以下では、固有ベクトルＹおよび期待値Ｅ［Ｘ］を「辞書」と称する。
【００５８】
次元圧縮を行う際には、特徴量次元圧縮部４１は、予め記憶する辞書を用いて、式（１０）の行列Ｆ’を算出する。
【００５９】
【数１０】
2012043397.tif 000012
【００６０】
このＦ’は、特徴量と同じくＮ個（本実施形態では５７６個）の要素を有するＮ次元ベクトルである。すなわち、この段階ではまだ次元圧縮されていない。ただし、Ｆ’では、学習画像間における相違点と相関性の強い要素ほど上位に位置している。
そこで、特徴量次元圧縮部４１は、Ｆ’の要素を上位からｎ（ｎは、０＜ｎ≦Ｎの正整数）個選んで圧縮後特徴量を生成する。ここで、ｎは予め定められる定数であり、例えば、特徴量の５７６次元に対して、３６〜１００のいずれかの値に定められている。このｎの値を小さく設定するほど、圧縮後特徴量の次元を削減できるので、圧縮後特徴量を記憶するためのデータ量が少なくて済み、また、画像の類似性判定の際の計算量が少なくて済む。一方、ｎの値を小さく設定するほど、特徴量に含まれていた情報の欠落度合いが大きくなり、画像の類否判断等の精度が低下する。そこで、ｎの値は、例えば、特徴量取得装置１を実際に運用する中で、特徴量を利用するアプリケーションにおいて求められる画像の類否判定等の精度と、許容されるメモリ容量および計算量とのトレードオフに基づいて定める。
以上のように、主成分分析を行って特徴量の次元を圧縮することにより、特徴量算出部３１４が算出した特徴量の、画像の相違点を示す情報の多くを保持しつつ、データ量を圧縮できる。
【００６１】
その後、特徴量次元圧縮部４１は生成した圧縮後特徴量を特徴量出力部５１に出力し、特徴量出力部５１は、入力画像の送信元のウェブサーバ等、圧縮後特徴量の要求元に対して、特徴量次元圧縮部４１から出力される圧縮後特徴量を送信する。
この圧縮後特徴量の利用方法としては、例えば、類似する複数の画像を検索する画像処理サービスを提供するウェブサーバが、類似画像を検索する際に、以下のように利用することが考えられる。
まず、このウェブサーバが、予めバックグラウンド処理にてＷＷＷ（World Wide Web）上から様々な画像データを取得する。そして、ウェブサーバは、取得した画像データを特徴量取得装置１に送信して圧縮後特徴量を取得し、画像データと圧縮後特徴量とを対応付けて記憶しておく。
そして、ウェブサーバは、画像処理要求を受信すると、処理対象の画像データ（画像処理要求に含まれる画像データ）を特徴量取得装置１に送信して、当該画像データの圧縮後特徴量を取得する。
そして、ウェブサーバは、処理対象の画像データの圧縮後特徴量と、予め記憶する各画像の圧縮後特徴量とを比較して、特徴量の類似する画像を選択することにより、処理対象の画像に類似する画像のデータを選択して画像処理サービスを行う。
【００６２】
以上説明したように、特徴量取得装置１は、データの特性を端的に示す指標である平均および分散に基づいて特徴量を取得するので、画像毎の特性の違いを適切に反映し、比較的次元数の少ない特徴量を得ることができる。
特に本願発明者の行った実験にて、平均および分散に基づいて特徴量を取得することにより、ＧＩＳＴによって得られる特徴量よりも少ない次元の特徴量にて、ＧＩＳＴと同等の精度にて画像分類や類似画像検索を行うことができた。
【００６３】
また、方向画像算出部３１１が、微分画像データを算出し、算出した微分画像データに基づいて方向画像を算出することにより、ガボールフィルタ（Gabor filter）を用いて方向画像を求める方法よりも、少ない演算量で方向画像を得ることができる。
また、ぼかし処理部３１２が複数段階のぼかし処理を行い、特徴量算出部３１４が、ぼかし処理の各段階で得られるぼかし画像データについて特徴量を求めることにより、この特徴量を用いて、ピントが合っている画像とピントが合っていない画像との類否判断など、画像のぼけ具合に関わらず、画像類否判断や画像分類等の処理を適切に行うことが出来る。
【００６４】
また、領域決定部３１３が、画像の中心（縦方向および横方向の画素数にて示される中心）からの、画素数にて示される距離に基づいて領域を決定し、特徴量算出部３１４が、領域毎に画素値の平均と分散を求めて特徴量を算出することにより、画像回転に対応できる。すなわち、回転された画像が入力された場合にも、回転されていない画像が入力された場合と同様の特徴量を求めることができる。
【００６５】
また、特徴量次元圧縮部４１が、主成分分析等の次元圧縮技術を用いて特徴量の次元を圧縮することにより、画像類否判断や画像分類等の際の精度を保持しつつ、特徴量のデータ量を圧縮できる。このデータ量の圧縮により、特徴量を記憶するためのメモリ容量を削減できると共に、画像類否判断や画像分類等の際の、特徴量の類否判定の演算量を削減できる。
【００６６】
なお、特徴量取得装置１が、前処理部２１の一部または全部を備えない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、対数演算部２１１を具備することにより、画素値が比較的小さいレベル（人間の目が明るさの差を感じやすいレベル）におけるコントラストが強調され、より適切に画像の特徴を特徴量に反映させることが可能となる。また、フィルタリング部２１２を具備することにより、画像データの微細な部分の特徴量への影響を抑圧できる。また、色空間変換部２１３を具備することにより、色の違いの特徴量への影響を軽減して、より適切な特徴量を得ることが可能になる。
【００６７】
また、特徴量取得装置１が、方向画像算出部３１１と、ぼかし処理部３１２と、領域決定部３１３との一部または全部を具備しない構成としてもよい。例えば、特徴量取得装置１が方向画像算出部３１１を具備しない場合は、特徴量算出部３１４は、方向画像に換えて、入力画像あるいは入力画像に対して前処理等の処理が行われた画像に基づいて特徴量を算出する。これにより、装置の構成を簡略化し、また、計算量を削減できる。
一方、前述したように、特徴量取得装置１が、方向画像算出部３１１を具備することにより、画像中に含まれる物の形状が強く反映された特徴量を得ることができる。また、ぼかし処理部３１２を具備することにより、画像中の輪郭等のぼけ具合に関わらず、より適切に画像の類否判断等を行える特徴量を取得できる。また、領域決定部３１３を具備することにより、特徴量算出部３１４が特徴量を算出する際に、人間の視覚の特性に応じて、画像の中心ほど大きい値の重み係数を乗じて重み付けを行うことができる。
なお、ぼかし処理部３１２が行うぼかし処理は、上述した４段階の処理に限らない。例えば、３段階など、４段階以外の処理を行うようにしてもよい。
なお、領域決定部３１３が行う領域決定（領域分割）は、図５で説明したものに限らない。例えば、画像を左右に２分割する領域決定、あるいは、図６で説明した領域決定など、図５で説明した以外の領域決定を行うようにしてもよい。一方、図５で説明した領域決定を行うことにより、上述したように、画像回転に対応でき、また、人間の視覚の特性に応じた重み付けを行える。
【００６８】
また、特徴量取得装置１が、特徴量次元圧縮部４１を具備しない構成としてもよい。これにより、装置の構成を簡略化し、また、計算量を削減できる。また、特徴量次元圧縮部４１による特徴量の次元圧縮を行わない場合でも、上述したように、例えばＧＩＳＴにおける特徴量と比べて次元の小さい特徴量が得られる。
一方、前述したように、特徴量取得装置１が、特徴量次元圧縮部４１を具備することにより、次元圧縮前の特徴量に含まれる、画像の相違点を示す情報の多くを保持しつつ、特徴量の次元をさらに小さくできる。
【００６９】
＜第２の実施形態＞
第２の実施形態では、第１の実施形態で説明した特徴量取得装置を用いて類似画像を検索する類似画像検索装置の一例について説明する。
図８は、本発明の第２の実施形態における類似画像検索装置の概略構成を示す構成図である。同図において、類似画像検索装置６は、入力部６１と、表示部６２と、記憶部６３と、検索対象画像取得部６４と、特徴量取得装置１と、類似画像検索部６５と、検索結果表示処理部６６とを具備する。
【００７０】
入力部６１は、マウスやキーボード等の入力デバイスを具備し、類似画像検索の元画像となる検索対象画像の指定など、類似画像検索装置６のユーザによる入力操作を受け付ける。表示部６２は、例えば液晶ディスプレイによる表示画面を備え、画像やテキスト等の各種データを表示する。特に、表示部６２は、類似画像検索装置６による類似画像の検索結果を表示する。
記憶部６３は、類似画像検索装置６が検索する類似画像の候補である複数の候補画像を、特徴量と対応付けて予め記憶する。
【００７１】
検索対象画像取得部６４は、ユーザの入力操作に基づいて、類似画像検索の元画像となる検索対象画像を取得する。
特徴量取得装置１は、図１の特徴量取得装置と同様であり、検索対象画像取得部６４から入力される画像の特徴量を取得する。
類似画像検索部６５は、検索対象画像取得部６４が取得した検索対象画像と類似する類似画像を、記憶部６３の記憶する候補画像の中から選択する。すなわち、類似画像検索部６５は、記憶部６３を検索して類似画像を取得する。検索結果表示処理部６６は、類似画像検索部６５が選択した類似画像を表示部６２に表示させる。
【００７２】
次に、類似画像検索装置６の動作について説明する。
図９は、類似画像検索装置６が行う画像検索の処理手順の概略を示すフローチャートである。同図において、まず、ステップＳ２１１で、検索対象画像取得部６４は、類似画像検索の元画像となる検索対象画像の指定を受け付ける。次に、ステップＳ２１２で、特徴量取得装置１は、指定された画像の特徴量を取得する。次に、ステップＳ２１３で、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき類似画像を検索する。次に、ステップＳ２１４で、検索結果表示処理部６６は、検索により得られた類似画像を表示する。以下、これらのステップの各々について詳細に説明する。
【００７３】
ステップＳ２１１において、検索対象画像取得部６４は、類似画像検索の元画像となる検索対象画像の指定を受け付ける。
ここで、図１０は、検索対象画像の指定に際して表示部６２が表示する画面の例を示す図である。
【００７４】
例えば、図１０に示されるように、複数の画像（のサムネイル表示）の各々の下に「似た画像」の選択欄が付されたウェブページを、表示部６２が表示する。ここで表示部６２が表示するウェブページは、例えば、検索対象画像取得部６４が、類似画像検索装置６のユーザによる類似画像検索要求操作に従って、ユーザが閲覧中のウェブページに含まれる画像を、１枚のウェブページに纏め、「似た画像」の選択欄を付したものである。
そして、入力部６１は、この選択欄のいずれかをマウスクリックすることによる検索対象画像の選択操作を受け付ける。そして、検索対象画像取得部６４は、入力部６１が受け付けた選択操作に基づいて、マウスクリックされた選択欄に対応付けられた画像を、検索対象画像として取得（選択）し、取得した検索対象画像を特徴量取得装置１に出力する。その後、ステップＳ２１２に進む。
【００７５】
なお、検索対象画像の候補は、上述した、ユーザが閲覧中のウェブページに含まれる画像に限らない。類似画像検索装置６（検索対象画像取得部６４）は、様々な画像を検索対象画像とすることができる。例えば、検索対象画像取得部６４が、記憶部６３が記憶する画像の中からユーザによって選択された画像を、検索対象画像として取得するようにしてもよい。
また、検索対象画像の指定方法は、上述した選択欄をマウスクリックする方法に限らない。例えば、ユーザが、検索対象に指定したい画像をスキャナに読み取らせ、検索対象画像取得部６４が、スキャナから画像データを取り込むようにしてもよい。あるいは、ユーザが、検索対象に指定したい画像のファイル名を、入力部６１のキーボードを用いて入力することによって、検索対象画像を指定するようにしてもよい。
【００７６】
ステップＳ２１２において、特徴量取得装置１は、第１の実施形態で説明した特徴量取得方法を用いて、指定された検索対象画像の特徴量を取得する。
ステップＳ２１３において、類似画像検索部６５は、特徴量取得装置１が取得した特徴量に基づき、類似画像検索を行う。
ここで、記憶部６３は、検索対象画像に類似する類似画像の候補である複数の候補画像と、ステップＳ２１２で特徴量取得装置１が行う特徴量取得方法を当該候補画像に適用して得られる特徴量とを対応付けて、予め記憶している。記憶部６３が記憶する候補画像は、例えば、類似画像検索装置６がバックグラウンドで、インターネット上の予め指定されたウェブページから取得した画像である。そして、類似画像検索装置６は、このウェブページから取得した画像を、特徴量取得装置１に出力して特徴量を取得し、画像と特徴量とを対応付けて、記憶部６３に予め（類似画像検索開始前に）書き込んでおく。
【００７７】
そして、類似画像検索部６５は、候補画像の各々について、当該候補画像の特徴量と検索対象画像の特徴量との距離（以下、「画像間距離」と称する）を算出し、算出した画像間距離に基づいて類似画像（検索結果画像）を選択する。
ここでいう画像間距離とは、２つの特徴量の類似度を示す尺度である。例えば、類似画像検索部６５は、式（１１）に基づいて、候補画像のうちｊ番目の画像（ここでの順序付けは、候補画像の順序を一意に決定できる順序付けであればよい。例えば、記憶部６３のメモリ空間において、各候補画像が記憶されている記憶領域の先頭アドレスの小さい順を用いることができる。）と検索対象画像との画像間距離を算出する。
【００７８】
【数１１】
2012043397.tif 000013
【００７９】
ここで、記憶部６３の記憶する候補画像の数をＭ枚として、ｊは１≦ｊ≦Ｍの正整数である。また、Ｎは、特徴量取得装置１が取得する特徴量の次元数であり、Ｎ個のスカラー量で１枚の画像の特徴量が示されているとする。また、二次元配列Ｄ（ｉ，ｊ）の第ｊ列にあたるＮ次元ベクトルＤ（ｉ，ｊ）（１≦ｉ≦Ｎ）は、候補画像のうちｊ番目の画像の特徴量を示し、Ｎ次元ベクトルｄ（ｉ）（１≦ｉ≦Ｎ）は、検索対象画像の特徴量を示し、Ｓ（ｊ）は、候補画像のうちｊ番目の画像と、検索対象画像との画像間距離を示す。
【００８０】
類似画像検索部６５は、この画像間距離Ｓ（ｊ）が小さい候補画像ほど、検索対象画像に類似する（画像の類似度が高い）と判定する。すなわち、Ｍ枚全ての画像と検索対象画像との間の画像間距離Ｓ（ｊ）を計算し、次にＳ（ｊ）の小さいものから順にＲ個（０≦Ｒ≦Ｍ）を検索結果として選び出すことで、類似画像検索を行う。そして、類似画像検索部６５は、検索結果を検索結果表示処理部６６に出力する。例えば、記憶部６３が、各候補画像を識別する画像番号と当該候補画像とを対応付けて記憶しておき、類似画像検索部６５は、画像間距離の小さい順にＲ個の画像番号を検索結果表示処理部６６に出力する。
なお、類似画像検索部６５が画像間距離を取得する方法は、上述した方法に限らず、各候補画像と検索対象画像との類似度を示す画像間距離を得られる方法であればよい。例えば、式（１１）に示される式に代えて、式（１２）に示される式を用いるようにしてもよい。
【００８１】
【数１２】
2012043397.tif 000014
【００８２】
ここで、Ｎ、ｉ、ｊ、Ｄ（ｉ，ｊ）、ｄ（ｉ）、Ｓ（ｉ）は、式（１１）で説明したのと同様である。
【００８３】
ステップＳ２１４において、検索結果表示処理部６６は、検索結果を表示する。
例えば、検索結果表示処理部６６は、類似画像検索部６５から出力される検索結果を、類似画像検索部６５から出力される順（画像間距離の小さい順）にサムネイル表示する。
【００８４】
このように、類似画像検索装置６は、第１の実施形態で説明した特徴量取得方法を用いて類似画像を検索するので、比較的次元数の少ない特徴量を用いて、適切な類似画像を行うことができる。すなわち、記憶部６３が特徴量を記憶するための記憶容量を削減しつつ、適切に類似画像を検索することができる。
【００８５】
なお、特徴量取得装置１または類似画像検索装置６の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の保持装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００８６】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００８７】
１  特徴量取得装置
１１  画像取得部
２１  前処理部
２１１  対数演算部
２１２  フィルタリング部
２１３  色空間変換部
３１  特徴量取得部
３１１  方向画像算出部
３１２  ぼかし処理部
３１３  領域決定部
３１４  特徴量算出部
４１  特徴量次元圧縮部
５１  特徴量出力部
６  類似画像検索装置
６１  入力部
６２  表示部
６３  記憶部
６４  検索対象画像取得部
６５  類似画像検索部
６６  検索結果表示処理部
【図１】
2012043397.tif 000015
【図２】
2012043397.tif 000016
【図３】
2012043397.tif 000017
【図４】
2012043397.tif 000018
【図５】
2012043397.tif 000019
【図６】
2012043397.tif 000020
【図７】
2012043397.tif 000021
【図８】
2012043397.tif 000022
【図９】
2012043397.tif 000023
【図１０】
2012043397.tif 000024