(57)【要約】【課題】類似被写体の見えが大きく異なる場合や前景被写体領域が既知でない場合であっても類似被写体を含む画像を検出する。【解決手段】類似画像検出対象となる複数の画像に対して被写体が属すると推定される前景候補領域の初期状態を決定する前景領域初期状態決定部と、前景候補領域に基づいて画像特徴量を画像ごとに抽出する画像特徴抽出部と、各画像の画像特徴量に基づいて画像のクラスタリングを行うクラスタリング部と、各クラスタからアンカー画像の集合を決定するアンカー画像集合決定部と、画像ごとに前景候補領域が最も類似しているアンカー画像の前景領域との見えの違いを最小にするように画像を変形させる画像変形部と、画像変形部が変形させた各画像に基づいて前景候補領域を更新するコセグメンテーション部と、更新前後の前景候補領域を画像ごとに比較し、比較結果に応じて各機能部を繰り返し動作させるか否かを判定する終了判定部とを備える。【選択図】図１
2015111373.tif 000002
【特許請求の範囲】
【請求項１】
類似画像検出装置が行う類似画像検出方法であって、
類似画像の検出対象となる複数の画像それぞれに対して、画像内被写体が属すると推定される前景候補領域の初期状態を決定する前景領域初期状態決定ステップと、
前記前景候補領域に基づいて画像特徴量を前記画像ごとに抽出する画像特徴抽出ステップと、
前記画像ごとの画像特徴量に基づいて複数の前記画像のクラスタリングを行うクラスタリングステップと、
複数の前記画像をクラスタリングして得られた各クラスタからアンカー画像の集合を決定するアンカー画像集合決定ステップと、
前記画像ごとに前景候補領域が最も類似しているアンカー画像の前景領域との見えの違いを最小にするように画像を変形させる画像変形ステップと、
前記画像変形ステップにおいて変形させた各画像に基づいて前記前景候補領域を更新するコセグメンテーションステップと、
前記コセグメンテーションステップにおいて更新された前記前景候補領域と更新前の前記前景候補領域とを前記画像ごとに比較し、比較結果に応じて前記画像特徴抽出ステップと前記クラスタリングステップと前記アンカー画像集合決定ステップと前記画像変形ステップと前記コセグメンテーションステップとを繰り返し行うか否かを判定する終了判定ステップと、
を有することを特徴とする類似画像検出方法。
【請求項２】
請求項１に記載の類似画像検出方法において、
前記画像変形ステップでは、
前記画像それぞれの前景候補領域に基づいて局所特徴量を抽出し、抽出した局所特徴量に基づいて前記画像を変形させる際の変形パラメータを定める
ことを特徴とする類似画像検出方法。
【請求項３】
類似画像の検出対象となる複数の画像それぞれに対して、画像内被写体が属すると推定される前景候補領域の初期状態を決定する前景領域初期状態決定部と、
前記前景候補領域に基づいて画像特徴量を前記画像ごとに抽出する画像特徴抽出部と、
前記画像ごとの画像特徴量に基づいて複数の前記画像のクラスタリングを行うクラスタリング部と、
複数の前記画像をクラスタリングして得られた各クラスタからアンカー画像の集合を決定するアンカー画像集合決定部と、
前記画像ごとに前景候補領域が最も類似しているアンカー画像の前景領域との見えの違いを最小にするように画像を変形させる画像変形部と、
前記画像変形部が変形させた各画像に基づいて前景候補領域を更新するコセグメンテーション部と、
前記コセグメンテーション部が更新した前景候補領域と更新前の前景候補領域とを前記画像ごとに比較し、比較結果に応じて前記画像特徴抽出部と前記クラスタリング部と前記アンカー画像集合決定部と前記画像変形部と前記コセグメンテーション部とを繰り返し動作させるか否かを判定する終了判定部と、
を備えることを特徴とする類似画像検出装置。
【請求項４】
請求項１又は請求項２のいずれかに記載の類似画像検出方法をコンピュータに実行させるための類似画像検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、類似した被写体を含む画像を検出する類似画像検出方法、類似画像検出装置及び類似画像検出プログラムに関する。
【背景技術】
【０００２】
類似画像検索における検索対象は、例えば画像全体もしくはその一部、あるいは画像の雰囲気等様々なものが考えられる。その中でも特に、画像の一部に写り込んだ画像内被写体（例えば人物や物体など）は、検索対象として特に需要が高いといわれている。一重に被写体を含む画像といっても、それらは背景等の撮影環境、及び被写体を撮影した方向や位置、距離といった撮影条件によって全く異なった見た目となりうる。画像内被写体に関する類似画像検索の中でも、特に商品画像検索等においては、クエリとなる画像の撮影環境及び条件に依存することなく、画像に写り込んだ被写体そのものの類似度に基づいて検索結果が出力されることが望ましい。そのためには、画像内被写体の見えの変化に頑健に、類似した被写体を含む画像が検索できる必要がある。
【０００３】
画像内被写体の見えの変化に対して頑健に、類似した被写体を含む画像を発見するためには、（ａ）対象となる各画像から被写体が写り込んでいる領域を検出し、（ｂ）それらの領域間における見えの違いを最小化した上でそれらの類似性を評価するという、大きく２つの処理が必要になる。
【０００４】
以下では、画像内で被写体が写り込んでいる領域を前景被写体領域と定義する。処理（ａ）の、画像内の前景被写体領域を検出する技術として、例えば特許文献１に記載の技術がある。特許文献１に記載の技術では、テンプレート画像に類似する領域を有する画像及びその領域を発見する技術が開示されている。また、非特許文献１では、適用対象の画像集合の中に、類似した前景被写体が類似した見えで含まれるという仮定のもと、画像前景候補領域間でＳＩＦＴ  Ｆｌｏｗに基づくピクセル単位での対応付けから得られたピクセルごとの変位のエントロピーを評価関数の項に含むような、全対象画像群から構成されるマルコフ確率場を解くことにより、対象画像群中に多く含まれる前景被写体の領域を検出（コセグメンテーション）する技術が開示されている。
【０００５】
また処理（ｂ）の前景領域間の類似性を見えの違いを最小化した上でそれらの類似性の評価は、前景領域が既知であれば、一方の前景領域との見えの違いが最小となるように他方の前景領域を変形させた上で任意の画像特徴を抽出し、抽出した画像特徴を評価することで得られる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−１０９６５８号公報
【非特許文献】
【０００７】
【非特許文献１】Michael Rubinstein, Armand Joulin, Johannes Kopf and Ce Liu, "Unsupervised Joint Object Discovery and Segmentation in Internet Images", In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013, p.1939-1946
【発明の概要】
【発明が解決しようとする課題】
【０００８】
まず処理（ａ）に関する技術について述べる。特許文献１に記載されている技術で用いられるテンプレート画像は一般的に矩形の画像であることが多い。そのため、前景被写体の形状が矩形形状と大きく異なる場合には背景ノイズが含まれることになり、前景被写体そのものの類似性が評価されていないことになってしまうという問題がある。また、特許文献１に記載されている技術では、前景被写体の見えの違いが考慮されていないため、画像領域間の類似性は前景被写体の見えに依存してしまうという問題もある。
【０００９】
また、非特許文献１に記載されている技術は、適用対象の画像集合の中に、類似した前景被写体が類似した見えで含まれるという仮定のもとでは精度よく前景領域の検出がなされる。しかし、類似した前景被写体の見えが大きく異なる場合、すなわち前景領域間で対応付けられるピクセル間の変位が大きい場合、変位が十分小さいことを仮定するＳＩＦＴ  Ｆｌｏｗでは正確なピクセル間の対応付けが行われず、したがって前景被写体領域検出（コセグメンテーション）の精度が低下するという問題がある。
【００１０】
次に処理（ｂ）に関する技術については、前景領域の見えの違いが最小となるように画像を変形させるには、画像内の前景領域が既知である必要がある。前景領域が既知でない場合、前景領域の見えの違いが最小となるように画像を変形させることができないという問題がある。
【００１１】
以上から明らかなように、画像内被写体の見えの変化に頑健に類似した被写体を含む画像を検出する上で必要な処理となる、処理（ａ）「対象となる各画像から被写体が写り込んでいる領域の検出」と、処理（ｂ）「見えの違いを最小化した上で前景被写体領域間の類似性評価」との両者を共に実施できる技術が存在しないという問題があった。
【００１２】
本発明は、上記の問題を解決するためになされたものであり、類似被写体の見えが大きく異なる場合や前景被写体領域が既知でない場合であっても、類似被写体を含む画像を検出することができる類似画像検出方法、類似画像検出装置及び類似画像検出プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明の一態様は、類似画像検出装置が行う類似画像検出方法であって、類似画像の検出対象となる複数の画像それぞれに対して、画像内被写体が属すると推定される前景候補領域の初期状態を決定する前景領域初期状態決定ステップと、前記前景候補領域に基づいて画像特徴量を前記画像ごとに抽出する画像特徴抽出ステップと、前記画像ごとの画像特徴量に基づいて複数の前記画像のクラスタリングを行うクラスタリングステップと、複数の前記画像をクラスタリングして得られた各クラスタからアンカー画像の集合を決定するアンカー画像集合決定ステップと、前記画像ごとに前景候補領域が最も類似しているアンカー画像の前景領域との見えの違いを最小にするように画像を変形させる画像変形ステップと、前記画像変形ステップにおいて変形させた各画像に基づいて前記前景候補領域を更新するコセグメンテーションステップと、前記コセグメンテーションステップにおいて更新された前記前景候補領域と更新前の前記前景候補領域とを前記画像ごとに比較し、比較結果に応じて前記画像特徴抽出ステップと前記クラスタリングステップと前記アンカー画像集合決定ステップと前記画像変形ステップと前記コセグメンテーションステップとを繰り返し行うか否かを判定する終了判定ステップと、を有することを特徴とする類似画像検出方法である。
【００１４】
また、本発明の一態様は、上記の類似画像検出方法において、前記画像変形ステップでは、前記画像それぞれの前景候補領域に基づいて局所特徴量を抽出し、抽出した局所特徴量に基づいて前記画像を変形させる際の変形パラメータを定めることを特徴とする。
【００１５】
また、本発明の一態様は、類似画像の検出対象となる複数の画像それぞれに対して、画像内被写体が属すると推定される前景候補領域の初期状態を決定する前景領域初期状態決定部と、前記前景候補領域に基づいて画像特徴量を前記画像ごとに抽出する画像特徴抽出部と、前記画像ごとの画像特徴量に基づいて複数の前記画像のクラスタリングを行うクラスタリング部と、複数の前記画像をクラスタリングして得られた各クラスタからアンカー画像の集合を決定するアンカー画像集合決定部と、前記画像ごとに前景候補領域が最も類似しているアンカー画像の前景領域との見えの違いを最小にするように画像を変形させる画像変形部と、前記画像変形部が変形させた各画像に基づいて前景候補領域を更新するコセグメンテーション部と、前記コセグメンテーション部が更新した前景候補領域と更新前の前景候補領域とを前記画像ごとに比較し、比較結果に応じて前記画像特徴抽出部と前記クラスタリング部と前記アンカー画像集合決定部と前記画像変形部と前記コセグメンテーション部とを繰り返し動作させるか否かを判定する終了判定部と、を備えることを特徴とする類似画像検出装置である。
【００１６】
また、本発明の一態様は、上記の類似画像検出方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【００１７】
本発明によれは、画像を変形させることによる前景候補領域を変形させる処理と、前景候補領域を更新する処理とを交互に繰り返すことによって、一方の処理の結果を他方の処理の結果で用いることにより、前景被写体領域の検出精度と前景領域間の類似性の評価精度とを向上させることができ、画像内被写体の見えの変化に頑健に、類似した被写体を含む画像を検出することができる。その結果、類似被写体の見えが大きく異なる場合や前景被写体領域が既知でない場合であっても類似被写体を含む画像を検出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明に係る実施形態の類似画像検出装置１の構成例を示すブロック図である。
【図２】同実施形態における類似画像検出装置１が行う画像分類処理を示すフローチャートである。
【図３】同実施形態の画像変形部１６におけるアフィン変換の角度ψ、θ、φを示す図である。
【図４】同実施形態における類似画像検出装置１による効果の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明に係る実施形態における類似画像検出方法、類似画像検出装置及び類似画像検出プログラムを説明する。本実施形態では、データベースに記憶されているＮ枚の対象画像集合を集合Ｉ＝｛Ｉｉ｝ｉ＝１Ｎと定義し、画像Ｉｉを構成するピクセル集合のうち、前景被写体領域に属するピクセルの集合を集合Ｆｉと定義する。また、集合Ｉの部分集合であるアンカー画像集合を集合Ｕ＝｛Ｕｉ｝ｉ＝１ｋ⊂Ｉとし、アンカー画像Ｕｉと最も類似した画像から構成される集合Ｉの部分集合、すなわちクラスタをＣＵｉ∈Ｉとする。本実施形態において類似画像検出装置が行う、画像内被写体の見えの変化に頑健な処理であって類似した画像内被写体を含む画像を発見する処理とは、クラスタ集合｛ＣＵ０，ＣＵ１，…，ＣＵｋ｝を、類似被写体の見えの変化に対して頑健に決定することに他ならない。
【００２０】
図１は、本発明に係る実施形態の類似画像検出装置１の構成例を示すブロック図である。同図に示すように、類似画像検出装置１は、画像入力部１１、前景領域初期状態決定部１２、画像特徴抽出部１３、クラスタリング部１４、アンカー画像集合決定部１５、画像変形部１６、コセグメンテーション部１７、及び、終了判定部１８を備えている。
【００２１】
画像入力部１１は、外部の画像データベース２から分類の対象となる画像集合を入力する。画像データベース２には、類似画像の検出対象となる複数の画像が予め記憶されている。
前景領域初期状態決定部１２は、画像入力部１１が入力する画像集合に含まれる各画像に対して、前景被写体が属する領域と推定される前景候補領域の初期値を決定する。
画像特徴抽出部１３は、画像ごとに、決定された前景候補領域から画像特徴を算出する。
【００２２】
クラスタリング部１４は、画像ごとに算出された画像特徴量に基づいて各画像をクラスタリングする。
アンカー画像集合決定部１５は、クラスタリング部１４によるクラスタリングの結果に基づいて、アンカー画像集合を決定する。
【００２３】
画像変形部１６は、最も前景候補領域の類似したアンカー画像との見えの違いを最小化するように各画像を変形させる。
コセグメンテーション部１７は、画像変形部１６によって変形された画像を用いてコセグメンテーションを行い、各画像の前景候補領域を更新する。
【００２４】
終了判定部１８は、コセグメンテーション部１７によって更新された前景候補領域の変化の度合いに基づいて、画像を分類する処理を終了させるか否かを判定する。処理を終了させるか否かの判定における条件には、任意の条件を設定することが可能である。判定の条件として、例えばコセグメンテーション部１７による前景候補領域の更新において、前景から背景に、もしくは背景から前景に変更された画像におけるピクセル数が、画像全体のピクセル数に対して予め定められた割合以下であるか否かを用いることができる。
【００２５】
判定の条件が満たされた場合、終了判定部１８は、クラスタリング部１４によって得られたクラスタ集合｛ＣＵ０，ＣＵ１，…，ＣＵｋ｝を分類結果として出力して、処理を終了させる。一方、判定の条件が満たされていない場合、終了判定部１８は、コセグメンテーション部１７によって更新された前景候補領域に基づいて、各画像の画像特徴を画像特徴抽出部１３に算出させて、判定の条件が満たされるまで以降の処理を繰り返し行わせる。
【００２６】
図２は、本実施形態における類似画像検出装置１が行う画像分類処理を示すフローチャートである。類似画像検出装置１において、画像分類処理が開始されると、画像入力部１１が、外部の画像データベース２から分類の対象にする複数の画像を含む画像集合Ｉを入力する（ステップＳ１０１）。
【００２７】
前景領域初期状態決定部１２は、画像入力部１１が入力した画像集合Ｉに含まれる各画像Ｉｉ∈Ｉについて、画像Ｉｉにおける前景候補領域Ｆｉの初期状態を決定する。前景領域初期状態決定部１２は、画像Ｉｉごとに決定した前景候補領域Ｆｉを画像特徴抽出部１３に出力する（ステップＳ１０２）。
【００２８】
前景候補領域Ｆｉの初期状態を決定する方法は、例えば各画像Ｉｉから顕著性マップを算出し、算出した顕著性マップから前景候補領域を推定する。画像Ｉｉから顕著性マップを算出するには公知の方法を用いることができる。公知の方法としては、例えば、参考文献１、参考文献２、参考文献３などに記載の方法がある。
［参考文献１］Chuan Yang, Lihe Zhang, Huchuan Lu, Xiang Ruan and Ming-Hsuan Yang, "Saliency Detection via Graph-Based Manifold Ranking", In Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013, p.3166-3173
［参考文献２］Qiong Yan, Li Xu, Jianping Shi and Jiaya Jia, " Hierarchical Saliency Detection", In Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition, 2013, p.1155-1162
［参考文献３］Zhuolin Jiang and Larry S. Davis, " Submodular Salient Region Detection", In Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013, p.2043-2050
【００２９】
顕著性マップに基づいて推定された前景候補領域は、画像に含まれる実際の前景被写体領域と合致したものであることがより好ましいが、コセグメンテーション部１７が行う処理によって前景被写体領域（前景候補領域Ｆｉ）は更新されるので、推定された前景候補領域と画像における実際の前景被写体領域とが一致していなくてもよい。顕著性マップに基づいて推定された前景候補領域は、例えば矩形のような単純な形であってもよい。前景候補領域の推定は、公知の方法を用いることができる。公知の方法としては、例えば、参考文献４に記載の方法がある。
［参考文献４］Xiaodi Hou and Liqing Zhang, "Saliency Detection: A spectral Residual Approach", In Proceeding of the 2007 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2007, p.1-8
【００３０】
画像特徴抽出部１３は、画像Ｉｉごとに決定された前景候補領域Ｆｉから画像特徴量を抽出する。画像特徴抽出部１３は、画像Ｉｉそれぞれの抽出した画像特徴量をクラスタリング部１４に出力する（ステップＳ１０３）。
【００３１】
前景候補領域Ｆｉから画像特徴量を算出する方法には、任意の方法を用いることができる。例えば、画像内でグリッド上にサンプリングした点のうち、直前の処理で得られた前景候補領域に属する点からＳＩＦＴやＳＵＲＦといった局所特徴量を抽出し、各画像Ｉｉから得られた局所特徴量群をベクトル量子化し、各画像でヒストグラムを構築するといった方法を用いることができる。
【００３２】
クラスタリング部１４は、画像特徴抽出部１３が抽出した各画像Ｉｉの画像特徴量に基づいて、画像集合Ｉをクラスタリングする。クラスタリング部１４は、クラスタリング結果をアンカー画像集合決定部１５に出力する（ステップＳ１０４）。
【００３３】
画像集合Ｉをクラスタリングする方法には、任意の方法を用いることができる。例えば、最も単純に画像集合Ｉをクラスタリングするには、画像Ｉｉ∈Ｉを要素数Ｋのクラスタ集合Ｃのいずれかにランダムに割り当てるようにしてもよい。Ｋはパラメータであり、１以上の整数である。
【００３４】
あるいは、画像集合Ｉを画像間の類似性に基づいてクラスタリングしてもよい。この場合は、ステップＳ１０３において画像特徴抽出部１３が抽出した各画像の画像特徴量及び画像特徴量間の任意の距離尺度に基づいて、Ｋ平均法（k-means）等のクラスタリング処理を行う。距離尺度あるいは類似度尺度も任意のものを用いることが可能であり、例えばカイ二乗距離やコサイン類似度を用いることができる。
【００３５】
アンカー画像集合決定部１５は、クラスタリング部１４が分類したクラスタから、画像変形部１６が用いる基準（アンカー）となる画像Ｕｉ∈Ｕを決定する。アンカー画像集合決定部１５は、アンカー画像集合Ｕを画像変形部１６に出力する（ステップＳ１０５）。以下の説明では、アンカー画像Ｕｉ∈Ｕが属するクラスタをＣＵｉとする。
【００３６】
クラスタリング部１４による分類で得られた各クラスタから、アンカー画像集合Ｕを決定する方法には、任意の方法を用いることができる。最も単純な方法としては、例えば各クラスタからランダムに一つの画像を選択し、選択した画像をアンカー画像に決定することができる。
【００３７】
あるいは、クラスタリング部１４がＫ平均法などを用いてクラスタリングを行う場合、アンカー画像集合決定部１５は、クラスタ中心（例えば、各クラスタのセントロイド）に対応する画像をアンカー画像としてもよい。
【００３８】
画像変形部１６は、各画像Ｉｉ∈Ｉについて、画像Ｉｉにおける前景候補領域Ｆｉと、画像Ｉｉが属するクラスタＣＵｋのアンカー画像Ｕｋにおける前景領域との見えの違いが最小になるように画像Ｉｉの変形を行う。画像変形部１６は、各画像Ｉｉを変形させた変形画像をコセグメンテーション部１７に出力する（ステップＳ１０６）。なお、アンカー画像Ｕｋにおける前景領域は、当該画像における前景候補領域を用いるようにしてもよい。
【００３９】
見えの違いを評価する指標は様々考えられる。例えば、同じ前景被写体が写り込んでいる二つの画像Ｉｉ、Ｉｊがあるとする。前景被写体は画像Ｉｉと画像Ｉｊとにおいて同じように写り込んでいると仮定する。この場合、画像Ｉｉ上の前景被写体に属するピクセルｐは、画像Ｉｊの前景被写体に属するｐに比較的近い位置におけるｐ＋ｗ（ｐ）のピクセルと特徴量空間上でも近い距離に存在すると考えられる。したがって、そのような類似度を画像Ｉｉの前景領域に属するピクセルすべてについて足し合わせ、画像Ｉｉの前景領域に属するピクセル数で正規化した値Ｅ（ｗ）は、画像Ｉｉと画像Ｉｊとの前景領域の見えの近さを表すと考えられる。これは、次式（１）で表すことができる。
【００４０】
【数１】
2015111373.tif 000003
【００４１】
ステップＳ１０３において画像特徴抽出部１３が算出するＳＩＦＴやＳＵＲＦなどの局所特徴量、ｗ（ｐ）は二次元の変位ベクトルであり、画像Ｉｉと画像Ｉｊとの二画像間の前景被写体の対応付けはｗによって定義されている。||・||は、任意のノルムである。前述の通り、Ｅ（ｗ）は画像間の前景被写体の対応付けが正確であるほどに低い値をとる指標である。
【００４２】
式（１）における対応付けｗを求める方法は任意の方法を用いることができる。例えば、種々のオプティカルフローアルゴリズムや、参考文献５に記載されているＳＩＦＴ  Ｆｌｏｗを用いることができる。
［参考文献５］Ce Liu, Jenny Yuen, Antonio Torralba, Josef Sivic and William T. Freeman,
"SIFT Flow: Dense Correspondence across Different Scenes ", In Proceedings of the 10th European Conference on Computer Vision (ECCV): Part III, 2008, p.28-42
【００４３】
上述したオプティカルフローやＳＩＦＴ  Ｆｌｏｗのアルゴリズムは、一般的に画像間の対応付けを定義する変位ベクトルが十分小さいことを仮定したアルゴリズムである。したがって、同一の被写体を写した画像間であっても、被写体の変位が大きく異なる場合、すなわち見えが大きく異なる場合には対応付けの精度が低下することが知られている。そこで、画像変形部１６は、各画像Ｉｉを変形させつつアンカー画像Ｕｋとの対応付けを算出することにより、対応付けの精度が低下することを抑える。すなわち、画像変形部１６は、式(１)の評価関数を最小とするような変形パラメータを決定し、決定した変形パラメータによる変形画像をコセグメンテーション部１７に出力する。
【００４４】
画像の変形は任意の方法で行うことができる。例えば、被写体の形は変わらずに撮影位置のみが変化していると仮定すると、必要な変形はアフィン変換に拘束される。アフィン行列Ａは次式（２）と定義される。
【００４５】
【数２】
2015111373.tif 000004
【００４６】
ただし、式（２）における行列Ｒは次式（３）と定義される。
【００４７】
【数３】
2015111373.tif 000005
【００４８】
λ＞０は前景被写体の拡大率であり、ψ、θ、φは図３に示されているように定義される角度である。図３は、本実施形態の画像変形部１６におけるアフィン変換の角度ψ、θ、φを示す図である。各々の定義域は、φ∈［０，π］、θ∈［０、π／２］、ψ∈［０，２π］である。式（２）におけるｄｘ、ｄｙはそれぞれ画像のｘ方向、ｙ方向における変位である。画像変形部１６は、式（１）の評価関数を最小化するような上記６パラメータを求めることになる。これは、例えば上記６パラメータの組み合わせをランダムにサンプリングし、得られたパラメータ値に基づいて画像を変形させ、対応付けの演算を行ったのちに、式（１）の評価関数値を算出する、といった処理を経て得られた式（１）の評価関数値を最小とするようなパラメータを求めればよい。
【００４９】
なお、局所特徴量のうちＳＩＦＴやＳＵＲＦで得られる局所特徴記述子は、画像の回転、すなわち図３におけるパラメータψについて非依存であることが知られている。本実施形態における類似画像検出装置１は使用する局所特徴量を限定するものではないが、例えばＳＩＦＴやＳＵＲＦのような回転画像の回転に非依存な特徴記述子を用いた場合、式（３）におけるパラメータψはサンプリングする必要がなくなり、より効率的な処理が可能となるため好適である。
【００５０】
あるいは、画像の射影変換を考えるようにしてもよい。画像の射影変換行列Ｈは次式（４）に示すように表すことができる。式（４）における計８パラメータを決定することにより、各画像Ｉｉからアンカー画像Ｕｋへの変形を決定することができる。
【００５１】
【数４】
2015111373.tif 000006
【００５２】
式（４）における８パラメータを推定する方法には任意の方法を用いることができる。例えば、二つの画像の前景候補領域から一定の間隔で局所特徴量を算出し、一方の画像から得られた各局所特徴量について、他方の画像に属する局所特徴量であって最もユークリッド距離が近い局所特徴量を決定する。二つの画像間において得られた局所特徴量の対応関係から、例えばＲＡＮＳＡＣ等のパラメータ推定法を用いることで上記のパラメータを推定すればよい。
【００５３】
コセグメンテーション部１７は、ステップＳ１０４でクラスタリング部１４の処理により得られたクラスタリング結果と、ステップＳ１０６で画像変形部１６の処理によって得られた変形画像とを用いたコセグメンテーションにより、各画像の前景候補領域を更新する。コセグメンテーション部１７は、各画像の更新した前景候補領域を終了判定部１８及び画像特徴抽出部１３に出力する（ステップＳ１０７)。
【００５４】
クラスタリング結果と変形画像とを用いたコセグメンテーションには、任意のアルゴリズムを用いることができる。例えば非特許文献１に記載されているコセグメンテーションのアルゴリズムを用いることができる。当該アルゴリズムでは、画像間の前景被写体の対応付けに基づくピクセルごとの変位のエントロピーを評価関数の項に含むような、全対象画像群から構成されるマルコフ確率場を解くことで、画像集合の中に多く含まれる前景被写体の領域を検出するものである。当該アルゴリズムを用いる場合、ステップＳ１０６で算出した画像間の対応付けの情報をそのまま用いることができるため好適である。また、非特許文献１に記載の方法では、画像間の対応付けを実際に算出する画像を、画像集合の中で特に類似した画像数枚に限定しているが、同様な処理はステップＳ１０４における倉スタリングの結果を利用し、同一クラスタに属する画像を選択することで容易に実現することが可能である。
【００５５】
ステップＳ１０７において更新された前景候補領域は、ステップＳ１０６において得られた変形画像に対するものである。そのため変形前の画像の前景候補領域を得るためには、ステップＳ１０７で得られた前景候補領域を変形前の画像に対応させたものに変形する必要がある。これは、ステップＳ１０６において各画像について得られた変形パラメータを用いることで、変形前の画像における更新後の前景候補領域を得ることができる。
【００５６】
終了判定部１８は、ステップＳ１０７において更新される前の前景候補領域と更新された後の前景候補領域とを比較して、画像分類処理を終了させるか否かの判定を行う（ステップＳ１０８）。画像分類処理を終了させる条件が満たされている場合（ステップＳ１０８：ＹＥＳ）、終了判定部１８は、ステップＳ１０４においてクラスタリング部１４によって得られたクラスタ集合を分類結果として出力して（ステップＳ１０９）、画像分類処理を終了させる。なお、画像分類処理を終了させる条件は、例えば前述したように、前景候補領域の更新において、前景から背景に、もしくは背景から前景に変更された画像におけるピクセル数が画像全体のピクセル数に対して予め定められた割合以下であるという条件などである。
【００５７】
画像分類処理を終了させる条件が満たされていない場合（ステップＳ１０８：ＮＯ）、終了判定部１８は、処理をステップＳ１０３に戻す。以降、画像分類処理を終了させる条件が満たされるまで、ステップＳ１０３からステップＳ１０８までの処理が繰り返して行われる。なお、処理がステップＳ１０８からステップＳ１０３に戻された場合、画像特徴抽出部１３は、コセグメンテーション部１７によって更新された前景候補領域Ｆｉを用いて各画像Ｉｉ∈Ｉの画像特徴量を抽出することになる。
【００５８】
本実施形態における類似画像検出装置１においては、前景被写体領域を検出する技術では類似被写体の見えが大きく異なる場合に前景被写体領域の検出精度が低下するという問題と、被写体前景領域を変形させる技術では前景被写体領域が既知でなくてはならないという問題とが相補的であると捉えて、前景被写体領域の検出と前景被写体領域の変形とを交互に繰り返している。
【００５９】
類似画像検出装置１では、画像間の見えの違いを最小化にする画像変形を行うために、画像分類処理においてステップＳ１０３からステップＳ１０６までの処理を行っている。具体的には、各画像Ｉｉにおいて前景被写体が写り込んだ領域だと推定されている前景候補領域Ｆｉから画像特徴を抽出し（ステップＳ１０３）、得られた画像特徴に基づいてクラスタリングを行い（ステップＳ１０４）、得られたクラスタからアンカー画像集合を決定し（ステップＳ１０５）、アンカー画像との前景候補領域の見えの違いが最小化されるように各画像Ｉｉを変形させる（ステップＳ１０６）の計４つの処理を行っている。これらの処理を行った上で、更新された前景候補領域が所定の条件を満たさない場合には、更新された前景候補領域Ｆｉを用いて、ステップＳ１０３以降の処理を繰り返して行う。
【００６０】
類似画像検出装置１では、前景候補領域Ｆｉの変形に関する処理と、前景候補領域Ｆｉを検出する処理（コセグメンテーション）とを交互に繰り返すことによって、一方の処理結果を他方の処理で用いることが可能となる。その結果、前景被写体領域の検出精度と、見えの違いに頑健な前景領域間の類似性の評価精度とを向上させることができ、画像内被写体の見えの変化に頑健に、類似した被写体を含む画像を検出することができる。すなわち、類似画像検出装置１によれば、類似被写体の見えが大きく異なる場合や前景被写体領域が既知でない場合であっても、類似被写体を含む画像を検出することができる。
【００６１】
図４は、本実施形態における類似画像検出装置１による効果の一例を示す図である。画像データベース２には、図２（ａ）に示す複数の画像が予め記憶されているものとする。類似画像検出装置１がこれらの画像を入力して画像分類処理を行うことにより、図２（ｂ）に示すように、類似した画像の集合（クラスタ｛…，ＣＵｋ，ＣＵｋ＋１，ＣＵｋ＋２，…｝）が得られる。このように、類似画像検出装置１が類似した画像の集合を生成することにより、任意の画像に類似した画像を画像データベース２に記憶されている画像集合から検出することができる。
【００６２】
なお、上述の実施形態では、類似画像検出装置１が外部に設けられた画像データベース２から画像集合Ｉを取得する構成例を示したが、類似画像検出装置１が画像集合Ｉを記憶している画像データベース２を備えていてもよい。また、類似画像検出装置１が一つの装置として構成される構成例を示したが、各機能部が独立した装置として構成され、それぞれがネットワーク等を介して通信可能に接続されることにより画像分類処理を行うシステムとして構成されていてもよい。
【００６３】
上述した実施形態における類似画像検出装置１をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００６５】
１…類似画像検出装置
２…画像データベース
１１…画像入力部
１２…前景領域初期状態決定部
１３…画像特徴抽出部
１４…クラスタリング部
１５…アンカー画像集合決定部
１６…画像変形部
１７…コセグメンテーション部
１８…終了判定部
【図１】
2015111373.tif 000007
【図２】
2015111373.tif 000008
【図３】
2015111373.tif 000009
【図４】
2015111373.tif 000010