(57)【特許請求の範囲】
【請求項１】
画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出する特徴量算出部と、
前記参照画像の各々について、窓の大きさが異なる、複数種類の初期部分領域を、各々作成する初期部分領域作成部と、
前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出する最小距離算出部と、
前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定する部分領域決定部と、
前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出する部分特徴量算出部と、
入力画像から特徴量を算出する入力画像特徴量算出部と、
前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、
を含む、画像処理装置。
【請求項２】
特徴量算出部と、初期部分領域作成部と、最小距離算出部と、部分領域決定部と、部分特徴量算出部と、入力画像特徴量算出部と、類似度算出部とを含む画像処理装置における画像処理方法であって、
前記特徴量算出部は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出し、
前記初期部分領域作成部は、前記参照画像の各々について、窓の大きさが異なる、複数種類の初期部分領域を、各々作成し、
前記最小距離算出部は、前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出し、
前記部分領域決定部は、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、
前記部分特徴量算出部は、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出し、
前記入力画像特徴量算出部は、入力画像から特徴量を算出し、
前記類似度算出部は、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する、
画像処理方法。
【請求項３】
コンピュータを、請求項１記載の画像処理装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、方法、及びプログラムに係り、特に、入力画像に類似する参照画像を求める画像処理装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
デジタルカメラ、スマートホン等の携帯撮影デバイスの普及により、一個人が撮影するデジタル写真の枚数が急速に増大した。それに伴い、画像を利用したコミュニケーションが発達し、WWW(World Wide Web)上には大量の画像が蓄積されている。例えば、あるソーシャルメディアサイトでは、毎月25億の画像がアップロードされている。
【０００３】
ユーザはこのような豊富な画像を見て楽しむことができる一方で、画像中の未知の物体に興味を持っても、その情報を取得することが困難であるという課題が存在する。例えば、画像中のある商品に興味を持っても、ユーザがその商品名、外見等の知識を持っていない場合には、その商品に関する情報を取得することは困難である。
【０００４】
上記問題を解決するためには、画像が何を写しているのかといった情報を画像から特定することが必要となるが、画像に対して1枚ずつ目視で判別を行うことは、極めて手間のかかる作業である。従って、画像中の物体の自動的な特定への要望が高まっている。
【０００５】
従来の方法として、画像内に含まれる物体を推定する画像認識方法がある。例えば、画像中の物体の名称が既知である画像(以下、参照画像とする)によりあらかじめデータセットを構築し、新たに入力された画像(以下、入力画像とする)に含まれる物体の名称を推定する画像認識方法が提案されている（非特許文献１）。
【０００６】
このような画像認識方法においては、画像の特性を表現する画像特徴を算出し、入力画像と参照画像のそれぞれの画像特徴の類似度を計算することで、入力画像と類似する参照画像を発見し、その名称を正解とする。
【０００７】
画像間の類似度を計算する方法としては、例えば、SIFT(Scale Invariant Feature Transform)特徴量のマッチングに基づく方法がある（非特許文献２）。この方法では、まず入力画像、参照画像それぞれの画像中から特徴点を検出し、特徴点毎にSIFT特徴量を算出する。
【０００８】
次に、得られたそれぞれのSIFT特徴量間の距離を計算し、その距離が一定値以下となる特徴点の個数(マッチング数)を算出する。このマッチング数が多いほど、類似度が大きいことになる。
【０００９】
しかしながら、図１８に示す商品１と商品２のような、外見が類似する場合には、正しく参照画像を発見することが困難となる。図１８は、全体が類似するが、異なる部分を有する別の物体を例示する図である。いうまでもなく、全体が類似する場合には、異なる物体であっても多数の特徴点がマッチしてしまう。全体が類似する、異なる物体を見分けるためには、これら物体の差異となる部分から特徴量を算出する必要がある。
【００１０】
通常、SIFT等による特徴点の検出は画像毎に行われる。すなわち、必ずしも類似する物体の差異となる部分から特徴点が検出されるとは限らない。これに対し、検出する特徴点の数を大きくすれば、差異となる部分から検出される特徴点の増加が期待できるが、類似する部分から検出される特徴点も増加する可能性があり、類似する物体を見分けやすくなるとは限らない。
【００１１】
さらに、検出する特徴点の数を大きくすると、特徴量間の距離計算回数が増加し、多くの計算時間がかかってしまう。特に、データセットに類似する参照画像と類似しない参照画像が混在している場合、すなわち特定が困難な参照画像と特定が容易な参照画像が混在している場合、特定が容易であった参照画像における距離計算の多くが不必要なものとなる。
【００１２】
このような課題に対して、画像中の特徴的な領域を発見することで、効率的に類似した画像を発見する技術に関する取り組みがなされてきた。この課題を解決するため、従来いくつかの発明がなされ、開示されてきている。
【００１３】
従来技術では、参照画像から検出した特徴点を、その位置情報に基づきクラスタリングし、求められた主要なクラスタを画像の主要な領域とする（特許文献１）。さらに入力画像中の部分領域を利用者に指定させ、指定された領域中の特徴点と、主要な領域の特徴点との類似度を計算することで、精度のよい入力画像の特定を図っている。
【００１４】
また、他の従来技術においては、参照画像のランダムな領域から算出した特徴量をクラスタリングし、各クラスタを、WWWから無造作に取得した画像と比較し、特徴的な領域を発見する。領域を発見後、発見した領域を、例えば、bag of visual wordsにおけるvisual words（非特許文献３）として用いる（非特許文献４）。そして、学習データをvisual wordsに分解し、visual wordsのヒストグラムを作成する。このヒストグラムを画像の特徴量として用いる。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開２０１１−１１８７９０号公報
【非特許文献】
【００１６】
【非特許文献１】T. Antonio, F. Rob and W. Freeman: 80 million tiny images: a large dataset for non-parametric object and scene recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008.
【非特許文献２】本道貴行，黄瀬浩一，“大規模画像認識のための局所特徴量の性能比較”，画像の認識・理解シンポジウム（ＭＩＲＵ２００８）論文集，ＩＳ５−６，ｐｐ．５５０−５５５，２００８．
【非特許文献３】S. Lazebnik, C. Schmid and J. Ponce: Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. In: CVPR, 2006.
【非特許文献４】S. Singh, A. Gupta and A.A. Efros: Unsupervised Discovery of Mid-Level Discriminative Patches.In European Conference on Computer Vision,2012.
【発明の概要】
【発明が解決しようとする課題】
【００１７】
上記特許文献１の技術は、参照画像から主要な領域を抽出し、利用者に注目する領域を指定させることにより、画像の全体ではなく画像の局所的な類似性を重視した分析が可能である。しかしながら、特徴点をその位置情報に従ってクラスタリングするため、画像間の差異となる領域が散在している場合、捉えることが困難となるという問題がある。また、利用者が注目する領域を指定する必要があるため実用上課題となる。
【００１８】
また、上記非特許文献３の技術は、全参照画像から抽出した領域をクラスタリングするため、参照画像群中で十分頻繁に現れ、かつ他の領域と十分に異なる部分領域を発見することができる。しかしながら、例えばある特定の物体にのみ存在する部分領域等、画像間の差異となる領域が参照画像群中で頻繁に現れなかった場合には、捉えることが困難となるという問題がある。
【００１９】
本発明では、上記問題を解決するために成されたものであり、入力画像に類似する参照画像を高精度に求めることができる画像処理装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２０】
上記目的を達成するために、第１の発明に係る画像処理装置は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出する特徴量算出部と、前記参照画像の各々について、前記特徴量算出部により算出された前記参照画像の特徴量と、前記特徴量算出部により算出された、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の特徴量とに基づいて、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定する部分領域決定部と、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出する部分特徴量算出部と、入力画像から特徴量を算出する入力画像特徴量算出部と、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出する類似度算出部と、前記類似度算出部により算出された類似度の各々に基づいて、前記入力画像に類似する前記参照画像を出力する出力部と、を含んで構成されている。
【００２１】
第２の発明に係る画像処理方法は、特徴量算出部と、部分領域決定部と、部分特徴量算出部と、入力画像特徴量算出部と、類似度算出部と、出力部と、を含む画像処理装置における画像処理方法であって、前記特徴量算出部は、画像の内容を表す情報が予め付与された複数の参照画像の各々について、特徴量を算出し、前記部分領域決定部は、前記参照画像の各々について、前記特徴量算出部により算出された前記参照画像の特徴量と、前記特徴量算出部により算出された、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の特徴量とに基づいて、前記参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、前記部分特徴量算出部は、前記参照画像の各々について、前記部分領域決定部により決定された前記参照画像の部分領域について、特徴量を算出し、前記入力画像特徴量算出部は、入力画像から特徴量を算出し、前記類似度算出部は、前記参照画像の各々について、前記入力画像特徴量算出部により算出された前記入力画像の特徴量と、前記部分特徴量算出部により算出された前記参照画像の部分領域の特徴量とに基づいて、前記入力画像と前記参照画像との類似度を算出し、前記出力部は、前記類似度算出部により算出された類似度の各々に基づいて、前記入力画像に類似する前記参照画像を出力する。
【００２２】
第１及び第２の発明によれば、特徴量算出部により、複数の参照画像の各々について、特徴量を算出し、部分領域決定部により、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、部分特徴量算出部により、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像特徴量算出部により、入力画像から特徴量を算出し、類似度算出部により、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、出力部により、類似度の各々に基づいて、入力画像に類似する参照画像を出力する。
【００２３】
このように、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。
【００２４】
また、第１及び第２の発明において、前記参照画像の各々について、前記参照画像の複数の初期部分領域の各々を作成する初期部分領域作成部と、前記参照画像の各々について、前記初期部分領域作成部により作成された前記参照画像の初期部分領域毎の特徴量を算出し、前記参照画像の各々について、前記参照画像の初期部分領域毎の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域毎の特徴量とに基づいて、前記参照画像の初期部分領域の各々に対し、前記初期部分領域の特徴量と、前記参照画像以外の参照画像であって、かつ前記参照画像と類似する参照画像の各々の初期部分領域の特徴量との最小距離を算出する最小距離算出部と、を更に含み、前記部分領域決定部は、前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の部分領域を決定してもよい。
【００２５】
また、第１及び第２の発明において、前記部分領域決定部は、前記参照画像の各々について、前記最小距離算出部により前記参照画像について算出された前記初期部分領域の各々に対する最小距離に基づいて、前記参照画像の各ピクセルに最小距離を割り振り、前記参照画像の各ピクセルについて、前記ピクセルに割り振られた最小距離と、閾値とを比較して、前記ピクセルが部分領域であるか否かを判定することにより、前記参照画像の部分領域を決定してもよい。
【００２６】
また、本発明のプログラムは、コンピュータを、上記の画像処理装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００２７】
以上説明したように、本発明の画像処理装置、方法、及びプログラムによれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態に係る画像処理装置における機能的構成を示すブロック図である。
【図２】部分領域の例を示す図である。
【図３】最小距離算出の例を示す図である。
【図４】最小距離の割り振り結果の例を示す図である。
【図５】部分領域の決定の例を示す図である。
【図６】本発明の第１の実施の形態に係る画像処理装置における部分特徴量算出処理ルーチンを示すフローチャート図である。
【図７】本発明の第１の実施の形態に係る画像処理装置における部分領域抽出処理ルーチンを示すフローチャート図である。
【図８】本発明の第１の実施の形態に係る画像処理装置における部分領域抽出処理ルーチンを示すフローチャート図である。
【図９】本発明の第１の実施の形態に係る画像処理装置における入力画像判定処理ルーチンを示すフローチャート図である。
【図１０】距離計算回数削減例を示す図である。
【図１１】距離計算回数削減例を示す図である。
【図１２】距離計算回数削減例を示す図である。
【図１３】本発明の第２の実施の形態に係る画像処理装置における機能的構成を示すブロック図である。
【図１４】本発明の第２の実施の形態に係る画像処理装置における部分特徴量算出処理ルーチンを示すフローチャート図である。
【図１５】本発明の第２の実施の形態に係る画像処理装置における部分領域有無情報取得処理ルーチンを示すフローチャート図である。
【図１６】本発明の第２の実施の形態に係る画像処理装置における部分領域有無情報取得処理ルーチンを示すフローチャート図である。図である。
【図１７】本発明の第２の実施の形態に係る画像処理装置における入力画像判定処理ルーチンを示すフローチャート図である。
【図１８】全体像が類似しているが細部が異なる物体の例を示す図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００３０】
＜本発明の第１の実施の形態に係る画像処理装置の構成＞
次に、本発明の第１の実施の形態に係る画像処理装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る画像処理装置１００は、ＣＰＵと、ＲＡＭと、後述する部分特徴量算出処理ルーチン、及び入力画像判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この画像処理装置は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
【００３１】
入力部１０は、画像の内容を表す情報が予め付与された複数の参照画像を受け付け、参照画像記憶部２２に記憶する。また、入力部１０は、処理対象となる入力画像を受け付ける。
【００３２】
演算部２０は、参照画像記憶部２２と、部分領域抽出部３０と、部分特徴量算出部５０と、部分特徴量記憶部５２と、入力画像特徴量算出部６０と、類似度算出部６２と、並べ替え部６４と、を含んで構成されている。
【００３３】
参照画像記憶部２２には、入力部１０において受け付けた複数の参照画像が記憶されている。
【００３４】
部分領域抽出部３０は、参照画像記憶部２２に記憶されているＣ枚の参照画像のうち、ランダムに任意のＮ枚（Ｉ１、Ｉ２、・・・ＩＮ）を抽出対象の参照画像として取得し、当該Ｎ枚の参照画像の各々について、他の参照画像との間で差異となる、すなわち他の画像と類似しない部分領域を抽出する。また、部分領域抽出部３０は、特徴量算出部３２と、初期部分領域作成部３４と、類似画像選択部３６と、最小距離算出部３８と、部分領域決定部４０と、を含んで構成されている。ここで、Ｃは入力画像と比較を行う参照画像の総枚数、Ｎは部分領域の抽出を行う画像の総枚数であり、Ｃは自然数であり、ＮはＣ以下の自然数である。また、部分領域抽出部３０により抽出される部分領域とは、図２に示すような各画像と同サイズのマスク画像であり、当該画像の一部分の領域を部分領域として示す画像である。なお、マスク画像は、各ピクセルに１又は０の値を持ち、１の値の場合、対応するピクセルが部分領域に該当し、０の値の場合、対応するピクセルが部分領域に該当しないことを示す。また、第１の実施の形態においては、画像全体も部分領域として設定され得る。
【００３５】
特徴量算出部３２は、抽出対象のＮ枚の参照画像の各々について、特徴点の各々を検出し、検出された特徴点の各々から当該参照画像の特徴量を算出する。特徴点の検出方法、及び特徴点からの特徴量の算出方法としては、例えば、SIFT(Scale Invariant Feature Transform)（非特許文献５：D.G. Lowe: Distinctive Image Features from Scale-Invariant Keypoints. International Journal of Computer Vision, 2004）、SURF(Speeded Up Robust Features)（非特許文献６：H. Bay, T. Tuytelaars and L.V. Gool: SURF: Speeded Up Robust Features. Lecture Notes in Computer Science, 2006）などの方法を用いれば良い。
【００３６】
初期部分領域作成部３４は、抽出対象のＮ枚の参照画像の各々について、当該参照画像から複数の初期部分領域の各々を作成する。初期部分領域を作成する方法は、例えば、参照画像に対してＳ種類の任意の大きさの窓をずらしながら当てはめ、各窓領域を初期部分領域として生成する。ここで、Ｓは、例えば３等の自然数とする。また、第１の実施の形態においては、参照画像毎及び窓の種類Ｓ毎にＲ個の初期部分領域を作成する。この場合、参照画像Ｎ枚全体において、Ｎ×Ｓ×Ｒ個の初期部分領域が作成される。
【００３７】
類似画像選択部３６は、抽出対象のＮ枚の参照画像の各々について、当該参照画像を抽出対象の参照画像の全てから除いたＮ−１枚の参照画像から当該参照画像の類似画像をＭ枚選択する。ここで、ＭはＮ−１以下の自然数である。類似画像の選択は公知の方法を用いることができる。例えば、特徴量算出部３２において検出した特徴点毎に特徴量間のユークリッド距離を算出し、その距離が一定値以下となる特徴点の個数(マッチング数)が大きい順にＮ−１枚の参照画像からＭ枚選択すればよい。
【００３８】
最小距離算出部３８は、抽出対象のＮ枚の参照画像毎に、当該参照画像について作成されたＳ×Ｒ個の初期部分領域の各々と、Ｍ枚の類似画像の各々とにおける最小距離を算出する。ここで、最小距離とは、参照画像の初期部分領域と、類似画像中のＳ×Ｒ個の初期部分領域のうちの最も類似する初期部分領域との距離である。具体的には、参照画像の初期部分領域の各々について、当該参照画像の類似画像ｍ（ｍ＝１〜Ｍ）及び窓の種類ｓ（ｓ＝１〜Ｓ）毎に、当該初期部分領域と、当該参照画像の類似画像中のＲ個の初期部分領域ｒ（ｒ＝１〜Ｒ）の各々との距離を算出し、算出された距離のうち最小値となるものを、当該初期部分領域と当該類似画像との最小距離とする。
【００３９】
また、参照画像の初期部分領域と、当該参照画像の類似画像の初期部分領域との距離の計算処理では、例えば、特徴量算出部３２においてSIFT、SURFなどの特徴点を用いた特徴量を算出している場合には、参照画像の初期部分領域中に存在する特徴点から算出した特徴量と、当該参照画像の類似画像の初期部分領域中に存在する特徴点から算出した特徴量とのユークリッド距離を計算し、その距離が一定値以下となる特徴点の個数（マッチング数）を算出した上で、マッチングしない数を、初期部分領域中に存在する特徴点の数で割った値を、距離として算出する。このとき、初期部分領域中に特徴点が存在しなければ、例えば０など、距離が取り得る範囲の任意の数値を、距離とすればよい。図３に最小距離算出の例を示す。
【００４０】
部分領域決定部４０は、抽出対象の参照画像の各々について、他画像との差異となる、すなわち他画像との距離が大きい部分領域を決定する。具体的に、まず、抽出対象となる参照画像について、当該参照画像の類似画像ｍ及び窓の種類ｓ毎に、当該参照画像の初期部分領域ｒの各々に対し、当該初期部分領域ｒと、当該参照画像の類似画像ｍにおける当該窓の種類ｓに対応する初期部分領域ｒの各々との間において算出された最小距離を、当該初期部分領域に含まれる参照画像の各ピクセルに割り振る。なお、最小距離の割り振りの処理は、窓の種類ｓ毎で行われるため、１つの類似画像ｍに対してＳ種類の割り振り結果が取得できる。ここで、ピクセルが複数の初期部分領域に含まれる場合には、例えば、最小距離の平均値又は最大値を当該ピクセルに割り振るようにすればよい。また、参照画像の初期部分領域の各々と、当該参照画像の類似画像との最小距離の算出処理は、当該参照画像の類似画像数であるＭ回繰り返されるため、当該参照画像に含まれるピクセル毎にＳ×Ｍ個の最小距離が割り振られる。図４に最小距離の割り振り結果の例を示す。
【００４１】
次に、抽出対象となる参照画像の各々について、取得した類似画像ｍ毎の、窓の種類ｓ毎の当該参照画像の各ピクセルの最小距離の割り振り結果に基づいて、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルが部分領域か否か判定し、類似画像ｍ及び窓の種類ｓ毎に、当該参照画像の各ピクセルに部分領域有無情報を付加する。ここで、各ピクセルが部分領域か否かの判定は、例えば、当該ピクセルに割り振られた最小距離が任意の一定値（閾値）Ｔ以上の場合に、当該ピクセルを部分領域であるとし、当該ピクセルに割り振られた最小距離がＴ未満の場合に、当該ピクセルを部分領域ではないとする。一定値には、例えば最小距離の平均値を用いればよい。また、部分領域有無情報は、例えば、部分情報で有る場合には１の値を、部分情報で無い場合には０の値を情報として付加するように二値の値を付加すればよい。
【００４２】
次に、参照画像の各々について、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの判定結果に基づいて、類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの判定結果を統合し、統合した結果に基づいて、当該参照画像の部分領域を決定する。ここで、統合は、例えば、ピクセル毎に部分領域有無情報の論理和、論理積等をとり、当該ピクセルの値が１であるピクセルを部分領域として決定し、当該ピクセルの値が０であるピクセルを部分領域でない領域として決定する。これにより、抽出対象の参照画像の各々について、当該参照画像と同ピクセル数の部分領域有無情報から構成される部分領域が得られる。図５に、部分領域の決定の例を示す。
【００４３】
部分特徴量算出部５０は、参照画像記憶部２２に記憶されているＣ枚の参照画像の各々について、当該参照画像の部分領域から特徴点を検出し、当該検出された特徴点から特徴量を算出し、当該部分領域に対応する参照画像と、当該部分領域の特徴量とを併せて部分特徴量記憶部５２に記憶する。具体的には、まず、部分領域抽出部３０において処理の対象とならなかったＣ−Ｎ枚の参照画像の各々について、当該参照画像全体の領域を当該参照画像の部分領域と決定する。次に、部分領域の抽出処理の対象となったＮ枚の参照画像の各々については、部分領域決定部４０において取得した部分領域を当該参照画像の部分領域とする。そして、Ｃ枚の参照画像の各々について、当該参照画像の部分領域の特徴量を算出する。ここで、特徴点の検出方法、及び特徴点からの特徴量の算出方法としては、例えば、SIFT(Scale Invariant Feature Transform)（非特許文献５）、SURF(Speeded Up Robust Features)（非特許文献６）などの方法を用いれば良い。
【００４４】
部分特徴量記憶部５２には、部分特徴量算出部５０において取得した部分領域の特徴量と、当該部分領域に対応する参照画像とのペアが複数記憶されている。
【００４５】
入力画像特徴量算出部６０は、入力部１０において受け付けた処理対象となる入力画像について、部分特徴量算出部５０において算出した特徴量と同様の特徴量を算出する。
【００４６】
類似度算出部６２は、入力画像特徴量算出部６０において取得した入力画像の特徴量と、部分特徴量記憶部５２に記憶されている部分領域の特徴量の各々と、に基づいて、入力画像と部分領域の各々との類似度を算出する。具体的には、例えば、入力画像の特徴量と、部分領域の特徴量との間のユークリッド距離を算出し、算出した距離が一定値以下となる特徴点の個数（マッチング数）を算出し、当該マッチング数を類似度とする。また、算出した特徴点の数でマッチング数を割った値を類似度としてもよい。
【００４７】
並べ替え部６４は、類似度算出部６２において算出された入力画像と部分領域の各々との類似度に基づいて、類似度の高い部分領域順に、当該部分領域に対応する参照画像のソートを行い、上位Ｙ個の参照画像の各々に付与されている物体の名称、又は、上位Ｙ個の参照画像の各々を出力部９０に出力する。なお、ＹはＣ以下の自然数である。
【００４８】
＜本発明の第１の実施の形態に係る画像処理装置の作用＞
次に、第１の実施の形態に係る画像処理装置１００の作用について説明する。まず、入力部１０において、複数の参照画像を受け付け、参照画像記憶部２２に記憶する。そして、参照画像記憶部２２からＣ枚の参照画像を読み込むと、画像処理装置１００によって、図６に示す部分特徴量算出処理ルーチンが実行される。また、部分特徴量算出処理ルーチンの終了後に、入力部１０において、入力画像を受け付けると、画像処理装置１００によって、図９に示す入力画像判定処理ルーチンを実行する。
【００４９】
まず、図６に示す、部分特徴量算出処理ルーチンについて説明する。
【００５０】
図６における、ステップＳ１００では、読み込んだＣ枚の参照画像のうちから、部分領域を抽出する対象となるＮ枚の参照画像を取得する。
【００５１】
次に、ステップＳ１０２では、ステップＳ１００において取得したＮ枚の参照画像の各々について、部分領域を抽出する。
【００５２】
次に、ステップＳ１０４では、読み込んだＣ枚の参照画像の各々について部分領域を設定する。ステップＳ１００において取得したＮ枚の参照画像の各々については、ステップＳ１０２において抽出した部分領域を設定し、それ以外のＣ−Ｎ枚については、参照画像全体を部分領域として設定する。
【００５３】
次に、ステップＳ１０６では、Ｃ枚の参照画像の各々について、ステップＳ１０４において取得した当該参照画像の部分領域の特徴量を算出する。
【００５４】
次に、ステップＳ１０８では、ステップＳ１０６において取得した参照画像の各々の部分領域の特徴量と、当該参照画像の各々をペアにして部分特徴量記憶部５２に記憶し、部分特徴量算出処理ルーチンを終了する。
【００５５】
上記ステップＳ１０２の部分領域の抽出処理について、図７及び図８の部分領域抽出処理ルーチンにおいて詳細に説明する。
【００５６】
図７における、ステップＳ２００では、ステップＳ１００において取得したＮ枚の参照画像Ｉｎ（ｎ＝１〜Ｎ）の各々について、特徴量を算出する。
【００５７】
次に、ステップＳ２０２では、Ｎ枚の参照画像の各々について、当該参照画像をＳ種類の窓で分割し、Ｓ種類の窓毎にＲ個の初期部分領域の各々を作成する。
【００５８】
次に、ステップＳ２０４では、ｎの値を１の値に設定する。
【００５９】
次に、ステップＳ２０６では、参照画像Ｉｎについて、ステップＳ１００において取得したＮ枚の参照画像から当該参照画像Ｉｎを除いたＮ−１枚の参照画像の各々から、ステップＳ２００において取得した参照画像Ｉｎの特徴量及びＮ−１枚の参照画像各々の特徴量に基づいて、参照画像Ｉｎに類似する類似画像ｍをＭ枚選択する。
【００６０】
次に、ステップＳ２０８では、ｍの値に１の値を設定する。
【００６１】
次に、ステップＳ２１０では、ｓの値に１の値を設定する。
【００６２】
次に、ステップＳ２１２では、ｒの値に１の値を設定する。
【００６３】
次に、ステップＳ２１４では、ｓ´の値に１の値を設定する。
【００６４】
次に、ステップＳ２１６では、ｒ´の値に１の値を設定する。
【００６５】
次に、ステップＳ２１８では、参照画像Ｉｎについて、参照画像Ｉｎのｓ番目の窓においてｒ番目に作成した初期部分領域と、類似画像ｍのｓ´番目の窓においてｒ´番目に作成した初期部分領域との距離を、ステップＳ２００において取得した参照画像Ｉｎの特徴量及び類似画像ｍの特徴量に基づいて、算出する。
【００６６】
次に、ステップＳ２２０では、ｒ´の値がＲの値であるか否かを判定する。ｒ´の値がＲの値で無い場合には、ステップＳ２２２へ移行し、ｒ´の値がＲの値である場合には、ステップＳ２２４へ移行する。
【００６７】
ステップＳ２２２では、ｒ´の値にｒ´＋１の値を設定し、ステップＳ２１８へ移行する。
【００６８】
ステップＳ２２４では、ｓ´の値がＳの値であるか否かを判定する。ｓ´の値がＳの値で無い場合には、ステップＳ２２６へ移行し、ｓ´の値がＳの値である場合には、ステップＳ２２８へ移行する。
【００６９】
ステップＳ２２６では、ｓ´の値にｓ´＋１の値を設定し、ステップＳ２１６へ移行する。
【００７０】
ステップＳ２２８では、ステップＳ２１８において取得した、初期部分領域間の距離の各々に基づいて、参照画像Ｉｎのｓ番目の窓においてｒ番目に作成した初期部分領域と、類似画像ｍとの最小距離を決定する。
【００７１】
ステップＳ２３０では、ｒの値がＲの値であるか否かを判定する。ｒの値がＲの値で無い場合には、ステップＳ２３２へ移行し、ｒの値がＲの値である場合には、ステップＳ２３４へ移行する。
【００７２】
次に、ステップＳ２３２では、ｒの値にｒ＋１の値を設定し、ステップＳ２１４へ移行する。
【００７３】
ステップＳ２３４では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ２３６へ移行し、ｓの値がＳの値である場合には、ステップＳ２３８へ移行する。
【００７４】
ステップＳ２３６では、ｓの値にｓ＋１の値を設定し、ステップＳ２１２へ移行する。
【００７５】
ステップＳ２３８では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ２４０へ移行し、ｍの値がＭの値である場合には、図８のステップＳ３００へ移行する。
【００７６】
ステップＳ２４０では、ｍの値にｍ＋１の値を設定し、ステップＳ２１０へ移行する。
【００７７】
図８のステップＳ３００では、ｍの値に１の値を設定する。
【００７８】
次に、ステップＳ３０２では、ｓの値に１の値を設定する。
【００７９】
次に、ステップＳ３０４では、ステップＳ２３０又はステップＳ２３３において取得した、参照画像Ｉｎのｓ番目の窓において作成した初期部分領域の各々と、類似画像ｍとの最小距離を、参照画像Ｉｎの対象となるピクセルの各々について割り振り、類似画像ｍに対する、ｓ番目の窓において作成した初期部分領域の結果として取得する。
【００８０】
次に、ステップＳ３０６では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ３０８へ移行し、ｓの値がＳの値である場合には、ステップＳ３１０へ移行する。
【００８１】
ステップＳ３０８では、ｓの値にｓ＋１の値を設定し、ステップＳ３０４へ移行する。
【００８２】
ステップＳ３１０では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ３１２へ移行し、ｍの値がＭの値である場合には、ステップＳ３１４へ移行する。
【００８３】
ステップＳ３１２では、ｍの値にｍ＋１の値を設定し、ステップＳ３０２へ移行する。
【００８４】
次に、ステップＳ３１４では、ｍの値に１の値を設定する。
【００８５】
次に、ステップＳ３１６では、ｓの値に１の値を設定する。
【００８６】
次に、ステップＳ３１８では、ステップＳ３０４において取得した、類似画像ｍに対する、ｓ番目の窓において作成した初期部分領域の結果に基づいて、参照画像Ｉｎの処理対象となるピクセルが部分領域であるか否かを判定し、当該結果を類似画像ｍに対する、ｓ番目の窓において作成した処理対象のピクセルの判定結果とする。
【００８７】
次に、ステップＳ３２０では、参照画像Ｉｎに含まれる全てのピクセルについて、同一のｍ及びｓの値において、ステップＳ３１８の処理を終了したか否かを判定する。全てのピクセルについてステップＳ３１８の処理を終了している場合には、ステップＳ３２２へ移行し、全てのピクセルについてステップＳ３１８の処理を終了していない場合には、処理対象となるピクセルを変更し、ステップＳ３１８へ移行し、ステップＳ３１８の処理を繰り返す。
【００８８】
次に、ステップＳ３２２では、ｓの値がＳの値であるか否かを判定する。ｓの値がＳの値で無い場合には、ステップＳ３２４へ移行し、ｓの値がＳの値である場合には、ステップＳ３２６へ移行する。
【００８９】
ステップＳ３２４では、ｓの値にｓ＋１の値を設定し、ステップＳ３１８へ移行する。
【００９０】
ステップＳ３２６では、ｍの値がＭの値であるか否かを判定する。ｍの値がＭの値で無い場合には、ステップＳ３２８へ移行し、ｍの値がＭの値である場合には、ステップＳ３３０へ移行する。
【００９１】
ステップＳ３２８では、ｍの値にｍ＋１の値を設定する。
【００９２】
ステップＳ３３０では、ステップＳ３１８において取得した、参照画像Ｉｎの類似画像ｍに対する、ｓ番目の窓において作成した各ピクセルの判定結果の各々に基づいて、参照画像Ｉｎに含まれる各ピクセルにおける部分領域有無情報を統合する。
【００９３】
次に、ステップＳ３３２では、ステップＳ３３０において取得した参照画像Ｉｎに含まれる各ピクセルの部分領域有無情報に基づいて、参照画像Ｉｎの部分領域を決定する。
【００９４】
次に、ステップＳ３３４では、ｎの値がＮの値か否かを判定する。ｎの値がＮの値で無い場合には、図７のステップＳ２４２へ移行し、ｎの値がＮの値である場合には、部分領域抽出処理ルーチンを終了する。
【００９５】
次に、図９に示す入力画像判定処理ルーチンについて説明する。
【００９６】
まず、ステップＳ４００では、部分特徴量記憶部５２に記憶されている部分領域の各々の特徴量、及び当該部分領域に対応する参照画像を読み込む。
【００９７】
次に、ステップＳ４０２では、入力部１０において受け付けた入力画像について、ステップＳ１０６と同様の特徴量を算出する。
【００９８】
次に、ステップＳ４０４では、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ４００において取得した部分領域の各々の特徴量とに基づいて、入力画像と、部分領域の各々との類似度を算出する。
【００９９】
次に、ステップＳ４０６では、ステップＳ４０４において取得した入力画像と部分領域の各々との類似度に基づいて、類似度の高い部分領域順に、当該部分領域に対応する参照画像のソートを行う。
【０１００】
次に、ステップＳ４０８では、ステップＳ４０６において取得した参照画像のソート結果に基づいて、上位Ｙ個の参照画像の各々に付加されている物体の名称、又は上位Ｙ個の参照画像の各々を出力部９０に出力し、入力画像判定処理ルーチンを終了する。
【０１０１】
以上説明したように、本発明の第１の実施の形態に係る画像処理装置によれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量とに基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を高精度に求めることができる。
【０１０２】
また、参照画像間の差異となる領域を算出することにより、入力画像中に含まれる物体の名称を、高精度かつ高速に得ることができる。
【０１０３】
また、類似する参照画像から初期部分領域を作成して比較することにより、差異となる領域が画像中に散在していても捉えることができる。
【０１０４】
また、類似する参照画像を１対１で比較することにより、差異となる領域が参照画像群中で頻繁に現れなかった場合でも捉えることができる。
【０１０５】
また、類似した画像を比較することで差異となる領域を抽出し、抽出した部分的な差異に基づく詳細な画像の自動特定を実現することができる。
【０１０６】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１０７】
例えば、第１の実施の形態においては、Ｃ枚の参照画像のうち、任意のＮ枚をランダムに抽出する場合について説明したが、これに限定されるものではなく、予め抽出対象の参照画像をＮ枚定めておいてもよい。
【０１０８】
また、第１の実施の形態においては、特徴量を算出する際に、特徴点を検出してから、当該特徴点に基づいて、特徴量を算出する場合について説明したが、これに限定されるものではない。例えば、HOG(Histograms of Oriented Gradients)や色ヒストグラム（非特許文献７：N. Dalal and B. Triggs: Histograms of oriented gradients for human detection. In CVPR, 2005）など、特徴点を用いず画像全域から算出する特徴量を用いても良い。
【０１０９】
また、第１の実施の形態においては、初期部分領域を作成する際に、参照画像毎、及び窓の種類Ｓ毎（Ｓは固定値）にＲ個の初期部分領域を作成する場合について説明したが、これに限定されるものではない。例えば、窓の大きさ及びＳは、参照画像毎に変更してもよいし、また、参照画像に対して窓を当てはめる際に、ずらしながら窓の大きさ変更してもよい。
【０１１０】
また、第１の実施の形態においては、初期部分領域を作成する際に、窓をずらしながら参照画像を分割する場合について説明したが、これに限定されるものではない。例えば、参照画像群に含まれる参照画像の各々について、SIFT等の特徴点を用いる特徴量を算出している場合、参照画像について窓を用いて初期部分領域の作成を行わず、特徴点そのものを初期部分領域としてもよい。
【０１１１】
また、第１の実施の形態においては、類似画像の選択を行う際に、特徴量算出部３２において検出した特徴点毎に特徴量間のユークリッド距離を算出する場合について説明したが、これに限定されるものではない。例えば、特徴量算出部３２にいて算出した特徴量が特徴点を用いないものであった場合、例えば、算出した特徴量間のユークリッド距離を算出し、その距離が小さい順に画像群からＭ枚選択すればよい。
【０１１２】
また、第１の実施の形態においては、参照画像の初期部分領域と、当該参照画像の類似画像の初期部分領域との距離の計算において、特徴点を用いる場合について説明したが、これに限定されるものではない。例えば、特徴量算出部３２において、HOG、色ヒストグラムなどの特徴点を用いない特徴量を算出している場合、参照画像および当該参照画像の類似画像の初期部分領域から特徴量を算出し、これらのユークリッド距離を計算し、これを距離として用いればよい。
【０１１３】
また、第１の実施の形態においては、参照画像の初期部分領域の各々と、当該参照画像の類似画像の各々との最小距離を算出する際に、参照画像の初期部分領域の各々と、当該参照画像の類似画像のＳ×Ｒ個の全ての初期部分領域の各々との距離を算出する場合について説明したが、これに限定されるものではない。例えば、図１０に示すように、参照画像の初期部分領域と、当該参照画像の類似画像の当該参照画像の初期部分領域と同箇所の初期部分領域のみとの距離を算出してもよい。また、図１１に示すように、参照画像の初期部分領域と、当該参照画像の類似画像の当該参照画像の初期部分領域と同箇所の初期部分領域、及び当該参照画像の初期部分領域の周辺に位置する初期部分領域のみとの距離を算出してもよい。また、図１２に示すように、参照画像の初期部分領域と、当該参照画像の類似画像全体との距離を算出してもよい。また、特徴点そのものを初期部分領域としている場合、１つの初期部分領域中に存在する特徴点は１つとなるため、例えば、参照画像の初期部分領域中に存在する特徴点から算出した特徴量と、当該参照画像の類似画像の初期部分領域中に存在する特徴点から算出した特徴量とのユークリッド距離を計算し、初期部分領域間の距離としてもよい。このようにすることによって、距離計算の処理回数を減らすことができる。
【０１１４】
また、第１の実施の形態においては、一定値Ｔを最小距離の平均値を用いる場合について説明したが、これに限定されるものではない。例えば、部分領域の面積が、参照画像の面積の５０％等の任意の割合となるようにＴを決定しても良い。また、特徴量としてSIFT、SURFなどの特徴点を用いた特徴量を用いた場合には、部分領域中に存在する特徴点の数が、参照画像全体に存在する特徴点の数の５０％等の任意の割合になるようにＴを決定しても良い。なお、当該場合には、判定の処理とＴの決定の処理とを繰り返し行うことによりＴの値を決定する。
【０１１５】
また、第１の実施の形態においては、部分領域有無情報の統合について、ピクセル毎に部分領域有無情報の論理和、又は論理積等をとる場合について説明したが、これに限定されるものではない。例えば、ピクセル毎に部分領域有無情報を加算し、例えば、平均値等の一定値を超えるピクセルを部分領域とするように統合を行ってもよい。この統合の際に、全てを１票とするのではなく、窓の種類ｓ毎又は類似画像ｍ毎に任意の値に変更してもよい。任意の値としては、例えば、窓の種類ｓの面積、類似画像ｍを選択する際に用いた類似度を用いることができる。
【０１１６】
また、第１の実施の形態においては、部分特徴量算出部において参照画像の全てについて同様の処理に基づいて、特徴量を算出する場合について説明したが、これに限定されるものではない。例えば、部分領域抽出部において、部分領域が抽出されているＮ枚の参照画像については、特徴量算出部３２において算出した特徴量を利用してもよい。具体的には、参照画像全体から抽出した特徴点について、部分領域に含まれる特徴点のみに着目し、当該特徴点から算出した特徴量を用いてもよい。
【０１１７】
次に、第２の実施の形態に係る画像処理装置について説明する。
【０１１８】
第２の実施の形態においては、部分領域有無情報を、多値で表現している点が第１の実施の形態と異なる。なお、第１の実施の形態に係る画像処理装置１００と同様の構成及び作用については、同一の符号を付して説明を省略する。
【０１１９】
＜本発明の第２の実施の形態に係る画像処理装置の構成＞
次に、本発明の第２の実施の形態に係る画像処理装置の構成について説明する。図１３に示すように、本発明の第２の実施の形態に係る画像処理装置２００は、ＣＰＵと、ＲＡＭと、後述する部分特徴量算出処理ルーチン、及び入力画像判定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この画像処理装置は、機能的には図１３に示すように入力部１０と、演算部２２０と、出力部９０と、を含んで構成されている。
【０１２０】
演算部２２０は、参照画像記憶部２２と、部分領域抽出部２３０と、部分特徴量算出部２５０と、部分特徴量記憶部２５２と、入力画像特徴量算出部６０と、類似度算出部２６２と、並べ替え部６４と、を含んで構成されている。
【０１２１】
部分領域決定部２４０は、抽出対象の参照画像の各々について、当該参照画像に含まれる各ピクセルの部分領域らしさを表す部分領域有無情報を取得する。具体的に、まず、抽出対象となる参照画像の各々について、当該参照画像の窓の種類ｓ毎の初期部分領域ｒの各々と、当該参照画像の類似画像ｍの各々との間において算出された最小距離を、当該初期部分領域ｒに含まれる参照画像の各ピクセルに割り振る。なお、第２の実施の形態においては、各ピクセルに割り振られた値が部分領域有無情報となり、当該部分領域有無情報が、当該ピクセルが部分領域らしさを表す度合いとなる。
【０１２２】
次に、抽出対象となる参照画像の各々について、取得した類似画像ｍ及び窓の種類ｓ毎の当該参照画像の各ピクセルの最小距離の割り振り結果に基づいて、類似画像ｍ毎及び窓の種類ｓ毎の当該参照画像の各ピクセルの部分領域有無情報を統合する。ここで、統合は、例えば、ピクセル毎に部分領域有無情報の各々の加算、又は部分領域有無情報の各々の平均をすることにより行う。これにより、抽出対象の参照画像の各々について、当該参照画像と同ピクセル数の部分領域有無情報が得られる。
【０１２３】
部分特徴量算出部２５０は、参照画像記憶部２２に記憶されているＣ枚の参照画像の各々について、当該参照画像の部分領域から特徴点を検出し、当該検出された特徴点から特徴量を算出し、当該部分領域に対応する参照画像と、当該部分領域の特徴量とを併せて部分特徴量記憶部２５２に記憶する。具体的には、まず、Ｃ枚の参照画像の各々について、当該参照画像全体の領域を当該参照画像の部分領域と決定する。そして、Ｃ枚の参照画像の各々について、当該参照画像の部分領域の特徴量を算出する。
【０１２４】
部分特徴量記憶部２５２には、部分特徴量算出部２５０において取得した部分領域の特徴量と、当該部分領域に対応する参照画像との複数のペアと、部分領域抽出部２３０において取得したＮ枚の参照画像に対応する部分領域有無情報とが記憶されている。なお、Ｎ枚の参照画像に対応する部分領域有無情報は、当該参照画像が対応する部分領域の特徴量と紐づいている。
【０１２５】
類似度算出部２６２は、入力画像特徴量算出部６０において取得した入力画像の特徴量と、部分特徴量記憶部２５２に記憶されている部分領域の特徴量の各々、及びＮ枚の参照画像に対応する部分領域有無情報の各々と、に基づいて、入力画像と部分領域の各々との類似度を算出する。具体的には、例えば、まず、入力画像の特徴量と、部分領域の特徴量との間のユークリッド距離を算出し、次に、算出した距離が一定値以下となる特徴点を検出し、当該特徴点が検出されたピクセルの部分領域有無情報と、当該ピクセルにおいて検出された特徴点の数との積を算出し、算出された総和を類似度とする。なお、Ｃ−Ｎ枚の参照画像に対応する部分領域と、入力画像との類似度は、第１の実施の形態と同様に算出する。
【０１２６】
＜本発明の第２の実施の形態に係る画像処理装置の作用＞
次に、第２の実施の形態に係る画像処理装置２００の作用について説明する。まず、入力部１０において、複数の参照画像を受け付け、参照画像記憶部２２に記憶する。そして、参照画像記憶部２２から参照画像の各々を読み込むと、画像処理装置２００によって、図１４に示す部分特徴量算出処理ルーチンが実行される。また、部分特徴量算出処理ルーチンの終了後に、入力部１０において、入力画像を受け付けると、画像処理装置２００によって、図１７に示す入力画像判定処理ルーチンを実行する。
【０１２７】
まず、図１４に示す、部分特徴量算出処理ルーチンについて説明する。
【０１２８】
図１４における、ステップＳ５０２では、ステップＳ１００において取得したＮ枚の参照画像の各々について、部分領域有無情報を取得する。
【０１２９】
次に、ステップＳ５０４では、読み込んだＣ枚の参照画像の各々について、当該参照画像の全体を部分領域として設定する。
【０１３０】
上記ステップＳ５０２の部分領域有無情報の取得処理について、図１５及び図１６の部分領域有無情報取得処理ルーチンにおいて詳細に説明する。
【０１３１】
図１６における、ステップＳ６３０では、ステップＳ３０４において取得した、参照画像Ｉｎの類似画像ｍに対する、ｓ番目の窓において作成した各ピクセルの割り振り結果の各々に基づいて、参照画像Ｉｎに含まれる各ピクセルにおける部分領域有無情報を統合する。
【０１３２】
次に、図１７に示す入力画像判定処理ルーチンについて説明する。
【０１３３】
まず、ステップＳ７００では、部分特徴量記憶部２５２に記憶されている部分領域の各々の特徴量、及び当該部分領域に対応する参照画像と、Ｎ枚の参照画像の各々の部分領域有無情報とを読み込む。
【０１３４】
次に、ステップＳ７０４では、Ｃ−Ｎ枚の参照画像に対応する部分領域については、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ７００において取得した部分領域の各々特徴量とに基づいて、Ｎ枚の参照画像に対応する部分領域については、ステップＳ４０２において取得した入力画像の特徴量と、ステップＳ７００において取得した部分領域の各々特徴量、及び当該部分領域の部分領域有無情報とに基づいて、入力画像と、部分領域の各々との類似度を算出する。
【０１３５】
以上説明したように、本発明の第２の実施の形態に係る画像処理装置によれば、複数の参照画像の各々について、特徴量を算出し、参照画像の各々について、参照画像の特徴量と、参照画像以外の参照画像であって、かつ参照画像と類似する参照画像の各々の特徴量とに基づいて、参照画像の部分領域であって、かつ、他の参照画像との間で差異となる部分領域を決定し、参照画像の各々について、参照画像の部分領域について、特徴量を算出し、入力画像から特徴量を算出し、参照画像の各々について、入力画像の特徴量と、参照画像の部分領域の特徴量と、に基づいて、入力画像と参照画像との類似度を算出し、類似度の各々に基づいて、入力画像に類似する参照画像を出力することにより、入力画像に類似する参照画像を高精度に求めることができる。
【０１３６】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１３７】
例えば、第２の実施の形態においては、各ピクセルの部分領域有無情報を最小距離とする場合について説明したが、これに限定されるものではなく、最小距離をその最大値で割った値を、ピクセルの部分領域有無情報としてもよい。
【０１３８】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【０１３９】
また、本願明細書中において、本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではない。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【符号の説明】
【０１４０】
１０   入力部
２０   演算部
２２   参照画像記憶部
３０   部分領域抽出部
３２   特徴量算出部
３４   初期部分領域作成部
３６   類似画像選択部
３８   最小距離算出部
４０   部分領域決定部
５０   部分特徴量算出部
５２   部分特徴量記憶部
６０   入力画像特徴量算出部
６２   類似度算出部
６４   並べ替え部
９０   出力部
１００ 画像処理装置
２００ 画像処理装置
２２０ 演算部
２３０ 部分領域抽出部
２４０ 部分領域決定部
２５０ 部分特徴量算出部
２５２ 部分特徴量記憶部
２６２ 類似度算出部
【図１】
0006560852.tif 000002
【図２】
0006560852.tif 000003
【図３】
0006560852.tif 000004
【図４】
0006560852.tif 000005
【図５】
0006560852.tif 000006
【図６】
0006560852.tif 000007
【図７】
0006560852.tif 000008
【図８】
0006560852.tif 000009
【図９】
0006560852.tif 000010
【図１０】
0006560852.tif 000011
【図１１】
0006560852.tif 000012
【図１２】
0006560852.tif 000013
【図１３】
0006560852.tif 000014
【図１４】
0006560852.tif 000015
【図１５】
0006560852.tif 000016
【図１６】
0006560852.tif 000017
【図１７】
0006560852.tif 000018
【図１８】
0006560852.tif 000019