(57)【要約】物体を表す画像からその局所的領域に係る複数の参照特徴ベクトルを抽出し、検索質問画像からその局所的領域に係る複数のクエリー特徴ベクトルを抽出する工程と、各クエリー特徴ベクトルと各参照ベクトルとの照合を行い、両者の距離が近いほど大きく、前記クエリー特徴ベクトルが抽出された局所領域が大きいほど大きな値を有し、かつ照合される参照ベクトルが抽出された局所領域が大きいほど大きな値を有する類似スコアを算出する工程と、前記類似スコアが最大となる参照ベクトルを各クエリー特徴ベクトルの類似ベクトルとしてそれぞれ決定する工程と、前記類似ベクトルに関連付けられた物体別の最終的なスコアを得、最高のスコアを与える物体を検出結果とする工程とを備え、前記スコアは、各類似ベクトルに係る類似スコアを、物体に照合された特徴ベクトルの数で割ることで算出されることを特徴とする物体検出方法。
2011021605.tif 000002
【特許請求の範囲】
【請求項１】
物体を表す画像からその局所的領域に係る特徴を表す複数のベクトルを参照特徴ベクトルとして抽出し、各参照特徴ベクトルが前記画像およびその画像が表す物体の物体IDと関連付けられて登録されてなる画像データベースの中から、検索質問画像に表された物体と同一の物体を表す画像を見出すべく、
検索質問画像からその局所的領域に係る特徴を表す複数のベクトルをクエリー特徴ベクトルとして抽出する工程と、
各クエリー特徴ベクトルについて各参照特徴ベクトルとの照合を行い、両者の距離が近いほど大きく、前記クエリー特徴ベクトルが抽出された局所領域が大きいほど大きな値を有し、かつ照合される参照ベクトルが抽出された局所領域が大きいほど大きな値を有するように定められてなる類似スコアを算出する工程と、
前記類似スコアが最大となる参照ベクトルを各クエリー特徴ベクトルの類似ベクトルとしてそれぞれ決定する工程と、
前記類似ベクトルに関連付けられた物体ID別の最終的なスコアを所定の計算処理によって得、最高のスコアを与える物体IDに係る物体を少なくとも検出結果とする工程とを備え、
前記スコアは、各類似ベクトルに係る類似スコアをsf、前記検索質問画像の特徴ベクトルのうち、画像データベースに登録された物体を表す特徴ベクトルとのマッチングが得られたものの数をNfとするとき、
【数１】
2011021605.tif 000019
により算出されることを特徴とする物体検出方法。
【請求項２】
前記類似スコアは、特徴ベクトルfが抽出された局所領域の大きさをw(f)とし、クエリー特徴ベクトルfqとそれに対応する類似ベクトルfdとのユークリッド距離をd(fq,fd)とするとき、
【数２】
2011021605.tif 000020
により算出される請求項１に記載の方法。
【請求項３】
前記画像データベースは、登録された各画像に対して予め定められたそれぞれの基準点からの距離および方向が、前記画像から抽出された各参照特徴ベクトルに関連付けられて登録されてなり、
各類似ベクトルにつき、対応する参照ベクトルと関連付けられて格納された距離および方向を用いて前記類似ベクトルに対する仮想の基準点の位置を求める工程と、
求まった仮想の基準点の位置が近くかつ同じ物体IDが関連付けられた類似ベクトルどうしを集めて複数のクラスタを得るクラスタリング工程と、
前記クラスタリング工程により得られた各クラスタの類似の度合いを表す局所スコアを所定の処理によって得る工程とをさらに備え、
前記最終的なスコアは、前記局所スコアをrc、各クラスタに属する類似ベクトルの総数をNcとするとき、前式（１）に代えて、
【数３】
2011021605.tif 000021
により算出される請求項１または２に記載の方法。
【請求項４】
前記局所スコアrcは、各クラスタに含まれる仮想の基準点の総数として定義される請求項３に記載の方法。
【請求項５】
ある特徴ベクトルを中心とする領域を複数の小領域であるビンに区分し、前記特徴ベクトルの周辺にあっていずれかのビンに属する特徴ベクトルの数をビンごとに集計してなるヒストグラムとして定義されるシェイプ・コンテキストを各参照特徴ベクトルに適用して参照特徴ベクトルのシェイプ・コンテキストを得、前記シェイプ・コンテキストに所定の計算処理を行って文脈スコアを算出し、前記シェイプ・コンテキストを各クエリー特徴ベクトルに適用してクエリー特徴ベクトルに係る文脈スコアを算出する工程をさらに備え、
前記最終的なスコアは、前記文脈スコアをuscとするとき、前式（３）に代えて、
【数４】
2011021605.tif 000022
により算出される請求項３または４に記載の方法。
【請求項６】
前記文脈スコアは、いずれかのビンに属する周辺の特徴ベクトルにつきビンごとの和を求めて各ビンの代表ベクトル
【数５】
2011021605.tif 000023
とし、ｍをシェイプ・コンテキストにおけるビンの数とするとき、各代表ベクトルの要素を連結してなるベクトル、
【数６】
2011021605.tif 000024
の長さとして定義される請求項５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像中の物体検出方法に関し、特に複雑な背景の下で物体を精度よく検出する手法に関する。
【背景技術】
【０００２】
物体検出とは、画像から物体を発見するという、コンピュータビジョンの分野でよく知られた研究課題である。最近の手法では、物体に関する情報は、局所特徴量の組で表される。局所特徴量とは、画像の部分領域を記述する特徴量である。画像から得られる局所特徴量の数と質は、処理に用いるアルゴリズムに大きく依存する。【０００３】
物体検出手法に共通する問題の一つに、背景から得られる局所特徴量の扱いがある。ここで、背景とは、物体以外の領域を表す。物体が異なっても同じ背景を持つことは十分考えられるため、背景から得られた局所特徴量を、前景から得られたものと区別せずに用いると、信頼性の高い結果が得られない。したがって、物体検出には、背景から得られたそれらの局所特徴量を用いないようにする仕組みが必要となる。
この問題を解決するための多くの手法は、教師あり学習を用いるものである。具体的には以下の３つのアプローチが提案されている。【０００４】
第一の方法は、背景を一切含まない画像を用いて物体の局所特徴量を学習するものである。背景を含まない物体だけの画像は、例えば、物体の領域を背景から切り出すことによって得られる。また、物体を撮影する際に単色の背景を用いておき、後でその色を用いないようにする方法（クロマキー）もある。いずれにせよ、これらの手法は手間がかかるため、検出対象となる物体の数が十分に少ないときにのみ用いることができる。【０００５】
第二の方法は、検出対象の物体を含まない画像を用いて、背景の特徴を学習するものである。これにより、背景からどのような局所特徴量が得られ、物体からはどのような局所特徴量が得られるのかを知ることができる。ただしこの方法には次のような問題点がある。例えば、人物検出の場合、本棚は背景となる。しかし、本棚の検出にも興味がある場合には、本棚はもはや背景とはなり得なくなる。すなわち、背景の定義は検出対象に依存するため、容易ではないといえる。【０００６】
第三の方法は、多様な背景を伴う検出対象の画像を多数用いるものである。この手法では、それらのすべての画像から共通して得られる局所特徴量を、検出対象物体から得られたものであると仮定する。この手法でも、必要な画像数は膨大となり、それらはユーザによって与えられなければならない点が問題となる。【０００７】
複雑な背景が問題となる一つの理由は、画像から抽出された局所特徴量は、それが背景から得られたものか物体から得られたものかに関係なく、同様に扱う点にある。これを解決する一つの方法は、個々の局所特徴量を人手によって選別することであるが、局所特徴量の数などから現実的な方法とはいえない。もう一つの可能な方法は、背景のない画像を与えて、物体を容易に取り出す方法である。他にも単一の物体に対して様々な背景を持つ画像を与える方法もある。【０００８】
もう一つの問題は、物体認識や検出によく用いられる「bag-of-featuresモデル」という方法から生じるものである。このモデルでは、各局所特徴量をクラスタリングして代表ベクトル（visual wordと呼ばれる）を得、さらに得られた代表ベクトルから物体の特徴を表す一つのベクトル量（特徴量）を生成する。クラスタリングの過程で各局所特徴量は互いの関連性を捨象して、個々独立なものとして扱われる。「bag-of-featuresモデル」の方法により、識別に有効で安定した特徴量を得ることが可能となる。一方で、各局所特徴量の位置や大きさ、方向などの情報が失われるという問題も生じる。【０００９】
この問題に対処する方法として、これまでに星座モデル(constellation model)と暗黙的形状モデル（implicit shape mode）の２つが提案されている。即ち、星座モデルや暗黙的形状モデルは、前述のクラスタリング処理によって失われてしまった、各局所特徴量の配置に関する情報を補償するためのものといえる。ただし、前記情報の扱い方はそれぞれのモデルで異なる。以下で各々について述べる。
≪星座モデル≫【００１０】
星座モデルでは、物体から得た局所特徴量は、２次元の確率空間上の位置を伴って保存される。結論からいえば、星座モデルは、検出対象の物体を示す検索質問画像とそれを用いて検出されるべき画像との間で主要なvisual wordの配置があまり変わらない場合に有効なモデルである。星座モデルでは、結果として得られるグラフ（局所特徴量をノード、局所特徴量間の位置関係をエッジで表すグラフ）を計算可能なものとするため、５個程度の局所特徴量（グラフのノード）しか用いることができない。
一つの局所特徴量を基準として正規化することにより、このモデルをスケールに不変とすることができる。【００１１】
Fergusらが述べているように、このモデルの一つの弱点は特徴の検出器（detector）に大きく依存する点にある（例えば、非特許文献１参照）。もし、画像の比較的大きな領域に対して定義された局所特徴量（例えば、自転車の車輪など）を検出することができなければ、もはやこのモデルを用いることはできない。もう一つの弱点は、このモデルが回転不変ではなく、また、視点の移動を扱うことができない点である。
≪暗黙的形状モデル≫【００１２】
Leibeらは、暗黙的形状モデルと呼ばれるモデルを提案した（例えば、非特許文献２参照）。このモデルでは、visual word間の相対的な配置によって形状が表されているわけではない。各visual wordは、予め定められた重心との相対的な位置によって表現される。物体検出時には、検索質問画像から取り出されたvisual wordは、画像データベース中のvisual wordと比較され、可能性のある重心の位置が提示される。これを可能性のある物体への投票と考え、可能性のある重心をクラスタリングして集めることにより、可能性のある物体がわかる。非特許文献３では、このモデルをスケールに不変とする手法が提案されている。このモデルは物体クラス内の大きなバリエーションを表すことができるような、十分柔軟性のあるモデルとなっている。これは、異なる画像から得られた局所特徴量を用いることによって実現されている。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】R. Fergus, P. Perona, and A. Zisserman. Object class recognition by unsupervised scale-invariant learning. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, volume 2, pages 264-271, June 2003.
【非特許文献２】B. Leibe, A. Leonardis, and B. Schiele. Combined object categorization and segmentation with an implicit shape model. In ECCV workshop on statistical learning in computer vision, pages 17-32, 2004.
【非特許文献３】B. Leibe, A. Leonardis, and B. Schiele. Robust object detection with interleaved categorization and segmentation. Int. J. Comput. Vision, 77(1-3):259-289, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
前述のように、局所特徴量の互いの関連性についての情報を考慮することができれば識別に有効で安定した局所特徴量を得ることができるが、従来の星座モデルでは通常何千、何万という局所特徴量を扱う物体検出には不適であり、その他にも弱点がある。これに対し暗黙的形状モデルは、より柔軟性があるが、このモデルも視点の移動を扱えず、また、回転に対して不変ではないという弱点を持つ。背景の影響を排除するため、局所特徴量の配置情報を用いることのできる物体検出手法が望まれている。【００１５】
この発明は、以上のような事情を考慮してなされたものであって、制限のない背景領域を伴う少数の画像（理想的な場合は１枚の画像）からでも物体の特徴を学習しその物体を検出できる手法を提供するものである。
【課題を解決するための手段】
【００１６】
前述の課題を解決すべくなされたこの発明の特徴は、局所特徴量だけではなく、その配置も用いる点にある。単体の局所特徴量であれば、偶然に他の物体あるいは背景から共通のものが得られる可能性はあるが、多くの局所特徴量が配置を含めて一致するという状況は、偶然には起こりえない。この発明による手法はこのような情報を用いて物体検出を行う。【００１７】
この発明の特徴的な一側面は、物体を表す画像を、予め登録された多数の画像データから検出する方法であって、物体を示す画像としての検索質問画像からその局所的な特徴を表す複数のクーリエ特徴ベクトルを抽出し、予め登録された画像データは、その局所的な特徴を表す複数の参照特徴ベクトルと一つの基準点に対する各参照特徴ベクトルの距離と方向とが関連付けて格納され、各クーリエ特徴ベクトルにつき各参照ベクトルを比較して類似する参照ベクトルを類似ベクトルとして決定し、類似ベクトルに関連付けられた前記基準点からの距離と方向とを用いて検出すべき画像データを決定する点にある。【００１８】
また、他の特徴的な一側面は、各類似ベクトルにつき、それと関連付けられた距離及び方向を用いて仮想の基準点の位置をそれぞれ計算し、その位置につき物体ID付の投票処理を行い、投票結果としての仮想の基準点の位置が近いもの、換言すれば類似のものを集めてなる複数のクラスタを得、各クラスタの類似の度合いを表す局所スコアを所定の処理によって得、得られた局所スコアに係る評価に基づき所定数の物体IDを検出結果として採用する点にある。【００１９】
ここで、投票処理は、得られた証拠に基づいて選択肢の何れかにスコアを与え、すべての証拠を集計した結果最高あるいは上位のスコアを得た選択肢を選択する処理を指す。この技術分野では一般によく用いられている処理である。【００２０】
さらに、他の特徴的な一面は、各クエリー特徴ベクトルについて各参照特徴ベクトルとの照合を行うために、両者の距離が近いほど大きく、前記クエリー特徴ベクトルが抽出された局所領域が大きいほど大きな値を有し、かつ照合される参照ベクトルが抽出された局所領域が大きいほど大きな値を有するように定められてなる類似スコアを算出し、前記類似スコアが最大となる参照ベクトルを各クエリー特徴ベクトルの類似ベクトルとしてそれぞれ決定し、各類似ベクトルにつき、各類似スコアに係る評価に基づき所定数の物体IDを検出結果として採用する点にある。【００２１】
より詳細には、この発明は、物体を表す参照画像からその局所的領域に係る特徴を表す複数のベクトルを参照特徴ベクトルとして抽出し、それらの参照特徴ベクトルが対応する参照画像およびその参照画像が表す物体の物体IDと関連付けられて登録されてなる画像データベースの中から、検索質問画像に表された物体と同一の物体を表す画像を見出すべく、検索質問画像からその局所的領域に係る特徴を表す複数のベクトルをクエリー特徴ベクトルとして抽出する工程と、各クエリー特徴ベクトルについて各参照特徴ベクトルとの照合を行い、両者の距離が近いほど大きく、前記クエリー特徴ベクトルが抽出された局所領域が大きいほど大きく、かつ前記参照ベクトルが抽出された局所領域が大きいほど大きな値を有するように定められてなる類似スコアを算出する工程と、各クエリー特徴ベクトルについて前記類似スコアが最大となる参照ベクトルを類似ベクトルとしてそれぞれ決定する工程と、前記類似ベクトルに関連付けられた物体ID別の最終的なスコアｓを所定の計算処理によって得、最高のスコアを与える物体IDに係る物体を少なくとも検出結果とする工程とを備え、前記スコアｓは、各類似ベクトルに係る類似スコアをsf、前記クエリー特徴ベクトルのうち、画像データベースに登録された参照画像が表す物体に対応する特徴ベクトルとのマッチングが得られたものの数をNfとするとき、【００２２】
【数１】
2011021605.tif 000003
により算出されることを特徴とする物体検出方法を提供する。
【発明の効果】
【００２３】
この発明の物体検出方法において、両者の距離が近いほど大きく、前記クエリー特徴ベクトルが抽出された局所領域が大きいほど大きく、かつ前記参照ベクトルが抽出された局所領域が大きいほど大きな値を有するように定められてなる類似スコアを算出する工程と、最高のスコアを与える物体IDに係る物体を少なくとも検出結果とする工程とを備えるので、特徴ベクトルが抽出された局所領域の大きさを考慮しない場合と比較した場合、複雑な背景から得られる特徴ベクトルの影響をより小さくする一方で物体から検出される特徴ベクトルを重視して物体の検出を行うことができる。これは、複雑な背景から得られた特徴ベクトルは、通常、その特徴ベクトルが抽出された局所領域の大きさが小さく、一方で、物体から得られる特徴ベクトルはその特徴ベクトルが抽出された局所領域の大きさが比較的大きいことが多いという性質を利用しているからである。【００２４】
最終的なスコアをこのような単純な計算処理で得ても、有効な物体検出を行うことができる。即ち、局所領域の大きさを考慮しない従来の手法に比べ、複雑な背景から得られる特徴ベクトルの影響を小さくする一方で物体から検出される特徴ベクトルを重視して物体の検出を行うことができる。【００２５】
この発明において、画像からその局所的な特徴を表す特徴ベクトルを抽出する手法としては、公知のSIFT (Scale-Invariant Feature Transform)が適用可能である。SIFTの詳細は口述する。この実施形態では、SIFTの一種であるPCA-SIFTの手法により特徴ベクトルを抽出しているが、必ずしもこれに限定されるものではない。ただし、この発明においては、前述のように複雑な背景から得られた特徴ベクトルは、通常、小さい局所領域を持つという性質を利用しているので、この性質を満たす手法が極めて好ましい。SIFTやPCA-SIFTはその好適な一例である。
【図面の簡単な説明】
【００２６】
【図１】この発明の物体検出方法の処理の流れを示すフローチャートである。
【図２】この発明に係る局所特徴量の基準点からの距離ｔと角度αの定義を示す説明図である。
【図３】この発明に係るシェイプ・コンテキストの一例を示す説明図である。
【図４】この発明に係る局所特徴量とシェイプ・コンテキストとの関係を示す説明図である。
【図５】この発明の有効性を示す実験に用いた画像の例を示す説明図である。
【発明を実施するための形態】
【００２７】
以下、この発明の好ましい態様について説明する。
前記類似スコアは、特徴ベクトルfが抽出された局所領域の大きさをw(f)とし、クエリー特徴ベクトルfqとそれに対応する類似ベクトルfdとのユークリッド距離をd(fq,fd)とするとき、
【数２】
2011021605.tif 000004
【００２８】
により算出されてもよい。このようにすれば、類似スコアsfは、クエリー特徴ベクトルと参照特徴ベクトルの距離がより近ければより大きくなるだけでなく、クエリー特徴ベクトル、参照特徴ベクトルが抽出された局所領域の大きさがより大きければより大きくなる。よって、クエリー特徴ベクトル、参照特徴ベクトルの局所領域の大きさを考慮して類似ベクトルを決定することができ、また、検出結果としての物体を決定することが実現できる。
【００２９】
前記画像データベースは、各参照画像に対して予め定められたそれぞれの基準点からの各参照ベクトルの距離および方向が、対応する参照特徴ベクトルに関連付けられてさらに登録されてなり、各類似ベクトルにつき、対応する参照ベクトルと関連付けられて格納された距離および方向を用いて前記類似ベクトルに対する仮想の基準点の位置を求める工程と、それぞれが互いに近接した仮想の基準点を有しかつ同じ物体IDに関連付けられた類似ベクトルから構成される複数のクラスタのうち各類似ベクトルが属すべきクラスタを決定するクラスタリング工程と、前記クラスタリング工程により得られた各クラスタの類似の度合いを表す局所スコアを所定の処理によって得る工程とをさらに備え、前記最終的なスコアは、前記局所スコアをrc、クラスタの総数をNcとするとき、前式（１）に代えて、
【００３０】
【数３】
2011021605.tif 000005
により算出されてもよい。
【００３１】
このようにすれば、類似スコアと局所スコアを用いて得ることによって、有効な物体検出を行うことができる。即ち、局所領域の大きさを考慮しない従来の手法に比べ、複雑な背景から得られる特徴ベクトルの影響をより小さくする一方で物体から検出される特徴ベクトルをより重視して物体の検出を行うことができる。
【００３２】
即ち、この態様によれば、検索質問画像と画像データベース中の画像とをそれらの画像から抽出された局所特徴量を用いて照合する際に基準点とその基準点に対する相対位置の情報を用いる。これによって、単に対応する局所特徴の数が多いか少ないかだけではなく、局所特徴量の相対位置、即ち、局所特徴量の画像中での配置関係が類似しているか否かを考慮して照合を行うことができる。
【００３３】
ここで、画像データベースに登録される画像は、参照特徴ベクトルに関連付けられて登録されるだけでなく、各参照特徴ベクトルが基準点からの距離および方向に関連付けられて登録される。この基準点からの距離および方向の情報から、前記類似ベクトルに係る仮想の基準点を計算し、クラスタリングを行うのである。
【００３４】
基準点は、各局所特徴量を表現するための基準である点において前述の非特許文献２、３における重心と同様の役割を担うが、物体の重心である必要はなく、また、物体の内部になければならないなどの制約条件はない。基準点は、画像中のある決まった点であればよい。その具体的な態様は、例えば、画像の領域が矩形状の場合、矩形領域２本の対角線の交点（矩形領域の中心）である。
【００３５】
前記局所スコアrcは、各クラスタに含まれる仮想の基準点の総数として定義されてもよい。
【００３６】
ある特徴ベクトルを中心とする領域を複数の小領域であるビンに区分し、前記特徴ベクトルの周辺にあっていずれかのビンに属する他の特徴ベクトルの数をビンごとに集計してなるヒストグラムとして定義されるシェイプ・コンテキストの手順を適用して特徴ベクトルについてのシェイプ・コンテキストを得る工程と、前記シェイプ・コンテキストを用いた所定の計算処理を行って文脈スコアを算出する工程とをさらに備え、前記最終的なスコアは、前記文脈スコアをuscとするとき、前式（３）に代えて、
【００３７】
【数４】
2011021605.tif 000006
により算出されてもよい。
【００３８】
このようにすれば、前記類似スコア、前記局所スコアおよび前記文脈スコアを用いて最終的なスコアを得、検出結果としての物体を決定できるので、複雑な背景から得られる特徴ベクトルの影響をより確実に小さくする一方で物体から検出される特徴ベクトルをより重視して物体の検出を行うことができる。即ち、局所特徴量の周囲にある局所特徴量の配置関係が類似しているか否か否かを局所スコアとは異なった文脈スコアの観点から考慮したうえで検索質問画像と対応する画像を見出すことができる。同じビンに入っているかどうかを見ることによって点の配置関係が同じか否かを評価することができるからである。
【００３９】
前記シェイプ・コンテキストは、ある特徴ベクトルについて、その周辺にある特徴ベクトルとの相対的な配置の情報を与えるものである。対象とする特徴ベクトルの周辺領域を複数の小領域であるビンに区分し、前記特徴ベクトルの周辺にあっていずれかのビンに属する特徴ベクトルの数をビンごとに集計してなるヒストグラムとして定義されるものである。
また、前記文脈スコアは、いずれかのビンに属する他の特徴ベクトルにつきビンごとの和を求めて各ビンの代表ベクトル
【００４０】
【数５】
2011021605.tif 000007
としｍをシェイプ・コンテキストにおけるビンの数とするとき、各代表ベクトルの要素を連結してなるベクトル、
【００４１】
【数６】
2011021605.tif 000008
の長さとして定義されてもよい。
【００４２】
このようにすれば、シェイプ・コンテキストの中心の特徴ベクトルが物体の境界線付近に配置されている場合は、その周辺の特徴ベクトルが通常は一定方向を表わす傾向にあり、これに対して中心の特徴ベクトルが複雑な背景に配置されている場合はその周辺の特徴ベクトルの方向が一定でないという特性から、対象の特徴ベクトルが物体の境界線付近にある場合は複雑な背景にある場合にくらべて大きな文脈スコアの値が得られる。従って、前記クラスタリング工程、あるいはさらに検出結果を得る工程において、この文脈スコアを用いることにより、複雑な背景から得られる特徴ベクトルの影響をより確実に小さくする一方で物体から検出される特徴ベクトルをより重視して物体の検出を行うことができる。
【００４３】
Nf、rcおよびNcについて例を用いて説明する。クラスタリングを行った結果、第１〜第３の合計３つのクラスタが得られたとする。Ncはクラスタの総数であるからNc ＝３である。
【００４４】
rcは、一つのクラスタについての仮想の基準点の数を表す。例えば、第１クラスタは仮想の基準点が３つであるとする。すると、第１クラスタについてはrc＝３である。第２クラスタは仮想の基準点が２つであるとする。すると、第２クラスタについてはrc＝２である。さらに、第３クラスタは仮想の基準点が１つであるとする。すると、第３クラスタについてはrc＝１である。よって、それらのクラスタについての仮想の基準点の合計は、Σrc＝６である。クラスタリングが上手く行われない場合、少数の仮想の基準点を含む多数のクラスタが得られる。従って、Σ（rc／Nc）の値は１に近くなる。一方、クラスタリングが上手く行われた場合、多数の仮想基準点を含む少数のクラスタが得られる。よって、Σ（rc／Nc）の値は１よりも大きくなる。
【００４５】
Nfは、検索質問画像の特徴ベクトルのうち、画像データベースに登録された物体の特徴ベクトルとのマッチングが得られたものの数である。例えば、いずれの物体とも関連しない背景から抽出された特徴ベクトルは無視される。つまり、1000個の特徴ベクトルが検索質問画像から抽出され、それらのうち750個が物体Ａとマッチし、600個が物体Ｂとマッチしたとする。この場合、物体ＡについてはNf＝750、物体ＢについてはNf＝600である。
【００４６】
ここで示した種々の好ましい態様は、択一的なものを除き、それら複数を組み合わせることもできる。
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
この発明による手法では、いくつかの異なるアイデアを組み合わせることによって、様々な問題に対処する。図１に処理の概要を示す。
【００４７】
この発明による手法では、画像データベース１に格納すべき画像および検索質問としての検索質問画像３の双方からPCA-SIFT特徴量とそのシェイプ・コンテキスト表現を抽出し（図１のステップS01、S03、S05、S11、S13、S15参照）、画像を表現する。
【００４８】
物体検出に係る第一のステップでは、検索質問画像３から抽出されたPCA-SIFT特徴量（前記S11、S13参照）と、画像データベース１に格納されている各画像に係るPCA-SIFT特徴量（前記S01、S03参照）とを比べ類似スコア(similarity score)を計算する処理（類似性処理、similarity processing、図１のステップS21、S23参照）を行う。なお、画像データベース１中の各画像のPCA-SIFT特徴量は、画像データベース１への登録時に各画像から抽出される（前記S01、S03参照）。この類似性処理の段階では、この発明の一つの特徴として提案する「基準点」に基づき仮想の基準点の位置をさらに計算する（図１のステップS25参照）。
【００４９】
第二のステップとして前述のシェイプ・コンテキストから、文脈スコア(context score)を計算する（前記S05、S15およびステップS29参照）。第一のステップで得られた類似スコア、仮想の「基準点」（前記S25参照）、および第二のステップで得られた文脈スコアの値（前記S29参照）は、第三のステップであるクラスタリングステップ（図１のステップS27参照）で用いられ、局所スコア(locality score)が算出される（図１のステップS31参照）。第四のステップとして最終的に得られるスコアは、PCA-SIFTの類似スコア、文脈スコア、局所スコアから計算される（図１のステップS33参照）。
以下では、最初に局所特徴量のスコアを個別に紹介し、その後、仮想の基準点のクラスタリングについて述べ、最後にシェイプ・コンテキストについて述べる。
【００５０】
１．１  距離と個別のスコア付け（類似スコア）
我々は画像記述のための局所特徴量としてSIFTを選ぶ。SIFTは、Loweによって提案された局所特徴量の抽出手法であり（文献、D. G. Lowe. Object recognition from local scale-invariant features. In ICCV '99: Proceedings of the International Conferenceon Computer Vision-Volume 2, page 1150, Washington, DC, USA, 1999. IEEE Computer Society.参照）、一つの局所特徴量は、128次元のベクトル（特徴ベクトル）で表現される。その手法により得られる局所特徴量は識別性が高く、優れた性能を発揮することで知られている。計算速度を向上させるため、オリジナルの128次元のベクトルを、PCA（principal component analysis:主成分分析）によって次元削減した特徴ベクトルを用いるPCA-SIFTが知られており、この実施形態では36次元のPCA-SIFTを用いている。PCA-SIFTを用いると、精度も向上することが知られている（例えば、文献、Y. K. Rahul, Y. Ke, and R. Sukthankar. Pca-sift: A more distinctive representation for local image descriptors. pages 506-513, 2004.参照）。SIFTおよびPCA-SIFTにより得られる局所特徴量のよい点の一つは、局所特徴量が前述したように特徴ベクトルとして表現され、局所領域の大きさと方向が特徴ベクトルによって与えられる点である。ここでいう局所特徴量の大きさと方向は、特徴ベクトルのベクトル量、即ち、ノルム（長さ）および方向と直接的に対応するものではない。つまり、特徴ベクトルのベクトル量とは別に、局所特徴量を抽出する元になった局所領域の大きさと向きを指している。
【００５１】
この局所領域の大きさを用いることにより、複雑な背景の問題を解決する糸口をつかむことができる。複雑な背景から得られた局所特徴量は、通常、小さい局所領域を持つ。一方で、物体から得られる局所特徴量は比較的大きな局所領域を持つことが多い。ただし、これは単なる傾向であって、常に成り立つ訳ではない。例えば、物体の表面が細かい模様のとき、物体から得られる局所特徴量は小さい局所領域を持つ。
以下、この発明による手法を具体的に述べる。
【００５２】
いま、w(f)によりPCA-SIFT特徴量fの大きさを表し、d(f1,f2)により、２つの局所特徴量f1,f2に対する特徴ベクトル間のユークリッド距離を表す。また、fq，fdにより、検索質問画像３から得た局所特徴量、画像から得た局所特徴量を表す。このとき、検索質問画像３から抽出された一つの局所特徴量と、画像データベース１中のある画像から抽出された一つの局所特徴量との類似スコアsfは、以下で定義されるものである（前記S21、S23参照）。
【００５３】
【数７】
2011021605.tif 000009
【００５４】
式（７）の定義によれば、類似スコアsfは、検索質問画像３から得た特徴ベクトルと画像から得た特徴ベクトルの距離がより近ければより大きくなり、また、クエリー特徴ベクトル、参照特徴ベクトルの局所領域の大きさがより大きければより大きくなる。
この段階で、我々は各局所特徴量を独立に評価しており、最大スコアのものを照合結果として選択する。
【００５５】
１．２  局所的情報
この節では、PCA-SIFT特徴量をどのように用いて局所的情報を得るのかについて述べる。各局所特徴量は画像平面上で位置を持つ。もし、この情報だけを直接用いるのであれば、結果として得られるモデルは従来の星座モデルと似通ったものとなってしまう。このような表現は柔軟性に欠けており、また、物体検出の際には、局所特徴量の組み合わせを全て試さなければならないため、局所特徴量の数に対して指数関数的に計算量が増加してしまう。これに対して、この発明による局所的情報は、前述の暗黙的形状モデルと同程度の計算量に留めることができる。
【００５６】
この発明における局所的情報の取り扱いは以下のような着想に基づくものである。
まず、一つの基準点を画像中にとる。基準点の位置は基本的にどこであってもよいが、計算誤差の影響を小さくする観点から、物体の重心（あるいは画像の中心）に基準点を取ることが好ましい。
【００５７】
局所特徴量を記録する際には、局所特徴量それ自体の大きさと方向だけではなく、基準点との相対位置、即ち、距離tと角度αをさらに記録しておく。基準点に対する相対位置の情報を記録しておくことで、検索質問画像と画像データベース中の画像とを照合する際に局所特徴量の相対位置を考慮することができる。
【００５８】
例えば、検索質問画像の局所特徴量A1が画像データベースの局所特徴量B1と対応づけられたとする。B1の大きさと方向をA1の大きさと方向にあわせると、それに伴ってB1に対する基準点の位置も変換される。これを検索質問画像の各局所特徴量について実行すると、検索質問画像の各局所特徴量に対応付けられた画像データベース中の局所特徴量の数だけ、変換された基準点が得られる。もし、局所特徴量の対応づけが正しいものであって、同じ物体に対応付けられたものであれば、変換された基準点は同じ点を表すはずである。即ち、基準点は検索質問画像のどこか１点に集中するはずである。以上の考えに基づいて局所スコアを求めている。詳細を以下に説明する。
【００５９】
１．２．１  基準点を用いた投票
学習時、即ち、画像データベース１へ各画像を予め登録する際には、登録する画像から抽出される各局所特徴量に対して、図２に示すように、基準点からの距離tと角度αを計算し画像と関連付けて登録する。
【００６０】
図２の意味は以下の通りである。四角形で表された局所特徴量の領域（中心（x,y）、大きさｌ（エル）、方向θ）は、基準点(x0,y0)から距離ｔ、角度αの位置にある。逆にいえば、局所特徴量が与えられて、その局所特徴量の座標、大きさと方向が、それぞれ(x,y)、ｌ、θであるならば、それとｔ、αによって定まる位置に仮想の基準点が存在する。
【００６１】
図１のステップS25の投票処理について、もう少し具体的に述べる。検索質問画像３から得た局所特徴量に対して、式（７）で定義されるスコアが最も大きい局所特徴量を画像データベース１から求める。この局所特徴量は、前述したように学習時に基準点からの距離tと角度αが計算されて画像データベース１に登録された画像から得られたものである。
ここで、その画像中の物体のIDをiとする。いま、検索質問画像３から得た局所特徴量の位置、大きさ、方向を、それぞれ、(x',y'), l', θ'とする。また、これに照合した画像データベース１中の局所特徴量の大きさ、方向を、l, θ、基準点の角度と距離をα、ｔとする。このとき、検索質問画像の座標系において、仮想の基準点(x0', y0')の存在する位置は、
【００６２】
【数８】
2011021605.tif 000010
【００６３】
となる。投票は2次元空間中の仮想の基準点(x0',y0')に対して行われる。具体的には、仮想の基準点の座標(x0',y0')の箇所に前記物体IDに係るiというラベル付きの票を保存する。全ての局所特徴量から投票が終了すると、後述のごとく2次元空間中でクラスタリング処理を適用する（図１のステップS27参照）。これは、実際には、すべての投票、即ち仮想の基準点がただ１点に集中することは稀なためである。
【００６４】
もし、検索質問画像３が画像データベース１中の同じ物体iを含むものであれば、仮想の基準点に対して物体iの票が集中するはずである。逆にいえば、物体iに対する仮想の基準点への投票が一定数を上回れば、それは、検索質問画像３中に、物体iが存在することを意味する。複雑背景の局所特徴量の一部は、画像データベース１中の無関係な画像の局所特徴量と誤って照合するかもしれない。しかし、このような偶然の照合結果から得られる票が仮想の基準点に集中するためには、偶然が何度も重なる必要があり、確率としては極めて低くなる。
【００６５】
実際には、種々の誤差のため、票が仮想の基準点の場所に正確に集中することは希であり、仮想の基準点周辺に分散する。そこで、次に述べるクラスタリング処理（前記S27参照）によって、票をまとめてから比較する必要がある。
【００６６】
１．２．２  票のクラスタリングと局所スコア
クラスタリングとは、与えられた空間において、点を集めるために適用される。このためには２つの関数が必要となる。一つは、類似度（あるいは距離）を計測するための関数、もう一つは２つのクラスタを併合する関数である。これらの関数が定義されると、クラスタリングアルゴリズムが適用可能となり、密な領域を発見できる。
【００６７】
この発明では、Leibeらが前述の非特許文献３で用いた方法で、可能性のある票をクラスタリングすることにする。中心的なアイデアは、ランダムに選択した初期点群を用いて、相互最近傍対（reciprocal nearest neighbor (RNN) pair）を生成し、それを整列されたリストに格納し、ある定められた閾値を超えた類似度を持つペアについて、クラスタを形成するという方法にある。なお、クラスタリングの対象となる票は、物体IDのラベルを持つ点に留意すべきである。この発明では、同じラベルの票のみがクラスタリングの対象となる。いくら近い位置にあろうとも、異なるラベルの票が同じクラスタに属することはない。
【００６８】
この発明における枠組みでは、クラスタリングの動作を以下のように変更して用いる。変更の目的は、同じラベルを持つ票について、より類似スコアの高いものを優先してまとめることである。このために、各クラスタは、クラスタリング値ζを持つこととする。このクラスタリング値は引力を表し、これが大きいとクラスタが形成されやすく、クラスタ同士の距離が互いに遠くなり、クラスタの数が少なくなる。逆に値が小さいと、クラスタが形成されにくくなる。
【００６９】
クラスタリング処理の後は、各クラスタに対してクラスタ中の票の数を局所スコアrCとして算出する（図１のステップS31参照）。クラスタに含まれる票の数が多ければ多いほど、それに対応する物体の局所性が高いことになる。この段階で、一つの票しか含まないクラスタは消去される。
【００７０】
以上の処理は、前記非特許文献２，３におけるLeibeらの暗黙的形状モデルの手法と類似している部分もある。しかし、本発明の手法が回転などを含む相似変換に対して不変な投票を行っているのに対して、Leibeらの手法にはそのような工夫が見られない点が最大の相違点である。また、本発明の手法が局所特徴量をそのまま扱うのに対して、Leibeらの手法は局所特徴量をそのまま扱うのではなく、visual wordと呼ばれる代表ベクトルに変換したのちに扱う点でも大きく異なる。
【００７１】
１．２．３  シェイプ・コンテキストと文脈スコア
仮想の基準点を用いた投票の考えは、これまでの手法と比べて十分な改善効果をもたらすものであるが、局所特徴量間の相対的な配置の情報を捨象した処理となっている点に注意が必要である。即ち、局所スコアは、基準点と局所特徴量の相対位置を規定したものであって、局所特徴量間の相対位置を規定するものではない。そうすると、異なる物体が似た局所スコアを持つことがないとはいえない。
【００７２】
そのような懸念に対する解決手段として、シェイプ・コンテキスト(shape context)と呼ばれる方法を導入することが好ましい。シェイプ・コンテキストに基づいて、更なる評価指標である文脈スコアを導入することができる。文脈スコアuSCは、ある局所特徴量の周囲をみて、周囲にある局所特徴量の配置が同じかどうかを評価する。つまり基準点と局所特徴量の相対的な位置関係だけではなく、ある局所特徴量の周囲にある局所特徴量の配置関係が類似しているか否かを評価するのである。
【００７３】
シェイプ・コンテキストとは、位置に関する情報を保持するものであるが、星座モデルや暗黙的形状モデルとは異なるものである。シェイプ・コンテキストは、点の具体的な局所性を保持するのではなく、空間をいくつかの局所的な小領域（ビン）に分割し、ビンに入る点の数を用いて局所性を表現する。ビン中の点の数は、点の局所的な配置を表すヒストグラムを作成するために用いられる。このような表現を用いると、点の絶対的な位置情報がビンへの帰属で近似される。
【００７４】
同じビンに入っているかどうかを見ることによって点の配置関係が同じか否かを評価することができる。このような手法は、各点の相対位置を直接評価する手法に比べると各点の位置の細かい変動に対して頑健となり、より柔軟性の高い表現となる。Belongieらは、物体の輪郭点に対してこの手法を適用し、形状の検出を実現している（例えば、文献、S. Belongie, J. Malik, and J. Puzicha. Shape matching and object recognition using shape contexts. IEEE Trans. Pattern Anal. Mach. Intell., 24(4):509-522, 2002.参照）。
【００７５】
ただし、シェイプ・コンテキストは強い制約であるため、例えば、背景などから得られる対象物体と無関係な局所特徴量がシェイプ・コンテキストの領域に多数入ると照合がとれないといったように、いわゆる「外乱」に対して弱い面がある。従って、一つのビンの領域を大きくとり過ぎると好ましくない結果になる。つまり、大きな領域に対してシェイプ・コンテキストが「同じ」であることを要求することはできない。従って、限られた面積を一つのビンとしてシェイプ・コンテキストを適用する必要がある。
【００７６】
シェイプ・コンテキストの中心となる局所特徴量は、自身の大きさと方向を持っている。シェイプ・コンテキストの扇状の領域の大きさと方向を、前記局所特徴量の大きさと方向に整合させることで、前記局所特徴量の大きさと方向が安定している限り同じシェイプ・コンテキスト領域を得ることができる。このようにして、回転不変及びスケール不変なシェイプ・コンテキストの領域が得られる。そして、検索質問画像と画像データベース中の画像のシェイプ・コンテキストが照合可能になる。
【００７７】
シェイプ・コンテキストを回転不変にすることは扇形形状の採用により容易に実現できる。
一方で、スケール不変の実現手法については一考を要する。シェイプ・コンテキストの例を図３に示す。図３で区切られた空間がそれぞれビンを表す。図３はスケールの異なる２つのシェイプ・コンテキストを表している。左側のシェイプ・コンテキストは適切なスケールの場合であり、多くの特徴点が異なるビンに属している。一方、右側のシェイプ・コンテキストでは、殆どすべての点が内側の円内にあるため、点が所属するビンの数は少なくなる。したがって、このような場合、他の形状と区別することは困難となる。このようにシェイプ・コンテキストはスケールによって大きく変わるため、学習と検出の際に、同じスケールのものが照合されるように、検索質問画像と画像データベース中の各画像から適切なスケールのシェイプ・コンテキストを抽出するようにしなければならない。
【００７８】
この発明による手法では、各PCA-SIFT特徴量について、そのシェイプ・コンテキストを計算する（前記S05、S13参照）。図３の点に相当するものは、PCA-SIFT特徴を表す局所領域となる。シェイプ・コンテキストの計算にあたっては、PCA-SIFT特徴量の位置、局所領域の大きさ、方向の情報のみを用い、記述子の情報（36次元の特徴ベクトル）は用いない。ここでは、Moriらによって提案された拡張版のシェイプ・コンテキストを用いる（文献、Mori, Greg and Belongie, Serge and Malik, Jitendra. Efficient shape matching using shape contexts. IEEE Trans. Pattern Anal. Mach. Intell., 27(11):1832-1837, 2005.参照）。このモデルでは、特徴点ではなく、正規化されたベクトルがビンに収められる。そして、ビンに収められたベクトルの和によってビンに対する代表ベクトルを求める。我々は、この正規化されたベクトルとして、局所特徴量の方向を表す単位ベクトルを用いる。
【００７９】
図４(a)に、画像空間中に分布するPCA-SIFT特徴の局所領域とそのシェイプ・コンテキストを表す。いくつかの局所領域はシェイプ・コンテキストの外側にあるため、シェイプ・コンテキストには反映されない。局所領域の大きさの情報をここで用いる。ここでは、正規化したベクトルに局所領域の大きさの情報を用いて重みを付ける。いま、
【００８０】
【数９】
2011021605.tif 000011
【００８１】
によって、局所特徴量f1,…,fiに対する正規化されたベクトル（局所特徴量の方向を表すもの；ベクトルのノルムを１に正規化）を表し、w(f)によって局所特徴量ｆの局所領域の大きさを表す。すると、ビンに対する代表ベクトルvは、
【００８２】
【数１０】
2011021605.tif 000012
【００８３】
の式で表されるものとなる。もし、ビンが物体の安定した境界線付近に配置されれば、シェイプ・コンテキストは一定の方向を表すようになる。一方、複雑な背景から得られた局所特徴量については、方向が一定ではないため、和によって相殺され、ビンの代表ベクトルはゼロベクトルに近くなる。
【００８４】
以上に述べたように、回転不変およびスケール不変なシェイプ・コンテキストを得る手法は、次のように実現される。まず回転不変については、局所特徴量の方向を用いてシェイプ・コンテキストの向きを定める。スケール不変については、局所領域の大きさを用いて定める。具体的には、シェイプ・コンテキストの外側の円の半径を、図２に示す局所特徴量のスケールl（エル）の100倍としている。
【００８５】
シェイプ・コンテキストの計算は、検索質問画像から得られた局所特徴量に対して、以下のように行われる。図４(b)にシェイプ・コンテキストの値として得られるヒストグラムの例を示す。このヒストグラムをベクトルSCとする。いま、mをシェイプ・コンテキストにおけるビンの数とするとき、各ビンにおいて、式（１０）で定められるベクトルvを計算し、それらを連結することによって、SCを
【００８６】
【数１１】
2011021605.tif 000013
と表現する。また、uSCによりベクトルSCの長さを表し、これをシェイプ・コンテキストの文脈スコアとする。
【００８７】
以上のように、文脈スコアSCは、ある局所特徴量、即ち特徴ベクトルの始点を中心に配置された複数のビンをそれぞれ代表する各代表ベクトルを連結してなるベクトルの長さとして規定される。前述のごとく、物体の境界線付近に配置されたビンの代表ベクトルは長くなり、複雑な背景に配置されたビンの代表ベクトルはゼロベクトルに近くなるという一般的な特性を有することから、検索質問画像から得られた局所特徴量が複雑な背景から得られたものであるかどうかの指標を与える。
【００８８】
１．３  最終的なスコア
この発明で最も重要な点の一つは、前述のクラスタリング値ζをいかに定めるかである。以下の実施形態では、次のように定める。sfをPCA-SIFT特徴量の比較によって得られた類似スコア（１．１節参照）とし、d(SC1,SC2)により、シェイプ・コンテキストから得られるベクトル（式（１１））のユークリッド距離を表すものとする。SCqにより、検索質問画像３から得られたシェイプ・コンテキスト、SCdにより、画像データベース１中の画像から得られたシェイプ・コンテキストを表すものとする。このとき、クラスタリング値ζは、類似スコアsfおよび文脈スコアuSCを用いて、
【００８９】
【数１２】
2011021605.tif 000014
によって定義される。ここで、√tを乗じている理由は、距離が遠くなるにつれてその特徴量が仮想の基準点を指し示す信頼性が低くなるためである。
【００９０】
この発明において、最終的なスコアｓとして、３つの態様が考えられる。第１の態様は、類似スコアだけを用いるものである。この場合、一つの物体に対して定められる最終的なスコアsは、
【数１３】
2011021605.tif 000015
で定められる。
【００９１】
最終的なスコアｓの第２の態様は、類似スコアと局所スコアを共に用いるものである。この場合、スコアｓは、
【数１４】
2011021605.tif 000016
で定められる。
【００９２】
第３の態様では、前述の類似スコアsf（式（７）参照）、局所スコアrCおよび文脈スコアuSCをすべて組み合わせて最終的なスコアｓを得る（図１のステップS33参照）。rCを仮想の基準点のクラスタリングによって得られた局所スコアとすると、一つの物体に対して定められる最終的なスコアsは、
【００９３】
【数１５】
2011021605.tif 000017
で定められる。
【００９４】
このスコアｓは、次のようなプロセスを経て適用される。
第１に、参照特徴ベクトルとクエリー特徴ベクトルを照合して、距離が最も近いものを求める。ただし、膨大な数の参照特徴ベクトルに対処すべく提案手法では近似最近傍探索を用いているため、距離が本当に「最も」近いかどうかを保証できない。
次に、その照合結果について、（１５）式を用いてスコアｓを決める。ここで、類似スコアsfの算出に用いられるw( )は参照特徴ベクトルあるいはクエリー特徴ベクトルを抽出する元になった領域の大きさ（正方形の１辺の長さ）に比例する値である。
以上の処理によって、後述する実験例で比較対象とされた従来手法のWTAと比べて柔軟な処理が可能になっている。WTA法は最近傍がすべて同じ１票を持つが、この発明の方法は重みに応じた票を与えることができる。
【００９５】
ここで、式（１３）、（１４）、（１５）中の類似スコアsfは、検索質問画像３から得られた各PCA-SIFT特徴量について画像データベース１から得られた各PCA-SIFT特徴量との間で計算されるものである（１．１節参照）。Σsfは、同一物体IDに係るsfの総和である。Nfは、比較に用いられたPCA-SIFT特徴量のうち、いま考えている物体に照合された特徴ベクトルの数（現在、スコアsを求めようとしている物体の総得票数）である。
【００９６】
また、局所スコアrCは、検索質問画像３から得られた各PCA-SIFT特徴量について最大の類似スコアsfを与える画像データベース１に係るPCA-SIFT特徴量との対をそれぞれ求め、得られた各PCA-SIFT特徴量に係る仮想の基準点について物体IDのラベル付き投票を行い、同一ラベルの票についてクラスタリング処理を行うことによってクラスタを決定し、決定された各クラスタについての総得票数として規定されるものである（１．２．２節参照）。
【００９７】
ΣrCは、同一物体IDに係る局所スコアrCの総和である。NCはこの物体に対する仮想の基準点に係るクラスタの数である。文脈スコアuSCは、局所特徴量が物体の境界線付近に配置されている場合は大きな値が得られ複雑な背景に配置されている場合は小さな値になる。ΣuSCは、同一物体IDに係るuSCの総和である。このようにsfに係る項をNfで正規化しrCに係る項をNCで正規化することによって、検索質問画像３が小さい領域の局所特徴量を多数含む場合の悪影響を排除している。ルートをとる処理は値の影響を減らすためのものであり、本質的ではない。
最終的には、式（１３）、（１４）または（１５）のいずれかの態様を最終スコアとし、その最終スコアの大きい順にデータベースの画像、即ち物体を並べ（図１のステップS35参照）、上位の物体を認識結果として出力する（図１のステップS37参照）。
【００９８】
２．実験結果
手法の評価においては、専門知識のない一般ユーザが本システムを利用するシナリオを考える。相手は一般ユーザであるため、物体がユーザによって切り出されている状況や、物体の大きさや位置が既知である状況、あるいは画質が十分高いという状況を仮定することはできない。すなわち、従来法で仮定されていた事項は成り立たないといえる。
【００９９】
本実験では、提案システムとWinner-Take-All(WTA)アプローチの手法を比較する。WTAアプローチでは、検索質問画像３から得られた各局所特徴量は、その局所特徴量と最も類似している画像データベース１中の局所特徴量と照合され、その局所特徴量が属する物体に１票を与えるものである。そして、最も多くの票を集めた物体が勝者（winner）となり、認識結果として出力される。ここでは、局所的な配置に関する情報は一切利用されていない点に注意する。なお、本実験では、検索質問画像３が、画像データベース１中に登録されている物体を含む場合のみを扱い、画像データベース１中の物体を全く含まない場合を対象としない。
【０１００】
一般に、ユーザは結果を閲覧するため、正解が上位にランクされていればよいと考えられる。したがって、本実験では、第一位の結果だけが良いことを唯一の評価基準とせず、10位までに含まれているかどうかも評価基準とする。10位以降に正解が含まれている場合は、ユーザによって閲覧される可能性が低いと考えて失敗とみなす。
【０１０１】
実験に用いたデータは、Oxford building dataset（インターネット、<URL:http://www.robots.ox.ac.uk/~vgg/data/oxbuildings.>）である。画像の例を図５に示す。これらの画像はFlickrという画像共有サイトから、一般ユーザが撮影した建物の画像を集めたデータセットであるため、我々の評価の目的に合致する。このデータセットには、11個の物体（建物）に関する様々な画像が収められている。また、画像中に存在する対象物体の数は常に一つである。本実験では、これらの画像を検索質問画像３として用いた。
【０１０２】
一方、画像データベース１を構築する段階（学習段階）では、Oxford building datasetの画像ではなく、同じ建物についてWikipediaから得た画像、あるいはWikipediaに画像が存在しない場合にはGoogle画像検索で得た第一位の画像を用いた。画像の枚数としては、11個の建物のそれぞれに対して、１枚だけ用いた。したがって、画像データベース１のサイズは小さいものとなった。本実験では、これを第一の実験で用いた。第二の実験では、49個の新しい物体を画像データベース１に加えて、検出結果を比較した。
【０１０３】
実験結果を下の表１に示す。表１の第一列はOxford building datasetの11個の建物（物体）だけの画像データベース（Oxford DB）を用いたときの結果である。WTAとはこの発明に対する比較手法としての公知のWinner-Take-Allアプローチを表す。「類似スコア＋局所スコア＋文脈スコア」はこの発明に係る「最終的なスコア」として前述の第３の態様を適用したときの結果を表す。第二列は、画像データベース１に49の無関係な物体のデータを加えた場合の結果を表す。第二列左側は先程と同じであり、左側はこの発明に係る「最終的なスコア」として前述の第１または第２の態様を適用した場合の結果である。具体的には、「類似スコア」はPCA-SIFT単体での類似スコアだけを用いた第１の態様、「類似スコア＋局所スコア」は、PCA-SIFT単体での類似スコアに加えて、票のクラスタリングに係る局所スコアを加えた第２の態様の結果である。なお、「類似スコア＋局所スコア＋文脈スコア」は、類似スコア、局所スコアに加えて、文脈スコアを用いる第３の態様の結果である。
【０１０４】
【表１】
2011021605.tif 000018
【０１０５】
本実験で用いた検索質問画像３の数は272個であった。この検索質問画像３は、様々な角度、位置、大きさ、照明条件のもとに物体を撮影したものである。表１の１行目は、第一位の正解率を表す。２行目は、上位１０位までに正解が入っていた割合（１０位までの累積正解率）を表す。
【０１０６】
画像データベース１を拡張しない場合（表１の１列目）、この発明による手法（「類似スコア＋局所スコア＋文脈スコア」）、比較手法（WTA）ともによい結果を得た。上位１０位の結果については、比較手法（WTA）の方がこの発明による手法（「類似スコア＋局所スコア＋文脈スコア」）より少し良かった。
【０１０７】
しかしながら、Oxford DBを拡張し、それに４９個の無関係な物体を追加した場合（Oxford DB + 49物体）、表１の２列目左側に示すように、比較手法（WTA）では正解率が極端に下落した。一方、この発明による手法（「類似スコア＋局所スコア＋文脈スコア」）では、それほど低下することはなかった。比較手法（WTA）で結果が低下した理由は、画像データベース１に加えられた物体にある。新たに加えられた物体が他に比べて多数の局所特徴量を持っていたため、多くの票がその物体に対応付き、誤って出力された。これはシンプルなWTA法が、得票数の正規化を行っていないために生じる問題点であるといえる。
【０１０８】
次に、この発明による手法の最終的なスコアｓの各態様の効果的な差異を見るため、態様ごとにどの程度の結果が得られるのかを計測した。結果を表１の２列目右側に示す。第１の態様を表すPCA-SIFT特徴量の個別の類似スコア（類似スコアの列）は、比較手法（WTA）と比べて、主に第一位となる結果の精度を向上させていることがわかる。これに対して上位１０位までの結果についてはあまり改善されていない。第２の態様を表す「類似スコア＋局所スコア」の列に示されているように、仮想の基準点を用いて局所的な情報、即ち局所スコアを加味することにより、第一位の結果、上位１０位の結果が共に改善された。第３の態様（表１の「Oxford DB+49物体」の第二列目「類似スコア＋局所スコア＋文脈スコア」）は、これにシェイプ・コンテキストに係る文脈スコアを加えたものであり、さらに精度が改善されていることが分かる。ただし、シェイプ・コンテキストに係る文脈スコアを加えたことによって、それほど大きく物体のランクが変動することはなかった。
【０１０９】
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
【０１１０】
この発明では、物体検出の精度を改善するため、複雑な背景の影響を緩和する手法を提案した。従来法の多くは、複雑背景の悪影響を緩和するため、人手による何らかの作業が必要なものであり、適用性に問題が残されていた。これに対して、この発明による手法はこの問題を自動的に緩和することに成功した。様々な能力を持つ異なる手法を組み合わせることによって、WTA法を明確に上回る成果を得ることができた。シェイプ・コンテキストの利用はそれほど改善効果を示さなかったが、基準点の利用は極めて効果的であった。また、処理の結果として得られる画像のランキングは、WTA法のそれと比べて意味のあるものであり、ユーザが画像の内容を把握する上でより良いヒントを与えるものである。
【符号の説明】
【０１１１】
１：画像データベース
３：検索質問画像
【図１】
2011021605.tif 000025
【図２】
2011021605.tif 000026
【図３】
2011021605.tif 000027
【図４】
2011021605.tif 000028
【図５】
2011021605.tif 000029
【国際調査報告】
2011021605.tif 000030
2011021605.tif 000031
2011021605.tif 000032
2011021605.tif 000033
2011021605.tif 000034