(57)【要約】  高精度の物体認識が可能な低容量モデルを生成し、そのモデルを用いた画像データベースの作成方法、その方法を実行するための処理プログラムおよび当該処理を行う処理装置を提供する。  ３次元物体を異なる視点から見た複数の画像から、局所記述子としてのベクトルを抽出する工程と、各局所記述子が前記３次元物体の認識に貢献する度合いを評価し基準を満足する各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる３次元物体モデルを作成するモデル作成工程と、作成された物体モデルに物体識別子を付加して画像データベースに登録する登録工程とを備え、前記モデル作成工程は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価し、モデルに用いる局所記述子を選択する３次元物体認識用画像データベースの作成方法、その方法を実行するための処理プログラムおよび当該処理を行う処理装置。
2009133855.tif 000002
【特許請求の範囲】
【請求項１】
異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出工程と、
各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成工程と、
前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録工程とを備え、
各工程はコンピュータにより実行され、
前記登録工程は、複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定し得るように前記物体モデルとそれに対応する物体識別子とを登録し、
前記モデル作成工程は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの作成方法。
【請求項２】
前記モデル作成工程は、評価されるべき対象ベクトルと近似最近傍であるベクトルを、前記対象ベクトルに係る３次元物体と同一のものを異なる視点から見た画像および異なる３次元物体に係る画像のうちから検索して特定し、
各近似最近傍のベクトルが対象ベクトルに係る３次元物体と同一のものから得られた場合はスコアを加算し、
計算されたスコアに基づいて前記物体モデルを構成するベクトルを取捨選択する請求項１に記載の方法。
【請求項３】
前記モデル作成工程は、登録されるべき３次元物体を異なる視点から見た各画像から抽出される各ベクトルのスコアを計算する請求項２に記載の方法。
【請求項４】
前記モデル作成工程は、同一物体を異なる視点から見た各画像から抽出されたベクトルが、物体モデルに略均等な数で用いられるようベクトルを取捨選択する請求項２または３に記載の方法。
【請求項５】
前記モデル作成工程は、３次元物体のインスタンスの認識に対する各ベクトルの貢献を評価する請求項１〜４のいずれか一つに記載の方法。
【請求項６】
異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出部と、
各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成部と、
前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録部と、
複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定する検索部とを備え、
前記モデル作成部は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの処理装置。
【請求項７】
異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出部と、
各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成部と、
前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録部と、
複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定する検索部の各部としてコンピュータを機能させ、前記モデル作成部は、前記モデル作成部は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、３次元物体認識用画像データベースの作成方法、処理装置および処理用プログラムに関する。より詳細には、この発明は、視点から３次元物体をみた複数の画像がその物体のモデルとして登録されてなる画像データベースの中から、検索質問（クエリー）としての画像に表された物体と一致するモデルを検索し、そのモデルに係る物体を認識結果として出力する画像データベースの作成方法、処理装置および処理プログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの普及・高性能化に伴い、デジタルカメラおよびそれを使用した機器が新たな情報デバイスとして注目を集めてきている。また、ハードディスクの大容量化により、個人が大量の画像データを所持できるようになってきている。これに伴い、大量のデジタル画像や動画を扱う研究が盛んに行われている。その一分野として画像中に存在する3次元物体を認識する研究がある。【０００３】
画像から3次元物体を認識する手法は、大きく物体のクラスを認識するもの、インスタンスを認識するものに分類できる。前者は、椅子、自動車などの物体のクラスを結果として返すのに対して、後者は例えば自動車の特定のモデルなど、インスタンスを識別するものである。この発明では、後者のインスタンスの識別に焦点をあてて議論を進める。その中でも特に、SIFT(Scale-Invariant Feature Transform)などの局所記述子を用いる3次元物体認識に着目する（例えば、非特許文献１参照）。従来法の中には、様々な角度から撮影した物体の画像をもとに、局所記述子の照合を通して物体の3次元表面モデルを構築し、認識に用いるもの（例えば、非特許文献２、３参照）のほか、3次元モデルを用いずに、画像から抽出した局所記述子をモデルとして未知の画像と照合するもの（例えば、非特許文献４、５参照）などがある。この発明は後者のアプローチに関する。【０００４】
このようなアプローチの手法で、最も単純なものは、多様な条件で撮影された物体の画像から多数の局所記述子を抽出し、それらをすべてモデルに登録しておく手法である。この単純なアプローチの利点は、高精度な認識が容易に実現できることであるが、得られる局所記述子の数が膨大となるため、局所記述子のマッチング処理に莫大な時間がかかるという問題点と、認識する際に必要なメモリ容量が莫大になり大規模な物体認識を行うことが困難という問題点がある。【０００５】
前者の問題では、局所記述子の最近傍探索の効率向上が必須となる。そこでこの問題を解決する一手法として、局所記述子の近似最近傍探索を用いる手法がある。この手法を物体認識に導入することにより、高速かつ高精度に物体を認識できることが野口らによって報告されている（例えば、非特許文献６、特許文献１参照）。
一方、後者の問題では、認識に必要なメモリ容量の内、モデル容量(モデルに必要なメモリ容量)が支配的であるため、モデル容量を削減することが主な問題となる。【０００６】
ところで、局所記述子を用いた3次元物体認識法のうち、物体の3次元モデルの構築を行わない手法は、物体を撮影した画像があれば、局所記述子を抽出することによって簡単にモデルを構築できるという利点がある。このようなシンプルな手法で3次元物体認識の精度を得るためには、様々な条件で撮影した多数の画像をモデル構築に用いる必要がある。一般に1枚の画像から数十から数千の局所記述子が抽出されるため、1つの物体のモデル化には極めて多数の局所記述子が関与することになり、その扱いが中心的な課題となる。【０００７】
従来法の多くは、局所記述子をベクトル量子化して、visual wordと呼ばれる代表ベクトルに置き換える方法を用いている。未知の画像を認識する場合も、それから得た局所記述子をvisual wordに置換し、照合する。認識対象にもよるが、物体インスタンスの識別の場合は、特にvisual wordの数が増加すればそれだけ認識率も向上することが知られている。例えば、Nisterらは、1600万個のvisual wordを用いた例について報告している（非特許文献４参照）。大量のvisual wordを用いる場合、局所記述子とvisual wordの照合に必要な計算時間が無視できず、木構造など様々なデータ構造を用いて高速化する必要がある（非特許文献４、５参照）。【０００８】
このような大量のvisual wordを用いる手法のうち、最も極端なものは、ベクトル量子化を行わず、局所記述子の「事例」をすべて用いる手法である。このアプローチでは、高い認識率が期待できるものの、モデルの記録に必要なメモリ容量は膨大になるという問題点が生じる。【０００９】
さて、認識手法の内、最も単純なものは、上記の事例となる多数の局所記述子に物体のラベルを付与しておき、未知画像から得た局所記述子との照合で、物体のラベルに投票するものであろう。照合は通常、最近傍探索によって行われる。このようなプロセスでは、未知画像から得た局所記述子に正しいラベルが割り当てられればよいため、すべての局所記述子を記録しておく必要はない。ここで、「投票」とは、情報処理の分野で部分的に証拠を集計するために用いる処理であって、得られた証拠に基づいて選択肢の何れかに得点を与え、すべての証拠を集計した結果最高得点を得た選択肢を選択する処理をいう。一般的に各証拠は異なる点数の票を持つ。【００１０】
すべての局所記述子を記録した場合と全く（あるいはほぼ）同じ効果を保証しつつ、不要なものを削除する方法としては、condensingと呼ばれるものが提案されている。例えば和田らは高次元空間においても効率的に適用可能な手法を提案している（例えば、非特許文献７参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】国際公開第2008/026414号パンフレット
【非特許文献】
【００１２】
【非特許文献１】D.Lowe: "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Vol.60, No.2, pp. 91-110 (2004)
【非特許文献２】F.Rothganger, S.Lazebnik, C.Schmid and J.Ponce: "3D Object Modeling and Recognition from Photographs and Image Sequences", Ponce et al., Eds., Toward Category-Level Object Recognition, LNCS4170, Springer, pp. 105-126 (2006)
【非特許文献３】D.Lowe: "Local Feature View Clustering for 3D Object Recognition", Proc. CVPR2001, Springer, pp. 682-688 (2001)
【非特許文献４】D.Nister and H.Stewenius: "Scalable Recognition with a Vocabulary Tree", Proc. CVPR2006, pp. 775-781 (2006)
【非特許文献５】S. Obdrzalek and J.Matas: "Sub-linear Indexing for Large Scale Object Recognition", British Machine Vision Conference (BMVC), pp. 1-10 (2005)
【非特許文献６】野口和人、黄瀬浩一、岩村雅一："近似最近傍探索の多段階化による物体の高速認識"、画像の認識・理解シンポジウム(MIRU2007)論文集、OS-B2-02, pp.111-118 (2007)
【非特許文献７】加藤丈和、和田俊和："近接性グラフに基づく効率的condensingのアルゴリズムと評価"、信学技報 PRMU、 Vol.103, No.96, pp.19-24 (2003)
【発明の概要】
【発明が解決しようとする課題】
【００１３】
野口らの手法（非特許文献６参照）などの近似最近傍探索においては、多数決で物体が認識される。それを考えると、すべての投票が正しくなくてもよいことがわかる。2次元平面物体の場合ではあるが、97%以上の認識率を得るために必要な照合の精度は高々15%程度であることが知られている（非特許文献６参照）。この点に着目すると、condensingで得られるものより、さらに少数の局所記述子で物体モデルを構築可能となることが考えられる。【００１４】
換言すると、モデル容量を削減する手法として、モデルに登録する局所記述子を取捨選択し、モデル容量を削減することが考えられる。このとき、物体の認識率を保ちつつモデルに登録する局所記述子の数を削減する必要がある。【００１５】
要するに、局所記述子をすべてモデルに登録すれば、3次元物体を高精度で認識できるが、局所記述子の数が膨大なため、モデルに必要なメモリ容量が莫大になるという問題点がある。
【課題を解決するための手段】
【００１６】
この発明は、以上の観点に基づき、認識率を低下させる可能性の低い局所記述子を取捨選択し、高精度の物体認識が可能な低容量モデルを作成するものである。そして、そのモデルを用いた画像データベースの作成方法、処理装置および処理プログラムを提供するものである。
この発明は、異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出工程と、各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成工程と、前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録工程とを備え、各工程はコンピュータにより実行され、前記登録工程は、複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定し得るように前記物体モデルとそれに対応する物体識別子とを登録し、前記モデル作成工程は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの作成方法を提供する。【００１７】
また、他の観点では、この発明は、異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出部と、各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成部と、前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録部と、複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定する検索部とを備え、前記モデル作成部は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの処理装置を提供する。【００１８】
さらに、異なる観点から、この発明は、異なる視点から見た一つの３次元の物体を示す複数の画像から、各画像の各所の局所的特徴をそれぞれ表現するベクトルを複数の局所記述子として抽出する抽出部と、各ベクトルが前記３次元物体の認識に貢献する度合いを評価し、プラスの貢献を有するベクトルを選択し、選択された各ベクトルを用いて近似最近傍探索を実行できるよう体系化してなる前記３次元物体のモデルを作成するモデル作成部と、前記３次元物体を示す画像および作成された物体モデルに前記３次元物体を識別する物体識別子を付加し、前記画像データベースに登録する登録部と、複数の物体モデルが前記画像データベースに登録され、問題とする３次元物体を示す一つの画像がクエリーとして与えられたとき、コンピュータが前記抽出工程と同様の手順で前記クエリーから複数のクエリー局所記述子を抽出し、前記画像データベースに登録された物体モデルの中から各クエリー局所記述子の近傍ベクトルとしてのベクトルを前記近似最近傍探索のアルゴリズムを用いて検索し、その近傍ベクトルに付加された物体識別子を取得し、その物体識別子で特定される３次元物体を候補として決定し、各クエリー局所記述子とそれに対応する近傍ベクトルとの類似度および／または相違度に基づいて少なくとも一つの３次元物体を決定する検索部の各部としてコンピュータを機能させ、前記モデル作成部は、前記モデル作成部は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価する３次元物体認識用画像データベースの処理プログラムを提供する。【００１９】
この発明の特徴の一側面は、大量の画像を用いた物体認識シミュレーションを通して、各局所記述子が物体認識に貢献する度合い（プラス関与性）、ならびに障害となる度合い（マイナス関与性）を求め、それに基づいて局所記述子を取捨選択する点にある。
【発明の効果】
【００２０】
この発明による３次元物体認識用画像データベースの作成方法において、前記モデル作成工程は、ある３次元物体のある画像から抽出されたベクトルが、その３次元物体の異なる視点からの画像に係る他のベクトルと近似最近傍である場合はそのベクトルがプラスに貢献するとし、前記ベクトルが異なる３次元物体の画像に係る他のベクトルと近似最近傍である場合はそのベクトルがマイナスに貢献するとして各ベクトルの貢献を評価してモデルに用いる局所記述子を選択するので、認識率を低下させる可能性の低い局所記述子が取捨選択され、高精度の物体認識を実現する低容量モデルを作成することができる。【００２１】
この発明において、局所記述子は、画像の局所的な特徴をベクトル量で表現するものである。その具体的な態様は、例えば、SIFTである。後述する実施形態においては、局所記述子の一例としてPCA-SIFTを適用している。【００２２】
また、物体の認識に貢献するとは、その局所記述子が認識率の向上に寄与することをいう。局所記述子の中には、認識すべき物体を表す複数の画像のうち多くの画像についてその物体の認識に寄与できるものがある。このような局所記述子をモデルに登録しておく方が、同じ枚数の画像の認識に必要な局所記述子の数が、少なくて済むと考えられる。このような局所記述子は物体のモデルを作成するために有効な局所記述子であると考え、高い評価を与える。【００２３】
さらに、各局所記述子を近傍探索可能に体系化するとは、画像データベースに登録すべき物体の画像から局所記述子を抽出し、それらの各局所記述子を前記物体と対応付けてデータベースとして登録しておくことをいう。ある局所記述子が与えられたとき、前記データベースに登録された局所記述子の中から近傍の局所記述子を決定する処理が近傍探索である。近傍か否かを評価する手法の一例は、２つのベクトルの距離を計算し、最短距離のものを近傍とするものである。ここで、前記近傍探索により決定される局所記述子は、検索結果の局所記述子が検索質問の局所記述子と必ずしも最近傍である必要はないが、近傍である（類似している）ことは必要である。例えば、後述する実施形態では近傍探索として、近似最近傍（近似処理によって見つけられた最近傍とおぼしきものであって，本当の最近傍である保証はないもの）を適用している。ここで最近傍探索でなく近似最近傍探索を適用する理由は、主として探索に要する処理時間を短くするためである。
また、検索質問の各局所記述子との類似度または相違度に基づき候補の中から一の物体を特定するとは、検索質問の各局所記述子と各候補との類似度あるいは相違度を所定の手法で測り、検索質問に最も類似する一の物体を特定することをいう。その具体的な一例は、モデルとして登録されている各局所記述子の中から検索質問の各局所記述子の近傍のものを探索し、探索結果の局所記述子に係る物体に投票し、最多得票を得た物体を検索質問に最も類似する物体として特定する手法である。【００２４】
以下、この発明の好ましい態様について説明する。
また、前記モデル作成工程は、評価されるべき対象ベクトルと近似最近傍であるベクトルを、前記対象ベクトルに係る３次元物体と同一のものを異なる視点から見た画像および異なる３次元物体に係る画像のうちから検索して特定し、各近似最近傍のベクトルが対象ベクトルに係る３次元物体と同一のものから得られた場合はスコアを加算し、計算されたスコアに基づいて前記物体モデルを構成するベクトルを取捨選択してもよい。このようにすれば、画像データベースに登録すべき物体に係る複数の視点からの画像が与えられたとき、ある物体のある視点からの画像に係る各局所記述子を評価し、その物体のモデルに用いるか否かを選択することができる。
あるいは、前記モデル作成工程は、評価されるべき対象ベクトルと近似最近傍であるベクトルを、前記対象ベクトルに係る３次元物体と同一のものを異なる視点から見た画像および異なる３次元物体に係る画像のうちから検索して特定し、各近似最近傍のベクトルが対象ベクトルに係る３次元物体と同一のものから得られた場合はスコアを加算し、異なる３次元物体に係る画像から得られた場合はスコアを減算し、計算されたスコアに基づいて前記物体モデルを構成するベクトルを取捨選択してもよい。【００２５】
また、前記モデル作成工程は、登録されるべき３次元物体を異なる視点から見た各画像から抽出される各ベクトルのスコアを計算してもよい。このようにすれば、各物体の各視点からの画像に係る各局所記述子について評価を行い、各物体のモデルに用いる局所記述子を決定することができる。【００２６】
さらにまた、前記モデル作成工程は、同一物体を異なる視点から見た各画像から抽出されたベクトルが、物体モデルに略均等な数で用いられるようベクトルを取捨選択してもよい。このようにすれば、各モデルには、各視点に係る局所記述子が略均等に含まれているので、検索質問がいずれの視点に係る画像であっても、近傍探索の結果が安定して得られ、高い認識率を実現することができる。【００２７】
前記モデル作成工程は、３次元物体のインスタンスの認識に対する各ベクトルの貢献を評価するものであってもよい。物体のクラスの認識のみならず、物体のインスタンスの認識を目的とする用途では、高精度、高速かつメモリ効率のよい手法が望まれている。visual wordは本質的にグルーピングを伴うため、クラスレベルの認識には有効であってもインスタンスレベルの認識とは相容れない側面がある。この発明の手法は、特にインスタンスレベルの認識に有効であると考えられる。ただし、クラスレベルの認識、および、visual wordを用いた手法への適用を除外するものではない。【００２８】
ここで示した種々の好ましい態様は、それら複数を組み合わせることもできる。
【図面の簡単な説明】
【００２９】
【図１】この発明に係るモデル登録処理の流れを示す説明図である。
【図２】この発明に係るプラス関与性の局所記述子（複数の局所記述子の最近傍となる局所記述子）の特性を示す説明図である。
【図３】この実施形態に係るGreedyな特徴点の選択手法の一例を示す説明図である。
【図４】この実施形態における実験例に係るフレーム画像枚数及び、1フレーム画像当たりの局所記述子の平均抽出数を示す説明図である。
【図５】この実施形態における実験例で用いた画像データベースCOIL-100のフレーム画像の例を示す図である。
【図６】この実施形態における第１の実験結果を示すグラフである（図４の11物体の認識結果のグラフである）。
【図７】この実施形態における第２の実験結果を示すグラフである（COIL-100の認識結果のグラフである）。
【図８】この実施形態に係る3次元物体認識用画像データベースへの画像の登録手順を示すフローチャートである。
【図９】図８の手順で画像が登録されてなる画像データベースを対象に、認識（検索）を行う際の手順を示すフローチャートである。
【図１０】この発明による3次元物体認識用画像データベースの処理装置の機能的な構成を示すブロック図である。
【発明を実施するための形態】
【００３０】
以下、図面を用いてこの発明をさらに詳述する。なお、以下の説明は、すべての点で例示であって、この発明を限定するものと解されるべきではない。
【００３１】
≪実施形態≫
1.概要
この発明に係るモデル登録処理の流れを図１に示す。局所記述子の中には、モデルに登録すると、物体認識に対し認識率を向上させるものや、認識率を低下させるようなものがある。この発明では、局所記述子が認識率をどのように変化させるかを調べるために、モデル構築用の画像を用い物体認識シミュレーションを行う。この発明では、物体認識シミュレーション時に、物体認識に対して局所記述子が認識率を向上させるように関与することを「プラス関与性」、局所記述子が認識率を低下させるように関与することを「マイナス関与性」と呼ぶ。
【００３２】
局所記述子の中には、多くの画像の認識にプラス関与できるものがある。このような局所記述子をモデルに登録しておく方が、同じ枚数の画像の認識に必要な局所記述子の数が、少なくて済むと考えられる。そこでこの発明では、このような局所記述子を、高精度な物体認識を実現する低容量モデルを作成するという目的を達成するために、有効な局所記述子であると考える。このとき、このような局所記述子の中にも、一部の画像に対してマイナス関与するものがある。マイナス関与性を持つ局所記述子は、物体認識シミュレーションにおいて誤対応を起こしたものである。このため、このような局所記述子をモデルに登録すると、未知の画像を認識する際に、このような局所記述子がマイナス関与する可能性が高いと考えられる。そこでこの発明では、マイナス関与する画像が少ない局所記述子ほど、誤った投票を起こす可能性が低く、有効な局所記述子であると考える。
【００３３】
以上の考えから、この発明は物体認識シミュレーションの結果を基に、局所記述子の関与性とその性質を調べ、マイナス関与性を持つ局所記述子をできるだけ削除し、目的達成のために有効なプラス関与性を持つ局所記述子の組み合わせを探すものである。しかしこの組み合わせを探す問題は、大規模な組み合わせ最適化問題であるため、最適解を求めることが困難である。そこでこの発明では、目的達成のために有効な局所記述子をGreedyに（最適解でないかもしれないが目的達成可能に）、モデルに登録する手法を提案する。
【００３４】
この発明では、認識対象物体を回転させて撮影した画像をフレーム画像と呼び、モデル構築用画像に用いる。またこの発明では、局所記述子の抽出手法として、PCA-SIFTを用いる。PCA-SIFTについては、例えば、Y.Ke and R.Sukthankar: "PCA-SIFT: A more distinctive representation for local image descriptors", Proc. of CVPR2004, Vol.2, pp. 506-513 (2004)に開示がなされている。以下に、モデルが作成されるまでに行われる各処理について具体的に説明する。
【００３５】
2.物体認識シミュレーション
この発明ではフレーム画像を用いて物体認識シミュレーションを行い、各局所記述子がどの画像の局所記述子と対応付いたかを求め、物体の認識率にどのように関与しているかを調べる。本節では、この物体認識シミュレーションについて説明する。
【００３６】
この実施形態では、物体認識シミュレーションに野口らの手法（非特許文献６、特許文献１参照）を用いる。この手法ではまず、局所記述子の近似近傍探索を行うために、モデルを構築し、ハッシュ表にデータを登録する。次に、未知の画像から局所記述子を求め、この局所記述子をクエリーとし、近似近傍探索でハッシュ表より対応する局所記述子を求める。そして、対応付いた局所記述子の物体に投票を行う。これを、未知の画像から得られる全ての局所記述子に対して行い、最も得票数の多い物体を認識結果とする。物体認識シミュレーションでは、あるフレーム画像から得られる局所記述子をクエリーとし、残りのフレーム画像から得られる局所記述子を全てモデルに登録して行う。
【００３７】
このとき、クエリーの近傍となる局所記述子がクエリーと同じ物体から得られるものである場合、この局所記述子は、クエリーに正しい投票を行わすことができ、物体認識に対して認識率を向上させるように関与できる。そこでこの実施形態では、このような局所記述子をプラス関与性を持つ局所記述子とする。また、クエリーの近傍となる局所記述子がクエリーと異なる物体から得られるものである場合、この局所記述子は、物体認識に対して認識率を低下させるように関与する。そこでこの実施形態では、このような局所記述子をマイナス関与性を持つ局所記述子とする。物体認識シミュレーションでは、この処理を全フレーム画像に対して行い、全局所記述子の関与性を調べる。
【００３８】
3.物体認識に対する局所記述子の関与性とその性質
3.1.プラス関与性とその性質
プラス関与性を持つ局所記述子の性質について説明する。物体認識シミュレーションの結果より、プラス関与性を持つ局所記述子の中には、図２に示すように、特徴空間内で複数の局所記述子の最近傍となるものが存在する。このように局所記述子の中でも、より多くの画像の認識にプラス関与できるものをモデルに登録する方が、同じ枚数の画像の認識に必要な局所記述子の数が少なくて済むと考えられる。
【００３９】
つまり、n枚の画像を認識するために、1枚にしかプラス関与できない局所記述子をn個モデルに登録するよりも、n枚の画像にプラス関与する局所記述子を1個登録する方が、登録する局所記述子の数が少なくて済む。このような考えからこの実施形態では、物体認識シミュレーションにおいて、より多くの画像の認識に対してプラス関与できる局所記述子ほど、目的達成のために有効な局所記述子とする。そこでこの発明では、プラス関与性を持つ局所記述子の有効性を判断する基準として、何枚の画像に対してプラス関与できるかを判断基準とし、この枚数を評価値E1とする。つまり、E1が大きい局所記述子ほど、物体認識シミュレーションにおいて多くの画像に対してプラス関与性を持つことから、低容量モデルを作成するために有効な局所記述子と言える。
【００４０】
3.2.マイナス関与性とその性質
マイナス関与性を持つ局所記述子の性質について説明する。マイナス関与する局所記述子の近傍には、他の物体から得られる局所記述子が存在することを意味する。このため、このような局所記述子をモデルに登録すると、未知の画像の認識の際に、マイナス関与する可能性が高くなると考えられる。このような考えからこの実施形態では、マイナス関与する局所記述子は、目的達成のためにあまり有効でないと考える。
【００４１】
しかし、マイナス関与性を持つ局所記述子の中にも、ある画像に対しては、プラス関与性を示すものも存在する。このため、マイナス関与性を示す局所記述子が、全て目的達成のために有効でないとは言えない。例えば、ある局所記述子がn枚の画像に対してプラス関与し、1枚の画像に対してマイナス関与するものとする。このとき、n枚の画像を認識するために必要な局所記述子の数は、この局所記述子とマイナス関与している画像に対してプラス関与している局所記述子2個をモデルに登録する方が、1枚しかプラス関与しない局所記述子をn個モデルに登録するよりも、少なくて済む。そこでこの発明では、マイナス関与性を持つ局所記述子の中で有効な局所記述子を探すために、何枚の画像に対してマイナス関与するかを判断基準として、局所記述子の有効性を求める。この枚数を評価値E2とする。つまり、評価値E2が小さい局所記述子ほど、局所記述子の近傍に他の物体から得られる局所記述子が存在しないことを意味する。このような局所記述子は、誤認識を起こす可能性が低いと考えられるため、目的達成に有効な局所記述子と言える。
【００４２】
4.モデルへの登録
高精度の物体認識を実現する低容量モデルを作成するためには、マイナス関与性を持つ局所記述子をできるだけ削除し、目的達成のために有効なプラス関与性を持つ局所記述子の組み合わせを探す必要がある。そこで本節では、物体認識シミュレーションの結果から得られる局所記述子の関与性と有効性を基に、目的を達成する局所記述子の組み合わせを求める手法について詳しく説明する。ただし、この実施形態は、次に示す前提条件が成り立つと仮定して、モデルを作成する。物体認識シミュレーションで得られたE1、E2は、クエリー画像以外のフレーム画像から得られる局所記述子を全てモデルに登録したときの値である。しかし、ある局所記述子がモデルに登録されない場合、この局所記述子にプラスまたはマイナス関与していた局所記述子が、他の局所記述子にプラスあるいはマイナス関与するようになり、E1、E2の値が変化する可能性がある。この実施形態では前提条件として、この影響は小さいものと仮定し、E1、E2の値は変化しないものとする。
【００４３】
4.1.登録するための評価基準1
本節では、物体認識シミュレーションの結果から得られる局所記述子の関与性と有効性を基に、モデルに登録するための具体的な評価基準について述べる。
物体認識シミュレーションにより、プラス関与性を持つ局所記述子の有効性を示す評価値E1と、マイナス関与性を示す局所記述子の有効性を示す評価値E2が求まっている。このとき、E1の値が大きく、E2の値が小さい局所記述子ほど、目的達成するために有効な局所記述子である。そこでこの実施形態では、E1−E2の値をモデルに登録するための評価基準とし、この値が大きい局所記述子から順にモデルに登録する。
【００４４】
4.2.登録するための評価基準2
この実施形態では、E1−E2の値を評価基準として局所記述子をモデルに登録する際に、E1−E2の値が等しい局所記述子が存在する場合がある。本節では、このような場合に局所記述子をモデルに登録する順番を決める評価基準について説明する。
【００４５】
この実施形態では、物体認識シミュレーション時に、各局所記述子の近傍となる局所記述子との距離を計算して保存しておく。この距離計算により、クエリーとなる局所記述子に対して、特徴空間内で正しい物体IDを持つ局所記述子との距離が近ければ、この局所記述子は正しく投票を行う可能性が高くなると考えられる。また、特徴空間内で誤った物体IDを持つ局所記述子との距離が遠ければ、誤投票を行う可能性が低くなると考えられる。そこでこの実施形態では、この距離情報を用い、局所記述子をモデルに登録する順番を決める。以下に具体的に説明する。
【００４６】
この実施形態では、物体シミュレーションにおいて、クエリーとなる局所記述子の物体IDと、この局所記述子の最近傍となる局所記述子の物体IDが等しいとき、この局所記述子間の距離をD1とする。このD1の値が小さいものほど、E1−E2が等しい局所記述子の中でも、よりクエリーとなる局所記述子の近傍に同じ物体IDを持つ局所記述子が存在することを意味する。このため、他の物体を映した未知の画像から得られる局所記述子が、見つかった最近傍となる局所記述子よりも、クエリーの最近傍となる可能性が低いと考えられる。また、クエリーとなる局所記述子と異なる物体IDを持つ局所記述子の中で、最も距離の近い局所記述子との距離をD2とする。このD2の値が大きいものほど、クエリーとなる局所記述子の近傍に他の物体IDを持つ局所記述子が存在しないことを意味する。このため、同じ物体を映した未知の画像から得られる局所記述子が、他の物体IDを持つ局所記述子よりも、クエリーの最近傍となる可能性が高いと考えられる。そこでこの実施形態では、このD1とD2を用い、
【００４７】
【数１】
2009133855.tif 000003
を、局所記述子の登録評価基準として設定し、E1−E2の値が等しい時、E3の値が大きい順にモデルに登録する。ただし、E3の値を求める際に以下の3つのことを考慮する必要がある。
【００４８】
1つ目は、ハッシュを用いて近似的にクエリーとなる局所記述子の近傍点を求めるため、近傍に他の物体IDを持つ局所記述子が存在しない場合がある。このような局所記述子は、モデルに登録しても誤認識を起こす可能性が低いと考えられる。そこでこのような場合、D2の値を∞とする。2つ目は、クエリーとなる局所記述子と、最近傍となる局所記述子の物体IDが異なる場合がある。このような局所記述子は、モデルに登録すると誤認識を起こす可能性が高いと考えられる。そこでこのような場合、E3=0とする。3つ目は、クエリーとなる局所記述子の近傍となる局所記述子が全く求まらない場合がある。このような局所記述子は、大量にあるフレーム画像のどの画像の認識にも関与していないことを意味する。このため、このような局所記述子は、認識率に影響を及ぼす可能性が低いと考えられる。そこでこのような場合、E3=0とする。
【００４９】
4.3.モデルへの登録手法
この実施形態で用いる物体認識システムでは、クエリー画像から得られる各局所記述子とモデルに登録されている局所記述子との対応を調べ、対応付けられた局所記述子の物体に投票を行い、最も得票数の多い物体を認識結果とする。つまり、他の物体より1票でも多く得票した物体が認識結果となる。このため、できるだけ少ない局所記述子で、どの画像をクエリーとしても、正解物体の得票数が最も多くなるような局所記述子の組み合わせを探す必要がある。この発明では、前述のモデルへの登録評価基準を用い、Greedyな方法で局所記述子の組み合わせを求める手法を提案する。以下に具体的な処理について説明する。
【００５０】
どのような画像がクエリー画像としても、正しく認識を行うためには、少なくともフレーム画像を全て正しく認識できる必要があると考えられる。各フレーム画像に対してプラス関与する局所記述子は、物体認識シミュレーションにおいて求まっている。この情報を基に、この実施形態ではフレーム画像を全て正しく認識できるようにモデルを構築する。そこで、ある局所記述子をモデルに登録することで、どのフレーム画像を認識することができるようになったかがわかるように、物体ごとに画像表、
【００５１】
【数２】
2009133855.tif 000004
【００５２】
を設定する。ここで、Nは、ある物体のモデルを構築する際に用いた画像の枚数で、画像表Xは、IDがIjの画像をクエリーとしたときに、現在登録されているモデルで何票の正解票を獲得できるかを示すものである。このとき、ある局所記述子をモデルに登録するごとに、物体認識シミュレーションにおいて、この局所記述子がプラス関与するフレーム画像に対して1票ずつ投票を行う。また、登録した局所記述子がマイナス関与性も持つものである場合、物体認識シミュレーション時に誤って投票を行ってきた物体の画像に対する画像表から1票減票する。これは、ある画像が1票減票されたならば、その画像に関して正しく認識するためには、2票以上正しく認識できる票を得ることができるように局所記述子をモデルに登録する必要があることを意味する。そこでこの実施形態では、画像表の最低得票数sをs=1と設定し、局所記述子をモデルに登録するごとに、残りの局所記述子に対し、プラス関与できる画像の内、この時点で画像表の値がs未満の画像の枚数を新たな評価値E'1の値とし、E'1−E2の値が大きい局所記述子から順にGreedyにモデルに登録する。
【００５３】
具体例を図３に示す。物体Aから抽出された局所記述子fが、物体認識シミュレーション時に物体Aの画像ID1、2、4、5に対してプラス関与し、物体Bの画像IDが1、3の画像に対してマイナス関与する局所記述子であるとする。このfをモデルに登録したとすると、図3の(a)に示すように、物体Aの画像表XAに対して投票を行い、物体Bの画像表XBに対して減票を行う。次に、物体Aから抽出された局所記述子gが、物体認識シミュレーション時に物体Aの画像ID1、2、3に対してプラス関与し、物体Bの画像ID1の画像に対してマイナス関与する局所記述子であるとする。ここで、gがプラス関与できる画像IDの内、現時点で作成されているモデルでプラス関与できない画像IDは、物体Aの画像ID3のみである。よって、gの新たな評価値E'1は、E'1=1となる。ここで、仮にgを次にモデルに登録したとすると画像表は図3の(b)のようになる。
【００５４】
この実施形態では、モデルに登録する局所記述子の総数に閾値tを設け、画像表の値が全てs以上になったとき、モデルに登録されている局所記述子の数がt個未満であれば、より安定して物体を認識できるように、画像表の最低得票数sの数を1ずつ増やし、全ての画像表の値がs以上になるように、E'1−E2の値の大きい局所記述子から順に登録する。以上の処理をモデルへの局所記述子の登録数がt個に達するまで繰り返す。
【００５５】
≪フローチャートおよびブロック図≫
図８は、この実施形態に係る3次元物体認識用画像データベースへの画像の登録手順を示すフローチャートである。図８に示すように、処理を行うコンピュータは、登録すべき物体を複数の視点から見た各フレーム画像が入力されると、まず、その物体に係る各フレーム画像から局所記述子を抽出する（ステップS11）。続いて、あるフレーム画像の各局所記述子をクエリーとし、残りのフレーム画像から得られる局所記述子をすべてモデルに登録し、物体認識シミュレーションを行う。物体認識シミュレーションの結果として、その局所記述子のプラス関与性に係るスコアを得る。同一フレーム画像の各局所記述子につきスコアを得る（ステップS13）。次に、登録すべき物体のすべてのフレーム画像についてスコアが得られたか否かを判断する（ステップS15）。未処理のフレーム画像があれば（ステップS15のNo）、次のフレーム画像または他の物体のフレーム画像を対象にし（ステップS17）、前記ステップS13の物体認識シミュレーションを繰り返す。
【００５６】
各フレーム画像についての物体認識シミュレーションが終了したら（ステップS15のYes）、対象の物体につき、その各フレーム画像の認識にプラス関与性の高い局所記述子を選択する（ステップS19）。局所記述子を選択する手順の具体例は図３に係る説明のとおりである。対象の物体につき、所定数（図３の説明ではt個）の局所記述子が選択されるまで、局所記述子の選択を繰り返す（ステップS21）。そして、選択された各局所記述子を対象の物体に係るモデルとして画像データベースに登録する（ステップS23）。続いて、登録すべ物体が残っているか否かを調べ（ステップS25）、登録すべき他の物体が残っている場合は（ステップS25のNo）、ルーチンはステップS11へ戻り、処理を繰り返す。すべての物体に係るモデルの登録が終了したら（ステップS25のYes）、画像データベースへの登録処理は終了する。
【００５７】
図９は、図８の手順で画像が登録されてなる画像データベースを対象に、認識（検索）を行う際の手順を示すフローチャートである。図９に示すように、検索質問の画像が入力されると、処理を行うコンピュータは、まず、検索質問から局所記述子を抽出する（ステップS31）。続いて、抽出された局所記述子につき、画像データベースに登録されている局所記述子うち最近傍の局所記述子を決定する。そして、決定された局所記述子をモデルに含む物体に一票を投じる（ステップS33）。続いて、検索質問の各局所記述子につき、最近傍探索を行った結果に係る物体に投票を行ったか否かを判断する（ステップS35）。
検索質問の各局所記述子について、前記ステップS33の投票処理を行う。すべての局所記述子についての投票が終了したら（ステップS35のYes）、最多得票数を得た物体を認識結果として出力する（ステップS37）。
【００５８】
続いて、この発明の3次元物体認識用画像データベースの処理装置の構成について説明する。
図１０は、この発明による3次元物体認識用画像データベースの処理装置の機能的な構成を示すブロック図である。図１０で、画像データベース２５に3次元物体のモデルを登録する際、登録すべき物体を表す複数のフレーム画像２１が処理装置１の入力として与えられる。出力として画像データベース２５に対象の物体に係るモデルが登録される。一方、画像データベース２５に登録されたモデルに係る物体を検索する際は、検索質問２３が処理装置１の入力として与えられる。処理装置１は画像データベース２５を参照し、画像データベース２５に登録された物体を特定する情報を出力する。
【００５９】
抽出部１１は、入力として与えられたフレーム画像２１または検索質問２３から特徴ベクトルを抽出する。モデル作成部１３は、各フレーム画像から抽出された局所記述子のうち画像認識に有効なものを物体認識シミュレーションを行って選択し、選択された局所記述子を最近傍探索可能に体系付け、対象の物体に係るモデルを作成する。登録部１５は、作成されたモデルを画像データベースに登録する。検索部１７は、検索質問２３が入力されたとき、それから抽出された局所記述子につき、画像データベース２５に登録された局所記述子のうちで最近傍ものを最近傍探索処理により決定する。そして、決定された局所記述子を含む画像に投票し、検索質問の各局所記述子に係る投票の結果に基づいて画像データベース２５に登録された物体の中から一の物体を特定する。特定された物体２７の識別情報を認識結果として出力する。
【００６０】
図１０の抽出部１１、モデル作成部１３、登録部１５、検索部１７の機能を実現するハードウェアは、主としてコンピュータとメモリである。即ち、コンピュータが、所定の物体認識用画像データベースの処理プログラムを実行することにより、各部の機能が実現される。
【００６１】
≪実験例≫
本実験は、図4に示す11物体と、COIL-100を用いて行った。
まず、11物体に関して行った実験で用いたデータセットについて説明する。本実験では、モデル構築に用いた画像として、3次元物体を一回転させ、ハイビジョンビデオカメラ（ソニー株式会社製 製品型番HDR-HC1、解像度:740480）で撮影した動画から得られる全フレーム画像を用いた。全フレーム画像は13086枚であり、得られた局所記述子数は約250万個、全モデル容量は191.3MBである。図4に用いた物体、各物体のモデル作成に用いたフレーム画像の枚数と、1枚のフレーム画像より抽出される局所記述子の平均抽出数を示す。クエリー画像としては、モデル構築用の画像を撮影した時と照明条件を変え、3次元物体を10度ずつ回転させて撮影したものを、1物体あたり36枚用意した。
【００６２】
次に、COIL-100に関して行った実験について説明する。COILとは、100物体を5度ごとに回転させて撮影した画像データベースである。本実験では、5度ごとに撮影されている72枚の画像の内、角度が0°、10°、20°、…、350°の画像一物体あたり36枚をモデル構築用の画像に用いた。クエリー画像としては、角度が5°、15°、25°、 …、355°の画像一物体あたり36枚を用いた。モデル構築用の全画像から得られた局所記述子数は約18万個で、そのときのモデルの容量は13.6MBである。図5に、用いたフレーム画像の例を示す。
【００６３】
両実験において3次元物体認識手法には、野口らの手法を用いた。この実施形態で行う物体認識シミュレーションと本実験では、用いたパラメータは同じである。
本実験では、この実施形態を用いて作成したモデルと、全局所記述子からランダムに取捨選択したモデルを用い、認識率を比較した。ランダムの手法では、それぞれモデルを10種類ずつ作成した。
【００６４】
11物体を用いて行った実験の結果を図6に示す。ただし、ランダム手法は10モデルの平均認識率を示している。実験結果より、この実施形態はランダムに選択したモデルより、容量が少なくなればなるほど有効であることがわかった。ここで、認識率98.73%と最も高かったt=25000のモデルの結果について注目する。このモデルでは、「人形2」と「腕時計」でそれぞれ1枚誤認識を起こし、「人形6」で三枚誤認識を起こした。誤認識を起こした画像は、正解物体よりも他の物体への投票が多い、全く得票できないといった理由で誤認識していた。正解物体への票より、他の物体の票の方が多くなるという問題は、局所記述子の取捨選択により、登録された各局所記述子の最も距離の短い局所記述子が、無削除状態のときから変化するために起こると考えられる。
【００６５】
次に、COIL-100を用いて行った実験結果を図7に示す。ただし、ランダム手法は10モデルの平均認識率を示している。ここで、認識率96%のt=25000のモデルの結果に注目する。このモデルでは、「obj15」が最も認識率が低かった。「obj15」で誤認識を起こしていた画像は、他の物体の方が得票数が多かった画像が5枚、全く票を得ることができなかった画像が1枚存在した。誤認識を起こした原因として、画像から得られる局所記述子の数が少ないことが挙げられる。このため、得られる局所記述子の数が少ない物体に対して、多くの局所記述子をモデルに登録できるような評価基準を設定する必要があると考えられる。
【００６６】
以上のように、この実施形態および実験例では、局所記述子を用いた3次元物体認識において、できるだけ少ない局所記述子で物体を高精度で認識できるように、局所記述子を取捨選択することで、メモリ容量を削減する手法を示した。11物体を対象とした実験の結果、容量を約100分の1に削減したモデルで98.73%の認識率を得た。また、COIL-100を対象とした実験の結果容量を約7分の1に削減したモデルで96%の認識率を得た。
【００６７】
前述した実施の形態の他にも、この発明について種々の変形例があり得る。それらの変形例は、この発明の範囲に属さないと解されるべきものではない。この発明には、請求の範囲と均等の意味および前記範囲内でのすべての変形とが含まれるべきである。
【符号の説明】
【００６８】
１：処理装置
１１：抽出部
１３：モデル作成部
１５：登録部
１７：検索部
２１：登録すべき物体に係るフレーム画像
２３：検索質問の画像
２５：画像データベース
２７：認識結果
【図１】
2009133855.tif 000005
【図２】
2009133855.tif 000006
【図３】
2009133855.tif 000007
【図６】
2009133855.tif 000008
【図７】
2009133855.tif 000009
【図８】
2009133855.tif 000010
【図９】
2009133855.tif 000011
【図１０】
2009133855.tif 000012
【図４】
2009133855.tif 000013
【図５】
2009133855.tif 000014
【国際調査報告】
2009133855.tif 000015
2009133855.tif 000016