(57)【要約】【課題】被写体観測画像の少数性、および認識の高速性を保ったまま被写体認識精度をより向上させることができる被写体認識装置を提供する。【解決手段】被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出手段と、被写体展開画像の各特徴点について隣接特徴点との３次元空間距離を算出する手段と、被写体展開画像の各特徴点について隣接特徴点との２次元空間距離を算出する２次元空間距離算出手段と、被写体展開画像の各特徴点と、検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する手段と、３次元空間距離、２次元空間距離およびベクトル間距離に基づいてスコアを算出し、算出したスコアを該当する検索対象画像に対して投票し、該投票結果に基づき、検索対象画像の中から被写体候補の画像を選択して出力する手段とを備えた。【選択図】図１
2014225150.tif 000002
【特許請求の範囲】
【請求項１】
被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出手段と、
前記被写体展開画像の各特徴点について隣接特徴点との３次元空間距離を算出する３次元空間距離算出手段と、
前記被写体展開画像の各特徴点について隣接特徴点との２次元空間距離を算出する２次元空間距離算出手段と、
前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出手段と、
前記３次元空間距離、前記２次元空間距離および前記ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合手段と
を備えたことを特徴とする被写体認識装置。
【請求項２】
前記照合手段は、
設定した注目特徴点の特徴量に加え、前記注目特徴点に隣接する隣接特徴点の特徴量に基づき、前記被写体展開画像の各特徴点の前記スコアを算出することを特徴とする請求項１に記載の被写体認識装置。
【請求項３】
前記照合手段は、
前記被写体展開画像の前記特徴点と前記隣接特徴点との前記３次元空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点との前記２次元空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点に対応する前記検索対象画像内の特徴点との前記特徴ベクトル間距離とに基づいて前記スコアを算出することを特徴とする請求項２に記載の被写体認識装置。
【請求項４】
前記照合手段は、
前記注目特徴点に対応する特徴点を有する前記検索対象画像に限定して、前記スコアの投票を行うことを特徴とする請求項３に記載の被写体認識装置。
【請求項５】
前記照合手段は、
前記スコアの算出において、前記３次元空間距離と前記２次元空間距離の重みづけを、前記３次元空間距離の信頼度と前記２次元空間距離の信頼度を用いて決定することを特徴とする請求項１から４のいずれか１項に記載の被写体認識装置。
【請求項６】
前記２次元空間距離の信頼度を、前記被写体展開画像上の幾何ゆがみに基づき決定することを特徴とする請求項５に記載の被写体認識装置。
【請求項７】
撮像装置で撮影した被写体を認識する被写体認識装置が行う被写体認識方法であって、
前記被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出ステップと、
前記被写体展開画像の各特徴点について隣接特徴点との３次元空間距離を算出する３次元空間距離算出ステップと、
前記被写体展開画像の各特徴点について隣接特徴点との２次元空間距離を算出する２次元空間距離算出ステップと、
前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出ステップと、
前記３次元空間距離、前記２次元空間距離および前記ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合ステップと
を有することを特徴とする被写体認識方法。
【請求項８】
コンピュータを、請求項１から６のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影した被写体を認識する被写体認識装置、被写体認識方法及び被写体認識プログラムに関する。
【背景技術】
【０００２】
少数の学習画像での３次元被写体認識技術には、被写体の３次元形状とテクスチャを基に被写体を包含する球上に被写体を投影し、投影結果の球面展開によって、各観測方向の仮想視点画像を統合した仮想視点群統合画像を生成し、仮想視点群統合画像と任意方向からのみ観測された少数の学習画像との照合により被写体を認識するものがある（例えば、非特許文献１、非特許文献２参照）。この手法は入力側で被写体の全周囲情報を持つことにより、学習側で被写体の観測画像を大量に持たなくても対応付けできること、さらに被写体の３次元形状およびテクスチャを２次元画像として展開することで、学習画像との２次元マッチングが可能となり計算コストを下げることを特徴とする。よってこの手法によれば、任意方向分の学習画像を生成することなく高速な認識が可能となる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】薮下浩子，島村潤，森本正志，小池秀樹，“被写体形状の球面展開に基づく３次元物体認識の一検討”，電子情報通信学会総合大会講演論文集  ２０１１年＿情報・システム（２），１５６．
【非特許文献２】薮下浩子，島村潤，森本正志，“被写体形状・テクスチャの球面展開に基づく３次元物体認識”，信学技報，ｖｏｌ．１１１，ｎｏ．３７９，ＰＲＭＵ２０１１−１５３，ｐｐ．７３−７８，２０１２．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、前述した従来技術では３次元計測時もしくは被写体展開図生成時に生じる画像上の不均一なゆがみにより特徴が変化する。そのため被写体展開画像上において、予め被写体を撮影した観測方向の視点画像情報を含む箇所にゆがみが大きく発生すると、展開画像とＤＢ画像（データベースに記憶されている画像）とで画像から得られる特徴量が一致しなくなり、特徴点の対応誤りが発生するため、認識精度が下がるという問題がある。対して非特許文献２中では、テクスチャ類似度に基づくスコア投票時に投票対象の特徴点自体の類似度のみならず周囲に存在する特徴点の類似度に基づくスコア算出を行うことで、展開画像上の幾何歪みを主な理由とする誤った特徴点対応によって被写体ではないＤＢ画像に高スコアが投票されることを防ぐ仕組みの投票を行い、このような問題の解決を図っている。
【０００５】
しかしながら、前述した手法のスコア算出では、例えば（１）式に示すように、被写体の特徴点間の３Ｄ空間距離（以下、３Ｄ特徴点間距離という）を用いるのみで特徴点の配置関係が考慮されていないため、データベース内に被写体と部分的に類似したテクスチャを有す物体を写した画像が存在すると、この物体を被写体として誤認識してしまうという問題がある。
【０００６】
従来手法のスコア算出式：
Ｄ３Ｄは３Ｄ特徴点間距離、ｄは特徴量ベクトル間距離、α，β，ｏｆｆｓｅｔは事前に与えるパラメータである。
【数１】
2014225150.tif 000003
【０００７】
本発明は、このような事情に鑑みてなされたもので、被写体観測画像の少数性、および認識の高速性を保ったまま被写体認識精度をより向上させることができる被写体認識装置、被写体認識方法及び被写体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出手段と、前記被写体展開画像の各特徴点について隣接特徴点との３次元空間距離を算出する３次元空間距離算出手段と、前記被写体展開画像の各特徴点について隣接特徴点との２次元空間距離を算出する２次元空間距離算出手段と、前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出手段と、前記３次元空間距離、前記２次元空間距離および前記ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合手段とを備えたことを特徴とする。
【０００９】
本発明は、前記照合手段は、設定した注目特徴点の特徴量に加え、前記注目特徴点に隣接する隣接特徴点の特徴量に基づき、前記被写体展開画像の各特徴点の前記スコアを算出することを特徴とする。
【００１０】
本発明は、前記照合手段は、前記被写体展開画像の前記特徴点と前記隣接特徴点との前記３次元空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点との前記２次元空間距離と、前記被写体展開画像の前記特徴点と前記隣接特徴点に対応する前記検索対象画像内の特徴点との前記特徴ベクトル間距離とに基づいて前記スコアを算出することを特徴とする。
【００１１】
本発明は、前記照合手段は、前記注目特徴点に対応する特徴点を有する前記検索対象画像に限定して、前記スコアの投票を行うことを特徴とする。
【００１２】
本発明は、前記照合手段は、前記スコアの算出において、前記３次元空間距離と前記２次元空間距離の重みづけを、前記３次元空間距離の信頼度と前記２次元空間距離の信頼度を用いて決定することを特徴とする。
【００１３】
本発明は、前記２次元空間距離の信頼度を、前記被写体展開画像上の幾何ゆがみに基づき決定することを特徴とする。
【００１４】
本発明は、撮像装置で撮影した被写体を認識する被写体認識装置が行う被写体認識方法であって、前記被写体の３次元形状データとテクスチャデータに基づいて生成された被写体展開画像と、複数の検索対象画像とのそれぞれから、特徴点を抽出する特徴点抽出ステップと、前記被写体展開画像の各特徴点について隣接特徴点との３次元空間距離を算出する３次元空間距離算出ステップと、前記被写体展開画像の各特徴点について隣接特徴点との２次元空間距離を算出する２次元空間距離算出ステップと、前記被写体展開画像の各特徴点と、前記検索対象画像それぞれの特徴点との特徴ベクトル間距離を算出する特徴ベクトル間距離算出ステップと、前記３次元空間距離、前記２次元空間距離および前記ベクトル間距離に基づいてスコアを算出し、算出した前記スコアを該当する検索対象画像に対して投票し、該投票結果に基づき、前記検索対象画像の中から被写体候補の画像を選択して出力する照合ステップとを有することを特徴とする。
【００１５】
本発明は、コンピュータを、前記被写体認識装置として機能させるための被写体認識プログラムである。
【発明の効果】
【００１６】
本発明によれば、被写体の３次元形状に基づく照合を実現し、学習側に持つ被写体観測画像の少数性、および認識の高速性を保ったまま被写体認識精度をより向上させることができるという効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すクエリ特徴表現部１１がクエリとして入力した入力データ（３次元形状データとテクスチャデータ）から特徴量を抽出して記憶部３に記憶する動作を示すフローチャートである。
【図３】図１に示すＤＢ特徴表現部１２が記憶部３に予め記憶した検索対象ＤＢ内画像から、特徴箇所を抽出し、特徴箇所ごとに局所記述子を算出し記憶する動作を示すフローチャートである。
【図４】図１に示す被写体認識装置の処理動作を示す説明図である。
【図５】図１に示す被写体認識装置の処理動作を示す説明図である。
【図６】図１に示す被写体認識装置の処理動作を示す説明図である。
【図７】図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に記憶したクエリ特徴量と、ＤＢ特徴表現部１２が記憶部３に記憶したＤＢ特徴量において、各特徴の局所記述子を比較し、被写体認識結果を出力する動作を示すフローチャートである。
【図８】３次元形状データの重心を中心とし３次元形状データを包含する半径を有す球面に投影し、この投影球を展開することによって行った球面展開図の例を示す説明図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明の実施形態による被写体認識装置を説明する。図１は本実施形態の構成を示すブロック図である。被写体認識装置はコンピュータ装置によって構成する。図１において、符号１は被写体認識処理を行う被写体認識部である。符号２は、カメラ等で撮影して得られた２次元画像を入力する画像入力部である。符号３は、被写体認識処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００１９】
符号１１は、画像入力部２を介して入力した被写体の３次元モデル（形状の３次元座標データ）とテクスチャ（３次元形状表面の模様データ）から展開画像を生成し、展開画像から特徴箇所を抽出し、特徴箇所の局所記述子を算出するクエリ特徴表現部である。符号１２は、予めさまざまな物体について１物体ずつ、物体に対して任意の角度から撮影した画像検索対象ＤＢ画像を記憶部３から読み出し、すべてのＤＢ画像において特徴箇所を抽出し、特徴箇所の局所記述子を算出するＤＢ特徴表現部である。符号１３は特徴表現部１１で算出したクエリ特徴量と、ＤＢ特徴表現部１２で算出したＤＢ特徴量とを比較し、幾何的制約に基づく投票を行い、クエリ特徴量に最も類似するＤＢ画像を特定し、ＤＢ画像のＩＤ（識別情報）を被写体認識結果として出力する照合部である。
【００２０】
次に、図１に示す被写体認識装置の処理動作を説明する。ここでは、クエリとして被写体の３次元形状及びテクスチャが入力され、１枚もしくは複数の２次元画像を検索対象ＤＢとして予め記憶部３に記憶しておくものとして説明する。なお、２次元画像群のデータは対象の被写体を任意の角度から撮影したものとし、予め対象の被写体毎に唯一に付与された被写体ＩＤや名前などの各種情報が関連づけられて記憶されているものとする。また、被写体の３次元形状データとテクスチャデータは、例えば携帯電話等に搭載された撮像装置で対象を撮影し、その画像から画像処理によって生成したものでもよいし、レンジファインダ等のセンサーによって計測したものでもよい。また、コンピュータグラフィックス（ＣＧ）技術によって手動で生成したものでもよい。
【００２１】
次に、図２を参照して、図１に示すクエリ特徴表現部１１がクエリとして入力した入力データ（３次元形状データとテクスチャデータ）から特徴量を抽出して記憶部３に記憶する動作を説明する。図２は、図１に示すクエリ特徴表現部１１がクエリとして入力した入力データ（３次元形状データとテクスチャデータ）から特徴量を抽出して記憶部３に記憶する動作を示すフローチャートである。まず、ユーザが入力部４を操作して、クエリとして３次元情報入力を指示すると、クエリ特徴表現部１１は、画像入力部２を介して対象の被写体の３次元形状データとテクスチャデータをクエリ３次元情報として入力する（ステップＳ１）。そしてクエリ３次元情報を１枚の２次元展開画像に変換する（ステップＳ２）。この変換は、例えば非特許文献２に記載されているように３次元形状データの重心を中心とし３次元形状データを包含する半径を有す球面に投影し、投影球を展開することによって行う。このとき、展開画像の各画素の投影展開前の３次元形状データの３次元座標値を紐づけておく。
【００２２】
次に、展開画像から特徴箇所を検出し（ステップＳ３）、検出したすべての特徴箇所で局所記述子を算出する（ステップＳ４）。なお特徴抽出処理は、例えば、Harris-Affine region、Hessian-Affine region、Difference of Gaussians（ＤＯＧ）やMaximally Stable Extremal Regions（ＭＳＥＲ）、ＦＡＳＴ等の公知の方法を用いて実行する。また局所記述子は、例えば、ＳＩＦＴ、ＧＬＯＨ、ＰＣＡ−ＳＩＦＴ、ＳＵＲＦやＡＳＩＦＴ等の公知の方法を用いて実行する。入力したすべての２次元画像データに対して特徴箇所抽出処理および局所記述子算出処理を行う。最後に各特徴箇所の展開画像上座標、３次元形状データ上の３次元座標値、局所記述子を関連付けてクエリ特徴量として記憶部３に記憶する（ステップＳ５）。
【００２３】
次に、図３を参照して、図１に示すＤＢ特徴表現部１２が記憶部に予め記憶した検索対象ＤＢ内画像から、特徴箇所を抽出し、特徴箇所ごとに局所記述子を算出し記憶する動作を説明する。図３は、図１に示すＤＢ特徴表現部１２が記憶部３に予め記憶した検索対象ＤＢ内画像から、特徴箇所を抽出し、特徴箇所ごとに局所記述子を算出し記憶する動作を示すフローチャートである。まず、ユーザが入力部４を操作して、２次元画像の入力を指示すると、ＤＢ特徴表現部１２は記憶部３に予め記憶した検索対象ＤＢ内の画像を入力する（ステップＳ１１）。そして、ＤＢ特徴表現部１２は入力した画像から特徴箇所を抽出し（ステップＳ１２）、抽出したすべての特徴箇所で局所記述子を算出する（ステップＳ１３）。なお特徴抽出処理・局所記述子算出処理はクエリ特徴表現部１１と同様に公知の方法を用いて実行する。入力したすべてのＤＢ画像に対して、特徴箇所抽出処理および局所記述子算出処理を行う。最後にＤＢ画像の画像ファイル名と、各々の画像から得られた特徴箇所の局所記述子、および各ＤＢ画像上の２次元座標値を関連付けてＤＢ特徴量として記憶部３に記憶する（ステップＳ１４）。
【００２４】
非特許文献２の方法では、クエリ特徴量中の特徴点からベクトル間距離の近い特徴点を有すＤＢ画像へのスコア値決定に際し、クエリ特徴量中の特徴点に対する、周囲の点のスコア寄与率を、各特徴点の投影変換前の３次元被写体上３次元座標に基づいた３次元空間距離算出結果を用いて決定していた。ここで特徴点間の距離をスコア算出に用いたのは被写体展開画像内で空間的に近い位置に存在する特徴点は、任意の視点から撮影された検索対象画像群内の被写体を示す認識正解画像中においても一緒に写る可能性が高く、さらに撮影（透視投影）のゆがみによって生じる特徴の変化も少ないであろうことを利用したものである。
【００２５】
また展開画像上の２次元空間距離ではなく投影展開前の３次元座標を用いたのは、展開画像上の特徴点間の２次元空間距離関係は、特徴点の座標上位置によって不均一に発生する幾何ゆがみの影響により、変化してしまっているからである。しかし、図４に示す通り、特徴点の３次元被写体上の３次元座標が近くても、同一視点から写りえない特徴点の配置関係（例えば、表面と裏面の関係）にある場合もある。そのため本来は同一画像上に写りえない特徴点間において互いのスコア寄与率を高めてしまうといった問題がある。図５に、同一画像上に写りえない特徴点間の距離が３次元空間距離では近くに判定されてしまう例を示す。図５に示すように、任意視点からの撮像に共には写りえない特徴点間距離が“近い”（Ａから近い順：Ａ、Ｄ、Ｅ、Ｂ、Ｃ）と判断されスコア寄与率が高まってしまうことがある。
【００２６】
そこで本実施形態では、３次元空間距離に加えて、展開画像上の２次元画像上距離も同時に用いることで被写体表面上距離に基づくスコア算出を行う。これによって物体表面上の距離を考慮に入れることができ、同一面上の点か異なる面上の点かによって３次元距離値に対して重みづけすることができる。図６に、展開画像上の距離を用いることで、被写体表面上での距離を表現することが可能である例を示す。図６に示すように、展開画像は幾何ゆがみを発生してはいるが、展開画像は物体表面上での特徴点間距離を判断する１つの指標になりえる。図６に示す例では、Ａから近い順がＡ、Ｂ、Ｃ、Ｅ、Ｄとなる。
【００２７】
次に、図７を参照して図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に記憶したクエリ特徴量と、ＤＢ特徴表現部１２が記憶部３に記憶したＤＢ特徴量において、各特徴の局所記述子を比較し、被写体認識結果を出力する動作を説明する。図７は図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に記憶したクエリ特徴量と、ＤＢ特徴表現部１２が記憶部３に記憶したＤＢ特徴量において、各特徴の局所記述子を比較し、被写体認識結果を出力する動作を示すフローチャートである。まず、照合部１３は記憶部３からクエリ特徴量とＤＢ特徴量を読み出す（ステップＳ２１）。
【００２８】
次に、照合部１３は読み出した特徴データのうち、クエリ画像の局所記述子群と検索対象ＤＢ内画像の局所記述子群とを比較する。比較処理では、まずクエリ特徴量の中から注目特徴点（注目点）を設定し、この注目特徴点から特徴ベクトル間距離が近いＤＢ画像中特徴点を求め、これを注目点に対する対応特徴点とする。対応特徴点は事前に設定した個数ｋ分（ｋ≧１）、選択するものとする。ｋは例えば、１，３，１０といった値を用いる。注目点と対応特徴点の特徴量ベクトル間距離の算出結果から（２）式を用いて、対応特徴点を有すＤＢ画像に投票するスコアＳを算出する（ステップＳ２２）。
【数２】
2014225150.tif 000004
【００２９】
このとき注目特徴点との３次元空間距離をＤ３Ｄとし、２次元画像上距離をＤ２Ｄとする。注目特徴点のスコアを算出する際は本来Ｄ３Ｄ＝０、Ｄ２Ｄ＝０ではなくスコアＳの発散を防ぐため、例えばＤ３Ｄ＝１、Ｄ２Ｄ＝１とする。これに伴い各周囲点から注目特徴点までの距離はＤ３Ｄ＝Ｄ３Ｄ＋１、Ｄ２Ｄ＝Ｄ２Ｄ＋１とすることとする。なお、特徴量ベクトル間距離の逆数の発散を防ぐためのｏｆｆｓｅｔ値は１以外を用いてもよい。なお（２）式中のα、β、およびγはユーザが事前に設定したスコア算出時の重みづけ係数である。例えばα＝β＝γ＝１とする。ここで説明した（２）式では、スコア算出に注目特徴点との３次元空間距離Ｄ３Ｄ、２次元画像上距離Ｄ２Ｄ、およびベクトル間距離ｄに対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよい。
【００３０】
なお、ここでスコア算出式に「特徴ベクトル間距離ｄ」を入れたのは、被写体展開画像の特徴点と検索対象画像群の特徴点間で、テクスチャの類似度をスコアに反映するためである。また、スコア算出式に「注目特徴点との３空間距離Ｄ３Ｄ」および「注目特徴点との２次元展開画像上距離Ｄ２Ｄ」を入れたのは、クエリ特徴量の中で３次元空間距離および２次元展開画像上距離が共に近い位置に存在する特徴点は、任意の視点から撮影された検索対象画像群内の被写体を示す認識正解画像中においても一緒に写る可能性が高く、さらに撮影（透視投影）のゆがみによって生じる特徴の変化も少ないことを仮定として利用したもので、ベクトル間距離によるテクスチャ類似度に対する重みづけの役割を担っている。他の要素によって重みをつけてもよい。
【００３１】
重みづけは例えば、球面展開画像上の２Ｄ座標値に基づき、幾何ゆがみの影響度を算出して、それを用いてもよい。非特許文献２に記載されているように３次元形状データの重心を中心とし３次元形状データを包含する半径を有す球面に投影し、この投影球を展開することによって行った球面展開図の例を図８に示す。このように３Ｄ被写体のテクスチャを半径ｒの球体へ投影し展開することで得た球面展開画像があるとき、幾何ゆがみは投影球の上部と下部、つまり球面展開画像のｙ座標が、画像中心から離れれば離れるほど、幾何ゆがみの影響が強くなる（図８（ａ）参照）。この幾何ゆがみは、投影球上では大きさの異なる範囲の情報量（２πｒｃｏｓθ）が、展開することで均一幅（２πｒ）に引き伸ばされることでおきる（図８（ｂ）参照）。球面展開画像上の特徴点Ｐの信頼度をＲとすると以下の（３）式で定義できる。
ｒ・ｓｉｎθ＝｜（πｒ／２）−ｙ｜より、
Ｒ＝２πｒｃｏｓθ／（２πｒ）＝ｃｏｓθ
【数３】
2014225150.tif 000005
【００３２】
Ｐ１＝（ｘ１，ｙ１），Ｐ２＝（ｘ２，ｙ２）間の２Ｄ距離値の信頼度ＲＰ１⇔Ｐ２であれば、以下の（４）式で定義できる。Ｄ３ＤとＤ２Ｄをどの程度の割合で重みづけするかを、例えば、ＲＰ１⇔Ｐ２の値から判断してもよい。このとき、３Ｄ距離値Ｄ３Ｄは正しい値であると仮定して信頼度は１、対して２Ｄ距離値Ｄ２Ｄは信頼度ＲＰ１⇔Ｐ２により算出された値を用いる。例えばＲＰ１⇔Ｐ２＝０．５であれば、３Ｄ距離値Ｄ３Ｄと２Ｄ距離値Ｄ２Ｄの重みづけ比率は２：１とする。
【数４】
2014225150.tif 000006
【００３３】
こうして算出したスコアＳを、対応特徴点を有するＤＢ画像に投票する（ステップＳ２３）。そして、本スコア値算出および投票処理を隣接特徴点においても同様に実施する。ただしこのとき注目特徴点が投票した特徴点を有する画像のみを候補画像として絞り込み、候補画像が有する特徴点に対してのみスコア値算出および投票を実施してもよい。上記注目特徴点と隣接特徴点のスコア値算出および投票処理を、注目特徴点を変えながらすべての注目特徴点分実施する。最後に開票処理として、すべての検索対象ＤＢ内画像において１番合計スコア値が大きくなる画像を求め、画像ＩＤをマッチング結果として出力する（ステップＳ２４）。
【００３４】
以上説明したように照合時に、ある特徴点の投票の際に周囲の特徴点の類似度に基づく投票フレームワークの中で、ある特徴点と周囲点の３次元空間距離と展開画像上距離を同時にスコアに反映することにより、より被写体の３次元形状を考慮した被写体認識を実現できる。また、照合時に、特徴点の距離関係に基づくスコア投票を行うことで、被写体認識精度を向上させることができる。
【００３５】
これにより、被写体の３次元形状およびテクスチャを２次元画像として展開し、ＤＢ内の画像と２次元照合することで、学習側に持つべき被写体の観測画像枚数を少数化し、かつ高速な被写体認識を実現する枠組みの中で、特徴点と周囲点の３次元空間距離と展開画像上距離を同時にスコアに反映することにより、より被写体の３次元形状を考慮した照合を実現し、学習側に持つ被写体観測画像の少数性、および認識の高速性を保ったまま被写体認識精度をより向上させることができる。
【００３６】
前述した実施形態における被写体認識装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００３７】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００３８】
撮像装置で撮影した画像を使用して被写体を認識することが不可欠な用途に適用できる。
【符号の説明】
【００３９】
１・・・被写体認識部、１１・・・クエリ特徴表現部、１２・・・ＤＢ特徴表現部、１３・・・照合部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部
【図１】
2014225150.tif 000007
【図２】
2014225150.tif 000008
【図３】
2014225150.tif 000009
【図４】
2014225150.tif 000010
【図５】
2014225150.tif 000011
【図６】
2014225150.tif 000012
【図７】
2014225150.tif 000013
【図８】
2014225150.tif 000014