(57)【要約】【課題】高速な被写体認識において被写体をより高精度に認識することができる被写体認識装置を提供する。【解決手段】被写体展開画像から特徴箇所を抽出し、該被写体展開画像における特徴箇所の第１の局所記述子を算出するクエリ特徴表現手段と、画像検索対象のデータベース画像から特徴箇所を抽出し、該データベース画像における特徴箇所の第２の局所記述子を算出するデータベース特徴表現手段と、第１の局所記述子と、第２の局所記述子とを比較した結果に基づいて生成した最近傍特徴点のペアから射影変換行列を求め、該射影変換行列を用いて、最近傍特徴点のペアの絞り込みを行った後に、類似度のスコアを算出し、該スコアに基づき、被写体展開画像に類似するデータベース画像を特定する照合手段とを備える。【選択図】図１
2014102746.tif 000002
【特許請求の範囲】
【請求項１】
被写体の３次元形状データとテクスチャデータとに基づいて生成される被写体展開画像を用いて画像検索対象である複数のデータベース画像から被写体候補のデータベース画像を選択して出力する被写体認識装置であって、
前記被写体展開画像から特徴箇所を抽出し、該被写体展開画像における特徴箇所の第１の局所記述子を算出するクエリ特徴表現手段と、
画像検索対象のデータベース画像から特徴箇所を抽出し、該データベース画像における特徴箇所の第２の局所記述子を算出するデータベース特徴表現手段と、
前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて生成した最近傍特徴点のペアから射影変換行列を求め、該射影変換行列を用いて前記最近傍特徴点のペアの絞り込みを行った後に類似度のスコアを算出し、該スコアに基づき前記被写体展開画像に類似する前記データベース画像を特定する照合手段と
を備えることを特徴とする被写体認識装置。
【請求項２】
前記照合手段は、所定の条件を満たす前記データベース画像のみに対して前記類似度のスコアを算出して、類似する前記データベース画像の特定を行うことを特徴とする請求項１に記載の被写体認識装置。
【請求項３】
前記照合手段は、ＲＡＮＳＡＣ法を用いて前記最近傍特徴点のペアの絞り込みを行うことを特徴とする請求項１または２に記載の被写体認識装置。
【請求項４】
前記照合手段は、ＬＭｅｄｓ法を用いて前記最近傍特徴点のペアの絞り込みを行うことを特徴とする請求項１または２に記載の被写体認識装置。
【請求項５】
前記照合手段は、
前記射影変換行列を用いて前記第１の局所記述子に対応する３次元点を前記データベース画像上に投影した２次元点と、該データベース画像上の特徴点のうち、所定の条件を満たす特徴点との２次元距離を求め、該２次元距離を用いて前記スコアを算出することを特徴とする請求項１から４のいずれか１項に記載の被写体認識装置。
【請求項６】
コンピュータを、請求項１から５のいずれか１項に記載の被写体認識装置として機能させるための被写体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影した被写体を認識する被写体認識装置及び被写体認識プログラムに関する。
【背景技術】
【０００２】
従来からカメラ等の撮像装置で撮影した画像のみを用いて、対象を特定する画像認識技術がある。例えば、予め被写体を異なる角度から撮影した画像群を学習画像群として記憶しておき、この学習画像群から生成した特徴量データと、利用者が被写体に対して任意の方向から撮影したクエリ画像から得た特徴量とを比較することで、任意の被写体を特定するものがある（例えば、非特許文献１参照）。しかし、被写体が３次元形状の場合、観測方向によって画像上の被写体の構造が変化するため、予め多数の画像群を学習画像群として撮影しておく必要があり、この作業に多大な手間がかかるという問題がある。
【０００３】
このような問題を解決するために、学習画像群の撮影の代わりに、仮想視点を移動させることによって予め入力された被写体の３次元形状とテクスチャから構成されるＣＧ（コンピュータグラフィックス）モデルに対し、コンピュータグラフィックス空間内で被写体を異なる方向から観測した学習画像群を合成し、この合成画像と利用者が被写体に対して任意の方向から撮影したクエリ画像の、両者から得た特徴量の照合によって対象を特定するものがある（例えば、非特許文献２参照）。
【０００４】
しかしながら、上述した従来技術は、学習画像群を全方向分生成する必要があり、加えて学習対象が複数ある場合には学習対象の分だけ学習画像群を全方向分生成する必要があり、計算処理量が膨大になるという問題がある。
【０００５】
そこでこれらの事情を鑑みて考案された手法として、被写体の３次元形状とテクスチャを基にこの被写体を包含する球上に被写体を投影し、この投影結果の球面展開によって、各観測方向の仮想視点画像を統合した仮想視点群統合画像を生成し、この仮想視点群統合画像と任意方向からのみ観測された少数の学習画像との照合により被写体を認識するものがある（非特許文献３参照）。この手法は入力側で被写体の全周囲情報を持つことにより、学習側で被写体の観測画像を大量に持たなくても対応付けできること、さらに被写体の３次元形状およびテクスチャを２次元画像として展開することで、学習画像との２次元マッチングが可能となり計算コストを下げることを特徴とする。よってこの手法によれば、任意方向分の学習画像を生成することなく高速な認識が可能となる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】村瀬洋，Ｓ．Ｎａｙａｒ，“２次元照合による３次元物体認識−パラメトリック固有空間法″，信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，ｎｏ．１１，ｐｐ．２１７９−２１８７，Ｎｏｖ．１９９４．
【非特許文献２】望戸雄史，渡辺義浩，小室孝，石川正俊，“Ａｎａｌｙｓｉｓ−Ｓｙｎｔｈｅｓｉｓ法を用いた三次元物体姿勢推定法のＧＰＵによる実装”，第１６回画像センシングシンポジウム，２０１０，講演論文集ＩＳ４−１７．
【非特許文献３】薮下浩子，島村潤，森本正志，小池秀樹，“被写体形状の球面展開に基づく３次元物体認識の一検討”，電子情報通信学会総合大会講演論文集２０１１年＿情報・システム（２），１５６．
【非特許文献４】薮下浩子，島村潤，森本正志，“被写体形状・テクスチャの球面展開に基づく３次元物体認識”，信学技報，ｖｏｌ．１１１，ｎｏ．３７９，ＰＲＭＵ２０１１−１５３，ｐｐ．７３−７８，２０１２．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献３記載の技術は、３次元計測時もしくは被写体展開図生成時に生じる画像上の不均一なゆがみにより特徴が変化する。そのため被写体展開画像上において、予め被写体を撮影した観測方向の視点画像情報を含む箇所にこのゆがみが大きく発生すると、展開画像とデータベース画像とで画像から得られる特徴量が一致しなくなり、特徴点の対応誤りが発生するため、認識精度が下がるという問題がある。
【０００８】
これに対して非特許文献４では、テクスチャ類似度に基づくスコア投票時に投票対象の特徴点自体の類似度のみならず周囲に存在する特徴点の類似度も考慮したスコア算出を行うことで、展開画像上の幾何歪みを主な理由とする誤った特徴点対応によって被写体ではないデータベース画像に高スコアが投票されることを防ぐ仕組みの投票を行うことよって前述の問題の解決を図っている。
【０００９】
しかしながら、上記手法は被写体の形状を考慮しないため、データベース内に被写体と部分的に類似したテクスチャを有する物体を写した画像が存在すると、この物体を被写体として誤認識してしまうという問題がある。
【００１０】
本発明は、このような事情に鑑みてなされたもので、高速な被写体認識において被写体をより高精度に認識することができる被写体認識装置及び被写体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明は、被写体の３次元形状データとテクスチャデータとに基づいて生成される被写体展開画像を用いて画像検索対象である複数のデータベース画像から被写体候補のデータベース画像を選択して出力する被写体認識装置であって、前記被写体展開画像から特徴箇所を抽出し、該被写体展開画像における特徴箇所の第１の局所記述子を算出するクエリ特徴表現手段と、画像検索対象のデータベース画像から特徴箇所を抽出し、該データベース画像における特徴箇所の第２の局所記述子を算出するデータベース特徴表現手段と、前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて生成した最近傍特徴点のペアから射影変換行列を求め、該射影変換行列を用いて前記最近傍特徴点のペアの絞り込みを行った後に類似度のスコアを算出し、該スコアに基づき前記被写体展開画像に類似する前記データベース画像を特定する照合手段とを備えることを特徴とする。
【００１２】
本発明は、前記照合手段は、所定の条件を満たす前記データベース画像のみに対して前記類似度のスコアを算出して、類似する前記データベース画像の特定を行うことを特徴とする。
【００１３】
本発明は、前記照合手段は、ＲＡＮＳＡＣ法を用いて前記最近傍特徴点のペアの絞り込みを行うことを特徴とする。
【００１４】
本発明は、前記照合手段は、ＬＭｅｄｓ法を用いて前記最近傍特徴点のペアの絞り込みを行うことを特徴とする。
【００１５】
本発明は、前記照合手段は、前記射影変換行列を用いて前記第１の局所記述子に対応する３次元点を前記データベース画像上に投影した２次元点と、該データベース画像上の特徴点のうち、所定の条件を満たす特徴点との２次元距離を求め、該２次元距離を用いて前記スコアを算出することを特徴とする。
【００１６】
本発明は、コンピュータを、前記被写体認識装置として機能させるための被写体認識プログラムである。
【発明の効果】
【００１７】
本発明によれば、照合時に、特徴点ペアの絞り込みを行った後に、類似度のスコアを算出して類似する画像を特定するようにしたため、高速性を保ったまま被写体認識精度をより向上させることができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すクエリ特徴表現部１１の処理動作を示すフローチャートである。
【図３】図１に示すデータベース特徴表現部１２の処理動作を示すフローチャートである。
【図４】図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に保存したクエリ特徴量と、データベース特徴表現部１２が記憶部３に保存したデータベース特徴量において、各データベース画像に属す特徴の局所記述子を比較し、被写体認識結果を出力する動作を示すフローチャートである。
【図５】幾何関係を満たさない誤対応特徴点ペアを省く処理を示す図である。
【図６】投影後の点から一番近いデータベース画像上特徴点を探索する処理を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の実施形態による被写体認識装置を説明する。図１は本実施形態の構成を示すブロック図である。被写体認識装置はコンピュータ装置によって構成する。図１において、符号１は、被写体認識処理を行う被写体認識部である。符号２は、カメラ等で撮影して得られた２次元画像を入力する画像入力部である。符号３は、被写体認識処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００２０】
符号１１は、画像入力部２を介して入力した被写体の３次元モデル（形状の３次元座標データ）とテクスチャ（３次元形状表面の模様データ）から展開画像を生成し、この展開画像から特徴箇所を抽出し、この特徴箇所の局所記述子を算出するクエリ特徴表現部である。符号１２は、予めさまざまな物体について１物体ずつ、この物体に対して任意の角度から撮影した画像検索対象データベース画像を記憶部３から読み出し、このすべてのデータベース画像において特徴箇所を抽出し、特徴箇所の局所記述子を算出するデータベース特徴表現部である。符号１３は特徴表現部１１で算出したクエリ特徴量と、符号１２で算出したデータベース特徴量を比較し、幾何的制約に基づく投票を行い、クエリ特徴量に最も類似するデータベース画像を特定し、このデータベース画像のｉｄを被写体認識結果として出力する照合部である。
【００２１】
次に、図１に示す被写体認識装置の処理動作を説明する。ここでは、クエリとして被写体の３次元形状及びテクスチャが入力され、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。なお、２次元画像群のデータは対象の被写体を任意の角度から撮影したものとし、予め対象の被写体毎に唯一に付与された被写体ＩＤや名前などの各種情報が関連づけられて保存されているものとする。また、被写体の３次元形状データとテクスチャデータは、例えば携帯電話等に搭載された撮像装置で対象を撮影し、その画像から画像処理によって生成したものでもよいし、レンジファインダ等のセンサーによって計測したものでもよい。また、コンピュータグラフィックス（ＣＧ）技術によって手動で生成したものでもよい。
【００２２】
次に、図２を参照して、図１に示すクエリ特徴表現部１１の処理動作を説明する。図２は、図１に示すクエリ特徴表現部１１の処理動作を示すフローチャートである。まず、クエリ特徴表現部１１は、画像入力部２から３次元モデルデータ（被写体の３次元モデル（形状の３次元座標データ）とテクスチャ（３次元形状表面の模様データ））を入力する（ステップＳ１）。そして、クエリ特徴表現部１１は、入力した被写体の３次元モデル（形状の３次元座標データ）とテクスチャ（３次元形状表面の模様データ）から展開画像を生成する（ステップＳ２）。
【００２３】
次に、クエリ特徴表現部１１は、生成した展開画像から特徴箇所を検出し（ステップＳ３）、この特徴箇所の局所記述子を算出する（ステップＳ４）。クエリ特徴表現部１１は、算出した特徴箇所の局所記述子を記憶部３に保存する（ステップＳ５）。これにより、入力した３次元モデルデータの特徴箇所の局所記述子がクエリ特徴量として記憶部３に記憶されたことになる。
【００２４】
次に、図３を参照して、図１に示すデータベース特徴表現部１２の処理動作を説明する。図３は、図１に示すデータベース特徴表現部１２の処理動作を示すフローチャートである。まず、データベース特徴表現部１２は、記憶部３から全ての２次元画像データ（データベース画像という）を入力する（ステップＳ１１）。この２次元画像データは、予めさまざまな物体について１物体ずつ、この物体に対して任意の角度から撮影した画像である。
【００２５】
次に、データベース特徴表現部１２は、入力したデータベース画像において、特徴箇所を検出し（ステップＳ１２）、この特徴箇所の局所記述子を算出する（ステップＳ１３）。この局所記述子の算出は、特徴箇所の数だけ行う。そして、この処理を入力したデータベース画像の数だけ繰り返し、データベース特徴表現部１２は、算出した特徴箇所の局所記述子を記憶部３に保存する（ステップＳ１４）。これにより、記憶部３に記憶されている画像検索対象のデータベース画像特徴箇所の局所記述子がデータベース特徴量として記憶部３に記憶されたことになる。
【００２６】
次に、図４を参照して図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に保存したクエリ特徴量と、データベース特徴表現部１２が記憶部３に保存したデータベース特徴量において、各データベース画像に属す特徴の局所記述子を比較し、被写体認識結果を出力する動作を説明する。図４は、図１に示す照合部１３が、クエリ特徴表現部１１が記憶部３に保存したクエリ特徴量と、データベース特徴表現部１２が記憶部３に保存したデータベース特徴量において、各データベース画像に属す特徴の局所記述子を比較し、被写体認識結果を出力する動作を示すフローチャートである。
【００２７】
まず、照合部１３は記憶部３からクエリ特徴量とデータベース特徴量を読み出す（ステップＳ２１）。次に、照合部１３は読み出したデータベース特徴量のうち、あるデータベース画像１枚に属すデータベース特徴量のみを対象として、クエリ特徴量と比較を行う。比較処理ではまずクエリ特徴量と対象とするデータベース画像の特徴量間（対象データベース特徴量）で、最近傍特徴点ペアセットを生成する（ステップＳ２２）。この最近傍特徴点ペアは例えば以下の方法によって生成する。まず、各クエリ特徴量において対象データベース特徴量の中からベクトル間距離が最も小さい特徴点を選ぶ。そして、次は逆に各対象データベース特徴量においてクエリ特徴量の中からベクトル間距離が最も小さい特徴点を選ぶ。互いに最もベクトル間距離が小さい特徴点が一致した時、このクエリ特徴量中の特徴点と、対象データベース特徴量の特徴点を、特徴点ペアとする。
【００２８】
なお、ここでは被写体上で同一の点を示すであろう２つの特徴点（１つはクエリ、もう１つはある１枚のデータベース画像上の点）を正しくペアリングするために、相互に最もベクトル間距離が小さい特徴点として一致した場合に特徴点ペアとしたが、どちらか片方に属す特徴点から最もベクトル間距離が小さい特徴点を求め、それをもって特徴点ペアとしてもよい。片側のみから算出すればその分計算量を少なくできる。
【００２９】
次に、生成した特徴点ペアセットを為す、クエリ特徴量の特徴点の３次元座標位置とデータベース画像の特徴点の２次元座標間で非特許文献４記載のＰｎＰ（Perspective-n-Point）問題を解き、幾何関係式（射影変換行列）を求める（ステップＳ２３）。なお、必要となるカメラの内部パラメータは事前に与えておくものとする。この際、外れ値を排除する手法としてロバスト推定法を用いる。例えば、非特許文献４同様に、ロバスト推定法の一種であるＲａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）法を適用する。この処理により、特徴点ペアセットの幾何関係を算出し、特徴点ペアセットの中から幾何制約を満たさない誤対応の特徴点ペアを省くことができる。
【００３０】
なお、ここでは誤対応特徴点ペアの除去方法にＲＡＮＳＡＣを用いたが他の方法（例えばＬＭｅｄｓやその他の方法）によって置き換えることも可能である。図５は、幾何関係を満たさない誤対応特徴点ペアを省く処理を示す図である。図５において、破線で示した特徴点ペアが誤対応特徴点ペアである。
【００３１】
次に、誤対応を省いたインライア特徴点ペアセットの特徴量で類似度（スコアＳ）を算出し（ステップＳ２４）、投票を行う（ステップＳ２５）。ここではスコア算出は式１によって行う。特徴ベクトル間距離をｄとおく。
【数１】
2014102746.tif 000003
ここで説明した式（１）では、スコア算出時の特徴ベクトル間距離に対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよいし、この限りではない。
【００３２】
そして、特徴点ペアセット生成処理、外れ値排除処理、投票処理を、すべてのデータベース画像の特徴量に対して実施することにより、すべてのデータベース画像において投票結果を得る。すべての検索対象データベース内画像において１番合計スコア値が大きくなる画像を求め、マッチング結果（開票結果）として出力する（ステップＳ２６）。
【００３３】
なお、データベース画像ごとに、クエリ特徴量の特徴点との特徴点ペアセットを為す３次元−２次元特徴点間で幾何関係式を算出し、ロバスト推定を行った結果のインライア特徴点ペアセット数による比較を行い、このインライアペアセット数の多い順に規定の枚数のデータベース画像のみを対象として式（２）によって求めたスコア投票を実施しても良い。これによって照合処理コストの削減が可能である。
【００３４】
また、前述した説明ではインライア特徴点ペアセットのみを用いて投票を実施したが、データベース画像に複数の類似した被写体を写した画像を含む場合について、更に下記の処理を用いて照合精度を上げることも可能である。
【００３５】
まず特徴点ペアセットから求めた射影変換式を用いて、全クエリ特徴量の３次元点を２次元データベース画像上に投影する。そして、図６に示すように、投影後の点から一番近いデータベース画像上特徴点を探索し、投影点とこの特徴点との２次元空間距離Ｄ、およびこの特徴点と投影もとの３次元点の特徴量の特徴ベクトル間距離ｄに基づき、式（２）で求めたスコアＳを投票する。図６は、投影後の点から一番近いデータベース画像上特徴点を探索する処理を示す図である。
【数２】
2014102746.tif 000004
【００３６】
ここで説明した式（２）では、スコア算出時の特徴ベクトル間距離ｄおよび２次元空間距離Ｄに対して逆数を用いたが、ガウス関数や指数関数を用いてスコア算出式を設定してもよいし、この限りではない。上記投票処理をすべてのデータベース画像の特徴量に対して行うことにより、すべてのデータベース画像に対する投票結果を得る。すべての検索対象データベース内画像において１番合計スコア値が大きくなる画像を求め、マッチング結果として出力する。これにより、特徴点ペアセット生成時、クエリ画像から抽出した特徴量歪みの影響でペアリングされなかった特徴点ペアを幾何的整合性からマッチングし直し、より詳細な比較を行うことができる。
【００３７】
以上説明したように、照合時に、幾何的な制約を導入した投票を行うことで被写体形状およびテクスチャを同時に考慮する被写体認識を実現し、被写体認識精度を向上させることができる。
【００３８】
なお、図１における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより被写体認識処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００３９】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【００４０】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。
【産業上の利用可能性】
【００４１】
撮像装置で撮影した画像を使用して被写体を認識することが不可欠な用途に適用できる。
【符号の説明】
【００４２】
１・・・被写体認識部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部、１１・・・クエリ特徴表現部、１２・・・データベース特徴表現部、１３・・・照合部
【図１】
2014102746.tif 000005
【図２】
2014102746.tif 000006
【図３】
2014102746.tif 000007
【図４】
2014102746.tif 000008
【図５】
2014102746.tif 000009
【図６】
2014102746.tif 000010