(57)【特許請求の範囲】
【請求項１】
認識対象物の画像情報を取得する画像情報取得手段と、
前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報と、前記物体候補に対応付けられた該物体候補のモデル画像情報と、を記憶する記憶手段と、
前記検出プロファイル情報に設定された複数の検出器を有し、前記画像情報取得手段により取得された画像情報より、該検出器を用いて前記認識対象物を検出する物体検出手段と、を備え、
前記物体検出手段の検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記画像情報取得手段により取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、
前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、
前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択する、
ことを特徴とする物体認識装置。
【請求項２】
請求項１記載の物体認識装置であって、
前記物体判定手段は、
前記判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、
該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力する、
ことを特徴とする物体認識装置。
【請求項３】
請求項１又は２記載の物体認識装置であって、
前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出する、
ことを特徴とする物体認識装置。
【請求項４】
請求項３記載の物体認識装置であって、
前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備える、ことを特徴とする物体認識装置。
【請求項５】
請求項３又は４記載の物体認識装置であって、
前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備える、ことを特徴とする物体認識装置。
【請求項６】
請求項５記載の物体認識装置であって、
前記記憶手段は、前記モデル画像のモデルを囲う３次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、
前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行う、ことを特徴とする物体認識装置。
【請求項７】
請求項２乃至６のうちのいずれか１項記載の物体認識装置であって、
前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備える、
ことを特徴とする物体認識装置。
【請求項８】
認識対象物の画像情報を取得するステップと、
前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出するステップを含む物体認識方法であって、
前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行い、
前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する、
ことを特徴とする物体認識方法。
【請求項９】
認識対象物の画像情報を取得する処理と、
前記取得された画像情報より、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、
前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力し、
前記取得された画像情報より、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報に設定された判定器を用いて前記出力された物体候補に対して判定を行う処理と、
前記判定プロファイル情報に基づいて、前記検出された物体候補に対応する判定器を選択する処理と、をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体を認識する物体認識装置、物体認識方法及びプログラムに関する。
【背景技術】
【０００２】
物体の撮像画像から抽出した輪郭情報に基づいて、物体の位置及び姿勢（位置姿勢）を検出する装置が知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−０１５８９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような検出器は、検出するのに得意あるいは不得意な物体（例えば、その物体が輪郭形状がユニーク、薄い形状の場合など）を有している。したがって、使用する検出器の種類によっては、その物体を検出できない未検出となる虞がある。
【０００５】
本発明は、このような問題点に鑑みてなされたものであり、物体の未検出を抑制し認識精度を向上させた物体認識装置、物体認識方法及びプログラムを提供することを主たる目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得する画像情報取得手段と、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報と、前記物体候補に対応付けられた該物体候補のモデル画像情報と、を記憶する記憶手段と、前記検出プロファイル情報に設定された複数の検出器を有し、前記画像情報取得手段により取得された画像情報より、該検出器を用いて前記認識対象物を検出する物体検出手段と、を備え、前記物体検出手段の検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記画像情報取得手段により取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とする物体認識装置である。
この一態様において、前記記憶手段は、前記物体候補と、該物体候補に対して判定可能な判定器と対応付けた判定プロファイル情報を記憶しており、前記判定プロファイル情報に設定された複数の判定器を有し、前記画像情報取得手段により取得された画像情報より、該判定器を用いて前記物体検出手段から出力された物体候補に対して判定を行う物体判定手段を更に備え、前記物体判定手段は、前記記憶手段の判定プロファイル情報に基づいて、前記物体検出手段により検出された物体候補に対応する判定器を選択し、該判定器を用いて、前記画像情報取得手段により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、前記物体検出手段から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、前記物体候補が所定値以上の信頼度を有するか否かを判定し、該所定値以上の信頼度を有すると判定した物体候補を前記認識対象物として、出力してもよい。
この一態様において、前記物体検出手段は、前記画像情報取得手段により取得された認識対象物の画像情報の特徴量と、前記検出した物体候補のモデル画像情報の特徴量と、に基づいて、前記物体候補の位置姿勢候補を検出してもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中で、類似するもの同士を同一のものとして統合するクラスタリング処理手段を更に備えていてもよい。
この一態様において、前記物体検出手段により検出された物体候補及び該位置姿勢候補のモデル画像のモデルと、前記画像情報の認識対象物と、の間の幾何量を求め、前記物体検出手段により検出された物体候補及び該位置姿勢候補の中から、該求めた幾何量が所定量以上となる物体候補及び該位置姿勢候補を除くトラッキング処理を行い、該トラッキング処理された物体候補及び該位置姿勢候補を出力するトラッキング処理手段を更に備えていてもよい。
この一態様において、前記記憶手段は、前記モデル画像のモデルを囲う３次元ボクセルの各グリッドから前記モデルまでの該モデル上の最近傍点の情報を記憶しており、前記トラッキング処理手段は、前記記憶手段に記憶された前記最近傍点の情報を用いて、前記トラッキング処理を行ってもよい。
この一態様において、前記認識対象物の候補である物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの検出器と対応付けた前記検出プロファイル情報、および、前記物体候補の色情報及び表記情報のうち少なくとも１つを含む前記物体候補の特徴を示す特徴情報に基づいて、該物体候補と少なくとも１つの判定器と対応付けた前記判定プロファイル情報、のうちの少なくとも一方を生成するプロファイル情報生成手段を更に備えていてもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得するステップと、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出するステップと、を含む物体認識方法であって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とする物体認識方法であってもよい。
上記目的を達成するための本発明の一態様は、認識対象物の画像情報を取得する処理と、前記認識対象物の候補である物体候補と、該物体候補に対して検出可能な検出器とを対応付けた検出プロファイル情報に設定された複数の検出器を有し、前記取得された画像情報より、該検出器を用いて前記認識対象物を検出する処理と、をコンピュータに実行させるプログラムであって、前記検出器の夫々は、前記検出プロファイル情報において該検出器に対応付けられた前記物体候補のモデル画像情報と、前記取得された認識対象物の画像情報と、を比較して、前記物体候補を検出し、該検出した物体候補を前記認識対象物として、出力する、ことを特徴とするプログラムであってもよい。
【発明の効果】
【０００７】
本発明によれば、物体の未検出を抑制し認識精度を向上させた物体認識装置、物体認識方法及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態１に係る物体認識装置の概略的なシステム構成を示すブロック図である。
【図２】物体候補と検出器とを対応付ける処理フローの一例を示す図である。図である。
【図３】物体候補と検出器とを対応付けた検出プロファイル情報の一例を示す図である。
【図４】本発明の実施形態２に係る物体認識装置の概略的なシステム構成を示すブロック図である。
【図５】クラスタリング処理を説明するための図である。
【図６】本発明の実施形態３に係る物体認識装置の概略的なシステム構成を示すブロック図である。
【図７】ＣＬＢＰ判定器の判定方法を説明するための図である。
【図８】物体候補と判定器とを対応付けた判定プロファイル情報の一例を示す図である。
【図９】物体候補と判定器とを対応付ける処理フローの一例を示す図である。
【図１０】本発明の実施形態４に係る物体認識装置の概略的なシステム構成を示すブロック図である。
【図１１】ポイントクラウドの対応付けを説明するための図である。
【図１２】物体位置姿勢候補のモデルと認識対象物間の幾何量を求める手法の一例を示す図である。
【図１３】３次元ボクセルグリッドの一例を示す図である。
【図１４】本発明の実施形態１乃至４を組み合わせた構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
実施形態１
以下、図面を参照して本発明の実施形態について説明する。図１は、本発明の実施形態１に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態１に係る物体認識装置１は、任意の３次元形状の認識対象物（これから認識する対象物）及びその位置及び姿勢（位置姿勢）を検出する装置である。
【００１０】
物体認識装置１は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）からなるメモリ、外部と信号の入出力を行うインターフェイス部（Ｉ／Ｆ）などからなるマイクロコンピュータを中心にして、ハードウェア構成されている。ＣＰＵ、メモリ及びインターフェイス部は、データバスなどを介して相互に接続されている。
【００１１】
物体認識装置１は、画像情報取得部２と、プロファイル情報生成部３と、記憶部４と、物体検出部５と、を備えている。
【００１２】
画像情報取得部２は、画像情報取得手段の一具体例である。画像情報取得部２は、カメラや距離センサ（距離画像センサ、ミリ波センサ、超音波センサなど）などセンサを用いて、物体の画像情報（ＲＧＢ輝度情報（色情報）や距離情報を含む)を取得する。
【００１３】
プロファイル情報生成部３は、プロファイル情報生成手段の一具体例である。プロファイル情報生成部３は、認識対象物の候補である物体候補と、該物体候補に対して検出可能であり、該物体候補を検出するのに最適な検出器と、を対応付けた検出プロファイル情報を生成する。検出プロファイル情報には、各物体候補と、特性の異なる少なくとも１つの検出器と、が対応付けられている。プロファイル情報生成部３は、予め設定された複数の検出器の中からその物体候補を検出するのに最適な検出器を選択し、その物体候補と選択した検出器とを対応付ける。
【００１４】
ここで、複数の検出器は、例えば、LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４などを含む。
【００１５】
LineMode検出器５１は、離散化された複数の種類の特徴量を用いたテンプレートについて、 メモリ配置を工夫することで並列計算を行い、高速に物体を検出する検出器である。LineMode検出器５１は、例えば、電話機のスタンドなどの、一定以上の大きさを有し、さらに、特徴的な輪郭形状を有している、又は直方体、立方体、円柱、円錐、お椀形状などの立体形状の物体を検出するのに最適である。
詳細なアルゴリズムは、例えば、非特許文献
S.Hinterstoisser,C.Cagniart,S.Iiic,P.Sturm,N.Navab,P.Fua,V.Lepetit Gradient Response Maps for Real-Time Detection of Texture-Less Objects IEEE Transactions on Pattern Analysis and Maschine Intelligence(TPAMI)
に詳細に開示されており、これを援用できるものとする。
【００１６】
ＰｎＰ検出器５２は、ＳＩＦＴ（Scale-Invariant Feature Transform）又はＡ−ＫＡＺＥ（Accelerated KAZE）特徴量を用いた検出器である。ＰｎＰ検出器５２は、例えば、お菓子の箱などの、一定以上の大きさを有し、かつテクスチャを有する物体を検出するのに最適である。
【００１７】
ＳＩＦＴについては、例えば、非特許文献
David G.Lowe,”Distinctive image features from scale-invariant keypoints, ” International Journal of Computer Vision, 60, 2 (2004), pp.91-110
に詳細に開示されており、これを援用できるものとする。
【００１８】
Ａ−ＫＡＺＥについては、例えば、非特許文献
Fast Explicit Diffusion for Accelerrated Features in Nonlinear Scale Spaces Pablo F. Alcantarilla, Jesus Nuevo and Adrien Bartoli. In British Machine Vision Conference (BMVC). Bristol, UK. September 2013
に詳細に開示されており、これを援用できるものとする。
【００１９】
ＳＨＯＴ検出器５３は、ＳＨＯＴ(Signature of Histograms of OrienTations)特徴量を用いた検出器である。ＳＨＯＴ検出器５３は、例えば、お椀（ボール）などの、曲率変化を有する又は線対称の物体を検出するのに最適である。
ＳＨＯＴについては、例えば、非特許文献
Tombari et al. Unique signatures of histograms for local surface description. ECCV 2010
に詳細に開示されており、これを援用できるものとする。
【００２０】
Ｂａｙｓｅ検出器５４は、ベイジアンネットワークでローカルパッチを学習したネットワークに基づいて検出を行う検出器である。Ｂａｙｓｅ検出器５４は、例えば、リモコンなどの、その色が黒及び透明である、又は剛体でない物体を検出するのに最適である。
【００２１】
なお、上記検出器５１〜５４は一例であり、これに限定されない。プロファイル情報生成部３は、更に、ＨＯＧ（Histograms of Oriented Gradients）検出器、ＳＵＲＦ（Speeded Up Robust Features）検出器などの検出器を選択してもよく、選択される検出器の数及び種類は任意でよい。
【００２２】
プロファイル情報生成部３は、物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を検出するのに最適な検出器と、を対応付ける。
【００２３】
プロファイル情報生成部３は、例えば、図２のフローチャートに従って、予め設定された複数の検出器５１〜５４の中からその物体候補を検出するのに最適な検出器５１〜５４を選択し、その物体候補と選択した検出器５１〜５４とを対応付ける。
【００２４】
プロファイル情報生成部３は、画像情報取得部２により取得された物体候補の画像情報と、記憶部４に予め設定された物性情報と、に基づいて、物体候補が剛体であるか否かを判定する（ステップＳ１０１）。物性情報は、例えば、物体とその物性（剛体、弾性体など）とを対応付けた情報を含んでおり、記憶部４に予め設定されている。
【００２５】
プロファイル情報生成部３は、物体候補が剛体でないと判定すると（ステップＳ１０１のＮＯ）、Ｂａｙｓｅ検出器５４を選択する（ステップＳ１０２）。一方、プロファイル情報生成部３は、物体候補が剛体であると判定すると（ステップＳ１０１のＹＥＳ）、物体候補の色が黒色又は透明色でないか否かを判定する（ステップＳ１０３）。
【００２６】
プロファイル情報生成部３は、物体候補の色が黒色又は透明色であると判定すると（ステップＳ１０３のＮＯ）、Ｂａｙｓｅ検出器５４を選択する（ステップＳ１０２）。一方、プロファイル情報生成部３は、物体候補の色が黒色又は透明色でないと判定すると（ステップＳ１０３のＹＥＳ）、物体候補の表面に表記情報（テクスチャ、記号、図形、象形文字などを含む）があるか否かを判定する（ステップＳ１０４）。
【００２７】
プロファイル情報生成部３は、物体候補の表面に表記情報がないと判定すると（ステップＳ１０４のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表面に表記情報があると判定すると（ステップＳ１０４のＹＥＳ）、その表記情報のサイズ（文字サイズ、幅、面積など）が所定値Ａ以上であるか否かを判定する（ステップＳ１０５）。
【００２８】
プロファイル情報生成部３は、物体候補の表記情報のサイズが所定値Ａ以上でないと判定すると（ステップＳ１０５のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表記情報のサイズが所定値Ａ以上であると判定すると（ステップＳ１０５のＹＥＳ）、その表記情報が非対称又は非周期性であるか否かを判定する（ステップＳ１０６）。
【００２９】
プロファイル情報生成部３は、物体候補の表記情報が非対称又は非周期性でないと判定すると（ステップＳ１０６のＮＯ）、後述の（ステップＳ１０８）に移行する。一方、プロファイル情報生成部３は、物体候補の表記情報が非対称又は非周期性であると判定すると（ステップＳ１０６のＹＥＳ）、ＰｎＰ検出器５２を選択する（ステップＳ１０７）。
【００３０】
プロファイル情報生成部３は、物体候補のサイズ（体積、高さ、幅、縦横寸法など）が所定値Ｂ以上であるか否かを判定する（ステップＳ１０８）。プロファイル情報生成部３は、物体候補のサイズが所定値Ｂ以上であると判定すると（ステップＳ１０８のＹＥＳ）、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状であるか否かを判定する（ステップＳ１０９）。プロファイル情報生成部３は、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状であると判定すると（ステップＳ１０９のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補が直方体、立方体、円柱、円錐、又はお椀に近い３次元形状でないと判定すると（ステップＳ１０９のＮＯ）、後述の（ステップＳ１１１）に移行する。
【００３１】
プロファイル情報生成部３は、物体候補のサイズが所定値Ｂ以上でないと判定すると（ステップＳ１０８のＮＯ）、物体候補の３次元形状が線対称でないか否かを判定する（ステップＳ１１１）。
【００３２】
プロファイル情報生成部３は、物体候補の３次元形状が線対称でないかと判定すると（ステップＳ１１１のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補の３次元形状が線対称であると判定すると（ステップＳ１１１のＮＯ）、物体候補の３次元形状に曲率変化があり、その曲率が所定値Ｃ以上であるか否かを判定する（ステップＳ１１２）。
【００３３】
プロファイル情報生成部３は、物体候補の３次元形状に曲率変化があり、その曲率が所定値Ｃ以上であると判定すると（ステップＳ１１２のＹＥＳ）、LineMode検出器５１を選択する（ステップＳ１１０）。一方、プロファイル情報生成部３は、物体候補の３次元形状に曲率変化がなく、その曲率が所定値Ｃ以上でないと判定すると（ステップＳ１１２のＮＯ）、ＳＨＯＴ検出器５３を選択する（ステップＳ１１３）。
このように、プロファイル情報生成部３によって、物体候補の色情報、形状情報、表記情報、及び物性情報、のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を検出するのに最適な検出器５１〜５４とを、対応付けた検出プロファイル情報を自動的に生成することができる。
【００３４】
プロファイル情報生成部３は、上述のフローに従って、物体候補と選択した検出器５１〜５４とを対応付けた検出プロファイル情報を生成し、生成した検出プロファイル情報を記憶部４に記憶させる。
なお、物体認識装置１は、上述したプロファイル情報生成部３を有しない構成であってもよい。この場合、物体候補と該物体候補を検出するのに最適な検出器５１〜５４とを対応付けた検出プロファイル情報は、予め記憶部４に記憶されていてもよい。また、ユーザが上記フローチャートに従って、各検出器５１〜５４の選択を行い、その選択した検出プロファイル情報を記憶部４に記憶させてもよい。記憶部４に記憶された検出プロファイル情報は、例えば、ユーザによって任意に設定変更できるように構成されている。
【００３５】
記憶部４は、記憶手段の一具体例である。記憶部４は、上記プロファイル情報生成部３により生成された検出プロファイル情報を記憶する。また、記憶部４は、例えば、物体候補及び該位置姿勢候補の３次元物体形状を示す複数のモデル画像（物体のＣＡＤデータなどであり、ポイントクラウドデータに面を張ったメッシュデータや色情報などを含む）を記憶している。記憶部４は、例えば、上記メモリにより構成されている。
【００３６】
物体検出部５は、物体検出手段の一具体例である。物体検出部５は、画像情報取得部２により取得された認識対象物の画像情報により、検出器５１〜５４を用いて、認識対象物の物体候補及び該位置姿勢の候補（位置姿勢候補）を検出する。
【００３７】
物体検出部５は、記憶部４の検出プロファイル情報に設定された検出器（例えば、LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４）を有している。物体検出部５は、これら検出器５１〜５４を用いて、物体候補及び該位置姿勢候補を検出する。
【００３８】
ところで、上記のような検出器５１〜５４は、検出するのに得意あるいは不得意な物体を有している。例えば、LineMode検出器５１は、物体がある一定以上のサイズを有し、その輪郭形状がユニークな物体を高精度に検出できる。一方で、LineMode検出器５１は、センサノイズなどに起因して物体の一部輪郭形状が取得できない場合や、薄い形状の物体である場合、その物体を検出できない未検出となる虞がある。このように、使用する検出器の種類によっては、その物体の未検出となる虞がある。
【００３９】
これに対し、本実施形態１に係る物体認識装置１において、検出器５１〜５４の夫々は、検出プロファイル情報において該検出器５１〜５４に対応付けられた物体候補のモデル画像情報と、画像情報取得部２により取得された認識対象物の画像情報と、を比較して、物体候補を検出する。物体検出部５の検出器５１〜５４は、検出した物体候補を認識対象物として、出力する。
【００４０】
これにより、物体検出部５の検出器５１〜５４には、検出するのに最適な物体候補のモデル画像が対応付けられる。このため、検出器５１〜５４は、対応付けられた検出するのに最適な物体候補のモデル画像を用いて、検出するのに最適な物体候補のみを検出することとなる。したがって、上述した検出器の得意あるいは不得意に起因する問題を解消できるため、認識対象物の未検出を抑制し認識精度を向上させることができる。
【００４１】
例えば、物体検出部５の検出器（LineMode検出器５１、ＰｎＰ検出器５２、ＳＨＯＴ検出器５３、及びＢａｙｓｅ検出器５４）は、記憶部４の検出プロファイル情報に基づいて、記憶部４から、該検出器５１〜５４に対応付けられた物体候補のモデル画像を取得する。そして、検出器５１〜５４は、画像情報取得部２により取得された認識対象物の画像情報（対象物画像）の特徴量と、記憶部４から取得した対応付けられた物体候補のモデル画像の特徴量と、を比較して、物体候補を検出する。
【００４２】
より具体的には、各検出器５１〜５４は、画像情報取得部２に対象物画像の特徴量と、記憶部４の物体候補のモデル画像の特徴量と、の相関値を算出し、算出した相関値が所定値以上となるモデル画像の物体候補を認識対象物として検出する。
記憶部４の検出プロファイル情報において、１つの物体候補と複数の検出器５１〜５４とが夫々対応付けられていてもよい。この場合、各検出器５１〜５４は、重複して同一の物体候補を検出することとなる。
【００４３】
図３は、物体候補と検出器とを対応付けた検出プロファイル情報の一例を示す図である。図３に示す如く、物体候補Ｂ（お菓子の箱）には、LineMode検出器５１及びＰｎＰ検出器５２が対応付けられている。これにより、LineMode検出器５１が物体候補Ｂの輪郭形状（大きさなど）に基づいてその物体Ｂを検出するだけでなく、さらに、ＰｎＰ検出器５２が物体候補Ｂのテクスチャに基づいてその物体候補Ｂを検出する。したがって、単一の物体候補Ｂを特性の異なるLineMode検出器５１及びＰｎＰ検出器５２を用いて重複して検出することでその未検出をさらに抑制できる。
【００４４】
同様に、物体候補Ｃ（お椀）には、LineMode検出器５１及びＳＨＯＴ検出器５３が対応付けられている。これにより、LineMode検出器５１が物体候補Ｃの輪郭形状（大きさなど）に基づいてその物体候補Ｃを検出するだけでなく、さらに、ＳＨＯＴ検出器５３が物体候補Ｃの局所的な３次元形状の曲率変化に基づいてその物体候補Ｃを検出する。したがって、単一の物体候補Ｃを特性の異なるLineMode検出器５１及びＳＨＯＴ検出器５３を用いて重複して検出することでその未検出をさらに抑制できる。
【００４５】
なお、物体候補ＡにはLineMode検出器５１のみが対応付けられている。これは、LineMode検出器５１のみで、物体候補Ａを確実に検出できるからである。一方、物体候補Ｄには、Ｂａｙｓｅ検出器５４のみが対応付けられている。これは、物体候補Ｄは黒色であるため距離情報を取得できずLineMode検出器５１での検出は不可能であるため、物体候補ＤにはLineMode検出器５１が対応付けられていない。しかし、Ｂａｙｓｅ検出器５４は、物体候補ＤのＲＧＢ輝度情報のみで、確実に物体候補Ｄを検出できる。したがって、物体候補Ｄには、Ｂａｙｓｅ検出器５４のみが対応付けられている。
【００４６】
このように、物体候補の特徴を示す特徴情報に応じて、特性の異なる複数の検出器５１〜５４を単一の物体候補に対応付け、これら検出器５１〜５４を用いて、物体候補を検出することで、さらに物体候補の未検出を抑制できる。
【００４７】
さらに、物体検出部５の検出器５１〜５４は、画像情報取得部２により取得された対象物画像の特徴量と、検出した物体候補のモデル画像の特徴量と、に基づいて、該物体候補の位置姿勢候補を検出する。
【００４８】
これにより、物体検出部５の検出器５１〜５４は、検出するのに最適な物体候補のみを検出し、さらに、その最適な物体候補の位置姿勢候補を検出することとなる。したがって、認識対象物の位置姿勢の未検出を抑制し認識精度を向上させることができる。
【００４９】
例えば、物体検出部５の検出器５１〜５４は、Ｋ近傍法（k-nearest  neighbor法）により、対象物画像の特徴量と、検出した物体候補のモデル画像の特徴量の対応付けを行い、さらに、RANSAC（Random Sample Consensus）法を用いて、その幾何学的な構成に基づいて、物体候補の位置姿勢候補を検出する。
【００５０】
なお、上記物体検出方法及び位置姿勢の算出方法は一例であり、これに限定されない。
【００５１】
以上のようにして、物体検出部５は、少なくとも１つの検出器５１〜５４を用いて、物体候補及びその位置姿勢候補を検出する。物体認識装置１の物体検出部５は、各検出器５１~５４により検出された物体候補及び該位置姿勢候補を、認識対象物及びその位置姿勢として出力する。
なお、上記実施形態１において、物体検出部５は、認識対象物の物体候補及び該位置姿勢候補を検出しているが、これに限定されず、認識対象物の物体候補のみを検出してもよい。
本実施形態１に係る物体認識装置１を用いることで、従来の物体認識装置に比して、再現率（recall、検出率及び未検出率に関する指標）を約１８％向上させることができた。
【００５２】
実施形態２
図４は、本発明の実施形態２に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態２に係る物体認識装置２０は、上記実施形態１に係る物体認識装置１の構成に加えて、物体検出部５により検出された物体候補及び該位置姿勢候補（物体位置姿勢候補）群の中で、類似するもの同士を同一のものとして統合するクラスタリング処理を行うクラスタリング処理部６を更に備えている。これにより、物体検出部５により検出された物体位置姿勢候補群の中で、類似するものを１つにまとめて、ユーザに対して出力することができるため、利便性が向上する。
【００５３】
クラスタリング処理部６は、クラスタリング処理手段の一具体例である。
例えば、図５に示す如く、物体検出部５は、例えば、選択した複数の検出器（LineMode検出器５１及びＰｎＰ検出器５２）を用いて、認識対象物の物体位置姿勢候補（１）−（３）を検出する。クラスタリング処理部６は、物体検出部５により検出された物体位置姿勢候補（１）−（３）の中で、類似するもの同志を同一のものとして統合するクラスタリング処理を行う。具体的には、クラスタリング処理部６は、MeanShfit法などを用いてクラスタリング処理を行う。MeanShfit法において、図５に示す如く、物体位置姿勢候補（１）と物体位置姿勢候補（２）は距離が近く類似している。このため、物体位置姿勢候補（１）及び（２）は、両者の平均となる物体位置姿勢候補（４）に統合される。なお、物体位置姿勢候補（３）は、類似するものがないため、統合されない。
【００５４】
物体認識装置１は、クラスタリング処理部６により統合させた物体位置姿勢候補を、認識対象物及び該位置姿勢として出力する。なお、本実施形態２において、上記実施形態１と同一部分には同一符号を付して詳細な説明は省略する。
【００５５】
実施形態３
図６は、本発明の実施形態３に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態３に係る物体認識装置３０は、上記実施形態１に係る物体認識装置１の構成に加えて、物体検出部５により検出された物体位置姿勢候補を、その色情報及び距離情報の少なく一方に基づいて判定する物体判定部７を更に備えている。
【００５６】
物体判定部７は、物体検出部５による物体位置姿勢候補の誤検出を抑制するため、物体検出部５が物体位置姿勢候補を検出した後、さらに、その物体位置姿勢候補を、色情報及び距離情報の少なく一方に基づいて判定する。物体判定部７は、この判定処理で、モデル画像と対象物画像間の、色情報や距離情報の比較をピクセル単位で実施し、一致しているか否かを判定する。
【００５７】
物体判定部７は、物体判定手段の一具体例である。物体判定部７は、画像情報取得部２により取得された対象物画像の距離情報及び色情報のうちの少なくとも一方と、物体検出部５から出力された物体位置姿勢候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、判定を行う。
【００５８】
物体判定部７は、例えば、レンダリング処理などを行って、上記対象物画像とモデル画像とを比較する。物体判定部７は、このレンダリング処理において、モデル画像上の３次元物体（モデルとして予め登録された３次元物体）を、物体検出部５により検出された物体位置姿勢候補に基づいて、対象物画像上に投影する。
【００５９】
物体判定部７は、物体位置姿勢候補毎に、そのモデル画像と対象物画像との比較を行う。物体判定部７は、対象物画像とモデル画像とを比較した結果、物体検出部５により検出された物体位置姿勢候補の中から、所定値以上の信頼度がある物体位置姿勢候補を認識物体及び該位置姿勢として出力する。
【００６０】
物体判定部７は、例えば、画像情報取得部２により取得された対象物画像の距離情報と、物体検出部５により検出された物体位置姿勢候補のモデル画像の距離情報と、を比較し、その一致度の差分が判定閾値以上であるとき、所定値以上の信頼度があると判定する。
【００６１】
あるいは、物体判定部７は、例えば、画像情報取得部２により取得された対象物画像の色情報（下記（Ａ）乃至（Ｄ）のうちの少なくとも１つ）と、物体検出部５により検出された物体位置姿勢候補のモデル画像の色情報とを比較し、その一致度の差分が判定閾値以上であるとき、その物体位置姿勢候補は所定値以上の信頼度があると判定する。なお、物体判定部７は、上記不一致度の差分が判定閾値以下であるとき、その物体位置姿勢候補は所定値以上の信頼度があると判定してもよい。
【００６２】
物体認識装置１は、物体判定部７により所定値以上の信頼度があると判定された物体位置姿勢候補を、認識対象物及び該位置姿勢として出力する。なお、上記判定閾値は、予め記憶部４などに設定されており、ユーザによって任意に設定変更できるように構成されている。
【００６３】
物体判定部７は、後述の判定プロファイル情報に設定された、特性の異なる複数の判定器を有している。物体判定部７は、例えば、色相判定器７１、ＲＧＢ判定器７２、Gray_Scale判定器７３、ＣＬＢＰ判定器７４、を有している。
【００６４】
（Ａ）色相
色相判定器７１は、ＲＧＢ輝度情報を、ＨＳＶ情報（色相(Hue)、彩度(Saturation・Chroma)、明度(Value・Lightness・Brightness)の三つの成分からなる色空間情報）に変換し、その色相Ｈを用いて上記比較行う。色相判定器７１は、同一単純色で黄色、赤色、青色、緑色、マゼンダ、又はシアンの物体（カップなど）の判定を行う場合に、その誤判定を低く抑制できる。
（Ｂ）ＲＧＢ
ＲＧＢ判定器７２は、ＲＧＢ輝度情報の生値を用いて上記比較を行う。ＲＧＢ判定器７２は、複合色（白色と黄緑色の複合色など）や黒色の物体（リモコンなど）の判定を行う場合に、その誤判定を低く抑制できる。
【００６５】
（Ｃ）グレースケール（Gray  Scale）
Gray_Scale判定器７３は、ＲＧＢ輝度情報を、グレースケール情報（白黒情報）に変換し、その変換した値を用いて、上記比較を行う。Gray_Scale判定器７３は、白基調の物体（お椀など）の判定を行う場合に、その誤判定を低く抑制できる。
【００６６】
（Ｄ）ＣＬＢＰ（Color  Local  Binray  Pattern）
ＣＬＢＰ判定器７４は、図７に示す如く、対象物画像およびモデル画像をカラーチャンネル分離（Ｒ画像、Ｇ画像、Ｂ画像）を行い（２）、各チャンネルのＬＢＰ（ＬＢＰ（Ｒ）、ＬＢＰ（Ｇ）、ＬＢＰ（Ｂ））を算出する（３）。そして、ＣＬＢＰ判定器７４は、算出したＬＢＰに基づいて、ヒストグラムを作成し（４）、作成したヒストグラムを用いて上記比較を行う。なお、ＬＢＰは、画像の照明変化の変動に強く、ＬＢＰをヒストグラム化することで、さらに、上記レンダリングした際の摂動に強くなり、判定精度が向上する。ＣＬＢＰ判定器７４は、テクスチャを有する物体の判定を行う場合に、その誤判定を低く抑制できる。
なお、上記判定器は一例でありこれに限定されず、物体判定部７は、任意の判定器を有していてもよく、判定器の数及び種類は任意でよい。
【００６７】
ところで、上述の如く、判定器も、上記検出器と同様に、判定するのに得意あるいは不得意な物体を有している。したがって、使用する判定器の種類によっては、誤判定（判定すべきでない物体を判定するなど）を招く虞がある。例えば、ＲＧＢ判定器は、外乱（ＲＧＢ輝度変化）が生じると誤判定を起こす可能性が高くなる。
【００６８】
これに対し、本実施形態３に係る物体認識装置３０において、記憶部４は、物体候補と該物体候補に対して判定可能な判定器７１〜７４とを対応付けた判定プロファイル情報を記憶している。物体判定部７は、記憶部４の判定プロファイル情報に基づいて物体検出部５により検出された物体候補に対応する判定器７１〜７４を選択し、該選択した判定器７１〜７４を用いて、画像情報取得部２により取得された認識対象物の画像情報の色情報及び距離情報の少なくとも一方と、物体検出部５から出力された物体候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較することで、物体候補が所定値以上の信頼度を有するか否かを判定する。物体判定部７は、該所定値以上の信頼度を有すると判定した物体候補を認識対象物として出力する。
【００６９】
これにより、判定器７１〜７４は、予め判定プロファイル情報に設定された、判定するのに最適な物体候補及びその位置姿勢候補に対して、判定を行うこととなる。したがって、認識対象物の誤検出を抑制しさらに認識精度を向上させることができる。
【００７０】
記憶部４は、物体候補と少なくとも１つの判定器７１〜７４とを夫々対応付けた判定プロファイル情報を記憶している。判定プロファイル情報において、物体候補の色情報（同一単純色、複合色、物体色など）及び表記情報（テクスチャの有無など）のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と判定器７１〜７４とは、対応付けられている。
【００７１】
図８は、物体候補と判定器とを対応付けた判定プロファイル情報の一例を示す図である。図８に示す如く、物体候補Ａは、白色と黄緑色の複合色を有している。このため、複合色を良好に判定できるＲＧＢ判定器７２を物体候補Ａに対応付けている。物体候補Ｂはテクスチャを有する。このため、テクスチャを良好に判定できるＣＬＢＰ判定器７４が物体候補Ｂに対応付けられている。物体候補Ｃは白基調の色を有している。このため、白基調の色を良好に判定できるGray_Scale判定器７３が物体候補Ｃに対応付けられている。物体候補Ｄは黒色を有している。このため、黒色を良好に判定できるＲＧＢ判定器７２が物体候補Ｄに対応付けられている。物体候補Ｅは黄色を有している。このため、黄色を良好に判定できる色相判定器７１が物体候補Ｅに対応付けられている。
【００７２】
プロファイル情報生成部３は、例えば、図９のフローチャートに従って、予め設定された複数の判定器７１〜７４の中からその物体候補を判定するのに最適な判定器７１〜７４を選択し、その物体候補と選択した判定器７１〜７４とを対応付ける。
【００７３】
プロファイル情報生成部３は、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が同一単純色中心であるか否かを判定する（ステップＳ２０１）。なお、同一単純色中心であるとは、例えば、その単純色領域の面積割合が一定値以上で高いことを指す。
【００７４】
プロファイル情報生成部３は、物体候補の色が同一単純色中心であると判定すると（ステップＳ２０１のＹＥＳ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれかであるか否かを判定する（ステップＳ２０２）。一方、プロファイル情報生成部３は、物体候補の色が同一単純色でないと判定すると（ステップＳ２０１のＮＯ）、後述の（ステップＳ２０４）処理に移行する。
【００７５】
プロファイル情報生成部３は、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれかであると判定すると（ステップＳ２０２のＹＳＥ）、色相判定器７１を選択する（ステップＳ２０３）。
【００７６】
プロファイル情報生成部３は、物体候補の色が黄色、赤色、青色、緑色、マゼンダ、及びシアンのいずれでもないと判定すると（ステップＳ２０２のＮＯ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補が表記情報を有するか否かを判定する（ステップＳ２０４）。
【００７７】
プロファイル情報生成部３は、物体候補が表記情報を有すると判定すると（ステップＳ２０４のＹＥＳ）、ＣＬＢＰ判定器を選択する（ステップＳ２０５）。一方、プロファイル情報生成部３は、物体候補が表記情報を有しないと判定すると（ステップＳ２０４のＮＯ）、画像情報取得部２により取得された物体候補の画像情報に基づいて、物体候補の色が白基調又はグレー基調であるか否かを判定する（ステップＳ２０６）。なお、白基調又はグレー基調であるとは、例えば、その
白又はグレー色の面積割合が一定値以上で高いことを指す。
【００７８】
プロファイル情報生成部３は、物体候補の色が白基調又はグレー基調であると判定すると（ステップＳ２０６のＹＥＳ）、Gray_Scale判定器７３を選択する（ステップＳ２０７）。一方、プロファイル情報生成部３は、物体候補の色が白基調又はグレー基調でないと判定すると（ステップＳ２０６のＮＯ）、ＲＧＢ判定器７２を選択する（ステップＳ２０８）。
このように、プロファイル情報生成部３によって、物体候補の色情報及び表記情報のうち少なくとも１つを含む物体候補の特徴を示す特徴情報に基づいて、物体候補と、該物体候補を判定するのに最適な判定器７１〜７４とを、対応付けた判定プロファイル情報を自動的に生成することができる。
【００７９】
プロファイル情報生成部３は、上述のフローに従って、物体候補と選択した判定器７１〜７４とを対応付けた判定プロファイル情報を生成し、生成した判定プロファイル情報を記憶部４に記憶させる。なお、物体候補と、該物体候補を検出するのに最適な判定器７１〜７４と、を対応付けた判定プロファイル情報は、予め記憶部４に記憶されていてもよい。また、また、ユーザが上記フローチャートに従って、各判定器７１〜７４の選択を行ってもよい。記憶部４に記憶された判定プロファイル情報は、例えば、ユーザによって任意に設定変更できるように構成されている。
【００８０】
記憶部４の判定プロファイル情報において、１つの物体候補と複数の判定器７１〜７４とが夫々対応付けられていてもよい。この場合、各判定器７１〜７４は、重複して同一の物体候補を判定することとなる。これにより、物体候補の特徴を示す特徴情報に応じて、特性の異なる複数の判定器７１〜７４を単一の物体候補に対応付け、これら判定器７１〜７４を用いて、物体候補を判定することで、さらに物体候補の誤判定を抑制できる。
【００８１】
以上のようにして、物体判定部７は、少なくとも１つの判定器７１〜７４を用いて、物体候補及びその位置姿勢候補を判定する。物体認識装置１の物体判定部７は、各判定器７１〜７４により所定値以上の信頼度があると判定された物体候補及び該位置姿勢候補を、認識対象物及びその位置姿勢として出力する。
なお、上記実施形態３において、物体判定部７は、認識対象物の物体候補及び該位置姿勢候補を判定しているが、これに限定されず、認識対象物の物体候補のみを判定してもよい。
本実施形態３に係る物体認識装置３０を用いることで、従来の物体認識装置に比して、精度（precision、正答率及び誤検出率に関する指標）を約１８％向上させることができた。
本実施形態３において、上記実施形態１及び２と同一部分には同一符号を付して詳細な説明は省略する。
【００８２】
実施形態４
図１０は、本発明の実施形態４に係る物体認識装置の概略的なシステム構成を示すブロック図である。本実施形態４に係る物体認識装置４０は、上記実施形態３に係る物体認識装置３０の構成に加えて、物体の幾何形状情報に基づいて、物体検出部５により検出された物体位置姿勢候補を追跡するトラッキング処理部８を更に備えている。
【００８３】
上記物体判定部７による判定を行う上で、正確に位置姿勢を推定しないと、対象物画像とモデル画像間でピクセル誤差が発生し、その誤判定が生じ易くなる。したがって、本実施形態４において、物体判定部７の判定前に、物体位置姿勢候補の幾何形状情報に基づく追跡を行うことで、正確に位置姿勢を推定でき、誤判定をさらに抑制できる。
【００８４】
トラッキング処理部８は、トラッキング処理手段の一具体例である。トラッキング処理部８は、例えば、物体位置姿勢候補の幾何形状情報に基づいて物体位置姿勢候補を追跡するＩＣＰ（Iterative  Closest  Point）トラッキング（ＩＣＰアルゴリズムを用いたトラッキング処理）を行う。
【００８５】
ＩＣＰトラッキングとは、例えば、図１１に示す如く、物体位置姿勢候補のモデル画像のモデルと対象物画像の認識対象物とのポイントクラウドの対応付けを行い、その誤差が小さくなるように最小２乗法を用いて、図１２に示す如く、物体位置姿勢候補のモデル画像のモデルと対象物画像の認識対象物間の幾何量（回転及び並進量）を求める手法である。
【００８６】
なお、ＩＣＰトラッキングは、一般に計算コストがかかる処理である。このため、本実施形態４においては、事前にＩＣＰトラッキングに必要な最近傍点を計算し、この最近傍点を用いてＩＣＰトラッキングを行う。ここで、最初に上記点の対応付けを行う必要がある。このため、本手法においては、例えば、図１３に示す如く、モデル画像のモデルに対して３次元ボクセル（モデルを囲う３次元グリッドボクセル）を構築し、各グリッドからモデルまでのモデル上の最近傍点を予め算出する。そして、算出した最近傍点の情報（最近傍点の座標や最近傍点のIndex）を各ボクセルに対応させて記憶部４に記憶させる。
【００８７】
なお、各ボクセルには、認識対象物までの最近傍点の情報を格納するが、ボクセル外のレンジの点は無視する。本実施形態４において、最近傍点は、point  to  plane（点から面）であるが、これに限定されず、point  to  point（点から点）であってもよい。図１３に示す距離X、Y、Zは、ボクセルの１辺当たりのグリッド数と格子の単位（数ｍｍ）から決定することができる。
以上のように、実際のＩＣＰトラッキングを行う前に、ＩＣＰトラッキングに必要な最近傍点を計算し、この最近傍点の情報を記憶部４に予め保存する。そして、トラッキング処理部８は、この記憶部４に記憶された最近傍点の情報を用いて、上記リアルタイムでＩＣＰトラッキングを行う。これにより、ＩＣＰトラッキングにかかる計算コストを大幅に低減できる。
【００８８】
トラッキング処理部８は、上述したＩＣＰトラッキングを行い、物体検出部５により検出された物体位置姿勢候補の中から、例えば、求めた幾何量が所定量以上で大きい場合に、幾何形状に一貫性が無いとして、その物体位置姿勢候補を破棄する。トラッキング処理部８は、物体検出部５により検出された物体位置姿勢候補の中から、破棄した物体位置姿勢候補を除いた物体位置姿勢候補を物体判定部７に出力する。物体判定部７は、画像情報取得部２により取得された対象物画像の距離情報及び色情報のうちの少なくとも一方と、トラッキング処理部８から出力された物体位置姿勢候補のモデル画像情報の色情報及び距離情報の少なくとも一方と、を比較して、上記判定を行う。
本実施形態４において、上記実施形態１乃至３と同一部分には同一符号を付して詳細な説明は省略する。
【００８９】
本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００９０】
上記実施形態１乃至４を任意に組み合わせてもよい。例えば、物体認識装置５０は、画像情報取得部２と、プロファイル情報生成部３と、記憶部４と、物体検出部５と、クラスタリング処理部６と、物体判定部７と、トラッキング処理部８と、を備える構成であってもよい（図１４）。この場合、認識対象物の未検出や誤検出を最も良好に抑制し認識精度を向上させることができる。
【００９１】
物体検出部５は、検出器５１〜５４を用いて、認識対象物の物体位置姿勢候補を検出し、クラスタリング処理部６に出力する。クラスタリング処理部６は、物体検出部５により検出された物体位置姿勢候補群の中で類似するものを統合し、統合した物体位置姿勢候補群をトラッキング処理部８に出力する。トラッキング処理部８は、幾何形状情報に基づいて、クラスタリング処理部６からの物体位置姿勢候補を追跡するＩＣＰトラッキングを行い、そのＩＣＰトラッキング後の物体位置姿勢候補を物体判定部７に出力する。物体判定部７は、判定器７１〜７４を用いて、トラッキング処理部８からの物体位置姿勢候補を判定し、判定した物体位置姿勢候補を、認識対象物の位置姿勢として出力する。
【００９２】
本発明は、例えば、上記プロファイル情報生成部３、物体検出部５、クラスタリング処理部６、物体判定部７、及びトラッキング処理部８、が実行する処理のうちの少なくとも１つを、ＣＰＵ又はＧＰＵ（Graphics Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００９３】
プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【符号の説明】
【００９４】
１  物体認識装置、２  画像情報取得部、３  プロファイル情報生成部、４  記憶部、５  物体検出部、６  クラスタリング処理部、７  物体判定部、８  トラッキング処理部、５１  LineMode検出器、５２  ＰｎＰ検出器、５３  ＳＨＯＴ検出器、５４  Ｂａｙｓｅ検出器、７１  色相判定器、７２  ＲＧＢ判定器、７３  Gray_Scale判定器、７４  ＣＬＢＰ判定器
【図１】
0006528723.tif 000002
【図２】
0006528723.tif 000003
【図３】
0006528723.tif 000004
【図４】
0006528723.tif 000005
【図５】
0006528723.tif 000006
【図６】
0006528723.tif 000007
【図７】
0006528723.tif 000008
【図８】
0006528723.tif 000009
【図９】
0006528723.tif 000010
【図１０】
0006528723.tif 000011
【図１１】
0006528723.tif 000012
【図１２】
0006528723.tif 000013
【図１３】
0006528723.tif 000014
【図１４】
0006528723.tif 000015