(57)【要約】【課題】物体が収納される対象物の位置及び姿勢を認識できるようにする。【解決手段】物体認識装置は、物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得する取得手段と、取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定する推定手段と、前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別する選別手段と、選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する算出手段とを有する。【選択図】図１
2019114126.tif 000002
【特許請求の範囲】
【請求項１】
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得する取得手段と、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定する推定手段と、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別する選別手段と、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する算出手段と
を有することを特徴とする物体認識装置。
【請求項２】
前記推定手段は、
Ｎ回目（Ｎは１以上の整数）に取得したＲＧＢ−Ｄ画像データに基づいて推定した平面と、（Ｎ＋１）回目に取得したＲＧＢ−Ｄ画像データに基づいて推定した平面とに基づいて、前記選別手段が特徴量を選別する位置を特定するための平面を推定することを特徴とする請求項１に記載の物体認識装置。
【請求項３】
前記算出手段は、
Ｎ回目に取得したＲＧＢ−Ｄ画像データに基づいて平面を推定したことで、前記選別手段により選別された特徴量と、（Ｎ＋１）回目に取得したＲＧＢ−Ｄ画像データに基づいて平面を推定したことで、前記選別手段により選別された特徴量とを統合し、統合した特徴量を用いて、前記対象物の位置及び姿勢を算出することを特徴とする請求項２に記載の物体認識装置。
【請求項４】
前記物体に対応するＡＲコンテンツの位置及び姿勢を、前記対象物の位置及び姿勢に応じて変更する変更手段と、
位置及び姿勢を変更した前記ＡＲコンテンツを、前記ＲＧＢ−Ｄ画像データに重畳する重畳手段と
を更に有することを特徴とする請求項１に記載の物体認識装置。
【請求項５】
前記対象物において予め定義された、物体が収納される各収納域に基づいて、前記ＲＧＢ−Ｄ画像データにおける該各収納域に対応する画像領域を特定し、特定したそれぞれの画像領域において、物体を検出する検出手段と、
前記画像領域ごとに物体を検出することで、収納域ごとの物体のリストを示す情報を生成する生成手段と
を更に有することを特徴とする請求項１に記載の物体認識装置。
【請求項６】
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得し、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定し、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別し、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する、
処理をコンピュータが実行する物体認識方法。
【請求項７】
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得し、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定し、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、抽出した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別し、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する、
処理をコンピュータに実行させる物体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体認識装置、物体認識方法及び物体認識プログラムに関する。
【背景技術】
【０００２】
従来より、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データに対して、テンプレートを用いてマッチング処理を行うことで、当該テンプレートに対応する物体の位置及び姿勢を認識する物体認識装置が知られている。当該物体認識装置では、ＲＧＢ−Ｄカメラにより物体の外観を撮影することができれば、物体にマーカ等を付与しなくても、物体の位置及び姿勢を正しく認識することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−９０５６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一方で、物体が棚等に収納されることで、物体の一部が隠れ、物体の外観を撮影できないケースがある。このようなケースでは、まず、棚を認識対象物として撮影し、棚の位置及び姿勢を認識したうえで、収納される物体についての位置及び姿勢を認識することが望ましい。
【０００５】
しかしながら、棚に物体が収納された場合、当該物体の影響で棚の外観も変化することとなる。このため、物体が収納されていない棚のテンプレートを用いてマッチング処理を行っても、棚の位置及び姿勢を正しく認識することは容易ではない。一方で、あらゆる物体のあらゆる収納パターンについて棚のテンプレートを作成することは現実的でない。
【０００６】
一つの側面では、物体が収納される対象物の位置及び姿勢を認識できるようにすることを目的としている。
【課題を解決するための手段】
【０００７】
一態様によれば、物体認識装置は、
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得する取得手段と、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定する推定手段と、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別する選別手段と、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する算出手段とを有する。
【発明の効果】
【０００８】
物体が収納される対象物の位置及び姿勢を認識することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る物体認識システムのシステム構成の一例を示す図である。
【図２】物体認識装置のハードウェア構成の一例を示す図である。
【図３】物体認識装置の位置合わせ部の機能構成の一例を示す図である。
【図４】位置合わせ処理の流れを示すフローチャートである。
【図５】特徴量データの抽出例を示す図である。
【図６】最前面の平面の推定及び更新処理の流れを示すフローチャートである。
【図７】最前面の平面の推定及び更新処理の具体例を示す図である。
【図８】平面に基づく特徴量データの選別及び統合処理の流れを示すフローチャートである。
【図９】平面に基づく特徴量データの選別及び統合処理の具体例を示す図である。
【図１０】第２の実施形態に係る物体認識システムのシステム構成の一例を示す図である。
【図１１】物体認識装置のＡＲコンテンツ重畳部の機能構成の一例を示す図である。
【図１２】ＡＲコンテンツ表示処理の流れを示すフローチャートである。
【図１３】ＡＲコンテンツ座標変換処理の流れを示すフローチャートである。
【図１４】ＡＲコンテンツ重畳処理の流れを示すフローチャートである。
【図１５】ＡＲコンテンツ重畳処理の具体例を示す図である。
【図１６】第３の実施形態に係る物体認識システムのシステム構成の一例を示す図である。
【図１７】収納域定義情報の具体例を示す図である。
【図１８】収納物情報の具体例を示す図である。
【図１９】収納物認識部による収納物認識処理の概要を示す図である。
【図２０】収納物認識部の機能構成の一例を示す図である。
【図２１】収納物認識処理の流れを示すフローチャートである。
【図２２】収納物検出処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１１】
［第１の実施形態］
＜物体認識システムのシステム構成＞
はじめに、物体認識システムのシステム構成について説明する。図１は、第１の実施形態に係る物体認識システムのシステム構成の一例を示す図である。図１に示すように、物体認識システム１００は、ＲＧＢ−Ｄカメラ１１０と、物体認識装置１２０とを有する。ＲＧＢ−Ｄカメラ１１０と物体認識装置１２０とは、通信可能に接続される。
【００１２】
ＲＧＢ−Ｄカメラ１１０は、棚１３０を撮影し、カメラ座標系（ｘ，ｙ，ｚ）のもとでＲＧＢ（Red，Green，Blue）画像データ及び距離画像データ（Ｄ（Depth）画像データ）を生成する。また、ＲＧＢ−Ｄカメラ１１０は、生成したＲＧＢ画像データ及び距離画像データを含むＲＧＢ−Ｄ画像データを、物体認識装置１２０に送信する。
【００１３】
なお、第１の実施形態において、物体認識装置１２０が認識する対象物は、棚１３０であり、棚１３０には、それぞれの段に、物体（収納物１４１、１４２、１４３）が収納されているものとする。また、ＲＧＢ−Ｄカメラ１１０は、それぞれの段が撮影中心となるように撮影方向を変更しながら繰り返し撮影を行うものとする。
【００１４】
物体認識装置１２０には、位置合わせプログラムがインストールされており、当該プログラムが実行されることで、物体認識装置１２０は、位置合わせ部１２１として機能する。
【００１５】
位置合わせ部１２１は、ＲＧＢ−Ｄカメラ１１０から送信されたＲＧＢ−Ｄ画像データに対して、棚１３０のテンプレートを用いてマッチング処理を行うことにより、棚１３０の位置及び姿勢を認識する。テンプレート格納部１２２には、棚１３０のテンプレートが格納される。
【００１６】
＜物体認識装置のハードウェア構成＞
次に、物体認識装置１２０のハードウェア構成について説明する。図２は、物体認識装置のハードウェア構成の一例を示す図である。
【００１７】
図２に示すように、物体認識装置１２０は、ＣＰＵ（Central  Processing  Unit）２０１、ＲＯＭ（Read  Only  Memory）２０２、ＲＡＭ（Random  Access  Memory）２０３を有する。ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３は、いわゆるコンピュータを形成する。また、物体認識装置１２０は、補助記憶装置２０４、操作装置２０５、表示装置２０６、Ｉ／Ｆ（Interface）装置２０７、ドライブ装置２０８を有する。なお、物体認識装置１２０の各ハードウェアは、バス２０９を介して相互に接続される。
【００１８】
ＣＰＵ２０１は、補助記憶装置２０４にインストールされた各種プログラム（例えば、位置合わせプログラム等）を実行する。
【００１９】
ＲＯＭ２０２は、不揮発性メモリであり、主記憶装置として機能する。ＲＯＭ２０２は、補助記憶装置２０４にインストールされた各種プログラムをＣＰＵ２０１が実行するために必要な各種プログラム、データ等を格納する。具体的には、ＲＯＭ２０２はＢＩＯＳ（Basic  Input/Output  System）やＥＦＩ（Extensible  Firmware  Interface）等のブートプログラム等を格納する。
【００２０】
ＲＡＭ２０３は、ＤＲＡＭ（Dynamic  Random  Access  Memory）やＳＲＡＭ（Static  Random  Access  Memory）等の揮発性メモリであり、主記憶装置として機能する。ＲＡＭ２０３は、補助記憶装置２０４にインストールされた各種プログラムがＣＰＵ２０１によって実行される際に展開される、作業領域を提供する。
【００２１】
補助記憶装置２０４は、各種プログラムや、各種プログラムがＣＰＵ２０１によって実行される際に用いられる情報等を格納する。テンプレート格納部１２２は、補助記憶装置２０４において実現される。
【００２２】
操作装置２０５は、物体認識装置１２０の管理者が物体認識装置１２０に対して各種指示を入力する際に用いる入力デバイスである。表示装置２０６は、物体認識装置１２０の内部情報を表示する表示デバイスである。
【００２３】
Ｉ／Ｆ装置２０７は、ＲＧＢ−Ｄカメラ１１０に接続され、ＲＧＢ−Ｄカメラ１１０と通信する接続デバイスである。
【００２４】
ドライブ装置２０８は記録媒体２１０をセットするためのデバイスである。ここでいう記録媒体２１０には、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【００２５】
なお、補助記憶装置２０４にインストールされる各種プログラムは、例えば、配布された記録媒体２１０がドライブ装置２０８にセットされ、該記録媒体２１０に記録された各種プログラムがドライブ装置２０８により読み出されることでインストールされる。
【００２６】
＜物体認識装置の位置合わせ部の機能構成＞
次に、物体認識装置１２０の位置合わせ部１２１の機能構成について説明する。図３は、物体認識装置の位置合わせ部の機能構成の一例を示す図である。図３に示すように、物体認識装置１２０の位置合わせ部１２１は、ＲＧＢ−Ｄ画像取得部３０１、カメラ位置姿勢推定部３０２、平面推定部３０３、特徴抽出部３０４、特徴統合部３０５、特徴照合部３０６を有する。
【００２７】
ＲＧＢ−Ｄ画像取得部３０１は取得手段の一例である。ＲＧＢ−Ｄ画像取得部３０１は、ＲＧＢ−Ｄカメラ１１０から送信されるＲＧＢ−Ｄ画像データを取得し、ＲＧＢ−Ｄ画像データに含まれるＲＧＢ画像データ及び距離画像データをカメラ位置姿勢推定部３０２に、距離画像データを平面推定部３０３に通知する。また、ＲＧＢ−Ｄ画像取得部３０１は、ＲＧＢ−Ｄ画像データに含まれるＲＧＢ画像データ及び距離画像データを、特徴抽出部３０４に通知する。
【００２８】
なお、ＲＧＢ−Ｄ画像取得部３０１は、棚１３０のそれぞれの段を撮影中心とするＲＧＢ−Ｄ画像データ（Ｎ回目に撮影されたＲＧＢ−Ｄ画像データ、（Ｎ＋１）回目に撮影されたＲＧＢ−Ｄ画像データ、・・・）を、順次、ＲＧＢ−Ｄカメラ１１０から取得する。なお、Ｎは１以上の整数である。
【００２９】
カメラ位置姿勢推定部３０２は、ＲＧＢ画像データ及び距離画像データに基づいて、ＲＧＢ−Ｄカメラ１１０の位置及び姿勢を算出する。カメラ位置姿勢推定部３０２では、例えば、ＳＬＡＭ（Simultaneous  Localization  and  Mapping）技術等を用いて、ＲＧＢ−Ｄカメラ１１０の位置及び姿勢を算出する。カメラ位置姿勢推定部３０２は、算出したカメラ位置姿勢データを、平面推定部３０３、特徴統合部３０５に通知する。
【００３０】
平面推定部３０３は推定手段の一例である。平面推定部３０３は、距離画像データに基づいて、棚１３０の最前面を形成する平面を推定する。また、平面推定部３０３は、推定した平面を示す平面データを、カメラ位置姿勢データに基づいて世界座標系に変換する。
【００３１】
なお、平面推定部３０３では、棚１３０の最前面を形成する平面の推定、及び、平面データの世界座標系への変換を、棚１３０のそれぞれ段（撮影中心の段）ごとに行う。つまり、平面推定部３０３では、Ｎ回目（Ｎは１以上の整数）に取得したＲＧＢ−Ｄ画像データ、（Ｎ＋１）回目に取得したＲＧＢ−Ｄ画像データそれぞれに対して行う。また、平面推定部３０３は、既に推定及び変換が完了した段についての平面データと、今回推定及び変換が完了した段についての平面データとを用いて、棚１３０の最前面を形成する平面を示す平面データを更新する。更に、平面推定部３０３は、更新した平面データ（世界座標系）を、平面推定部３０３が推定した平面データとして、特徴統合部３０５に通知する。
【００３２】
特徴抽出部３０４は、ＲＧＢ画像データ及び距離画像データから各種特徴量を抽出し、抽出した特徴量を示す特徴量データを、特徴統合部３０５に通知する。特徴抽出部３０４によって抽出される特徴量には、例えば、端点（コーナ）の位置、線分（エッジ）の位置、線分ペア、端点の周辺のテクスチャ等が含まれる。特徴抽出部３０４は、例えば、ＦＧＦＨ（Fast  Point  Feature  Histogram）、ＰＰＦ（Point  Pair  Feature）等を用いて、各種特徴量の抽出を行う。
【００３３】
特徴統合部３０５は選別手段の一例である。特徴統合部３０５は、特徴抽出部３０４より通知された特徴量データのうち、平面データにより特定される平面に属する特徴量データを選別する。また、特徴統合部３０５は、平面に属する特徴量データを統合したうえで、カメラ位置姿勢データに基づいて世界座標系に変換する。更に、特徴統合部３０５は、変換した特徴量データを、平面上の特徴量データ（世界座標系）として、特徴照合部３０６に通知する。
【００３４】
特徴照合部３０６は算出手段の一例である。特徴照合部３０６は、テンプレート格納部１２２より、棚１３０のテンプレートを読み出し、平面上の特徴量データ（世界座標系）を用いて、ＲＧＢ−Ｄ画像データに対してマッチング処理を行うことで、棚１３０の位置及び姿勢を算出する。特徴照合部３０６は、算出した棚１３０の位置及び姿勢を、位置姿勢データ（世界座標系）として出力する。
【００３５】
＜位置合わせ部による位置合わせ処理の流れ＞
次に、物体認識装置１２０の位置合わせ部１２１による位置合わせ処理の流れについて説明する。図４は、位置合わせ処理の流れを示すフローチャートである。
【００３６】
ステップＳ４０１において、ＲＧＢ−Ｄ画像取得部３０１は、ＲＧＢ−Ｄカメラ１１０よりＲＧＢ−Ｄ画像データ（例えば、Ｎ回目に撮影された所定の段を撮影中心とするＲＧＢ−Ｄ画像データ）を取得する。ステップＳ４０２において、カメラ位置姿勢推定部３０２は、ＲＧＢ−Ｄ画像データに含まれるＲＧＢ画像データ及び距離画像データを用いて、ＲＧＢ−Ｄカメラ１１０の位置及び姿勢を推定する。また、ＲＧＢ−Ｄ画像取得部３０１は、平面推定部３０３及び特徴統合部３０５に、カメラ位置姿勢データを通知する。
【００３７】
ステップＳ４０３において、特徴抽出部３０４は、ＲＧＢ−Ｄ画像データに含まれるＲＧＢ画像データ及び距離画像データから特徴量を抽出し、抽出した特徴量を示す特徴量データを特徴統合部３０５に通知する。なお、特徴量を抽出する処理の具体例は後述する。
【００３８】
ステップＳ４０４において、平面推定部３０３は、距離画像データに基づいて最前面の平面を推定し、カメラ位置姿勢データに基づいて平面データを世界座標系に変換する。また、平面推定部３０３は、既に推定及び変換が完了した段についての平面データを、今回推定及び変換が完了した段についての平面データを用いて更新し、特徴統合部３０５に通知する。なお、最前面の平面の推定及び更新処理（ステップＳ４０４）の詳細は、後述する。
【００３９】
ステップＳ４０５において、特徴統合部３０５は、特徴量データのうち、平面データにより特定される平面に属する特徴量データを選別し、統合する。なお、平面に基づく特徴量データの選別及び統合処理（ステップＳ４０５）の詳細は、後述する。
【００４０】
ステップＳ４０６において、特徴照合部３０６は、棚１３０のテンプレートを読み出し、平面上の特徴量データを用いて、ＲＧＢ−Ｄ画像データに対してマッチング処理を行う。ステップＳ４０７において、特徴照合部３０６は、マッチング処理の結果に基づいて、認識対象物である棚１３０の位置及び姿勢を算出し、位置姿勢データ（世界座標系）を出力する。
【００４１】
ステップＳ４０８において、ＲＧＢ−Ｄ画像取得部３０１は、位置合わせ処理を終了するか否かを判定し、終了しないと判定した場合には（ステップＳ４０８においてＮＯの場合には）、ステップＳ４０１に戻る。一方、ステップＳ４０８において、終了すると判定した場合には（ステップＳ４０８においてＹＥＳの場合には）、位置合わせ処理を終了する。
【００４２】
＜位置合わせ処理の詳細＞
次に、位置合わせ処理（図４）の各工程のうち、
・ステップＳ４０３（特徴量を抽出する処理）、
・ステップＳ４０４（最前面の平面の推定及び更新処理）、
・ステップＳ４０５（平面に基づく特徴量データの選別及び統合処理）
の詳細について説明する。
【００４３】
（１）ステップＳ４０３（特徴量を抽出する処理）の詳細
図５は、特徴量データの抽出例を示す図である。このうち、図５（ａ）は、ＲＧＢ−Ｄカメラ１１０により撮影される棚１３０と、撮影中心となる段を含む範囲５００を示した図である。
【００４４】
上述したとおり、ＲＧＢ−Ｄカメラ１１０は、棚１３０のそれぞれの段が撮影中心にくるように撮影方向を変更しながら撮影を行う。図５（ａ）の例は、棚１３０において、上から２番目の段が撮影中心にくるように撮影方向を変更した様子を示している。
【００４５】
図５（ｂ）は、撮影されたＲＧＢ−Ｄ画像データのうち、範囲５００内のＲＧＢ−Ｄ画像データ５１０が抽出された様子を示している。図５（ｃ）は、ＲＧＢ−Ｄ画像データ５１０より、特徴量が抽出された様子を示している。なお、図５（ｃ）の例は、特徴量として、点線で示す領域において、線分（エッジ）が抽出された様子を示している。
【００４６】
（２）ステップＳ４０４（最前面の平面の推定及び更新処理）の詳細
次に、ステップＳ４０４（最前面の平面の推定及び更新処理）について、図６及び図７を用いて説明する。図６は、最前面の平面の推定及び更新処理の流れを示すフローチャートである。図７は、最前面の平面の推定及び更新処理の具体例を示す図である。以下、図７を参照しながら、図６にしたがって処理の詳細を説明する。
【００４７】
ステップＳ６０１において、平面推定部３０３は、距離画像データから法線画像を算出する。図７（ａ）は、撮影されたＲＧＢ−Ｄ画像データのうち、距離画像データを抽出する範囲５００を示しており、図７（ｂ）は、範囲５００内の距離画像データ７１０が抽出された様子を示している。平面推定部３０３は、抽出した距離画像データ７１０について、法線画像を算出する。
【００４８】
ステップＳ６０２において、平面推定部３０３は、バイラテラルフィルタを用いて、法線画像を平滑化する。ステップＳ６０３において、平面推定部３０３は、平滑化した法線画像について、領域拡張法により、複数の平面領域に分割する。図７（ｂ）において、距離画像データ７１０内の黒塗りされた平面領域７２０は、分割された複数の平面領域のうちの１つを示している。
【００４９】
ステップＳ６０４において、平面推定部３０３は、分割された複数の平面領域それぞれについて、主成分分析を行うことにより平面を推定する。具体的には、平面推定部３０３は、複数の平面領域それぞれの平面方程式を算出する。図７（ｃ）は、図７（ｂ）において黒塗りされた平面領域７２０に基づいて平面方程式を算出し、平面７３０を推定した様子を示している。
【００５０】
ステップＳ６０５において、平面推定部３０３は、推定した各平面について、曲率、面積、サポート点数等を評価することで、評価値の低い平面を除去する。
【００５１】
ステップＳ６０６において、平面推定部３０３は、ステップＳ６０５において除去されなかった残りの平面それぞれについて、ＲＧＢ−Ｄカメラ１１０側に存在する距離画像データの深度画素数をカウントする。更に、平面推定部３０３は、カウントした深度画素数が最小となる平面を、最前面の平面として選択する。なお、図７（ｃ）は、平面７３０が最前面の平面として選択された様子を示している。
【００５２】
ステップＳ６０７において、平面推定部３０３は、選択した最前面の平面の座標系を、カメラ位置姿勢データを用いて世界座標系に変換する。
【００５３】
ステップＳ６０８において、平面推定部３０３は、既に推定及び変換が完了した段についての平面データ（世界座標系）を、ステップＳ６０７において算出した平面データ（世界座標系）を用いて更新する。平面推定部３０３は、例えば、既に推定及び変換が完了した段についての平面データ（世界座標系）と、ステップＳ６０７において変換した平面データ（世界座標系）との平均値を算出することで、平面データ（世界座標系）を更新する。平面推定部３０３は、更に、更新した平面データ（世界座標系）を、平面推定部３０３が推定した平面データ（世界座標系）として、特徴統合部３０５に通知する。
【００５４】
（３）ステップＳ４０５（平面に基づく特徴量データの選別及び統合処理）の詳細
次に、ステップＳ４０５（平面に基づく特徴量データの選別及び統合処理）について、図８及び図９を用いて説明する。図８は、平面に基づく特徴量データの選別及び統合処理の流れを示すフローチャートである。また、図９は、平面に基づく特徴量データの選別及び統合処理の具体例を示す図である。以下、図９を参照しながら、図８にしたがって処理の詳細を説明する。
【００５５】
ステップＳ８０１において、特徴統合部３０５は、特徴抽出部３０４により抽出された特徴量のうち、平面データにより特定される平面に属する特徴量を選別する。図９（ａ）のＲＧＢ−Ｄ画像データ５１０において、点線で示す領域は、特徴抽出部３０４により特徴量が抽出されたことを示している。また、図９（ｂ）のＲＧＢ−Ｄ画像データ５１０において、点線で示す領域は、特徴抽出部３０４により抽出された特徴量が、特徴統合部３０５により選別された様子を示している。
【００５６】
ステップＳ８０２において、特徴統合部３０５は、ステップＳ８０１において選別された特徴量を示す特徴量データの座標を、平面データにより特定される平面上の座標に変換する。
【００５７】
ステップＳ８０３において、特徴統合部３０５は、他の段についてのＲＧＢ−Ｄ画像データから抽出、選別及び変換された特徴量データ（算出済みの特徴量データ）と、ステップＳ８０２において変換された特徴量データ（今回算出の特徴量データ）とを対比する。また、特徴統合部３０５は、算出済みの特徴量データと今回算出の特徴量データとが類似している場合には、類似している特徴量データ同士を統合する。
【００５８】
具体的には、算出済みの特徴量データに今回算出の特徴量データを含めてクラスタリング処理を行い、同じクラスタに分類された特徴量データについて、１の特徴量データに統合する。図９（ｃ）は、特徴量データを統合した様子を示している。このように、特徴量データを統合することで、テンプレートを読み出してＲＧＢ−Ｄ画像データに対してマッチング処理を行う際に用いる特徴量データの数を減らすことができる。この結果、マッチング処理を行う際の物体認識装置１２０の処理負荷を低減させることが可能となる。
【００５９】
以上の説明から明らかなように、第１の実施形態に係る物体認識装置１２０は、収納物が収納される棚を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得し、ＲＧＢ−Ｄ画像データより、棚の最前面の平面を推定する。また、第１の実施形態に係る物体認識装置１２０は、ＲＧＢ−Ｄ画像データより抽出される棚の特徴量のうち、推定した平面の位置における棚の特徴量を選別する。更に、第１の実施形態に係る物体認識装置１２０は、該選別した特徴量を用いて、ＲＧＢ−Ｄ画像データについて棚のテンプレートとのマッチング処理を行うことで、棚の位置及び姿勢を算出する。
【００６０】
このように、収納されている収納物の影響を受けない位置の特徴量を用いてマッチング処理を行うことで、第１の実施形態に係る物体認識装置によれば、棚に収納物が収納されている場合でも、当該棚の位置及び姿勢を正しく認識することができる。
【００６１】
［第２の実施形態］
上記第１の実施形態では、収納物が収納される棚の位置及び姿勢を認識する場合について説明した。これに対して、第２の実施形態では、ＲＧＢ−Ｄ画像データにおいて位置及び姿勢が認識された棚に収納される収納物それぞれに、対応するＡＲ（Augmented  Reality）コンテンツを重畳して表示する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【００６２】
＜物体認識システムのシステム構成＞
はじめに、物体認識システムのシステム構成について説明する。図１０は、第２の実施形態にかかる物体認識システムのシステム構成の一例を示す図である。図１を用いて説明した物体認識システム１００との相違点は、物体認識装置１０００が、位置合わせ部１２１に加え、ＡＲコンテンツ重畳部１００１としての機能を有する点、及び、物体認識装置１０００がＡＲコンテンツ格納部１００２を有する点である。
【００６３】
ＡＲコンテンツ重畳部１００１は、ＡＲコンテンツ格納部１００２に格納されたＡＲコンテンツを読み出す。なお、ＡＲコンテンツ格納部１００２には、棚１３０に収納された収納物１４１、１４２、１４３にそれぞれ対応するＡＲコンテンツが格納されているものとする。
【００６４】
また、ＡＲコンテンツ重畳部１００１は、読み出したＡＲコンテンツについて、位置合わせ部１２１より出力された棚１３０の位置姿勢データに基づいて座標変換を行い、位置及び姿勢を変更する。更に、ＡＲコンテンツ重畳部１００１は、ＲＧＢ−Ｄ画像データに対して、変更した位置及び姿勢に基づきＡＲコンテンツを重畳する。これにより、ＡＲコンテンツが重畳されたＲＧＢ−Ｄ画像データを出力することが可能となる。
【００６５】
＜ＡＲコンテンツ重畳部の機能構成＞
次に、物体認識装置１０００のＡＲコンテンツ重畳部１００１の機能構成について説明する。図１１は、物体認識装置のＡＲコンテンツ重畳部の機能構成の一例を示す図である。図１１に示すように、ＡＲコンテンツ重畳部１００１は、座標変換部１１０１、重畳部１１０２、表示部１１０３を有する。
【００６６】
座標変換部１１０１は変更手段の一例である。座標変換部１１０１は、棚１３０に収納される各収納物１４１、１４２、１４３にそれぞれ対応するＡＲコンテンツを、ＡＲコンテンツ格納部１００２より読み出す。なお、ＡＲコンテンツ格納部１００２に格納されているＡＲコンテンツには、対応する収納物１４１、１４２、１４３の棚１３０内での位置を示す座標（棚座標系における座標）が予め含まれているものとする。
【００６７】
座標変換部１１０１は、ＡＲコンテンツに含まれる座標を、位置合わせ部１２１より出力された、棚１３０の位置姿勢データに基づいて変換することでＡＲコンテンツの位置及び姿勢を変更し、ＡＲコンテンツ位置姿勢データ（カメラ座標系）を生成する。座標変換部１１０１は、生成したＡＲコンテンツ位置姿勢データを、重畳部１１０２に通知する。
【００６８】
重畳部１１０２は重畳手段の一例である。重畳部１１０２は、ＡＲコンテンツ位置姿勢データにより特定される位置及び姿勢を有するＡＲコンテンツを、ＲＧＢ−Ｄ画像データに重畳する。また、重畳部１１０２は、ＡＲコンテンツが重畳されたＲＧＢ−Ｄ画像データ（重畳画像データ）を、表示部１１０３に通知する。
【００６９】
表示部１１０３は、通知された重畳画像データを、表示装置２０６に表示する。
【００７０】
＜ＡＲコンテンツ重畳部によるＡＲコンテンツ表示処理の流れ＞
次に、物体認識装置１０００のＡＲコンテンツ重畳部１００１によるＡＲコンテンツ表示処理の流れについて説明する。図１２は、ＡＲコンテンツ表示処理の流れを示すフローチャートである。なお、図１２に示すフローチャートのうち、ステップＳ４０１からステップＳ４０７、ステップＳ４０８の処理については、図４を用いて説明済みであるため、ここでは、説明を省略する。
【００７１】
ステップＳ１２０１において、座標変換部１１０１は、ＡＲコンテンツ格納部１００２より読み出したＡＲコンテンツについて、ＡＲコンテンツ座標変換処理を実行し、実行結果であるＡＲコンテンツ位置姿勢データを重畳部１１０２に通知する。
【００７２】
ステップＳ１２０２において、重畳部１１０２は、ＡＲコンテンツ位置姿勢データにより特定される位置及び姿勢を有するＡＲコンテンツを、ＲＧＢ−Ｄ画像データに重畳する、ＡＲコンテンツ重畳処理を実行する。
【００７３】
ステップ１２０３において、表示部１１０３は、ＡＲコンテンツが重畳された重畳画像データを、表示装置２０６に表示する。
【００７４】
＜ＡＲコンテンツ表示処理の詳細＞
次に、ＡＲコンテンツ表示処理（図１２）の各工程のうち、
・ステップＳ１２０１（ＡＲコンテンツ座標変換処理）、
・ステップＳ１２０２（ＡＲコンテンツ重畳処理）
の詳細について説明する。
【００７５】
（１）ステップＳ１２０１（ＡＲコンテンツ座標変換処理）の詳細
図１３は、ＡＲコンテンツ座標変換処理の流れを示すフローチャートである。ステップＳ１３０１において、座標変換部１１０１は、ＡＲコンテンツ格納部１００２よりＡＲコンテンツを読み出す。
【００７６】
ステップＳ１３０２において、座標変換部１１０１は、位置合わせ部１２１より出力された、棚１３０の位置姿勢データに基づいて、ＡＲコンテンツに含まれる座標（棚座標系）を変換することでＡＲコンテンツの位置及び姿勢を変更する。これにより、座標変換部１１０１は、ＡＲコンテンツ位置姿勢データ（カメラ座標系）を生成する。
【００７７】
（２）ステップＳ１２０２（ＡＲコンテンツ重畳処理）の詳細
図１４は、ＡＲコンテンツ重畳処理の流れを示すフローチャートである。ステップＳ１４０１において、重畳部１１０２は、ＲＧＢ−Ｄカメラ１１０のカメラパラメータを取得し、取得したカメラパラメータを用いて、カメラ投影行列を算出する。カメラパラメータとは、ＲＧＢ−Ｄカメラ１１０の焦点距離や画像中心位置、レンズ歪み等、投影に関するＲＧＢ−Ｄカメラ１１０固有の情報である。なお、当該固有の情報は、一般的なキャリブレーション手法により事前に取得されているものとする。
【００７８】
ステップＳ１４０２において、重畳部１１０２は、ＡＲコンテンツ位置姿勢データ（カメラ座標系）が算出されたＡＲコンテンツを、カメラ投影行列を用いて現在のＲＧＢ−Ｄ画像データに投影する。
【００７９】
図１５は、ＡＲコンテンツ重畳処理の具体例を示す図である。このうち、図１５（ａ）は、ＡＲコンテンツを重畳する前の棚１３０を示す図である。なお、ここでは、棚１３０の全体がわかるように、正面図を示している。また、図１５（ｂ）は、収納物１４１に対応するＡＲコンテンツ１５０１と、収納物１４２に対応するＡＲコンテンツ１５０２と、収納物１４３に対応するＡＲコンテンツ１５０３とが、ＲＧＢ−Ｄ画像データに重畳された様子を示している。
【００８０】
以上の説明から明らかなように、第２の実施形態に係る物体認識装置１０００は、棚の位置姿勢データに応じて、棚に収納される収納物に対応するＡＲコンテンツについて、座標変換を行い、ＡＲコンテンツの位置及び姿勢を変更する。また、第２の実施形態に係る物体認識装置１０００は、ＲＧＢ−Ｄ画像データに対して、変更した位置及び姿勢に基づき、ＡＲコンテンツを重畳する。
【００８１】
これにより、第２の実施形態に係る物体認識装置１０００では、位置姿勢データが算出された棚に収納されている収納物それぞれについて、ＲＧＢ−Ｄ画像データにおいて、対応するＡＲコンテンツを重畳して表示することが可能となる。
【００８２】
［第３の実施形態］
上記第２の実施形態では、棚１３０の位置姿勢データを利用することで、棚１３０に収納される収納物に対応するＡＲコンテンツを、ＲＧＢ−Ｄ画像データに重畳して表示する場合について説明した。
【００８３】
これに対して、第３の実施形態では、棚１３０の位置姿勢データを利用することで、棚１３０に収納されている収納物を検出し管理する場合について説明する。なお、上記第２の実施形態では、棚１３０に収納されている収納物（及び収納位置）が既知であるものとしたが、第３の実施形態では、棚１３０に収納されている収納物（及び収納位置）が未知であるとする。以下、第３の実施形態について、上記第２の実施形態との相違点を中心に説明する。
【００８４】
＜物体認識システムのシステム構成＞
はじめに、物体認識システムのシステム構成について説明する。図１６は、第３の実施形態に係る物体認識システムのシステム構成の一例を示す図である。図１０を用いて説明した物体認識システム１００との相違点は、物体認識装置１６００が、位置合わせ部１２１に加え、収納物認識部１６０１としての機能を有する点である。更に、物体認識装置１６００が収納域定義情報格納部１６０２、収納物情報格納部１６０３を有する点である。
【００８５】
収納物認識部１６０１は、収納域定義情報格納部１６０２より、収納域定義情報を取得する。収納域定義情報とは、棚１３０のそれぞれの段の収納域の位置を定義する定義情報である。
【００８６】
収納物認識部１６０１は、収納域定義情報に基づいて、ＲＧＢ−Ｄ画像データから、各段の収納域に対応する画像領域を特定し、特定した画像領域それぞれから収納物を検出する。更に、収納物認識部１６０１は、各段の収納域ごとの収納物の検出結果に基づいて、収納物情報格納部１６０３に格納された収納物情報を更新する。なお、収納物情報とは、どの棚のどの段に、どの収納物が収納されているかを記録したリストである。
【００８７】
＜収納域定義情報および収納物情報の具体例＞
次に、収納域定義情報格納部１６０２に格納される収納域定義情報、及び、収納物情報格納部１６０３に格納される収納物情報の具体例について説明する。
【００８８】
（１）収納域定義情報の具体例
図１７は、収納域定義情報の具体例を示す図である。なお、図１７に示す収納域定義情報１７００は、棚ＩＤ＝“Ｔ００１”により識別される棚であって、ＲＧＢ−ＤカメラＩＤ＝“Ｃ００１”により識別されるＲＧＢ−Ｄカメラによって撮影される棚についての、収納域定義情報である。
【００８９】
図１７に示すように、収納域定義情報１７００には、情報の項目として、“段番号”、“段識別子”、“棚座標系”が含まれる。
【００９０】
“段番号”には、棚ＩＤ＝“Ｔ００１”により識別される棚の各段の番号を示す情報が格納される。“段識別子”には、各段を識別するための識別子が格納される。“棚座標系”には、対応する段番号により特定される段の収納域の位置を示す座標（棚座標系の座標）が格納される。
【００９１】
図１７の例は、棚ＩＤ＝“Ｔ００１”により識別される棚１３０の第１段の収納域が、段識別子＝“Ｄ００１”であり、当該収納域の位置を示す座標が（ｘｔ１，ｙｔ１，ｚｔ１）であることを示している。
【００９２】
（２）収納物情報の具体例
図１８は、収納物情報の具体例を示す図である。図１８に示すように、収納物情報１８００には、情報の項目として、“収納先”、“収納物”が含まれる。
【００９３】
“収納先”には、収納物の収納先を示す、棚ＩＤと段識別子が格納される。“収納物”には、棚ＩＤにより識別される棚であって、段識別子により識別される段の収納域に収納される収納物に関する情報が記録される。
【００９４】
図１８の例は、棚ＩＤ＝“Ｔ００１”の棚１３０であって、段識別子＝“Ｄ００１”で識別される第１段の収納域には、収納物１４１に関する情報１８０１が記録された様子を示している。
【００９５】
＜収納物認識処理の概要＞
次に、収納物認識部１６０１による収納物認識処理の概要について説明する。図１９は、収納物認識部による収納物認識処理の概要を示す図である。上述したように、収納域定義情報１７００には、棚座標系のもとで各段の収納域の位置を示す座標が格納されている（矢印１９０１参照）。
【００９６】
一方、棚１３０の世界座標系における位置及び姿勢は、位置合わせ部１２１より位置姿勢データとして出力される（矢印１９０２参照）。更に、世界座標系とカメラ座標系との関係は、例えば、ＳＬＡＭ技術を用いて特定することができる（矢印１９０３参照）。
【００９７】
したがって、ＲＧＢ−Ｄカメラ１１０がカメラ座標系のもとで撮影したＲＧＢ−Ｄ画像データにおいて、例えば、棚１３０の第２段の収納域に対応する画像領域を、一意に特定することができる。
【００９８】
これにより、特定した画像領域から公知の画像認識技術を用いて収納物を検出することで、収納物認識部１６０１では、例えば、棚１３０の第２段の収納域における収納物のリストである収納物情報１８００を生成することができる。
【００９９】
＜収納物認識部の機能構成＞
次に、物体認識装置１６００の収納物認識部１６０１の機能構成について説明する。図２０は、物体認識装置の収納物認識部の機能構成の一例を示す図である。図２０に示すように、収納物認識部１６０１は、収納物検出部２００１、収納物差分検出部２００２、収納物情報更新部２００３を有する。
【０１００】
収納物検出部２００１は検出手段の一例である。収納物検出部２００１は、収納域定義情報格納部１６０２より収納域定義情報１７００を読み出す。また、収納物検出部２００１は、位置合わせ部１２１から出力された棚１３０の位置姿勢データ（世界座標系）と収納域定義情報１７００とに基づいて、撮影中心となる段の収納域に対応する画像領域を、ＲＧＢ−Ｄ画像データ上で特定する。
【０１０１】
また、収納物検出部２００１は、特定した画像領域から公知の画像認識技術を用いて収納物を検出し、検出した収納物に関する情報を、収納物差分検出部２００２に通知する。
【０１０２】
収納物差分検出部２００２は、収納物情報格納部１６０３より収納物情報１８００を読み出し、収納物検出部２００１より通知された収納物に関する情報と対比する。また、収納物差分検出部２００２は、対比の結果、両者に差分があった場合には、差分に相当する収納物に関する情報を収納物情報更新部２００３に通知する。
【０１０３】
収納物情報更新部２００３は生成手段の一例である。収納物情報更新部２００３は、収納物差分検出部２００２より通知された収納物に関する情報に基づいて、収納物情報格納部１６０３に格納された収納物情報１８００を更新する。具体的には、収納物情報更新部２００３は、新たに収納物が追加されていた場合には、当該収納物に関する情報を収納物情報１８００に追加し、収納物が撤去されていた場合には、当該収納物に関する情報を収納物情報１８００から削除する。
【０１０４】
＜収納物認識部による収納物認識処理の流れ＞
次に、物体認識装置１６００の収納物認識部１６０１による収納物認識処理の流れについて説明する。図２１は、収納物認識処理の流れを示すフローチャートである。なお、図２１に示すフローチャートのうち、ステップＳ４０１からステップＳ４０７、ステップＳ４０８の処理については、図４を用いて説明済みであるため、ここでは説明を省略する。
【０１０５】
ステップＳ２１０１において、収納物検出部２００１は、収納物検出処理を実行し、棚１３０において撮影中心となる段の収納域に対応する画像領域より収納物を検出し、検出した収納物に関する情報を収納物差分検出部２００２に通知する。
【０１０６】
ステップＳ２１０２において、収納物差分検出部２００２は、収納物情報格納部１６０３より収納物情報１８００を読み出し、収納物検出部２００１より通知された収納物に関する情報と対比することで、差分を検出する。更に、収納物差分検出部２００２は、差分に相当する収納物に関する情報を、収納物情報更新部２００３に通知する。
【０１０７】
ステップＳ２１０３において、収納物情報更新部２００３は、収納物差分検出部２００２より通知された、差分に相当する収納物に関する情報に基づいて、収納物情報格納部１６０３に格納された収納物情報１８００を更新する。
【０１０８】
＜収納物認識処理の詳細＞
次に、収納物認識処理（図２１）のステップＳ２１０１（収納物検出処理）の詳細について説明する。図２２は、収納物検出処理の流れを示すフローチャートである。ステップＳ２２０１において、収納物検出部２００１は、収納域定義情報格納部１６０２より収納域定義情報１７００を読み出す。
【０１０９】
ステップＳ２２０２において、収納物検出部２００１は、ＲＧＢ−Ｄ画像データにおいて、各収納域に対応する画像領域を特定する。
【０１１０】
ステップＳ２２０３において、収納物検出部２００１は、特定した画像領域より、収納物を検出する。
【０１１１】
ステップＳ２２０４において、収納物検出部２００１は、検出した収納物に関する情報を、収納物差分検出部２００２に通知する。
【０１１２】
以上の説明から明らかなように、第３の実施形態に係る物体認識装置１６００では、棚の各段の収納域を予め定義しておき、認識した棚の位置及び姿勢に基づいて、各段の収納域に対応する画像領域を特定する。また、第３の実施形態に係る物体認識装置１６００は、特定した画像領域ごとに収納物を検出することで、各段の収納域に収納された収納物のリストである収納物情報を、随時更新する。
【０１１３】
これにより、第３の実施形態に係る物体認識装置１６００では、棚の各段の収納域に収納された収納物が変化した場合でも、物体認識装置１６００の管理者は、変化後の収納物を逐次把握することができる。
【０１１４】
［その他の実施形態］
上記第１の実施形態において、位置合わせ部１２１は、平面推定部３０３が平面データを推定すると、特徴統合部３０５が、平面に基づく特徴量データの選別及び統合処理（ステップＳ４０５）を実行するものとして説明した。しかしながら、平面に基づく特徴量データの選別及び統合処理は、推定した平面データの信頼度が所定の閾値を超えたことを条件に開始してもよい。推定した平面データの信頼度は、例えば、特徴照合部３０６がマッチング処理を実行した際のマッチング度により計算することができる。
【０１１５】
また、上記第１乃至第３の実施形態では、ＲＧＢ−Ｄカメラ１１０と物体認識装置１２０、１０００、１６００とが別体であるとして説明した。しかしながら、ＲＧＢ−Ｄカメラ１１０と物体認識装置１２０、１０００、１６００とは一体の端末として形成してもよい。
【０１１６】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得する取得手段と、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定する推定手段と、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別する選別手段と、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する算出手段と
を有することを特徴とする物体認識装置。
（付記２）
前記推定手段は、
Ｎ回目（Ｎは１以上の整数）に取得したＲＧＢ−Ｄ画像データに基づいて推定した平面と、（Ｎ＋１）回目に取得したＲＧＢ−Ｄ画像データに基づいて推定した平面とに基づいて、前記選別手段が特徴量を選別する位置を特定するための平面を推定することを特徴とする付記１に記載の物体認識装置。
（付記３）
前記算出手段は、
Ｎ回目に取得したＲＧＢ−Ｄ画像データに基づいて平面を推定したことで、前記選別手段により選別された特徴量と、（Ｎ＋１）回目に取得したＲＧＢ−Ｄ画像データに基づいて平面を推定したことで、前記選別手段により選別された特徴量とを統合し、統合した特徴量を用いて、前記対象物の位置及び姿勢を算出することを特徴とする付記２に記載の物体認識装置。
（付記４）
前記物体に対応するＡＲコンテンツの位置及び姿勢を、前記対象物の位置及び姿勢に応じて変更する変更手段と、
位置及び姿勢を変更した前記ＡＲコンテンツを、前記ＲＧＢ−Ｄ画像データに重畳する重畳手段と
を更に有することを特徴とする付記１に記載の物体認識装置。
（付記５）
前記対象物において予め定義された、物体が収納される各収納域に基づいて、前記ＲＧＢ−Ｄ画像データにおける該各収納域に対応する画像領域を特定し、特定したそれぞれの画像領域において、物体を検出する検出手段と、
前記画像領域ごとに物体を検出することで、収納域ごとの物体のリストを示す情報を生成する生成手段と
を更に有することを特徴とする付記１に記載の物体認識装置。
（付記６）
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得し、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定し、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、推定した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別し、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する、
処理をコンピュータが実行する物体認識方法。
（付記７）
物体が収納される対象物を、ＲＧＢ−Ｄカメラで撮影したＲＧＢ−Ｄ画像データを取得し、
取得した前記ＲＧＢ−Ｄ画像データより、前記対象物の最前面の平面を推定し、
前記ＲＧＢ−Ｄ画像データに基づいて抽出される特徴量のうち、抽出した前記最前面の平面により特定される位置における、前記対象物の特徴量を選別し、
選別した前記特徴量を用いて、前記ＲＧＢ−Ｄ画像データについて前記対象物のテンプレートとのマッチング処理を行うことで、前記対象物の位置及び姿勢を算出する、
処理をコンピュータに実行させる物体認識プログラム。
【０１１７】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【０１１８】
１００                  ：物体認識システム
１１０                  ：ＲＧＢ−Ｄカメラ
１２０                  ：物体認識装置
１２１                  ：位置合わせ部
１３０                  ：棚
１４１〜１４３          ：収納物
３０１                  ：ＲＧＢ−Ｄ画像取得部
３０２                  ：カメラ位置姿勢推定部
３０３                  ：平面推定部
３０４                  ：特徴抽出部
３０５                  ：特徴統合部
３０６                  ：特徴照合部
７３０                  ：平面
１０００                ：物体認識装置
１００１                ：ＡＲコンテンツ重畳部
１１０１                ：座標変換部
１１０２                ：重畳部
１１０３                ：表示部
１５０１〜１５０３      ：ＡＲコンテンツ
１６００                ：物体認識装置
１６０１                ：収納物認識部
１７００                ：収納域定義情報
１８００                ：収納物情報
２００１                ：収納物検出部
２００２                ：収納物差分検出部
２００３                ：収納物情報更新部
【図１】
2019114126.tif 000003
【図２】
2019114126.tif 000004
【図３】
2019114126.tif 000005
【図４】
2019114126.tif 000006
【図５】
2019114126.tif 000007
【図６】
2019114126.tif 000008
【図７】
2019114126.tif 000009
【図８】
2019114126.tif 000010
【図９】
2019114126.tif 000011
【図１０】
2019114126.tif 000012
【図１１】
2019114126.tif 000013
【図１２】
2019114126.tif 000014
【図１３】
2019114126.tif 000015
【図１４】
2019114126.tif 000016
【図１５】
2019114126.tif 000017
【図１６】
2019114126.tif 000018
【図１７】
2019114126.tif 000019
【図１８】
2019114126.tif 000020
【図１９】
2019114126.tif 000021
【図２０】
2019114126.tif 000022
【図２１】
2019114126.tif 000023
【図２２】
2019114126.tif 000024