(57)【要約】      （修正有）【課題】精度良くテンプレートを絞り込むことができるロボットを提供する。【解決手段】ロボットが備える物体認識装置１は、認識対象の物体が存在し得る環境に係る情報を含む対象環境情報を格納する対象環境情報データベース１６と、物体に係るモデル画像を含む物体情報を格納する物体情報データベース１３とを有する。撮像画像とモデル画像とを用いてテンプレートマッチングを行い、物体を認識するものであり、物体認識装置１は、更に、撮像画像を撮像する撮像部２の姿勢情報を取得する姿勢取得部１５と、対象環境情報、物体情報及び姿勢情報に基づいて対象環境中の物体の存在可能範囲を算出し、テンプレートマッチングで用いるモデル画像に優先度を付与するテンプレート候補算出部１４（モデル画像推定部）とを有する。【選択図】図１
2016136320.tif 000002
【特許請求の範囲】
【請求項１】
認識対象の物体が存在し得る環境に係る情報を含む対象環境情報を格納する対象環境情報データベースと、
前記物体に係るモデル画像を含む物体情報を格納する物体情報データベースとを有し、
撮像画像と前記モデル画像とを用いてテンプレートマッチングを行い、前記物体を認識する物体認識装置を備えたロボットであって、
前記物体認識装置は、更に、
前記撮像画像を撮像する撮像部の姿勢情報を取得する姿勢取得部と、
前記対象環境情報、前記物体情報及び前記姿勢情報に基づいて前記対象環境中の前記物体の存在可能範囲を算出し、前記テンプレートマッチングで用いる前記モデル画像に優先度を付与するテンプレート候補算出部とを有する
ロボット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はロボットに関する。
【背景技術】
【０００２】
パターンマッチング手法により画像から物体を認識することが行われている。特許文献１には、物体判別装置において、判別対象となり得る物体までの距離ごとに複数のテンプレートを記憶し、判別の対象となる物体までの距離を検出し、その距離に対応したテンプレートを選択して画像内から検出した物体に対して当てはめて、物体を判別することが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０７２６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、背景技術に係る物体判別装置により物体認識を効率的に行うことができる。
しかしながら、この装置では、判別対象となり得る物体までの距離に基づいてテンプレートの絞り込みを行うために、当該距離の計測が誤っている場合には、正しいテンプレートの絞り込みが行われず、物体の判別を失敗することがある。
【０００５】
本発明は、このような問題を解決するためになされたものであり、精度良くテンプレートを絞り込むことができるロボットを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るロボットは、認識対象の物体が存在し得る環境に係る情報を含む対象環境情報を格納する対象環境情報データベースと、物体に係るモデル画像を含む物体情報を格納する物体情報データベースとを有し、撮像画像とモデル画像とを用いてテンプレートマッチングを行い、物体を認識する物体認識装置を備えたロボットであって、物体認識装置は、更に、撮像画像を撮像する撮像部の姿勢情報を取得する姿勢取得部と、対象環境情報、物体情報及び姿勢情報に基づいて対象環境中の物体の存在可能範囲を算出し、テンプレートマッチングで用いるモデル画像に優先度を付与するテンプレート候補算出部とを有するものである。このような構成により、精度良くテンプレートを絞り込んで、物体を認識することができる。
【発明の効果】
【０００７】
本発明により、精度良くテンプレートを絞り込むことができるロボットを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態に係る物体認識装置１の概略構成を示す図である。
【図２】実施の形態に係る物体情報格納部１３が格納する物体情報の例を示す図である。
【図３】実施の形態に係る対象環境情報格納部１６が格納する対象環境情報の例を示す図である。
【図４】実施の形態に係る物体認識方法の処理手順を示すフローチャートである。
【図５】実施の形態に係る対象物５と撮像部２の位置姿勢との関係を説明するための図である。
【図６】実施の形態に係る内棚７と対象物５との位置関係を説明するための図である。
【図７】実施の形態に係るカップ５の姿勢と載置状態の安定度との関係を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本実施の形態に係る物体認識装置、ロボットまたは物体認識方法について説明する。
本実施の形態に係る物体認識装置はロボットに組み込まれて動作するものである。このロボットは、ユーザの指示に従って、物体、例えば、棚の中にあるカップをユーザの所まで持ってくるような生活支援ロボットであり、物体認識装置はロボットが撮像した画像からカップを認識する機能を有している。
【００１０】
まず、本実施の形態に係る物体認識装置の概略構成について説明する。
図１は、本実施の形態に係る物体認識装置１の概略構成を示すブロック図である。
物体認識装置１は、認識対象物体指令取得部１１、認識対象物体所在取得部１２、物体情報格納部１３、モデル画像推定部１４、撮像位置姿勢取得部１５、対象環境情報格納部１６、モデル画像取得部１７、撮像画像取得部１８、物体認識部１９などを備える。
【００１１】
認識対象物体指令取得部１１は、ユーザの指示に係る認識対象物体を指定する指令を取得し、認識対象物体所在取得部１２に対象の物体ＩＤを出力する。このとき、認識対象物体指令取得部１１は、ユーザから音声もしくは端末操作により対象物体の指示を受け付けても良いし、ユーザはタスクを指示するのみで、タスクによってあらかじめ決まった物体を認識対象としても良い。例えば、ユーザがロボットにゴミ捨てタスクを指示したときは、ゴミ箱を自動的に認識対象とすれば良い。
認識対象物体所在取得部１２は、入力した物体ＩＤを物体情報格納部１３に出力し、物体情報格納部１３から物体ＩＤに対応する所在情報（例えば、家具）を入力し、モデル画像推定部１４に出力する。
【００１２】
物体情報格納部（物体情報データベース）１３は、認識対象となり得る物体の物体ＩＤ、所在情報、物体モデル（物体の３次元モデル）、モデル画像（テンプレート画像）などの物体情報を関連付けて格納する。
図２は、本実施の形態に係る物体情報格納部１３が格納する物体情報の例を示す図である。物体情報格納部１３は、例えば、物体ＩＤ「カップ１」と、所在情報「食器棚」と、物体モデル及びモデル画像を保存するモデル保存フォルダのアドレス（xxx/xxx/cup1）とを関連付けて格納する。
また、物体情報格納部１３は、入力した物体ＩＤに対応する物体モデルをモデル画像推定部１４に出力し、入力した物体ＩＤに対応するモデル画像をモデル画像取得部１７に出力する。
【００１３】
モデル画像推定部（テンプレート候補算出部）１４は、入力した所在情報を対象環境情報格納部１６に出力し、対象環境情報格納部１６から所在情報に対応する対象環境情報（例えば、家具の内棚の位置／サイズ、認識開始位置）を入力する。また、モデル画像推定部１４は、撮像位置姿勢取得部１５から撮像部（認識カメラ）２の位置情報、姿勢情報を入力する。
【００１４】
そして、モデル画像推定部１４は、入力した物体モデル、撮像部２の位置情報、姿勢情報、及び、対象環境情報に基づいて、対象環境中の物体の存在可能範囲を算出し、現在の物体の見えに近いモデル画像を推定し、モデル画像に優先度を付与し、この優先度をモデル画像取得部１７に出力する。優先度の付与方法については後述する。
【００１５】
撮像位置姿勢取得部（姿勢取得部）１５は、物体認識装置１の外にある撮像部２の位置情報、姿勢情報（ｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を取得する。
対象環境情報格納部（対象環境情報データベース）１６は、家具の内棚の位置／サイズ、認識開始位置などの対象環境情報を格納する。
図３は、本実施の形態に係る対象環境情報格納部１６が格納する対象環境情報の例を示す図である。対象環境情報格納部１６は、例えば、家具「食器棚」と、棚ＩＤ「棚１」と、棚の位置（Ｘ１，Ｙ１，Ｚ１）と、棚のサイズ（Ｄ１，Ｗ１，Ｈ１）と、認識開始位置（ｘ１，ｙ１，ｚ１，ｒ１，ｐ１，ｙ１）とを関連付けて格納する。
【００１６】
モデル画像取得部１７は、入力したモデル画像及び優先度に基づいて、物体認識部１９にモデル画像を出力する。
撮像画像取得部１８は、撮像部２から物体を認識するための撮像画像を入力し、物体認識部１９に出力する。
【００１７】
物体認識部１９は、入力した撮像画像中から、入力したモデル画像に対応する物体を照合により認識する。なお、物体認識部１９は、撮影画像と認識対象のモヂル画像とを照合するために、あらゆる既存の物体認識技術を利用することができる。例えば、Hinterstoisser, s. et al., "Multimodal Templates for Real-Time Detection of Texture-less Objects in Heavily Cluttered Scenes" (Oral), IEEE International Conference on Computer Vision (ICCV), Barcelona, Spain, November 2011に記載の技術を利用しても良い。
【００１８】
なお、物体認識装置１が実現する各構成要素は、例えば、コンピュータである物体認識装置１が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現できる。より具体的には、物体認識装置１は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い
【００１９】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００２０】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００２１】
次に、本実施の形態に係る物体認識方法について説明する。本実施の形態では、ユーザがロボットに棚の中にあるカップを持ってくるように指示するものとする。
図４は、本実施の形態に係る物体認識方法の処理手順を示すフローチャートである。
【００２２】
まず、処理を開始すると、認識対象物体指令取得部１１が、ユーザの指示に係る対象物「カップ」の認識指令を取得する（ステップＳ１０）。
次に、認識対象物体所在取得部１２が、物体情報格納部１３から対象物「カップ」の所在（家具）情報「食器棚」を取得する（ステップＳ２０）。
【００２３】
次に、モデル画像推定部１４が、対象環境情報格納部１６から所在情報に対応する家具「食器棚」の棚ＩＤ「棚１」で指定されている認識開始位置（ｘ１，ｙ１）を取得する（ステップＳ３０）。
また、モデル画像推定部１４が、対象環境情報格納部１６から家具「食器棚」の棚ＩＤ「棚１」の位置（Ｘ１，Ｙ１，Ｚ１）と、サイズ（Ｄ１，Ｗ１，Ｈ１）とを取得する（ステップＳ４０）。
【００２４】
また、モデル画像推定部１４が、撮像位置姿勢取得部１５から撮像部２の位置情報（ｚ）、姿勢情報（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を取得する（ステップＳ５０）。
また、モデル画像推定部１４が、物体情報格納部１３から対象物の３次元モデルを取得する（ステップＳ６０）。
【００２５】
次に、モデル画像推定部１４が、認識開始位置、棚の位置とサイズ、撮像部２の姿勢情報、対象物の３次元モデルを用いて、対象環境中の物体物の存在可能範囲を算出し、対象物の見えを推定する（ステップＳ７０）。
次に、モデル画像推定部１４が、対象物の見えに基づいて、モデル画像に優先度を付与する（ステップＳ８０）。
【００２６】
次に、撮像部２が画像を撮影し（ステップＳ９０）、撮像画像取得部１８が撮影画像を取得する。
次に、物体認識部１９が、撮影画像と、優先度が高いモデル画像と照合する（ステップＳ１００）。
【００２７】
最後に、物体認識部１９がカップを発見できたか判定する（ステップＳ１１０）。カップを発見できたとき（ステップＳ１１０のＹｅｓ）は、カップの３次元位置を出力して処理を終了する。また、カップを発見できなかったとき（ステップＳ１１０のＮｏ）は、ステップＳ１００に戻って、物体認識部１９が、撮影画像と、次に優先度が高いモデル画像と照合する。
そして、ロボット３は物体認識部１９が出力したカップの３次元位置に基づいて、カップを取りに行く。
【００２８】
ここで、ステップＳ３０〜ステップＳ８０におけるモデル画像推定部１４の優先度の付与方法について、より具体的に説明する。
モデル画像推定部１４は、次の（１）〜（３）を行うことで、物体候補領域をあらかじめ抽出することなく、より強い絞り込みを行うことができる。
【００２９】
（１）家具内棚に対する撮像部２の位置情報、姿勢情報（ｘ，ｙ，ｚ，ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を入力する。
図５は、本実施の形態に係る対象物５と撮像部２の位置姿勢との関係を説明するための図である。対象物であるカップ５は食器棚６の内棚７に載置されており、撮像部２はロボット３の頭部４に組み込まれている。なお、物体認識装置１は、ロボット３の内部に組み込まれている（図示せず）。
【００３０】
上述のように、モデル画像推定部１４は、ステップＳ３０において、対象環境情報格納部１６から認識開始位置（ｘ１，ｙ１）を撮像部２の位置情報（ｘ，ｙ）として取得する。そして、ロボット３は、画像を撮影までの間に認識開始位置（ｘ１，ｙ１）に移動する。
【００３１】
また、モデル画像推定部１４は、ステップＳ５０において、撮像位置姿勢取得部１５からロボット３の昇降軸移動量に基づいて算出した、食器棚６に対する撮像部２の位置情報（ｚ）を取得する。また、モデル画像推定部１４は、ステップＳ５０において、撮像位置姿勢取得部１５から、食器棚６に対するロボット３の頭部４の関節角度を撮像部２の姿勢情報（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）として取得する。
これにより、対象物の視点変化に起因する見えを絞り込むことができる。
【００３２】
（２）棚の奥行サイズを利用して、棚上での認識対象物体の存在範囲としてあり得る範囲を求める。
図６は、本実施の形態に係る内棚７と対象物５との位置関係を説明するための図である。
モデル画像推定部１４は、ステップＳ４０において、対象環境情報格納部１６から棚の位置（Ｘ１，Ｙ１，Ｚ１）とサイズ（Ｄ１，Ｗ１，Ｈ１）とを取得し、ステップＳ７０において、認識対象物体の存在範囲を求める。物体の存在範囲は、内棚７の最奥に置かれた場合から内棚７の最前に置かれた場合までの範囲となる。
【００３３】
すなわち、モデル画像推定部１４は、上記（１）で内棚７と撮像部２との距離を決定し、（２）で内棚７上の認識対象物体５と撮像部２との距離を制限し、対象物の奥行（ｘ）方向の存在範囲を絞り込む。
これにより、対象物の奥行（ｘ）方向での見えを絞り込むことができる。
【００３４】
（３）重力方向を考慮し、対象物の安定な載置状態かどうかを判定する。
モデル画像推定部１４は、ステップＳ６０において取得した対象物の３次元モデルに基づいて、カップ５の姿勢に対する載置状態の安定度を算出する。
図７は、本実施の形態に係るカップ５の姿勢と載置状態の安定度との関係を説明するための図である。重力方向を図の下方向としたときのカップ５の姿勢と載置状態の安定度との関係を示している。
【００３５】
そして、モデル画像推定部１４は、ステップＳ７０において、実際の重力方向と算出した安定度とに基づいて、現在の物体の見えに近いモデル画像を推定する。
すなわち、モデル画像推定部１４は、上記（１）で内棚７と撮像部２との回転を決定し、（３）でｒｏｌｌ方向及びｐｉｔｃｈ方向の絞り込みをして、安定な載置状態を絞り込む。
これにより、対象物の姿勢による見えを絞り込むことができる。
【００３６】
モデル画像推定部１４は、上記（１）〜（３）を行うことで、物体候補領域をあらかじめ抽出することなく、より強い絞り込みを行うことができる。
そして、モデル画像推定部１４は、ステップＳ８０において、絞り込んだモデル画像に対して、優先度を付与し、当該優先度をモデル画像取得部１７に出力する。
【００３７】
なお、本実施の形態に係るモデル画像推定部１４は、対象環境情報格納部１６から認識開始位置（ｘ１，ｙ１）を入力して対象環境中の対象物の存在可能範囲を算出したが、モデル画像推定部１４は、対象環境情報格納部１６から認識開始位置（ｘ１，ｙ１，ｚ１，ｒ１，ｐ１，ｙ１）を入力して対象環境中の対象物の存在可能範囲を算出しても良い。この場合には、撮像位置姿勢取得部１５から撮像部２の位置情報（ｚ）、姿勢情報（ｒｏｌｌ，ｐｉｔｃｈ，ｙａｗ）を入力する必要がなく、撮像位置姿勢取得部１５そのものが不要となる。
【００３８】
以上、説明したように、本実施の形態に係る物体認識装置１は、認識対象の物体が存在し得る環境に係る情報を含む対象環境情報を格納する対象環境情報データベース１６と、物体に係るモデル画像を含む物体情報を格納する物体情報データベース１３とを備え、撮像画像とモデル画像とを用いてテンプレートマッチングを行い、物体を認識する物体認識装置１であって、撮像画像を撮像する撮像部２の姿勢情報を取得する姿勢取得部１５と、対象環境情報、物体情報及び姿勢情報に基づいて対象環境中の物体の存在可能範囲を算出し、テンプレートマッチングで用いるモデル画像に優先度を付与するテンプレート候補算出部１４とを備えるものである。
また、本実施の形態に係るロボット３は、物体認識装置１を備えるものである。
【００３９】
また、本実施の形態に係る物体認識方法は、認識対象の物体が存在し得る環境に係る情報を含む対象環境情報を取得するステップＳ３０、ステップＳ４０と、物体に係るモデル画像を含む物体情報を取得するステップＳ６０と、撮像部の姿勢情報を取得するステップＳ５０と、対象環境情報、物体情報及び姿勢情報に基づいて対象環境中の物体の存在可能範囲を算出し、モデル画像に優先度を付与するステップＳ７０、ステップＳ８０と、撮像部が撮像した撮像画像と、モデル画像とのテンプレートマッチングを優先度に従って行い、物体を認識するステップＳ１００とを有するものである。
【００４０】
このような構成により、対象環境情報における物体の存在可能性によってテンプレートを絞り込むため、対象物までの距離によってテンプレートを絞り込む必要がなく、対象物までの距離の計測精度に起因するテンプレートの絞り込み失敗が起こらないようにすることができる。
【符号の説明】
【００４１】
１    物体認識装置
２    撮像部
３    ロボット
５    カップ
６    食器棚
７    内棚
１１    認識対象物体指令取得部
１２    認識対象物体所在取得部
１３    物体情報格納部（物体情報データベース）
１４    モデル画像推定部（テンプレート候補算出部）
１５    撮像位置姿勢取得部（姿勢取得部）
１６    対象環境情報格納部（対象環境情報データベース）
１７    モデル画像取得部
１８    撮像画像取得部
１９    物体認識部
【図１】
2016136320.tif 000003
【図２】
2016136320.tif 000004
【図３】
2016136320.tif 000005
【図４】
2016136320.tif 000006
【図５】
2016136320.tif 000007
【図６】
2016136320.tif 000008
【図７】
2016136320.tif 000009