【手続補正書】
【提出日】平成28年2月17日(2016.2.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、
前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、
前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像装置座標系における前記対象物の姿勢を推定する姿勢推定部と、
を備えるロボット。
【請求項２】
前記姿勢推定部は、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度のそれぞれに重み係数を乗じ、乗じることで得た値を基に前記第１の撮像座標系における前記対象物の姿勢を推定する請求項１に記載のロボット。
【請求項３】
前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、
前記姿勢推定部は、前記対象物が目標の位置から予め決められた位置範囲にあるとき、前記第１の相違度に乗じる重み係数を前記第２の相違度に乗じる重み係数より大きくする請求項２に記載のロボット。
【請求項４】
可動部を有するロボットと、
第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、
前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、
前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像装置座標系における前記対象物の姿勢を推定する姿勢推定部と、
を備えるロボットシステム。
【請求項５】
第１の相違度算出部が、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する手順と、
第２の相違度算出部が、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する手順と、
姿勢推定部が、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する手順と、
を有する姿勢検出方法。
【請求項６】
コンピューターに、
第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出ステップと、
前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出ステップと、
前記第１の相違度算出ステップで算出された複数の第１の相違度と、前記第２の相違度算出ステップで算出された複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定ステップと、
を実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】ロボット、ロボットシステム、姿勢検出方法及びプログラム
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、ロボット、ロボットシステム、姿勢検出方法及びプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そこで本発明の一態様は、上記問題に鑑みてなされたものであり、対象物の姿勢の推定精度を保ちつつ対象物の姿勢推定処理を簡便にすることを可能とするロボット、ロボットシステム、姿勢検出方法及びプログラムを提供することを課題とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の一態様は、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像装置座標系における前記対象物の姿勢を推定する姿勢推定部と、を備えるロボットである。
これにより、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
また、本発明の他の態様は、ロボットにおいて、前記姿勢推定部は、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度のそれぞれに重み係数を乗じ、乗じることで得た値を基に前記第１の撮像座標系における前記対象物の姿勢を推定する、構成が用いられてもよい。
これにより、ロボットは、第１の撮像装置と第２の撮像装置のうち対象物の視認性がより悪い方の撮像装置の撮像画像から得られた相違度を軽視するように重み係数を乗じることで、対象物の姿勢を推定する際に視認性がより悪い方の撮像装置の撮像画像から得られた相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができるので、姿勢の推定精度を向上させることができる。
また、本発明の他の態様は、ロボットにおいて、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、前記姿勢推定部は、前記対象物が目標の位置から予め決められた位置範囲にあるとき、前記第１の相違度に乗じる重み係数を前記第２の相違度に乗じる重み係数より大きくする、構成が用いられてもよい。
これにより、姿勢推定部は、対象物が目標の位置から予め決められた位置範囲にあるとき、視認性がより悪い第２の撮像装置の撮像画像から得られた第２の相違度に係る重みが相対的に小さくなるので、第２の相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。また、撮像装置同士の相対的な位置関係を算出する必要がないので、簡便に対象物の姿勢を推定することができる。
また、本発明の他の態様は、可動部を有するロボットと、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像装置座標系における前記対象物の姿勢を推定する姿勢推定部と、を備えるロボットシステムである。
これにより、ロボットシステムは、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
また、本発明の他の態様は、第１の相違度算出部が、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する手順と、第２の相違度算出部が、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する手順と、姿勢推定部が、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する手順と、を有する姿勢検出方法である。
これにより、姿勢検出方法は、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
また、本発明の他の態様は、コンピューターに、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出ステップと、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出ステップと、前記第１の相違度算出ステップで算出された複数の第１の相違度と、前記第２の相違度算出ステップで算出された複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定ステップと、を実行させるためのプログラムである。
このプログラムを実行することで、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
また、本発明の他の態様は、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定部と、を備える姿勢検出装置である。
これにより、姿勢検出装置は、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記姿勢推定部は、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度のそれぞれに重み係数を乗じ、乗じることで得た値を基に前記第１の撮像座標系における前記対象物の姿前記対象物の姿勢を推定する。これにより、姿勢検出装置は、第１の撮像装置と第２の撮像装置のうち対象物の視認性がより悪い方の撮像装置の撮像画像から得られた相違度を軽視するように重み係数を乗じることで、対象物の姿勢を推定する際に視認性がより悪い方の撮像装置の撮像画像から得られた相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができるので、姿勢の推定精度を向上させることができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、前記姿勢推定部は、前記対象物が目標の位置から予め決められた位置範囲にあるとき、前記第１の相違度に乗じる重み係数を前記第２の相違度に乗じる重み係数より大きくする。
これにより、姿勢推定部は、対象物が目標の位置から予め決められた位置範囲にあるとき、視認性がより悪い第２の撮像装置の撮像画像から得られた第２の相違度に係る重みが相対的に小さくなるので、第２の相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。また、撮像装置同士の相対的な位置関係を算出する必要がないので、簡便に対象物の姿勢を推定することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、前記姿勢推定部は、前記対象物が目標の位置から予め決められた位置範囲にあるとき、前記第２の相違度に乗じる重み係数が予め決められた範囲に収まるよう、前記対象物の移動開始時刻から前記対象物が目標の位置から予め決められた位置範囲に到達する時刻まで、前記第２の相違度に乗じる重み係数を変化させる。
これにより、対象物が目標の位置から予め決められた位置範囲にあるとき、視認性がより悪い第２の撮像装置の撮像画像から得られた第２の相違度に係る重みを予め決められた範囲に収まるようすることで、第２の相違度が含む誤差が対象物の姿勢推定に与える影響をより小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、前記姿勢推定部は、前記対象物の移動開始時刻から前記対象物が目標の位置から予め決められた位置範囲に到達する時刻までの期間で、前記第２の相違度に乗じる重み係数を時間の経過とともに小さくする。
これにより、時間が経過するに連れて、視認性がより悪い第２の撮像装置の撮像画像から得られた第２の相違度に係る重みが小さくなるので、第２の相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良く、前記対象物の位置が移動する場合、前記姿勢推定部は、前記対象物の単位時間あたりの移動量が小さくなるに従って前記第２の相違度に乗じる重み係数を小さくする。
ここで、対象物の単位時間あたりの移動量は、対象物を動かし始めたときが最も大きく、その後、時間の経過とともに徐々に小さくなるものである。このため、時間が経過するに連れて、第２の相違度に係る重みが小さくなるので、第２の相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置が前記第２の撮像装置よりも前記対象物の視認性が良い場合、前記姿勢推定部は、前記第２の相違度に乗じる重み係数を、前記対象物が目標の位置に近づくに従って小さくする。
これにより、対象物が目標の位置に近づくに従って、第２の相違度に係る重みが小さくなるので、第２の相違度が含む誤差が対象物の姿勢推定に与える影響を小さくすることができる。その結果、姿勢推定部は、対象物の姿勢推定の精度を向上させることができる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記姿勢推定部は、前記第１の相違度に乗じる重み係数と、前記第２の相違度に乗じる重み係数を、前記第１の撮像画像と前記第２の撮像画像のそれぞれに混入している雑音成分に応じて変化させる。
これにより、姿勢推定部は、雑音成分が多い画像に対する重み係数を相対的に小さくすることができ、雑音成分が多い画像に対応する相違度の姿勢推定への寄与を相対的に小さくすることができるので、対象物の姿勢推定の精度を向上させることができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記姿勢推定部は、前記第１の相違度に乗じる重み係数と、前記第２の相違度とに乗じる重み係数を、前記第１の撮像画像と前記第２の撮像画像のそれぞれに混入している正規化ランダムノイズの分散の逆数とする。これにより、正規化ランダムノイズの分散が大きいほどノイズが多いが、正規化ランダムノイズの分散が大きいほど重み係数が小さくなるので、ノイズが多いほど重み係数が小さくなる。その結果、ノイズが多い画像に対する重み係数を相対的に小さくすることができ、ノイズが多い画像に対応する相違度の姿勢推定への寄与を相対的に小さくすることができるので、対象物の姿勢推定の精度を向上させることができる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記姿勢推定部は、前記第１の撮像装置で撮像した異なるフレーム間の画像の相違度を前記第１の撮像画像に混入している正規化ランダムノイズの分散として算出し、前記第２の撮像装置で撮像した異なるフレーム間の画像の相違度を前記第２の撮像画像に混入する正規化ランダムノイズの分散として算出する。これにより、フレーム間の画像の相違度を算出することで、異なるフレーム間に含まれるノイズ量の差を算出することができ、この異なるフレーム間に含まれるノイズ量の差で、正規化ランダムノイズの分散を近似することができる。これにより、フレーム間の画像の相違度が大きいほど正規化ランダムノイズの分散が大きくなり、重み係数が小さくなる。その結果、ノイズが多い画像に対する重み係数を相対的に小さくすることができ、ノイズが多い画像に対応する相違度の姿勢推定への寄与を相対的に小さくすることができるので、対象物の姿勢推定の精度を向上させることができる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の撮像装置を基準とする第１の撮像座標系で前記対象物の姿勢を表したときの座標を第２の撮像装置を基準とする第２の撮像座標系で前記対象物の姿勢を表したときの座標へ変換する変換規則に基づいて、前記第１の仮想空間における前記対象物の複数の異なる姿勢に対応する第２の仮想空間における前記対象物の複数の姿勢をそれぞれ取得する姿勢取得部を更に備え、前記第２の相違度算出部は、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記姿勢取得部が算出した前記第２の仮想空間における対象物の複数の姿勢毎に算出する。これにより、対象物を第１の仮想空間と第２の仮想空間とで異なる視点から見たモデル画像について、それぞれ相違度を算出することができる。これにより、姿勢検出に向いた撮像装置が撮像した撮像画像から検出された姿勢に重きを置いて姿勢を推定できるので、対象物の姿勢推定の精度を向上させることができる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記第１の相違度算出部は、前記第１の撮像装置が対象物を撮像することで得られた第１の撮像画像と、前記第１の仮想空間における前記対象物のモデル画像との相違度を示す第３の相違度を、前記第１の仮想空間における前記対象物の複数の異なる位置毎に算出し、前記第２の相違度算出部は、前記第２の撮像装置が対象物を撮像することで得られた第２の撮像画像と、前記第２の仮想空間における前記対象物のモデル画像との相違度を示す第４の相違度を、前記第２の仮想空間における前記対象物の複数の異なる位置毎に算出し、複数の前記第３の相違度と複数の前記第４の相違度に基づいて、前記第１の撮像座標系における前記対象物の位置を推定する位置推定部と、を備える。
これにより、第１の撮像画像を用いて算出された第３の相違度と第２の撮像画像を用いて算出された第４の相違度から位置を推定するので、一つの撮像装置で撮像した画像から位置を推定するよりも位置の推定精度を向上させることができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記位置推定部は、前記第１の相違度算出部が算出した複数の第３の相違度を参照して、前記第１の撮像座標系における撮像装置の光軸と直行する第１の平面の位置を推定し、前記第２の相違度算出部が算出した複数の第４の相違度を参照して、前記第２の撮像座標系における撮像装置の光軸と直行する第２の平面の位置を推定する平面位置推定部と、前記第１の平面の位置と前記第２の平面の位置とを参照して、前記第１の撮像座標系における前記対象物の奥行きを算出する奥行き算出部と、を備える。
これにより、第１の撮像画像を用いて算出された第３の相違度と第２の撮像画像を用いて算出された第３の相違度から、奥行きを算出するので、奥行きの推定精度を向上させることができる。また、平面位置推定部で推定された第１の平面の位置と、第２の平面の位置とを参照して第１の撮像装置の光軸方向の位置を算出するため、第１の撮像装置の光軸方向の位置の推定精度を向上させることができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記位置推定部は、複数の前記第３の相違度と複数の前記第４の相違度に基づいて、前記第１の撮像座標系における前記対象物の奥行きを推定する。これにより、第１の撮像画像を用いて算出された第３の相違度と第２の撮像画像を用いて算出された第４の相違度から奥行きを推定するので、一つの撮像装置で撮像した画像から奥行きを推定するよりも奥行きの推定精度を向上させることができる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記姿勢推定部が推定した対象物の姿勢とそれ以前に推定した前記対象物の姿勢との差を参照して、推定が収束したか否か判定する判定部と、を備え、前記判定部が収束していないと判定した場合、前記第１の相違度算出部は、前記対象物のモデル画像の姿勢を予め決められたように変更した後のモデル画像と前記第１の撮像画像とに基づいて前記複数の第１の相違度を算出し、前記第２の相違度算出部は、前記対象物のモデル画像の姿勢を予め決められたように変更した後のモデル画像と前記第２の撮像画像とに基づいて前記複数の第２の相違度を算出し、前記姿勢推定部は、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて、前記対象物の姿勢を推定し、前記判定部は、前記姿勢推定部が推定した前記対象物の姿勢を用いて判定を再び行う。
これにより、姿勢推定部は、対象物の姿勢とそれ以前に推定した対象物の姿勢との差が小さくなるまで、対象物の姿勢を更新するので、対象物の姿勢推定の精度を向上させることができる。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記対象物が目標の位置から予め決められた範囲にある際に、該対象物の位置または姿勢が変化する前後で前記第１の撮像装置が撮像して得た二つの画像間の変化量は、該対象物の位置または姿勢が変化する前後で前記第２の撮像装置が撮像して得た二つの画像間の変化量より大きい。
これにより、第１の撮像装置は、対象物が目標の位置から予め決められた範囲にある際に対象物の視認性が良く、かつ対象物が目標の位置から予め決められた範囲にある際に第１の相違度が姿勢の検出に貢献する割合が相対的に大きくなるので、対象物が目標の位置から予め決められた範囲にある際の対象物の姿勢精度を向上させることができる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記対象物が目標の位置及び姿勢にあるときの該対象物を前記第１の撮像装置で撮影した第１のゴール画像と前記第２の撮像装置で撮影した第２のゴール画像とを取得するゴール画像取得部と、前記第１のゴール画像を撮影した空間を再現する第１の仮想空間において存在する対象物のモデルの位置及び姿勢から、予め決められた軸周りまたは軸方向に予め決められたように前記モデルを移動させて撮影した画像と、前記第１のゴール画像との相違度を示す第５の相違度を算出し、前記第２のゴール画像を撮影した空間を再現する第２の仮想空間において存在する対象物のモデルの位置及び姿勢から、予め決められた軸周りまたは軸方向に予め決められたように前記モデルを移動させて撮影した画像と、第２のゴール画像との相違度を示す第６の相違度を算出し、前記第５の相違度を算出した際の移動方向への前記第５の相違度の勾配と、前記第６の相違度を算出した際の移動方向への前記第６の相違度の勾配とを比較することで、姿勢推定の基準となる撮像装置を決定し、該決定した撮像装置を新たに前記第１の撮像装置とする位置決め基準撮像装置決定部と、を備える。
これにより、目標の位置及び姿勢付近において、決定された姿勢推定の基準となる撮像装置が撮影した画像から導出される相違度が姿勢推定に貢献する割合が大きくなる。その際、目標の位置及び姿勢付近において、別の撮像装置を基準としたときよりも相違度の変化が大きくなることで、対象物を目標の位置及び姿勢により早く到達させることができる。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記対象物が複数ある場合、前記第１の相違度算出部は、前記第１の仮想空間において位置姿勢推定の対象となる対象物以外の対象物全ての画像領域を特定し、該特定した画像領域を演算対象から除いて第１の相違度を算出し、前記第２の相違度算出部は、前記第２の仮想空間において位置姿勢推定の対象となる対象物以外の対象物全ての画像領域を特定し、該特定した画像領域を演算対象から除いて第２の相違度を算出する。これにより、対象物が複数あったとしても、姿勢推定の対象となる対象物以外の対象物の画像領域が相違度に貢献しないようにすることで、姿勢推定の対象となる対象物の画像領域だけから相違度を算出することができる。その結果、複数の対象物それぞれについて姿勢を推定することができる。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
また、本発明の他の態様は、上述の姿勢検出装置であって、前記推定された対象物の位置及び姿勢と前記対象物が目標の位置にある場合の位置及び姿勢とに基づいて、現在の時刻から予め決められた時間経過した後のロボット座標系における位置及び姿勢の変化量を決定する目標位置姿勢決定部と、ロボットを制御する時間間隔毎に、前記目標位置姿勢決定部が決定した変化量のうち最新の変化量に基づいて、前記時間間隔後のロボットの位置及び姿勢を決定し、該決定した位置及び姿勢になるようロボットを制御するロボット制御部と、を更に備え、前記ロボット制御部は、前記予め決められた時間のうち、自装置が第１の撮像画像及び第２の撮像画像から前記変化量を決定するまでの最短時間に基づいて決められた時間まではロボットが加速及び減速で移動するように前記ロボットの位置及び姿勢を決定し、その後の時間はロボットが等速で移動するように前記ロボットの位置及び姿勢を決定する。
これにより、第１の撮像画像及び第２の撮像画像から前記変化量を決定するまでの時間に揺らぎがあっても、第１の撮像画像及び第２の撮像画像の撮像開始から前記変化量を決定するまでの一連の画像処理が終了した時点では、常にロボットが等速で移動することになる。それにより、ロボット制御部はその等速で移動しているときの速度を初速としてロボットの加速制御または減速制御を始めることができる。そのため、ロボット制御部は、画像処理が終わると同時に、その画像処理で得られた変化量を用いてロボットを制御できるので、対象物を目標の位置及び目標の姿勢にするまでの時間を短縮することができる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、本発明の他の態様は、第１の撮像装置が撮像した空間に対応する第１の仮想空間における対象物の複数の異なる姿勢毎に第１の相違度を算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が撮像した空間に対応する第２の仮想空間における対象物の複数の姿勢毎に第２の相違度を算出する第２の相違度算出部と、前記複数の第１の相違度と前記複数の第２の相違度とを参照して前記第１の撮像装置を基準とする第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定部と、を備える姿勢検出装置である。
これにより、姿勢検出装置は、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
また、本発明の他の態様は、第１の撮像装置が対象物を撮像することで得られた第１の撮像画像と、第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における前記対象物の複数の異なる位置毎に算出する第３の相違度算出部と、第２の撮像装置が対象物を撮像することで得られた第２の撮像画像と、第２の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第２の仮想空間における前記対象物の複数の異なる位置毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて第１の撮像座標系における前記対象物の位置を推定する位置推定部と、を備える位置検出装置である。
これにより、位置検出装置は、複数の異なる視点から得られた相違度それぞれに基づいて対象物の位置を推定できるので、位置の推定精度を向上させることができる。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
また、本発明の他の態様は、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定部と、を備えるロボットである。
これにより、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
また、本発明の他の態様は、可動部を有するロボットと、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出部と、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出部と、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定部と、を備えるロボットシステムである。
これにより、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
また、本発明の他の態様は、第１の相違度算出部が、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する手順と、第２の相違度算出部が、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記第２の仮想空間における対象物の複数の姿勢毎に算出する手順と、姿勢推定部が、前記第１の相違度算出部が算出した複数の第１の相違度と、前記第２の相違度算出部が算出した複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する手順と、を有する姿勢検出方法である。
これにより、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
また、本発明の他の態様は、コンピューターに、第１の撮像装置が対象物を撮像して得た第１の撮像画像と、前記第１の撮像装置が撮像した空間に対応する第１の仮想空間における前記対象物のモデル画像との相違度を示す第１の相違度を、前記第１の仮想空間における対象物の複数の異なる姿勢毎に算出する第１の相違度算出ステップと、前記第１の撮像装置とは異なる位置に配置された第２の撮像装置が対象物を撮像して得た第２の撮像画像と、前記第２の撮像装置が撮像した空間に対応する第２の仮想空間における前記対象物のモデル画像との相違度を示す第２の相違度を、前記姿勢取得ステップで算出された前記第２の仮想空間における対象物の複数の姿勢毎に算出する第２の相違度算出ステップと、前記第１の相違度算出ステップで算出された複数の第１の相違度と、前記第２の相違度算出ステップで算出された複数の第２の相違度とに基づいて前記第１の撮像座標系における前記対象物の姿勢を推定する姿勢推定ステップと、を実行させるためのプログラムである。
このプログラムを実行することで、複数の異なる視点から得られた相違度それぞれに基づいて対象物の姿勢を推定できるので、姿勢の推定精度を向上させることができる。