(57)【要約】【課題】対象物の位置または姿勢の検出精度を向上させる。【解決手段】特徴取得部３３１が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得手順と、比較画像範囲取得部３３４が、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得手順と、を有する。【選択図】図５
2014029664.tif 000002
【特許請求の範囲】
【請求項１】
特徴取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得手順と、
比較画像範囲取得部が、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得手順と、
を有することを特徴とする比較画像範囲生成方法。
【請求項２】
低加工精度領域取得部が、前記それぞれのテンプレート画像について、前記対象物の加工精度が予め決められた精度より低い部分の画像領域を取得する低加工精度領域取得手順を更に有し、
前記比較画像範囲取得手順において、前記比較画像範囲取得部は、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさ、ならびに前記低加工精度領域取得部により取得された画像領域に基づいて、前記比較画像範囲を取得することを特徴とする請求項１に記載の比較画像範囲生成方法。
【請求項３】
取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得手順と、
撮影画像取得部が、前記対象物が撮影された画像を取得する撮影画像取得手順と、
位置姿勢推定部が、前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定手順と、
を有することを特徴とする位置姿勢検出方法。
【請求項４】
特徴取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得手順と、
比較画像範囲取得部が、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得手順と、
撮影画像取得部が、前記対象物が撮影された画像を取得する撮影画像取得手順と、
位置姿勢推定部が、前記複数のテンプレート画像のそれぞれについて、前記比較画像範囲取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定手順と、
を有することを特徴とする位置姿勢検出方法。
【請求項５】
対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、
前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、
を備えることを特徴とする比較画像範囲生成装置。
【請求項６】
対象物のモデルの輪郭を表わす画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、
前記対象物が撮影された画像を取得する撮影画像取得部と、
前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、
を備えることを特徴とする位置姿勢検出装置。
【請求項７】
対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、
前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、
を備えることを特徴とするロボット。
【請求項８】
対象物のモデルの輪郭を表わす画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、
前記対象物が撮影された画像を取得する撮影画像取得部と、
前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、
を備えることを特徴とするロボット。
【請求項９】
対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、
前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、
を備えることを特徴とするロボットシステム。
【請求項１０】
対象物のモデルの輪郭を表わす画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、
前記対象物が撮影された画像を取得する撮影画像取得部と、
前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、
を備えることを特徴とするロボットシステム。
【請求項１１】
コンピューターに、
対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得ステップと、
前記それぞれのテンプレート画像について、前記特徴取得ステップにより取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得ステップと、
を実行させるための比較画像範囲生成プログラム。
【請求項１２】
コンピューターに、
対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得ステップと、
前記対象物が撮影された画像を取得する撮影画像取得ステップと、
前記取得ステップにより取得された前記複数のテンプレート画像のそれぞれについて、前記取得ステップにより取得された該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得ステップにより取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定ステップと、
を実行させるための位置姿勢検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラムに関する。
【背景技術】
【０００２】
３次元物体認識を行なう方法のひとつに、モデルベーストマッチング法がある。この方法は、位置及び姿勢を検出する対象となる対象物の３次元物体モデル（以下、ＣＡＤモデルともいう）をコンピューターの内部に予め蓄え、このＣＡＤモデルと対象物が撮像された画像とを比較して、その画像中から対象物を探し出し、対象物の３次元位置と姿勢を検出するものである。
【０００３】
例えば、特許文献１には、対象物の特徴データの集合と入力画像から得られた特徴データとのマッチングを取って対象物の位置姿勢を認識するモデルデータ作成方法において、対象物の姿勢の異なる数種類の特徴データを作成することが開示されている。そして、特許文献１には、これら特徴データの座標変換を行い、全ての特徴データをベースの座標に合わせてから、各特徴データから必要な部分を切り出し、切り出した全ての特徴データを重ね合わせてモデルの基データを作成することが開示されている。更に、特許文献１には、その後に、似通った近傍の特徴データを平均化処理して得たデータをモデルデータとして登録するようにしたモデルベーストマッチング法によるモデルデータ作成方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−９６１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一般的なモデルベーストマッチング法では、ＣＡＤモデルが実際の対象物とは完全に一致しない為に、所望のマッチングの精度が達成できなかった。また、特許文献１では、各特徴データから必要な部分を切り出すが、その必要な部分の切り出し方によっては、所望のマッチングの精度が達成できなかった。このように、所望のマッチングの精度が達成できないと、対象物の位置または姿勢を精度よく検出することができないという問題があった。
【０００６】
そこで本発明は、上記問題に鑑みてなされたものであり、対象物の位置または姿勢の検出精度を向上させることを可能とする比較画像範囲生成方法、位置姿勢検出方法、比較画像範囲生成装置、位置姿勢検出装置、ロボット、ロボットシステム、比較画像範囲生成プログラム及び位置姿勢検出プログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
（１）本発明は前記事情に鑑みなされたもので、本発明の一態様は、特徴取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得手順と、比較画像範囲取得部が、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得手順と、を有することを特徴とする比較画像範囲生成方法である。
この構成によれば、テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて比較画像範囲を取得するので、特徴点の特徴が大きいほど、比較画像範囲に含まれるその特徴点周辺の領域の割合を増加させることができる。これにより、この比較画像範囲に関して、テンプレート画像と対象物が撮影された撮影画像との間で、比較することにより位置または姿勢のうちいずれかを推定するので、位置または姿勢の推定精度を向上させることができる。
【０００８】
（２）上記に記載の比較画像範囲生成方法において、本発明の一態様は、前記それぞれのテンプレート画像について、前記対象物の加工精度が予め決められた精度より低い部分の画像領域を取得する低加工精度領域取得手順を更に有し、前記比較画像範囲取得手順において、前記比較画像範囲取得部は、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさ、ならびに前記低加工精度領域取得部により取得された画像領域に基づいて、前記比較画像範囲を取得することを特徴とする。
この構成によれば、モデル及び対象物自体の特徴点の中でも加工精度の低い部分の情報を除くことができる。これにより、この比較画像範囲に関して、テンプレート画像と対象物が撮影された撮影画像との間で、比較することにより位置または姿勢のうちいずれかを推定するので、対象物に加工精度のばらつきがあったとしても、位置または姿勢の推定精度を向上させることができる。
【０００９】
（３）本発明の一態様は、取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得手順と、撮影画像取得部が、前記対象物が撮影された画像を取得する撮影画像取得手順と、位置姿勢推定部が、前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定手順と、を有することを特徴とする位置姿勢検出方法である。
この構成によれば、テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて比較画像範囲を取得するので、特徴点の特徴が大きいほど、比較画像範囲に含まれるその特徴点周辺の領域の割合を増加させることができる。これにより、この比較画像範囲に関して、テンプレート画像と対象物が撮影された撮影画像との間で、比較することにより位置または姿勢のうちいずれかを推定するので、位置または姿勢の推定精度を向上させることができる。
【００１０】
（４）本発明の一態様は、特徴取得部が、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得手順と、比較画像範囲取得部が、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得手順と、撮影画像取得部が、前記対象物が撮影された画像を取得する撮影画像取得手順と、位置姿勢推定部が、前記複数のテンプレート画像のそれぞれについて、前記比較画像範囲取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定手順と、を有することを特徴とする位置姿勢検出方法である。
この構成によれば、テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて比較画像範囲を取得するので、特徴点の特徴が大きいほど、比較画像範囲に含まれるその特徴点周辺の領域の割合を増加させることができる。これにより、この比較画像範囲に関して、テンプレート画像と対象物が撮影された撮影画像との間で、比較することにより位置または姿勢のうちいずれかを推定するので、位置または姿勢の推定精度を向上させることができる。
【００１１】
（５）本発明の一態様は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、を備えることを特徴とする比較画像範囲生成装置である。
【００１２】
（６）本発明の一態様は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、前記対象物が撮影された画像を取得する撮影画像取得部と、前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、を備えることを特徴とする位置姿勢検出装置である。
【００１３】
（７）本発明の一態様は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、を備えることを特徴とするロボットである。
【００１４】
（８）本発明の一態様は、対象物のモデルの輪郭を表わす画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、前記対象物が撮影された画像を取得する撮影画像取得部と、前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、を備えることを特徴とするロボットである。
【００１５】
（９）本発明の一態様は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得部と、前記それぞれのテンプレート画像について、前記特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得部と、を備えることを特徴とするロボットシステムである。
【００１６】
（１０）本発明の一態様は、対象物のモデルの輪郭を表わす画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得部と、前記対象物が撮影された画像を取得する撮影画像取得部と、前記取得部が取得した前記複数のテンプレート画像のそれぞれについて、前記取得部が取得した該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得部により取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定部と、を備えることを特徴とするロボットシステムである。
【００１７】
（１１）本発明の一態様は、コンピューターに、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する特徴取得ステップと、前記それぞれのテンプレート画像について、前記特徴取得ステップにより取得されたモデルの特徴点およびその特徴点の特徴の大きさに基づいて、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する比較画像範囲取得ステップと、を実行させるための比較画像範囲生成プログラムである。
【００１８】
（１２）本発明の一態様は、コンピューターに、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する取得ステップと、前記対象物が撮影された画像を取得する撮影画像取得ステップと、前記取得ステップにより取得された前記複数のテンプレート画像のそれぞれについて、前記取得ステップにより取得された該テンプレート画像に対応する前記比較画像範囲に関して、前記撮影画像取得ステップにより取得された画像と比較することにより、前記対象物の位置または姿勢のうち少なくともいずれかを推定する位置姿勢推定ステップと、を実行させるための位置姿勢検出プログラムである。
【００１９】
本発明によれば、対象物の位置または姿勢の検出精度を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態におけるロボットシステムの構成を示す概略ブロック図である。
【図２】第１の実施形態におけるロボット本体の斜視図の一例である。
【図３】板金部品が撮像された撮像画像と該板金部品の輪郭を表わすＣＡＤモデルのＣＧ画像の比較である。
【図４】第１の実施形態における位置姿勢検出装置のハードウェアの構成を示す概略ブロック図である。
【図５】第１の実施形態における制御部の論理的な構成を示す概略ブロック図である。
【図６】特徴点抽出部の処理の概要を説明するための図である。
【図７】特徴領域抽出部の処理の概要を説明するための図である。
【図８】特徴領域画像生成部の処理の概要を説明するための図である。
【図９】高精度領域画像生成部の処理の概要を説明するための図である。
【図１０】重複範囲抽出部の処理の概要を説明するための図である。
【図１１】比較画像生成部の処理の概要を説明するための図である。
【図１２】第１の実施形態の位置姿勢検出装置が、位置姿勢検出の前に、事前に予め実行する処理の流れの一例を示すフローチャートである。
【図１３】第１の実施形態の位置姿勢検出装置が、実際に対象物の位置または姿勢を検出する位置姿勢検出処理の流れの一例を示すフローチャートである。
【図１４】第２の実施形態におけるロボットシステムの構成を示す概略ブロック図である。
【図１５】第２の実施形態における比較画像範囲生成装置の構成を示す概略ブロック図である。
【図１６】第２の実施形態における比較画像範囲生成装置の制御部の論理的な構成を示す概略ブロック図である。
【図１７】第２の実施形態における位置姿勢検出装置の構成を示す概略ブロック図である。
【図１８】第２の実施形態における位置姿勢検出装置の制御部の論理的な構成を示す概略ブロック図である。
【図１９】ロボット本体のアームが２本の場合のロボットシステムの概略の外観図の一例である。
【発明を実施するための形態】
【００２１】
＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、第１の実施形態におけるロボットシステム１の構成を示す概略ブロック図である。同図に示すように、ロボットシステム１は、ロボット本体１０と、撮像装置２０と、位置姿勢検出装置３０と、ロボット制御装置５０とを備える。
【００２２】
撮像装置２０は、ロボット制御装置５０の制御に基づいて、位置または姿勢を検出する対象となる対象物を撮像する。そして、撮像装置２０は、撮像することにより得られた撮像画像を示す撮像画像データを位置姿勢検出装置３０とロボット制御装置５０へ出力する。
位置姿勢検出装置３０は、比較画像範囲生成部４０を備える。位置姿勢検出装置３０は、撮像装置２０から入力された撮像画像データに基づいて、対象物の位置または姿勢のうち少なくともいずれか一つを検出する。そして、位置姿勢検出装置３０は、検出した位置または姿勢のうち少なくともいずれか一つの情報を含む位置姿勢情報をロボット制御装置５０へ出力する。
【００２３】
ロボット制御装置５０は、撮像装置２０から入力された撮像画像データと位置姿勢検出装置３０から入力された位置姿勢情報に基づいて、ロボット本体１０を制御する。具体的には、例えば、ロボット制御装置５０は、位置姿勢検出装置３０から入力された位置姿勢情報に含まれる位置または姿勢の一方または双方に基づいて、ロボット本体１０の把持部が対象物を把持できる把持位置またはロボット本体１０の把持部が対象物を把持できる把持角度の一方または双方を算出する。そして、ロボット制御装置５０は、例えば、撮像画像データを参照しつつ、算出した把持位置へロボット本体１０の把持部を移動するように制御するとともに、ロボット本体１０の把持部の角度が算出した把持角度になるよう制御する。
【００２４】
そして、ロボット本体１０の把持部の位置および角度がそれぞれ算出した把持位置及び把持角度になった場合、ロボット制御装置５０は、例えば、ロボット本体に１０の把持部に、対象物を把持させるように制御する。
ロボット本体１０は、例えば、ロボット制御装置５０の制御により、対象物を把持し、対象物を把持したまま予め決められた目的位置まで対象物を搬送する。
【００２５】
図２は、第１の実施形態におけるロボット本体１０の斜視図の一例である。同図において、ロボットシステム１におけるロボット本体１０と、撮像装置２０と、位置姿勢検出装置３０と、ロボット制御装置５０と、対象物２００とが設置されている。また、ロボット本体１０とロボット制御装置５０とは、第１の信号ケーブル１１を介して接続されている。ロボット本体１０とロボット制御装置５０は、互いに第１の信号ケーブルを介して信号のやり取りを行う。また、位置姿勢検出装置３０とロボット制御装置５０とは、第２の信号ケーブル１２を介して接続されている。位置姿勢検出装置３０は、第２の信号ケーブル１２を介して情報をロボット制御装置５０に出力する。なお、同図において、撮像装置２０と位置姿勢検出装置３０の間の信号ケーブル、及び撮像装置２０とロボット制御装置５０との間の信号ケーブルは省略されているものとする。同図は、ロボット本体１０が対象物２００をこれから把持する動作を開始する直前の図である。
【００２６】
同図の例において、撮像装置２０の光軸上に、対象物２００の中心が位置するよう、予め対象物２００が位置決めされている。図２に示すように、本実施形態のロボットシステム１では、撮像装置２０がロボット本体１０とは独立に配置されているので、対象物２００に対する撮像アングルの自由度が高くなる。これにより、位置姿勢検出装置３０は、様々な撮像アングルで撮像された撮像画像を用いて、対象物２００の位置及び姿勢を検出でできるので、位置及び姿勢の検出精度が向上する。
なお、同図では、位置姿勢検出装置３０およびロボット制御装置５０の図示を省略している。また、同図における部品や構造等の縮尺は、図を明りょうなものとするために実際のものとは異なる。
【００２７】
ロボット本体１０は、地面に固定された支持台１０ａと、旋回可能および屈伸可能に支持台１０ａに連結されたアーム部１０ｂと、回動可能および首振り可能にアーム部１０ｂに連結されたハンド部１０ｃと、ハンド部１０ｃに取り付けられた把持部１０ｄとを含んで構成される。
【００２８】
ロボット本体１０は、例えば６軸の垂直多関節ロボットであり、支持台１０ａとアーム部１０ｂとハンド部１０ｃとの連係した動作によって６軸の自由度を有し、把持部１０ｄが把持する部品の位置および向きを自在に変更することができる。ロボット本体１０は、ロボット制御装置５０による制御によって、アーム部１０ｂとハンド部１０ｃと把持部１０ｄとのうちいずれか一つまたは組み合わせを動かす。
なお、ロボット本体１０の自由度は６軸によるものに限ったものではなく、任意の数の軸を有してもよい。例えば、ロボット本体１０の自由度は７軸でもよい。また、支持台１０ａは、壁や天井等、地面に対して固定された場所に設置してもよい。
【００２９】
図３は、板金部品が撮像された撮像画像と該板金部品の輪郭を表わすＣＡＤモデルのＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像の比較である。画像Ｆ３１は板金部品が撮像された撮像画像の一例である。画像Ｆ３１に示されるように、本板金部品が、金属を打ち抜きや曲げ加工する事により成形されている。画像Ｆ３２は、画像Ｆ３１のＣＡＤモデルのＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）画像である。従来のモデルベーストマッチング法を用いた装置は、画像Ｆ３１に示す撮像画像と画像Ｆ３２に示すＣＧ画像とを比較する事で位置及び姿勢を求める。ここで、画像Ｆ３１に示す対象物と画像Ｆ３２に示すＣＡＤモデルが完全に同じ形状でなければ、正確な位置または姿勢を求める事ができない。しかし、実際は対象物の加工精度にばらつきがある事等により、ＣＡＤモデルと完全に一致する事はない。
【００３０】
それに対し、第１の実施形態における位置姿勢検出装置３０は、特徴の大きさに応じた特徴領域と、加工精度が予め決められた基準より高い高加工精度領域とを抽出する。特徴の大きさは、特徴の程度を表す数で、大きい方が特徴の程度が大きい。特徴の大きさは、例えば、隣接する画素間での輝度値差である。そして、位置姿勢検出装置３０は、一例として、ＣＡＤモデルのＣＧ画像と撮像画像との比較の際に、特徴領域と高加工精度領域が重なる重複領域の画像情報のみを比較することにより、対象物の位置または姿勢の検出精度を向上させる。
【００３１】
図４は、第１の実施形態における位置姿勢検出装置３０のハードウェアの構成を示す概略ブロック図である。同図において、位置姿勢検出装置３０は、入力部３１と、記憶部３２と、制御部３３と、表示部３４とを備える。
入力部３１は、位置姿勢検出装置３０を使用するユーザからの入力を受け付ける。具体的には、例えば、入力部３１は、対象物の三次元物体モデル（ＣＡＤモデル）において、加工精度が予め決められた基準より低い領域（以下、低加工精度領域という）を受け付ける。ここで、低加工精度領域とは、換言すれば、許容差が予め決められた閾値より高い領域のことである。例えば対象物が板金部品の場合、低加工精度領域とは、曲げまたは絞りの加工がされた画像領域である。これは、金属プレス加工において、曲げ及び絞りの普通寸法許容差が、打ち抜きの普通寸法許容差よりも大きいことを根拠としている。入力部３１は、受け付けた低加工精度領域を示す低加工精度領域情報を制御部３３へ出力する。
【００３２】
記憶部３２には、ＣＡＤモデルに基づいて生成された複数のテンプレート画像（例えば、ＣＧ画像）を示すテンプレート画像情報が記憶されている。ここで、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像とする。
また、記憶部３２には、対象物の三次元モデルを構成する座標データと、その座標が低加工精度領域であるか否かを示す低加工精度領域フラグとが関連付けられて記憶されている。ここで、低加工精度領域フラグは、一例として公差が予め決められた基準を超える場合に１、公差が予め決められた基準以下の場合に０をとる。但し、入力部３１がユーザから低加工精度領域を受け付ける前にあっては、低加工精度領域フラグは、全て０であるものとする。
【００３３】
続いて、制御部３３の処理を、実際に対象物の位置または姿勢を推定する前に事前に行っておく事前処理と、実際に対象物の位置または姿勢を推定する処理（以下、位置姿勢推定処理という）とに分けて説明する。
まず、制御部３３の事前処理について説明する。事前処理において、制御部３３は、対象物の三次元モデルを表示部３４に表示させる。そして、制御部３３は、ユーザに低加工精度領域を入力するよう指示する旨を表示部３４に表示させる。これにより、ユーザに低加工精度領域を入力するよう促す。また、制御部３３は、入力部３１から入力された低加工精度領域情報を受け付け、受け付けた低加工精度領域情報を記憶部３２に反映させる。この処理の詳細は後述する。
【００３４】
そして、制御部３３は、対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲を比較画像範囲として取得する。その際、制御部３３は、ＣＡＤモデルのＣＧ画像と対象物が撮像された撮像画像との間で比較する際に、曲げや絞りの加工がされた領域などの低加工精度領域を比較画像範囲から排除する。そして、制御部３３は、加工精度が高い画像領域のみを比較することで、テンプレート画像とのマッチングの精度を向上させる。例えば、対象物が板金部品の場合は、制御部３３は、入力部３１から受け付けた低加工精度領域情報が曲げや絞りの加工がされた画像領域である場合、その曲げや絞りの加工がされた画像領域を、ＣＡＤモデルのＣＧ画像と対象物が撮像された撮像画像とを比較する際の比較対象となる領域から除外する。
【００３５】
続いて、制御部３３の位置姿勢推定処理について説明する。制御部３３は、撮像装置２０から入力された撮像画像データを用いて、対象物の位置または姿勢のうち少なくともいずれか一つを検出する。この処理の詳細は後述する。そして、制御部３３は、検出した位置または姿勢のうち少なくともいずれか一つの情報を含む位置姿勢情報をロボット制御装置５０へ出力する。
【００３６】
図５は、第１の実施形態における制御部３３の論理的な構成を示す概略ブロック図である。制御部３３は、比較画像範囲生成部４０と、撮影画像取得部３３８と、比較画像生成部３３９と、位置姿勢推定部３４０とを備える。比較画像範囲生成部４０は、特徴取得部３３１と、特徴領域抽出部３３２と、低加工精度領域取得部３３３と、比較画像範囲取得部３３４とを備える。同図において、撮影画像が入力される前に予め実行される事前処理経路が実線の矢印で示され、撮影画像が入力された後に実行される位置姿勢推定処理経路が破線の矢印で示されている。
【００３７】
まず、事前処理において、制御部３３の各部が行う処理について説明する。
特徴取得部３３１は、記憶部３２に記憶されている複数のテンプレート画像情報のうち一のテンプレート画像情報を処理の対象となる対象テンプレート画像情報として読み出す。そして、特徴取得部３３１は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する。具体的には、例えば、特徴取得部３３１は、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）を用いて、特徴点を抽出する。そして、その際に、特徴取得部３３１は、検出された特徴点がどのスケール（ＳＵＲＦのパラメータの一つ）で検出されたかを示す特徴のサイズ（ＳＵＲＦのパラメータの一つ）を、その特徴点の特徴の大きさとする。特徴取得部３３１は、抽出した特徴点の位置と該特徴点の特徴の大きさを示すデータを特徴領域抽出部３３２へ出力する。また、特徴取得部３３１は、対象テンプレート画像情報を高精度領域画像生成部３３６へ出力する。
【００３８】
なお、特徴取得部３３１が、例えば、ＳＵＲＦを用いる場合、特徴点を抽出する際の特徴の大きさの閾値であるＨｅｓｓｉａｎＴｈｒｅｓｈｏｌｄを大きくする事で、抽出される特徴点の大きさの閾値を変えてもよい。その場合、例えば、大きな特徴部分のみを抽出したい場合は、特徴取得部３３１は、ＨｅｓｓｉａｎＴｈｒｅｓｈｏｌｄを大きな値に設定すればよい。また、例えば、抽出したい特徴点の数が決まっている場合は、特徴取得部３３１は、特徴点数が目標の数になるまでＨｅｓｓｉａｎＴｈｒｅｓｈｏｌｄを調整してもよい。
【００３９】
特徴領域抽出部３３２は、テンプレート画像毎に、特徴取得部３３１が抽出した特徴点の位置に応じた位置に、テンプレート画像の特徴となる画像領域である特徴画像領域を上記特徴の大きさに応じた大きさで抽出する。具体的には、例えば、特徴領域抽出部３３２は、特徴取得部３３１から入力されたデータから、特徴点の位置を中心としてその特徴点の特徴の大きさに応じた半径をもつ円領域を、その特徴点の特徴領域とする。特徴領域抽出部３３２は、例えば、この処理を特徴点の分だけ繰り返す。そして、特徴領域抽出部３３２は、例えば、全ての特徴領域の和集合を特徴画像領域として設定する。特徴領域抽出部３３２は、抽出した特徴画像領域を示す特徴画像領域情報を比較画像範囲取得部３３４の後述する特徴領域画像生成部３３５へ出力する。
【００４０】
なお、特徴領域抽出部３３２は、特徴点の位置を中心に予め決められた画素領域（例えば半径３画素領域）を特徴量領域としてもよい。
【００４１】
低加工精度領域取得部３３３は、記憶部３２からテンプレート画像情報を読み出し、読み出したテンプレート画像情報が示すテンプレート画像を表示部３４に表示させる。また、低加工精度領域取得部３３３は、それぞれのテンプレート画像について、対象物の加工精度が予め決められた精度より低い部分の画像領域（以下、低加工精度領域という）を取得する。具体的には、例えば、低加工精度領域取得部３３３は、入力部３１が受け付けた低加工精度領域を取得する。低加工精度領域取得部３３３は、例えば、記憶部３２において、低加工精度領域に含まれる座標データに関連付けられた低加工精度領域フラグを１にする。
【００４２】
なお、記憶部３２に加工精度に関する情報が予め記憶され、低加工精度領域取得部３３３は、その加工精度に関する情報を記憶部３２から読み出し、読み出した加工精度に関する情報から、低加工精度領域取得部３３３が自己で低加工精度領域を特定してもよい。
【００４３】
比較画像範囲取得部３３４は、それぞれのテンプレート画像について、特徴取得部３３１により取得されたモデルの特徴点およびその特徴点の特徴の大きさ、ならびに低加工精度領域取得部３３３により取得された画像領域に基づいて、比較画像範囲を取得する。ここで、比較画像範囲は、テンプレート画像と撮影画像とを比較する際に比較の対象となる画素位置の範囲である。
なお、低加工精度領域がない場合もあるので、比較画像範囲取得部３３４は、少なくとも特徴領域抽出部３３２が抽出した特徴画像領域に基づいて、比較画像範囲をテンプレート画像毎に生成すればよい。
【００４４】
ここで、比較画像範囲取得部３３４は、特徴領域画像生成部３３５と、高精度領域画像生成部３３６と、重複範囲抽出部３３７とを備える。
特徴領域画像生成部３３５は、特徴領域抽出部３３２から入力された特徴画像領域情報が示す特徴画像領域を示す特徴領域明示画像を生成する。具体的には、例えば、特徴領域画像生成部３３５は、特徴画像領域の輝度値を１とし、それ以外の輝度値を０とする特徴領域明示画像を生成する。そして、特徴領域画像生成部３３５は、特徴領域明示画像を示す特徴領域明示画像情報を重複範囲抽出部３３７へ出力する。
【００４５】
高精度領域画像生成部３３６は、記憶部３２に記憶されている三次元モデルを構成する座標データと低加工精度領域フラグとの組を読み出す。そして、高精度領域画像生成部３３６は、特徴取得部３３１から入力された対象テンプレート画像情報が示すテンプレート画像毎に、加工精度が高い部分を抽出した高精度領域明示画像を生成する。具体的には、例えば、高精度領域画像生成部３３６は、テンプレート画像毎に、そのテンプレート画像において、対象物の三次元モデルを構成する座標のうち、低加工精度領域フラグが０の領域を高精度領域として抽出する。そして、例えば、高精度領域の輝度値を１とし、それ以外の輝度値を０とする高精度領域明示画像を生成する。これにより、対象物の三次元モデルを見る視点を変えたテンプレート画像であっても、高精度領域画像生成部３３６は、その視点を変えたテンプレート画像に応じて高精度領域を抽出することができる。そして、高精度領域画像生成部３３６は、抽出した高精度領域に応じて高精度領域マスクを生成することができる。
高精度領域画像生成部３３６は、生成した高精度領域明示画像を示す高精度領域明示画像情報を重複範囲抽出部３３７へ出力する。
【００４６】
重複範囲抽出部３３７は、特徴領域画像生成部３３５から入力された特徴領域明示画像情報と高精度領域画像生成部３３６から入力された高精度領域明示画像情報に基づいて、比較画像範囲を抽出する。具体的には、重複範囲抽出部３３７は、特徴画像領域と高精度領域との重複範囲を比較画像範囲として抽出する。例えば、特徴領域明示画像の輝度値が１かつ高精度領域明示画像の輝度値が１である画素の集合を比較画像範囲として抽出する。
【００４７】
そして、重複範囲抽出部３３７は、例えば、抽出した比較画像範囲から、画像内で比較画像範囲を示す画像領域を有する比較画像範囲明示画像を生成する。例えば、重複範囲抽出部３３７は、抽出した比較画像範囲の輝度値を１、それ以外の領域の輝度値を０とする比較画像範囲明示画像を生成する。重複範囲抽出部３３７は、生成した複数の比較画像範囲明示画像毎に、比較画像範囲明示画像情報を生成する。これにより、全体として、複数の比較画像範囲明示画像情報ができる。重複範囲抽出部３３７は、複数の比較画像範囲明示画像情報を比較画像生成部３３９へ出力する。また、重複範囲抽出部３３７は、複数の比較画像範囲明示画像情報を記憶部３２に記憶させる。
【００４８】
比較画像生成部３３９は、上述のテンプレート画像から該テンプレート画像に基づいて生成された比較画像範囲に基づいて第１の画像を生成する処理をテンプレート画像毎に行う。具体的には、例えば、比較画像生成部３３９は、事前に複数のテンプレート画像それぞれから、該テンプレート画像毎に生成された比較画像範囲明示画像が示す比較画像範囲の画像領域を抽出する。そして、比較画像生成部３３９は、例えば、抽出した比較画像範囲の画像領域と背景のみを含む画像を第１の画像としてテンプレート画像毎に生成する。これにより、比較画像生成部３３９は、テンプレート画像と同じ数の第１の画像を生成する。そして、比較画像生成部３３９は、生成した複数の第１の画像を示す第１の画像情報を記憶部３２に記憶させる。また、比較画像生成部３３９は、第１の画像情報と、該第１の画像情報に対応する対象物の三次元モデルの位置情報及び該第１の画像情報に対応する対象物の三次元モデルの姿勢を示す姿勢情報とを関連づけて記憶部３２に記憶させる。
【００４９】
続いて、位置姿勢推定処理において、制御部３３の各部が行う処理を説明する。
撮影画像取得部３３８は、対象物が撮影された画像である撮影画像を取得する。そして、撮影画像取得部３３８は、取得した撮影画像を示す撮影画像情報を比較画像生成部３３９へ供給する。
【００５０】
比較画像生成部３３９は、複数の比較画像範囲から選択された一の比較画像範囲に基づいて撮影画像から第２の画像を生成する処理を比較画像範囲の分だけ行う。また、例えば、比較画像生成部３３９は、撮影画像取得部３３８から撮影画像情報が入力された場合、全ての比較画像範囲明示画像情報を記憶部３２から読み出す。そして、比較画像生成部３３９は、その全ての比較画像範囲明示画像情報から選択された一の比較画像範囲明示画像情報が示す比較画像範囲の画像領域を抽出する。そして、比較画像生成部３３９は、例えば、この比較画像範囲の画像領域と背景のみを含む画像を第２の画像として生成する。比較画像生成部３３９は、この第２の画像を生成する処理を比較画像範囲明示画像情報の分だけ行う。これにより、比較画像生成部３３９は、比較画像範囲明示画像情報と同じ数の第２の画像を生成する。そして、比較画像生成部３３９は、生成した第２の画像を示す第２の画像情報を第２の画像の数だけ位置姿勢推定部３４０に出力する。
【００５１】
位置姿勢推定部３４０は、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像とを複数組比較することにより、対象物の位置または姿勢の少なくともいずれかを推定する。
具体的には、位置姿勢推定部３４０は、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像との間でテンプレートマッチングを行う。例えば、位置姿勢推定部３４０は、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像との間で、対応する画素の画素値の差の絶対値を全画素に渡って加算することで、差分絶対値和を算出する。そして、位置姿勢推定部３４０は、例えば、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像との全ての組で、最も差分絶対値和が小さくなる第１の画像を抽出する。そして、位置姿勢推定部３４０は、例えば、抽出した第１の画像を示す第１の画像情報に関連付けられた位置情報及び姿勢情報を記憶部３２から読み出す。そして、位置姿勢推定部３４０は、例えば、読み出した位置情報及び姿勢情報を含む位置姿勢情報をロボット制御装置５０へ出力する。
【００５２】
図６は、特徴取得部３３１の処理の概要を説明するための図である。同図において、対象物の三次元モデルを含むテンプレート画像の一例である画像Ｇ６１と、この画像Ｇ６１から特徴取得部３３１による処理により特徴が抽出された後の概念図Ｇ６２が示されている。概念図Ｇ６２において、対象物の三次元モデルの上に、特徴点を中心として特徴の大きさに応じた半径の円が複数示されている。このように、特徴取得部３３１は、テンプレート画像から、特徴点と該特徴点の特徴の大きさを抽出する。
【００５３】
図７は、特徴領域抽出部３３２の処理の概要を説明するための図である。同図において、図６に示された概念図Ｇ６２と、この概念図Ｇ６２から特徴領域抽出部３３２による処理により特徴領域が抽出された後の概念図Ｇ６３が示されている。概念図Ｇ６３において、概念図Ｇ６２において示された複数の円を外縁とする領域の和集合である特徴領域が示されている。このように、特徴領域抽出部３３２は、特徴点と該特徴点の特徴の大きさから、特徴領域を抽出する。
【００５４】
図８は、特徴領域画像生成部３３５の処理の概要を説明するための図である。同図において、図７に示された概念図Ｇ６３と、この概念図Ｇ６３から特徴領域画像生成部３３５による処理により生成された特徴領域明示画像Ｇ６４が示されている。特徴領域明示画像Ｇ６４では、概念図Ｇ６３に示された特徴領域が白（例えば、輝度が１ビットで表される場合、輝度値１に相当）で、それ以外の領域が黒（例えば、輝度が１ビットで表される場合、輝度値０に相当）になっている。このように、特徴領域画像生成部３３５は、特徴領域から特徴領域明示画像を生成する。
【００５５】
図９は、高精度領域画像生成部３３６の処理の概要を説明するための図である。同図において、高精度領域が示された概念図Ｇ６５と、この概念図Ｇ６５から高精度領域画像生成部３３６により生成された高精度領域明示画像Ｇ６６が示されている。高精度領域明示画像Ｇ６６では、概念図Ｇ６５に示された高精度領域が白（例えば、輝度が１ビットで表される場合、輝度値１に相当）で、それ以外の領域が黒（例えば、輝度が１ビットで表される場合、輝度値０に相当）になっている。このように、高精度領域画像生成部３３６は、高精度領域から高精度領域明示画像を生成する。
【００５６】
図１０は、重複範囲抽出部３３７の処理の概要を説明するための図である。同図において、図８に示された特徴領域明示画像Ｇ６４と、図９に示された高精度領域明示画像Ｇ６６と、この特徴領域明示画像Ｇ６４と高精度領域明示画像Ｇ６６から重複範囲抽出部３３７により生成された比較画像範囲明示画像Ｇ６７とが示されている。ここで特徴領域明示画像Ｇ６４には、特定領域が白色の領域で示されている。高精度領域明示画像Ｇ６６には、高精度領域が白色の領域で示されている。比較画像範囲明示画像Ｇ６７には、この特定領域と高精度領域の積集合である比較画像範囲が白色の領域で示されている。このように、高精度領域画像生成部３３６は、特徴領域明示画像と高精度領域明示画像から比較画像範囲明示画像を生成する。
【００５７】
図１１は、比較画像生成部３３９の処理の概要を説明するための図である。同図において、図６に示されたテンプレート画像Ｇ６１と、比較画像生成部３３９がテンプレート画像Ｇ６１から図１０に示された比較画像範囲明示画像Ｇ６７に示された比較画像範囲（比較画像範囲明示画像Ｇ６７中の白色の領域）を抽出することにより生成された第１画像Ｇ６８が示されている。このように、比較画像生成部３３９は、対象物体のモデルの位置または姿勢の少なくともいずれかが互いに異なる複数のテンプレート画像それぞれから、そのテンプレート画像に一対一に関連付けられた比較画像範囲明示画像が示す比較画像範囲を抽出した第１画像を生成する。同様に、比較画像生成部３３９は、撮影画像から一の比較画像範囲明示画像が示す比較画像範囲を抽出した第２画像を生成する。そして、比較画像生成部３３９はこの処理を全ての比較画像範囲明示画像について行うことにより、比較画像範囲明示画像の数すなわちテンプレート画像の数だけ第２画像を生成する。これにより、比較画像生成部３３９は、第１の画像と第２の画像を、同じ数だけ生成する。
【００５８】
図１２は、第１の実施形態の位置姿勢検出装置３０が、位置姿勢検出の前に、事前に予め実行する処理の流れの一例を示すフローチャートである。まず、位置姿勢検出装置３０は、低加工精度領域を取得する（ステップＳ１０１）。次に、特徴取得部３３１は、記憶部３２からテンプレート画像情報を処理の対象となる対象テンプレート画像情報として読み出す（ステップＳ１０２）。次に、特徴領域抽出部３３２は、テンプレート画像に含まれる対象物のモデルにおける特徴点の位置及び該特徴点の特徴の大きさを算出する（ステップＳ１０３）。次に、特徴領域抽出部３３２は、特徴領域抽出部３３２が算出した特徴の大きさに応じた大きさで特徴画像領域を抽出する（ステップＳ１０４）。
【００５９】
次に、特徴領域画像生成部３３５は、抽出した特徴画像領域を用いて、特徴画像領域を示す特徴領域明示画像を生成する（ステップＳ１０５）。次に、高精度領域画像生成部３３６は、記憶部３２に記憶された座標データと低加工精度領域フラグを参照して、対象テンプレート画像のうち高加工精度領域を示す高精度領域明示画像を生成する（ステップＳ１０６）。
【００６０】
次に、重複範囲抽出部３３７は、特徴領域明示画像と高精度領域明示画像とに基づいて、比較画像範囲明示画像を生成し、生成した比較画像範囲明示画像を記憶部３２に記憶させる（ステップＳ１０７）。次に、比較画像生成部３３９は、テンプレート画像から該テンプレート画像に基づいて生成された比較画像範囲に基づいて第１の画像を生成する（ステップＳ１０８）。次に、比較画像生成部３３９は、全てのテンプレート画像から第１の画像を生成したか否か判定する（ステップＳ１０９）。全てのテンプレート画像から第１の画像を生成していない場合（ステップＳ１０９  ＮＯ）、比較画像生成部３３９は、次のテンプレート画像を読み出し（ステップＳ１１０）、ステップＳ１０３の処理に戻る。一方、全てのテンプレート画像から第１の画像を生成した場合（ステップＳ１０９  ＹＥＳ）、比較画像生成部３３９は、その処理を終了する。以上で、本フローチャートの処理を終了する。
【００６１】
図１３は、第１の実施形態の位置姿勢検出装置３０が、実際に対象物の位置または姿勢を検出する位置姿勢検出処理の流れの一例を示すフローチャートである。まず、比較画像生成部３３９は、１番目の比較画像範囲明示画像を読み出す（ステップＳ２０１）。次に、比較画像生成部３３９は、読み出した１番目の比較画像範囲明示画像を用いて、撮影画像から第２の画像を生成する（ステップＳ２０２）。次に、比較画像生成部３３９は、全ての比較画像範囲明示画像を用いて第２の画像を生成したか否か判定する（ステップＳ２０３）。全ての比較画像範囲明示画像を用いて第２の画像を生成していない場合（ステップＳ２０３  ＮＯ）、比較画像生成部３３９は、次の比較画像範囲明示画像を記憶部３２から読み出し（ステップＳ２０４）、ステップＳ２０５の処理へ進む。ステップＳ２０５において、比較画像生成部３３９は、次の比較画像範囲明示画像を用いて撮影画像から第２の画像を生成し、ステップＳ２０３の処理に戻る。
【００６２】
ステップＳ２０３において、全ての比較画像範囲明示画像を用いて第２の画像を生成した場合（ステップＳ２０３  ＹＥＳ）、位置姿勢推定部３４０は、１番目の比較画像範囲明示画像に基づく第１の画像を読み出す（ステップＳ２０６）。次に、位置姿勢推定部３４０は、１番目の比較画像範囲明示画像に基づく第１の画像と１番目の比較画像範囲明示画像に基づく第２の画像との間で、対応する画素の画素値の差の絶対値を全画素に渡って加算することで、画素値の差分絶対値和を算出する（ステップＳ２０７）。次に、位置姿勢推定部３４０は、全ての組み合わせで差分絶対値和を算出したか否か判定する（ステップＳ２０８）。
【００６３】
全ての組み合わせで差分絶対値和を算出していない場合（ステップＳ２０８  ＮＯ）、位置姿勢推定部３４０は、次の比較画像範囲明示画像に基づく第１の画像を読み出し（ステップＳ２０９）、ステップＳ２１０の処理へ進む。ステップＳ２１０において、位置姿勢推定部３４０は、次の比較画像範囲明示画像に基づく第１の画像と同じ次の比較画像範囲明示画像に基づく第２の画像との間で、対応する画素の画素値の差の絶対値を全画素に渡って加算することで、画素値の差分絶対値和を算出し、ステップＳ２０８の処理へ戻る。
【００６４】
ステップＳ２０８において、全ての組み合わせで差分絶対値和を算出した場合（ステップＳ２０８  ＹＥＳ）、位置姿勢推定部３４０は、対象物の位置及び姿勢が、画素値の差分絶対値和が最も小さい第１の画像を示す第１の画像情報に関連付けられた位置情報及び姿勢情報をそれぞれ対象物の位置情報及び姿勢情報として抽出する（ステップＳ２１１）。以上で、本フローチャートの処理を終了する。
【００６５】
従来、対象物が板金部品の場合は、実際の対象物に板金加工の加工精度のばらつきがあり、ＣＡＤモデルに対して対象物毎にマッチングの精度が異なるという問題があった。
それに対し、第１の実施形態における位置姿勢検出装置３０において、低加工精度領域取得部３３３は、それぞれのテンプレート画像について、対象物の加工精度が予め決められた精度より低い部分の画像領域を取得する。
【００６６】
また、位置姿勢検出装置３０において、特徴取得部３３１は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさを取得する。そして、位置姿勢検出装置３０において、比較画像範囲取得部３３４は、それぞれのテンプレート画像について、特徴取得部により取得されたモデルの特徴点およびその特徴点の特徴の大きさ、ならびに低加工精度領域取得部により取得された画像領域に基づいて、比較画像範囲を取得する。
【００６７】
この構成によれば、位置姿勢検出装置３０は、特徴点の特徴が大きいほど、比較画像範囲に含まれるその特徴点周辺の領域の割合を増加させ、モデル及び対象物自体の特徴部分の中でも加工精度の低い部分の情報を除くことができる。これにより、この比較画像範囲に関して、テンプレート画像と対象物が撮影された撮影画像との間で、比較することにより位置または姿勢のうちいずれかを推定するので、対象物に加工精度のばらつきがあったとしても、モデル及び対象物自体の特徴部分の中でも加工精度の高い部分の情報のみを用いてマッチングを行うので、マッチングの精度を向上させることができる。これにより、位置姿勢検出装置３０は、テンプレート画像と撮像画像とのマッチングの精度が向上させることができるので、位置または姿勢の推定精度を向上させることができる。
【００６８】
なお、位置姿勢検出装置３０は、画素値の差分絶対値和の最小値が、予め決められた閾値よりも大きい場合、位置及び姿勢が得られないと判定してもよい。そして、位置姿勢検出装置３０は、比較画像範囲明示画像内のマスク領域の位置を、例えば予め決められた方向に移動させる。そして、位置姿勢検出装置３０は、この移動させたマスク領域を用いて、図１３のフローチャートの処理を再度実行してもよい。
【００６９】
また、位置姿勢検出装置３０は、画素値の差分絶対値和の最小値が、予め決められた閾値よりも大きい場合、位置及び姿勢が得られないと判定し、その後に、ロボット制御装置５０がロボット本体１０に対象物体の位置及び姿勢を変更させてもよい。その場合、位置姿勢検出装置３０は、撮像装置２０に対象物体を撮像させる。そして、この撮像により得られた撮像画像を用いて、位置姿勢検出装置３０は、図１３のフローチャートの処理を再度実行してもよい。
また、低加工精度領域を、対象物の個体のばらつきが大きな領域を含んでもよい。これにより、位置姿勢検出装置３０は、対象物の個体のばらつきが大きな領域を、比較画像範囲から除外することができる。
【００７０】
また、位置姿勢検出装置３０は、抽出した特徴画像領域に少なくとも基づいて、比較画像範囲をテンプレート画像毎に生成すればよい。この構成によれば、特徴点の特徴が大きいほど、比較画像範囲に含まれるその特徴点周辺の領域の割合が増加するので、位置姿勢検出装置３０は、テンプレート画像と対象物が撮影された撮影画像との間で、特徴の大きい領域について重点をおいて比較し、特徴の小さい領域については重点をおかずに比較する。これにより、位置姿勢検出装置３０は、テンプレート画像と撮像画像とのマッチングの精度を向上させることができるので、対象物の位置または姿勢の検出精度を向上させることができる。
【００７１】
また、第１の実施形態では、制御部３３が予め事前処理を行ったが、これに限らず、位置姿勢推定処理の前に、毎回事前処理を行ってもよい。
【００７２】
＜第２の実施形態＞
続いて、第２の実施形態について説明する。第１の実施形態では、位置姿勢検出装置３０が、事前処理と位置姿勢推定処理の両方の処理を行っていた。それに対し、第２の実施形態では、比較画像範囲生成装置４１が事前処理を行い、位置姿勢検出装置３０ｂが位置姿勢推定処理を行う。これにより、別々の装置が上記二つの処理を行う。
【００７３】
図１４は、第２の実施形態におけるロボットシステム１ｂの構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。図１４のロボットシステム１ｂの構成は、図１のロボットシステム１の構成に対して、比較画像範囲生成装置４１が追加され、位置姿勢検出装置３０が位置姿勢検出装置３０ｂに変更された構成になっている。
【００７４】
図１５は、第２の実施形態における比較画像範囲生成装置４１の構成を示す概略ブロック図である。比較画像範囲生成装置４１は、入力部３１と、記憶部３２と、表示部３４と、制御部４３と、通信部４５とを備える。なお、図４と共通する要素には同一の符号を付し、その具体的な説明を省略する。
【００７５】
制御部４３は、例えば、記憶部３２からテンプレート画像情報を読み出し、読み出したテンプレート画像情報が示すテンプレート画像に基づいて、比較画像範囲明示画像を生成する。制御部４３は、例えば、位置姿勢検出装置３０から通信部４５を介して受信した比較画像範囲明示画像要求に応じて、生成した比較画像範囲明示画像を示す比較画像範囲明示画像情報を通信部４５から位置姿勢検出装置３０ｂへ送信させる。ここで、比較画像範囲明示画像要求は、比較画像範囲明示画像を要求する情報である。
【００７６】
制御部４３は、例えば、位置姿勢検出装置３０から通信部４５を介して受信した第１画像要求に応じて、第１の画像情報を記憶部３２から読み出し、読み出した第１の画像情報を通信部４５から位置姿勢検出装置３０ｂへ送信させる。ここで、第１画像要求は、第１の画像情報を要求する情報である。
また、制御部４３は、例えば、位置姿勢検出装置３０から通信部４５を介して第１の画像情報を受信した場合、記憶部３２からその第１の画像情報に関連付けられた位置情報及び姿勢を示す姿勢情報を読み出す。そして、制御部４３は、例えば、位置情報または姿勢情報のうち少なくともいずれか一つを含む位置姿勢情報を通信部４５から位置姿勢検出装置３０ｂへ送信させる。
【００７７】
通信部４５は、位置姿勢検出装置３０から送信された比較画像範囲明示画像要求または第１画像要求を受信し、受信した比較画像範囲明示画像要求または第１画像要求を制御部４３へ出力する。通信部４５は、比較画像範囲明示画像要求に応じて制御部４３が出力した比較画像範囲明示画像情報を位置姿勢検出装置３０ｂへ送信する。また、通信部４５は、第１画像要求に応じて制御部４３が出力した第１画像情報を位置姿勢検出装置３０ｂへ送信する。
また、通信部４５は、位置姿勢検出装置３０から送信された第１の画像情報を受信し、受信した第１の画像情報を制御部４３へ出力する。通信部４５は、制御部４３から入力された位置姿勢情報を位置姿勢検出装置３０ｂへ送信する。
【００７８】
図１６は、第２の実施形態における比較画像範囲生成装置４１の制御部４３の論理的な構成を示す概略ブロック図である。制御部４３は、なお、図５と共通する要素には同一の符号を付し、その具体的な説明を省略する。特徴取得部３３１と、特徴領域抽出部３３２と、低加工精度領域取得部３３３と、比較画像範囲取得部３３４と、通信制御部４３１を備える。
【００７９】
通信制御部４３１は、例えば、比較画像範囲明示画像要求を受信する毎に、一枚の比較画像範囲明示画像を示す比較画像範囲明示画像情報を順番に読み出し、読み出した比較画像範囲明示画像情報を通信部４５へ送信する。例えば、記憶部３２に比較画像範囲明示画像がＮ枚分（Ｎは正の整数）記憶されている場合、通信制御部４３１は、合計して比較画像範囲明示画像要求をＮ回受信して、合計してＮ個の比較画像範囲明示画像情報を通信部４５へ送信する。
【００８０】
また、通信制御部４３１は、例えば、第１画像要求を受信する毎に、一枚の第１画像を示す第１画像情報を順番に読み出し、読み出した第１画像情報を通信部４５へ送信する。例えば、記憶部３２に第１画像がＮ枚分記憶されている場合、通信制御部４３１は、合計して第１画像要求をＮ回受信して、合計してＮ個の第１画像情報を通信部４５へ送信する。
【００８１】
図１７は、第２の実施形態における位置姿勢検出装置３０ｂの構成を示す概略ブロック図である。位置姿勢検出装置３０ｂは、記憶部３２ｂと制御部３３ｂと通信部３５とを備える。
記憶部３２ｂには、制御部３３ｂが読み出して実行するプログラムが記憶されている。
通信部３５は、制御部３３ｂの制御に従って、比較画像範囲生成装置４１と通信する。
【００８２】
制御部３３ｂは、通信部３５を制御して、比較画像範囲生成装置４１から比較画像範囲明示画像を取得する毎に、第２画像を生成する。また、制御部３３ｂは、通信部３５を制御して、比較画像範囲生成装置４１から複数の第１画像を取得する。そして、制御部３３ｂは、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像とを複数組比較することにより、対象物の位置または姿勢の少なくともいずれかを推定する。制御部３３ｂは、推定した対象物の位置を示す位置情報または姿勢を示す姿勢情報のうち少なくともいずれか一つを含む位置姿勢情報をロボット制御装置５０へ出力する。
【００８３】
図１８は、第２の実施形態における位置姿勢検出装置３０ｂの制御部３３ｂの論理的な構成を示す概略ブロック図である。制御部３３ｂは、比較画像生成部３３９ｂと、位置姿勢推定部３４０ｂと取得部３４１とを備える。
取得部３４１は、対象物の輪郭を表わすモデルの画像であって該画像内における該モデルの位置または姿勢のうちの少なくともいずれかが互いに異なる複数の画像それぞれをテンプレート画像として、それぞれのテンプレート画像について、該テンプレート画像に表されるモデルの特徴点およびその特徴点の特徴の大きさに基づいて取得される、前記対象物が撮影された画像と該テンプレート画像との比較で使用される画像範囲である比較画像範囲を取得する。
【００８４】
具体的には、例えば、通信部３５を介して比較画像範囲明示画像要求を比較画像範囲生成装置４１へ送信する。そして、比較画像生成部３３９ｂは、その比較画像範囲明示画像要求に応じて通信部３５が受信した比較画像範囲明示画像情報を通信部３５から取得する。取得部３４１は、取得した比較画像範囲情報を比較画像生成部３３９ｂへ出力する。
【００８５】
比較画像生成部３３９ｂは、第１の実施形態における比較画像生成部３３９と同様の機能を有するが、以下の点で異なる。比較画像生成部３３９ｂは、比較画像範囲明示画像情報を取得部３４１から取得する毎に、比較画像範囲明示画像に基づいて撮像画像から第２の画像を生成する。比較画像生成部３３９ｂは、この一連の処理を、ある対象物の複数のテンプレート画像に対して生成された全ての比較画像範囲明示画像の分だけ繰り返す。
【００８６】
位置姿勢推定部３４０ｂは、第１の実施形態における位置姿勢推定部３４０と同様の機能を有するが、以下の点で異なる。位置姿勢推定部３４０ｂは、通信部３５を介して第１の画像を要求する第１画像要求を比較画像範囲生成装置４１へ送信する。そして、位置姿勢推定部３４０ｂは、その第１画像要求に応じて通信部３５が受信した第１の画像情報を通信部３５から取得する。そして、位置姿勢推定部３４０ｂは、例えば、第１の画像と該第１の画像で用いられた比較画像範囲と同じ比較画像範囲を用いて生成された第２の画像との間で、画素値の差分絶対値和を算出する。位置姿勢推定部３４０ｂは、この一連の処理をある対象物の複数のテンプレート画像に対して生成された全ての第１の画像の分だけ繰り返す。
【００８７】
そして、位置姿勢推定部３４０ｂは、画素値の差分絶対値和が最も小さくなった第１の画像を抽出する。そして、位置姿勢推定部３４０ｂは、通信部３５を介して抽出した第１の画像を示す第１の画像情報を比較画像範囲生成装置４１へ送信する。これにより、比較画像範囲生成装置４１は、その第１の画像情報に関連付けられた位置情報又は姿勢情報のうち少なくともいずれか一つを含む位置姿勢情報を位置姿勢検出装置３０ｂへ返信する。位置姿勢推定部３４０ｂは、通信部３５が受信した位置姿勢情報を取得し、取得した位置姿勢情報をロボット制御装置５０へ送信する。
【００８８】
以上、第２の実施形態におけるロボットシステム１ｂでは、比較画像範囲生成装置４１が比較画像範囲明示画像の生成処理を行い、位置姿勢検出装置３０ｂが対象物の位置及び姿勢の検出処理を行う。これにより、第２の実施形態におけるロボットシステム１ｂは、第１の実施形態の効果に加えて、位置姿勢検出装置３０ｂは第１の実施形態における位置姿勢検出装置３０から構成要素が削除されているので、第１の実施形態における位置姿勢検出装置３０よりも小型化することができる。
【００８９】
なお、各実施形態において、ロボット本体１０は一例としてアームが１本のロボットを示したが、これに限らず、ロボット本体１０はアームが複数あってもよい。
図１９は、ロボット本体６０のアームが２本の場合のロボットシステムの概略の外観図の一例である。同図におけるロボット２には、ロボット本体６０と、撮像装置６１と、把持部６２と、位置姿勢検出装置３０と、ロボット制御装置５０と、第１のケーブル６３と第２のケーブル６４とが示されている。位置姿勢検出装置３０及びロボット制御装置５０は、上述した各実施形態と同様の構成であるため、位置姿勢検出装置３０及びロボット制御装置５０についての詳細な説明を省略する。
【００９０】
ロボット本体６０は、具体的には、地面に対して可動に設置された本体６０ａと、旋回可能に本体６０ａに連結された首部６０ｂと、首部６０ｂに対して固定された頭部６０ｃと、旋回可能および屈伸可能に頭部６０ｃに連結された第１アーム部６０ｄと、旋回可能および屈伸可能に頭部６０ｃに連結された第２アーム部６０ｅと、ロボット本体６０の設置面に対してロボット本体６０を移動可能に本体６０ａに取り付けられた搬送部６０ｆとを含んで構成される。
【００９１】
第１アーム部６０ｄの開放端であるハンドには、把持部６２が取り付けられている。また、第２アーム部６０ｅの開放端であるハンドには、撮像装置６１が取り付けられている。搬送部６０ｆは、ロボット本体６０の設置面に対して、ロボット本体６０を一定方向または方向自在に移動可能に支持する。搬送部６０ｆは、四組の車輪、四組のキャスター、一対の無限軌道等により実現される。
【００９２】
ロボット本体６０は、例えば、２系統のアームを備えた垂直多関節ロボット（双腕ロボット）である。ロボット本体６０は、ロボット制御装置５０から供給されるロボット制御命令を取り込み、このロボット制御命令による駆動制御によって、撮像装置６１および把持部６２それぞれの位置および姿勢を三次元空間内で所望に変更し、また把持部６２の爪部を開閉させる。
【００９３】
撮像装置６１は、被写体を撮影して静止画像または動画像である撮影画像を取得し、この撮影画像をロボット制御装置５０に供給する。撮像装置６１は、例えば、デジタルカメラ装置、デジタルビデオカメラ装置により実現される。
把持部６２は、物体を挟持可能な爪部を備える。なお、図１９では、把持部６２を、その機能を示すために模式的に示してある。
【００９４】
第１のケーブル６３は、ロボット制御装置５０が出力するロボット制御命令をロボット本体６０に供給したり、ロボット本体６０が出力するロボット制御応答をロボット制御装置５０に供給したりする。ロボット制御命令は、ロボット本体６０の各可動部を駆動制御する制御命令である。ロボット制御応答は、例えば、ロボット本体６０がロボット制御装置５０に対して通知する、ロボット制御命令に対する応答を含む。第１のケーブル６３は、例えば、シリアル通信線等のケーブルやコンピューターネットワークである。
第２のケーブル６４は、位置姿勢検出装置３０が出力する位置姿勢情報をロボット制御装置５０へ供給する。第２のケーブル６４は、例えば、シリアル通信線等のケーブルやコンピューターネットワークである。
【００９５】
ロボット制御装置５０は、ロボット本体６０の首部６０ｂと頭部６０ｃと第２アーム部６０ｅとの動作を制御し、撮像装置６１の位置および姿勢を変更させる。具体的に、ロボット制御装置５０は、撮像装置６１を、図示しないアセンブリ部品に対して略垂直上方において、撮影方向が略垂直下方となる位置に設置させる。
また、ロボット制御装置５０は、ロボット制御装置５０は、撮像装置６１から供給される、アセンブリ部品の撮影画像を取り込み、この撮影画像に基づいてロボット本体６０の首部６０ｂと頭部６０ｃと第１アーム部６０ｄとの動作を制御し、第１の実施形態と同様に、対象物２００を把持する。
【００９６】
以上、第１の実施形態におけるロボットシステム１が、ロボット本体１０の代わりに変形例におけるロボット本体６０を備える構成とした場合、第１の実施形態と同様に位置姿勢検出装置３０を備えており、第１の実施形態と同様の効果を奏する。
また、第２の実施形態におけるロボットシステム１ｂが、ロボット本体１０の代わりに変形例におけるロボット本体６０を備える構成とした場合、第２の実施形態と同様に位置姿勢検出装置３０ｂと比較画像範囲生成装置４１を備えており、第２の実施形態と同様の効果を奏する。
なお、ロボット制御装置５０は、例えば、ロボット本体６０の本体６０ａのキャビネットに収納されていてもよい。
【００９７】
また、第２の実施形態において、ロボット制御装置５０が、位置姿勢検出装置３０ｂ及び比較画像範囲生成装置４１の少なくともいずれかを含む構成であってもよい。
また、第１の実施形態において、ロボット制御装置５０が、位置姿勢検出装置３０を含む構成であってもよい。
また、複数の装置を備えるシステムが、各実施形態の位置姿勢検出装置（３０または３０ｂ）または比較画像範囲生成装置４１の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態の位置姿勢検出装置（３０または３０ｂ）または比較画像範囲生成装置４１の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、位置姿勢検出装置（３０または３０ｂ）または比較画像範囲生成装置４１に係る上述した種々の処理を行ってもよい。
【００９８】
なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【００９９】
さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１００】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１０１】
１、１ｂ  ロボットシステム
２  ロボット
１０、６０  ロボット本体
１１  第１の信号ケーブル
１２  第２の信号ケーブル
２０、６１  撮像装置
３０、３０ｂ  位置姿勢検出装置
３１  入力部
３２、３２ｂ  記憶部
３３、３３ｂ  制御部
３４  表示部
３５  通信部
４０  比較画像範囲生成部
４１  比較画像範囲生成装置
４３  制御部
４５  通信部
５０  ロボット制御装置
６２  把持部
６３  第１のケーブル
６４  第２のケーブル
３３１  特徴取得部 
３３２  特徴領域抽出部
３３３  低加工精度領域取得部
３３４  比較画像範囲取得部
３３５  特徴領域画像生成部
３３６  高精度領域画像生成部
３３７  重複範囲抽出部
３３８  撮影画像取得部 
３３９、３３９ｂ  比較画像生成部
３４０、３４０ｂ  位置姿勢推定部
３４１  取得部
４３１  通信制御部
【図１】
2014029664.tif 000003
【図２】
2014029664.tif 000004
【図１２】
2014029664.tif 000005
【図１３】
2014029664.tif 000006
【図１４】
2014029664.tif 000007
【図１５】
2014029664.tif 000008
【図１６】
2014029664.tif 000009
【図１７】
2014029664.tif 000010
【図１８】
2014029664.tif 000011
【図１９】
2014029664.tif 000012
【図３】
2014029664.tif 000013
【図４】
2014029664.tif 000014
【図５】
2014029664.tif 000015
【図６】
2014029664.tif 000016
【図７】
2014029664.tif 000017
【図８】
2014029664.tif 000018
【図９】
2014029664.tif 000019
【図１０】
2014029664.tif 000020
【図１１】
2014029664.tif 000021