(57)【要約】【課題】複数のカメラおよびレンズを用いずに、費用を抑えつつ信頼性を向上させる。【解決手段】対象物Ｗの三次元位置を検出する検出装置（２０）は、ロボット（１０）の移動時に順次撮像された複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部（２７）と、第一画像の一つの特徴点と第二画像の複数の特徴点との間の距離を算出する距離算出部（２８）と、該距離が最短である特徴点を決定する特徴点決定部（２９）とを含む。複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として距離が最短である特徴点を決定する処理を繰返し、それにより、対象物の特徴点を追跡する。【選択図】図１
2018051728.tif 000002
【特許請求の範囲】
【請求項１】
ロボット（１０）と、該ロボットの先端付近に支持された撮像部（３０）と、を含むシステム（１）において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、  前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として
設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、
前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、
該距離が最短である特徴点を決定し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法。
【請求項２】
前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、
前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、
前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、
前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶し、
前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、
前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する請求項１に記載の検出方法。
【請求項３】
前記対象物に投光されたスポット光を特徴点とした請求項２に記載の検出方法。
【請求項４】
前記対象物は少なくとも三つの特徴点を含んでおり、
前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、
前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、
算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項２に記載の検出方法。
【請求項５】
ロボット（１０）と、該ロボットの先端付近に支持された撮像部（３０）と、を含むシステム（１）において、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置（２０）において、
前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合
に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部（２７）と、
前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部（２８）と、
該距離が最短である特徴点を決定する特徴点決定部（２９）と、を具備し、
前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定
して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置。
【請求項６】
前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部（２１）と、
前記複数の画像のうちの特徴点を検出した前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの特徴点を検出した後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部（２２）と、
前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された前記一つの特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部（２３）と、
前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部（２４）と、
前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部（２５）とを具備する請求項５に記載の検出装置。
【請求項７】
前記対象物に投光したスポット光を特徴点とする投光器（３５）を含む請求項６に記載の検出装置。
【請求項８】
前記対象物は少なくとも三つの特徴点を含んでおり、
さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部（２７）を具備し、
前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、
算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした、請求項６に記載の検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置に関する。
【背景技術】
【０００２】
ロボットを用いてワークの搬送またはワークの加工などの作業を正確に行うためには、ワークが載置されている位置を正確に認識することが必要とされる。このため、近年では、カメラ等を用いてワークの位置、特にワークの三次元位置を視覚的に認識することが行われている。
【０００３】
特許文献１、特許文献２および特許文献３においては、複数のカメラによりワークなどの三次元位置を求めることが開示されている。さらに、特許文献４および特許文献５は、複数のレンズを備えたカメラを用いてワークなどの三次元位置を求めることが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８５９３７１号公報
【特許文献２】特開２０１２−１９２４７３号公報
【特許文献３】特開２００４−９０１８３号公報
【特許文献４】特開２０１４−３４０７５号公報
【特許文献５】特開２００９−２４１２４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した従来技術においては、複数のカメラまたは複数のレンズを使用しているので、構造が複雑になると共に、コスト高になるという問題がある。
【０００６】
また、ステレオカメラにおいては、ステレオペアを対応付けする処理コストが最も高いとされる。そして、ステレオペアの対応付けの質が低い場合には、ステレオカメラの信頼性も低下する。
【０００７】
本発明はこのような事情に鑑みてなされたものであり、複数のカメラまたは複数のレンズを使用することなしに、コストを抑えつつ信頼性を向上させられる、対象物の三次元位置を検出する検出方法およびそのような検出方法を実施する検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前述した目的を達成するために１番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出方法において、前記ロボットが移動している際に前記撮像部が前記対象物の複数の画像を順次撮像し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出し、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出し、該距離が最短である特徴点を決定し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした、検出方法が提供される。
２番目の発明によれば、１番目の発明において、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶し、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶し、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶し、前記第二画像で検出された前記特徴点の前記撮像部座標系における第二位置情報を記憶し、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出し、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する。
３番目の発明によれば、２番目の発明において、前記対象物にスポット光が投光し特徴点として検出しやすいようにした。
４番目の発明によれば、２番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
５番目の発明によれば、ロボットと、該ロボットの先端付近に支持された撮像部と、を含むシステムにおいて、一つまたは複数の特徴点を含む対象物の三次元位置を検出する検出装置において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像のうちの連続または少なくとも一つ置きに連続する二つの画像を第一画像および第二画像として設定した場合に、前記第一画像内で検出した一つの特徴点を含む前記第二画像内の複数の特徴点を検出する特徴点検出部と、前記第一画像における前記一つの特徴点と前記第二画像における前記複数の特徴点との間のそれぞれの距離を算出する距離算出部と、該距離が最短である特徴点を決定する特徴点決定部と、を具備し、前記複数の画像のうちの連続または少なくとも一つ置きに連続する次の二つの画像を第一画像および第二画像として設定して前記距離が最短である特徴点を決定する処理を繰返し、それにより、前記対象物の前記一つの特徴点を追跡するようにした検出装置が提供される。
６番目の発明によれば、５番目の発明において、前記ロボットが移動している際に前記撮像部により順次撮像された前記対象物の複数の画像を記憶する画像記憶部と、前記特徴点を検出した複数の画像のうちの前段階の二つの画像のうちの第一画像が撮像されたときの前記ロボットの第一位置姿勢情報を記憶すると共に、前記複数の画像のうちの後段階の二つの画像のうちの第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部と、前記第一画像において検出された前記一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、前記第二画像で検出された特徴点の前記撮像部座標系における第二位置情報を記憶する位置情報記憶部と、前記ロボットの前記第一位置姿勢情報と前記一つの特徴点の前記第一位置情報とを用いてロボット座標系における前記一つの特徴点の第一視線情報を算出すると共に、前記ロボットの前記第二位置姿勢情報と前記一つの特徴点の前記第二位置情報とを用いて前記ロボット座標系における前記一つの特徴点の第二視線情報を算出する視線情報算出部と、前記第一視線情報および前記第二視線情報の交点から前記対象物の三次元位置を検出する三次元位置検出部とを具備する。  ７番目の発明によれば、６番目の発明において、前記対象物にスポット光を投光する投光器を含む。
８番目の発明によれば、６番目の発明において、前記対象物は少なくとも三つの特徴点を含んでおり、さらに、前記第一画像内に位置する少なくとも三つの特徴点を前記第二画像内に検出する特徴点検出部を具備し、前記少なくとも三つの特徴点の前記第一視線情報および前記第二視線情報をそれぞれ算出する視線情報算出部を具備し、算出された前記第一視線情報および前記第二視線情報のそれぞれの交点から前記少なくとも三つの特徴点のそれぞれの三次元位置を検出する三次元位置検出部を具備し、それにより、前記少なくとも三つの特徴点を含む対象物の三次元位置姿勢を検出するようにした。
【発明の効果】
【０００９】
１番目および５番目の発明においては、ロボットを移動させながら撮像した二つの画像を使用して対象物を追跡しているので、複数の撮像部または複数のレンズを使用する必要がない。従って、システム全体の構成を単純にしつつコストを抑えることができる。
さらに、第一画像および第二画像でステレオペアとして対応付けられるべき前記一つの特徴点は、前記第一画像の前記一つの特徴点と前記第二画像の特徴点の間の距離が最小になる周期でロボットが移動と撮像するよう設定することで、１番目の発明による方法によって前記一つの特徴点を確実に追跡することができるので、ロボットの移動操作の後に対応付けを行う必要はない。これによって、例えば同一形状の部品が多数収められているコンテナにおいて、ある一つの部品の一つの例えば穴という特徴点を追跡して、移動の前段階の第一画像と後段階の第二画像においてステレオペアとして間違いなく対応付けすることができる。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる共に、処理負担の大きいステレオペアの対応付けにかかる時間を大きく短縮し、かつ装置のコストカットが実現できる。
２番目および６番目の発明においては、最小距離の特徴点を採用しているので、ロボットが高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求められる。
３番目および７番目の発明においては、鮮明なスポット光点を特徴点とする画像を取得できるので、画像処理を良好に行うことができる。
４番目および８番目の発明においては、対象物が有する三つの特徴点の三次元位置を通じて、対象物の三次元位置姿勢を検出できる。
【００１０】
添付図面に示される本発明の典型的な実施形態の詳細な説明から、本発明のこれら目的、特徴および利点ならびに他の目的、特徴および利点がさらに明解になるであろう。
【図面の簡単な説明】
【００１１】
【図１】本発明に基づく検出装置を含むシステムの略図である。
【図２】図１に示される検出装置の動作を示すフローチャートである。
【図３】図１に示される検出装置の動作を示す他のフローチャートである。
【図４】ロボットと複数の画像とを示す図である。
【図５】第一画像および第二画像を示す図である。
【図６Ａ】ロボットと複数の画像とを示す他の図である。
【図６Ｂ】ロボットと複数の画像とを示すさらに他の図である。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明の実施形態を説明する。以下の図面において同様の部材には同様の参照符号が付けられている。理解を容易にするために、これら図面は縮尺を適宜変更している。
図１は本発明に基づく検出装置を含むシステムの略図である。図１に示されるように、システム１は、ロボット１０と、このロボット１０を制御する制御装置２０とを主に含んでいる。制御装置２０は対象物の三次元位置を検出する検出装置としての役目も果たす。図１に示されるロボット１０は垂直多関節ロボットであるが、他の形態のロボットであってもよい。さらに、ロボット１０の先端またはその近傍にはカメラ３０が支持されている。このカメラ３０の位置姿勢はロボット１０に応じて定まる。カメラ３０の代わりに他の形態の撮像部を使用しても良い。
【００１３】
さらに、図１には、対象物Ｗ、例えばワークにスポット光を投光する投光器３５が示されている。投光器３５を用いることによって、カメラ３０は鮮明なスポット光点を特徴点とする画像を取得できる。従って、後述する画像処理部３１は、撮像した画像の画像処理を良好に行うことができる。投光器３５の位置姿勢が制御装置２０によって制御されるようにしてもよい。また、投光器３５はロボット１０に取付けられていてもよい。
【００１４】
制御装置２０はデジタルコンピュータであり、ロボット１０を制御すると共に対象物Ｗの三次元位置を検出する検出装置としての役目も果たす。図１に示されるように、制御装置２０は、ロボット１０が移動している際にカメラ３０により順次撮像され対象物Ｗの複数の画像を記憶する画像記憶部２１を含んでいる。
【００１５】
さらに、制御装置２０は、複数の画像のうち前段階の連続する二つの画像を第一画像および第二画像とした場合に第一画像が撮像されたときのロボットの第一位置姿勢情報を記憶すると共に、複数の画像のうちの後段階の二つの画像を第一画像および第二画像とした場合に第二画像が撮像されたときの前記ロボットの第二位置姿勢情報を記憶する姿勢情報記憶部２２を含んでいる。さらに、制御装置２０は、複数の画像のうち連続する二つの画像における第一画像において検出された一つの特徴点の撮像部座標系における第一位置情報を記憶すると共に、最後の二つの画像における第二画像で検出された前記一つの特徴点の撮像部座標系における第二位置情報を記憶する位置情報記憶部２３を含んでいる。また、制御装置２０は、第一画像および第二画像などを処理して特徴点を検出する画像処理部３１を含んでいる。
【００１６】
さらに、制御装置２０は、ロボットの第一位置姿勢情報と一つの特徴点の第一位置情報とを用いてロボット座標系における一つの特徴点の第一視線情報を算出すると共に、ロボットの第二位置姿勢情報と第二画像の前記一つの特徴点の第二位置情報とを用いて前記ロボット座標系における前記特徴点の第二視線情報を算出する視線情報算出部２４と、第一視線情報および第二視線情報の交点から対象物の三次元位置を検出する三次元位置検出部２５とを含んでいる。
【００１７】
なお、視線情報算出部２４は少なくとも三つの特徴点の第一視線情報および第二視線情報をそれぞれ算出することもできる。また、三次元位置検出部２５は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出し、それにより、少なくとも三つの特徴点を含むワークの三次元位置姿勢を検出することもできる。
【００１８】
さらに、制御装置２０は、ロボット１０が移動することによってカメラ３０が移動する移動方向を決定する移動方向決定部２６と、ロボットが移動している際に撮像部により順次撮像された複数の画像のうちの連続する二つの画像を第一画像および第二画像とした場合に、第一画像内で検出した一つの特徴点および第一画像内で検出した一つの特徴点を含む第二画像内の複数の特徴点を検出する特徴点検出部２７と、第一画像における一つの特徴点と第二画像における複数の特徴点との間のそれぞれの距離を算出する距離算出部２８と、該距離が最短である特徴点を決定する特徴点決定部２９とを含む。
【００１９】
ところで、図２および図３は図１に示される検出装置の動作を示すフローチャートであり、図４はロボットと複数の画像とを示す図である。以下、図２から図４を参照しつつ、本発明に基づく検出装置の動作を説明する。なお、所定位置に配置された対象物Ｗは、複数の特徴点、例えばワークの開口部の中心、ワークのコーナ部分などを含んでいる。
【００２０】
そして、ステップＳ１１においては、図４に示されるようにロボット１０が移動開始する。そして、ステップＳ１２においては、ロボット１０に備えられたカメラ３０が対象物Ｗについての画像Ｇａを撮像する。画像Ｇａは画像記憶部２１に記憶され、第一画像Ｇ１として設定される。
【００２１】
なお、図４を参照して分かるように、ロボット１０に備えられたカメラ３０は対象物Ｗについて複数の画像Ｇａ〜Ｇｎ（ｎは自然数）を順次撮像するものとする。図４においては、これら画像Ｇａ〜Ｇｎがロボットの移動位置に対応してカメラ３０内に表示されている。
【００２２】
次いで、ステップＳ１３においては、特徴点検出部２７が第一画像Ｇ１から一つの特徴点を検出する。第一画像Ｇ１から複数の特徴点が検出された場合には、任意の特徴点、例えば画像の中心に位置する特徴点を前述した一つの特徴点として設定してよい。
【００２３】
ここで、図５は第一画像および第二画像を示す図である。図５に示される第一画像Ｇ１には、黒丸で示される複数の特徴点Ｋ１〜Ｋ３が表示されている。図５においては、第一画像Ｇ１の比較的中心に位置する特徴点Ｋ１を前述した一つの特徴点として設定する。
【００２４】
次いで、ステップＳ１４においては、移動を続けているロボット１０に備えられたカメラ３０が対象物Ｗについての画像Ｇｂを撮像する。画像Ｇｂは画像記憶部２１に記憶され、第二画像Ｇ２として設定される。言い換えれば、連続する二つの画像Ｇａ、Ｇｂが第一画像Ｇ１および第二画像Ｇ２として設定される。
【００２５】
次いで、ステップＳ１５においては特徴点検出部２７が第二画像Ｇ２から複数の特徴点を検出する。特徴点検出部２７が検出する第二画像Ｇ２の複数の特徴点は、前述した第一画像Ｇ１の一つの特徴点を含む必要がある。
【００２６】
図５の第二画像Ｇ２においては、第一画像Ｇ１の特徴点Ｋ１、Ｋ２に対応する特徴点Ｋ１’、Ｋ２‘と、第一画像Ｇ１には含まれていない別の特徴点Ｋ３’、Ｋ４’とが表示されている。さらに、第二画像Ｇ２においては、第一画像Ｇ１の特徴点Ｋ１に対応した位置に特徴点Ｋ１が示されている。
【００２７】
次いで、ステップＳ１６においては、距離算出部２８が、第一画像Ｇ１における一つの特徴点の位置と第二画像Ｇ２における複数の特徴点のそれぞれの位置との間の距離を算出する。つまり、距離算出部２８は、図５に示される特徴点Ｋ１と、特徴点Ｋ１〜’Ｋ３’のそれぞれとの間の距離を算出する。
【００２８】
次いで、ステップＳ１７においては、特徴点決定部２９は、距離が最小となる特徴点を決定する。図５においては、特徴点Ｋ１と特徴点Ｋ１’との間の距離が最小であるのが分かるであろう。従って、特徴点決定部２９は特徴点Ｋ１’を距離が最小の特徴点として決定する。このような場合には、ロボット１０が高速で移動する場合であっても、画像の対応付けを容易に行いつつ、対象物の三次元位置を求めることができる。
【００２９】
その後、ステップＳ１８において、前述した処理が所望の数の画像に対して実施されたか否かが判定される。この場合には、前述した処理が所望の画像に対して実施されていないので、Ｇ２の特徴点Ｋ１’を第一画像の一つの特徴点Ｋ１として記憶して（）ステップＳ１４に戻る。あるいは、第二画像を第一画像として置き換えると共に、特徴点Ｋ１’を特徴点Ｋ１として記憶して、ステップＳ１４に戻っても良い。所望の数は２以上であるのが好ましい。以下においては、図４に示される複数の画像のうちの連続する次の画像Ｇｃを第二画像Ｇ２として設定し、前述した処理を繰返す。
【００３０】
このような処理は、所望の数の画像の全てが処理されるまで繰返されるものとする。これにより、複数の画像Ｇａ〜Ｇｎを通じて特徴点Ｋが追跡される。対象物Ｗにおける特徴点Ｋの位置は分かっているので、対象物Ｗを追跡することが可能となる。なお、図示しない実施形態においてはロボット１０の移動時に所望の数の画像が撮像された後で前述した処理を行うようにしてもよい。
【００３１】
ところで、図４においては、複数の画像Ｇａ〜Ｇｎのうちのはじめの一対の画像から順番に、第一画像Ｇ１および第二画像Ｇ２として設定されている。しかしながら、第一画像Ｇ１および第二画像Ｇ２を図４に示したのは異なるように設定してもよい。
【００３２】
ここで、図６Ａはロボットと複数の画像とを示す他の図である。図６Ａにおいては、ステップＳ１２〜Ｓ１７の一回目の処理の際に画像Ｇｃ、Ｇｄが第一画像Ｇ１および第二画像Ｇ２として設定される。言い換えれば、画像Ｇａ、Ｇｂを必ずしも使用する必要はない。同様に、最後の連続した画像Ｇn-1やＧｎを必ずしも使用する必要はなく、例えばＧn-3とＧn-2を最後の連続した画像としてもよい。
【００３３】
また、図６Ｂにおいては、一回目の処理の際には、連続する二つの画像Ｇａ、Ｇｂが第一画像Ｇ１および第二画像Ｇ２として設定される。さらに、二回目の処理の際には、二つの画像Ｇｂ、画像Ｇｄが設定される。つまり、画像Ｇｃは使用されない。このように、複数の画像のうちの一部を省略することも可能であり、その場合には、一つ置きに連続する二つの画像を使用し、それにより、処理時間を短くできるのが分かるであろう。
【００３４】
以下においては、図４を参照したように第一画像Ｇ１および第二画像Ｇ２が設定されたものとして、説明を続ける。図３を参照すると、ステップＳ１９においては、複数の画像のうちのはじめの二つの画像Ｇａ、Ｇｂのうちの第一画像Ｇ１、つまり画像Ｇａが撮像されたときのロボット１０の第一位置姿勢情報ＰＲ１が位置姿勢情報記憶部２２に記憶される。
【００３５】
次いで、ステップＳ２０においては、複数の画像のうちの最後の二つの画像Ｇ（ｎ−１）、Ｇｎのうちの第二画像Ｇ２、つまり画像Ｇｎが撮像されたときのロボット１０の第二位置姿勢情報ＰＲ２が位置姿勢情報記憶部２２に記憶される。前述したようにロボット１０は移動しているので、第二位置姿勢情報ＰＲ２は第一位置姿勢情報ＰＲ１とは互いに異なる。
【００３６】
次いで、ステップＳ２１においては、複数の画像のうちのはじめの二つの画像Ｇａ、Ｇｂのうちの第一画像Ｇ１、つまり画像Ｇａにおける前述した一つの特徴点Ｋ１の第一位置情報ＰＷ１を位置情報記憶部２３に記憶する。そして、ステップＳ２２においては、複数の画像のうちの最後の二つの画像Ｇ（ｎ−１）、Ｇｎのうちの第二画像Ｇ２、つまり画像Ｇｎの、前述した距離が最短である特徴点Ｋ１’の第二位置情報ＰＷ２を位置情報記憶部２３に記憶する。
【００３７】
次いで、ステップＳ２３において、視線情報算出部２４は、第一位置姿勢情報ＰＲ１および第一位置情報ＰＷ１に基づいて第一視線情報Ｌ１を算出する。同様に、視線情報算出部２４は、第二位置姿勢情報ＰＲ２および第二位置情報ＰＷ２に基づいて第二視線情報Ｌ２を算出する。図４から分かるように、第一および第二視線情報Ｌ１、Ｌ２はカメラ３０から対象物Ｗまでそれぞれ延びる視線である。これら第一および第二視線情報Ｌ１、Ｌ２は図５の第一画像Ｇ１および第二画像Ｇ２に十字で示されている。
【００３８】
次いで、ステップＳ２４においては、三次元位置検出部２５が第一および第二視線情報Ｌ１、Ｌ２の交点または近似交点から対象物Ｗの三次元位置を検出する。このように本発明では、ロボット１０を移動させながら連続して撮像した複数の画像を使用して特徴点を追跡しているので、従来技術のように複数のカメラまたは複数のレンズを使用して検出した２つの特徴点を対応づけることなしに、対象物Ｗの三次元位置を検出することができる。従って、本発明では、システム１全体の構成を単純にしつつコストを抑えることが可能である。
【００３９】
即ち、ロボット１０が移動している間に一つの特徴点を追跡して第一画像Ｇ１および第二画像Ｇ２の対象物の特徴点をステレオペアとして確実に対応付けできる。
【００４０】
本発明では、特徴点の追跡に基づいて対応付けを行うので、ロボット１０が高速で移動するときにおいても、画像の対応付けを連続して順次行うことにより、ロボット１０の移動終了後に、第一画像Ｇ１と第二画像Ｇ２における対象物の特徴点を夫々検出して対応付けを行う必要はない。また、ステレオペアの対応付けが容易かつ確実であるので、従来技術と比較して信頼性を向上させられる。
【００４１】
ところで、複数の特徴点を有するワークにおいて、少なくとも三つの特徴点の三次元位置を用いて、該ワークの三次元位置姿勢が定まるワークが存在する。そのようなワークの三次元位置姿勢を求める場合には、はじめに特徴点検出部２７が、第一画像Ｇ１内に位置する少なくとも三つの特徴点を第二画像Ｇ２内に検出する。以降は前述と同様に三つの特徴点を連続して撮像する複数の画像で追跡して検出することができる。
【００４２】
そして、視線情報算出部２４が少なくとも三つの特徴点の第一視線情報および前記第二視線情報をそれぞれ算出する。さらに、三次元位置検出部２５は、算出された第一視線情報および第二視線情報のそれぞれの交点から少なくとも三つの特徴点のそれぞれの三次元位置を検出する。これにより、三次元位置検出部２５はワークの三次元位置姿勢を検出することができる。
【００４３】
典型的な実施形態を用いて本発明を説明したが、当業者であれば、本発明の範囲から逸脱することなしに、前述した変更および種々の他の変更、省略、追加を行うことができるのを理解できるであろう。
【符号の説明】
【００４４】
１    システム
１０    ロボット
２０    制御装置（検出装置）
２１    画像記憶部
２２    位置姿勢情報記憶部
２３    位置情報記憶部
２４    視線情報算出部
２５    三次元位置検出部
２６    移動方向決定部
２７    特徴点検出部
２８    距離算出部
２９    対象物決定部
３０    カメラ（撮像部）
３１    画像処理部
３５    投光器
【図１】
2018051728.tif 000003
【図２】
2018051728.tif 000004
【図３】
2018051728.tif 000005
【図４】
2018051728.tif 000006
【図５】
2018051728.tif 000007
【図６Ａ】
2018051728.tif 000008
【図６Ｂ】
2018051728.tif 000009