(57)【要約】【課題】撮像部により撮像された撮像画像に基づいて、対象物の注目部分を精度よく検出することができるロボット制御装置を提供すること。【解決手段】対象物を動かす第１可動部を備えたロボットを制御するロボット制御装置であって、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、ロボット制御装置。【選択図】図４
2019034386.tif 000002
【特許請求の範囲】
【請求項１】
対象物を動かす第１可動部を備えたロボットを制御するロボット制御装置であって、
前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、
ロボット制御装置。
【請求項２】
前記撮像部は、ロボット座標系における前記撮像部の位置及び姿勢が動かないように固定されている、
請求項１に記載のロボット制御装置。
【請求項３】
第２可動部により前記撮像部を前記対象物に対して相対的に動かす、
請求項１に記載のロボット制御装置。
【請求項４】
前記撮像部は、ステレオカメラである、
請求項１から３のうちいずれか一項に記載のロボット制御装置。
【請求項５】
前記撮像部により撮像された撮像画像に含まれる前記注目部分を検出する、
請求項１から４のうちいずれか一項に記載のロボット制御装置。
【請求項６】
前記撮像画像から検出した前記注目部分に応じた処理を行う、
請求項５に記載のロボット制御装置。
【請求項７】
前記撮像画像から検出した前記注目部分に応じて、前記ロボットの動作に関する処理を行う、
請求項６に記載のロボット制御装置。
【請求項８】
対象物を動かす第１可動部を備え、
前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、
ロボット。
【請求項９】
対象物を動かす第１可動部を備えたロボットと、前記ロボットを制御するロボット制御装置とを備えるロボットシステムであって、
前記ロボット制御装置は、
前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、
ロボットシステム。
【請求項１０】
対象物を動かす第１可動部を備えたロボットを制御するロボット制御方法であって、
前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、
ロボット制御方法。
【請求項１１】
対象物を動かす第１可動部を備えたロボットを制御するロボット制御装置であって、
プロセッサーを備え、
前記プロセッサーは、
前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる指令を実行するように構成されていることを特徴する、
ロボット制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ロボット制御装置、ロボット、ロボットシステム、及びロボット制御方法に関する。
【背景技術】
【０００２】
対象物が撮像された撮像画像に基づいて、対象物に関する作業をロボットに行わせる技術についての研究、開発が行われている。
【０００３】
これに関し、撮像部を備え、把持した対象物を撮像部に近づけて対象物を撮像部に撮像させ、撮像部が撮像した撮像画像に基づいて対象物の位置及び姿勢を検出するロボットが知られている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２２６９５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このようなロボットでは、撮像部により撮像された撮像画像には、対象物とともに対象物の背景として対象物以外の物体が撮像される場合がある。その結果、当該ロボットは、当該撮像画像から対象物を精度よく検出することが出来ないことがある。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一つを解決するために本発明の一態様は、対象物を動かす第１可動部を備えたロボットを制御するロボット制御装置であって、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、ロボット制御装置である。
この構成により、ロボット制御装置は、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置は、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０００７】
また、本発明の他の態様は、ロボット制御装置において、前記撮像部は、ロボット座標系における前記撮像部の位置及び姿勢が動かないように固定されている、構成が用いられてもよい。
この構成により、ロボット制御装置は、第１可動部により対象物の注目部分を、ロボット座標系における撮像部の位置及び姿勢が動かないように固定されている撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向において撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置は、ロボット座標系における撮像部の位置及び姿勢が動かないように固定されている撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０００８】
また、本発明の他の態様は、ロボット制御装置において、第２可動部により前記撮像部を前記対象物に対して相対的に動かす、構成が用いられてもよい。
この構成により、ロボット制御装置は、第２可動部により撮像部を対象物に対して相対的に動かす。これにより、ロボット制御装置は、第２可動部により対象物に対して相対的に動かした撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０００９】
また、本発明の他の態様は、ロボット制御装置において、前記撮像部は、ステレオカメラである、構成が用いられてもよい。
この構成により、ロボット制御装置は、ステレオカメラである撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向において撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置は、ステレオカメラである撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【００１０】
また、本発明の他の態様は、ロボット制御装置において、前記撮像部により撮像された撮像画像に含まれる前記注目部分を検出する、構成が用いられてもよい。
この構成により、ロボット制御装置は、撮像部により撮像された撮像画像に含まれる対象物の注目部分を検出する。これにより、ロボット制御装置は、撮像画像から検出した注目部分に関する作業をロボットに精度よく行わせることができる。
【００１１】
また、本発明の他の態様は、ロボット制御装置において、前記撮像画像から検出した前記注目部分に応じた処理を行う、構成が用いられてもよい。
この構成により、ロボット制御装置は、撮像画像から検出した注目部分に応じた処理を行う。これにより、ロボット制御装置は、撮像画像から検出した注目部分に応じた処理を精度よく行うことができる。
【００１２】
また、本発明の他の態様は、ロボット制御装置において、前記撮像画像から検出した前記注目部分に応じて、前記ロボットの動作に関する処理を行う、構成が用いられてもよい。
この構成により、ロボット制御装置は、撮像画像から検出した注目部分に応じて、ロボットの動作に関する処理を行う。これにより、ロボット制御装置は、ロボットの動作に関する処理を精度よく行うことができる。
【００１３】
また、本発明の他の態様は、対象物を動かす第１可動部を備え、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、ロボットである。
この構成により、ロボットは、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボットは、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【００１４】
また、本発明の他の態様は、対象物を動かす第１可動部を備えたロボットと、前記ロボットを制御するロボット制御装置とを備えるロボットシステムであって、前記ロボット制御装置は、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、ロボットシステムである。
この構成により、ロボットシステムは、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボットシステムは、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【００１５】
また、本発明の他の態様は、対象物を動かす第１可動部を備えたロボットを制御するロボット制御方法であって、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる、ロボット制御方法である。
この構成により、ロボット制御方法は、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボットシステムは、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【００１６】
また、本発明の他の態様は、対象物を動かす第１可動部を備えたロボットを制御するロボット制御装置であって、プロセッサーを備え、前記プロセッサーは、前記第１可動部により前記対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち前記撮像部の前記深度方向における焦点位置から前記深度方向における前記撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、前記撮像部に前記注目部分を含む領域を撮像させる指令を実行するように構成されていることを特徴する、ロボット制御装置である。
この構成により、ロボット制御装置は、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置は、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【００１７】
以上により、ロボット制御装置、ロボット、ロボットシステム、及びロボット制御方法は、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置、ロボット、ロボットシステム、及びロボット制御方法は、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係るロボットシステム１の構成の一例を示す図である。
【図２】複数の情報処理装置によってロボット制御装置３０が構成される場合におけるロボット制御装置３０のハードウェア構成の一例である。
【図３】対象物Ｏの一例を示す図である。当該例では、図３に示した対象物Ｏの上面が注目部分ＦＯとして表されている。
【図４】ロボット制御装置３０の機能構成の一例を示す図である。
【図５】対象物Ｏを第３撮像部Ｃ３に撮像させるためにロボット制御装置３０が第１アームＡ１を動かす処理の流れの一例を示す図である。
【図６】撮像位置及び撮像姿勢と位置及び姿勢が一致している状態の対象物Ｏの一例を示す図である。
【図７】実施形態の変形例に係るロボットシステム２の一例を示す構成図である。
【発明を実施するための形態】
【００１９】
＜実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。
【００２０】
＜ロボットシステムの概要＞
まず、ロボットシステム１の概要について説明する。図１は、実施形態に係るロボットシステム１の構成の一例を示す図である。
【００２１】
ロボットシステム１は、撮像部に対象物を撮像させる。ロボットシステム１は、撮像部が対象物を撮像した撮像画像に基づいて、例えば、対象物に関する作業をロボットに行わせる。
【００２２】
ここで、ロボットシステム１と異なるロボットシステムＸ（例えば、従来のロボットシステム）では、撮像部により撮像された撮像画像には、対象物とともに対象物の背景として対象物以外の物体が撮像される場合がある。その結果、ロボットシステムＸは、当該撮像画像から対象物を精度よく検出することが出来ないことがある。
【００２３】
そこで、ロボットシステム１は、対象物を動かす第１可動部を備えたロボットを備え、第１可動部により対象物の注目部分を、撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に当該注目部分を含む領域を撮像させる。ここで、当該深度方向は、撮像部の光軸に沿った方向のうち撮像部の撮像素子から撮像部のレンズに向かう方向のことである。これにより、ロボットシステム１は、撮像部に撮像された物体のうちの当該注目部分が惚けずに撮像された撮像画像であって、撮像部に撮像された物体のうちの当該注目部分以外の部分のほとんどが惚けて撮像されている撮像画像を取得することができる。ここで、当該撮像画像において当該部分が惚けているとは、当該撮像画像内の領域のうちの当該部分が撮像された領域内において、最も小さい錯乱円が予め決められた直径であって許容可能な最小の直径である許容直径よりも大きい直径であることを意味する。この場合、当該撮像画像から当該部分から何らかの形状を検出することは、困難である。その結果、ロボットシステム１は、撮像部により撮像された撮像画像に基づいて、当該撮像画像における当該注目部分以外の部分を当該注目部分として誤検出してしまうことを抑制するとともに、当該撮像画像における当該注目部分を精度よく検出することができる。
【００２４】
以下では、ロボットシステム１の構成と、ロボットシステム１が行う処理のうち、対象物を撮像部に撮像させるためにロボットシステム１が第１可動部を動かす処理とについて説明する。
【００２５】
＜ロボットシステムの構成＞
まず、ロボットシステム１の構成について説明する。
図１は、実施形態に係るロボットシステム１の構成の一例を示す図である。ロボットシステム１は、上記のロボットの一例であるロボット２０を備える。また、ロボット２０は、上記のロボット制御装置の一例であるロボット制御装置３０を内蔵する。なお、ロボットシステム１は、ロボット２０に加えて、ロボット２０と別体の撮像部等の他の装置を備える構成であってもよい。
【００２６】
ロボット２０は、第１アームＡ１と、第２アームＡ２と、第１アームＡ１及び第２アームＡ２を支持する支持台Ｂと、支持台Ｂの内側にロボット制御装置３０を備える双腕ロボットである。なお、ロボット２０は、双腕ロボットに代えて、３本以上のアームを備える複腕ロボットであってもよく、１本のアームを備える単腕ロボットであってもよい。また、ロボット２０は、スカラ（水平多関節）ロボット、直交座標ロボット、円筒型ロボット等の他のロボットであってもよい。直交座標ロボットは、例えば、ガントリロボットである。
【００２７】
支持台Ｂは、ロボット２０が設置された設置面に直交する方向に沿って２つの部分に分割されている。なお、支持台Ｂは、分割されていない構成であってもよく、３つ以上の部分に分割されている構成であってもよい。当該２つの部分のうち当該設置面から遠い方の部分である支持台上部Ｂ２は、当該２つの部分のうち当該設置面から近い方の部分である支持台下部Ｂ１に対して回動可能である。すなわち、ロボット２０は、支持台上部Ｂ２と支持台下部Ｂ１との間を繋ぐ関節である関節Ｊ０を有している。支持台上部Ｂ２が回動する場合の回動面は、例えば、当該設置面に対して平行である。支持台下部Ｂ１の内側には、ロボット制御装置３０が備えられている。また、支持台上部Ｂ２は、支持台下部Ｂ１に対して上下方向に並進可能である。上方向は、この一例において、設置面に直交する２つの方向のうち支持台下部Ｂ１から支持台上部Ｂ２に向かう方向のことである。また、下方向は、この一例において、上方向と逆の方向のことである。なお、当該回動面は、当該設置面に対して非平行であってもよい。また、支持台上部Ｂ２は、支持台下部Ｂ１に対して上下方向に並進不可能な構成であってもよい。
【００２８】
第１アームＡ１は、第１エンドエフェクターＥ１と、第１マニピュレーターＭ１を備える。
【００２９】
第１エンドエフェクターＥ１は、物体を保持するエンドエフェクターである。この一例において、第１エンドエフェクターＥ１は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、第１エンドエフェクターＥ１は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。なお、この一例において、保持するとは、物体を持ち上げることが可能な状態にすることを意味する。
【００３０】
第１エンドエフェクターＥ１は、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、第１エンドエフェクターＥ１は、ロボット制御装置３０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ（Universal  Serial  Bus）等の規格によって行われる。また、第１エンドエフェクターＥ１は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００３１】
第１マニピュレーターＭ１は、７つの関節と、第１撮像部Ｃ１を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、第１マニピュレーターＭ１を備える第１アームＡ１は、７軸垂直多関節型のアームである。第１アームＡ１は、支持台Ｂと、第１エンドエフェクターＥ１と、第１マニピュレーターＭ１と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、第１アームＡ１は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
【００３２】
第１アームＡ１が７軸の自由度で動作する場合、第１アームＡ１は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これにより第１アームＡ１は、例えば、動作が滑らかになり、更に第１アームＡ１の周辺に存在する物体との干渉を容易に回避することができる。また、第１アームＡ１が７軸の自由度で動作する場合、第１アームＡ１の制御は、第１アームＡ１が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
【００３３】
第１マニピュレーターＭ１が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置３０から取得される制御信号に基づいて、第１マニピュレーターＭ１を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第１マニピュレーターＭ１が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００３４】
第１撮像部Ｃ１は、例えば、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。この一例において、第１撮像部Ｃ１は、第１マニピュレーターＭ１の一部に備えられる。そのため、第１撮像部Ｃ１は、第１マニピュレーターＭ１の動きに応じて移動する。また、第１撮像部Ｃ１が撮像可能な範囲は、第１アームＡ１の動きに応じて変化する。第１撮像部Ｃ１は、当該範囲の二次元画像を撮像する。なお、第１撮像部Ｃ１は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。第１撮像部Ｃ１は、上記の撮像部の一例である。
【００３５】
また、第１撮像部Ｃ１は、ケーブルによってロボット制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第１撮像部Ｃ１は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００３６】
第２アームＡ２は、第２エンドエフェクターＥ２と、第２マニピュレーターＭ２を備える。
【００３７】
第２エンドエフェクターＥ２は、物体を保持するエンドエフェクターである。この一例において、第２エンドエフェクターＥ２は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、第２エンドエフェクターＥ２は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。
【００３８】
第２エンドエフェクターＥ２は、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、第２エンドエフェクターＥ２は、ロボット制御装置３０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第２エンドエフェクターＥ２は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００３９】
第２マニピュレーターＭ２は、７つの関節と、第２撮像部Ｃ２を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、第２マニピュレーターＭ２を備える第２アームＡ２は、７軸垂直多関節型のアームである。第２アームＡ２は、支持台Ｂと、第２エンドエフェクターＥ２と、第２マニピュレーターＭ２と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、第２アームＡ２は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
【００４０】
第２アームＡ２が７軸の自由度で動作する場合、第２アームＡ２は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これにより第２アームＡ２は、例えば、動作が滑らかになり、更に第２アームＡ２の周辺に存在する物体との干渉を容易に回避することができる。また、第２アームＡ２が７軸の自由度で動作する場合、第２アームＡ２の制御は、第２アームＡ２が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
【００４１】
第２マニピュレーターＭ２が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置３０から取得される制御信号に基づいて、第２マニピュレーターＭ２を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第２マニピュレーターＭ２が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００４２】
第２撮像部Ｃ２は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。この一例において、第２撮像部Ｃ２は、第２マニピュレーターＭ２の一部に備えられる。そのため、第２撮像部Ｃ２は、第２マニピュレーターＭ２の動きに応じて移動する。また、第２撮像部Ｃ２が撮像可能な範囲は、第２アームＡ２の動きに応じて変化する。第２撮像部Ｃ２は、当該範囲の二次元画像を撮像する。なお、第２撮像部Ｃ２は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。第２撮像部Ｃ２は、上記の撮像部の一例である。
【００４３】
また、第２撮像部Ｃ２は、ケーブルによってロボット制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第２撮像部Ｃ２は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００４４】
また、ロボット２０は、第３撮像部Ｃ３と、第４撮像部Ｃ４を備える。
第３撮像部Ｃ３は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。第３撮像部Ｃ３は、第４撮像部Ｃ４が撮像可能な範囲を第４撮像部Ｃ４とともにステレオ撮像可能な部位に備えられる。また、第３撮像部Ｃ３は、ロボット座標系における第３撮像部Ｃ３の位置及び姿勢が動かないように固定されている。第３撮像部Ｃ３は、上記の撮像部の一例である。第３撮像部Ｃ３は、ケーブルによってロボット制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第３撮像部Ｃ３は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００４５】
第４撮像部Ｃ４は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。第４撮像部Ｃ４は、第３撮像部Ｃ３が撮像可能な範囲を第３撮像部Ｃ３とともにステレオ撮像可能な部位に備えられる。また、第４撮像部Ｃ４は、ロボット座標系における第４撮像部Ｃ４の位置及び姿勢が動かないように固定されている。第４撮像部Ｃ４は、上記の撮像部の一例である。第４撮像部Ｃ４は、ケーブルによって通信可能にロボット制御装置３０と接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、第４撮像部Ｃ４は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【００４６】
ここで、この一例における第３撮像部Ｃ３及び第４撮像部Ｃ４は、前述の支持台上部Ｂ２に備えられる。このため、第３撮像部Ｃ３及び第４撮像部Ｃ４がステレオ撮像可能な範囲は、支持台上部Ｂ２の支持台下部Ｂ１に対する上下方向に沿った並進によって変化する。
【００４７】
また、第３撮像部Ｃ３及び第４撮像部Ｃ４が備えられた支持台上部Ｂ２には、第３撮像部Ｃ３及び第４撮像部Ｃ４の両方を支持台上部Ｂ２に対して相対的に回動させることにより、第３撮像部Ｃ３及び第４撮像部Ｃ４それぞれの光軸の向きを変化させるチルト機構が設けられている。なお、支持台上部Ｂ２には、チルト機構が設けられていない構成であってもよい。
【００４８】
上記で説明したロボット２０が備える各機能部は、この一例において、ロボット２０に内蔵されたロボット制御装置３０から制御信号を取得する。そして、当該各機能部は、取得した制御信号に基づいた動作を行う。なお、ロボット２０は、ロボット制御装置３０を内蔵する構成に代えて、外部に設置されたロボット制御装置３０により制御される構成であってもよい。また、ロボット２０は、第１撮像部Ｃ１、第２撮像部Ｃ２、第３撮像部Ｃ３、第４撮像部Ｃ４のうちの一部又は全部を備えない構成であってもよい。
【００４９】
ロボット制御装置３０は、少なくとも１つのプロセッサーと、少なくとも１つのメモリーとによって構成される。ロボット制御装置３０において、当該少なくとも１つのプロセッサーは、１つの情報処理装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。また、ロボット制御装置３０において、当該少なくとも１つのメモリーは、１つの情報処理装置に備えられる構成であってもよく、複数の情報処理装置に分散されて備えられている構成であってもよい。
【００５０】
図１に示した例では、ロボット制御装置３０は、情報処理装置ＰＣ１に備えられた１つのプロセッサーであるプロセッサー３１と、情報処理装置ＰＣ１に備えられた１つのメモリーであるメモリー３２とによって構成されている。なお、情報処理装置ＰＣ１は、プロセッサー３１に加えて、他のプロセッサーを備える構成であってもよく、メモリー３２に加えて、他のメモリーを備える構成であってもよい。
【００５１】
情報処理装置ＰＣ１は、例えば、ワークステーション、デスクトップＰＣ（Personal  Computer）、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ（Personal  Digital  Assistant）等である。
【００５２】
プロセッサー３１は、例えば、ＣＰＵ（Central  Processing  Unit）である。なお、プロセッサー３１は、ＦＰＧＡ（Field-Programmable  Gate  Array）等の他のプロセッサーであってもよい。プロセッサー３１は、ロボット制御装置３０が備えるメモリーに格納された各種の指令を実行する。また、プロセッサー３１は、他の装置のメモリーに格納された各種の指令を実行する。
【００５３】
メモリー３２は、例えば、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  Read−Only  Memory）、ＲＯＭ（Read−Only  Memory）、ＲＡＭ（Random  Access  Memory）等を含む。すなわち、メモリー３２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー３２は、情報処理装置ＰＣ１に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー３２は、プロセッサー３１又は他の装置のプロセッサーが処理する各種の情報、指令３２１、３２２等のコンピューターにより実行可能な各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
【００５４】
指令３２１及び指令３２２はそれぞれ、プロセッサー３１がロボット制御装置３０を構成するためにプロセッサー３１が実行する複数の指令（すなわち、コンピューターにより実行可能な複数の指令）のうちの一部である。
【００５５】
また、ロボット制御装置３０は、他の装置と通信を行うため、ハードウェア機能部として通信部３４を備える。
通信部３４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００５６】
なお、ロボット制御装置３０は、１つのプロセッサー３１と、１つのメモリー３２とを備える情報処理装置ＰＣ１に代えて、図２に示したように、複数の情報処理装置のうちの一部又は全部によって構成されてもよい。図２は、複数の情報処理装置によってロボット制御装置３０が構成される場合におけるロボット制御装置３０のハードウェア構成の一例である。
【００５７】
図２に示した情報処理装置ＰＣ２は、１つのプロセッサーであるプロセッサー４１と、１つのメモリーであるメモリー４２と、通信部４４を備える。なお、情報処理装置ＰＣ２は、プロセッサー４１に加えて、他のプロセッサーを備える構成であってもよい。また、情報処理装置ＰＣ２は、メモリー４２に加えて、他のメモリーを備える構成であってもよい。
【００５８】
情報処理装置ＰＣ２は、例えば、ワークステーション、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ等である。なお、情報処理装置ＰＣ２は、教示装置４０であってもよい。
【００５９】
プロセッサー４１は、ＣＰＵである。なお、プロセッサー４１は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー４１は、メモリー３２に格納された各種の指令を実行する。また、プロセッサー４１は、他の装置のメモリーに格納された各種の指令を実行する。
【００６０】
メモリー４２は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。すなわち、メモリー４２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー４２は、情報処理装置ＰＣ２に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー４２は、プロセッサー４１又は他の装置のプロセッサーが処理する各種の情報、コンピューターにより実行可能な各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
【００６１】
通信部４４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００６２】
図２に示した情報処理装置ＰＣ３は、１つのプロセッサーであるプロセッサー５１と、１つのメモリーであるメモリー５２と、通信部５４を備える。なお、情報処理装置ＰＣ３は、プロセッサー５１に加えて、他のプロセッサーを備える構成であってもよい。また、情報処理装置ＰＣ３は、メモリー５２に加えて、他のメモリーを備える構成であってもよい。
【００６３】
情報処理装置ＰＣ３は、例えば、ワークステーション、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ、多機能携帯電話端末（スマートフォン）、通信機能付きの電子書籍リーダー、ＰＤＡ等である。
【００６４】
プロセッサー５１は、ＣＰＵである。なお、プロセッサー５１は、ＦＰＧＡ等の他のプロセッサーであってもよい。プロセッサー５１は、メモリー５２に格納された各種の指令を実行する。また、プロセッサー５１は、他の装置のメモリーに格納された各種の指令を実行する。
【００６５】
メモリー５２は、例えば、ＨＤＤ、ＳＳＤ、ＥＥＰＲＯＭ、ＲＯＭ、ＲＡＭ等を含む。すなわち、メモリー５２は、一時的な記憶装置と、非一時的な記憶装置とを含む。なお、メモリー５２は、情報処理装置ＰＣ３に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置であってもよい。メモリー５２は、プロセッサー５１又は他の装置のプロセッサーが処理する各種の情報、コンピューターにより実行可能な各種の指令（例えば、プログラム、コード等）、各種の画像等を格納する。
【００６６】
通信部５４は、ＵＳＢ等のデジタル入出力ポート、イーサネット（登録商標）ポート等を含んで構成される。
【００６７】
図２に示した例では、情報処理装置ＰＣ１と、情報処理装置ＰＣ２とが無線又は有線によって互いに通信可能に接続されている。また、当該例では、情報処理装置ＰＣ１と、情報処理装置ＰＣ３とがＬＡＮ（Local  Area  Network）を介して無線又は有線によって互いに通信可能に接続されている。また、当該例では、情報処理装置ＰＣ２と、情報処理装置ＰＣ３とがＬＡＮを介して無線又は有線によって互いに通信可能に接続されている。
【００６８】
また、図２に示した例では、ロボット制御装置３０は、プロセッサー３１と、プロセッサー４１と、プロセッサー５１のうちの少なくとも１つと、メモリー３２と、メモリー４２と、メモリー５２のうちの少なくとも１つとによって構成される。プロセッサー３１と、プロセッサー４１と、プロセッサー５１のうちの２つ以上によってロボット制御装置３０が構成される場合、ロボット制御装置３０を構成する当該２つ以上のプロセッサーは、通信部による通信を行うことにより、連携してロボット制御装置３０の機能を実現する。また、当該場合、当該２つ以上のプロセッサーは、メモリー３２と、メモリー４２と、メモリー５２のうちの少なくとも１つに格納された指令に基づいて、ロボット制御装置３０の機能による処理を実行する。
【００６９】
なお、図２に示した例のように、ロボット制御装置３０が複数の情報処理装置によって構成される場合、教示装置４０は、当該複数の情報処理装置の少なくとも１つと通信可能に接続される。
【００７０】
図１に戻る。ロボット制御装置３０は、ロボット２０を制御する。より具体的には、ロボット制御装置３０は、例えば、メモリー３２に予め記憶された動作プログラムに応じて、上記の対象物の一例である対象物Ｏに関する作業をロボット２０に行わせる。図１に示した例では、対象物Ｏは、第１エンドエフェクターＥ１に予め保持されている。なお、対象物Ｏは、第２エンドエフェクターＥ２に予め保持されている構成であってもよく、第１エンドエフェクターＥ１及び第２エンドエフェクターＥ２の両方に予め保持されている構成であってもよい。以下では、一例として、図１に示した通り、対象物Ｏが第１エンドエフェクターＥ１によって予め保持されている場合について説明する。この場合、第１アームＡ１は、上記の第１可動部の一例である。なお、以下において説明する処理によって第１アームＡ１が行う動作は、第２アームＡ２によって行われてもよい。この場合、第２アームＡ２は、上記の第１可動部の一例である。また、以下において説明する処理によって第１アームＡ１が行う動作は、第１アームＡ１及び第２アームＡ２の両方によって行われてもよい。この場合、第１アームＡ１及び第２アームＡ２の両方は、第１可動部の一例である。
【００７１】
対象物Ｏは、製品に組み付ける産業用の部品や部材である。図１に示した例では、対象物Ｏは、直方体形状の物体として表されている。なお、対象物Ｏは、産業用の部品や部材に代えて、日用品、生体等の他の物体であってもよい。また、対象物Ｏの形状は、直方体形状に代えて、円柱形状等の他の形状であってもよい。
【００７２】
ここで、ロボット制御装置３０は、対象物Ｏに関する作業をロボット２０に行わせる際、ロボット２０を制御し、対象物Ｏの注目部分を第１撮像部Ｃ１〜第４撮像部Ｃ４のうちの一部又は全部に撮像させる。以下では、一例として、ロボット制御装置３０が、当該注目部分を第３撮像部Ｃ３に撮像させる場合について説明する。従って、以下において説明する処理によって第３撮像部Ｃ３が行う動作は、第１撮像部Ｃ１、第２撮像部Ｃ２、第４撮像部Ｃ４のいずれかによって行われてもよく、第１撮像部Ｃ１〜第４撮像部Ｃ４のうちの２つ以上の撮像部によって行われてもよい。また、当該動作が当該２つ以上の撮像部によって行われる場合、当該動作として、当該２つ以上の撮像部によりステレオ撮像が行われてもよい。すなわち、当該場合、当該撮像部は、ステレオカメラである。
【００７３】
対象物Ｏの注目部分は、対象物Ｏの部分のうち対象物Ｏに関する作業に応じて決まる部分のことである。より具体的には、当該注目部分は、当該作業をロボット２０に行わせる場合において、対象物Ｏの部分のうち、ロボット制御装置３０が第３撮像部Ｃ３に撮像させる部分（すなわち、ユーザーが第３撮像部Ｃ３に撮像させたい所望の部分）を含む部分のことである。図３に示した例では、当該注目部分は、対象物Ｏが有する６つの面のうちの１つの面である。図３は、対象物Ｏの一例を示す図である。当該例では、図３に示した対象物Ｏの上面が注目部分ＦＯとして表されている。
【００７４】
ロボット制御装置３０は、第３撮像部Ｃ３に対象物Ｏの注目部分ＦＯを撮像させる際、第１エンドエフェクターＥ１により対象物Ｏの注目部分ＦＯを、第３撮像部Ｃ３の被写界深度の深度方向における範囲のうち第３撮像部Ｃ３の深度方向における焦点位置から当該深度方向における第３撮像部Ｃ３から最も遠い位置までの範囲である第１深度範囲内に動かして、第３撮像部Ｃ３に注目部分ＦＯを含む領域を撮像させる。これにより、ロボット制御装置３０は、第３撮像部Ｃ３に撮像された物体のうち対象物Ｏの注目部分ＦＯが惚けずに撮像された撮像画像であって、第３撮像部Ｃ３に撮像された物体のうちの注目部分ＦＯ以外の部分のほとんどが惚けて撮像されている撮像画像を第３撮像部Ｃ３から取得することができる。その結果、ロボット制御装置３０は、第３撮像部Ｃ３により撮像された撮像画像に基づいて、当該撮像画像における注目部分ＦＯ以外の部分を注目部分ＦＯとして誤検出してしまうことを抑制するとともに、当該撮像画像における注目部分ＦＯを精度よく検出することができる。
【００７５】
第３撮像部Ｃ３に対象物Ｏの注目部分ＦＯを撮像させた後、ロボット制御装置３０は、第３撮像部Ｃ３により撮像された撮像画像に基づいて、当該撮像画像から注目部分ＦＯを検出する。ロボット制御装置３０は、例えば、パターンマッチング等の処理によって、当該撮像画像から注目部分ＦＯを検出する。そして、ロボット制御装置３０は、検出した注目部分ＦＯに応じた処理を行う。当該処理は、ロボット２０の動作に関する処理である。具体的には、例えば、当該注目部分ＦＯに応じた処理は、注目部分ＦＯの表面に異物（傷、意図せずに形成されている凹凸、粉塵等）が存在しているか否かを判定する処理である。当該表面に異物が存在しているか否かを判定した後、ロボット制御装置３０は、判定結果に応じた領域に対象物Ｏを載置する。この一例において、当該表面に異物が存在していないと判定した場合、ロボット制御装置３０は、対象物Ｏを予め決められた図示しない給材領域に載置する。一方、当該表面に異物が存在していると判定した場合、ロボット制御装置３０は、対象物Ｏを予め決められた図示しない除材領域に載置する。また、例えば、対象物Ｏが電動ドライバーであり、注目部分ＦＯが当該電動ドライバーの先端であった場合、ロボット制御装置３０は、検出した注目部分ＦＯに応じた処理として、当該先端にネジが給材されているか否かを判定する処理を行う。ロボット制御装置３０は、当該先端にネジが給材されていない場合、ロボット２０を動作させ、当該先端にネジを給材させる。一方、当該先端にネジが給材されていた場合、ロボット２０を動作させ、当該電動ドライバーによって当該ネジを予め決められた物体に締結する。また、例えば、対象物Ｏがプレートであり、注目部分ＦＯが当該プレートに設けられたバーコード等のマーカーであった場合、ロボット制御装置３０は、注目部分ＦＯとして検出したマーカーが示す情報を当該マーカーから読み取る。そして、ロボット制御装置３０は、読み取った当該情報に基づく処理を行う。なお、ロボット制御装置３０が検出した注目部分ＦＯに応じた処理は、ロボット２０の動作に関する処理以外の他の処理であってもよい。また、ロボット２０の動作に関する処理は、他の処理であってもよい。
【００７６】
＜ロボット制御装置の機能構成＞
以下、図４を参照し、ロボット制御装置３０の機能構成について説明する。図４は、ロボット制御装置３０の機能構成の一例を示す図である。
【００７７】
ロボット制御装置３０は、メモリー３２と、通信部３４と、制御部３６を備える。
【００７８】
制御部３６は、ロボット制御装置３０の全体を制御する。制御部３６は、撮像制御部３６１と、画像取得部３６３と、ロボット制御部３６５と、画像処理部３６７を備える。制御部３６が備えるこれらの機能部は、例えば、プロセッサー３１が、メモリー３２に記憶された指令３２１、３２２等の各種の指令を実行することにより実現される。また、当該機能部のうちの一部又は全部は、ＬＳＩ（Large  Scale  Integration）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）等のハードウェア機能部であってもよい。
【００７９】
撮像制御部３６１は、第１撮像部Ｃ１が撮像可能な範囲を第１撮像部Ｃ１に撮像させる。また、撮像制御部３６１は、第２撮像部Ｃ２が撮像可能な範囲を第２撮像部Ｃ２に撮像させる。また、撮像制御部３６１は、第３撮像部Ｃ３が撮像可能な範囲を第３撮像部Ｃ３に撮像させる。また、撮像制御部３６１は、第４撮像部Ｃ４が撮像可能な範囲を第４撮像部Ｃ４に撮像させる。
【００８０】
画像取得部３６３は、第１撮像部Ｃ１が撮像した撮像画像を第１撮像部Ｃ１から取得する。また、画像取得部３６３は、第２撮像部Ｃ２が撮像した撮像画像を第２撮像部Ｃ２から取得する。また、画像取得部３６３は、第３撮像部Ｃ３が撮像した撮像画像を第３撮像部Ｃ３から取得する。また、画像取得部３６３は、第４撮像部Ｃ４が撮像した撮像画像を第４撮像部Ｃ４から取得する。
【００８１】
ロボット制御部３６５は、ロボット２０を動作させる。
【００８２】
画像処理部３６７は、画像取得部３６３が取得した撮像画像に基づく画像処理を行う。例えば、画像処理部３６７は、当該撮像画像に対象物Ｏの注目部分ＦＯが撮像されていた場合、当該撮像画像から注目部分ＦＯを検出する。
【００８３】
＜対象物を撮像部に撮像させるためにロボット制御装置が第１アームを動かす処理＞
以下、図５を参照し、対象物Ｏを第３撮像部Ｃ３に撮像させるためにロボット制御装置３０が第１アームＡ１を動かす処理について説明する。図５は、対象物Ｏを第３撮像部Ｃ３に撮像させるためにロボット制御装置３０が第１アームＡ１を動かす処理の流れの一例を示す図である。なお、図５に示したフローチャートでは、図５に示したステップＳ１１０の処理が実行される前のタイミングにおいて、第１エンドエフェクターＥ１が対象物Ｏを既に保持している場合について説明する。
【００８４】
ロボット制御部３６５は、メモリー３２に予め記憶された撮像位置姿勢情報をメモリー３２から読み出す（ステップＳ１１０）。撮像位置姿勢情報は、予め決められた位置及び姿勢である撮像位置及び撮像姿勢を示す情報のことである。また、撮像位置及び撮像姿勢は、第３撮像部Ｃ３によって対象物Ｏを撮像する際に、ロボット２０が対象物Ｏの位置及び姿勢を一致させる位置及び姿勢のことである。この一例において、対象物Ｏの位置は、対象物Ｏの重心の位置によって表される。また、対象物Ｏの姿勢は、当該位置に対応付けられた三次元局所座標系における各座標軸のロボット座標系における方向によって表される。なお、ロボット制御部３６５がロボット２０を制御し、対象物Ｏの位置及び姿勢を撮像位置及び撮像姿勢に一致させる方法は、既知の方法であってもよく、これから開発される方法であってもよい。
【００８５】
ここで、図６を参照し、撮像位置及び撮像姿勢について説明する。図６は、撮像位置及び撮像姿勢と位置及び姿勢が一致している状態の対象物Ｏの一例を示す図である。図６に示した例では、図が煩雑になるのを防ぐため、ロボット２０については、第３撮像部Ｃ３及び第４撮像部Ｃ４以外の部分が省略されている。図６に示した矢印Ｃ３Ａは、第３撮像部Ｃ３の光軸に沿った方向のうち第３撮像部Ｃ３の撮像素子から第３撮像部Ｃ３のレンズに向かう方向を示す矢印であり、すなわち、第３撮像部Ｃ３の被写界深度の深度方向を示す矢印である。また、図６に示した位置Ｐ１は、第３撮像部Ｃ３の当該深度方向における焦点位置を示す。また、図６に示した範囲ＤＦは、第３撮像部Ｃ３の被写界深度の当該深度方向における範囲を示す。また、図６に示した位置Ｐ１１は、範囲ＤＦ内の位置であって当該深度方向において最も第３撮像部Ｃ３から遠い位置のことである。すなわち、位置Ｐ１１は、第３撮像部Ｃ３の被写界深度の深度方向における範囲内の位置のうち、第３撮像部Ｃ３から最も離れた位置を示す。また、図６に示した範囲ＤＦ１は、当該深度方向における範囲であって位置Ｐ１から位置Ｐ１１までの範囲である第１深度範囲を示す。また、図６に示した位置Ｐ１２は、範囲ＤＦ内の位置であって当該深度方向において最も第３撮像部Ｃ３に近い位置のことである。すなわち、位置Ｐ１２は、第３撮像部Ｃ３の被写界深度の深度方向における範囲内の位置のうち、第３撮像部Ｃ３に最も近い位置を示す。また、図６に示した範囲ＤＦ２は、当該深度方向における範囲であって位置Ｐ１から位置Ｐ１２までの範囲である第２深度範囲を示す。図６に示した例では、第１深度範囲である範囲ＤＦ１と第２深度範囲である範囲ＤＦ２との比率は、範囲ＤＦ１：範囲ＤＦ２＝２：１であるが、これに代えて、他の比率であってもよい。
【００８６】
この一例において、撮像位置は、対象物Ｏの位置のうち、対象物Ｏの位置が撮像位置と一致した場合において、第３撮像部Ｃ３が対象物Ｏを撮像可能な位置のことである。また、撮像位置は、対象物Ｏの位置のうち、当該場合において、対象物Ｏの注目部分ＦＯの全体が前述の範囲ＤＦ１に含まれる位置のことである。なお、撮像位置は、当該場合において、対象物Ｏの注目部分ＦＯの一部が範囲ＤＦ１に含まれる位置であってもよい。また、撮像位置は、第３撮像部Ｃ３の被写界深度の深度方向において位置Ｐ１に近いよりも位置Ｐ１１に近い方が望ましい。また、撮像位置は、対象物Ｏの位置のうち、当該場合において、第１エンドエフェクターＥ１及び対象物Ｏの両方が他の物体（例えば、第３撮像部Ｃ３）に干渉しない位置であることが望ましい。
【００８７】
また、この一例において、撮像姿勢は、対象物Ｏの姿勢のうち、対象物Ｏの位置及び姿勢が撮像位置及び撮像姿勢と一致した場合において、第３撮像部Ｃ３が対象物Ｏの注目部分ＦＯの全体を撮像可能な姿勢のことである。なお、撮像姿勢は、対象物Ｏの姿勢のうち、当該場合において、第３撮像部Ｃ３が対象物Ｏの注目部分ＦＯの一部を撮像可能な姿勢であってもよい。また、撮像姿勢は、対象物Ｏの姿勢のうち、当該場合において、第１エンドエフェクターＥ１及び対象物Ｏの両方が他の物体（例えば、第３撮像部Ｃ３）に干渉しない姿勢であることが望ましい。
【００８８】
このような撮像位置及び撮像姿勢に対象物Ｏの位置及び姿勢が一致した場合、対象物Ｏの注目部分ＦＯは、第３撮像部Ｃ３によって惚けずに撮像される。また、当該場合、第３撮像部Ｃ３によって撮像可能な物体のうち対象物Ｏ以外の物体（又は注目部分ＦＯ以外の物体）の少なくとも一部は、第３撮像部Ｃ３によって惚けて撮像される。これにより、ロボット制御装置３０は、第３撮像部Ｃ３により撮像された撮像画像に基づいて、当該撮像画像における注目部分ＦＯ以外の部分を注目部分ＦＯとして誤検出してしまうことを抑制するとともに、当該撮像部における注目部分ＦＯを精度よく検出することができる。このように、ある撮像部（この一例において、第３撮像部Ｃ３）の被写界深度の深度方向における範囲のうちの第１深度範囲（この一例において、範囲ＤＦ１）に対象物Ｏの注目部分ＦＯが含まれている場合における当該撮像部と対象物Ｏとの相対的な位置関係を、以下では、説明の便宜上、撮像位置関係と称して説明する。
【００８９】
なお、ロボット制御装置３０が第３撮像部Ｃ３と第４撮像部Ｃ４によって対象物Ｏの注目部分ＦＯをステレオ撮像させる場合、第３撮像部Ｃ３と第４撮像部Ｃ４それぞれの焦点位置であって被写界深度の深度方向における焦点位置は、当該深度方向に直交する方向から見た場合にほぼ一致していることが望ましい。また、当該場合、第３撮像部Ｃ３と第４撮像部Ｃ４それぞれの被写界深度の深度方向における範囲のうちの第１深度範囲は、少なくとも一部分が重なっていることが望ましい。
【００９０】
図５に戻る。ステップＳ１１０の処理が行われた後、ロボット制御部３６５は、第１アームＡ１を動作させ、対象物Ｏの位置及び姿勢を、ステップＳ１１０においてメモリー３２から読み出した撮像位置姿勢情報が示す撮像位置及び撮像姿勢と一致させる（ステップＳ１２０）。
【００９１】
次に、撮像制御部３６１は、第３撮像部Ｃ３が撮像可能な範囲を第３撮像部Ｃ３に撮像させる（ステップＳ１３０）。
【００９２】
次に、画像取得部３６３は、ステップＳ１３０において第３撮像部Ｃ３が撮像した撮像画像を第３撮像部Ｃ３から取得する（ステップＳ１４０）。
【００９３】
次に、画像処理部３６７は、ステップＳ１４０において画像取得部３６３が取得した撮像画像に基づいて、当該撮像画像に撮像された注目部分ＦＯを検出する（ステップＳ１５０）。ここで、当該撮像画像には、対象物Ｏ以外の物体が惚けて撮像されている。このため、画像処理部３６７は、ステップＳ１５０において、当該撮像画像における注目部分ＦＯ以外の部分を注目部分ＦＯとして誤検出してしまうことを抑制するとともに、当該撮像画像における注目部分ＦＯを精度よく検出することができる。
【００９４】
次に、画像処理部３６７とロボット制御部３６５は、ステップＳ１５０において検出された注目部分ＦＯに応じた処理を、所定の処理として行う（ステップＳ１６０）。例えば、画像処理部３６７は、当該注目部分ＦＯに基づいて、実際の注目部分ＦＯの表面に異物（傷、意図せずに形成されている凹凸、粉塵等）が存在しているか否かを判定する。そして、ロボット制御部３６５は、画像処理部３６７による判定結果に応じた領域に対象物Ｏを載置する。なお、ステップＳ１６０の処理は、ロボット制御部３６５によって全ての処理が行われる構成であってもよい。また、ステップＳ１６０の処理は、画像処理部３６７による判定処理が行われ、ロボット制御部３６５による対象物Ｏの載置処理が行われない構成であってもよい。ステップＳ１６０の処理が行われた後、ロボット制御部３６５は、処理を終了する。
【００９５】
なお、ロボット制御装置３０は、ロボット２０を制御し、ロボット座標系において位置及び姿勢が変化しないように設置された（固定された）対象物Ｏに対して第１撮像部Ｃ１と第２撮像部Ｃ２の少なくとも一方の撮像部を相対的に移動させ、対象物Ｏと当該撮像部との相対的な位置関係を前述の撮像位置関係と一致させる構成であってもよい。
【００９６】
また、ロボット制御装置３０は、ロボット２０を制御し、ロボット座標系において位置及び姿勢が変化しないように設置された（固定された）撮像部であってロボット２０と別体の撮像部に対して対象物Ｏを相対的に移動させ、対象物Ｏと当該撮像部との相対的な位置関係を撮像位置関係と一致させる構成であってもよい。
【００９７】
また、ロボット制御装置３０は、ロボット２０を制御し、第２アームＡ２が備える第２撮像部Ｃ２と、第１アームＡ１により保持された対象物Ｏとの少なくとも一方を移動させ、第２撮像部Ｃ２と対象物Ｏとの相対的な位置関係を前述の撮像位置関係と一致させる構成であってもよい。この場合、第２アームＡ２は、第２可動部の一例である。
【００９８】
また、ロボット制御装置３０は、ロボット２０を制御し、支持台上部Ｂ２が備える第３撮像部Ｃ３と、第１アームＡ１により保持された対象物Ｏとの少なくとも一方を移動させ、対象物Ｏと第３撮像部Ｃ３との相対的な位置関係を前述の撮像位置関係と一致させる構成であってもよい。この場合、支持台上部Ｂ２は、第２可動部の一例である。
【００９９】
また、第３撮像部Ｃ３がオートフォーカス機能を有している場合、ロボット制御装置３０は、対象物Ｏの位置及び姿勢を撮像位置及び撮像姿勢と一致させた後、対象物Ｏの注目部分ＦＯを含む領域に焦点を合わせた後、第３撮像部Ｃ３の被写界深度の深度方向における当該焦点の位置を予め決められた距離当該深度方向と逆方向に移動させる構成であってもよい。
【０１００】
＜実施形態の変形例＞
以下、図７を参照し、実施形態の変形例について説明する。なお、実施形態の変形例では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
【０１０１】
図７は、実施形態の変形例に係るロボットシステム２の一例を示す構成図である。実施形態の変形例では、ロボットシステム２は、単腕ロボットであるロボット２０ａと、ロボット２０ａと別体の撮像部Ｃ５と、ロボット２０ａと別体のロボット制御装置３０を備える。そして、ロボット制御装置３０は、ロボット２０ａと無線又は有線によって互いに通信可能に接続される。なお、ロボットシステム２では、ロボット制御装置３０は、ロボット２０ａに内蔵される構成であってもよい。また、ロボットシステム２では、撮像部Ｃ５は、ロボット２０ａに備えられる構成であってもよい。
【０１０２】
＜ロボットシステムの構成＞
以下、図７を参照し、ロボットシステム２の構成について説明する。
【０１０３】
ロボット２０ａは、第３アームＡ３と、第３アームＡ３を支持する支持台Ｂ３を備える単腕ロボットである。
【０１０４】
第３アームＡ３は、第３エンドエフェクターＥ３と、第３マニピュレーターＭ３を備える。
第３エンドエフェクターＥ３は、物体を保持するエンドエフェクターである。この一例において、第３エンドエフェクターＥ３は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、第３エンドエフェクターＥ３は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。図７に示した例では、対象物Ｏは、実施形態におけるロボット２０の第１エンドエフェクターＥ１に代えて、第３エンドエフェクターＥ３に予め保持されている。
【０１０５】
第３エンドエフェクターＥ３は、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、第３エンドエフェクターＥ３は、ロボット制御装置３０から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、第３エンドエフェクターＥ３は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【０１０６】
第３マニピュレーターＭ３は、６つの関節を備える。また、６つの関節はそれぞれ、図示しないアクチュエーターを備える。すなわち、第３マニピュレーターＭ３を備える第３アームＡ３は、６軸垂直多関節型のアームである。なお、第３アームＡ３は、これに代えて、６軸水平多関節型のアームであってもよい。第３アームＡ３は、支持台Ｂ３と、第３エンドエフェクターＥ３と、第３マニピュレーターＭ３と、第３マニピュレーターＭ３が備える６つの関節それぞれのアクチュエーターとによる連携した動作によって６軸の自由度の動作を行う。なお、第３アームＡ３は、５軸以下の自由度で動作する構成であってもよく、７軸以上の自由度で動作する構成であってもよい。
【０１０７】
第３マニピュレーターＭ３が備える６つの（関節に備えられた）アクチュエーターはそれぞれ、ケーブルによってロボット制御装置３０と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置３０から取得される制御信号に基づいて、第３マニピュレーターＭ３を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。また、第３マニピュレーターＭ３が備える６つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【０１０８】
撮像部Ｃ５は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えたカメラである。この一例において、撮像部Ｃ５は、第３アームＡ３の可動範囲の少なくとも一部を撮像可能な位置に設置される。この際、撮像部Ｃ５は、ロボット座標系における撮像部の位置及び姿勢が動かないように固定される。当該可動範囲は、この一例において、第３エンドエフェクターＥ３が第３マニピュレーターＭ３の動作によって移動可能な範囲のことである。なお、当該可動範囲は、これに代えて、第３アームＡ３に応じた他の範囲であってもよい。撮像部Ｃ５は、当該範囲の二次元画像を撮像する。なお、撮像部Ｃ５は、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。
【０１０９】
撮像部Ｃ５は、ケーブルによってロボット制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、撮像部Ｃ５は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置３０と接続される構成であってもよい。
【０１１０】
ロボットシステム２では、ロボット制御装置３０は、実施形態におけるロボット２０の第１アームＡ１に代えて、ロボット２０ａの第３アームＡ３を動作させる。また、ロボット制御装置３０は、ロボット２０の第３撮像部Ｃ３に代えて、撮像部Ｃ５に対象物Ｏの注目部分ＦＯを含む領域を撮像させる。すなわち、ロボット制御装置３０は、第３アームＡ３を動作させ、ロボット座標系において位置及び姿勢が変化しないように設置された（固定された）撮像部Ｃ５に対して対象物Ｏを相対的に移動させ、対象物Ｏと撮像部Ｃ５との相対的な位置関係を前述の撮像位置関係と一致させる。これにより、ロボット制御装置３０は、撮像部Ｃ５により撮像された撮像画像に基づいて、当該撮像画像における注目部分ＦＯ以外の部分を注目部分ＦＯとして誤検出してしまうことを抑制するとともに、当該撮像画像における注目部分ＦＯを精度よく検出することができる。
【０１１１】
なお、ロボット制御装置３０は、ロボット２０ａを制御し、ロボット座標系において位置及び姿勢が変化しないように設置された（固定された）対象物Ｏに対して、第３エンドエフェクターＥ３により保持された撮像部Ｃ５を相対的に移動させ、対象物Ｏと撮像部Ｃ５との相対的な位置関係を撮像位置関係と一致させる構成であってもよい。
【０１１２】
以上のように、ロボット制御装置３０は、第１可動部（上記において説明した例では、第１エンドエフェクターＥ１、第２エンドエフェクターＥ２、第３エンドエフェクターＥ３）により対象物（上記において説明した例では、対象物Ｏ）の注目部分（上記において説明した例では、注目部分ＦＯ）を、撮像部（上記において説明した例では、第１撮像部Ｃ１、第２撮像部Ｃ２、第３撮像部Ｃ３、第４撮像部Ｃ４、撮像部Ｃ５）の被写界深度の深度方向における範囲（上記において説明した例では、範囲ＤＦ）のうち撮像部の深度方向における焦点位置（上記において説明した例では、位置Ｐ１）から当該深度方向における撮像部から最も遠い位置までの範囲である第１深度範囲（上記において説明した例では、範囲ＤＦ１）内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置３０は、撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０１１３】
また、ロボット制御装置３０は、第１可動部により対象物の注目部分を、ロボット座標系における撮像部の位置及び姿勢が動かないように固定されている撮像部（上記において説明した例では、撮像部Ｃ５）の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向において撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置３０は、ロボット座標系における撮像部の位置及び姿勢が動かないように固定されている撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０１１４】
また、ロボット制御装置３０は、第２可動部（この一例において、第１エンドエフェクターＥ１と第２エンドエフェクターＥ２とのうち第１可動部の一例ではない方、支持台上部Ｂ２）により撮像部を対象物に対して相対的に動かす。これにより、ロボット制御装置は、第２可動部により対象物に対して相対的に動かした撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０１１５】
また、ロボット制御装置３０は、ステレオカメラである撮像部の被写界深度の深度方向における範囲のうち撮像部の深度方向における焦点位置から当該深度方向において撮像部から最も遠い位置までの範囲である第１深度範囲内に動かして、撮像部に注目部分を含む領域を撮像させる。これにより、ロボット制御装置３０は、ステレオカメラである撮像部により撮像された撮像画像に基づいて、当該撮像部における対象物の注目部分を精度よく検出することができる。
【０１１６】
また、ロボット制御装置３０は、撮像部により撮像された撮像画像に含まれる対象物の注目部分を検出する。これにより、ロボット制御装置３０は、当該撮像画像から検出した注目部分に関する作業をロボット（この一例において、ロボット２０、ロボット２０ａ）に精度よく行わせることができる。
【０１１７】
また、ロボット制御装置３０は、撮像画像から検出した注目部分に応じた処理を行う。これにより、ロボット制御装置３０は、撮像画像から検出した注目部分に応じた処理を精度よく行うことができる。
【０１１８】
また、ロボット制御装置３０は、撮像画像から検出した注目部分に応じて、ロボットの動作に関する処理を行う。これにより、ロボット制御装置３０は、ロボットの動作に関する処理を精度よく行うことができる。
【０１１９】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【０１２０】
また、以上に説明した装置（例えば、ロボット制御装置３０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating  System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact  Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【０１２１】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【０１２２】
１、２…ロボットシステム、２０、２０ａ…ロボット、３０…ロボット制御装置、３１、４１、５１…プロセッサー、３２、４２、５２…メモリー、３４、４４、５４…通信部、３２１、３２２…指令、３６１…撮像制御部、３６３…画像取得部、３６５…ロボット制御部、３６７…画像処理部、Ａ１…第１アーム、Ａ２…第２アーム、Ａ３…第３アーム、Ｂ、Ｂ３…支持台、Ｃ１…第１撮像部、Ｃ２…第２撮像部、Ｃ３…第３撮像部、Ｃ４…第４撮像部、Ｃ５…撮像部、Ｅ１…第１エンドエフェクター、Ｅ２…第２エンドエフェクター、Ｅ３…第３エンドエフェクター、Ｍ１…第１マニピュレーター、Ｍ２…第２マニピュレーター、Ｍ３…第３マニピュレーター、Ｏ…対象物、ＰＣ１、ＰＣ２、ＰＣ３…情報処理装置
【図１】
2019034386.tif 000003
【図２】
2019034386.tif 000004
【図３】
2019034386.tif 000005
【図４】
2019034386.tif 000006
【図５】
2019034386.tif 000007
【図６】
2019034386.tif 000008
【図７】
2019034386.tif 000009