(57)【要約】【課題】撮像対象物に照射される光の向きを最適化し、検出率を改善する撮像方法及びロボットシステムを提供すること。【解決手段】第１撮像部と、ロボットの第１可動部と、前記第１可動部に固定された照明部とを用いる撮像方法であって、前記照明部が撮像対象物に光を照射する照射工程と、前記第１可動部が動くことによって、前記照明部が前記撮像対象物に照射する光の角度を変える照射条件変更工程と、前記第１撮像部が前記撮像対象物を撮像する撮像工程と、を含む撮像方法。【選択図】図４
2019042902.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像部と、ロボットの第１可動部と、前記第１可動部に固定された照明部とを用いる撮像方法であって、
前記照明部が撮像対象物に光を照射する照射工程と、
前記第１可動部が動くことによって、前記照明部が前記撮像対象物に照射する光の角度を変える照射条件変更工程と、
前記第１撮像部が前記撮像対象物を撮像する撮像工程と、
を含む撮像方法。
【請求項２】
前記第１撮像部は、前記ロボットの固定カメラである、
請求項１に記載の撮像方法。
【請求項３】
前記照明部は、前記第１可動部が動くことによって動かされる第２撮像部用の照明部である、
請求項１又は２に記載の撮像方法。
【請求項４】
前記第１撮像部の光軸の方向に対する前記照明部の光軸の方向を変更する、
請求項１から３のうちいずれか一項に記載の撮像方法。
【請求項５】
前記ロボットの第２可動部が前記撮像対象物を保持し、
前記第２可動部が動くことによって、前記撮像対象物の位置または姿勢を変更する、
請求項１から４のうちいずれか一項に記載の撮像方法。
【請求項６】
前記第１撮像部と、
前記第１可動部と、
前記照明部と、
を備え、請求項１から５のうちいずれか一項に記載の撮像方法による前記撮像対象物の撮像を行う、
ロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像方法及びロボットシステムに関する。
【背景技術】
【０００２】
一般的に、画像処理を用いてワークを検出する場合、対象ワークのエッジが鋭く立っている画像を用いる。一方、ワークのエッジを立たせるための条件出しが難しい場合がある。
【０００３】
これに関し、ワークのエッジを処理することで検出効率を高めるワークエッジ検出画像処理装置が知られている（特許文献１参照）。特許文献１には、輪郭が直線と円弧との組み合わせで構成されていることが既知のワークの画像から、輪郭を構成する円弧と直線を表す各々の方程式を求める旨が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２５１５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
また、カメラの外周に照明を設置することで影の影響を無くし、エッジを際立たせる手法を用いる場合がある。この手法を用いた場合、ワーク形状や外部の照明条件によっては十分な効果を果たせないことがある。
【課題を解決するための手段】
【０００６】
上記課題の少なくとも一つを解決するために本発明の一態様は、第１撮像部と、ロボットの第１可動部と、前記第１可動部に固定された照明部とを用いる撮像方法であって、前記照明部が撮像対象物に光を照射する照射工程と、前記第１可動部が動くことによって、前記照明部が前記撮像対象物に照射する光の角度を変える照射条件変更工程と、前記第１撮像部が前記撮像対象物を撮像する撮像工程と、を含む撮像方法である。
この構成により、撮像方法では、第１可動部が動くことによって、照明部が撮像対象物に照射する光の角度を変える照射条件変更工程が含まれる。これにより、撮像方法では、撮像対象物に照射される光の向きを最適化し、撮像対象物に写り込んだ影等の影響を少なくすることによって検出率を改善することができる。
【０００７】
また、本発明の他の態様は、撮像方法において、前記第１撮像部は、前記ロボットの固定カメラであってもよい。
この構成により、撮像方法では、第１撮像部は、ロボットの固定カメラである。これにより、撮像方法では、照明部を備える第２撮像部が撮像対象物を撮像する場合よりも検出率を向上させることができる。
【０００８】
また、本発明の他の態様は、撮像方法において、前記照明部は、前記第１可動部が動くことによって動かされる第２撮像部用の照明部であってもよい。
この構成により、撮像方法では、照明部は、第１可動部が動くことによって動かされる第２撮像部用の照明部である。これにより、撮像方法では、照明部が固定されている場合よりも容易に撮像対象物に照射される光の向きを最適化することができる。
【０００９】
また、本発明の他の態様は、撮像方法において、前記第１撮像部の光軸の方向に対する前記照明部の光軸の方向を変更してもよい。
この構成により、撮像方法では、第１撮像部の光軸の方向に対する照明部の光軸の方向を変更する。これにより、撮像方法では、第１撮像部の光軸の方向に対する照明部の光軸の方向が変更されない場合よりも容易に撮像対象物に照射される光の向きを最適化することができる。
【００１０】
また、本発明の他の態様は、撮像方法において、前記ロボットの第２可動部が前記撮像対象物を保持し、前記第２可動部が動くことによって、前記撮像対象物の位置または姿勢を変更してもよい。
この構成により、撮像方法では、ロボットの第２可動部が撮像対象物を保持し、第２可動部が動くことによって、撮像対象物の位置または姿勢を変更する。これにより、撮像方法では、第１撮像部の光軸の方向に対する照明部の光軸の方向を変更しても検出率を向上できない場合であっても、検出率を向上させることができる。
【００１１】
また、本発明の他の態様は、前記第１撮像部と、前記第１可動部と、前記照明部と、を備え、前記撮像方法による前記撮像対象物の撮像を行う、ロボットシステムである。
この構成により、ロボットシステムでは、第１可動部が動くことによって、照明部が撮像対象物に照射する光の角度を変える照射条件変更工程が含まれる。これにより、ロボットシステムでは、撮像対象物に照射される光の向きを最適化し、撮像対象物に写り込んだ影等の影響を少なくすることによって、検出率を改善することができる。
【００１２】
以上により、本発明に係る撮像方法及びロボットシステムによれば、第１可動部が動くことによって、照明部が撮像対象物に照射する光の角度を変える照射条件変更工程が含まれる。これにより、本発明に係る撮像方法及びロボットシステムでは、撮像対象物に照射される光の向きを最適化し、撮像対象物に写り込んだ影等の影響を少なくすることによって、検出率を改善することができる。
【図面の簡単な説明】
【００１３】
【図１】実施形態のロボットシステム１の一例を示す構成図である。
【図２】照明部２１Ａの光軸２１ＡＸ上から撮像部２１を見た図である。
【図３】撮像部２１の他の例を示す図である。
【図４】ロボットシステム１の事前準備の処理の流れの一例を示す図である。
【図５】実施形態の変形例１におけるロボットシステム１の事前準備の処理の流れの一例を示す図である。
【図６】実施形態の変形例３のロボットシステム１の一例を示す構成図である。
【発明を実施するための形態】
【００１４】
＜実施形態＞
本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
図１は、実施形態のロボットシステム１の一例を示す構成図である。ロボットシステム１は、ロボット制御装置４と、ロボット１０と、入力装置４９と、表示装置５０とを備える。ロボットシステム１では、ロボット制御装置４は、ロボット１０に内蔵される。ロボット制御装置４は、ロボット１０を制御する。なお、ロボットシステム１は、入力装置４９と、表示装置５０のうちの一部又は全部を備えない構成であってもよい。
【００１６】
＜ロボットシステム１の構成＞
以下、図１を参照し、ロボットシステム１の構成について説明する。
【００１７】
入力装置４９は、この一例において、ロボット制御装置４と無線又は有線によって通信可能に接続される。
【００１８】
表示装置５０は、この一例において、ロボット制御装置４と無線又は有線によって通信可能に接続される。
【００１９】
ロボット１０は、第１可動部として機能するアームＡ１と、第２可動部として機能するアームＡ２と、アームＡ１及びアームＡ２を支持する支持台ＢＳと、支持台ＢＳの内側に配置されたロボット制御装置４と、ロボット１０を移動させる車輪６０とを備える双腕ロボットである。
【００２０】
支持台ＢＳは、ロボット１０が設置された設置面に直交する方向に２つの部分に分割されている。なお、支持台ＢＳは、分割されていない構成であってもよく、３つ以上の部分に分割されている構成であってもよい。当該２つの部分のうち当該設置面から遠い方の部分は、当該２つの部分のうち当該設置面から近い方の部分に対して回動可能である。当該遠い方の部分が回動する場合の回動面は、例えば、当該設置面に対して平行である。なお、当該回動面は、当該設置面に対して非平行であってもよい。
【００２１】
アームＡ１は、撮像部２１と、マニピュレーターＭ１を備える。
【００２２】
撮像部２１は、撮像部本体２１Ｂと、例えば撮像部本体２１Ｂの周囲に配置された照明部２１Ａとを備える。撮像部本体２１Ｂは、例えば、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備える。この一例において、撮像部本体２１Ｂは、アームＡ１に固定されている。そのため、撮像部本体２１Ｂは、アームＡ１の動きに応じて移動する。また、撮像部本体２１Ｂが撮像可能な範囲は、アームＡ１の動きに応じて変化する。撮像部本体２１Ｂは、当該範囲の二次元画像を撮像する。なお、撮像部本体２１Ｂは、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。
【００２３】
照明部２１Ａは、第１可動部として機能するアームＡ１に固定されている。図１に示した例では、撮像部本体２１Ｂと照明部２１Ａとを備える撮像部２１は、例えば、アームＡ１が動くことによって、動かされる可動カメラである。また、図１に示した例では、撮像部本体２１Ｂの光軸と、照明部２１Ａの光軸２１ＡＸとが、概略一致している。他の例では、撮像部本体２１Ｂの光軸と、照明部２１Ａの光軸２１ＡＸとが、一致していなくてもよい。
【００２４】
図２は、照明部２１Ａの光軸２１ＡＸ上から撮像部２１を見た図である。図２に示した例では、撮像部２１が、撮像部本体２１Ｂの周囲に配置された環状の照明部２１Ａを備えている。
【００２５】
図３は、撮像部２１の他の例を示す図である。図２に示した例では、撮像部２１が、面状の照明部２１Ａを備えているが、図３に示した例では、撮像部２１が、撮像部本体２１Ｂの周囲に環状に配列された複数の点状の照明部２１Ａを備えている。
【００２６】
撮像部２１は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ（Universal  Serial  Bus）等の規格によって行われる。なお、撮像部２１は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００２７】
撮像部２１がロボット制御装置４と通信可能に接続されることにより、撮像部２１は、ロボット制御装置４から取得される制御信号に基づいて動作する。詳細には、照明部２１Ａは、ロボット制御装置４から取得される制御信号に基づいて、例えば撮像対象物Ｏに光を照射する。
【００２８】
マニピュレーターＭ１は、７つの関節を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、マニピュレーターＭ１を備えるアームＡ１は、７軸垂直多関節型のアームである。アームＡ１は、支持台ＢＳと、マニピュレーターＭ１と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、アームＡ１は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
【００２９】
アームＡ１が７軸の自由度で動作する場合、アームＡ１は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これによりアームＡ１は、例えば、動作が滑らかになり、更にアームＡ１の周辺に存在する物体との干渉を容易に回避することができる。また、アームＡ１が７軸の自由度で動作する場合、アームＡ１の制御は、アームＡ１が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
【００３０】
マニピュレーターＭ１が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置４と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置４から取得される制御信号に基づいて、マニピュレーターＭ１を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、マニピュレーターＭ１が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００３１】
アームＡ２は、エンドエフェクターＥ２と、マニピュレーターＭ２とを備える。
【００３２】
エンドエフェクターＥ２は、物体を保持するエンドエフェクターである。この一例において、エンドエフェクターＥ２は、指部を備え、当該指部によって物体を挟んで持つことにより当該物体を保持する。なお、エンドエフェクターＥ２は、これに代えて、空気の吸引や磁力、他の治具等によって物体を持ち上げることにより当該物体を保持する構成であってもよい。
【００３３】
エンドエフェクターＥ２は、ケーブルによってロボット制御装置４と通信可能に接続されている。これにより、エンドエフェクターＥ２は、ロボット制御装置４から取得される制御信号に基づく動作を行う。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、エンドエフェクターＥ２は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００３４】
マニピュレーターＭ２は、７つの関節を備える。また、当該７つの関節のそれぞれは、図示しないアクチュエーターを備える。すなわち、マニピュレーターＭ２を備えるアームＡ２は、７軸垂直多関節型のアームである。アームＡ２は、支持台ＢＳと、エンドエフェクターＥ２と、マニピュレーターＭ２と、当該７つの関節それぞれのアクチュエーターとによる連携した動作によって７軸の自由度の動作を行う。なお、アームＡ２は、６軸以下の自由度で動作する構成であってもよく、８軸以上の自由度で動作する構成であってもよい。
【００３５】
アームＡ２が７軸の自由度で動作する場合、アームＡ２は、６軸以下の自由度で動作する場合と比較して取り得る姿勢が増える。これによりアームＡ２は、例えば、動作が滑らかになり、更にアームＡ２の周辺に存在する物体との干渉を容易に回避することができる。また、アームＡ２が７軸の自由度で動作する場合、アームＡ２の制御は、アームＡ２が８軸以上の自由度で動作する場合と比較して計算量が少なく容易である。
【００３６】
マニピュレーターＭ２が備える７つのアクチュエーターはそれぞれ、ケーブルによってロボット制御装置４と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置４から取得される制御信号に基づいて、マニピュレーターＭ２を動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。また、マニピュレーターＭ２が備える７つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００３７】
また、ロボット１０は、撮像部２３と、撮像部２４を備える。撮像部２３は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えた撮像部である。撮像部２３は、撮像部２４が撮像可能な範囲を撮像部２４とともにステレオ撮像可能な部位に備えられる。撮像部２３は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、撮像部２３は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。撮像部２３は、例えば、ロボット１０の頭部に備えられる。
【００３８】
撮像部２４は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備えた撮像部である。撮像部２４は、撮像部２３が撮像可能な範囲を撮像部２３とともにステレオ撮像可能な部位に備えられる。撮像部２４は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、撮像部２４は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。撮像部２４は、例えば、ロボット１０の頭部に備えられる。
【００３９】
上記で説明したロボット１０が備える各機能部は、この一例において、ロボット１０に内蔵されたロボット制御装置４から制御信号を取得する。そして、当該各機能部は、取得した制御信号に基づいた動作を行う。ロボット１０は、撮像部２１の撮像部本体２１Ｂおよび撮像部２４のうちの一部又は全部を備えない構成であってもよい。
【００４０】
作業台ＴＢは、例えば、テーブル等の台である。なお、作業台ＴＢは、テーブルに代えて、撮像対象物Ｏを載置することが可能な台であれば、他の台であってもよい。
【００４１】
撮像対象物Ｏは、例えば、製品に組み付けるプレート、ネジ、ボルト等の産業用の部品や部材である。図１では、図の簡略化のため、撮像対象物Ｏを直方体形状の物体として表している。なお、撮像対象物Ｏは、産業用の部品や部材に代えて、日用品、生体等の他の物体であってもよい。また、撮像対象物Ｏの形状は、直方体形状に代えて、他の形状であってもよい。
【００４２】
入力装置４９は、キーボード、マウス、タッチパッド等である。なお、入力装置４９は、他の入力装置であってもよい。
【００４３】
入力装置４９は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、入力装置４９は、近距離無線通信、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００４４】
表示装置５０は、液晶ディスプレイパネル、有機ＥＬ（ElectroLuminescence）ディスプレイパネル等を備えるディスプレイである。なお、表示装置５０は、他の表示装置であってもよい。
【００４５】
表示装置５０は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、表示装置５０は、近距離無線通信、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００４６】
図４は、ロボットシステム１の事前準備の処理の流れの一例を示す図である。図４に示した例では、まず、例えばロボットシステム１のユーザーは、例えば、撮像対象物Ｏが撮像部２３の光軸２３Ｘ上に位置するように、あるいは、撮像対象物Ｏが撮像部２３の撮像可能範囲内に位置するように、車輪６０を介してロボット１０を移動させ、撮像対象物Ｏが撮像部２３の光軸２３Ｘ上に位置する状態、あるいは、撮像対象物Ｏが撮像部２３の撮像可能範囲内に位置する状態で、車輪６０を固定する。また、ユーザーは、例えば、撮像対象物Ｏが照明部２１Ａの光軸２１ＡＸ上に位置するように、アームＡ１のアクチュエーターを動作させ、撮像対象物Ｏが照明部２１Ａの光軸２１ＡＸ上に位置する状態で、アームＡ１を固定する（ステップＳ１１０）。
【００４７】
照明部２１Ａは、撮像対象物Ｏに光を照射する（ステップＳ１２０）。撮像部２３は、撮像対象物Ｏを撮像する（ステップＳ１３０）。ロボット制御装置４（の例えば画像処理部）は、撮像部２３が撮像した画像に基づいて、事前準備の処理が完了したか否かを判定する（ステップＳ１４０）。例えば、撮像部２３が撮像した画像に基づいて、その画像中の撮像対象物Ｏの位置を検出できる場合、つまり、撮像部２３が撮像した画像に基づいて、撮像対象物Ｏの特徴点を抽出できる場合（ステップＳ１４０−完了）には、事前準備の処理が完了したと判定し、図４に示すルーチンを終了する。一方、撮像部２３が撮像した画像に基づいて、その画像中の撮像対象物Ｏの位置を検出できない場合、つまり、撮像部２３が撮像した画像に基づいて、撮像対象物Ｏの特徴点を抽出できない場合（ステップＳ１４０−未完了）には、ステップＳ１５０に進む。
【００４８】
例えばロボット制御装置４は、入力装置４９を介したユーザーによる入力に基づいて、アームＡ１のアクチュエーターを動作させ（つまり、第１可動部としてのアームＡ１を動かし）、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変えて照射条件を変更し（ステップＳ１５０）、ステップＳ１２０に戻る。すなわち、撮像部２３が撮像した画像中の撮像対象物Ｏの位置を検出できるまで、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変えて照射条件を変更する工程（ステップＳ１５０）と、照明部２１Ａが撮像対象物Ｏに光を照射する工程（ステップＳ１２０）と、撮像部２３が撮像対象物Ｏを撮像する工程（ステップＳ１３０）とが繰り返される。上述した例では、ロボット制御装置４がアームＡ１のアクチュエーターを動作させることによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度が変更されるが、他の例では、ユーザーが手動でアームＡ１を動かすことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変更してもよい。
【００４９】
実施形態のロボットシステム１では、例えば、撮像対象物Ｏを撮像した画像に基づいて、ロボット制御装置４がロボット１０を動作させる。ビジュアルサーボの一例では、ロボット制御装置４は、画像から求められる撮像対象物Ｏの現在の状態を表す情報と、目標の状態を表す情報との差分（変化）をフィードバック情報として用いることで、撮像対象物Ｏを目標の状態に近づける。
【００５０】
ビジュアルサーボには上記状態を表す情報として、撮像対象物Ｏの位置姿勢を用いる位置ベースの手法と、何らかの特徴量を用いる特徴量ベースの手法がある。特徴量ベースの手法では、画像から特徴量（画像特徴量）を求め、目標特徴量との比較処理を行う。例えば、画像から撮像対象物Ｏの輪郭を表すエッジ情報を求め、当該エッジ情報に基づいて求められる撮像対象物Ｏの頂点の画像上での位置（２次元平面である画像座標系での座標）を画像特徴量とすることが考えられる。
【００５１】
また、目標特徴量については、撮像対象物Ｏが目標状態となっている画像（参照画像、目標画像）を取得し、当該参照画像から同様の手法で特徴量を検出することで求めてもよい。この際、参照画像は事前に一度だけ取得しておいてもよいし、ビジュアルサーボの制御中に継続して取得してもよい。あるいは、目標特徴量は参照画像から求めるのではなく、直接的に特徴量の値を取得するものであってもよい。
【００５２】
制御特徴量と目標特徴量が取得できれば、撮像対象物Ｏを目標の状態に近づけるための制御量（例えば関節角の駆動量等）を求めることができるため、ロボット１０を動作させることが可能になる。
【００５３】
特徴量ベースのビジュアルサーボでは、特徴量を画像から直接的に求める関係上、画像において他の点（あるいは他の領域）と明確に区別可能な程度に特徴のある点（あるいは領域）の情報を特徴量とする必要がある。例えば、撮像対象物Ｏのエッジであれば、画素値（例えば輝度値）が大きく変化する点の集合等として画像から抽出可能であるし、頂点（角）であれば、エッジのうち当該エッジの角度が大きく変化する点として画像から抽出可能である。つまり、撮像対象物Ｏのうち、いずれかの点や辺を特徴量の算出対象とするのであれば、特徴量を画像から直接的に求めることが可能である。
【００５４】
上述したように、実施形態のロボットシステム１では、撮像部２３と、ロボット１０のアームＡ１と、アームＡ１に固定された照明部２１Ａとを用いる撮像方法による撮像対象物Ｏの撮像が行われる。この撮像方法には、照明部２１Ａが撮像対象物Ｏに光を照射する照射工程（ステップＳ１２０）と、アームＡ１が動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変える照射条件変更工程（ステップＳ１５０）と、撮像部２３が撮像対象物Ｏを撮像する撮像工程（ステップＳ１３０）とが含まれる。この撮像方法では、アームＡ１が動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度が変えられるため、撮像対象物Ｏに照射される光の向きを最適化することができる。その結果、撮像対象物Ｏに写り込んだ影等の影響を少なくすることができ、検出率を改善することができる。
【００５５】
図１に示した例では、撮像部２３が、ロボット１０の頭部に固定された固定カメラである。そのため、照明部２１Ａが周囲に配置された撮像部本体２１Ｂが撮像対象物Ｏを撮像する場合よりも、照明部２１Ａから照射され撮像対象物Ｏの表面において反射した強い光が撮像部２３（撮像部本体２１Ｂ）に入光するおそれを抑制することができ、検出率を向上させることができる。
【００５６】
また、図１に示した例では、撮像対象物Ｏに光を照射する照明部として、アームＡ１が動くことによって動かされる撮像部２１の照明部２１Ａが用いられる。そのため、動くことなく固定されている照明部が用いられる場合よりも容易に撮像対象物Ｏに照射される光の向きを最適化することができる。
【００５７】
図１および図４に示した例では、ステップＳ１５０において、アームＡ１を動かすことによって、撮像部２３の光軸２３Ｘの方向に対する照明部２１Ａの光軸２１ＡＸの方向が変更される。そのため、撮像部２３の光軸２３Ｘの方向に対する照明部２１Ａの光軸２１ＡＸの方向が変更されることなく固定されている場合よりも容易に撮像対象物Ｏに照射される光の向きを最適化することができる。撮像部２３の光軸２３Ｘと照明部２１Ａの光軸２１ＡＸとが例えば１５°以上の角度をなすように、照明部２１Ａの光軸２１ＡＸの方向は設定される。
【００５８】
すなわち、実施形態のロボットシステム１では、ロボット１０の例えば頭部に固定された撮像部２３が撮像対象物Ｏを撮像する際に、第１可動部としてのアームＡ１に固定された照明部２１Ａが、撮像部２３による撮像対象物Ｏの撮像に好適な照明光を撮像対象物Ｏに照射する。つまり、撮像対象物Ｏの撮像には、撮像部本体２１Ｂではなく、撮像部２３が用いられる。
【００５９】
また、実施形態のロボットシステム１では、撮像対象物Ｏに光を照射する照明部として、アームＡ１に設けられた撮像部２１の撮像部本体２１Ｂに付属する照明部２１Ａが用いられる。そのため、アームＡ１を動かすことによって、撮像対象物Ｏに照射される光の角度を容易に変更することができる。その結果、撮像部２３による撮像対象物Ｏの撮像に適した撮像対象物Ｏに対する光の照射角度の設定を迅速に行うことができる。つまり、撮像対象物Ｏに対する照明部２１Ａからの光の照射角度の設定を行うことによって、照明光の強さおよび方向が、撮像部２３による撮像対象物Ｏの撮像に適したものになる。
【００６０】
また、実施形態のロボットシステム１では、ロボット１０が、車輪６０によって簡便に移動可能である。そのため、ロボット１０の例えば頭部に固定された撮像部２３が撮像対象物Ｏの撮像に用いられる場合であっても、作業台ＴＢ上の撮像対象物Ｏの位置を変更する必要なく、撮像対象物Ｏと撮像部２３との位置関係を容易に変更することができる。
【００６１】
図１に示した例では、撮像部２１がアームＡ１に固定され、アームＡ１がエンドエフェクターを備えていないが、他の例では、アームＡ１がエンドエフェクターを備えていてもよい。この例では、アームＡ１のエンドエフェクターが、撮像部２１を保持する。アームＡ１のエンドエフェクターに保持された撮像部２１の照明部２１Ａが撮像対象物Ｏに照射する光の角度は、アームＡ１が動くことによって変更される。
【００６２】
図１に示した例では、撮像部２３が照明部を備えていないが、他の例では、撮像部２３が照明部を備えていてもよい。この例では、アームＡ１に固定された照明部２１Ａが、撮像部２３による撮像対象物Ｏの撮像に好適な照明光を撮像対象物Ｏに照射すると共に、撮像部２３の照明部が、補助的に用いられる。
【００６３】
図１および図４に示した例では、ステップＳ１５０において、撮像部２１の撮像部本体２１Ｂによる撮像が行われないが、他の例では、ステップＳ１５０において、撮像部２１の撮像部本体２１Ｂが撮像を行ってもよい。具体的には、この例では、撮像部本体２１Ｂの光軸と、照明部２１Ａの光軸２１ＡＸとが、概略一致している。また、ステップＳ１５０において、撮像部本体２１Ｂが撮像を行うと共に、例えばロボット制御装置４は、撮像部本体２１Ｂが撮像した画像に基づいて、照明部２１Ａの光軸２１ＡＸの向きを判定する。この例では、照明部２１Ａの光軸２１ＡＸが撮像対象物Ｏから外れた位置に向けられてしまうおそれを抑制することができる。
【００６４】
＜実施形態の変形例１＞
以下、図５を参照し、実施形態の変形例１について説明する。なお、実施形態の変形例１では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
【００６５】
図５は、実施形態の変形例１におけるロボットシステム１の事前準備の処理の流れの一例を示す図である。図４に示した例では、撮像対象物Ｏが作業台ＴＢに載置されているが、図５に示した例では、撮像対象物Ｏが第２可動部としてのアームＡ２のエンドエフェクターＥ２によって保持されている。
【００６６】
図５のステップＳ１１０では、図４のステップＳ１１０とほぼ同様の処理が実行される。ただし、図５に示した例では、上述したように、撮像対象物ＯがアームＡ２のエンドエフェクターＥ２によって保持されているため、車輪６０を介してロボット１０を移動させても、撮像対象物Ｏと撮像部２３の光軸２３Ｘとの位置関係は変化しない。従って、図５に示した処理が開始すると、ロボット１０を移動させることなく、車輪６０は固定される。
【００６７】
図５のステップＳ１２０〜Ｓ１４０では、図４のステップＳ１２０〜Ｓ１４０と同様の処理が実行される。例えば、撮像部２３が撮像した画像に基づいて、その画像中の撮像対象物Ｏの位置を検出できる場合、つまり、撮像部２３が撮像した画像に基づいて、撮像対象物Ｏの特徴点を抽出できる場合（ステップＳ１４０−完了）には、事前準備の処理が完了したと判定し、図５に示すルーチンを終了する。一方、撮像部２３が撮像した画像に基づいて、その画像中の撮像対象物Ｏの位置を検出できない場合、つまり、撮像部２３が撮像した画像に基づいて、撮像対象物Ｏの特徴点を抽出できない場合（ステップＳ１４０−未完了）には、ステップＳ２１０に進む。
【００６８】
図５のステップＳ２１０では、例えばロボット制御装置４は、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変えて照射条件を変更するためのアームＡ１の可動領域がまだ残っているか否かを判定する。アームＡ１の可動領域がまだ残っている場合（ステップＳ２１０−ＹＥＳ）には、ステップＳ１５０に進む。図５のステップＳ１５０では、図４のステップＳ１５０と同様の処理が実行される。一方、アームＡ１の可動領域が残っていない場合、つまり、アームＡ１の可動領域内でアームＡ１を動かしても、撮像部２３が撮像した画像中の撮像対象物Ｏの位置を検出できない場合（ステップＳ２１０−ＮＯ）には、ステップＳ２２０に進む。
【００６９】
図５のステップＳ２２０では、例えばロボット制御装置４は、入力装置４９を介したユーザーによる入力に基づいて、アームＡ２のアクチュエーターを動作させ（つまり、第２可動部としてのアームＡ２を動かし）、アームＡ２のエンドエフェクターＥ２によって保持されている撮像対象物Ｏの位置または姿勢を変更する。つまり、図５のステップＳ２２０では、照明部２１Ａが照射した光を受ける撮像対象物Ｏの位置または姿勢が、アームＡ２によって変えられる。次いで、ステップＳ１２０に戻る。
【００７０】
すなわち、撮像部２３が撮像した画像中の撮像対象物Ｏの位置を検出できるまで、照明部２１Ａが照射した光を受ける撮像対象物Ｏの位置または姿勢を変更する工程（ステップＳ２２０）と、照明部２１Ａが撮像対象物Ｏに光を照射する工程（ステップＳ１２０）と、撮像部２３が撮像対象物Ｏを撮像する工程（ステップＳ１３０）とが繰り返される。上述した例では、ロボット制御装置４がアームＡ２のアクチュエーターを動作させることによって、照明部２１Ａが照射した光を受ける撮像対象物Ｏの位置または姿勢が変更されるが、他の例では、ユーザーが手動でアームＡ２を動かすことによって、照明部２１Ａが照射した光を受ける撮像対象物Ｏの位置または姿勢を変更してもよい。
【００７１】
＜実施形態の変形例２＞
以下、実施形態の変形例２について説明する。なお、実施形態の変形例２では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
【００７２】
図１に示した例では、撮像対象物Ｏを撮像する撮像部２３が、ロボット１０に備えられている。一方、実施形態の変形例２では、撮像対象物Ｏを撮像する撮像部が、ロボット１０外に設けられている。ロボット１０外に設けられた撮像部は、撮像部２３と同様に構成されている。ロボット１０外に設けられた撮像部は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、ロボット１０外に設けられた撮像部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００７３】
実施形態の変形例２では、上述したように、撮像対象物Ｏを撮像する撮像部が、ロボット１０外に設けられているため、車輪６０を介してロボット１０を移動させても、撮像対象物Ｏと、ロボット１０外に設けられた撮像部の光軸との位置関係は変化しない。従って、実施形態の変形例２では、図４に示した処理が開始すると、ロボット１０を移動させることなく、車輪６０が固定される。
【００７４】
実施形態の変形例２のロボットシステム１では、ロボット１０外に設けられた撮像部と、ロボット１０のアームＡ１と、アームＡ１に固定された照明部２１Ａとを用いる撮像方法による撮像対象物Ｏの撮像が行われる。この撮像方法には、照明部２１Ａが撮像対象物Ｏに光を照射する照射工程（ステップＳ１２０）と、アームＡ１が動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変える照射条件変更工程（ステップＳ１５０）と、ロボット１０外に設けられた撮像部が撮像対象物Ｏを撮像する撮像工程（ステップＳ１３０）とが含まれる。この撮像方法では、アームＡ１が動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度が変えられるため、撮像対象物Ｏに照射される光の向きを最適化することができる。その結果、撮像対象物Ｏに写り込んだ影等の影響を少なくすることができ、検出率を改善することができる。
【００７５】
＜実施形態の変形例３＞
以下、図６を参照し、実施形態の変形例３について説明する。なお、実施形態の変形例３では、実施形態と同様な構成部に対して同じ符号を付して説明を省略する。
【００７６】
図６は、実施形態の変形例３のロボットシステム１の一例を示す構成図である。実施形態の変形例３では、上記の実施形態において説明したロボット制御装置４をロボットシステム１が備える。より具体的には、ロボットシステム１は、ロボット制御装置４と、ロボット１０と、撮像部２３と、画像処理装置３０と、入力装置４９と、表示装置５０とを備える。ロボットシステム１では、ロボット１０は、ロボット制御装置４と無線又は有線によって通信可能に接続される。
【００７７】
＜ロボットシステムの構成＞
以下、図６を参照し、ロボットシステム１の構成について説明する。
【００７８】
ロボット１０外に設けられた撮像部２３は、この一例において、ロボット制御装置４からの要求に応じて、撮像対象物Ｏを撮像する。
【００７９】
画像処理装置３０は、この一例において、ロボット制御装置４および撮像部２３と無線又は有線によって通信可能に接続される。
【００８０】
入力装置４９は、この一例において、ロボット制御装置４と無線又は有線によって通信可能に接続される。
【００８１】
表示装置５０は、この一例において、ロボット制御装置４と無線又は有線によって通信可能に接続される。
【００８２】
ロボット１０は、可動部Ａと、可動部Ａを支持する支持台ＢＳと、車輪６０とを備える単腕ロボットである。単腕ロボットは、この一例における可動部Ａのような１本のアーム（腕）を備えるロボットである。なお、ロボット１０は、単腕ロボットに代えて、複腕ロボットであってもよく、ガントリロボットのような直動ロボットであってもよく、スカラロボットであってもよく、その他のロボットであってもよい。複腕ロボットは、２本以上のアーム（例えば、２本以上の可動部Ａ）を備えるロボットである。なお、複腕ロボットのうち、２本のアームを備えるロボットは、上述した双腕ロボットである。すなわち、ロボット１０は、２本のアームを備える双腕ロボットであってもよく、３本以上のアーム（例えば、３本以上の可動部Ａ）を備える複腕ロボットであってもよい。
【００８３】
可動部Ａは、撮像部２１と、マニピュレーターＭを備える。
【００８４】
撮像部２１は、撮像部本体２１Ｂと、例えば撮像部本体２１Ｂの周囲に配置された照明部２１Ａとを備える。撮像部本体２１Ｂは、例えば、ＣＣＤ（Charge  Coupled  Device）、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を、集光された光を電気信号に変換する撮像素子として備える。この一例において、撮像部本体２１Ｂは、可動部Ａに固定されている。そのため、撮像部本体２１Ｂは、可動部Ａの動きに応じて移動する。また、撮像部本体２１Ｂが撮像可能な範囲は、可動部Ａの動きに応じて変化する。撮像部本体２１Ｂは、当該範囲の二次元画像を撮像する。なお、撮像部本体２１Ｂは、当該範囲の静止画像を撮像する構成であってもよく、当該範囲の動画像を撮像する構成であってもよい。
【００８５】
照明部２１Ａは、第１可動部として機能する可動部Ａに固定されている。図６に示した例では、撮像部本体２１Ｂと照明部２１Ａとを備える撮像部２１は、例えば、可動部Ａが動くことによって、動かされる可動カメラである。また、図６に示した例では、撮像部本体２１Ｂの光軸と、照明部２１Ａの光軸２１ＡＸとが、概略一致している。他の例では、撮像部本体２１Ｂの光軸と、照明部２１Ａの光軸２１ＡＸとが、一致していなくてもよい。
【００８６】
マニピュレーターＭは、６つの関節を備える。また、６つの関節はそれぞれ、図示しないアクチュエーターを備える。すなわち、マニピュレーターＭを備える可動部Ａは、６軸垂直多関節型のアームである。なお、可動部Ａは、これに代えて、６軸水平多関節型のアームであってもよい。可動部Ａは、支持台ＢＳと、マニピュレーターＭと、マニピュレーターＭが備える６つの関節それぞれのアクチュエーターとによる連携した動作によって６軸の自由度の動作を行う。なお、可動部Ａは、５軸以下の自由度で動作する構成であってもよく、７軸以上の自由度で動作する構成であってもよい。
【００８７】
マニピュレーターＭが備える６つの（関節に備えられた）アクチュエーターはそれぞれ、ケーブルによってロボット制御装置４と通信可能に接続されている。これにより、当該アクチュエーターは、ロボット制御装置４から取得される制御信号に基づいて、マニピュレーターＭを動作させる。なお、ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。また、マニピュレーターＭが備える６つのアクチュエーターのうちの一部又は全部は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００８８】
ロボット１０外に設けられた撮像部２３は、例えば、ＣＣＤ、ＣＭＯＳ等を、集光された光を電気信号に変換する撮像素子として備える。撮像部２３は、ケーブルによってロボット制御装置４と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）、ＵＳＢ等の規格によって行われる。なお、撮像部２３は、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によってロボット制御装置４と接続される構成であってもよい。
【００８９】
実施形態の変形例３では、上述したように、撮像対象物Ｏを撮像する撮像部２３が、ロボット１０外に設けられているため、車輪６０を介してロボット１０を移動させても、撮像対象物Ｏと、ロボット１０外に設けられた撮像部２３の光軸２３Ｘとの位置関係は変化しない。従って、実施形態の変形例３では、図４に示した処理が開始すると、ロボット１０を移動させることなく、車輪６０が固定される。
【００９０】
実施形態の変形例３のロボットシステム１では、ロボット１０外に設けられた撮像部２３と、ロボット１０の可動部Ａと、可動部Ａに固定された照明部２１Ａとを用いる撮像方法による撮像対象物Ｏの撮像が行われる。この撮像方法には、照明部２１Ａが撮像対象物Ｏに光を照射する照射工程（ステップＳ１２０）と、撮像部Ａが動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度を変える照射条件変更工程（ステップＳ１５０）と、ロボット１０外に設けられた撮像部２３が撮像対象物Ｏを撮像する撮像工程（ステップＳ１３０）とが含まれる。この撮像方法では、可動部Ａが動くことによって、照明部２１Ａが撮像対象物Ｏに照射する光の角度が変えられるため、撮像対象物Ｏに照射される光の向きを最適化することができる。その結果、撮像対象物Ｏに写り込んだ影等の影響を少なくすることができ、検出率を改善することができる。
【００９１】
以上のように、ロボットシステム１は、双腕ロボットである図１に示したロボット１０に代えて、単腕ロボットである図６に示したロボット１０を備える構成であっても、実施形態とほぼ同様の効果を得ることができる。
【００９２】
以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない限り、変更、置換、削除等されてもよい。
【００９３】
また、以上に説明した装置（例えば、ロボット制御装置４、画像処理装置３０）における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating  System）や周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ（Compact  Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００９４】
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【符号の説明】
【００９５】
１…ロボットシステム、４…ロボット制御装置、１０…ロボット、２１…撮像部、２１Ａ…照明部、２１ＡＸ…光軸、２１Ｂ…撮像部本体、２３…撮像部、２３Ｘ…光軸、２４…撮像部、３０…画像処理装置、４９…入力装置、５０…表示装置、６０…車輪、Ａ…可動部、Ａ１、Ａ２…アーム、ＢＳ…支持台、Ｅ２…エンドエフェクター、Ｍ１、Ｍ２…マニピュレーター、Ｏ…撮像対象物、ＴＢ…作業台
【図１】
2019042902.tif 000003
【図２】
2019042902.tif 000004
【図３】
2019042902.tif 000005
【図４】
2019042902.tif 000006
【図５】
2019042902.tif 000007
【図６】
2019042902.tif 000008