(57)【要約】【課題】画像処理を高速化しつつ切り出し画像の解像度を向上させるハンドリング装置を提供すること。【解決手段】ハンドリング装置１２は、ワークを把持する把持部１５と、視覚センサを有する視覚装置１６と、視覚装置から取得した情報によりワークと把持部との位置関係を算出する位置関係算出部２０１と、視覚装置で使用する３次元情報の算出に必要なパラメータを設定するパラメータ設定部２０２と、算出した位置関係の情報を用いて設定したパラメータを調整するパラメータ調整部２０３と、調整したパラメータを用いて３次元情報を算出する３次元情報算出部２０４と、を有する視覚装置制御部２１と、を備える。【選択図】図２
2020146773.tif 000002
【特許請求の範囲】
【請求項１】
ワークを把持する把持部と、
視覚センサを有する視覚装置と、
前記視覚装置から取得した情報により前記ワークと前記把持部との位置関係を算出す  る位置関係算出部と、
前記視覚装置で使用する３次元情報の算出に必要なパラメータを設定するパラメータ    設定部と、
算出した位置関係の情報を用いて設定したパラメータを調整するパラメータ調整部  
と、
調整したパラメータを用いて３次元情報を算出する３次元情報算出部と、を有する視
覚装置制御部と、
を備えるハンドリング装置。
【請求項２】
前記位置関係を用いて前記把持部の移動速度を設定する速度設定部をさらに備える請求項１に記載のハンドリング装置。
【請求項３】
前記視覚装置は、少なくとも１つ以上のカメラを有した装置である請求項１または２に記載のハンドリング装置。
【請求項４】
前記視覚装置は、さらに前記把持部で把持するワークを照明する照明装置を有する請求項１から３のいずれか１項に記載のハンドリング装置。
【請求項５】
前記パラメータ設定部は、
前記視覚装置の撮像枚数を設定する撮像枚数設定部と、
前記視覚装置の解像度を設定する解像度設定部と、
前記視覚装置で撮像される画像の領域を設定する領域設定部と、
を有する請求項１から４のいずれか１項に記載のハンドリング装置。
【請求項６】
ベース部と、
前記ベースに連結されたロボットアーム部と、
前記ロボットアーム部の動作を制御するロボット制御部と、
前記ロボットアーム部に連結された請求項１から５のいずれか１項に記載のハンドリング装置と、
を備えるロボット装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ハンドリング装置およびロボット装置に関し、より詳細には、視覚装置を用いてワークをハンドリングするハンドリング装置およびロボット装置に関する。
【背景技術】
【０００２】
従来、ワークの３次元（３Ｄ）情報を取得する際に、第１のカメラで撮像したワークの３次元情報の投影画像の座標を計算し、計算した投影画像の座標に基づいて設定した第２のカメラで必要な範囲を切り出すことにより、画像処理の高速化を実現する技術が知られている。
【０００３】
このような技術の例として、例えば、特許文献１には、ワークを撮像する第１カメラと、前記第１カメラとは異なる視点でワークを撮像する第２カメラと、前記第１カメラがワークを撮像して取得した第１画像と予め設定された仮のワーク奥行情報とから３次元座標を計算し、計算した前記３次元座標と前記第２カメラの前記第１カメラに対する姿勢パラメータとから前記３次元座標の前記第２カメラへの投影を計算し、計算した投影に基づいて前記第２カメラの切出し範囲を設定し、前記第１カメラで撮像された前記第１画像と前記第２カメラの前記切出し範囲で切り出された第２画像と、からワークの３次元位置を計測する制御部と、を備えた、ことを特徴とする３次元計測装置が記載されている。これにより、情報量を低減させて、画像処理の高速化が可能になる。とされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−０１３１４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、必要な範囲を切り出す際に、解像度や撮像枚数等の情報は考慮されていないため、複数のワークの各ワークとの距離が統一されていない場合、高解像度の３次元情報を取得することが難しいという問題がある。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、その目的は、画像処理を高速化しつつ、切り出す画像領域の広さに応じて切り出し画像の解像度を調整することができるハンドリング装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明に係るハンドリング装置は、ワークを把持する把持部と、視覚センサを有する視覚装置と、視覚装置から取得した情報によりワークと把持部との位置関係を算出する位置関係算出部と、視覚装置で使用する３次元情報の算出に必要なパラメータを設定するパラメータ設定部と、算出した位置関係の情報を用いて設定したパラメータを調整するパラメータ調整部と、調整したパラメータを用いて３次元情報を算出する３次元情報算出部と、を有する視覚装置制御部と、を備える。
【０００８】
また、本発明に係るロボット装置は、ベース部と、ベースに連結されたロボットアーム部と、ロボットアーム部に連結された上記ハンドリング装置と、を備える。
【発明の効果】
【０００９】
本発明に係るハンドリング装置によれば、画像処理を高速化しつつ、切り出す画像領域の広さに応じて切り出し画像の解像度を調整することができる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本明細書中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係るハンドリング装置を備えたロボット装置の構成例を示す模式図である。
【図２】本発明の一実施形態に係るロボット装置の制御部の構成例を示すブロック図である。
【図３】本発明の一実施形態に係るカメラ制御部のパラメータ設定部の構成例を示すブロック図である。
【図４】本発明の一実施形態に係るロボット装置を用いたハンドリング動作の例を示すフローチャートである。
【図５】本発明の一実施形態に係るロボットハンドとワークとの距離が遠い場合を表す模式図である。
【図６】本発明の一実施形態に係るロボットハンドとワークとの距離が近い場合を表す模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施形態について図面を参照しながら説明する。以下に説明する実施形態は、本発明の代表的な実施形態の一例を示したものであり、これにより本発明の範囲が狭く解釈されることはない。
【００１２】
まず、本発明の一実施形態に係るロボット装置について説明する。図１は、本発明の一実施形態に係るロボット装置１０の構成例を示す模式図である。
【００１３】
図１に示すように、ロボット装置１０は、一例として、ロボット本体１１と、ハンドリング装置１２と、を備えている。ロボット本体１１は、一例として、ロボットアーム部１３と、ベース部１４と、を備え、図示していないロボット制御装置と接続されている。
【００１４】
ハンドリング装置１２は、一例として、ロボットアーム部１３の先端に接続された把持部であるロボットハンド１５と、ロボットハンド１５に搭載され、視覚センサを有する視覚装置１６と、照明装置１７と、を備えている。
【００１５】
視覚装置１６は、一例として、カメラ等の撮像装置で構成されている。なお、視覚装置１６として使用されるカメラは、単眼、多眼、ステレオおよびＴＯＦ（Time of Flight）等の構成が考えられる。
【００１６】
ここで、視覚装置であるカメラ１６を用いて３次元（３Ｄ）の位置関係情報（距離情報）を取得する手法について説明する。
【００１７】
カメラ１６が単眼カメラの場合、公知のＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて３次元情報を推定する。この時、カメラ１６を動かしながら撮像する必要がある。カメラ１６は、原理的に距離の相対値しか得られないが、カメラ１６の位置情報をロボット本体１１から取得できれば距離情報の絶対値を取得することが可能である。
【００１８】
カメラ１６がステレオカメラの場合、公知のステレオマッチングによる視差情報から距離情報を取得する。また、カメラ１６が多眼カメラの場合、ステレオカメラと原理は同じであり、色々な方向からの視差画像が得られるため、オクルージョンが生じにくい。また、カメラ１６がＴＯＦカメラの場合、光を被写体に照射し、その光が被写体に反射して受信するまでの時間から距離情報を取得する。
【００１９】
さらに、カメラ１６に照明光を利用する場合は、公知のパターン投影（縞模様やランダムドットパターン）を行い、距離情報を取得することができる。
【００２０】
照明装置１７は、一例として、カメラ１６の画像を撮像するレンズ等の周辺に配置され、ロボットハンド１５で把持するワークを照明する。また、ハンドリング装置１２で距離計測を行う場合は、照明装置１７によってパターン光を照射することもできる。
【００２１】
次に、図２を用いて、本実施形態に係るロボット装置の制御部の構成例について説明する。図２は、本実施形態に係るロボット装置１０の制御部２０の構成例を示すブロック図である。
【００２２】
図２に示すように、制御部２０は、一例として、カメラ１６に接続された視覚装置制御部の一例であるカメラ制御部２１と、カメラ制御部２１およびロボット本体１１に接続されたロボット制御部２２と、を有している。
【００２３】
カメラ制御部２１は、カメラ１６に接続された撮像情報取得部２００と、位置関係算出部２０１と、パラメータ設定部２０２と、パラメータ調整部２０３と、３次元情報算出部２０４と、を有している。カメラ制御部２１は、カメラ１６内部に備えることができるが、カメラ１６の外部に設置することもできる。
【００２４】
撮像情報取得部２００は、カメラ１６で撮像した３次元画像から３次元情報を取得する。
【００２５】
位置関係算出部２０１は、撮像情報取得部２００と接続され、ロボットハンド１５とワークとの位置関係（例えば、相互距離）を算出する。
【００２６】
パラメータ設定部２０２は、位置関係算出部２０１と接続され、カメラ１６に対して撮像パラメータを設定する。
【００２７】
パラメータ調整部２０３は、パラメータ設定部２０２と接続され、位置関係算出部２０１で算出した距離情報を用いてカメラ１６の撮像パラメータ(撮像枚数、解像度等)を調整する。
【００２８】
３次元情報算出部２０４は、パラメータ調整部２０３と接続され、パラメータ調整部２０３で調整したパラメータに応じて３次元情報を算出する。
【００２９】
次に、ロボット制御部２２は、一例として、座標算出部３００と、速度設定部３０１と、を有している。ロボット制御部２２は、ロボット本体１１のロボットアーム部１３およびロボットハンド１５等の動作を制御する。また、ロボット制御部２２は、ロボット本体１１内の例えばベース部１４に備えることができるが、ロボット本体１１の外部に設置することもできる。なお、速度設定部３０１は、カメラ制御部２１に備えることもできる。
【００３０】
座標算出部３００は、撮像情報取得部２００および位置関係算出部２０１と接続され、ロボットアーム部１３およびロボットハンド１５の３次元座標(ロボット座標)を算出する。
【００３１】
速度設定部３０１は、位置関係算出部２０１と接続され、パラメータ調整部２０３で調整したパラメータを用いてロボットアーム部１３およびロボットハンド１５の移動速度を設定する。例えば、ロボットハンドとワークの位置関係(距離)が遠い場合は，ロボットアーム部１３およびロボットハンド１５の移動速度を早くし，ロボットハンド１５とワークの位置関係(距離)が近い場合は，ロボットアーム部１３およびロボットハンド１５の移動速度を遅くする。
【００３２】
次に、図３を用いて、本実施形態に係るカメラ制御部のパラメータ設定部の構成例について説明する。図３は、本実施形態に係るカメラ制御部２１のパラメータ設定部２０２の構成例を示すブロック図である。
【００３３】
図３に示すように、パラメータ設定部２０２は、一例として、撮像枚数設定部４００と、解像度設定部４０１と、領域設定部４０２と、を備えている。
【００３４】
撮像枚数設定部４００は、位置関係算出部２０１と接続され、カメラ１６で撮像する撮像枚数を設定する。ここで、パターン投影手法を用いる場合は、撮像枚数によって距離情報の精度が変化する（撮像枚数が多いときは高精度となり、少ないときは低精度となる）。
【００３５】
さらに、カメラ１６が単眼の場合、ＳＬＡＭにて距離情報を取得するための撮像枚数を設定する。この場合、撮像枚数が多いときは距離情報の精度が高くなる。一方、ステレオ、多眼およびＴＯＦの場合、撮像枚数を多くすることでＳ/Ｎ比が向上し、距離情報の信頼度が高くなる。
【００３６】
解像度設定部４０１は、撮像枚数設定部４００と接続され、ロボットハンド１５とワークとの相互距離によって、カメラ１６で撮像する撮像画像の解像度を設定する。
【００３７】
領域設定部４０２は、解像度設定部４０１と接続され、距離情報を取得する画像領域を設定する。さらに、領域設定部４０２は、パラメータ調整部２０３とも接続されている。領域設定部４０２は、ロボットハンド１５とワークとの距離が遠い場合、ワーク全体を処理するように領域を設定する。一方、領域設定部４０２は、ロボットハンド１５とワークとの距離が近い場合、ワーク数個を処理するように領域を設定する。
【００３８】
図４を用いて、本実施形態に係るハンドリング方法の一例について説明する。図４は、本実施形態に係るロボット装置１０を用いたハンドリング動作の例を示すフローチャートである。
【００３９】
まず、ステップＳ１において、カメラ１６は、ロボット本体１１およびワークを含む３次元情報を撮像する。
【００４０】
ステップＳ２において、カメラ制御部２１の撮像情報取得部２００は、カメラ１６で撮像した３次元画像から３次元情報を取得する。
【００４１】
ステップＳ３において、位置関係算出部２０１は、撮像情報取得部２００で取得した３次元情報を用いて、ワークの位置を算出する。
【００４２】
ステップＳ４において、ロボット制御部２２の座標算出部３００は、ロボット制御部２２で取得したモータ等の数値を用いて、ロボットアーム部１３およびロボットハンド１５の３次元座標(ロボット座標)を算出する。なお、ステップＳ４の処理は、ステップ２の前に行うこともできる。
【００４３】
ステップＳ５において、位置関係算出部２０１は、ステップＳ３およびステップＳ４で算出した情報に基づいて、ロボットハンド１５とワークとの位置関係（相互距離）を算出する。
【００４４】
ステップＳ６において、パラメータ設定部２０２は、ステップＳ５で算出した情報を用いて、カメラ１６の撮像パラメータを設定する。
【００４５】
ステップＳ７において、パラメータ調整部２０３は、位置関係算出部２０１で算出した距離情報を用いてカメラ１６の撮像パラメータ(撮像枚数、解像度等)を調整する。
【００４６】
ステップＳ８において、速度設定部３０１は、位置関係算出部２０１で算出した距離情報を用いてロボットアーム部１３およびロボットハンド１５の移動速度を設定する。
【００４７】
ステップＳ９において、３次元情報算出部２０４は、パラメータ調整部２０３で調整したパラメータに応じて３次元情報を算出し、処理を終了する。
【００４８】
図５および図６を用いて、本実施形態に係るロボット装置のハンドリング動作の一例について説明する。図５は、本実施形態に係るロボットハンドとワークとの距離が遠い場合を表す模式図である。図６は、本実施形態に係るロボットハンドとワークとの距離が近い場合を表す模式図である。
【００４９】
図５および図６に示すように、ロボット装置１０のロボットハンド１５下方に、例えば通い箱等のケース５１が配置され、ケース５１内に複数のワーク５２が収容されている場合を想定する。
【００５０】
まず、図５に示すように、ロボット装置１０の稼働前等により、ロボットハンド１５とワーク５２との距離が遠い位置にある場合、互いの距離が離れているため、ロボット装置１０はワーク５２に向かって高速で移動させることができる。
【００５１】
また、この場合は、まだワーク５２の大雑把な位置情報を取得すればよいので、カメラ１６のセンサを低解像度モードで駆動させて撮像してもよい。ただし、ワーク５２全体の情報を取得するために、カメラ１６の撮像画像の画像領域は広く設定する。
【００５２】
一方、図６に示すように、ロボット装置１０を稼働させて、ロボットハンド１５とワーク５２との距離が近い位置にある場合、それらの相互距離が接近しているため、ロボット装置１０はワーク５２に向かって低速で移動させる。
【００５３】
また、この場合は、ワーク５２のピッキング位置の高精度な位置情報が必要なため、カメラ１６のセンサを高解像度モードで駆動させて撮像する必要がある。このとき、ワーク５２数個分の情報を取得すればよいため、カメラ１６の撮像画像の画像領域は狭く設定する。
【００５４】
本実施形態に係るハンドリング装置１２を備えるロボット装置１０によれば、ロボットハンド１５とワーク５２との位置関係の情報をカメラ制御部２１で算出し、カメラ１６にフィードバックすることができる。また、カメラ１６の情報をロボット本体１１に伝えるだけでなく、ロボット本体１１の情報をカメラ１６に伝え、双方向のやり取りを可能とすることもできる。
【００５５】
したがって、ロボット装置１０によれば、ロボットハンド１５とワーク５２との位置関係に応じてカメラ１６の各種パラメータを変更し、それに応じた３次元情報を算出することによってカメラ１６の処理速度と３次元精度のバランスをとることができる。すなわち、ロボット装置１０は、ロボットハンド１５とワーク５２との距離が遠い位置にある場合、低解像度の３次元情報を算出し、それらの相互距離が近い場合、局所領域のみの高解像度の３次元情報を算出することが可能となる。
【００５６】
これにより、ハンドリング装置１２を備えるロボット装置１０は、画像処理を高速化しつつ、切り出す画像領域の広さに応じて切り出し画像の解像度を調整することができる。
【産業上の利用可能性】
【００５７】
本発明は、産業用ロボットのロボットアーム部先端等に取り付けられるハンドに活用できるものであるため、産業上の利用可能性を有するものである。
【符号の説明】
【００５８】
１０  ロボット装置
１１  ロボット本体
１２  ハンドリング装置
１３  ロボットアーム部
１４  ベース部
１５  ロボットハンド
１６  視覚装置（カメラ）
１７  照明装置
２０  ロボットシステム
２１  カメラ制御部
２２  ロボット制御部
２００  撮像情報取得部
２０１  位置関係算出部
２０２  パラメータ設定部
２０３  パラメータ調整部
２０４  ３次元情報算出部
３００  座標算出部
３０１  速度設定部
４００  撮像枚数設定部
４０１  解像度設定部
４０２  領域設定部
５１  ケース
５２  ワーク
【図１】
2020146773.tif 000003
【図２】
2020146773.tif 000004
【図３】
2020146773.tif 000005
【図４】
2020146773.tif 000006
【図５】
2020146773.tif 000007
【図６】
2020146773.tif 000008