(57)【要約】【課題】搬送方法の変更に伴う実際のロボットやカメラを含むシステムの設定変更に要する検討時間を短縮でき、ロボット生産システムの生産効率を高めることができるロボットシミュレーション装置を提供する。【解決手段】ベルトコンベヤ、対象物及びロボットのそれぞれのモデルを所定位置にレイアウトして表示するディスプレイと、対象物の移動方向及び移動速度を指定する移動条件指定手段と、撮像領域内で位置する対象物の静止画像を取得するために、対象物に対するカメラの相対的位置及び撮像条件を指定する撮像条件指定手段と、カメラにより取得された静止画像と照合される対象物の教示モデルを記憶する教示モデル記憶手段と、静止画像と教示モデルとを照合することにより得られた対象物の位置・姿勢と、対象物の移動方向及び移動速度とに基づいて、ロボットにより把持される対象物の把持位置を計算で算出する把持位置算出手段と、把持位置に基づいてロボットの教示位置を設定する教示位置設定手段と、を備えている。【選択図】図１
2008296330.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像データを画像処理することにより、搬送手段によって搬送される対象物を追跡しながら、所定位置で該対象物を把持するロボットの動作を、オフラインでシミュレーションするロボットシミュレーション装置であって、
少なくとも前記搬送手段、前記対象物及び前記ロボットのそれぞれのモデルを所定位置にレイアウトして表示する表示手段と、
前記対象物の移動方向及び移動速度を指定する移動条件指定手段と、
撮像領域内で位置する前記対象物の静止画像を取得するために、前記対象物に対するカメラの相対的位置及び撮像条件を指定する撮像条件指定手段と、
前記カメラにより取得された前記静止画像と照合される前記対象物の教示モデルを記憶する教示モデル記憶手段と、
前記静止画像と前記教示モデルとを照合することにより得られた前記対象物の位置・姿勢と、前記対象物の前記移動方向及び前記移動速度とに基づいて、前記ロボットにより把持される前記対象物の把持位置を計算で算出する把持位置算出手段と、
前記把持位置に基づいて前記ロボットの教示位置を設定する教示位置設定手段と、
を備えたことを特徴とするロボットシミュレーション装置。
【請求項２】
前記把持位置算出手段で算出された前記把持位置で、前記ロボットが前記対象物を把持できない場合に、前記ロボットの異常を警告する警告手段を備えたことを特徴とする請求項１に記載のロボットシミュレーション装置。
【請求項３】
前記対象物の形状モデルを指定する形状モデル指定手段を備えたことを特徴とする請求項１又は２に記載のロボットシミュレーション装置。
【請求項４】
形状が異なる前記対象物の形状モデルを複数指定することができ、複数の前記対象物を所定の順番で前記搬送手段に供給することを特徴とする請求項３に記載のロボットシミュレーション装置。
【請求項５】
前記搬送手段はベルトコンベアであり、該ベルトコンベア上に供給される多数の対象物の供給間隔を指定する供給間隔指定手段を備えたことを特徴とする請求項１〜４の何れか１項に記載のロボットシミュレーション装置。
【請求項６】
前記供給間隔指定手段により、前記多数の対象物品の供給間隔が規則的間隔又は不規則的間隔に指定されることを特徴とする請求項５に記載のロボットシミュレーション装置。
【請求項７】
把持した前記対象物の移動先の位置を指定する移動先指定手段を備え、前記ロボットが前記対象物を前記移動先まで移す動作をシミュレーションすることを特徴とする請求項１〜６の何れか１項に記載のロボットシミュレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、搬送手段が移動することによって搬送される対象物を追跡しながら対象物を把持するロボットの動作を、オフラインでシミュレーションするロボットシミュレーション装置に関するものである。
【背景技術】
【０００２】
搬送される対象物を追跡しながら対象物を把持するロボット生産方法として、ビジュアルトラッキング方法が知られている（特許文献１）。ビジュアルトラッキング方法とは、視覚センサを使用して搬送手段としてのベルトコンベアで搬送される移動中の対象物の位置・姿勢を計測し、計測された対象物の位置・姿勢に基づいて対象物を追跡しつつ、把持するロボットの教示位置を補正して対象物を把持する方法である。特許文献１では、ベルトコンベア等の搬送手段によって移動中の対象物に対するロボット作業を遂行するためにロボットに対象物に対するトラッキングを伴う動作をさせる技術、詳しくは視覚センサを利用して、移動中の対象物の位置ずれを伴う動作をさせる技術が開示されている。
【０００３】
ビジュアルトラッキング方法に関するものではないが、移動中の対象物の位置を検出する方法として、ロボットのハンドで把持された把持中の対象物について、視覚センサによる特徴位置の検出を行い、その結果を用いて対象物の把持状態を把握する方法が開示されている（特許文献２）。特許文献２では、視覚センサにより認識された把持状態と、比較対照される所定の把持状態とが比較されて把持誤差が求められ、この把持誤差が所定の許容限界を超えたときにロボットを停止するか、又は把持状態の異常を警告する信号を出力できるようになっている。
【０００４】
【特許文献１】特許第３００２０９７号明細書
【特許文献２】特開２００４−２４９３９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のビジュアルトラッキング方法では、ロボット動作、コンベア動作、視覚センサの検出が問題なく行われるかを確認する場合、現場でロボット、コンベア、視覚センサを実際に動作させながら確認動作を行っている。このため、対象物の供給間隔、供給速度、対象物の形状などを調整する場合には、専門知識及び試行錯誤が必要となり、調整などに非常に多くの時間がかかり、ロボット生産システムの構築が容易ではないという問題があった。
【０００６】
本発明は、搬送される対象物の搬送方法、例えば、対象物の供給間隔、供給速度、対象物の形状などが変更になった場合に、搬送方法の変更に伴う実際のロボットやカメラを含むシステムの設定変更に要する検討時間を短縮でき、ロボット生産システムの生産効率を高めることができるロボットシミュレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に記載のロボットシミュレーション装置は、カメラで撮影された画像データを画像処理することにより、搬送手段によって搬送される対象物を追跡しながら、所定位置で該対象物を把持するロボットの動作を、オフラインでシミュレーションするロボットシミュレーション装置であって、少なくとも前記搬送手段、前記対象物及び前記ロボットのそれぞれのモデルを所定位置にレイアウトして表示する表示手段と、前記対象物の移動方向及び移動速度を指定する移動条件指定手段と、撮像領域内で位置する前記対象物の静止画像を取得するために、前記対象物に対するカメラの相対的位置及び撮像条件を指定する撮像条件指定手段と、前記カメラにより取得された前記静止画像と照合される前記対象物の教示モデルを記憶する教示モデル記憶手段と、前記静止画像と前記教示モデルとを照合することにより得られた前記対象物の位置・姿勢と、前記対象物の前記移動方向及び前記移動速度とに基づいて、前記ロボットにより把持される前記対象物の把持位置を計算で算出する把持位置算出手段と、前記把持位置に基づいて前記ロボットの教示位置を設定する教示位置設定手段と、を備えたことを特徴とする。
【０００８】
また、請求項２の発明は、請求項１に記載のロボットシミュレーション装置において、
前記把持位置算出手段で算出された前記把持位置で、前記ロボットが前記対象物を把持できない場合に、前記ロボットの異常を警告する警告手段を備えたことを特徴とする。
【０００９】
また、請求項３の発明は、請求項１又は２に記載のロボットシミュレーション装置において、前記対象物の形状モデルを指定する形状モデル指定手段を備えたことを特徴とする。
【００１０】
また、請求項４の発明は、請求項３に記載のロボットシミュレーション装置において、形状が異なる前記対象物の形状モデルを複数指定することができ、複数の前記対象物を所定の順番で前記搬送手段に供給することを特徴とする。
【００１１】
また、請求項５の発明は、請求項１〜４の何れか１項に記載のロボットシミュレーション装置において、前記搬送手段はベルトコンベアであり、該ベルトコンベア上に供給される多数の対象物の供給間隔を指定する供給間隔指定手段を備えたことを特徴とする。
【００１２】
また、請求項６に記載の発明は、請求項５に記載のロボットシミュレーション装置において、前記供給間隔指定手段により、前記多数の対象物品の供給間隔が規則的間隔又は不規則的間隔に指定されることを特徴とする。
【００１３】
また、請求項７に記載の発明は、請求項１〜６の何れか１項に記載のロボットシミュレーション装置において、把持した前記対象物の移動先の位置を指定する移動先指定手段を備え、前記ロボットが前記対象物を前記移動先まで移す動作をシミュレーションすることを特徴とする。
【発明の効果】
【００１４】
以上の如く、請求項１記載の発明によれば、把持位置算出手段でロボットにより把持される対象物の把持位置が求まり、教示位置設定手段によりロボットの教示位置が設定されるから、対象物、搬送手段、カメラ、ロボットを備えるロボット生産システムにおいての、動作確認が容易となり、適用検討の時間が短縮される。したがって、システムの教示、立上げが容易となり、工数の削減が可能となり、ロボット生産システムの生産効率を高めることができる。
【００１５】
また、請求項２記載の発明によれば、警告手段によりロボットの異常を警告することで、ロボットが対象物を把持できない場合を認識できる。異常が警告された場合、対象物の供給方法やカメラの撮像条件などを変更した上で繰り返しシミュレーションが実施され、
ロボットの異常が警告されない方法および条件が取得される。
【００１６】
また、請求項３記載の発明によれば、形状モデル指定手段により、形状が異なる対象物の形状モデルを指定することができる。このため、実際の製品の形状を適用したシミュレーションを実施することができ、シミュレーションの適用範囲を広げることができる。
【００１７】
また、請求項４記載の発明によれば、形状が異なる複数の前記対象物を所定の順番で搬送手段に供給することで、実際の現場において種類の異なる製品が搬送される場合をシミュレーションで再現することができる。
【００１８】
また、請求項５記載の発明によれば、供給間隔指定手段により、ベルトコンベア上に供給される多数の対象物の供給間隔を指定することができるから、現場における対象物の実際の供給方法を再現することができる。
【００１９】
また、請求項６記載の発明によれば、供給間隔指定手段により、多数の対象物品の供給間隔を規則的間隔又は不規則的間隔に指定することで、現場における対象物の実際の供給方法をより一層忠実に再現することが可能となり、シミュレーションの精度を高めることができる。
【００２０】
また、請求項７記載の発明によれば、ロボットにより把持された対象物を、移動先指定手段により指定された位置まで移動させる動作をシミュレーションすることができるため、対象物がベルトコンベアに供給され、対象物がロボットにより把持され、対象物が移動先まで移される一連の過程を、シミュレーションで再現することができる。このため、実際のロボット生産システムにおける最適性や安定性などの検証に役立てることができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明に係るロボットシミュレーション装置（以下、「シミュレーション装置」という）を図面に基づいて説明する。なお、各図において共通する部分には同一の符号を付して重複した説明を省略する。
【００２２】
本実施形態のシミュレーション装置１は、カメラで撮影された画像データを画像処理して、ベルトコンベヤ（搬送手段）によって搬送される対象物を追跡する実際のロボットのトラッキング動作と、所定位置で対象物を把持する実際のロボットのピッキング動作を、オフラインでシミュレーションできるようにしたものであり、図１に示すように、制御機能を有する装置本体２と、装置本体２に接続されてグラフィック画像を表示するディスプレイ（表示手段）３（図１）とを備えている。ディスプレイ３には、液晶ディスプレイやＣＲＴなどが適用され、ロボットハンドを有するロボット１０のモデルデータなどを画面上でグラフィック表示する。なお、図１には図示されていないが、装置本体２にはキーボードや、ディスプレイ３の画面上で特定の位置を指定するポインティングデバイスとしてのマウスが接続されている。
【００２３】
装置本体２は、ハードウェアの主要部として機能する制御部４と、図示しないインターフェースとを備えている。制御部４は、ＣＰＵ（図示せず）と、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの各種メモリ（図示せず）とを有している。ＲＯＭには、このシミュレーション装置１を全体的に機能させるシステムプログラムが格納される。ＲＡＭは、ＣＰＵが行う処理のためのデータの一時的な記憶に使用されるメモリである。フラッシュメモリには、ロボット１０の動作プログラムデータや諸設定値の他に、後述するシミュレーションを実施するために必要な各種プログラム並びに諸データが格納される。
【００２４】
制御部４は、インターフェースを介して、ディスプレイ３、キーボード、マウス、図示しないロボット制御装置やＣＡＤ装置などに電気的に接続され、電気信号の授受が行われるようになっている。形状モデルがＣＡＤ装置で予め作成されている場合には、通信回線を通じて、ＣＡＤ装置から、ロボットハンドを有するロボット１０や、ベルトコンベア１１や、コンベヤ１１で搬送される対象物１３や、カメラ１２や、対象物を収容するパレット１５の３次元モデルデータが送信されるようになっている。送信されたこれらのモデルデータは、フラッシュメモリに一時的に記憶され、図１に示すディスプレイ３の画面上に所定の位置関係でレイアウトされるようになっている。
【００２５】
個々のモデルの位置関係は、現場における位置関係が再現されるようになっている。また、個々のモデルの表示方法は、任意であり、ソリッドモデルや、フレームモデルや、ワイヤモデルとすることができる。モデルデータは、ＣＡＤ装置から直接的に読み込むことができる他に、記録媒体を介して間接的に取り込むこともできる。
【００２６】
制御部４では、少なくとも次に示す構成要素を備えている。すなわち、制御部４は、対象物１３の移動方向及び移動速度を指定する移動条件指定手段５と、カメラ１２の撮像領域１４内で位置する対象物１３の静止画像を取得するために、対象物１３に対するカメラ１２の相対的位置及び撮像条件を指定する撮像条件指定手段６と、カメラ１２により取得された静止画像１８と照合される対象物１３の教示モデルを記憶する教示モデル記憶手段７と、静止画像１８と教示モデルとを照合することにより得られた対象物１３の位置・姿勢と、対象物１３の移動方向及び移動速度とに基づいて、ロボット１０により把持される対象物１３の把持位置を計算で算出する把持位置算出手段８と、把持位置に基づいてロボット１０の教示位置を設定する教示位置設定手段と、を備えている。
【００２７】
また、制御部４は、さらに、把持位置算出手段８で算出された把持位置で、ロボット１０が対象物１３を把持できない場合に、ロボット１０の異常を警告する警告手段と、対象物１３の形状モデルを指定する形状モデル指定手段と、ベルトコンベヤ１１上に供給される多数の対象物１３の供給間隔を指定する供給間隔指定手段と、把持した対象物１３の移動先の位置を指定する移動先指定手段と、を備えている。
【００２８】
次に、図２に示すフローチャート、図３〜図１１に示す説明図を参照しながら、本実施形態のシミュレーション装置１を用いたシミュレーションについて説明する。
ステップＳ１では、ロボット１０、ベルトコンベア１１、対象物１３、カメラ１２、パレット１５の３次元モデルデータをディスプレイ３の画面上に所定の位置関係で表示する。
ステップＳ２では、ベルトコンベヤ１１に供給する対象物１３を指定する（形状モデル指定）。図３（ａ）〜（ｃ）に示すように、対象物１３には、実際の製品形状が反映された種々の形状モデルが用意されており、その中から任意の形状が指定される。なお、指定する対象物１３の個数は任意であり、ステップ４に示すように複数指定することができる。
【００２９】
ステップＳ３では、ベルトコンベヤ１１により搬送される対象物１３の移動方向及び移動速度を指定する（移動条件指定）。図４には、ベルトコンベヤ１１でＸ方向（紙面の左側から右側へ）搬送される角柱モデルの対象物１３が示されている。対象物１３の移動速度は、任意であり、種々の移動速度に設定可能である。種々の速度でシミュレーションを実施することで、ロボット１０のトラッキング動作やピッキング動作を安定して行うことができる速度領域が求められるようになっている。
【００３０】
ステップＳ４では、図５に示すように形状が異なる複数の対象物１３の搬送する順番や、図６に示すように対象物１３の姿勢や、図７に示すように隣接する対象物１３の間隔などを指定する（対象物の供給方法の指定）。
【００３１】
ステップＳ５では、カメラ１２の撮像領域１４内で位置する対象物１３の静止画像１８を取得するために、対象物１３に対するカメラ１２の相対的位置及び撮像条件を指定する（撮像条件指定）。カメラ１２は、図示しない視覚センサの受光器として機能し、図示しない投光器から対象物に向かって照射されたスリット光の反射光を受光する。カメラ１２は、移動する対象物１３に対してベルトコンベヤ１１の上流側、すなわち、ロボット１０の位置より上流側で任意の位置で固定される。これにより、カメラ１２で取得された画像データに基づいてロボット１０が把持する対象物１３の位置が求まるようになっている。
【００３２】
図８は、対象物１３の静止画像１８を取得するカメラ１２の計測条件を示したものであり、任意の位置に固定されたカメラ１２と対象物１３の位置関係、対象物１３の大きさ、対象物１３の移動速度などを考慮して、カメラ１２の撮像領域１４内で画像処理可能な静止画像１８が得られるように、所定の計測条件を満足するレンズ１７が選択される。図８（ｂ）には、一例として、カメラ１２の固定位置と共に、レンズ１７の種別、解像度、焦点距離が示されている。なお、図８には図示されていないが、対象物１２の移動速度に応じたカメラ１２のシャッタ速度も指定できるようになっている。
【００３３】
図９は、所定の焦点距離を有するレンズ１７を使用した場合の撮像範囲１４を示したものであり、この撮像範囲１４に対象物１３が入るように計測条件が設定される。図９について説明すると、
Ｗ：対象物の横幅、
Ｈ：対象物の高さ、
ｗ：イメージセンサ（ＣＣＤ又はＣＭＯＳ）の幅
ｈ：イメージセンサの高さ、
ｆ：焦点距離、
Ｌ：物体距離
である。そして、これらの数値の間に次の関係が成立する。
（ｗ／Ｗ）＝（ｈ／Ｈ）＝（ｆ／Ｆ）
したがって、レンズ１７によって、ｗ：イメージセンサの横幅、ｈ：イメージセンサの高さが決まる。
例えば、１形のレンズはｗ＝１２．７ｍｍ、ｈ＝９．５２５ｍｍ、１／２形のレンズはｗ＝６．４ｍｍ、ｈ＝４．８ｍｍ、２／３形のレンズはｗ＝８．８ｍｍｍｈ＝６．６ｍｍ、１／３形のレンズはｗ＝４．８ｍｍ、ｈ＝３．６ｍｍである。個々のレンズの焦点距離はそれぞれ異なるが、２／３形のレンズではｆ＝１６ｍｍとなる。
【００３４】
また、対象物１３をカメラ１２で見て、画面に表示する場合の解像度を横幅×高さ＝６４０ｍｍ×４８０ｍｍとしている。例えば、視野を６４０ｍｍ×４８０ｍｍとすると、１画素あたりの精度は１ｍｍとなる。
また、対象物までの距離（カメラの位置）Ｌは、（ｆ×Ｈ）／ｈ＝１６ｍｍ×６４０ｍｍ／６．６ｍｍ＝１５５１．６ｍｍとなる。
【００３５】
なお、カメラ１２の位置及び姿勢は次のようにして求められる。図１０に示すように、カメラ１２は指定した面の面直がカメラ１２の視線ベクトルと一致するようにカメラ１２の３次元位置、姿勢が求められる。すなわち、指定した面の中心位置（ｘ、ｙ、ｚ）、面直ベクトルを（ａ１、ａ２、ａ３）とすると、対象物１３までの距離（カメラの距離）Ｌから、カメラ１２の位置（Ｘ、Ｙ、Ｚ）を求めることができる。また、カメラ１２の３次元空間上の姿勢は面直ベクトルから決定される。
【００３６】
次に、ステップＳ６〜Ｓ８では、公知の方法（例えば、特開２００４−１４４５５７号公報）で、カメラ１２で取得された画像データを教示モデル記憶手段に記憶された教示モデルと照合して、図示しない画像処理装置で画像処理を行い、対象物１３の位置及び姿勢を検出する。教示モデルは、対象物１３の形状の複雑さに依存するが、対象物１３が立体形状である場合には対象物１３を複数の方向から見たモデルデータが必要となる。図１０では、カメラ１２で対象物１３の静止画像１８を取得した状態が示されている。カメラ１２のキャリブレーションは、カメラ１２で静止画像１８を取得する前に、カメラ１２と投光器との相対的位置関係に基づいて、公知の方法で行われる（例えば、特開平８−２７２４１４号公報）。
【００３７】
ステップＳ９では、ステップＳ６〜Ｓ８で得られた対象物１３の位置・姿勢と、対象物１３の移動方向及び移動速度とに基づいて、ロボット１０により把持される対象物１３の把持位置を計算で算出する。
【００３８】
最後に、教示位置設定手段９で把持位置に基づいてロボット１０の教示位置を設定した後、ステップＳ１０で、図１１に示すように、ステップＳ９で求めた把持位置で移動中の対象物１３をロボット１０で把持する。そして、把持した対象物１３をパレット１５に移動してシミュレーションを終了する。シミュレーションにおいて、移動中の対象物１３をトラッキングできない場合や、ピッキングできない場合は、ディスプレイ上で警告を表示する。
【００３９】
以上により、本実施形態のロボットシミュレーション装置によれば、対象物、ベルトコンベア、カメラ、ロボットを備えるロボット生産システムにおいて、対象物１３の供給方法や対象物１３の形状が変更された場合のトラッキング動作及びピッキング動作の確認が容易となり、適用検討の時間が短縮される。これにより、システムの教示、立上げが容易となり、工数の削減が可能となり、ロボット生産システムの生産効率を高めることができる。
【００４０】
なお、本発明は上記実施形態に限定されるものではなく、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明に係るロボットシミュレーション装置の概要を示す図である。
【図２】図１に示すロボットシミュレーション装置によるシミュレーションのフローチャートである。
【図３】図１に示すベルトコンベヤで搬送される対象物の形状モデルを示し、（ａ）は角柱モデル、（ｂ）は円柱モデル、（ｃ）は棒状モデルである。
【図４】同じく図１に示すベルトコンベヤで所定の移動速度で搬送される対象物の移動方向を示す説明図である。
【図５】異なる形状モデルの対象物を所定の順番で搬送する状態を説明するための説明図である。
【図６】姿勢が異なる対象物を示し、（ａ）は傾いていない状態、（ｂ）は任意の軸回りで傾いている状態である。
【図７】隣り合う対象物の間隔が異なる場合を示し、（ａ）は間隔が広い状態、（ｂ）は間隔が狭い状態である。
【図８】対象物の静止画像を取得するカメラの計測条件を示し、（ａ）は計測条件設定前、（ｂ）は計測条件設定後である。
【図９】所定の焦点距離を有するレンズを使用した場合の被写界範囲を示す説明図である。
【図１０】カメラで対象物の静止画像を取得した状態を示す説明図である。
【図１１】ロボットと対象物の相対的位置関係を模式的に示す図である。
【符号の説明】
【００４２】
１    ロボットシミュレーション装置
２    装置本体
３    ディスプレイ
４    制御部
１０    ロボット
１１    コンベヤ
１２    カメラ
１３    対象物
【図１】
2008296330.tif 000003
【図２】
2008296330.tif 000004
【図３】
2008296330.tif 000005
【図４】
2008296330.tif 000006
【図５】
2008296330.tif 000007
【図６】
2008296330.tif 000008
【図７】
2008296330.tif 000009
【図８】
2008296330.tif 000010
【図９】
2008296330.tif 000011
【図１０】
2008296330.tif 000012
【図１１】
2008296330.tif 000013