(57)【要約】  【課題】搬送手段上を流れる搬送対象物を確実に認識することが可能な画像処理方法を提供する。  【解決手段】画像処理手段５において前回および今回におけるそれぞれの撮像画像と基準画像とのマッチング処理を行うことにより、基準位置を基準としたときの搬送対象物２に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、前記前回の撮像画像における実際のずれ量に対して撮像間隔Ｌを加算することにより今回の撮像画像における推定されるずれ量を算出し、この今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差ｄを求め、この差ｄが所定の許容値Ｄ以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定するようにした。  【選択図】図２
2007033328.tif 000002
【特許請求の範囲】
【請求項１】
一定の方向に搬送対象物を搬送する搬送手段と、
前記搬送対象物の搬送経路上に視野を有する撮像手段と、
該撮像手段により撮像された画像を処理する画像処理手段と、
前記搬送手段の移動量を検出する移動量検出手段と、
を備え、
前記移動量検出手段により検出された前記搬送手段の移動量が所定の一定量となる毎に前記撮像手段により撮像を行い、該撮像画像を前記画像処理手段により処理するようにされた画像処理方法において、
予め前記搬送手段における搬送経路上にあって前記撮像手段により撮像可能な任意の位置を基準位置として設定するとともに該基準位置に前記搬送対象物が存在するときの画像を基準画像として設定し、
予め前記撮像手段による前記搬送手段上の撮像間隔が前記搬送手段の搬送方向に沿った前記撮像手段の視野から前記搬送対象物の最大長を差し引いた距離を超えないように設定し、
前記搬送手段を流れる前記搬送対象物を検出する場合は、
前記画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの前記搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、
前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、
該今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、
該差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定するようにしたことを特徴とする画像処理方法。
【請求項２】
一定の方向に搬送対象物を搬送する搬送手段と、
前記搬送対象物の搬送経路上に視野を有する撮像手段と、
該撮像手段により撮像された画像を処理する画像処理手段と、
前記搬送手段の移動量を検出する移動量検出手段と、
前記搬送手段上を搬送される前記搬送対象物に対してピッキング動作を行う移動手段と、
を備え、
前記画像処理手段による画像処理結果に基づいて前記移動手段によるピッキング動作を補正するピッキング動作補正方法において、
予め前記搬送手段における搬送経路上にあって前記撮像手段により撮像可能な任意の位置を基準位置として設定するとともに該基準位置に前記搬送対象物が存在するときの画像を基準画像として設定し、
予め前記撮像手段による前記搬送手段上の撮像間隔が前記搬送手段の搬送方向に沿った前記撮像手段の視野から前記搬送対象物の最大長を差し引いた距離を超えないように設定し、
前記搬送手段上を流れる前記搬送対象物に対して前記移動手段によるピッキング動作を行う場合は、
前記画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの前記搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、
前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、
該今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、
該差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定し、
該判定により前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とが同一であるものと判定された場合には、前記前回の撮像画像における実際のずれ量または前記今回の撮像画像における実際のずれ量のいずれかに基づいて前記移動手段が行うピッキング動作を補正するようにしたことを特徴とするピッキング動作補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚センサを用いて画像を取得し処理する技術に関し、特に、コンベア等の搬送手段上の搬送対象物を認識するための画像処理方法、および該画像処理方法を用いて搬送対象物に対して行われるピッキング動作を補正する方法に関する。
【背景技術】
【０００２】
従来、工場における生産ラインにおいてはコンベア等の搬送手段を用いた搬送システムが多く採用されている。それらの搬送システムの中には、少人化や自動化のために、コンベア上を流れる搬送対象物としてのワークを、多関節ロボットを用いてピッキングし、これを次の工程に供給するシステムがある。従来、このシステムでは、コンベア上を流れるワークが所定の位置を通過したことを光電スイッチなどの非接触型センサにより検出し、この検出時からコンベアを駆動するモータに連結されたパルスジェネレータを用いてコンベアの移動に伴い発生するパルスをカウントし、このカウント値に基づいてコンベアの位置を検出し、この検出されたコンベアの位置を基にしてロボットをコンベアの移動に対して追従動作させつつ、ロボットによるコンベア上ワークに対するピッキング動作を行うようにしていた。
【０００３】
この際、ロボットにはピッキング動作を行う位置が予め教示されているので、コンベアの搬送方向に関してはコンベアの移動量に従った補正をロボットに対して行うことにより、ロボットによるコンベア上ワークに対するピッキング動作が可能となる。しかし、これではコンベアの幅方向（コンベアの搬送方向に対して垂直な方向）に関しては補正を行うことができないので、コンベア上を流れるワークはコンベア上の幅方向に関して一定の位置にしておく必要があった。
【０００４】
これに対処するために、例えば特許文献１では、コンベア上を流れるワークのずれ量を補正するために、カメラおよび画像処理装置から構成される視覚センサを使用した方法が提案されている。係る方法においては、前述した従来技術のようにコンベア上を流れるワークが所定位置を通過したことを検出する非接触型センサを用いる代わりに、コンベアの搬送経路上にカメラを設置し、コンベアの一定移動量ごとにコンベア上をカメラが撮像し、この撮像結果を画像処理装置にて処理するようにしている。これによりワークのコンベア上でのずれ量を検出し、このずれ量を用いてロボットの位置を補正することで、ワークがコンベアの幅方向にずれることがあってもロボットによるピッキング動作を可能としている。
【特許文献１】特開平９−７２７１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前述した特許文献１に係る方法では、効率よく画像認識を行うために、画像の取得間隔については、これが搬送経路に沿った視野の長さからワークの長さを差し引いた距離を下回らず、両者がほぼ等しくなるように定めることを提案している。しかしながら、例えば、図１（ａ）に示すように辺の長さが大きく異なる長方形のワークの場合であって、かつワークが回転する場合には、図１（ｂ）に示すようにワークＷの長辺の長さに基づいて画像の取得間隔を設定すると、搬送経路に沿ったワークの長さが短辺であるワークＷ′を２回認識してしまうという問題が生ずる。一方、図１（ｃ）に示すようにワークＷ′の短辺の長さに基づいて画像の取得間隔を設定すると、搬送経路に沿ったワークの長さが長辺であるワークＷを認識できなくなるという可能性が生ずる。
【０００６】
ここでワークを認識できなくなるということを考えると、これはロボットがピッキングできないワークが存在することになり、ピッキング装置として適当ではない。このため、同一ワークを２回認識してしまうという問題点の存在を考慮に入れてでも、図１（ｂ）に示したようにワークの長辺で画像の取得間隔を設定する必要があった。しかしながら、同一ワークを２回認識してしまうということはロボットがピッキング動作を同一ワークに対して２回行ってしまうこととなり、最初のピッキング処理でワークはすでにコンベア上から取り出されているにもかかわらず、２回目の処理では何もない位置に対してピッキング動作を行ってしまうという問題が発生する。
【０００７】
本発明は、前述の従来技術の問題点を解決するためになされたものであり、搬送手段上を流れる搬送対象物を確実に認識することが可能な画像処理方法を提供することを目的とする。また、本発明は、同一の搬送対象物に対して二重にピッキング処理を行うことのない、画像処理方法を用いたピッキング動作補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
請求項１に係る発明では、一定の方向に搬送対象物を搬送する搬送手段と、搬送対象物の搬送経路上に視野を有する撮像手段と、この撮像手段により撮像された画像を処理する画像処理手段と、搬送手段の移動量を検出する移動量検出手段と、を備え、移動量検出手段により検出された搬送手段の移動量が所定の一定量となる毎に撮像手段により撮像を行い、この撮像画像を画像処理手段により処理するようにされた画像処理システムにおいて、以下の画像処理方法を行うようにした。
【０００９】
すなわち、予め搬送手段における搬送経路上にあって撮像手段により撮像可能な任意の位置を基準位置として設定するとともに、この基準位置に搬送対象物が存在するときの画像を基準画像として設定し、予め撮像手段による搬送手段上の撮像間隔が搬送手段の搬送方向に沿った撮像手段の視野から搬送対象物の最大長を差し引いた距離を超えないように設定した。そして、搬送手段を流れる搬送対象物を検出する場合は、画像処理手段において前回および今回におけるそれぞれの撮像画像と前記基準画像とのマッチング処理を行うことにより、前記基準位置を基準としたときの搬送対象物に関する前回の撮像画像における実際のずれ量および今回の撮像画像における実際のずれ量をそれぞれ検出し、前記前回の撮像画像における実際のずれ量に対して前記撮像間隔を加算することにより今回の撮像画像における推定されるずれ量を算出し、この今回の撮像画像における推定されるずれ量と前記今回の撮像画像における実際のずれ量との差を求め、この差が所定の許容値以下となった場合は前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とは同一であるものと判定するようにした。
【００１０】
さらに、請求項２に係る発明では、前述した判定により前回の撮像画像における搬送対象物と今回の撮像画像における搬送対象物とが同一であるものと判定された場合には、前記前回の撮像画像における実際のずれ量または前記今回の撮像画像における実際のずれ量のいずれかに基づいて、搬送手段上を搬送される搬送対象物に対してピッキング動作を行うようにされた移動手段において、当該移動手段が行うピッキング動作を補正するようにした。
【発明の効果】
【００１１】
本発明によれば、搬送手段における搬送経路に沿った撮像手段の視野の長さから搬送対象物の最大長さを差し引いた距離を上回らない移動間隔で、搬送経路近傍に所定配置された撮像手段により搬送手段上の搬送対象物を撮像し、画像処理手段により撮像された画像の処理を行い、搬送対象物の位置を求め、さらには前回撮像した時点からの搬送手段の移動距離を考慮することで、前回の撮像画像をもとに検出された搬送対象物と同一か否かをチェックするようにしたので、撮像漏れがなく、さらには同一の搬送対象物に対して二重に処理を行うことはなくなった。
【００１２】
さらに、搬送手段上を連続搬送される搬送対象物に対するロボット等の移動手段によるピッキング作業において本発明に係る画像処理方法を適用すれば、移動手段が同一の搬送対象物に対して２重にピッキング処理を行うことなく、さらには移動手段による正確なピッキング動作を実現できるものとなった。
【発明を実施するための最良の形態】
【００１３】
以下、本発明を実施するための最良の形態について、図面を参照して説明する。まず、図２を参照して、本発明の一実施形態が適用されるシステムの構成図について説明する。搬送手段として一定の方向に動作するコンベア１を使用し、このコンベア１上を搬送対象物としてのワーク２が図示した搬送方向へ向かってランダムかつ連続して搬送される。コンベア１にはこれを駆動するための図示しないモータが設けられており、その回転軸にベルト等の伝達機構で接続された移動量検出手段としてのパルスジェネレータ３が取り付けられている。このパルスジェネレータ３が発生するパルスをカウントすることにより、コンベア１の移動量が検出される。
【００１４】
コンベア１の近傍にはワーク１の搬送経路上に視野を有する撮像手段としてのカメラ４が設置されており、このカメラ４はその撮像を処理するための画像処理手段としての画像処理装置５に接続されている。さらに、コンベア１の近傍には、コンベア１上を流れるワーク２をピッキングしこれを次工程に移動させるための移動手段として多関節ロボット６が設置されており、この多関節ロボット６はロボット制御装置７により動作制御されている。なお、パルスジェネレータ３が発生するパルスは、ロボット制御装置７および画像処理装置５へ入力されている。
【００１５】
次に、図３を参照して、本発明の一実施形態に係る画像処理方法について説明する。本実施形態においては、パルスジェネレータ３により検出されたコンベア１の移動量が所定の一定量Ｌ（後述する「撮像間隔Ｌ」に該当）となる毎にカメラ４により撮像を行い、その撮像画像を画像処理装置５により処理するようにされている。
【００１６】
カメラ４により撮像されるワーク２の位置は、任意の基準位置Ｐ０を基準にしたときのワーク位置のずれ量を求めることにより検出される。このため、基準位置Ｐ０の位置情報、および図３（ａ）に示す基準位置Ｐ０にワークＷ０が存在するときの画像すなわち基準画像について、これを画像処理装置５に予め登録しておく。なお、当然のことであるが、設定される基準位置Ｐ０の位置は、コンベア１における搬送経路上にあってカメラ４により撮像可能な位置である。
【００１７】
実際のワーク位置の検出においては、コンベア１が所定の撮像間隔Ｌを移動する毎に、カメラ４が撮像を行う。なお、撮像間隔Ｌの設定においては、コンベア１上を流れるワーク２の認識もれを防止するために、コンベア１の搬送方向に沿ったカメラ４の視野からワーク２の最大長を差し引いた距離を超えない間隔に設定する必要がある。カメラ４により撮像された図３（ｂ）に示す画像（後述する「前回の撮像画像」に該当）は、画像処理装置５により前述した図３（ａ）に示した基準画像とのマッチング処理が行われ、画像内のワークＷ１の位置Ｐ１が求められる。この位置Ｐ１と基準位置Ｐ０とを比較することにより、前回の撮像画像におけるワークＷ１の搬送方向に関する実際のずれ量ΔＸおよび幅方向に関する実際のずれ量ΔＹが検出される。
【００１８】
図３（ｃ）は前述した図３（ｂ）に対して前述した所定の撮像間隔Ｌだけコンベア１が移動した際に撮像された画像（後述する「今回の撮像画像」に該当）を示したものである。この図３（ｃ）においては、ワークは２個（Ｗ１′およびＷ２）検出されている。それぞれのワーク（Ｗ１′およびＷ２）に対して、位置（Ｐ１′およびＰ２）を求め、前述した基準位置Ｐ０の位置情報に基づいて、今回の撮像画像におけるそれぞれのワーク（Ｗ１′およびＷ２）に関する実際のずれ量を検出する。詳細には、撮像された図３（ｃ）に示す画像（今回の撮像画像）は、画像処理装置５により前述した図３（ａ）に示した基準画像とのマッチング処理が行われ、画像内のワークＷ１′の位置Ｐ１′が求められる。この位置Ｐ１′と基準位置Ｐ０とを比較することにより、今回の撮像画像におけるワークＷ１′の搬送方向に関する実際のずれ量ΔＸ′および幅方向に関する実際のずれ量ΔＹ′が検出される。同様に、マッチング処理により画像内のワークＷ２の位置Ｐ２が求められ、この位置Ｐ２と基準位置Ｐ０とを比較することにより、今回の撮像画像におけるワークＷ２の搬送方向に関する実際のずれ量ΔＸ′′および幅方向に関する実際のずれ量ΔＹ′′が検出される。
【００１９】
このとき、図３（ｂ）に示した前回の撮像画像から得られた検出結果に対して、撮像間隔であるコンベア１の移動量Ｌを加算することにより、図３（ｃ）に示した今回の撮像画像上のどの位置にワークが現れるかを計算により推定する。具体的には、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１の搬送方向に関する実際のずれ量ΔＸおよびコンベア１の移動量Ｌから、今回の撮像画像上ではワークＷ１はＬ−ΔＸの位置に現れるものと推定されることになる。このＬ−ΔＸが今回の撮像画像における搬送方向に関する推定されるずれ量である。なお、このときの幅方向に関する推定されるずれ量は、図３（ｂ）に示した前回の撮像画像と図３（ｃ）に示した今回の撮像画像とでは変化しないので、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１の幅方向に関する実際のずれ量ΔＹと同じになる。
【００２０】
この前回の撮像画像の検出結果に対して撮像間隔であるコンベア１の移動量Ｌを加算することにより得られた今回の撮像画像における推定されたずれ量と、今回の撮像画像から得られた検出結果に基づく実際のずれ量とから、これら双方のずれ量の差ｄを計算する。そして、そのずれ量の差ｄが所定の許容値Ｄを下回った場合には、図３（ｂ）に示した前回の撮像画像上において検出されたワークと、図３（ｃ）に示した今回の撮像画像上において検出されたワークとが同一であると判定する。係る判定処理について、以下に詳述する。
【００２１】
ここでは、図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１と、図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′とが、同一ワークであるか否かについて、その判定処理について説明する。図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′に関しては、ずれ量の差ｄ、すなわち前回の撮像画像から得られた検出結果に対して撮像間隔であるコンベア１の移動量Ｌを加算することにより推定されたずれ量と、今回の撮像画像から得られた検出結果に基づく実際のずれ量との差ｄは、式（１）により求まる。
ｄ＝ＳＱＲＴ（（ΔＸ′−（Ｌ−ΔＸ））２＋（ΔＹ′−ΔＹ）２）  （１）
ただし、式（１）において、ＳＱＲＴは平方根を示す。また、前述したように、式（１）において、ΔＸ′は今回の撮像画像におけるワークＷ１′の搬送方向に関する実際のずれ量、Ｌ−ΔＸは今回の撮像画像におけるワークＷ１の搬送方向に関する推定されるずれ量、ΔＹ′は今回の撮像画像におけるワークＷ１′の幅方向に関する実際のずれ量、ΔＹは今回の撮像画像におけるワークＷ１の幅方向に関する推定されるずれ量である。この式（１）により求められたずれ量の差ｄと前述した所定の許容値Ｄとを比較し、ｄ≦Ｄとなった場合は図３（ｂ）に示した前回の撮像画像上において検出されたワークＷ１と、図３（ｃ）に示した今回の撮像画像上において検出されたワークＷ１′とが同一であると判定する。なお、前述した所定の許容値Ｄは、パラメータとして任意に選択できることが望ましい。以上の画像処理（同一ワークであるか否かの判定処理）を行うことにより、カメラ４が撮像したコンベア１上を流れるワーク２について、これを確実に認識することが可能となる。
【００２２】
次に、移動手段としてのロボット６によるコンベア１上を流れるワーク２に対するピッキング動作について説明する。ロボット６には図３（ａ）に示した基準位置Ｐ０を基準としてコンベア１の移動量Ｌを加味し、ピッキング位置を予め教示しておく。すなわち、基準位置Ｐ０の位置でワーク２が検出された場合はずれ量を加味しなくともワーク２をピッキングできることになる。さらに具体的に言えば、図２で示すようにコンベア１を移動量Ｌｐだけ動作させた位置にワーク２を移動させ、この位置を基準にピッキング動作の教示位置を作成する。この教示位置にはコンベア１の移動量Ｌｐも記憶される。
【００２３】
実際のピッキング処理を行う場合、コンベア１が所定の撮像間隔Ｌ移動する毎に検出された前述の画像処理（同一ワークであるか否かの判定処理）が行われた後におけるすべてのワークのずれ量、および撮像時のパルスジェネレータ３からの発生パルスのカウント値をロボット制御装置７に送る。ロボット制御装置７は、この発生パルスのカウント値を基準にコンベア１への追従動作を行うようにロボット６を駆動し、さらに前述したずれ量を基にワーク２の搬送方向および幅方向へのシフト動作（補正動作）をロボット６に対して行わせる。なお、ここでいう前述したずれ量としては、前述した前回の撮像画像における実際のずれ量または今回の撮像画像における実際のずれ量のいずれを使用してもよい。その理由は、前述した画像処理（同一ワークであるか否かの判定処理）によりロボット６によるピッキング動作は同一のワーク２に対して１回のみ行われることになるが、この場合は前述した式（１）で求められたずれ量の差ｄは許容値Ｄ以下となっているので、撮像間隔Ｌを考慮した上での前回の撮像画像における実際のずれ量と今回の撮像画像における実際のずれ量とはほとんど同じであるからである。これより、前述したずれ量を補正した正確なピッキング動作をロボット６により行わせることができる。
【００２４】
以上、本発明の一実施形態について説明した、前述した実施形態では、画像処理装置５において前述した同一ワークの判定処理を行うようにしていたが、本発明はこれに限定されるものではない。例えば、前述した実施形態のようにロボット６を使用したシステムであった場合は、検出したずれ量をすべてロボット制御装置７に送り、ロボット制御装置７内で同一ワークの判定処理を行うようにしてもよい。なお、この場合は、画像処理装置５側にはパルスジェネレータ３の発生パルスを入力する必要はなく、代わりにロボット制御装置７から撮像タイミングを指令する信号が画像処理装置５に入力されることになる。
【図面の簡単な説明】
【００２５】
【図１】本発明が解決するための課題について説明するための説明図である。
【図２】本発明の一実施形態が適用されるシステムの構成図である。
【図３】本発明の一実施形態に係る画像処理方法について説明するための概念図である。
【符号の説明】
【００２６】
１  コンベア（搬送手段）
２  ワーク（搬送対象物）
３  パルスジェネレータ（移動量検出手段）
４  カメラ（撮像手段）
５  画像処理装置（画像処理手段）
６  ロボット（移動手段）
７  ロボット制御装置
ｄ  ずれ量の差
Ｄ  許容値
Ｌ  撮像間隔
ΔＸ    前回の撮像画像における搬送方向に関する実際のずれ量
ΔＸ′  今回の撮像画像における搬送方向に関する実際のずれ量
ΔＹ    前回の撮像画像における幅方向に関する実際のずれ量
ΔＹ′  今回の撮像画像における幅方向に関する実際のずれ量
【図１】
2007033328.tif 000003
【図２】
2007033328.tif 000004
【図３】
2007033328.tif 000005