(57)【要約】【課題】段積みされた物品を精度よく把持輸送可能とすること。【解決手段】  把持ハンドと、撮像部と、把持部と、把持部と物品の把持可能状態を検知するセンサと、マーカー情報と相対位置情報とを記憶する第１の記憶部と、物品の単独高さ情報と最大積載段数とを記憶する第２の記憶部と、目標段数を記憶する第３の記憶部と、撮像画像中の物品の２次元座標を演算する２次元座標演算部と、第２の記憶部に記憶された情報と撮像画像中の物品の2次元座標とに基づいて全ての段数における物品の３次元座標を演算する３次元座標演算部と、把持ハンドを目標座標まで移動させた時に、センサが把持可能と検知した場合は該物品を把持輸送する制御をおこない、センサが把持不可能と検知した場合は、目標段数を−１し、再度目標段数の物品の所定位置の３次元座標まで把持ハンドを移動させ、センサが把持可能と検知するまで繰り返す制御部とを備える。【選択図】図１
2020040796.tif 000002
【特許請求の範囲】
【請求項１】
所定の位置にマーカーを有する段積みされた物品を把持輸送するピッキングシステムであって、
前記物品のうち少なくとも１つを把持輸送する把持ハンドと、
前記物品を含む所定のエリアを上方から撮像する撮像部と、
前記把持ハンドに設けられ、前記物品の把持可能状態を検知するセンサと、
マーカー情報と、マーカーと前記物品の所定位置との相対位置情報とを記憶する第１の記憶部と、
前記物品の単独高さ情報と、最大積載段数とを記憶する第２の記憶部と、
把持ハンドの移動目標となる物品の目標段数を記憶する第３の記憶部と、
前記撮像部で撮像された画像中のマーカー位置を画像処理で特定し、前記マーカー情報と前記相対位置情報と前記マーカー位置とに基づいて前記撮像画像中の前記物品の所定位置の２次元座標を演算する２次元座標演算部と、
前記物品の単独高さ情報と前記最大積載段数と前記撮像画像中の前記物品の所定位置の2次元座標とに基づいて全ての段数における物品の所定位置の３次元座標を演算する３次元座標演算部と、
あらかじめ前記目標段数に前記最大積載段数を記憶させ、前記把持ハンドを前記目標段数の物品の所定位置の３次元座標まで移動させた時に、前記センサが把持可能と検知した場合は該物品を把持輸送する制御をおこない、前記センサが把持不可能と検知した場合は、前記目標段数を−１し、再度前記目標段数の物品の所定位置の３次元座標まで前記把持ハンドを移動させ、前記センサが物品を把持可能と検知するまで繰り返す制御部とを備えることを特徴とするピッキングシステム。
【請求項２】
前記制御部は前記把持ハンドによる把持輸送動作をおこなった場合、前記目標段数を直前の把持輸送動作によって把持輸送された段数だけ減らし、同一平面座標かつ現在の目標段数における高さの３次元座標を次の把持目標座標とすることを特徴とする請求項１に記載のピッキングシステム。
【請求項３】
前記制御部は、前記把持ハンドを前記最大積載段数時に最上段に載置された物品の高さよりも高い位置から前記最大積載段数時に最上段に載置された物品の３次元座標まで移動させることを特徴とする請求項１または請求項２に記載のピッキングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ピッキングシステムに関する。
【０００２】
近年のロボットシステムでは、コンベア等の搬送機構で物品を搬送してロボットハンドにピッキングさせて仕分け作業や移載作業が実施される。この場合、ロボットハンドに設けられた三次元計測器で物品の位置と姿勢が立体的に認識されて、認識結果に応じてロボットハンドによって物品が適切に把持されている。例えば特許文献１では、ＣＣＤカメラにより複数個山積み状態のワーク上部からの２次元画像を取得し、２次元画像中のワークの大きさに基づいてワークの高さを計算している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１４８９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１では高さによって変化するワークの微妙な大きさを判別するため、精度が高いカメラを用いる必要がある。また、ワーク単体の高さが一定以上でないと画像大きさに顕著な差が現れず、高さの判別ができない。
本発明はかかる点に鑑みてなされたものであり、物品の高さが一定未満の場合でも、簡素かつ安価な構成で段積みされた物品を精度よく把持可能とするピッキングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明のピッキングシステムは、段積みされた物品のうち少なくとも最上段に載置された物品を把持輸送する把持ハンドと、前記物品を含む所定のエリアを上方から撮像する撮像部と、前記把持ハンドに設けられた、前記最上段に載置された物品を把持可能な把持部と、前記把持部と前記最上段に載置された物品の把持可能状態を検知するセンサと、マーカー情報と、マーカーと前記物品の所定位置との相対位置情報とを記憶する第１の記憶部と、前記物品の単独高さ情報と、最大積載段数とを記憶する第２の記憶部と、把持ハンドの移動目標となる物品の目標段数を記憶する第３の記憶部と、前記撮像部で撮像された画像中のマーカー位置を画像処理で特定し、前記マーカー情報と前記相対位置情報と前記マーカー位置とに基づいて前記撮像画像中の前記物品の所定位置の２次元座標を演算する２次元座標演算部と、前記物品の単独高さ情報と前記最大積載段数と前記撮像画像中の前記物品の所定位置の2次元座標とに基づいて全ての段数における物品の所定位置の３次元座標を演算する３次元座標演算部と、あらかじめ前記目標段数に前記最大積載段数を記憶させ、前記把持ハンドを前記目標段数の物品の所定位置の３次元座標まで移動させた時に、前記センサが把持可能と検知した場合は該物品を把持輸送する制御をおこない、前記センサが把持不可能と検知した場合は、前記目標段数を−１し、再度前記目標段数の物品の所定位置の３次元座標まで前記把持ハンドを移動させ、前記センサが把持可能と検知するまで繰り返す制御部とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、簡素な構成で段積みされた物品の３次元座標を精度よく把握可能となる。
【図面の簡単な説明】
【０００７】
【図１】本実施の形態のピッキングシステムのシステム構成図および斜視図である。
【図２】本実施の形態のピッキングシステムの処理を示すフローチャートである。
【図３】本実施の形態のピッキングシステムの座標変換方法を表す模式図である。
【図４】本実施の形態のピッキング実行時の動作を表す模式図である。
【図５】本実施の形態のピッキング実行時の動作を表すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本実施の形態のピッキングシステムの構成について説明する。図１は、本実施の形態のピッキングシステム全体構成を表したものである。なお、本実施の形態は一例を示すものであり、図で示した構成に限定されない。
【０００９】
図１ａは本実施の形態に示されるピッキングシステムのシステム構成図である。ピッキングシステム１０は弁当容器などの同一物品１４をカメラ（撮像部）２０で撮像した２次元画像の情報に基づき、画像処理部４０で画像情報から座標情報を演算し、演算された座標情報に基づいて制御部５０からピッキングロボット６０へ制御指令を出すことで把持および輸送を行う。
【００１０】
図１ｂは本実施の形態にかかるピッキングシステムの撮像構成を表した斜視図である。カメラ２０は搬送面（ここではコンベア１６の上面）に対して垂直になるように固定されており、コンベア１２上における撮像エリア１８内のコンテナ１２および物品１４の２次元画像を上方より撮像することができる。カメラ２０は画像処理部４０へ撮像した２次元画像データを送信する。
【００１１】
画像処理部４０は第１の記憶部４１、第２の記憶部４２、第３の記憶部４３、２次元座標演算部４５および３次元座標演算部４６を含む。なお、画像処理部４０は各種処理を実行するプロセッサやメモリ等により構成されている。メモリは、用途に応じてＲＯＭ(Read  Only  Memory)、ＲＡＭ（Random  Access  Memory）等の一つ又は複数の記憶媒体で構成されている。
【００１２】
第１の記憶部４１は、マーカー情報およびマーカーと前記物品の所定位置との相対位置情報を記憶する。マーカー情報には、マーカーの形状情報や検出位置に基づく中心座標の補正情報などが含まれる。マーカーは特別な模様に限られず、商品ラベル、メーカーロゴ、変形しない外形など、物品１４毎に変化しないものであればよい。また、マーカーは同一種類の物品１４に対しては、同一位置に同一形状のものが付与されている。第２の記憶部４２は、物品の高さ情報と、コンテナ１２上に積載される最大積載段数を記憶する。第３の記憶部４３は、把持ハンドの移動目標となる物品の段数（目標段数）を記憶する。これらの記憶情報は、あらかじめ外部から設定することが可能である。
【００１３】
２次元座標演算部４５では、第１の記憶部４１に記憶されたマーカー情報とカメラ２０から送られた２次元画像データを比較し、２次元画像データ中に含まれるマーカー情報を全て抽出する。さらに抽出されたマーカー情報から、2次元画像データにおけるすべての物品１４の所定位置の２次元座標を特定する。物品１４の所定位置の２次元座標には物品１４内における任意の座標を指定可能で、たとえば物品１４の重心位置を便宜的に物品の座標と定義することができる。なお、取り扱う物品１４が２種類以上の場合は、物品の種類毎に異なるマーカーを付与し、マーカー情報から物品１４の種類を判別してもよい。本実施の形態では、物品１４が全て同一種類である場合のピッキング工程について記載する。
【００１４】
３次元座標演算部４６では、２次元座標演算部４５で得られた２次元座標（ｃｘ、ｃｙ）を3次元座標（ｒＸ、ｒＹ、ｒＺ）に変換する。２次元座標からでは物品１４の高さHが分からないため、物品１４の高さ情報Hおよび最大積載段数Ｄを第２の記憶部４２にあらかじめ記憶させておき、最大積載段数Ｄを最大とする各段数における物品の3次元座標をそれぞれ演算する。これにより、物品１４の段数に応じた３次元座標を複数得ることが可能となる。詳細の演算方法については後述する。
【００１５】
制御部５０では、３次元座標演算部４６から得られた複数の３次元座標および第３の記憶部から得られた目標段数に基づき、ピッキングロボット６０を制御する。
【００１６】
ピッキングロボット６０はアーム６２、把持ハンド６４、接触センサ６６からなり、制御部５０からの指令に基づいてアーム６２を稼働させることにより、把持ハンド６４下部に設けられた複数の吸着パット６８により物品１４の上面を把持可能としている。接触センサ６６は把持ハンド６４が物品１４と接触している状態を検知する。
【００１７】
次に、図２のフローチャートを用いて本実施の形態の制御フローについて説明する。撮像エリア１８には図示しない光学センサが設けられ、コンテナ１２が撮像エリア１８内の所定の位置に来ると、カメラ２０はコンテナ１２および内部に積載された物品１４の２次元画像を撮像する（２次元画像撮像処理：Ｓ０１）。コンテナ１２が撮像エリア１８内にあることを検知する方法としてはこれには限られず、物品が所定の間隔で流れてくる場合は、コンベア１６の移動量や経過時間に基づいて定期的に撮像をおこなってもよい。
カメラ２０で撮像された２次元画像データは画像処理部４０へ送られる。画像処理部４０では、あらかじめ第１の記憶部４１に記憶されたマーカーの固有データと２次元画像データとを比較解析し、画像処理によりマーカーの固有データと一致する２次元座標を特定し、物品１４における所定位置の２次元座標を特定する（２次元座標特定処理：Ｓ０２）。本実施の形態では、あらかじめ物品の重心位置と物品におけるマーカーの位置を第１の記憶部４１に記憶させておき、マーカーの座標から物品の重心位置を物品１４の所定位置の２次元座標として特定するようにしているが、特に座標の特定方法が限定されるものではなく、１つの物品に複数のマーカーを備えるようにし、それらの座標から演算するようにしてもよい。また、物品の座標を重心とする必要もなく、物品の位置を特定できるような座標であればよい。なお、２次元画像中に物品１４が複数含まれる場合は、２次元画像データ中に含まれるすべての物品１４の座標を特定する。
【００１８】
次に、物品１４が複数認識された場合は、次にピッキングロボット６０によって把持するべき目標物品を特定する（目標物品特定処理：Ｓ０３）。この物品を特定する優先順位は物品１４の形状やピッキングロボット６０の運用によって適宜決定することができる。例えば、２次元画像における中心であるカメラ座標の中央からの距離が最も近い物品を最も優先順位の高い目標物品としてもよい。
【００１９】
次に、目標物品について、２次元座標から３次元座標に変換を行う処理について図３を用いて説明する（３次元座標推定処理：Ｓ０４）。３次元座標演算部４６は、２次元画像データ上で特定された２次元座標に基づき３次元座標を計算する。ここで、２次元画像データからでは目標物品の現在の高さを特定できないため、あらかじめ第２の記憶部４２に物品１４単独の高さＨと最大積載段数Ｄを記憶させておき、物品１４が存在し得る高さそれぞれにおける３次元座標を演算する。図３ａは、カメラ２０により撮像される領域をＹ軸方向を奥行きとして側面から見た図である。第２の記憶部４２に記憶された物品１４単独の高さＨと最大積載段数Ｄに基づいた最大高さをＺａとした場合、高さＺａにおける撮像可能なＸ軸方向の長さをＬＺａと表すことが可能である。この長さはカメラ２０の撮影画角とカメラ２０からの距離に基づいて求めてもよく、あらかじめ各高さにおける撮像範囲を測定し、第２の記憶部に記憶させてもよい。同様に、物品の段数が最大段数時の上から数えて2段目（Ｄ−１）の場合は高さＺｂで撮像可能なＸ軸方向の長さがＬＺｂ、物品の段数が最大段数時の上から数えて3段目（Ｄ−２）の場合は高さＺｃで撮像可能なＸ軸方向の長さがＬＺｃ・・・として、任意の高さＺｎにおける撮像範囲を特定することができる。Ｙ軸についても同様に求めることができるが、カメラ２０の撮影画角がＸ軸方向とＹ軸方向で異なる場合は、適宜係数を掛けて補正する。本実施例ではカメラ２０の撮影画角がＸ軸方向とＹ軸方向で同一である場合について説明する。
まずは、２次元画像データにおける目標物品の相対座標を求める。図３ｂは２次元座標系における相対座標の求め方を図示したものである。カメラ２０はＸ軸方向に画素数Ｗ、Ｙ軸方向に画素数Ｄを持つものとする。カメラ２０を中心位置としたゼロ座標とした場合、Ｘ座標の範囲は（−Ｗ／２≦ｘ≦Ｗ／２）、Ｙ座標の範囲は（−Ｄ／２≦ｙ≦Ｄ／２）と表される。ここで、２次元画像データ中の中心座標を（０，０）とした場合の画素の座標を（ｗ，ｄ）、とした場合、画像中の2次元相対座標は（２ｗ／Ｗ、２ｄ／Ｄ）として表すことができる。なお、2次元相対座標の範囲は（−１≦２ｗ／Ｗ≦１、−１≦２ｄ／Ｄ≦１）で表される。
続いて、2次元相対座標に基づいて３次元座標を求める。高さＺｎにおけるＸ軸方向およびＹ軸方向の撮像可能長さをＬＺｎとした場合、任意の高さＺｎにおける３次元座標は、
（ＬＺｎ・ｗ／Ｗ、ＬＺｎ・ｄ／Ｄ、Ｚｎ）として表すことができる。
【００２０】
次に、３次元座標演算部４６で演算された情報に基づき、制御部５０はピッキングロボット６０を制御して物品１４の把持動作を行う（ピッキングロボット制御処理：Ｓ０５）。こちらの制御について図４および図５を用いて詳細に説明する。
【００２１】
図４に示されるように、ピッキングロボット６０が物品１４を把持する際、把持ハンド６４において物品１４を把持する面の重心位置を把持位置座標Ｐｑとする。２次元画像データから得られた情報のみでは、物品１４が何段目の位置にあるのかが特定できない。そこで、制御部５０は第２の記憶部４２に記憶されている最大積載段数を第３の記憶部の目標段数として設定し（Ｓ１０）、この目標段数時の高さにおける３次元座標演算部４６で計算された座標Ｐａを目標座標として設定し、把持ハンド６４の把持位置座標Ｐｑが目標座標Ｐａと重なるようにピッキングロボット６０の動作を制御する（Ｓ１１）。具体的には、目標座標Ｐａの真上位置かつ第２の記憶部４２に記憶されている最大積載段数時の高さよりも高い位置に把持ハンド６４を一旦移動させたのち、目標座標Ｐａまで把持ハンド６４を垂直降下させる（垂直移動）。
【００２２】
把持ハンド６４の把持位置座標Ｐｑが目標座標Ｐａと重なった際に、接触センサ６６が物品１４を検出したか否かを判定する（Ｓ１２）。接触センサ６６が物品１４を検出しなかった場合（Ｓ１２，ＮＯ）、該当の段には物品１４が存在しない把持不可能状態であると判断し、第３の記憶部４３に記憶された目標段数を−１する。さらに、この段数時の高さにおける３次元座標演算部４６で計算された座標Ｐｂを目標座標として再設定し（Ｓ１３）、把持ハンド６４の把持位置座標Ｐｑが目標座標Ｐｂと重なるようにピッキングロボット６０の動作を再度制御する（Ｓ１４）。この操作を接触センサ６６が物品１４を検出するまで繰り返す。接触センサ６６が物品１４を検出した場合（Ｓ１２，ＹＥＳ）、把持可能状態であると判断し、あらかじめ指定された物品把持動作および輸送動作を行い（Ｓ１５）、その後、物品の平面座標であるｘ座標およびｙ座標を、直前に接触センサ６６が物品１４を検出した座標で固定した上で、目標段数を−１する（Ｓ１６）。つまり、同一の物品１４が整然と積載されている場合は、直前に把持した物品の真下に次の物品が存在することが明らかであるため、次に把持するべき物品の座標を確定させることが可能である。
【００２３】
なお、把持ハンド６４が段積みされた物品１４のうち複数個を一度に把持輸送可能な場合は、把持した数量だけ現在の物品段数を減らすようにしてもよい。例えば、把持ハンドが物品１４を２段把持輸送した場合、Ｓ１６の工程では物品段数を−２する。また、最上段の物品１４の３次元座標が特定された場合は、段数がゼロとなるまで、もしくは目的の数量が確保できなくなるまでの間、物品の平面座標を確定状態とし、物品１４の高さＨに応じた高さ座標のみ減少させるようにしてもよい。
【００２４】
本実施の形態ではピッキングロボット６０を垂直に移動しているが、異なる複数種の物品を段積みしている場合などは、高さを変数とした一次直線上、すなわちカメラ２０のマーカーや物品に対する視線と平行になるよう把持ハンド６４の把持位置座標Ｐｑを移動させ、接触センサ６６が物品を検知した段階での座標を最上段の物品座標として特定してもよい。この際のピッキングロボット６０の制御としては、把持ハンド６４が目標座標Ｐａまでの最短距離を直線軌道で移動するような制御（最短距離移動）としてもよい。また、最短距離移動時の軌道と鉛直方向との角度を計算し、接触センサ６６が物品１４との接触を検知できる角度範囲を超えるような場合は垂直移動、そうでない場合は最短距離移動と、２種類の制御を使い分けてもよい。
【００２５】
本実施の形態では同一形状の物品１４が段積みされたコンテナ１２がコンベア１６上を流れる構成について説明したが、それには限定されない。具体的には、コンベア１６上に直接物品１４が段積みされて流れるような構成にも適用可能である。また、カメラ２０が段積みされた物品１４を撮像エリア１８内で撮像することができれば、コンテナ１２や段積みされた物品１４を人力など他の方法で直接撮像エリア１８に移動させてもよい。
【００２６】
本実施の形態では、把持ハンド６４は吸着パット６８による吸着をおこなっているが、物品１４を好適に把持可能であれば、この形態には限定されない。例えば、物品１４の１箇所もしくは複数箇所を挟持して把持するような構成としてもよく、物品１４を下方から支持して持ち上げるように把持してもよい。また、これらの把持方法を複数組み合わせてもよい。また、接触センサ６６は把持ハンド６４による物品１４の把持可能状態が検知できるものであればよく、非接触の近接センサなども適宜用いることが可能である。
【００２７】
本実施の形態では、各段数に応じた物品の３次元座標を個別に演算しているが、カメラ２０の視点と、たとえば最大積載段数における物品１４の３次元座標から、物品がいずれの高さに積載された場合でも物品の座標を通過する直線軌道を得ることができ、この軌道に沿うように把持ハンド６４を移動させてもよい。なお、この軌道はカメラ２０の視点とすべての物品の３次元座標を通過する視線となる。この直線軌道は、特定の高さにおける１点の３次元座標が決まれば求めることができる。
【００２８】
また、本実施の形態は上記に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。
【符号の説明】
【００２９】
１２  ：コンテナ
１４  ：物品
１６  ：コンベア
１８  ：撮像エリア
２０  ：カメラ（撮像部）
４０  ：画像処理部
４１  ：第１の記憶部
４２  ：第２の記憶部
４３  ：第３の記憶部
４５  ：２次元座標演算部
４６  ：３次元座標演算部
５０  ：制御部
６０  ：ピッキングロボット
６２  ：アーム
６４  ：把持ハンド
６６  ：接触センサ（センサ）
６８  ：吸着パット（把持部）
【図１】
2020040796.tif 000003
【図２】
2020040796.tif 000004
【図３】
2020040796.tif 000005
【図４】
2020040796.tif 000006
【図５】
2020040796.tif 000007