(57)【要約】【課題】容易かつ的確にバラ積み物品の三次元位置情報を生成する方法および装置を提供する。【解決手段】コンピュータ３により、空間領域をバラ積みされた不定形物品に沿って所定の位置レベル差に分割した各空間領域内でロボットピッキングの対象となり得る不定形物品を同時に複数検出してそれぞれの第１の三次元位置情報を演算し、検出された１つの不定形物品について前記分割した各空間領域内で形状変化が認められる位置に基づいて図心位置情報を求め、前記不定形物品の図心位置情報を含む第２の三次元位置情報を再演算して生成する。第２の三次元位置情報を再演算する際に、前記分割した空間領域内で１つの不定形物品を検出した位置レベル差から不定形物品の形状に応じて予め指定されたオフセット位置に基づいて前記図心位置情報を求める。【選択図】図６
2019117068.tif 000002
【特許請求の範囲】
【請求項１】
ロボットピッキング用に撮像装置とコンピュータを用いるバラ積み不定形物品の位置情報生成方法であって、
前記コンピュータにより、
空間領域内にバラ積みされた複数の不定形物品を撮像装置により撮像して三次元位置データを取得し、取得された前記三次元位置データを世界座標空間の三次元位置情報に即時に定義する演算を行なうステップ、
前記空間領域をバラ積みされた不定形物品に沿って所定の位置レベル差に分割し、前記撮像装置の撮像位置を前記位置レベル差ごとに順次変えて、分割した各空間領域に不定形物品の存在を示す一定単位体積をさがし、不定形物品の指定された体積および直径条件に基づいて、当該分割した各空間領域内でロボットピッキングの対象となりえる不定形物品を同時に複数検出してそれぞれの第１の三次元位置情報を演算するステップ、
検出された１つの不定形物品について前記分割した各空間領域内で形状変化が認められる位置に基づいて図心位置情報を求め、前記不定形物品の図心位置情報を含む第２の三次元位置情報を再演算して生成するステップ、および
生成された不定形物品の図心位置情報を含む第２の三次元位置情報をロボットに伝達するステップ、を実行し、さらに、
前記第２の三次元位置情報を再演算するステップは、前記分割した空間領域内で１つの不定形物品を検出した位置レベル差から不定形物品の形状に応じて予め指定されたオフセット位置に基づいて前記図心位置情報を求める、バラ積み物品の位置情報生成方法。
【請求項２】
請求項２において、
前記オフセット位置は不定形物品の平均全体長さの１／４〜３／４の範囲内である、バラ積み物品の位置情報生成方法。
【請求項３】
ロボットピッキング用に撮像装置とコンピュータを備えたバラ積み不定形物品の位置情報生成装置であって、
前記コンピュータは、
空間領域内にバラ積みされた複数の不定形物品を撮像装置により撮像して三次元位置データを取得し、取得された前記三次元位置データを世界座標空間の三次元位置情報に即時に定義する演算を行なう位置情報演算部と、
前記空間領域をバラ積みされた不定形物品に沿って所定の位置レベル差に分割し、前記撮像装置の撮像位置を前記位置レベル差ごとに順次変えて、分割した各空間領域に不定形物品の存在を示す一定単位体積をさがし、不定形物品の指定された体積および直径条件に基づいて、当該分割した各空間領域内でロボットピッキングの対象となりえる不定形物品を同時に複数検出してそれぞれの第１の三次元位置情報を演算する不定形物品検出部と、
検出された１つの不定形物品について前記分割した各空間領域内で形状変化が認められる位置に基づいて図心位置情報を求め、前記不定形物品の図心位置情報を含む第２の三次元位置情報を再演算して生成する図心再演算部と、
生成された不定形物品の図心位置情報を含む第２の三次元位置情報をロボットに伝達する位置情報伝達部と、を含み、さらに、
前記図心再演算部は、前記分割した空間領域内で１つの不定形物品を検出した位置レベル差から不定形物品の形状に応じて予め指定されたオフセット位置に基づいて前記図心位置情報を求める、バラ積み物品の位置情報生成装置。
【請求項４】
請求項１または２に記載のバラ積み物品の位置情報生成方法を前記コンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、バラ積みされた不定形物品についてロボットにピッキングさせるための三次元位置情報を生成する方法および装置に関する。
【背景技術】
【０００２】
従来から、金属加工品など寸法が一定に設計管理された定型物品をロボットにピッキングさせるために、形状パターンマッチングを利用して位置を検出する手法が多く知られている。この形状パターンマッチング手法としては、（１）球体・円筒・平面などを検出するプリミティブマッチング、（２）表面形状（表面の法線ベクトル）によるサーフェイスマッチング、（３）２Ｄ画像より対象物の斜形投影輪郭線によるＣＡＤマッチングがある。
【０００３】
（１）立体形状をマッチングするプリミティブマッチングは、球体・円筒・平面等を認識して位置を検出する手法であり、不定形物品へ適用するのは一般に困難である。
【０００４】
（２）サーフェイスマッチングは、表面の法線ベクトルより表面形状のマッチングを行う手法、（３）ＣＡＤマッチングは、２次元画像より対象物の斜形投影輪郭線によるマッチングを行う手法であり、いずれも事前のトレーニングが必要であり、かつ不定形物品への適用はやはり困難である。
【０００５】
一方、このパターンマッチングを用いることなく、ロボットにより不定形物品を把持させるようにバラ積みされた不定形物品の位置を検出させる物品取出装置が知られている（例えば、特許文献１）。この特許文献１は、物品の表面上の点群集合の隣接関係を判定して、不定形物品であってもその位置を検出させる方法である。
【０００６】
他方、不定形物品を対象としたパターンマッチングを用いた方法も知られている（例えば、特許文献２および特許文献３）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−２４１４２号公報
【特許文献２】特開２００４−５０３９０号公報
【特許文献３】特開２０１４−１６４６４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１では、バラ積みされた不定形物品について特に不定形度合いが大きいものについては、形状を的確に把握するために、数多くの点群を取得する必要があり、取得作業が煩雑で不定形物品への適用が困難となる。また、少ない点群では不定形物品を安定してピッキングするのが容易でない。
【０００９】
また、特許文献２および特許文献３では、パターンマッチングするので、依然としてマッチング作業に手間がかかる。
【００１０】
本発明は、上記課題を解決して、バラ積みされた不定形物品であっても、容易かつ的確に各形状を検出して、ロボットが使用可能な不定形物品の三次元位置情報を生成できる方法および装置を提供することを目的としている。
【課題を解決するための手段】
【００１１】
前記目的を達成するために、本発明に係るバラ積み物品の位置情報生成方法および装置は、ロボットピッキング用に撮像装置とコンピュータを用いるものであって、前記コンピュータにより、空間領域内にバラ積みされた複数の不定形物品を撮像装置により撮像して三次元位置データを取得し、取得された前記三次元位置データを世界座標空間の三次元位置情報に即時に定義する演算を行なう。前記空間領域をバラ積みされた不定形物品に沿って所定の位置レベル差に分割し、前記撮像装置の撮像位置を前記位置レベル差ごとに順次変えて、分割した各空間領域に不定形物品の存在を示す一定単位体積をさがし、不定形物品の指定された体積および直径条件に基づいて、当該分割した各空間領域内でロボットピッキングの対象となりえる不定形物品を同時に複数検出してそれぞれの第１の三次元位置情報を演算する。検出された１つの不定形物品について前記分割した各空間領域内で形状変化が認められる位置に基づいて図心位置情報を求め、前記不定形物品の図心位置情報を含む第２の三次元位置情報を再演算して生成する。取得された不定形物品の図心位置情報を含む三次元位置情報をロボットに伝達する。さらに、第２の三次元位置情報を再演算する際に、前記分割した空間領域内で１つの不定形物品を検出した位置レベル差から不定形物品の形状に応じて予め指定されたオフセット位置に基づいて前記図心位置情報を求める。
【００１２】
この構成によれば、不定形物品の図心位置情報を含む三次元位置情報を再演算して取得するので、バラ積みされた不定形物品であっても、容易かつ的確に各物品の図心位置情報と体積及び直径を把握でき、ロボットが使用可能な不定形物品の三次元位置情報を生成することが可能となる。
【００１３】
好ましくは、前記オフセット位置は不定形物品の平均全体長さの１／４〜３／４の範囲内である、したがって、より容易に不定形物品の体積及び直径を把握でき、その三次元位置情報を生成することが可能となる。
【００１４】
本発明のプログラムは、前記バラ積み物品の位置情報生成方法を前記コンピュータに実行させるためのものである。この場合、本プログラムにより、容易かつ的確に各物品の図心位置情報と体積及び直径を把握でき、ロボットが使用可能な不定形物品の三次元位置情報を生成することが可能となる。
【発明の効果】
【００１５】
本発明は、不定形物品の図心位置情報を含む三次元位置情報を再演算して取得するので、バラ積みされた不定形物品であっても、容易かつ的確に各物品の図心位置情報と体積及び直径を把握でき、ロボットが使用可能な不定形物品の三次元位置情報を生成することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態にかかるバラ積み物品の位置情報生成装置を示す構成図である。
【図２】図１のバラ積み物品の位置情報生成装置のコンピュータを示す構成図である。
【図３】バラ積み不定形物品の一例を示す図である。
【図４】三次元位置情報を生成するアルゴリズムの動作を示すバラ積み不定形物品の概略側面図である。
【図５】不定形物品の図心位置を示す平面模式図である。
【図６】不定形物品の三次元位置情報を生成するアルゴリズムの動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の好ましい実施形態について図面を参照しながら説明する。図１は、本発明の一実施形態にかかるバラ積み物品の位置情報生成装置１を示す構成図である。本装置１は、ロボットピッキング用にバラ積み物品の位置情報を生成するもので、撮像装置２とコンピュータ３を備えている。
【００１８】
撮像装置２は、例えば産業用ロボットのツール先端部付近に取り付けられて（破線部）、視野方向に対する三次元空間上のすべての領域の三次元座標位置を取得可能なもので、例えば、３Ｄカメラ（マルチアクティブステレオカメラ）が使用される。これにより、ロボットの移動可能範囲であれば、不定形物品が複数の領域に配置されていても、または傾斜した空間にあっても、撮像装置２の視野範囲に限定されない範囲の領域をカバーして不定形物品の位置を求める事が可能である。
【００１９】
図２は、コンピュータ３の構成を示す。コンピュータ３は、位置情報演算部５、不定形物品検出部６と、図心再演算部７と、位置情報伝達部８を有して、各部の動作（アルゴリズム）を実行させるプログラムが格納されている。
【００２０】
位置情報演算部５は、空間領域内にバラ積みされた複数の不定形物品を撮像装置２により撮像して三次元位置データを取得し、取得された前記三次元位置データを世界座標空間の三次元位置情報に即時に定義する演算を行なう。この演算は公知の変換手法にて行なわれる。
【００２１】
不定形物品検出部６は、前記空間領域をバラ積みされた不定形物品に沿って所定の位置レベル差に分割し、撮像装置２の撮像位置を前記位置レベル差ごとに順次変えて、分割した各空間領域に不定形物品の存在を示す一定単位体積をさがし、不定形物品の指定された体積および直径条件に基づいて、当該分割した各空間領域内でロボットピッキングの対象となり得る不定形物品を同時に複数検出してそれぞれの第１の三次元位置情報を演算する。
【００２２】
図心再演算部７は、検出された１つの不定形物品について前記分割した各空間領域内で形状変化が認められる位置に基づいて図心位置情報を求め、前記不定形物品の図心位置情報を含む第２の三次元位置情報を再演算して生成する。
【００２３】
位置情報伝達部８は、生成された不定形物品の図心位置情報を含む第２の三次元位置情報をロボットに伝達する。ロボットは、不定形物品の図心位置情報と指定された体積および直径の三次元位置情報とに基づいて、不定形物品をピッキングする。
【００２４】
図３は、バラ積み不定形物品の一例を示す図である。この図ではから揚げを積み上げた状態を示す。天ぷら類やじゃがいもなどの食品、その他不定形な加工品等も不定形物品として例示される。このような状態の中から、不定形物品の対象物を検出しロボットがピッキングするための三次元位置情報を生成する。
【００２５】
図６は、不定形物品の三次元位置情報を生成するアルゴリズムの動作を示すフローチャートである。まず、ロボットの動作開始により、ロボットに取り付けられた撮像装置２をバラ積み状態の不定形物品（対象物）から一定距離離れた位置に移動させる（ステップＳ１）。
【００２６】
移動完了した後に、ロボットの現在位置を取得し、撮像装置２の視野における取得された三次元位置データを世界座標空間の三次元位置情報に即時に再定義する（ステップＳ２）。
【００２７】
再定義完了と同時に撮像を行い撮像装置２の視野に対するすべての領域の三次元位置情報を取得する（ステップＳ３）。
【００２８】
図４は三次元位置情報を生成するアルゴリズムの動作を示すバラ積み不定形物品の概略側面図である。この例では不定形物品は水平平面上に積み上げられている。図４に示すように、撮像装置２より取得した三次元座標位置を指定した検出高さ（検出高さレンジ）ａの空間領域を、指定したバラ積みスライスレベルステップ高さ（位置レベル差）ｂの高さ差空間領域に分割し（ステップＳ４）、分割した空間に不定形物品の存在を示す一定単位体積、例えば１mm3が存在するか確認する（ステップＳ５）。
【００２９】
これは最高部にある単位体積がロボットピッキングの対象になり得ることを前提にしている。また、従来のように点による集合で検出すると雑音が大きくなるのに比べて体積による検出は雑音を小さくでき、雑音対信号レベル（Ｓ／Ｎ比）を向上させて、誤判定を抑止することができる。
【００３０】
単位体積以下の場合には位置レベル差を再度下げて、不定形物品の存在有無を確認する。単位体積が存在する場合は指定された体積・直径に合致するかの判定を行う（ステップＳ６）。不定形物品が指定された体積および直径の許容範囲内に含まれる場合に合致と判定する。この例では、直径は不定形物品を平面視したときの大きさを示す。
【００３１】
指定の体積および直径に合致しない場合は、位置レベル差ｂを再度下げて（ステップＳ７）、最遠点（検出高さレンジａの最下点）でなければ（ステップＳ８）、再度の直径・体積を評価する（ステップＳ４）。最遠点であればステップＳ１に戻る。
【００３２】
ステップＳ６で指定された体積・直径に合致した場合には、不定形物品の対象物と判断する（ステップＳ９）。検出した体積の中央位置を世界座標空間のＰ１（Ｘ１・Ｙ１・Ｚ）として、第１の三次元位置情報を演算する。この場合、Ｘ１・Ｙ１座標は不定形物品を対象として最初に検出した直径の中心位置であり、Ｚ座標は当該検出した不定形物品の全体高さで与えられる。このステップＳ９は検出個数分実行される。
【００３３】
検出した位置及びその周辺部について重複検出をさけるために、検出位置及び周辺部の三次元位置情報を除外する（ステップＳ１０）。これも検出個数分実行される。
【００３４】
次に、ステップＳ１１で最遠点であるか判断され、最遠点でなければステップＳ４〜ステップＳ１０を繰り返す。
【００３５】
図５は不定形物品の図心位置を示す平面模式図である。図５のように、例示したから揚げや多くの不定形物品では、第１の三次元位置情報である直径の中心Ｐ１のＸ１・Ｙ１座標と図心位置が大きく異なっている場合が多い。この例では平面視の不定形物品の直径の形状変化位置をスライス高さオフセット（オフセット位置）ｃとしている。このオフセット位置ｃは、例えば不定形物品の平均全体長さの１／４〜３／４の範囲内であることが好ましい。より好ましくは、１／３〜２／３の範囲内である。
【００３６】
本アルゴリズムでは、図４で示すオフセット位置ｃ分の高さ差を再度与えて、その直径の中心位置Ｐ２のＸ２・Ｙ２座標を演算することにより、不定形物品の図心位置へと近づけている（ステップＳ１２）。Ｚ座標は、ステップＳ９で演算されたものがそのまま使用される。検出高さレンジａの範囲で指定高さｂを順次繰返し下げて検出して、これも検出個数分実行される。なお、このオフセット位置ｃを複数設けるようにしてもよい。この場合、より図心位置に近づけることができる。
【００３７】
上記で求めた世界座標空間の図心位置情報であるＰ２（Ｘ２・Ｙ２・Ｚ）を含む三次元位置情報をロボットに伝達し（ステップＳ１３）、三次元位置情報を生成するアルゴリズムとしては一連の動作を完了し、ステップＳ１に戻る。ロボットは検出された各物品の図心位置情報Ｐ２を含む体積・直径である三次元位置情報に基づいて、不定形物品をその体積・直径に応じて的確にピッキングできる。この場合、ロボットハンドにより不定形物品の重心付近を安定して把持することが可能となる。
【００３８】
こうして、本発明では、不定形物品の図心位置情報を含む三次元位置情報を再演算して取得するので、不定形物品の図心位置情報を含む体積および直径の三次元位置情報とによる第２の三次元位置情報が生成されるから、バラ積みされた不定形物品であっても、容易かつ的確に各物品の図心位置情報と体積及び直径を把握でき、ロボットが使用可能な不定形物品の三次元位置情報を生成することが可能となる。
【００３９】
なお、この実施形態では、ロボットのツール先端部付近に撮像装置を取り付けているが、特定箇所に撮像装置を固定し、ロボットを対象となる不定形物品の一定距離離れた位置に移動させ、移動完了と同時に撮像を行ない、三次元位置情報を生成してもよい。
【００４０】
なお、この実施形態では、指定した体積および直径に合致するか否かで不定形物品を検出しているが、不定形物品によっては直径を省略してもよい。また、空間領域の位置レベル差として垂直方向の高さレベル差を用いているが、横方向や斜め方向の位置レベル差を用いてもよい。
【００４１】
本発明は、以上の実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲内で、種々の追加、変更または削除が可能である。したがって、そのようなものも本発明の範囲内に含まれる。
【符号の説明】
【００４２】
１：バラ積み物品の位置情報生成装置
２：撮像装置
３：コンピュータ
５：位置情報演算部
６：不定形物品検出部
７：図心再演算部
８：位置情報伝達部
【図１】
2019117068.tif 000003
【図２】
2019117068.tif 000004
【図３】
2019117068.tif 000005
【図４】
2019117068.tif 000006
【図５】
2019117068.tif 000007
【図６】
2019117068.tif 000008