(57)【要約】      （修正有）【課題】物流現場において、把持対象となるピッキング対象物を自動的に認識し、ピッキングすることができるピッキング装置を提供する。【解決手段】段ボール箱内に荷積みされた複数のピッキング対象物全体の三次元点群情報を生成するカメラと、生成された三次元点群情報に基づき、複数のピッキング対象物全体から共通の三次元形状を見つけ出し、個々のピッキング対象物の領域を決定する領域決定手段（ステップＳ７，ステップＳ１２）と、領域決定手段（ステップＳ７，ステップＳ１２）にて決定されたピッキング対象物の領域に属するカメラにて生成された三次元点群情報に基づき、把持対象となるピッキング対象物の三次元位置姿勢を出力する位置姿勢出力手段（ステップＳ１２）と、位置姿勢出力手段（ステップＳ１２）にて出力された三次元位置姿勢に基づき、把持対象となるピッキング対象物を把持し、移載するロボットと、を備える。【選択図】図２
2019181573.tif 000002
【特許請求の範囲】
【請求項１】
所定の容器内に荷積みされた複数のピッキング対象物全体の三次元点群情報を生成する三次元点群情報生成手段と、
前記三次元点群情報生成手段にて生成された前記三次元点群情報に基づき、前記複数のピッキング対象物全体から共通の三次元形状を見つけ出し、個々のピッキング対象物の領域を決定する領域決定手段と、
前記領域決定手段にて決定されたピッキング対象物の領域に属する前記三次元点群情報生成手段にて生成された三次元点群情報に基づき、把持対象となるピッキング対象物の三次元位置姿勢を出力する位置姿勢出力手段と、
前記位置姿勢出力手段にて出力された三次元位置姿勢に基づき、前記把持対象となるピッキング対象物を把持し、移載するロボットと、を備えてなるピッキング装置。
【請求項２】
所定の容器内に荷積みされた複数のピッキング対象物全体の三次元点群情報を生成し、
前記生成された三次元点群情報に基づき、前記複数のピッキング対象物全体から共通の三次元形状を見つけ出し、個々のピッキング対象物の領域を決定し、
前記決定したピッキング対象物の領域に属する前記生成された三次元点群情報に基づき、把持対象となるピッキング対象物の三次元位置姿勢を出力し、
前記出力した三次元位置姿勢に基づき、ロボットを用いて、前記把持対象となるピッキング対象物を把持し、移載してなるピッキング方法。
【請求項３】
前記把持対象となるピッキング対象物の正確なサイズを事前に入力不要である請求項２に記載のピッキング方法。
【請求項４】
前記生成された三次元点群情報に基づき、深さ方向の不連続三次元点群情報を見つけ出すことによって、前記複数のピッキング対象物全体から共通の三次元形状を見つけ出し、個々のピッキング対象物の領域を決定してなる請求項２又は３に記載のピッキング方法。
【請求項５】
前記生成された三次元点群情報に基づき、深さ方向の不連続三次元点群情報を見つけ出すことによって、セグメンテーションを行い、該セグメンテーション間における三次元点群情報の類似度を所定のアルゴリズムを用いて調べ、もって、前記複数のピッキング対象物全体から共通の三次元形状を見つけ出し、個々のピッキング対象物の領域を決定してなる請求項２〜４の何れか１項に記載のピッキング方法。
【請求項６】
前記決定したピッキング対象物を内包する最小箱状体を設定し、該設定した最小箱状体の長手方向の長さと幅方向の長さと高さを計測してなる請求項２〜５の何れか１項に記載のピッキング方法。
【請求項７】
前記計測した最小箱状体の長手方向の長さと幅方向の長さと高さを出力してなる請求項６に記載のピッキング方法。
【請求項８】
前記出力した三次元位置姿勢に基づき、ロボットを用いて、前記把持対象となるピッキング対象物を把持した際、該把持対象となるピッキング対象物の重量を計測してなる請求項２〜７の何れか１項に記載のピッキング方法。
【請求項９】
前記計測した把持対象となるピッキング対象物の重量に基づき、前記ロボットを用いて、前記把持対象となるピッキング対象物を移載する際の加速度を制御してなる請求項８に記載のピッキング方法。
【請求項１０】
前記計測した長さに基づき、ロボットを用いて、前記把持対象となるピッキング対象物を移載する際の経路を設定して制御してなる請求項６に記載のピッキング方法。
【請求項１１】
前記計測した前記最小箱状体の長手方向の長さと幅方向の長さを少なくとも用いて、把持用ツールを選択してなる請求項６に記載のピッキング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピッキング装置及びその方法に関する。
【背景技術】
【０００２】
近年、物流業界において、倉庫内の仕分け、積込み、荷卸し等の作業の自動化が求められており、様々な自動化システムの導入が進められている。この自動化システムとして、画像処理技術を用いた様々な自動化技術が利用されている。このような技術として、たとえば、画像処理によりピッキング対象物の位置情報を認識し、認識した位置情報に基づいてロボットハンドを用いてピッキング対象物を把持し移動させる技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−１８８５６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のような技術を用いるにあたって、ピッキング対象物の３次元形状を予めデータベース化しなければならないところ、物流現場においては、ピッキング対象物の種類が、数千〜数十万件という膨大な数に上り、このような膨大な数の３次元形状を予め全てデータベース化しておくことは非常に困難であるという問題があった。それゆえ、物流現場においては、未だ自動化が実現できていないという問題があった。
【０００５】
そこで、本発明は、上記問題に鑑み、物流現場において、把持対象となるピッキング対象物を自動的に認識し、ピッキングすることができるピッキング装置及びその方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記本発明の目的は、以下の手段によって達成される。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
【０００７】
請求項１の発明に係るピッキング装置は、所定の容器（例えば、図１に示す段ボール箱ＣＡ）内に荷積みされた複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成する三次元点群情報生成手段（例えば、図１に示すカメラ４）と、
前記三次元点群情報生成手段（例えば、図１に示すカメラ４）にて生成された前記三次元点群情報に基づき、前記複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）から共通の三次元形状を見つけ出し、個々のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域を決定する領域決定手段（例えば、図２に示すステップＳ７，ステップＳ１２）と、
前記領域決定手段（例えば、図２に示すステップＳ７，ステップＳ１２）にて決定されたピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域に属する前記三次元点群情報生成手段（例えば、図１に示すカメラ４）にて生成された三次元点群情報に基づき、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の三次元位置姿勢を出力する位置姿勢出力手段（例えば、図２に示すステップＳ１２）と、
前記位置姿勢出力手段（例えば、図２に示すステップＳ１２）にて出力された三次元位置姿勢に基づき、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を把持し、移載するロボット（例えば、図１に示すロボット２）と、を備えてなることを特徴としている。
【０００８】
一方、請求項２の発明に係るピッキング方法は、所定の容器（例えば、図１に示す段ボール箱ＣＡ）内に荷積みされた複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）の三次元点群情報を生成し（例えば、図３（ｃ）参照）、
前記生成された三次元点群情報に基づき、前記複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）から共通の三次元形状を見つけ出し、個々のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域を決定し（例えば、図２に示すステップＳ７，ステップＳ１２）、
前記決定したピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域に属する前記生成された三次元点群情報に基づき、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の三次元位置姿勢を出力し（例えば、図２に示すステップＳ１２）、
前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を把持し、移載してなることを特徴としている。
【０００９】
また、請求項３の発明によれば、上記請求項２に記載のピッキング方法において、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の正確なサイズを事前に入力不要であることを特徴としている。
【００１０】
さらに、請求項４の発明によれば、上記請求項２又は３に記載のピッキング方法において、前記生成された三次元点群情報に基づき、深さ方向（Ｚ方向）の不連続三次元点群情報を見つけ出すことによって、前記複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）から共通の三次元形状を見つけ出し、個々のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域を決定してなることを特徴としている。
【００１１】
またさらに、請求項５の発明によれば、上記請求項２〜４の何れか１項に記載のピッキング方法において、前記生成された三次元点群情報に基づき、深さ方向（Ｚ方向）の不連続三次元点群情報を見つけ出すことによって、セグメンテーションを行い（例えば、図２に示すステップＳ４）、該セグメンテーション間における三次元点群情報の類似度を所定のアルゴリズムを用いて調べ（例えば、図２に示すステップＳ５、ステップＳ８）、もって、前記複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）から共通の三次元形状を見つけ出し、個々のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の領域を決定してなることを特徴としている。
【００１２】
一方、請求項６の発明によれば、上記請求項２〜５の何れか１項に記載のピッキング方法において、前記決定したピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を内包する最小箱状体（例えば、図６に示す最小の直方体Ｒ）を設定し、該設定した最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）と高さ（例えば、図６（ａ）に示す高さＨ）を計測してなることを特徴としている。
【００１３】
また、請求項７の発明によれば、上記請求項６に記載のピッキング方法において、前記計測した最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）と高さ（例えば、図６（ａ）に示す高さＨ）を出力してなることを特徴としている。
【００１４】
一方、請求項８の発明によれば、上記請求項２〜７の何れか１項に記載のピッキング方法において、前記出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を把持した際、該把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の重量を計測してなることを特徴としている。
【００１５】
また、請求項９の発明によれば、上記請求項８に記載のピッキング方法において、前記計測した把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の重量に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を移載する際の加速度を制御してなることを特徴としている。
【００１６】
一方、請求項１０の発明によれば、上記請求項６に記載のピッキング方法において、前記計測した長さ（例えば、図６（ａ）に示す横Ｌ、縦Ｔ、高さＨのサイズ）に基づき、前記ロボット（例えば、図１に示すロボット２）を用いて、前記把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を移載する際の経路を設定して制御してなることを特徴としている。
【００１７】
また、請求項１１の発明によれば、上記請求項６に記載のピッキング方法において、前記計測した前記最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）を少なくとも用いて、把持用ツール（例えば、図１に示すロボットハンド２２）を選択してなることを特徴としている。
【発明の効果】
【００１８】
次に、本発明の効果について、図面の参照符号を付して説明する。なお、括弧内は、後述する実施形態の参照符号を付したものであるが、本発明はこれに限定されるものではない。
【００１９】
請求項１又は請求項２に係る発明によれば、物流現場において、把持対象となるピッキング対象物を自動的に認識し、ピッキングすることができる。これにより、数千〜数十万件というピッキング対象物の３次元形状を予め全てデータベース化しておく必要がなくなり、もって、自動化を実現できることとなる。また、請求項３に係る発明によれば、把持対象となるピッキング対象物のサイズの正確な入力をしなくとも良い。
【００２０】
さらに、複数のピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）全体（Ｗ）から共通の三次元形状を見つけ出す方法として、請求項４に係る発明のように、深さ方向（Ｚ方向）の不連続三次元点群情報を見つけ出す方法が好ましく、より好ましくは、請求項５に係る発明のように、深さ方向（Ｚ方向）の不連続三次元点群情報を見つけ出すことによって、セグメンテーションを行い（例えば、図２に示すステップＳ４）、該セグメンテーション間における三次元点群情報の類似度を所定のアルゴリズムを用いて調べる（例えば、図２に示すステップＳ５、ステップＳ８）方法が好ましい。
【００２１】
一方、請求項６に係る発明によれば、上記決定したピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を内包する最小箱状体（例えば、図６に示す最小の直方体Ｒ）を設定し、該設定した最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）と高さ（例えば、図６（ａ）に示す高さＨ）を計測しているから、最小箱状体（例えば、図６に示す最小の直方体Ｒ）を自動で設定し、自動で計測することができる。
【００２２】
また、請求項７に係る発明によれば、上記計測した最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）と高さ（例えば、図６（ａ）に示す高さＨ）を出力しているから、的確にピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を移載させることができる。
【００２３】
一方、請求項８に係る発明によれば、出力した三次元位置姿勢に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を把持した際、該把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の重量を計測しているから、自動でピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の重量を計測することができる。
【００２４】
また、請求項９に係る発明によれば、計測した把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）の重量に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を移載する際の加速度を制御しているから、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。
【００２５】
一方、請求項１０に係る発明によれば、計測した長さ（例えば、例えば、図６（ａ）に示す横Ｌ、縦Ｔ、高さＨのサイズ）に基づき、ロボット（例えば、図１に示すロボット２）を用いて、把持対象となるピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を移載する際の経路を設定して制御しているから、安全にピッキング対象物（例えば、図１に示すピッキング対象物Ｗａ）を所定箇所（例えば、コンベア）に移載させることができる。
【００２６】
また、請求項１１に係る発明によれば、計測した最小箱状体（例えば、図６に示す最小の直方体Ｒ）の長手方向の長さ（例えば、図６（ａ）に示す横Ｌ）と幅方向の長さ（例えば、図６（ａ）に示す縦Ｔ）を少なくとも用いて、把持用ツール（例えば、図１に示すロボットハンド２２）を選択しているから、最適な把持用ツールを自動で選択することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態に係るピッキング装置の概略全体図である。
【図２】同実施形態に係るピッキング装置の制御手順を示すフローチャート図である。
【図３】（ａ）は、同実施形態に係るピッキング対象物を上方から見た斜視図、（ｂ）は、（ａ）に示すピッキング対象物にＸ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた状態を示す斜視図、（ｃ）は、隣接して荷積された複数のピッキング対象物全体に、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標を備えた三次元点群情報が表わされた状態を示す斜視図である。
【図４】（ａ）は、図３（ｃ）に示す三次元点群情報から領域Ａ，Ｂを切り出した状態を示す説明図、（ｂ）は、図３（ｃ）に示す三次元点群情報から領域Ｃを切り出した状態を示す説明図、（ｃ）は、図３（ｃ）に示す三次元点群情報から領域Ｄを切り出した状態を示す説明図である。
【図５】図３（ｃ）に示す三次元点群情報に基づき、把持可能領域群が決定された状態を示す説明図である。
【図６】（ａ）は、決定した単品点群を内包する最小の直方体を設定したことを説明する説明図、（ｂ）は、（ａ）に示す最小の直方体を、把持可能領域群毎に合わせた状態を示す説明図である。
【発明を実施するための形態】
【００２８】
以下、本発明に係るピッキング装置の一実施形態を、図面を参照して具体的に説明する。なお、以下の説明において、上下左右の方向を示す場合は、図示正面から見た場合の上下左右をいうものとする。
【００２９】
図１に示すように、ピッキング装置１は、ロボット２と、このロボット２を制御するロボット制御装置３と、カメラ４と、画像処理装置５と、で構成されている。なお、符号Ｗは、段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体を示すものである。
【００３０】
ロボット２は、床や壁等の設置面に固定される土台２０と、土台２０に対して基端が回転可能に連結されているロボットアーム部２１と、ロボットアーム部２１の先端に取り付けられ、ピッキング対象物Ｗａを吸着・挟み込み等によって把持することができるロボットハンド２２とを備えている。なお、このロボットハンド２２には、ピッキング対象物Ｗａを把持した際の当該ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられており、重量センサの計測情報は、ロボット制御装置３に出力される。また、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報から、ピッキング対象物Ｗａの重量を推定することもできる。すなわち、基端が回転可能に連結されているロボットアーム部２１を同姿勢にして静止させた際の無負荷のモータのトルクと、ピッキング対象物Ｗａを把持した際のモータのトルクとの差を用いて、ピッキング対象物Ｗａの重量を推定するようにすれば良い。なお、推定された重量情報は、重量センサの計測情報同様、ロボット制御装置３に出力される。
【００３１】
一方、ロボット制御装置３は、画像処理装置５より出力されるデータ、又は、ロボット２より出力されるデータに基づき、ロボット２の稼動を制御するものである。
【００３２】
カメラ４は、段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得できるものである。
【００３３】
画像処理装置５は、ＣＰＵ５０と、マウスやキーボード、タッチパネル等にて外部から所定データを画像処理装置５に入力することができる入力部５１と、画像処理装置５外に所定データを出力することができる出力部５２と、所定のプログラム等を格納した書込み可能なフラッシュＲＯＭ等からなるＲＯＭ５３と、作業領域やバッファメモリ等として機能するＲＡＭ５４と、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等からなる表示部５５と、で構成されている。
【００３４】
かくして、上記のようなピッキング装置を使用するにあたっては、作業者が、図１に示す画像処理装置５の入力部５１を用いて、図１に示すＲＯＭ５３内に格納されているプログラムの起動を指示する。これにより、画像処理装置５のＣＰＵ５０（図１参照）は、図２に示すような処理を行う。以下、図２を参照して説明する。なお、図２に示すプログラムの処理内容はあくまで一例であり、これに限定されるものではない。
【００３５】
まず、ＣＰＵ５０（図１参照）は、カメラ４にて取得された段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を取得する（ステップＳ１）。より詳しく説明すると、ピッキング対象物Ｗａが、図３（ａ）に示すような、プッシュ（押下）式のポンプディスペンサからなる容器であった場合、図１に示すように、カメラ４にて、段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗを上方から撮像すると、カメラ４にて取得されたピッキング対象物Ｗａの三次元座標を示す三次元点群情報は、図３（ｂ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして、ピッキング対象物Ｗａのポンプディスペンサの上部側、ポンプディスペンサの下部側に離間、すなわち、不連続なものとして表わされることとなる。しかるに、段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗを示す三次元点群情報は、図３（ｃ）に示すように、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標で表される複数の三次元点群ＴＧとして表わされることとなる。なお、複数の三次元点群ＴＧは、それぞれ、Ｘ方向，Ｙ方向，Ｚ方向の三次元座標（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ≧１の整数）を備えている。なおまた、ＣＰＵ５０（図１参照）は、段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗを示す三次元点群情報を一時的にＲＡＭ５４内に記憶する。
【００３６】
次いで、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を読み出し、深さ方向の変化が一定量を超える箇所、又は、法線方向の変化が一定値を超える箇所であるデプスエッジを基準にして、図４に示すように、この三次元点群情報から領域Ａ，Ｂ，Ｃ，Ｄを切り出す（ステップＳ２）。より詳しく説明すると、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内に記憶された段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報から、カメラ４からの距離が近いと判断される点群であって、隣り合う各点の位置（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ≧１の整数）が、予め定められた一定の距離以内であり、一塊と見なせる領域を、図４（ａ）に示すように、領域Ａとして切り出す。次に、ＣＰＵ５０（図１参照）は、領域ＡとはＺ方向の距離が離れていると判断できる領域で、隣り合う各点の位置（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ≧１の整数）が、予め定められた一定の距離以内であり、一塊と見なせる領域を、図４（ａ）に示すように、領域Ｂとして切り出す。次に、ＣＰＵ５０（図１参照）は、領域ＡとはＹ方向の距離が離れていると判断できる領域で、隣り合う各点の位置（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ≧１の整数）が、予め定められた一定の距離以内であり、一塊と見なせる領域を、図４（ｂ）に示すように、領域Ｃとして切り出す。次に、ＣＰＵ５０（図１参照）は、領域ＡとはＸ方向の距離が離れていると判断できる領域で、隣り合う各点の位置（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ≧１の整数）が、予め定められた一定の距離以内であり、一塊と見なせる領域を、図４（ｃ）に示すように、領域Ｄとして切り出す。しかして、このようにして、ＣＰＵ５０（図１参照）は、ＲＡＭ５４内から読み出された段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報から領域Ａ，Ｂ，Ｃ，Ｄを切り出すこととなる。
【００３７】
次いで、ＣＰＵ５０（図１参照）は、上記切り出した領域Ａ，Ｂ，Ｃ，Ｄから把持可能領域群を決定する（ステップＳ３）。より詳しく説明すると、ＣＰＵ５０（図１参照）は、ピッキング対象物Ｗａの把持に必要な上部を選択するために、上記切り出した領域Ａ，Ｂ，Ｃ，Ｄの三次元点群情報から、各領域Ａ，Ｂ，Ｃ，ＤそれぞれのＺ方向の位置が予め定められた一定範囲内の領域で、且つ、各領域Ａ，Ｂ，Ｃ，Ｄのうち、上方にある領域群を選定する。これにより、領域Ｂが除外され、もって、図５に示すような、把持可能領域群ＨＧ１〜ＨＧ１５が決定されることとなる。
【００３８】
次いで、ＣＰＵ５０（図１参照）は、この決定された把持可能領域群ＨＧ１〜ＨＧ１５のうち、基準点に近い把持可能領域群を選択し、仮単品点群とする（ステップＳ４）。より詳しく説明すると、この基準点を、予め、例えば、図５に示す左上隅を基準点Ｏとしておけば、ＣＰＵ５０（図１参照）は、把持可能領域群ＨＧ１〜ＨＧ１５に属する三次元点群情報から、この基準点Ｏとの距離が最も近い把持可能領域群が、把持可能領域群ＨＧ１であることを算出することができる。これにより、ＣＰＵ５０（図１参照）は、この把持可能領域群ＨＧ１を仮単品群として決定する。
【００３９】
次いで、ＣＰＵ５０（図１参照）は、上記決定した仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ２〜ＨＧ１５の類似度を算出する（ステップＳ５）。より詳しく説明すると、類似度の算出方法として、従来周知の方法からなるアルゴリズム、例えば、ＯＳＡＤＡらの手法（Ｓｈａｐｅ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ, ＡＣＭ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｇｒａｐｈｉｃｓ,  Ｖｏｌ. ２１, Ｎｏ. ４, Ｏｃｔｏｂｅｒ ２００２, Ｐａｇｅｓ ８０７−８３２．）を用いたアルゴリズムを用いて、ＣＰＵ５０（図１参照）は、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ２〜ＨＧ１５の類似度を算出する。具体的には、ＯＳＡＤＡらの手法は相違度を算出するものであるから、ＣＰＵ５０（図１参照）は、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ２との相違度を算出し、１−相違度とすることで、類似度を算出し、同じく、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ３との相違度を算出し、１−相違度とすることで、類似度を算出し、同じく、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ４との相違度を算出し、１−相違度とすることで、類似度を算出し、というように、類似度を算出していく。
【００４０】
次いで、ＣＰＵ５０（図１参照）は、上記算出した類似度の全体の割合が、予め定められた所定量（例えば、８０％）あるか否かを算出する（ステップＳ６）。所定量あれば（ステップＳ６：ＹＥＳ）、ＣＰＵ５０（図１参照）は、上記決定した仮単品点群（把持可能領域群ＨＧ１）を単品点群（把持可能領域群ＨＧ１）と確定する（ステップＳ７）。
【００４１】
一方、所定量なければ（ステップＳ６：ＮＯ）、図１に示す段ボール箱ＣＡ内に荷積みされた複数のピッキング対象物Ｗａが、段ボール箱ＣＡ内で倒れている可能性を想定し、ＣＰＵ５０（図１参照）は、上記算出した相違度を確認する（ステップＳ８）。この際、相違度が、例えば、０．０９以下の点群が２群以上（例えば、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ２との相違度、仮単品点群（把持可能領域群ＨＧ１）と、他の把持可能領域群ＨＧ３との相違度が、０．０９以下であれば、把持可能領域群ＨＧ２と把持可能領域群ＨＧ３の２群以上が存在することとなる）あれば（ステップＳ８：ＹＥＳ）、ＣＰＵ５０（図１参照）は、上記決定した仮単品点群（把持可能領域群ＨＧ１）を単品点群（把持可能領域群ＨＧ１）と確定する（ステップＳ７）。
【００４２】
一方、相違度が、例えば、０．０９以下の点群が２群以上なければ（ステップＳ８：ＮＯ）、ＣＰＵ５０（図１参照）は、表示部５５（図１参照）に警告表示をさせる処理を行い（ステップＳ９）、プログラムの処理を終える。
【００４３】
次いで、ＣＰＵ５０（図１参照）は、単品点群（把持可能領域群ＨＧ１）を内包する、図６（ａ）に示すような最小の直方体を設定する（ステップＳ１０）。より詳しく説明すると、図６（ａ）に示すように、単品点群（把持可能領域群ＨＧ１）には、三次元座標を示す三次元点群ＴＧが存在するから、この三次元点群ＴＧの情報から、ＣＰＵ５０（図１参照）は、図６（ａ）に示すような、最小の直方体Ｒを設定することができる。これにより、ＣＰＵ５０（図１参照）は、図６（ａ）に示すように、この直方体Ｒの縦Ｔ、横Ｌ、高さＨのサイズを計測することができる。これにより、単品点群（把持可能領域群ＨＧ１）を内包する、図６（ａ）に示すような最小の直方体Ｒを自動で設定し、自動で計測することができる。
【００４４】
次いで、ＣＰＵ５０（図１参照）は、上記設定した最小の直方体Ｒの上面Ｒａ（図６（ａ）参照）の面積に応じたロボットハンド２２（図１参照）を選択し、出力する（ステップＳ１１）。より詳しく説明すると、ＣＰＵ５０（図１参照）は、設定した最小の直方体Ｒの上面Ｒａ（図６（ａ）参照）の面積を、上記計測した最小の直方体Ｒの縦Ｔ、横Ｌのサイズから算出する。そして、その算出した面積が吸着可能な面積であれば、ロボットハンド２２（図１参照）として吸着ハンドを選択するよう促す情報を、出力部５２（図１参照）を介してロボット制御装置３に出力する。これにより、ロボット制御装置３は、ロボット２（図１参照）を制御し、図示しないツールチェンジャーを用いて、ロボットハンド２２（図１参照）として吸着ハンドをロボット２に選択させることとなる。
【００４５】
一方、ＣＰＵ５０（図１参照）は、上記算出した面積が吸着可能な面積でなければ、ロボットハンド２２（図１参照）として挟み込みハンドを選択するよう促す情報を、出力部５２（図１参照）を介してロボット制御装置３に出力する。これにより、ロボット制御装置３は、ロボット２（図１参照）を制御し、図示しないツールチェンジャーを用いて、ロボットハンド２２（図１参照）として挟み込みハンドをロボット２に選択させることとなる。
【００４６】
しかして、このようにすれば、最適なハンドを自動で選択することができる。なお、吸着可能な面積か否かの基準は予め設定しておけばよい。また、ロボットハンド２２（図１参照）として吸着ハンド、又は、挟み込みハンドが選択された場合に、吸着ハンド、又は、挟み込みハンドの大きさも選択できるようにしても良い。例えば、吸着ハンドが選択された場合、上記算出した面積が第１の基準を超えていれば、大きめの吸着ハンドを選択するよう促す情報を、出力部５２（図１参照）を介してロボット制御装置３に出力し、第１の基準を超えていないが第２の基準を超えていれば、中ぐらいの吸着ハンドを選択するよう促す情報を、出力部５２（図１参照）を介してロボット制御装置３に出力し、第１，第２の基準を超えていないが第３の基準を超えていれば、小さめの吸着ハンドを選択するよう促す情報を、出力部５２（図１参照）を介してロボット制御装置３に出力するというようにすれば良い。
【００４７】
次いで、ＣＰＵ５０（図１参照）は、図６（ｂ）に示すように、把持可能領域群ＨＧ２〜ＨＧ１５毎に、上記設定した最小の直方体Ｒを合わせる。すなわち、把持可能領域群ＨＧ２〜ＨＧ１５毎に、三次元座標を示す三次元点群ＴＧが存在するため、この三次元点群ＴＧの情報から、ＣＰＵ５０（図１参照）は、把持可能領域群ＨＧ２〜ＨＧ１５毎に、上記設定した最小の直方体Ｒの方向を合わせることができる。そして、ＣＰＵ５０（図１参照）は、把持可能領域群ＨＧ２〜ＨＧ１５毎に合わせた、上記設定した最小の直方体Ｒの方向、すなわち、最小の直方体Ｒの長手方向（横方向）、幅方向（縦方向）を確認し、位置姿勢を算出する。そしてこの算出した位置姿勢を、ＣＰＵ５０（図１参照）は、出力部５２（図１参照）を介してロボット制御装置３に出力し（ステップＳ１２）、プログラムの処理を終える。なお、この際、上記計測した最小の直方体Ｒの縦Ｔ、横Ｌ、高さＨのサイズも出力されることとなる。これにより、以下に詳述するように、的確にピッキング対象物Ｗａ（図１参照）を移載させることができる。
【００４８】
すなわち、ロボット制御装置３は、上記出力された縦Ｔ、横Ｌのサイズ並びに高さＨに基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させたピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。より詳しく説明すると、ロボット制御装置３は、縦Ｔ、横Ｌのサイズから、所定箇所（例えば、コンベア）の長さ，幅を考慮（所定箇所（例えば、コンベア）の長さ，幅の情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させているピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。そしてさらに、ロボット制御装置３は、高さＨから、所定箇所（例えば、コンベア）の高さ、並びに、ピッキング対象物Ｗａを安全に載置できるためのクリアランス等を考慮（所定箇所（例えば、コンベア）の高さの情報は予め記憶されている）して、ロボットハンド２２（図１参照）にて把持させているピッキング対象物Ｗａ（図１参照）を移載させる際の経路設定を行う。しかして、このように設定した経路設定に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させたピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、安全にピッキング対象物Ｗａ（図１参照）を所定箇所（例えば、コンベア）に移載させることができる。
【００４９】
また、ロボットハンド２２（図１参照）には、ピッキング対象物Ｗａを把持した際、当該ピッキング対象物Ｗａの重量を計測する歪ゲージ等の重量センサが設けられているから、重量センサの計測情報は、ロボット制御装置３に出力される。これにより、自動でピッキング対象物Ｗａの重量を計測することができる。
【００５０】
一方、ロボット制御装置３は、これを受けて、計測された重量が予め設定しておいた重量よりも大きければ、ロボットハンド２２（図１参照）にて把持させているピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも低く設定し、計測された重量が予め設定しておいた重量より小さければ、ロボットハンド２２（図１参照）にて把持させているピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度よりも高く設定し、計測された重量が予め設定しておいた重量と同一であれば、ロボットハンド２２（図１参照）にて把持させているピッキング対象物Ｗａ（図１参照）を移載させる際の加速度を予め設定されている加速度に設定する。
【００５１】
しかして、このように設定した加速度に基づいて、ロボット２（図１参照）を制御し、もって、ロボット２（図１参照）のロボットハンド２２（図１参照）にて把持させたピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させることとなる。これにより、把持させたピッキング対象物Ｗａ（図１参照）を、所定箇所（例えば、コンベア）に移載させる途中で、落下させてしまう事態を低減させることができる。なお、重量センサに代えて、基端が回転可能に連結されているロボットアーム部２１のモータ駆動に必要な電流を検出し、その検出情報からピッキング対象物Ｗａの重量を推定するようにした際も、同様の処理を行うことができる。
【００５２】
しかして、以上説明した本実施形態によれば、物流現場において、把持対象となるピッキング対象物を自動的に認識し、ピッキングすることができる。これにより、数千〜数十万件というピッキング対象物の３次元形状を予め全てデータベース化しておく必要がなくなり、もって、自動化を実現できることとなる。
【００５３】
すなわち、従来であれば、数千〜数十万件というピッキング対象物の３次元形状を予め全てデータベース内に事前に登録する必要があるため、把持対象となるピッキング対象物のサイズを正確に登録する必要がある。それに対し、本実施形態によれば、把持対象となるピッキング対象物を自動的に認識し、ピッキングすることができるため、このような正確な登録が不要となる。また、仮に、把持対象となるピッキング対象物のサイズを入力（登録）したとしても、正確な入力（登録）は必要なく、概略（例えば、ピッキング対象物の縦横高さの基準、又は、縦横高さが取りえる数値範囲等の形状等）だけ入力（登録）するだけで良い。
【００５４】
なお、本実施形態にて例示した内容は、あくまで一例であり、特許請求の範囲に記載された本発明の要旨の範囲内において種々の変形・変更が可能である。
【００５５】
例えば、本実施形態においては、複数のピッキング対象物Ｗａを荷積みしているものとして段ボール箱ＣＡを例示したが、それに限らず、コンテナ等のどのような容器に荷積みされていても良い。
【００５６】
また、本実施形態においては、ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報をカメラ４にて取得できる例を示したが、二次元画像を取得できるようにしても良い。
【００５７】
また、本実施形態においては、ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報をカメラ４にて取得できる例を示したが、それに限らず、カメラ４は単なる撮像機能だけにし、画像処理装置５（図１参照）のＣＰＵ５０（図１参照）にて、ピッキング対象物Ｗａ全体Ｗの三次元座標を示す三次元点群情報を生成するようにしても良い。
【００５８】
一方、本実施形態においては、カメラ４を別に設ける例を示したが、それに限らず、カメラ４をロボット２に組み込むようにしても良い。また、ロボット制御装置３と画像処理装置５とを別々に設ける例を示したが、ロボット制御装置３と画像処理装置５を一体化しても良い。
【符号の説明】
【００５９】
１          ピッキング装置
２          ロボット
３          ロボット制御装置
４          カメラ（三次元点群情報生成手段）
５          画像処理装置
５０        ＣＰＵ
ＣＡ        段ボール箱（所定の容器）
Ｗ          （複数のピッキング対象物の）全体
Ｗａ        ピッキング対象物
Ｒ          最小の直方体（最小箱状体）
Ｌ          横（最小箱状体の長手方向）
Ｔ          縦（最小箱状体の幅方向）
Ｈ          高さ（最小箱状体の高さ）
【図１】
2019181573.tif 000003
【図２】
2019181573.tif 000004
【図３】
2019181573.tif 000005
【図４】
2019181573.tif 000006
【図５】
2019181573.tif 000007
【図６】
2019181573.tif 000008