(57)【要約】【課題】同種荷物群と混種荷物群との荷降ろしを効果的に行うことができる荷降ろし装置、荷降ろし方法及びプログラムを提供する。【解決手段】実施形態によれば、荷降ろし装置は、センサインターフェースと、把持部インターフェースと、プロセッサと、を備える。センサインターフェースは、荷物群を撮影するセンサから撮影画像を取得する。把持部インターフェースは、荷物群の荷物を把持する把持部と通信する。プロセッサは、撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識し、同種荷物群の各荷物の認識に成功した場合、把持部インターフェースを通じて把持部に、同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、同種荷物群の各荷物の認識に失敗した場合、把持部インターフェースを通じて把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する。【選択図】      図１
2020083584.tif 000002
【特許請求の範囲】
【請求項１】
荷物群を撮影するセンサから撮影画像を取得するセンサインターフェースと、
前記荷物群の荷物を把持する把持部と通信する把持部インターフェースと、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識し、
前記同種荷物群の各荷物の認識に成功した場合、前記把持部インターフェースを通じて、前記把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部インターフェースを通じて、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する、
プロセッサと、
を備える荷降ろし装置。
【請求項２】
前記プロセッサは、前記同種荷物群の各荷物の認識に失敗した場合、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域に基づいて把持位置を決定し、前記把持位置に基づいて前記第２の制御信号を前記把持部に送信する、
前記請求項１に記載の荷降ろし装置。
【請求項３】
前記プロセッサは、前記同種荷物群の各荷物の認識に成功した場合、前記第１の把持手法として、前記撮影画像から各荷物の荷物領域を抽出し、前記荷物領域に基づいて把持計画を策定し、前記把持計画に基づいて前記第１の制御信号を前記把持部に送信する、
前記請求項１又は２に記載の荷降ろし装置。
【請求項４】
前記プロセッサは、前記第２の把持手法として、前記把持部から前記荷物への方向において前記把持部と対面する候補エッジを前記荷物群領域の外枠から抽出し、前記候補エッジ上に前記把持位置を決定する、
前記請求項２に記載の荷降ろし装置。
【請求項５】
前記プロセッサは、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域において所定のリファレンス画像に対応する基準領域を抽出し、前記基準領域に基づいて前記同種荷物群の各荷物の荷物領域を抽出する、
前記請求項１乃至４の何れか１項に記載の荷降ろし装置。
【請求項６】
前記プロセッサは、前記同種荷物群の荷物の個数が所定の閾値よりも少ないと、混種荷物群に対応する第２の把持手法に従って前記第２の制御信号を前記把持部に送信する、
前記請求項１乃至５の何れか１項に記載の荷降ろし装置。
【請求項７】
前記把持部と、
前記把持部を移動させるアーム部と、
前記センサと、を備える、
前記請求項１乃至６の何れか１項に記載の荷降ろし装置。
【請求項８】
前記把持部は、吸着パッドを備える、
前記請求項１乃至７の何れか１項に記載の荷降ろし装置。
【請求項９】
荷物群を撮影したセンサから撮影画像を取得し、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識し、
前記同種荷物群の各荷物の認識に成功した場合、前記荷物群の荷物を把持する把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する、
荷降ろし方法。
【請求項１０】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
センサから荷物群を撮影した撮影画像を取得させ、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識させ、
前記同種荷物群の各荷物の認識に成功した場合、前記荷物群の荷物を把持する把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信させ、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、荷降ろし装置、荷降ろし方法及びプログラムに関する。
【背景技術】
【０００２】
荷降ろし装置には、パレットなどに積載された荷物の荷降ろしを行うものがある。そのような荷降ろし装置は、同一種類の荷物が規則性をもって積載された同種荷物群を上部から撮影し把持計画を策定する。荷降ろし装置は、把持計画に基づいて同種荷物群の荷降ろしを行う。
【０００３】
従来、荷降ろし装置は、異なる種類の荷物が積載された混種荷物群の荷降ろしを行うことができないという課題がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−４３８５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の課題を解決するために、同種荷物群と混種荷物群との荷降ろしを効果的に行うことができる荷降ろし装置、荷降ろし方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
実施形態によれば、荷降ろし装置は、センサインターフェースと、把持部インターフェースと、プロセッサと、を備える。センサインターフェースは、荷物群を撮影するセンサから撮影画像を取得する。把持部インターフェースは、前記荷物群の荷物を把持する把持部と通信する。プロセッサは、前記撮影画像に基づいて、前記撮影画像に含まれる同種荷物群の各荷物を認識し、前記同種荷物群の各荷物の認識に成功した場合、前記把持部インターフェースを通じて、前記把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、前記同種荷物群の各荷物の認識に失敗した場合、前記把持部インターフェースを通じて、前記把持部に、混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る荷降ろし装置の構成例を概略的に示す図である。
【図２】図２は、実施形態に係る荷降ろし装置の制御系の構成例を示すブロック図である。
【図３】図３は、実施形態に係る荷降ろし装置の動作例について説明するための図である。
【図４】図４は、実施形態に係る荷降ろし装置の動作例について説明するための図である。
【図５】図５は、実施形態に係る荷降ろし装置の動作例について説明するためのフローチャートである。
【図６】図６は、実施形態に係る荷降ろし装置の動作例について説明するためのフローチャートである。
【図７】図７は、実施形態に係る荷降ろし装置の動作例について説明するためのフローチャートである。
【図８】図８は、実施形態に係る荷降ろし装置の動作例について説明するためのフローチャートである。
【図９】図９は、実施形態に係る荷降ろし装置の動作例について説明するためのフローチャートである。
【発明を実施するための形態】
【０００８】
以下、実施形態について、図面を参照して説明する。  
実施形態に係る荷降ろし装置は、複数の荷物を積載して形成される荷物群の荷降ろしを行う。荷降ろし装置は、荷物群から荷物を把持して内部の中間コンベアに積載する。荷降ろし装置は、荷物が積載された中間コンベアを駆動し外部へ排出する。たとえば、荷降ろし装置は、外部のメインコンベア上に荷物を排出する。
【０００９】
図１は、荷降ろし装置１０の構成例を概略的に示す図である。荷降ろし装置１０は、アーム部１１、把持部１２、吸着パッド１３、中間コンベア部１４、第１のセンサ１５、第２のセンサ１６及び筐体１７などを備える。
【００１０】
荷降ろし装置１０は、荷降ろし装置１０の近傍に配置されたパレット２１に積載された荷物群３０の個々の荷物３１を把持し外部へ排出する。たとえば、荷降ろし装置１０は、図示されないメインコンベア上に荷物３１を排出する。
【００１１】
荷物群３０は、複数の荷物３１から構成される。荷物群３０は、複数の荷物３１から構成される段が積み重なって形成される。図１が示す例では、荷物群３０は、第１の段３２と第２の段３３とから構成される。
【００１２】
第１の段３２及び第２の段３３は、同一面に配置された荷物から構成される。即ち、第１の段３２及び第２の段３３は、同一面において互いに重ならずに配置された荷物から構成される。第１の段３２及び第２の段３３は、同種荷物群又は混種荷物群である。
【００１３】
同種荷物群は、同一種類の荷物３１が規則性を持って積載されている荷物群である。即ち、同種荷物群は、同一種類の荷物３１から構成される。同種荷物群は、所定の面を上面に、同一種類の荷物３１が一面に並べられた荷物群である。同種荷物群の上面は、平面（高さが一定）である。同種荷物群は、同一の角度で配置された複数の荷物３１から構成されてもよい。また、同種荷物群は、互いに異なる角度で配置された複数の荷物３１から構成されてもよい。
【００１４】
混種荷物群は、異なる種類の荷物３１が規則性を持って積載されている荷物群である。即ち、混種荷物群は、異なる種類の荷物３１から構成される。混種荷物群は、異なる種類の荷物３１が一面に並べられた荷物群である。混種荷物群の上面は、平面（高さが一定）であってもよいし、平面でなくともよい。混種荷物群は、同一の角度で配置された複数の荷物３１から構成されてもよい。また、混種荷物群は、互いに異なる角度で配置された複数の荷物３１から構成されてもよい。
【００１５】
筐体１７は、荷降ろし装置１０の外形を形成するフレームである
アーム部１１は、筐体１７の中腹部に設置されている。アーム部１１は、図１に示される３軸方向、即ち、Ｘ方向とＹ方向（水平方向）、及びＺ方向（高さ方向）に対して直動する直交型のロボットアームである。アーム部１１は、アーム１１Ａ及びアーム移動機構１１Ｂを含む。
【００１６】
アーム１１Ａは、Ｘ方向に延びた部材である。アーム１１Ａは、アーム移動機構１１Ｂに接続する。アーム１１Ａは、アーム移動機構１１Ｂにより、Ｘ方向とＹ方向とＺ方向とにそれぞれ独立して移動可能である。
【００１７】
アーム移動機構１１Ｂは、アーム１１Ａを、Ｘ方向、Ｙ方向及びＺ方向、即ち、水平方向及び高さ方向に移動させる。アーム移動機構１１Ｂは、後述するプロセッサ４１による制御に従って、アーム１１Ａを移動させる。たとえば、アーム移動機構１１Ｂは、アーム１１Ａを移動させるアクチュエータなどから構成される。
【００１８】
把持部１２は、アーム１１Ａの先端に設置されている。把持部１２は、アーム部１１のＸ方向、Ｙ方向及びＺ方向の移動に伴って移動する。アーム部１１は、例えばＸ方向に移動することにより、把持部１２を荷物群３０の荷物３１を把持する位置まで移動させる。
【００１９】
把持部１２は、荷物群３０の荷物３１を把持する。ここでは、把持部１２は、吸着パッド１３を備える。吸着パッド１３は、荷物３１に吸着する。たとえば、吸着パッド１３は、真空吸着により荷物３１に吸着する。吸着パッド１３は、プロセッサ４１からの制御に基づいて内部を負圧にする。吸着パッド１３は、荷物３１の表面に接した状態で内部を負圧にすることで荷物３１の表面に真空吸着する。吸着パッド１３は、内部の負圧を解除すると、荷物３１を解放する。
【００２０】
ここでは、把持部１２は、２つの吸着パッド１３を備える。一方の吸着パッド１３は、荷物３１をＺ方向から吸着する。また、他方の吸着パッド１３は、荷物３１をＸ方向から吸着する。吸着パッド１３の数は、１つでもよいし、３つ以上であってもよい。
【００２１】
なお、把持部１２には、吸着パッド以外の種々の把持機構を採用してよい。たとえば、把持部１２は、荷物３１を把持するグリッパを含むものであってよい。グリッパは、複数の指と、複数の指を連結している複数の関節機構とを備える。関節機構は、関節機構の動作に連動して指が動作するように構成されてよい。グリッパは、例えば、複数の指による２点以上の接点で、対向する複数の方向から荷物に対して力を加える。これにより、把持部１２は、指と荷物との間に生じる摩擦によって荷物を把持する。把持部１２の構成は、荷物群３０の荷物３１を把持可能な種々の把持機構を用いてよく、特定の構成に限定されるものではない。
【００２２】
中間コンベア部１４は、筐体１７においてアーム部１１の下方に設置されている。中間コンベア部１４は、把持部１２が解放した荷物３１を積載し外部（たとえば、メインコンベア）に排出する。
【００２３】
中間コンベア部１４は、中間コンベア１４Ａ及び中間コンベア昇降機構１４Ｂなどをから構成される。
【００２４】
中間コンベア１４Ａは、荷降ろし装置１０の筐体１７内に配置される。中間コンベア１４Ａは、把持部１２によって把持されアーム部１１によってＸ方向（図１において左方向）に移動された荷物３１を受領する位置に形成される。中間コンベア１４Ａは、把持部１２が解放した荷物３１を積載する。
【００２５】
中間コンベア１４Ａは、プロセッサ４１の制御によって駆動する。中間コンベア１４Ａは、把持部１２が解放した荷物３１を外部に排出する。  
たとえば、中間コンベア１４Ａは、ローラコンベアなどである。
【００２６】
中間コンベア昇降機構１４Ｂは、プロセッサ４１の制御により中間コンベア１４ＡをＺ方向、即ち高さ方向に移動（昇降）させる。中間コンベア昇降機構１４Ｂは、把持部１２によって把持された荷物３１の底面の高さと中間コンベア１４Ａの積載面の高さとがほぼ同一となるように中間コンベア１４Ａを昇降させる。
【００２７】
第１のセンサ１５は、筐体１７において、パレット２１の荷物群３０が配置される位置の上方に配置されている。第１のセンサ１５は、パレット２１の荷物群３０を撮影し撮影画像を取得する。第１のセンサ１５は、撮影画像としてＲＧＢのカラー画像を取得する。
【００２８】
また、第１のセンサ１５は、パレット２１上の各部から第１のセンサ１５までの距離、又は、パレット２１上の各部から第１のセンサ１５に水平な面まで距離を測定する。
【００２９】
第１のセンサ１５は、測定結果に基づいて、所定の基準面からの距離を示す距離情報を生成する。たとえば、距離情報は、所定の三次元座標系における各点の座標を示すものであってもよい。
【００３０】
たとえば、第１のセンサ１５は、例えばステレオカメラである。ステレオカメラは、異なる２点から撮像した際の視差に基づいて第１のセンサ１５とパレット２１上の各部との距離を計測する。
【００３１】
また、たとえば、第１のセンサ１５は、光源と光源から照射される光の反射光を検出する光センサとを備えるものであってもよい。第１のセンサ１５は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、第１のセンサ１５は、照射された光が測定対象で反射し光センサに届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式を行ってもよい。この場合、荷降ろし装置１０は、第１のセンサ１５に加えて、別途ＲＧＢのカラー画像を取得するセンサを併用してもよい。また、第１のセンサ１５は、複数配置して組み合わせて使用してもよい。
【００３２】
第２のセンサ１６は、Ｘ方向において、パレット２１に規則積載された荷物群３０と中間コンベア部１４との間に配置されている。たとえば、第２のセンサ１６は、筐体１７の底枠に設置されている。
【００３３】
第２のセンサ１６は、第２のセンサ１６から、把持部１２により把持されアーム部１１により中間コンベア１４Ａまで移動されている荷物３１までの距離を測定する。即ち、第２のセンサ１６は、第２のセンサ１６から荷物３１の底面までの距離を測定する。
【００３４】
たとえば、第２のセンサ１６は、光源と光源から照射される光の反射光を検出する光センサとを備える。第２のセンサ１６は、光源から照射される光（可視光又は不可視光）の反射光に基づいて距離を測定する。たとえば、第２のセンサ１６は、照射された光が測定対象で反射し光センサに届くまでの時間に基づいて当該測定対象との距離を測定するＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）方式を行ってもよい。
【００３５】
図２は、荷降ろし装置１０の構成例を示すブロック図である。荷降ろし装置１０は、アーム部１１、把持部１２、中間コンベア部１４、第１のセンサ１５、第２のセンサ１６、プロセッサ４１、ＲＯＭ４２、ＲＡＭ４３、ＮＶＭ４４、アーム部インターフェース１１１、把持部インターフェース１１２、中間コンベア部インターフェース１１４、第１のセンサインターフェース１１５及び第２のセンサインターフェース１１６などを備える。
【００３６】
プロセッサ４１と、ＲＯＭ４２、ＲＡＭ４３、ＮＶＭ４４、アーム部インターフェース１１１、把持部インターフェース１１２、中間コンベア部インターフェース１１４、第１のセンサインターフェース１１５及び第２のセンサインターフェース１１６とは、互いに接続する。アーム部インターフェース１１１は、アーム部１１と接続する。把持部インターフェース１１２は、把持部１２と接続する。中間コンベア部インターフェース１１４は、中間コンベア部１４と接続する。第１のセンサインターフェース１１５は、第１のセンサ１５と接続する。第２のセンサインターフェース１１６は、第２のセンサ１６と接続する。
【００３７】
プロセッサ４１は、荷降ろし装置１０全体の動作を制御する。プロセッサ４１は、内部キャッシュ及び各種のインターフェースなどを備えてもよい。プロセッサ４１は、内部キャッシュ、ＲＯＭ４２又はＮＶＭ４４が予め記憶するプログラムを実行することにより種々の処理を実現する。
【００３８】
なお、プロセッサ４１がプログラムを実行することにより実現する各種の機能のうちの一部は、ハードウエア回路により実現されるものであってもよい。この場合、プロセッサ４１は、ハードウエア回路により実行される機能を制御する。
【００３９】
ＲＯＭ４２は、制御プログラム及び制御データなどが予め記憶された不揮発性のメモリである。ＲＯＭ４２に記憶される制御プログラム及び制御データは、荷降ろし装置１０の仕様に応じて予め組み込まれる。ＲＯＭ４２は、たとえば、荷降ろし装置１０の回路基板を制御するプログラムなどを格納する。
【００４０】
ＲＡＭ４３は、揮発性のメモリである。ＲＡＭ４３は、プロセッサ４１の処理中のデータなどを一時的に格納する。ＲＡＭ４３は、プロセッサ４１からの命令に基づき種々のアプリケーションプログラムを格納する。また、ＲＡＭ４３は、アプリケーションプログラムの実行に必要なデータ及びアプリケーションプログラムの実行結果などを格納してもよい。
【００４１】
ＮＶＭ４４は、データの書き込み及び書き換えが可能な不揮発性のメモリである。ＮＶＭ４４は、たとえば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はフラッシュメモリなどから構成される。ＮＶＭ４４は、荷降ろし装置１０の運用用途に応じて制御プログラム、アプリケーション及び種々のデータなどを格納する。
【００４２】
アーム部インターフェース１１１は、アーム部１１と通信するためのインターフェースである。たとえば、アーム部インターフェース１１１は、プロセッサ４１の制御に基づいて、アーム１１ＡをＸ方向に移動させる信号を送信する。また、アーム部インターフェース１１１は、アーム部１１へ電力を供給するものであってもよい。
【００４３】
把持部インターフェース１１２は、把持部１２と通信するためのインターフェースである。たとえば、把持部インターフェース１１２は、プロセッサ４１の制御に基づいて、把持部１２の吸着パッド１３に荷物３１を吸着させる信号又は荷物３１を解放させる信号を送信する。また、把持部インターフェース１１２は、把持部１２へ電力を供給するものであってもよい。
【００４４】
中間コンベア部インターフェース１１４は、中間コンベア部１４と通信するためのインターフェースである。たとえば、中間コンベア部インターフェース１１４は、プロセッサ４１の制御に基づいて、中間コンベア１４Ａを駆動させる信号を送信する。また、中間コンベア部インターフェース１１４は、プロセッサ４１の制御に基づいて、中間コンベア１４Ａを昇降させる信号を送信する。また、中間コンベア部インターフェース１１４は、中間コンベア部１４へ電力を供給するものであってもよい。
【００４５】
第１のセンサインターフェース１１５は、第１のセンサ１５と通信するためのインターフェースである。たとえば、第１のセンサインターフェース１１５は、プロセッサ４１の制御に基づいて、撮影画像又は距離情報を要求する信号を送信する。また、第１のセンサインターフェース１１５は、第１のセンサ１５からの撮影画像又は距離情報をプロセッサ４１に送信する。また、第１のセンサインターフェース１１５は、第１のセンサ１５へ電力を供給するものであってもよい。
【００４６】
第２のセンサインターフェース１１６は、第２のセンサ１６と通信するためのインターフェースである。たとえば、第２のセンサインターフェース１１６は、プロセッサ４１の制御に基づいて、距離を測定させる信号を送信する。また、第２のセンサインターフェース１１６は、第２のセンサ１６からの距離を示す情報をプロセッサ４１に送信する。また、第２のセンサインターフェース１１６は、第２のセンサ１６へ電力を供給するものであってもよい。
【００４７】
なお、アーム部インターフェース１１１、把持部インターフェース１１２、中間コンベア部インターフェース１１４、第１のセンサインターフェース１１５及び第２のセンサインターフェース１１６は、一体的に形成されてもよい。
【００４８】
また、荷降ろし装置１０は、図１及び２が示すような構成の他に必要に応じた構成を具備したり、荷降ろし装置１０から特定の構成が除外されたりしてもよい。
【００４９】
次に、荷降ろし装置１０が実現する機能について説明する。荷降ろし装置１０が実現する機能は、プロセッサ４１がＲＯＭ４２又はＮＶＭ４４などに格納されるプログラムを実行することで実現される。
【００５０】
まず、プロセッサ４１は、第１のセンサ１５を用いて荷物群３０の撮影画像及び距離情報を取得する機能を有する。
【００５１】
ここでは、パレット２１上に荷物群３０が積載されているものとする。
【００５２】
たとえば、プロセッサ４１は、荷物群３０が積載されたパレット２１が所定の領域に配置されたことを検知すると、第１のセンサインターフェース１１５を通じて撮影画像及び距離情報を要求する信号を第１のセンサ１５に送信する。
【００５３】
第１のセンサ１５は、当該センサを受信すると、荷物群３０を撮影し撮影画像を取得する。また、第１のセンサ１５は、パレット２１上の各部との距離を測定し距離情報を生成する。第１のセンサ１５は、第１のセンサインターフェース１１５を通じて撮影画像及び距離情報をプロセッサ４１に送信する。
【００５４】
プロセッサ４１は、第１のセンサ１５から撮影画像及び距離情報を取得する。
【００５５】
なお、プロセッサ４１は、オペレータから所定の操作の入力を受け付けた場合に、撮影画像及び距離情報を要求する信号を第１のセンサ１５に送信してもよい。
【００５６】
また、プロセッサ４１は、撮影画像及び距離情報に基づいて、同種荷物群の各荷物３１を認識する機能を有する。即ち、プロセッサ４１は、同種荷物群の各荷物が写る荷物領域を特定する。
【００５７】
ここでは、パレット２１に積載される荷物３１の上段は、同種荷物群を形成しているものとする。図３は、同種荷物群を撮影した撮影画像の例を示す。
【００５８】
図３が示すように、パレット２１上に複数の荷物３１が一面に積載されている。複数の荷物３１は、同一種類の荷物である。ここでは、パレット２１上に８個の荷物３１が積載されているものとする。
【００５９】
まず、プロセッサ４１は、距離情報に基づいて撮影画像から同種荷物群に含まれる荷物群領域を抽出する。荷物群領域は、複数の荷物３１の上面が写る領域である。
【００６０】
たとえば、プロセッサ４１は、距離情報が示す各点に基づいて所定の距離にある距離情報をまとめて荷物群領域として抽出することが可能である。または、平面領域を抽出して荷物群領域としてもよい。この場合、プロセッサ４１は、仮想平面を複数定義し、仮想平面と点群との距離を求める。プロセッサ４１は、距離が所定の閾値以上の点を除外し残りの点群との差が最小となるような仮想平面を見つける手法により点群で表される平面を推定する。プロセッサ４１は、所定の閾値（たとえば、荷物３１の高さなどに基づく値）以上の高さにある仮想平面を抽出することで仮想平面から荷物群の上面を特定する。
【００６１】
プロセッサ４１は、撮影画像と距離情報とのキャリブレーションによって、距離情報から特定された荷物群の上面に対応する領域を撮影画像から抽出する。プロセッサ４１は、抽出された領域を荷物群領域として取得する。
【００６２】
図３が示す例では、プロセッサ４１は、撮影画像から荷物群領域５１を抽出する。図３が示すように、荷物群領域５１は、各荷物３１を含む領域である。
【００６３】
なお、プロセッサ４１は、荷物群領域を抽出できない場合には、荷物領域の認識に失敗したと判定する。
【００６４】
荷物群領域５１を抽出すると、プロセッサ４１は、各荷物３１の基準領域及び方向を特定する。基準領域は、荷物３１の部分画像であるリファレンス画像又はリファレンス画像と同一のパターンを持つ画像が存在する領域である。方向は、荷物３１の角度（たとえば、リファレンス画像の角度）である。
【００６５】
たとえば、プロセッサ４１は、荷物群領域内の所定の領域の画像（荷物３１の部分画像）をリファレンス画像として設定する。リファレンス画像を設定すると、プロセッサ４１は、荷物群領域を走査することで、リファレンス画像と同一のパターンを持つ領域を基準領域として抽出する。また、プロセッサ４１は、基準領域の方向を特定する。
【００６６】
なお、プロセッサ４１は、リファレンス画像のサイズや荷物群領域内の画像のサイズのいずれか又は両方を変更しながら走査を行ってもよい。この場合、プロセッサ４１は、荷物３１の状態が変わっても基準領域を検出することもできる。
【００６７】
また、プロセッサ４１が基準領域及び方向を特定する方法は、リファレンス画像の領域と被マッチング領域との相関値や画素値の差分の絶対値の和（ＳＡＤ）を用いたパターンマッチングにより実現できる。プロセッサ４１が基準領域及び方向を特定する方法は、方向性を求めるためにリファレンス画像の向きを回転させる方法、被マッチング領域を回転する方法いずれでも実現できる。マッチングの手法としては、局所的な特徴量を用いた手法、又は、色若しくはエッジの統計量を用いるなどパターンとパターンを比較する手法であればいずれの手法でも適用可能である。また、プロセッサ４１は、１つだけでなく複数のマッチング処理の結果を組み合わせてもよい。
【００６８】
図３が示す例では、プロセッサ４１は、基準領域５２を抽出する。ここでは、プロセッサ４１は、荷物３１の画像の左上側の領域をリファレンス画像として基準領域５２を抽出する。リファレンス画像の大きさは、想定する荷物の大きさにあわせて決めればよい。または、プロセッサ４１は、複数の大きさに設定して複数のマッチング処理を行ってもよい。また、プロセッサ４１は、基準領域５２の角度として矢印５３を特定する。矢印５３は、基準領域５２の角度を示す。矢印５３は、基準領域５２にそれぞれ設定される。
【００６９】
なお、プロセッサ４１は、リファレンス画像と同一のパターンを持つ領域を抽出できない場合には、荷物領域の認識に失敗したと判定する。
【００７０】
基準領域及び方向を特定すると、プロセッサ４１は、基準領域及び方向などに基づいて１つの荷物３１が写る荷物領域を抽出する。
【００７１】
たとえば、プロセッサ４１は、基準領域を基準として荷物３１の形状を推定し荷物３１の境界を推定する。プロセッサ４１は、基準領域の外形と同一の矩形（長方形又は正方形）を設定し、当該矩形のサイズを変動させる。ここでは、プロセッサ４１は、リファレンス画像が荷物３１よりも小さいため、荷物領域の推定には当該矩形のサイズを縦横それぞれ拡大する。
【００７２】
プロセッサ４１は、当該矩形のサイズを拡大し、荷物群領域に最もフィットする矩形の領域を荷物領域として選択する。たとえば、プロセッサ４１は、荷物領域と荷物領域との重なりが少ないこと、荷物群領域に対して荷物領域がない領域が少ないこと及び荷物群領域に荷物領域がはみ出す量が少ないことなどを基準として、最もフィットする矩形の領域を選択する。プロセッサ４１は、各事項のバランスを取るために、各事項を示す各指標に所定の係数をかけて加算し、最もフィットする矩形の領域を選択してもよい。また、プロセッサ４１は、各指標を乗算又は除算してもよい。
【００７３】
なお、プロセッサ４１は、最もフィットする矩形の領域がない場合（たとえば、フィットを示す指標が閾値を超えない場合）、荷物領域の認識に失敗したと判定してもよい。
【００７４】
また、最もフィットする矩形の領域がない場合、プロセッサ４１は、再度パラメータなどを変えて認識する、又は、荷物３１が存在しない位置に限定して再度、矩形のサイズを推定する処理を再実施するなどして認識の失敗を少なくするようにしてもよい。
【００７５】
図３が示す例では、プロセッサ４１は、荷物領域５４を抽出する。図３が示すように、プロセッサ４１は、各荷物３１に対して荷物領域５４を抽出する。
【００７６】
また、プロセッサ４１は、３次元空間において荷物領域に対応する３Ｄ荷物領域を示す形状情報を生成する機能を有する。
【００７７】
プロセッサ４１は、撮影画像と距離情報とのキャリブレーションによって、荷物領域に対応する３Ｄ荷物領域を示す形状情報を生成する。
【００７８】
また、プロセッサ４１は、形状情報に基づいて、同種荷物群から荷物３１を把持する把持手法（第１の把持手法）に従って荷物３１の荷降ろしを行う第１の制御信号を把持部１２に送信する機能を有する。
【００７９】
プロセッサ４１は、形状情報に基づいて、把持計画を策定する。把持計画は、把持部１２が荷物３１を把持する位置（把持位置）及び順序などを示す。
【００８０】
たとえば、把持計画は、把持部１２から荷物３１への方向（Ｘ方向）において荷物領域と対面するエッジの中心部を把持位置として示す。即ち、把持計画は、把持部１２側から見た荷物領域のエッジの中心部を把持位置として示す。また、把持部１２がＺ方向から荷物３１を把持するものである場合、把持計画は、荷物領域の中心部を把持位置として示すものであってもよい。
【００８１】
また、把持計画は、把持する順序として、荷物３１を１つずつ順に把持すること示すものであってもよい。また、把持計画は、複数の荷物３１を同時に把持することを示すものであってもよい。
【００８２】
プロセッサ４１は、把持計画に従って荷物３１を把持して外部に排出する。即ち、プロセッサ４１は、把持計画に基づいて第１の制御信号を把持部１２に送信する。
【００８３】
たとえば、プロセッサ４１は、アーム部１１を用いて把持部１２を把持位置に移動させる。把持部１２を把持位置に移動させると、プロセッサ４１は、把持部１２の吸着パッド１３を用いて荷物３１を吸着する。
【００８４】
荷物３１を吸着すると、プロセッサ４１は、アーム部１１を用いて荷物３１を中間コンベア部１４の中間コンベア１４Ａまで移動させる。
【００８５】
この間に、プロセッサ４１は、第２のセンサ１６を用いて荷物３１の底面までの距離を測定する。プロセッサ４１は、測定した距離に基づいて荷物３１の高さを算出する。たとえば、プロセッサ４１は、把持部１２の高さ及び測定した距離などに基づいて荷物３１の高さを算出する。
【００８６】
荷物３１の高さを算出すると、プロセッサ４１は、中間コンベア昇降機構１４Ｂを用いて、荷物３１の高さに基づいて中間コンベア１４Ａを昇降させる。即ち、プロセッサ４１は、把持部１２によって把持された荷物３１の底面の高さと中間コンベア１４Ａの積載面の高さとがほぼ同一となるように中間コンベア１４Ａを昇降させる。プロセッサ４１は、同種荷物群から最初の荷物３１を把持する場合に中間コンベア１４Ａを昇降させる。
【００８７】
荷物３１を中間コンベア部１４の中間コンベア１４Ａまで移動させると、プロセッサ４１は、吸着パッド１３を解放して荷物３１を中間コンベア１４Ａ上に積載する。荷物３１を中間コンベア１４Ａ上に積載すると、プロセッサ４１は、アーム部１１を用いて、把持部１２を荷物３１及び中間コンベア１４Ａと衝突しない位置に退避させる。
【００８８】
把持部１２を退避させると、プロセッサ４１は、中間コンベア１４Ａを所定の高さ（排出位置）に昇降させる。たとえば、プロセッサ４１は、排出先であるメインコンベアの高さと同一となるように中間コンベア１４Ａを昇降させる。中間コンベア１４Ａを昇降させると、プロセッサ４１は、中間コンベア１４Ａを駆動させて荷物３１を外部に排出する。
【００８９】
プロセッサ４１は、把持計画に従って上記の動作を繰り返して各荷物３１を外部に排出する。
【００９０】
また、プロセッサ４１は、同種荷物群の荷物３１の荷物領域の特定に失敗した場合、混種荷物群の荷物３１を把持する把持手法（第２の把持手法）に従って荷物３１の荷降ろしを行う第２の制御信号を把持部１２に送信する機能を有する。
【００９１】
ここでは、パレット２１に積載される荷物３１の上段は、混種荷物群を形成しているものとする。図４は、混種荷物群を撮影した撮影画像の例を示す。
【００９２】
図４が示すように、パレット２１上に複数の荷物３１が一面に積載されている。複数の荷物３１は、互いに異なる種類の荷物である。ここでは、パレット２１上に７個の荷物３１が積載されているものとする。
【００９３】
プロセッサ４１は、同種荷物群の荷物３１の荷物領域の認識に失敗したと判定した場合、第１のセンサ１５を用いて荷物群３０の撮影画像及び距離情報を取得する。撮影画像及び距離情報を取得する動作例は、前述の通りである。
【００９４】
撮影画像及び距離情報を取得すると、プロセッサ４１は、撮影画像及び距離情報に基づいて荷物群領域を抽出する。荷物群領域を抽出する動作例は、前述の通りである。
【００９５】
図４が示す例では、プロセッサ４１は、荷物群領域６１を抽出する。
【００９６】
荷物群領域を抽出すると、プロセッサ４１は、荷物群領域に基づいて把持位置を決定する。
【００９７】
まず、プロセッサ４１は、把持部１２から荷物３１への方向（即ち、Ｘ方向）において把持部１２と対面するエッジ（候補エッジ）を荷物群領域の外枠から抽出する。たとえば、プロセッサ４１は、荷物群領域の輪郭を求め、輪郭の法線方向を求めることにより把持部１２側に向いている輪郭部分を抽出することで候補エッジを抽出できる。
【００９８】
図４が示す例では、把持部１２は、下方にあるものとする。図４が示すように、プロセッサ４１は、候補エッジ６２及び候補エッジ６３を抽出する。候補エッジ６２及び６３は、Ｘ方向において下部のエッジである。
【００９９】
候補エッジを抽出すると、プロセッサ４１は、候補エッジ上において把持位置を決定する。たとえば、プロセッサ４１は、候補エッジの終端において候補エッジに接して所定の荷物（たとえば、想定される最も小さい荷物）が配置されているものと仮定する。プロセッサ４１は、当該所定の荷物の幅に基づいて把持位置を決定する。たとえば、プロセッサ４１は、候補エッジの終端から所定の距離（たとえば、当該所定の荷物の幅の半分）離れた位置を把持位置として決定する。
【０１００】
また、把持部１２が荷物３１を上面から把持するものである場合、プロセッサ４１は、荷物群領域内に把持位置を設定してもよい。たとえば、プロセッサ４１は、荷物群領域の角に所定の荷物（たとえば、想定される最も小さい荷物）が配置されているものと仮定する。プロセッサ４１は、当該所定の荷物の中心部（たとえば、重心）を把持位置として決定する。
【０１０１】
プロセッサ４１が把持位置を決定する方法は、特定の方法に限定されるものではない。
【０１０２】
把持位置を決定すると、プロセッサ４１は、把持位置に基づいて荷物３１を把持して外部に排出する。即ち、プロセッサ４１は、把持位置に基づいて第２の制御信号を把持部１２に送信する。
【０１０３】
たとえば、プロセッサ４１は、アーム部１１を用いて把持部１２を把持位置に移動させる。把持部１２を把持位置に移動させると、プロセッサ４１は、把持部１２の吸着パッド１３を用いて荷物３１を吸着する。
【０１０４】
荷物３１を吸着すると、プロセッサ４１は、アーム部１１を用いて荷物３１を中間コンベア部１４の中間コンベア１４Ａまで移動させる。
【０１０５】
この間に、プロセッサ４１は、第２のセンサ１６を用いて荷物３１の底面までの距離を測定する。プロセッサ４１は、測定した距離に基づいて荷物３１の高さを算出する。たとえば、プロセッサ４１は、把持部１２の高さ及び測定した距離などに基づいて荷物３１の高さを算出する。
【０１０６】
荷物３１の高さを算出すると、プロセッサ４１は、中間コンベア昇降機構１４Ｂを用いて、荷物３１の高さに基づいて中間コンベア１４Ａを昇降させる。即ち、プロセッサ４１は、把持部１２によって把持された荷物３１の底面の高さと中間コンベア１４Ａの積載面の高さとがほぼ同一となるように中間コンベア１４Ａを昇降させる。プロセッサ４１は、混種荷物群から最初の荷物３１を把持する場合に中間コンベア１４Ａを昇降させてもよい。
【０１０７】
荷物３１を中間コンベア部１４の中間コンベア１４Ａまで移動させると、プロセッサ４１は、吸着パッド１３を解放して荷物３１を中間コンベア１４Ａ上に積載する。荷物３１を中間コンベア１４Ａ上に積載すると、プロセッサ４１は、アーム部１１を用いて、把持部１２を荷物３１及び中間コンベア１４Ａと衝突しない位置に退避させる。
【０１０８】
把持部１２を退避させると、プロセッサ４１は、中間コンベア１４Ａを排出位置に昇降させる。たとえば、プロセッサ４１は、排出先であるメインコンベアの高さと同一となるように中間コンベア１４Ａを昇降させる。中間コンベア１４Ａを昇降させると、プロセッサ４１は、中間コンベア１４Ａを駆動させて荷物３１を外部に排出する。
【０１０９】
プロセッサ４１は、上記の動作を繰り返して各荷物３１を外部に排出する。
【０１１０】
なお、プロセッサ４１は、同種荷物群の認識に成功した場合であっても、認識した荷物の個数が所定の閾値よりも少ない場合には、第２の把持手法で荷物３１を把持する。この動作によって、プロセッサ４１は、同種荷物群の認識において複数の荷物３１を１つの荷物として認識してしまった場合に、第２の把持手法で荷物３１を把持することができる。
【０１１１】
また、第２の把持手法は、第１の把持手法よりも低速な手法である。たとえば、第１の把持手法は、複数の荷物３１を同時に把持することもできるが、第２の把持手法は、１つずつ荷物３１を把持する。また、第１の把持手法において荷物３１を移動させる速度は、を第２の把持手法におけるそれよりも高速であってもよい。
【０１１２】
次に、荷降ろし装置１０の動作例について説明する。
【０１１３】
図５は、荷降ろし装置１０の動作例について説明するためのフローチャートである。
【０１１４】
まず、荷降ろし装置１０のプロセッサ４１は、荷物群３０の上段を同種荷物群として認識する（Ｓ１１）。
【０１１５】
認識に成功したと判定すると（Ｓ１２、ＹＥＳ）、プロセッサ４１は、荷物３１がパレット２１上にあるか判定する（Ｓ１３）。荷物３１がパレット２１上にあると判定すると（Ｓ１３、ＹＥＳ）、プロセッサ４１は、認識された荷物３１の個数が閾値より少ないか判定する（Ｓ１４）。
【０１１６】
認識された荷物３１の個数が閾値以上であると判定すると（Ｓ１４、ＮＯ）、プロセッサ４１は、同種荷物群の荷物３１を把持する第１の把持手法に従って上段の荷降ろしを行う（Ｓ１５）。同種荷物群から荷物３１を把持する第１の把持手法に従って上段の荷降ろしを行うと、プロセッサ４１は、Ｓ１１に戻る。
【０１１７】
認識に失敗したと判定した場合（Ｓ１２、ＮＯ）、又は、認識された荷物の個数が閾値より少ないと判定した場合（Ｓ１４、ＮＯ）、プロセッサ４１は、混種荷物群から荷物３１を把持する第２の把持手法に従って上段の荷降ろしを行う（Ｓ１６）。
【０１１８】
荷降ろしに成功すると（Ｓ１７、ＹＥＳ）、プロセッサ４１は、Ｓ１１に戻る。
【０１１９】
荷降ろしに失敗すると（Ｓ１７、ＮＯ）、プロセッサ４１は、荷降ろしに失敗したことを示すエラーを出力する（Ｓ１８）。
【０１２０】
荷物３１がパレット２１上にない（荷物３１を把持し終えた）と判定した場合（Ｓ１３、ＮＯ）、又は、荷降ろしに失敗したことを示すエラーを出力した場合（Ｓ１８）、プロセッサ４１は、動作を終了する。
【０１２１】
次に、プロセッサ４１が荷物群３０の上段を同種荷物群として認識する動作例（Ｓ１１）について説明する。
【０１２２】
図６は、プロセッサ４１が荷物群３０の上段を同種荷物群として認識する動作例（Ｓ１１）について説明するためのフローチャートである。
【０１２３】
まず、プロセッサ４１は、第１のセンサ１５を用いて撮影画像及び距離情報を取得する（Ｓ２１）。撮影画像及び距離情報を取得すると、プロセッサ４１は、撮影画像から荷物群領域を抽出する（Ｓ２２）。
【０１２４】
荷物群領域を抽出すると、プロセッサ４１は、基準領域及び方向を抽出する（Ｓ２３）。基準領域及び方向を抽出すると、プロセッサ４１は、各荷物領域を抽出する（Ｓ２４）。
【０１２５】
各荷物領域を抽出すると、プロセッサ４１は、各荷物領域に対応する各３Ｄ荷物領域を示す形状情報を生成する（Ｓ２５）。形状情報を生成すると、プロセッサ４１は、動作を終了する。
【０１２６】
次に、プロセッサ４１が同種荷物群から荷物３１を把持する第１の把持手法に従って上段の荷降ろしを行う動作例（Ｓ１５）について説明する。
【０１２７】
図７は、プロセッサ４１が同種荷物群から荷物３１を把持する第１の把持手法に従って上段の荷降ろしを行う動作例（Ｓ１５）について説明するためのフローチャートである。
【０１２８】
まず、プロセッサ４１は、形状情報を取得する（Ｓ３１）。形状情報を取得すると、プロセッサ４１は、形状情報に基づいて把持計画を策定する（Ｓ３２）。把持計画を策定すると、プロセッサ４１は、荷物３１に下端に中間コンベア１４Ａを昇降させる（Ｓ３３）。
【０１２９】
荷物３１に下端に中間コンベア１４Ａを昇降させると、プロセッサ４１は、把持部１２を荷物３１まで移動させる（Ｓ３４）。把持部１２を荷物３１まで移動させると、プロセッサ４１は、荷物３１を把持する（Ｓ３５）。
【０１３０】
荷物３１を把持すると、プロセッサ４１は、同種荷物群から最初の荷物３１を把持したか判定する（Ｓ３６）。同種荷物群から最初の荷物３１を把持したと判定すると（Ｓ３６、ＹＥＳ）、プロセッサ４１は、荷物３１を第２のセンサ１６の上部に移動させる（Ｓ３７）。
【０１３１】
荷物３１を第２のセンサ１６の上部に移動させると、プロセッサ４１は、第２のセンサ１６を用いて荷物３１の底面までの距離を測定する（Ｓ３８）。荷物３１の底面までの距離を測定すると、プロセッサ４１は、当該距離に基づいて荷物３１に下端に中間コンベア１４Ａを昇降させる（Ｓ３９）。
【０１３２】
同種荷物群から２個目以降の荷物３１を把持したと判定した場合（Ｓ３６、ＮＯ）、当該距離に基づいて荷物３１に下端に中間コンベア１４Ａを昇降させた場合（Ｓ３９）、プロセッサ４１は、荷物３１を中間コンベア１４Ａ上に移動させる（Ｓ４０）。
【０１３３】
荷物３１を中間コンベア１４Ａ上に移動させると、プロセッサ４１は、荷物３１を解放する（Ｓ４１）。荷物３１を解放すると、プロセッサ４１は、把持部１２を退避させる（Ｓ４２）。
【０１３４】
把持部１２を退避させると、プロセッサ４１は、中間コンベア１４Ａを排出位置に昇降させる（Ｓ４３）。中間コンベア１４Ａを排出位置に昇降させると、プロセッサ４１は、中間コンベア１４Ａを駆動して荷物３１を排出する（Ｓ４４）。
【０１３５】
荷物３１を排出すると、プロセッサ４１は、段の荷物を排出し終えたか判定する（Ｓ４５）。段の荷物を排出し終えていないと判定すると（Ｓ４５、ＮＯ）、プロセッサ４１は、Ｓ３３に戻る。
【０１３６】
段の荷物３１を排出し終えたと判定すると（Ｓ４５、ＹＥＳ）、プロセッサ４１は、動作を終了する。
【０１３７】
なお、プロセッサ４１は、同種荷物群から最初の荷物３１を把持する場合、Ｓ３３を実行しなくともよい。
【０１３８】
次に、プロセッサ４１が混種荷物群から荷物３１を把持する第２の把持手法に従って上段の荷降ろしを行う動作例（Ｓ１６）について説明する。
【０１３９】
図８は、プロセッサ４１が混種荷物群から荷物３１を把持する第２の把持手法に従って上段の荷降ろしを行う動作例（Ｓ１６）について説明するためのフローチャートである。
【０１４０】
まず、プロセッサ４１は、把持位置を決定する（Ｓ５１）。把持位置を決定すると、プロセッサ４１は、把持位置に基づいて、把持部１２を荷物３１まで移動させる（Ｓ５２）。把持部１２を荷物３１まで移動させると、プロセッサ４１は、荷物３１を把持する（Ｓ５３）。
【０１４１】
荷物３１を把持すると、プロセッサ４１は、荷物３１を第２のセンサ１６の上部に移動させる（Ｓ５４）。荷物３１を第２のセンサ１６の上部に移動させると、プロセッサ４１は、第２のセンサ１６を用いて荷物３１の底面までの距離を測定する（Ｓ５５）。
【０１４２】
荷物３１の底面までの距離を測定すると、プロセッサ４１は、当該距離に基づいて荷物３１に下端に中間コンベア１４Ａを昇降させる（Ｓ５６）。当該距離に基づいて荷物３１に下端に中間コンベア１４Ａを昇降させると、プロセッサ４１は、荷物３１を中間コンベア１４Ａ上に移動させる（Ｓ５７）。
【０１４３】
荷物３１を中間コンベア１４Ａ上に移動させると、プロセッサ４１は、荷物３１を解放する（Ｓ５８）。荷物３１を解放すると、プロセッサ４１は、把持部１２を退避させる（Ｓ５９）。
【０１４４】
把持部１２を退避させると、プロセッサ４１は、中間コンベア１４Ａを排出位置に昇降させる（Ｓ６０）。中間コンベア１４Ａを排出位置に昇降させると、プロセッサ４１は、中間コンベア１４Ａを駆動して荷物３１を排出する（Ｓ６１）。
【０１４５】
荷物３１を排出すると、プロセッサ４１は、段の荷物を排出し終えたか判定する（Ｓ６２）。段の荷物を排出し終えていないと判定すると（Ｓ６２、ＮＯ）、プロセッサ４１は、Ｓ５１に戻る。
【０１４６】
段の荷物３１を排出し終えたと判定すると（Ｓ６２、ＹＥＳ）、プロセッサ４１は、動作を終了する。
【０１４７】
なお、プロセッサ４１は、混種荷物群から最初の荷物３１を把持する場合に、Ｓ５４及びＳ５５を実行してもよい。また、この場合、プロセッサ４１は、Ｓ５３の後に所定の高さに中間コンベア１４Ａを昇降させてもよい。
【０１４８】
次に、プロセッサ４１が把持位置を決定する動作例（Ｓ５１）について説明する。
【０１４９】
図９は、プロセッサ４１が把持位置を決定する動作例（Ｓ５１）について説明するためのフローチャートである。
【０１５０】
まず、プロセッサ４１は、第１のセンサ１５を用いて撮影画像及び距離情報を取得する（Ｓ７１）。撮影画像及び距離情報を取得すると、プロセッサ４１は、撮影画像から荷物群領域を抽出する（Ｓ７２）。
【０１５１】
荷物群領域を抽出すると、プロセッサ４１は、荷物群領域の外枠から候補エッジを抽出する（Ｓ７３）。候補エッジを抽出すると、プロセッサ４１は、候補エッジに基づいて把持位置を決定する（Ｓ７４）。把持位置を決定すると、プロセッサ４１は、動作を終了する。
【０１５２】
なお、荷降ろし装置１０は、第１のセンサ１５の代わりに、撮影画像を取得するセンサと距離情報を取得するセンサとを備えてもよい。
【０１５３】
また、荷降ろし装置１０は、撮影画像を取得するセンサを複数個備えてもよい。また、荷降ろし装置１０は、距離情報を取得するセンサを複数個備えてもよい。
【０１５４】
また、荷降ろし装置１０は、複数個のアーム部及び複数個の把持部１２を備えてもよい。
【０１５５】
以上のように構成された荷降ろし装置は、荷物群の上段から荷降ろしを行う際に、段の荷物を同種荷物群として認識する。荷降ろし装置は、認識に成功した場合、同種荷物群に対応する第１の把持手法に従って上段の荷降ろしを行う。
【０１５６】
また、荷降ろし装置は、認識に失敗した場合、混種荷物群に対応する第２の把持手法に従って上段の荷降ろしを行う。
【０１５７】
そのため、荷降ろし装置は、荷物群に同種荷物群の段と混種荷物群の段とが混在する場合であっても、シームレスに荷降ろしを行うことができる。
【０１５８】
また、荷降ろし装置は、段が同種荷物群である場合には第１の把持手法を用いることで高速に荷降ろしを行うことができる。
【０１５９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１６０】
１０…荷降ろし装置、１１…アーム部、１１Ａ…アーム、１１Ｂ…アーム移動機構、１２…把持部、１３…吸着パッド、１４…中間コンベア部、１４Ａ…中間コンベア、１４Ｂ…中間コンベア昇降機構、１５…第１のセンサ、１６…第２のセンサ、１７…筐体、２１…パレット、３０…荷物群、３１…荷物、３２…第１の段、３３…第２の段、４１…プロセッサ、４２…ＲＯＭ、４３…ＲＡＭ、４４…ＮＶＭ、５１…荷物群領域、５２…基準領域、５３…矢印、５４…荷物領域、６１…荷物群領域、６２…候補エッジ、６３…候補エッジ、１１１…アーム部インターフェース、１１２…把持部インターフェース、１１４…中間コンベア部インターフェース、１１５…第１のセンサインターフェース、１１６…第２のセンサインターフェース。
【図１】
2020083584.tif 000003
【図２】
2020083584.tif 000004
【図３】
2020083584.tif 000005
【図４】
2020083584.tif 000006
【図５】
2020083584.tif 000007
【図６】
2020083584.tif 000008
【図７】
2020083584.tif 000009
【図８】
2020083584.tif 000010
【図９】
2020083584.tif 000011
【手続補正書】
【提出日】令和1年5月22日(2019.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
荷物群を撮影するセンサから撮影画像を取得するセンサインターフェースと、
前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部と通信する通信インターフェースと、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
認識した荷物に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行い、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行う、
プロセッサと、
を備える荷降ろし装置。
【請求項２】
前記プロセッサは、前記各荷物の認識に失敗した場合、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域に基づいて把持位置を決定し、前記把持位置に基づいて前記第２の把持手法に従って荷降ろしを行うよう制御する、
前記請求項１に記載の荷降ろし装置。
【請求項３】
前記プロセッサは、前記各荷物を認識した場合、前記第１の把持手法として、前記撮影画像から各荷物の荷物領域を抽出し、前記荷物領域に基づいて把持計画を策定し、前記把持計画に基づいて荷降ろしを行うよう制御する、
前記請求項１又は２に記載の荷降ろし装置。
【請求項４】
前記プロセッサは、前記第２の把持手法として、前記把持部から前記荷物への方向において前記把持部と対面する候補エッジを前記荷物群領域の外枠から抽出し、前記候補エッジに基づいて前記把持位置を決定する、
前記請求項２に記載の荷降ろし装置。
【請求項５】
前記プロセッサは、前記第２の把持手法として、前記候補エッジの終端から所定の距離離れた位置を前記把持位置として決定する、
前記請求項４に記載の荷降ろし装置。
【請求項６】
前記プロセッサは、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域において荷物の部分画像である所定のリファレンス画像に対応する基準領域を抽出し、前記基準領域に基づいて前記各荷物の荷物領域を抽出する、
前記請求項１乃至５の何れか１項に記載の荷降ろし装置。
【請求項７】
前記プロセッサは、前記同種荷物群として認識した荷物の個数が所定の閾値よりも少ないと、前記第２の把持手法に従って荷降ろしを行う、
前記請求項１乃至６の何れか１項に記載の荷降ろし装置。
【請求項８】
前記把持部と、
前記アーム部と、
前記センサと、を備える、
前記請求項１乃至７の何れか１項に記載の荷降ろし装置。
【請求項９】
前記把持部は、吸着パッドを備える、
前記請求項１乃至８の何れか１項に記載の荷降ろし装置。
【請求項１０】
荷物群を撮影するセンサから撮影画像を取得し、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
認識した荷物に対し、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部とを用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行い、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行う、
荷降ろし方法。
【請求項１１】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
荷物群を撮影するセンサから撮影画像を取得させ、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
認識した荷物に対し、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部とを用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行わせ、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行わせる、
プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
実施形態によれば、荷降ろし装置は、センサインターフェースと、通信インターフェースと、プロセッサと、を備える。センサインターフェースは、荷物群を撮影するセンサから撮影画像を取得する。通信インターフェースは、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部と通信する。プロセッサは、前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、認識した荷物に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行い、前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行う。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１５９
【補正方法】変更
【補正の内容】
【０１５９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に本件出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
荷物群を撮影するセンサから撮影画像を取得するセンサインターフェースと、
前記荷物群の荷物を把持する把持部と通信する把持部インターフェースと、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識し、
前記同種荷物群の各荷物の認識に成功した場合、前記把持部インターフェースを通じて、前記把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部インターフェースを通じて、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する、
プロセッサと、
を備える荷降ろし装置。
［Ｃ２］
前記プロセッサは、前記同種荷物群の各荷物の認識に失敗した場合、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域に基づいて把持位置を決定し、前記把持位置に基づいて前記第２の制御信号を前記把持部に送信する、
前記Ｃ１に記載の荷降ろし装置。
［Ｃ３］
前記プロセッサは、前記同種荷物群の各荷物の認識に成功した場合、前記第１の把持手法として、前記撮影画像から各荷物の荷物領域を抽出し、前記荷物領域に基づいて把持計画を策定し、前記把持計画に基づいて前記第１の制御信号を前記把持部に送信する、
前記Ｃ１又は２に記載の荷降ろし装置。
［Ｃ４］
前記プロセッサは、前記第２の把持手法として、前記把持部から前記荷物への方向において前記把持部と対面する候補エッジを前記荷物群領域の外枠から抽出し、前記候補エッジ上に前記把持位置を決定する、
前記Ｃ２に記載の荷降ろし装置。
［Ｃ５］
前記プロセッサは、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域において所定のリファレンス画像に対応する基準領域を抽出し、前記基準領域に基づいて前記同種荷物群の各荷物の荷物領域を抽出する、
前記Ｃ１乃至４の何れか１項に記載の荷降ろし装置。
［Ｃ６］
前記プロセッサは、前記同種荷物群の荷物の個数が所定の閾値よりも少ないと、混種荷物群に対応する第２の把持手法に従って前記第２の制御信号を前記把持部に送信する、
前記Ｃ１乃至５の何れか１項に記載の荷降ろし装置。
［Ｃ７］
前記把持部と、
前記把持部を移動させるアーム部と、
前記センサと、を備える、
前記Ｃ１乃至６の何れか１項に記載の荷降ろし装置。
［Ｃ８］
前記把持部は、吸着パッドを備える、
前記Ｃ１乃至７の何れか１項に記載の荷降ろし装置。
［Ｃ９］
荷物群を撮影したセンサから撮影画像を取得し、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識し、
前記同種荷物群の各荷物の認識に成功した場合、前記荷物群の荷物を把持する把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信し、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信する、
荷降ろし方法。
［Ｃ１０］
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
センサから荷物群を撮影した撮影画像を取得させ、
前記撮影画像から、同一種類の荷物から構成される同種荷物群の各荷物を認識させ、
前記同種荷物群の各荷物の認識に成功した場合、前記荷物群の荷物を把持する把持部に、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行う第１の制御信号を送信させ、
前記同種荷物群の各荷物の認識に失敗した場合、前記把持部に、異なる種類の荷物から構成される混種荷物群に対応する第２の把持手法に従って荷降ろしを行う第２の制御信号を送信させる、
プログラム。
【手続補正書】
【提出日】令和1年8月2日(2019.8.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
荷物群を撮影するセンサから撮影画像を取得するセンサインターフェースと、
前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部と通信する通信インターフェースと、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
前記同種荷物群として認識した荷物に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行うよう制御し、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行うよう制御する、
プロセッサと、
を備える荷降ろし装置。
【請求項２】
前記プロセッサは、前記荷物群に前記同種荷物群として認識されなかった荷物が含まれる場合、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域に基づいて把持位置を決定し、前記把持位置に基づいて前記第２の把持手法に従って荷降ろしを行うよう制御する、
前記請求項１に記載の荷降ろし装置。
【請求項３】
前記プロセッサは、前記各荷物を認識した場合、前記第１の把持手法として、前記撮影画像から各荷物の荷物領域を抽出し、前記荷物領域に基づいて把持計画を策定し、前記把持計画に基づいて荷降ろしを行うよう制御する、
前記請求項１又は２に記載の荷降ろし装置。
【請求項４】
前記プロセッサは、前記第２の把持手法として、前記把持部から前記荷物への方向において前記把持部と対面する候補エッジを前記荷物群領域の外枠から抽出し、前記候補エッジに基づいて前記把持位置を決定する、
前記請求項２に記載の荷降ろし装置。
【請求項５】
前記プロセッサは、前記第２の把持手法として、前記候補エッジの終端から所定の距離離れた位置を前記把持位置として決定する、
前記請求項４に記載の荷降ろし装置。
【請求項６】
前記プロセッサは、前記撮影画像から上段の荷物が写る荷物群領域を抽出し、前記荷物群領域において荷物の部分画像である所定のリファレンス画像に対応する基準領域を抽出し、前記基準領域に基づいて前記各荷物の荷物領域を抽出する、
前記請求項１乃至５の何れか１項に記載の荷降ろし装置。
【請求項７】
前記プロセッサは、前記同種荷物群として認識した荷物の個数が所定の閾値よりも少ないと、前記第２の把持手法に従って荷降ろしを行う、
前記請求項１乃至６の何れか１項に記載の荷降ろし装置。
【請求項８】
前記把持部と、
前記アーム部と、
前記センサと、を備える、
前記請求項１乃至７の何れか１項に記載の荷降ろし装置。
【請求項９】
前記把持部は、吸着パッドを備える、
前記請求項１乃至８の何れか１項に記載の荷降ろし装置。
【請求項１０】
荷物群を撮影するセンサから撮影画像を取得し、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
前記同種荷物群として認識した荷物に対し、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部とを用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行うよう制御し、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行うよう制御する、
荷降ろし方法。
【請求項１１】
プロセッサによって実行されるプログラムであって、
前記プロセッサに、
荷物群を撮影するセンサから撮影画像を取得させ、
前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、
前記同種荷物群として認識した荷物に対し、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部とを用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行うよう制御させ、
前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行うよう制御させる、
プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
実施形態によれば、荷降ろし装置は、センサインターフェースと、通信インターフェースと、プロセッサと、を備える。センサインターフェースは、荷物群を撮影するセンサから撮影画像を取得する。通信インターフェースは、前記荷物群の荷物を把持する把持部と前記把持部を移動させるアーム部と通信する。プロセッサは、前記撮影画像から、同一種類の荷物から構成される同種荷物群として各荷物を認識する処理を実行し、前記同種荷物群として認識した荷物に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記同種荷物群に対応する第１の把持手法に従って荷降ろしを行うよう制御し、前記同種荷物群として認識されなかった荷物が含まれる前記荷物群に対し、前記通信インターフェースを通じて、前記把持部及び前記アーム部を用いて、前記第１の把持手法と異なる第２の把持手法に従って荷降ろしを行うよう制御する。