(57)【要約】【課題】移動対象の荷物が置かれる特定の場所から外れた位置に荷物が置かれた場合に、当該荷物を検出することができる荷役装置及び荷役システムを提供する。【解決手段】実施形態の荷役装置は、移動装置と、センサ装置と、制御装置とを備える。移動装置は、第１の場所に置かれた荷物を把持し、把持した荷物を第２の場所に移動する。センサ装置は、前記移動装置の可動範囲の一部又は全部を含むセンシング範囲を上方からセンシングする。制御装置は、前記センサ装置のセンシング結果に基づいて、前記第１の場所及び前記第２の場所以外の位置に存在する荷物をリカバリ対象荷物として検出する。【選択図】図１
2020151781.tif 000002
【特許請求の範囲】
【請求項１】
第１の場所に置かれた荷物を把持し、把持した荷物を第２の場所に移動する移動装置と、
前記移動装置の可動範囲の一部又は全部を含むセンシング範囲を上方からセンシングするセンサ装置と、
前記センサ装置のセンシング結果に基づいて、前記第１の場所及び前記第２の場所以外の位置に存在する荷物をリカバリ対象荷物として検出する制御装置と、
を備える荷役装置。
【請求項２】
前記制御装置は、前記センサ装置のセンシング結果に基づいて、前記リカバリ対象荷物が存在する位置を検出する請求項１に記載の荷役装置。
【請求項３】
前記制御装置は、前記センサ装置のセンシング結果に基づいて、前記リカバリ対象荷物の姿勢を検出する請求項１に記載の荷役装置。
【請求項４】
前記制御装置は、前記センサ装置のセンシング結果に基づいて、前記リカバリ対象荷物の状態を可視化し、可視化した前記リカバリ対象荷物の状態を表示装置に表示させる、
請求項１〜３の何れか一項に記載の荷役装置。
【請求項５】
前記制御装置は、前記リカバリ対象荷物を、前記第１の場所又は前記第２の場所に移動させるリカバリ動作を実行するよう前記移動装置を制御する、請求項１〜４の何れか一項に記載の荷役装置。
【請求項６】
前記制御装置は、前記リカバリ動作の実行指示をオペレータから受け付けた場合に、前記リカバリ動作を前記移動装置に実行させる請求項５に記載の荷役装置。
【請求項７】
前記制御装置は、特定の前記リカバリ対象荷物を指定した前記実行指示をオペレータから受け付けた場合に、指定された前記リカバリ対象荷物に係る前記リカバリ動作を前記移動装置に実行させる請求項６に記載の荷役装置。
【請求項８】
前記制御装置は、前記リカバリ動作を前記移動装置に実行させることができない場合に、前記リカバリ動作を実行できないことを表示装置に表示させる請求項５〜７の何れか一項に記載の荷役装置。
【請求項９】
前記制御装置は、前記センサ装置のセンシング結果に基づいて、前記荷物とは異なる物体が存在する位置を検出し、検出した前記物体の位置を迂回する経路で、前記リカバリ動作を前記移動装置に実行させる請求項５〜８の何れか一項に記載の荷役装置。
【請求項１０】
前記センサ装置は、超音波又は電波を用いてセンシングを行うセンサ装置である請求項１に記載の荷役装置。
【請求項１１】
通信可能に接続された荷役装置と遠隔制御装置とを有する荷役システムであって、
前記荷役装置は、
第１の場所に置かれた荷物を把持し、把持した荷物を第２の場所に移動する移動装置と、
前記移動装置の可動範囲の一部又は全部を含むセンシング範囲を上方からセンシングするセンサ装置と、
前記センサ装置のセンシング結果に基づいて、前記第１の場所及び前記第２の場所以外の位置に存在する荷物をリカバリ対象荷物として検出する制御装置と、
を備え、
前記遠隔制御装置は、
前記制御装置で検出された前記リカバリ対象荷物の状態を表示する表示装置と、
前記リカバリ対象荷物を前記第１の場所又は前記第２の場所に移動させるリカバリ動作の実行を指示する操作をオペレータから受け付ける操作受付装置と、
を備え、
前記制御装置は、前記操作受付装置で前記操作が受け付けられた場合に、前記リカバリ動作を実行するよう前記移動装置を制御する荷役システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、荷役装置及び荷役システムに関する。
【背景技術】
【０００２】
従来、ロボットアーム等の移動装置を用いることで荷物の荷役（移動）が行われている。例えば、カメラで撮像した撮像画像から、特定の場所（以下、特定場所）に置かれた荷物の位置や姿勢を認識し、当該に荷物を把持して目的の場所に移動する装置が知られている。
【０００３】
ところで、上述した移動装置の構成では、特定場所に置かれた荷物が意図しない理由により、特定場所から外れた位置に置かれてしまうような場合がある。例えば、移動の途中で荷物が落下したような場合、その荷物は特定場所から外れた位置に置かれることになる。また、例えば、特定場所に置かれた荷物を把持又は移動する際に、ロボットアームが他の荷物に接触したような場合、他の荷物が特定場所から外れた位置に置かれてしまう可能性がある。
【０００４】
このように、特定場所から外れた位置に置かれた荷物は、移動装置により規定の動作で目的場所に移動させることができない。そのため、オペレータが特定場所から外れた位置にある荷物を目視等で検出し、目的場所や特定場所に移動させるリカバリ処理を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１８−１５８３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したリカバリ処理は人手で行うため煩雑であり、非効率的である。
【０００７】
また、特定場所から外れた位置に存在する荷物をカメラの撮像画像から検出（認識）することも考えられるが、カメラの撮像範囲は限定的であるため、特定場所から外れた位置にある荷物を捕捉できない可能性がある。さらには、カメラの特性（焦点距離、画素数等）は、荷物が置かれる特定場所の環境にあわせて設定されることが一般的であるため、特定場所から外れた位置に存在する荷物を撮像できたとしても、その荷物を検出できない可能性がある。
【０００８】
本発明が解決しようとする課題は、移動対象の荷物が置かれる特定の場所から外れた位置に荷物が置かれた場合に、当該荷物を検出することができる荷役装置及び荷役システムを提供することである。
【課題を解決するための手段】
【０００９】
実施形態の荷役装置は、移動装置と、センサ装置と、制御装置とを備える。移動装置は、第１の場所に置かれた荷物を把持し、把持した荷物を第２の場所に移動する。センサ装置は、前記移動装置の可動範囲の一部又は全部を含むセンシング範囲を上方からセンシングする。制御装置は、前記センサ装置のセンシング結果に基づいて、前記第１の場所及び前記第２の場所以外の位置に存在する荷物をリカバリ対象荷物として検出する。
【図面の簡単な説明】
【００１０】
【図１】図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。
【図２】図２は、図１に示した荷役システムを示す平面図である。
【図３】図３は、第１の実施形態に係る制御装置及びセンサ装置のハードウェア構成の一例を示す図である。
【図４】図４は、第１の実施形態に係る遠隔制御装置のハードウェア構成の一例を示す図である。
【図５】図５は、第１の実施形態に係る制御装置の機能構成の一例を示す図である。
【図６】図６は、第１の実施形態のパレット２から外れた位置に存在する荷物の状態の一例を示す図である。
【図７】図７は、第１の実施形態に係るリカバリ対象荷物の検出方法の一例を説明するための図である。
【図８】図８は、第１の実施形態に係るリカバリ対象荷物の位置の検出方法を説明するための図である。
【図９】図９は、第１の実施形態の制御装置が実行する処理の一例を示すフローチャートである。
【図１０】図１０は、第２の実施形態に係る制御装置及び遠隔制御装置の機能構成の一例を示す図である。
【図１１】図１１は、第２の実施形態の表示制御部によって表示された報知画面の一例を示す図である。
【図１２】図１２は、第２の実施形態の制御装置及び遠隔制御装置が実行する処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、実施形態に係る荷役装置及び荷役システムを、図面を参照して説明する。
【００１２】
（第１の実施形態）
図１は、第１の実施形態に係る荷役システムの構成の一例を示す図である。また、図２は、図１に示した荷役システムを示す平面図である。
【００１３】
荷役システム１は、図１に示すように、荷役装置１０と、カメラ２０と、センサ装置３０と、遠隔制御装置４０とを有する。ここで、荷役装置１０と、カメラ２０及びセンサ装置３０とは、例えば、シリアルケーブルやＬＡＮ（Local  Area  Network）等を介して接続される。また、荷役装置１０と遠隔制御装置４０とは、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）等のネットワークを介して通信可能に接続される。
【００１４】
荷役装置１０は、パレット２上に置かれた荷物Ｗ１をコンベア３に荷役（移動）するための装置である。荷物Ｗ１は、例えば直方体状又は立方体状に構成され、パレット２上に重ねた状態で載置される。パレット２は、例えば、フォークリフト等により、第１の場所に対応する床面Ｅの特定の場所に配置される。コンベア３は、例えばベルトコンベアである。コンベア３のうち、荷役装置１０が荷物Ｗ１を移動する目的の場所が、第２の場所に対応する。以下では、第１の場所をパレット２、第２の場所をコンベア３と表記して説明する。
【００１５】
パレット２及びコンベア３の上方には、カメラ２０が設けられている。具体的には、パレット２の上方には、撮像装置の一例である第１のカメラ２１が設けられている。また、コンベア３の上方には、第２のカメラ２２が設けられている。第１のカメラ２１及び第２のカメラ２２は、一例として３Ｄカメラである。
【００１６】
第１のカメラ２１は、パレット２を上方から撮像し、撮像によって得られた撮像画像を制御装置１２に出力する。第１のカメラ２１の撮像範囲Ａ２１は、少なくともパレット２を含むよう設定されており、例えばパレット２の上面に焦点が設定される。第２のカメラ２２は、コンベア３を上方から撮像し、撮像した画像を制御装置１２に出力する。第２のカメラ２２の撮像範囲Ａ２２は、少なくともコンベア３を含むよう設定されており、例えばコンベア３の上面に焦点が設定される。
【００１７】
また、パレット２の上方には、センサ装置の一例であるセンサ装置３０が設けられている。センサ装置３０は、超音波又は電波（ミリ波）を用いることで、例えばエコーロケーション技術等により、物体検出等のセンシングを行うセンサ装置である。センサ装置３０は、パレット２の上方から当該パレット２を含む範囲をセンシングし、そのセンシング結果を制御装置１２に出力する。
【００１８】
センサ装置３０のセンシング範囲Ａ３０は、荷役装置１０（後述する移動装置１１）の可動範囲の一部又は全部を包含するように設定される。ここで、可動範囲は、移動装置１１が荷物Ｗ１を把持及び移動することが可能な範囲を意味する。具体的には、可動範囲は、移動装置１１を中心としたパレット２及びコンベア３を包含する範囲を意味する。図１及び図２では、撮像範囲Ａ２１及び移動装置１１の可動範囲の一部を包含するコンベア３の近傍までをセンシング範囲Ａ３０とした例を示している。
【００１９】
なお、センサ装置３０は、第１のカメラ２１に近接した位置に設置することが好ましいが、これに限らず、他の位置（例えば、移動装置１１、第２のカメラ２２の上方等）に設置する形態としてもよい。また、センシング範囲Ａ３０は、第１のカメラ２１の撮像範囲Ａ２１を少なくとも含むように設定することが好ましい。
【００２０】
荷役装置１０は、図１に示すように、移動装置の一例である移動装置１１と、制御装置１２とを備える。移動装置１１は、パレット２に面する位置であって、且つ、コンベア３に面する位置に設置される。つまり、移動装置１１は、パレット２及びコンベア３を周囲に配置する位置に配置される。
【００２１】
移動装置１１は、基台１１１と、基台１１１に支持されたアーム部１１２と、アーム部１１２の先端に設けられた把持部１１３とを備える。
【００２２】
基台１１１は、床面Ｅに固定された筐体である。以下では、床面Ｅと平行な方向、すなわち重力の作用する方向に直交する方向を水平方向ともいう。また、床面Ｅに直交する方向、すなわち重力の作用する方向及びその逆方向を上下方向ともいう。
【００２３】
アーム部１１２は、一例として多関節ロボットアームである。アーム部１１２は、把持部１１３によって保持された荷物Ｗ１を上下方向に移動する動作、及び、水平方向に移動する動作を実行可能に構成されている。
【００２４】
例えば、アーム部１１２は、一軸又は２軸回りに回動可能な複数の関節により連結された３つの可動部（１１２ａ〜１１２ｃ）で構成される。ここで、可動部１１２ａの基端部は、基台１１１に対し上下方向に延びる軸回りに回動可能に連結される。また、可動部１１２ｂの基端部は、可動部１１２ａの先端部に対し、水平方向に延びる軸回りに回動可能に連結される。また、可動部１１２ｃの基端部は、可動部１１２ｂの先端部に対し、水平方向に延びる軸回りに回動可能に連結される。また、可動部１１２ｃの基端部は、可動部１１２ｂの先端部に対し、可動部１１２ｂの長手方向に延びる軸回りに回動可能に連結される。
【００２５】
アーム部１１２（可動部１１２ｃ）の先端には、把持部１１３が取り付けられている。把持部１１３は、１つの荷物Ｗ１を挟み込んで把持する。把持部１１３は、一対の爪部を備えるものであってもよい。なお、荷物Ｗ１の把持（保持）は、挟持による把持方法に限定されない。例えば、把持部１１３に代えて、負圧によって荷物Ｗ１を吸着把持する吸着部を用いてもよい。
【００２６】
制御装置１２は、移動装置１１の動作を制御する装置である。制御装置１２は、カメラ２０の撮像結果及びセンサ装置３０のセンシング結果に基づき、移動装置１１の動作を制御する。制御装置１２は、移動装置１１と一体的に設けられてもよいし、移動装置１１と別体として設けられてもよい。
【００２７】
遠隔制御装置４０は、移動装置１１の動作を遠隔から制御可能な装置である。遠隔制御装置４０は、オペレータにより操作され、制御装置１２と協働することで、移動装置１１の動作を遠隔から制御する。
【００２８】
なお、本実施形態では、移動装置１１と制御装置１２とを荷役装置１０とするが、これに限らず、カメラ２０及びセンサ装置３０を含めた構成を荷役装置１０と定義してもよい。また、遠隔制御装置４０を含めた構成を荷役装置１０と定義してもよい。
【００２９】
次に、上述した制御装置１２及び遠隔制御装置４０のハードウェア構成について説明する。図３は、制御装置１２及びセンサ装置３０のハードウェア構成の一例を示す図である。なお、図３では、制御装置１２に接続される各種装置のうち、センサ装置３０の構成例をあわせて示している。
【００３０】
制御装置１２は、図３に示すように、プロセッサ１２１、表示部１２２、操作部１２３、カメラコントローラ１２４、移動装置コントローラ１２５、センサコントローラ１２６、通信部１２７及び記憶部１２８を備える。
【００３１】
プロセッサ１２１は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）等の制御装置である。表示部１２２は、表示装置の一例であり、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部１２３は、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部１２３は、表示部１２２の画面上に設けられるタッチパネルであってもよい。
【００３２】
カメラコントローラ１２４は、第１のカメラ２１及び第２のカメラ２２に接続され、プロセッサ１２１の制御の下、第１のカメラ２１及び第２のカメラ２２の動作を制御する。移動装置コントローラ１２５は、移動装置１１に接続され、プロセッサ１２１の制御の下、移動装置１１の動作を制御する。センサコントローラ１２６は、センサ装置３０に接続され、プロセッサ１２１の制御の下、センサ装置３０の動作を制御する。
【００３３】
ここで、センサ装置３０は、図３に示すように、例えば、信号生成部３０１、オペアンプ３０２、送信アンテナ３０３、受信アンテナ３０４、オペアンプ３０５、混合器３０６及び演算・検波モジュール３０７等を備える。
【００３４】
信号生成部３０１は、使用する超音波又は電波の周波数に応じた周波数信号を生成する。信号生成部３０１で生成された周波数信号は、オペアンプ３０２を介して増幅された後、送信アンテナ３０３に入力される。また、信号生成部３０１で生成された周波数信号は、混合器３０６にも入力される。
【００３５】
送信アンテナ３０３及び受信アンテナ３０４、例えば一対のアンテナ素子３０ａとして形成され、アンテナ面に亘って複数個設けられる。ここで、アンテナ面は、床面Ｅに対向配置されるセンサ装置３０の面である。送信アンテナ３０３は、周波数信号に応じた超音波又は電波を送信波ｆ１として送信し、その反射波ｆ２を受信アンテナ３０４が受信する。受信アンテナ３０４で受信された反射波ｆ２は、オペアンプ３０２を介して増幅された後、反射波信号として混合器３０６に入力される。
【００３６】
混合器３０６は、入力された周波数信号及び反射波信号の両信号に対して乗算の演算を行い、それら信号（周波数）の差（又は和）を示す信号を演算・検波モジュール３０７に出力する。演算・検波モジュール３０７は、混合器３０６から入力される信号をアンテナ素子３０ａ毎に検波した後、検出信号としてセンサコントローラ１２６に出力する。
【００３７】
上記の構成により、センサ装置３０では、センシング範囲Ａ３０内に存在する物体をセンシングし、そのセンシング結果を検出信号として制御装置１２（センサコントローラ１２６）に出力する。かかる検出信号は、センシング範囲Ａ３０内に存在する物体の上面及び側面の形状を電波強度等で表したものとなる。なお、センサ装置３０の構成は、図３の構成例に限らず、物体検出に係る公知のセンサ構成を用いてもよい。
【００３８】
制御装置１２の通信部１２７は、遠隔制御装置４０等の外部装置と接続するための通信インタフェースである。通信部１２７は、プロセッサ１２１の制御の下、遠隔制御装置４０との間で各種データの授受を行う。
【００３９】
記憶部１２８は、例えば、ＲＡＭ（Random  Access  Memory）等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部１２８は、荷役装置１０の動作に係るプログラムや設定情報等を記憶する。また、記憶部１２８は、移動装置１１の上下方向及び水平方向の移動限界位置や、アーム部１１２の可動範囲等を示した限界情報を記憶する。また、記憶部１２８は、荷物Ｗ１の各辺のサイズや形状等を示した荷物情報を記憶する。
【００４０】
図４は、遠隔制御装置４０のハードウェア構成の一例を示す図である。遠隔制御装置４０は、図４に示すように、プロセッサ４０１、表示部４０２、操作部４０３、通信部４０４及び記憶部４０５を備える。
【００４１】
プロセッサ４０１は、ＣＰＵ、ＧＰＵ、ＡＳＩＣ等の制御装置である。表示部４０２は、表示装置の一例であり、例えば、液晶ディスプレイ、タッチパネル式ディスプレイ等の表示デバイス（出力装置）によって実現される。操作部４０３は、操作受付装置の一例であり、例えば、キーボードやポインティングデバイス等の入力デバイス（入力装置）によって実現される。なお、操作部４０３は、表示部４０２の画面上に設けられるタッチパネルであってもよい。
【００４２】
通信部４０４は、荷役装置１０（制御装置１２）等の外部装置に接続するための通信インタフェースである。通信部４０４は、プロセッサ４０１の制御の下、制御装置１２との間で各種データの授受を行う。
【００４３】
記憶部４０５は、例えば、ＲＡＭ等の主記憶装置、フラッシュメモリ等の半導体メモリ素子やハードディスク等の補助記憶装置によって実現される。記憶部４０５は、遠隔制御装置４０の動作に係るプログラムや設定情報等を記憶する。
【００４４】
次に、図５を参照して、制御装置１２の機能構成の構成について説明する。ここで、図５は、制御装置１２の機能構成の一例を示す図である。かかる機能構成は、プロセッサ１２１が、記憶部１２８に記憶されたプログラムを実行することで実現されるソフトウェア構成としてもよいし、プロセッサ１２１等が備える専用回路によって実現されるハードウェア構成であってもよい。
【００４５】
図５に示すように、制御装置１２は、取得部１２１１、認識部１２１２、計画部１２１３及び計画実行部１２１４を機能構成として備える。
【００４６】
取得部１２１１は、カメラコントローラ１２４を介して、カメラ２０で撮像された撮像画像を取得する。また、取得部１２１１は、センサコントローラ１２６を介して、センサ装置３０のセンシング結果（検出信号）を取得する。以下、第１のカメラ２１で撮像された撮像画像を第１の撮像画像、第２のカメラ２２で撮像された撮像画像を第２の撮像画像とも表記する。
【００４７】
認識部１２１２は、取得部１２１１が取得した第１の撮像画像に基づき、パレット２上に置かれた荷物Ｗ１を認識し、認識した荷物Ｗ１の一つを移動対象に設定する。例えば、認識部１２１２は、パレット２上に置かれた荷物Ｗ１のうち、一番高い位置に置かれた荷物Ｗ１を検出し、この荷物Ｗ１を移動対象に設定する。また、認識部１２１２は、取得部１２１１が取得した第２の撮像画像に基づき、移動装置１１によって移動された荷物Ｗ１がパレット２上に置かれたことを認識する。なお、荷物Ｗ１の認識方法は特に問わず、パターンマッチングや特定物体認識等、公知の技術を用いてもよい。
【００４８】
計画部１２１３は、移動装置１１のアーム部１１２及び把持部１１３の駆動機構を動作させるための行動計画を導出（算出）する。例えば、計画部１２１３は、移動対象に設定された荷物Ｗ１をコンベア３まで移動する最短経路を示した行動計画を導出する。なお、計画部１２１３は、記憶部１２８に記憶された移動装置１１の限界情報に基づいて行動計画の導出を行うものとする。
【００４９】
計画実行部１２１４は、実行部の一例である。計画実行部１２１４は、計画部１２１３で導出された行動計画に基づいて、移動装置１１の動作（駆動機構）を制御する。例えば、計画実行部１２１４は、行動計画に基づき移動装置１１の動作を制御することで、移動対象の荷物Ｗ１を行動計画に示された経路でコンベア３まで移動させる。
【００５０】
上述した機能構成により、荷役装置１０では、パレット２に置かれた荷物Ｗ１を、コンベア３に自動で荷役（移動）させることができる。
【００５１】
ところで、上述した荷役装置１０の構成では、パレット２に置かれた荷物Ｗ１が意図しない理由により、パレット２から外れた位置に置かれてしまうような場合がある。例えば、移動の途中で荷物Ｗ１が落下したような場合、その荷物Ｗ１はパレット２から外れた位置に置かれることになる。また、例えば、パレット２に置かれた荷物Ｗ１を把持又は移動する際に、把持部１１３が他の荷物Ｗ１に接触した等の理由によりパレット２から落下したような場合、その荷物Ｗ１はパレット２から外れた位置に置かれることになる。
【００５２】
このように、パレット２から外れた位置に置かれた荷物Ｗ１は、移動装置１１による規定の動作でコンベア３に移動させることができない。そのため、オペレータが目視等で荷物Ｗ１を検出し、パレット２やコンベア３に移動させるリカバリ処理を行う必要があるが、人手で行うため煩雑であり非効率的である。
【００５３】
また、パレット２から外れた位置に存在する荷物Ｗ１を第１の撮像画像から検出（認識）することも考えられるが、第１のカメラ２１の撮像範囲Ａ２１は限定的であるため、パレット２から外れた位置にある荷物Ｗ１を捕捉できない可能性がある。
【００５４】
ここで、図６は、パレット２から外れた位置に存在する荷物Ｗ１の状態の一例を示す図である。図６に示すように、例えば、移動途中の落下により、荷物Ｗ１が撮像範囲Ａ２１の外部に位置してしまうと、第１の撮像画像には荷物Ｗ１が含まれないため、当該荷物Ｗ１自体を検出することはできない。
【００５５】
さらには、第１のカメラ２１の特性（焦点距離、画素数等）は、パレット２の環境にあわせて設定されているため、パレット２から外れた位置に存在する荷物Ｗ１を撮像できたとしても、その荷物Ｗ１を検出できない可能性がある。
【００５６】
そこで、本実施形態の荷役装置１０では、荷物Ｗ１がパレット２から外れた位置に置かれたような場合に、その荷物Ｗ１を検出し、自動でコンベア３に移動させることが可能なリカバリ機能を備えている。具体的には、制御装置１２は、リカバリ機能に係る機能構成として、図５に示した検出部１２１５及びリカバリ処理部１２１６を備えている。
【００５７】
検出部１２１５は、取得部１２１１が取得したセンサ装置３０の検出信号を解析することで、パレット２から外れた位置に存在する荷物Ｗ１をリカバリ対象荷物Ｗ２として検出する。具体的には、検出部１２１５は、センシング範囲Ａ３０のうち、パレット２及びコンベア３以外の位置に存在する荷物Ｗ１を検出し、当該荷物Ｗ１をリカバリ対象荷物Ｗ２に設定する。
【００５８】
ここで、リカバリ対象荷物Ｗ２を検出する方法は特に問わず、種々の方法を採用することが可能である。例えば、記憶部１２８に記憶された荷物Ｗ１の荷物情報を用いて、撮像範囲Ａ２１の外部に存在する物体と形状比較を行うことで、リカバリ対象荷物Ｗ２を検出することができる。
【００５９】
図７を参照して、リカバリ対象荷物Ｗ２の検出方法の一例について説明する。図７は、リカバリ対象荷物Ｗ２の検出方法の一例を説明するための図である。
【００６０】
上述したように、センサ装置３０は、センシング範囲Ａ３０を上方からセンシングすることで、センシング範囲Ａ３０内に存在する物体の形状をセンシング結果として取得する。より具体的には、センサ装置３０は、センシング範囲Ａ３０の各位置（検出点）で反射した送信波ｆ１の反射波ｆ２を受信し、その送信波ｆ１及び反射波ｆ２の差分等から、センシング範囲Ａ３０内に存在する物体の上面及び側面の形状を電波強度等の測定値として取得する。本実施形態では、複数のアンテナ素子３０ａを用いて送信波ｆ１及び反射波ｆ２の送受信を行う構成であるため、各検出点の電波強度を３次元的に捉えることができ、物体の表面の形状を精度よく取得することができる。
【００６１】
一方、移動途中の落下等により、荷物Ｗ１（リカバリ対象荷物Ｗ２）がパレット２から外れた位置に存在する場合（図６参照）、リカバリ対象荷物Ｗ２は、傾斜を有する等の不定な状態で床面Ｅの上に置かれることになる。ここで、センシング範囲Ａ３０は、撮像範囲Ａ２１よりも大きな範囲を有するため、センサ装置３０のセンシング結果には、リカバリ対象荷物Ｗ２の形状も含まれることになる。
【００６２】
例えば、リカバリ対象荷物Ｗ２が、図７（ａ）の状態で床面Ｅに置かれているとすると、センサ装置３０による送信波ｆ１及び反射波ｆ２の送受信により、リカバリ対象荷物Ｗ２の形状Ｆ１が、各検出点Ｐ１での電波強度の分布として取得される（図７（ｂ）参照）。ここでは、各検出点Ｐ１での電波強度を濃淡で示しており、検出点Ｐ１の各位置とその電波強度との関係から、リカバリ対象荷物Ｗ２の表面の形状Ｆ１を抽出することができる。
【００６３】
なお、センサ装置３０のセンシング結果には、パレット２、移動装置１１及び床面Ｅ等の形状も含まれるため、検出部１２１５は、これらの形状を場外した結果を、パレット２から外れた位置に存在する物体の形状として抽出する。
【００６４】
例えば、検出部１２１５は、パレット２の範囲に対応する位置の信号成分や、床面Ｅの高さに対応する信号成分、移動装置１１及び移動装置１１によって移動中の荷物Ｗ１に対応する信号成分を除外することで、パレット２から外れた位置に存在する物体の形状を抽出する。
【００６５】
次いで、検出部１２１５は、抽出した物体の形状と、記憶部１２８に記憶された荷物情報に基づく荷物Ｗ１の形状とを３次元的に照合し、その物体が荷物Ｗ１か否かを判定する。例えば、物体の形状が、図７（ｂ）の形状Ｆ１であり、荷物Ｗ１の形状が、図７（ｃ）の形状Ｆ２で表される場合、検出部１２１５は、形状Ｆ２の姿勢（角度）や縮尺を変更しながら形状Ｆ１と比較することでその類似度を算出する。そして、姿勢や縮尺を変更した形状Ｆ２’と形状Ｆ１との類似度が所定の閾値以上となる場合、検出部１２１５は、形状Ｆ１の物体をリカバリ対象荷物Ｗ２として検出する。また、検出部１２１５は、形状Ｆ２’の姿勢（角度）に基づき、リカバリ対象荷物Ｗ２の姿勢を検出する。
【００６６】
なお、検出部１２１５は、荷物Ｗ１の形状に対応しない物体については、その物体を障害物として検知する。また、形状Ｆ２（形状Ｆ２’）に対応する物体が複数個存在する場合には、当該物体の各々をリカバリ対象荷物Ｗ２として検出する。
【００６７】
また、検出部１２１５は、検出信号を解析することで、リカバリ対象荷物Ｗ２の位置を検出する。例えば、検出部１２１５は、図８に示すように、センシング範囲Ａ３０内での移動装置１１の位置と、センシング範囲Ａ３０内でのリカバリ対象荷物Ｗ２の検出位置との関係から、移動装置１１を基準としたリカバリ対象荷物Ｗ２の存在位置を検出（特定）する。なお、図８は、リカバリ対象荷物Ｗ２の位置の検出方法を説明するための図である。
【００６８】
ここで、移動装置１１を基準としたリカバリ対象荷物Ｗ２の存在位置は、例えば、移動装置１１とリカバリ対象荷物Ｗ２との距離Ｂ１や、移動装置１１から見たリカバリ対象荷物Ｗ２の存在方向（角度Ｂ２）、リカバリ対象荷物Ｗ２が置かれた高さＢ３等の情報を含む。角度Ｂ２は、移動装置１１（可動部１１２ａ）が回動可能な水平方向の角度のうち、所定の回動開始位置又は現在の回動位置の角度を基準に特定される。また、高さＢ３は、床面Ｅからの高さで表されてもよい。
【００６９】
なお、検出部１２１５がリカバリ対象荷物Ｗ２の検出を行うタイミングは特に問わず、任意に設定することが可能である。例えば、検出部１２１５は、検出信号の解析を常時又は一定時間毎に行うことで、センシング範囲Ａ３０の状態を監視する形態としてもよい。
【００７０】
また、検出部１２１５は、荷物Ｗ１の落下が予測される事象（以下、落下事象）が発生した場合に、リカバリ対象荷物Ｗ２の検出を行う形態としてもよい。例えば、検出部１２１５は、移動装置１１によりパレット２上の荷物Ｗ１の移動が開始されたにもかかわらず、コンベア３に到達する前に把持部１１３の把持圧力が消失したような場合に、落下事象が発生したと判断してもよい。また、検出部１２１５は、移動装置１１によりパレット２上の荷物Ｗ１の移動が開始されたにもかかわらず、所定時間以内に第２の撮像画像から荷物Ｗ１が認識されないような場合に、落下事象が発生したと判断してもよい。また、検出部１２１５は、第１の撮像画像から認識された荷物Ｗ１各々のレイアウトが変化したような場合に、落下事象が発生したと判断してもよい。
【００７１】
また、リカバリ対象荷物Ｗ２の検出は、第１のカメラ２１（又は第２のカメラ２２）の撮像画像を併用して行ってもよい。例えば、検出部１２１５は、落下事象が発生したと判断した場合、まず第１の撮像画像を用いてリカバリ対象荷物Ｗ２を検出する。そして、検出部１２１５は、撮像画像からリカバリ対象荷物Ｗ２を検出できない場合や、リカバリ対象荷物Ｗ２の位置及び姿勢等を検出するような場合に、センサ装置３０のセンシング結果を用いる構成としてもよい。この場合、撮像画像からのリカバリ対象荷物Ｗ２の検出は、認識部１２１２と協働することで実現することができる。
【００７２】
また、障害物の検出についても、第１のカメラ２１（又は第２のカメラ２２）の撮像画像を併用して行ってもよい。例えば、検出部１２１５は、撮像画像からノイズ等を検出（認識）した場合に、センサ装置３０のセンシング結果を用いて、当該ノイズが障害物か否かを判定する構成としてもよい。これにより、例えば、撮像画像中に含まれたノイズが、第１のカメラ２１のレンズ汚れ等であっても、センサ装置３０のセンシング結果を用いて障害物か否かを判別することができるため、障害物の検出を精度よく行うことができる。なお、この場合も、撮像画像からのノイズの検出は、認識部１２１２と協働することで実現することができる。
【００７３】
図５に戻り、リカバリ処理部１２１６は、検出部１２１５で検出されたリカバリ対象荷物Ｗ２をコンベア３に移動させるリカバリ動作を移動装置１１に実行させる。
【００７４】
具体的には、リカバリ処理部１２１６は、検出部１２１５で検出されたリカバリ対象荷物Ｗ２の位置までアーム部１１２を移動させる経路や、当該位置からコンベア３に移動するまでの経路を示した行動計画を計画部１２１３に導出させる。
【００７５】
また、リカバリ処理部１２１６は、行動計画の導出に際し、検出部１２１５で検出されたリカバリ対象荷物Ｗ２の姿勢に基づき、リカバリ対象荷物Ｗ２を把持する際の把持部１１３の角度を制御する。本実施形態では荷物Ｗ１は直方体状又は立方体状であるため、例えば、リカバリ処理部１２１６は、リカバリ対象荷物Ｗ２を構成する６面のうち、対向する両面を挟み込むことができるようにアーム部１１２又は把持部１１３の角度を制御する。これにより、リカバリ動作でリカバリ対象荷物Ｗ２を把持する際に、リカバリ対象荷物Ｗ２をより確実に把持（保持）することができる。
【００７６】
また、検出部１２１５で障害物が検出された場合には、リカバリ処理部１２１６は、その障害物の位置情報に基づき、障害物が存在する位置を迂回する経路を計画部１２１３に導出させる。これにより、リカバリ動作でリカバリ対象荷物Ｗ２を移動する際に、アーム部１１２等が障害物に衝突してしまうことを回避することができる。
【００７７】
さらに、検出部１２１５は、検出部１２１５で複数のリカバリ対象荷物Ｗ２が検出された場合、リカバリ対象荷物Ｗ２毎に行動計画を導出させる。この場合、コンベア３に移動させるリカバリ対象荷物Ｗ２の順序（以下、リカバリ順序）は特に問わないものとする。例えば、移動装置１１から近いものから順次移動させてもよい。また、或る位置に存在するリカバリ対象荷物Ｗ２が、他の位置に存在するリカバリ対象荷物Ｗ２のリカバリ動作の妨げとなる等、リカバリ対象荷物Ｗ２間の位置関係からリカバリ動作を行う順序を決定することが好ましい場合には、リカバリ対象荷物Ｗ２間の位置関係からリカバリ順序を決定してもよい。
【００７８】
そして、リカバリ処理部１２１６は、リカバリ対象荷物Ｗ２の行動計画を計画実行部１２１４に実行させることで、リカバリ対象荷物Ｗ２のリカバリ動作を移動装置１１に実行させる。これにより、リカバリ対象荷物Ｗ２をコンベア３に移動させるリカバリ処理を自動で行うことができる。なお、本実施形態では、リカバリ対象荷物Ｗ２のリカバリ動作として、コンベア３に移動させる構成とするが、これに限らず、パレット２に移動させてもよい。
【００７９】
なお、リカバリ対象荷物Ｗ２が移動装置１１の可動範囲外にある等の理由により、リカバリ対象荷物Ｗ２の行動計画を計画部１２１３で導出することができない場合には、リカバリ処理部１２１６はリカバリ不可と判断しオペレータに対し報知を行うものとする。
【００８０】
ここで、報知方法は特に問わず、種々の方法を採用することができる。例えば、自装置の表示部１２２にリカバリ対象荷物Ｗ２を検出したことを報知する画面を表示させてもよい。また、例えば、遠隔制御装置４０の表示部１２２にリカバリ対象荷物Ｗ２を検出したことを報知する画面を表示させてもよい。
【００８１】
次に、図９を参照して、制御装置１２の動作例について説明する。ここで、図９は、制御装置１２が実行する処理の一例を示すフローチャートである。なお、本処理の前提として、カメラ２０で撮像された撮像画像及びセンサ装置３０のセンシング結果の取得が取得部１２１１で行われているものとする。
【００８２】
まず、認識部１２１２は、第１のカメラで撮像された第１の撮像画像からパレット２上に置かれた荷物Ｗ１を認識し、認識した荷物Ｗ１の一つを移動対象に設定する（ステップＳ１１）。次いで、計画部１２１３は、ステップＳ１２で移動対象に設定された荷物Ｗ１をコンベア３まで移動するまでの行動計画を導出する（ステップＳ１２）。計画実行部１２１４は、ステップＳ１２で導出された行動計画に基づき移動装置１１を動作させることで、移動対象に設定された荷物Ｗ１の移動を開始する（ステップＳ１３）。
【００８３】
続いて、検出部１２１５は、荷物Ｗ１の落下事象が発生したか否かを判定する（ステップＳ１４）。例えば、検出部１２１５は、荷物Ｗ１の移動開始後、第２の撮像画像から所定時間以内に荷物Ｗ１が認識されたか否かに応じて、落下事象の発生有無を判定する。落下事象が発生していないと判定した場合（ステップＳ１４；Ｎｏ）、ステップＳ２４に直ちに移行する。
【００８４】
一方、落下事象が発生したと判定した場合（ステップＳ１４；Ｙｅｓ）、検出部１２１５は、認識部１２１２と協働することで、カメラ２０で撮像された撮像画像のうち、荷物Ｗ１が置かれる所定場所（パレット２、コンベア３）以外の位置で、荷物Ｗ１つまりリカバリ対象荷物Ｗ２を検出したか否かを判定する（ステップＳ１５）。ここで、撮像画像からリカバリ対象荷物Ｗ２が認識された場合、検出部１２１５は、リカバリ対象荷物Ｗ２を検出したと判断し（ステップＳ１５；Ｙｅｓ）、ステップＳ１７に移行する。
【００８５】
また、撮像画像からリカバリ対象荷物Ｗ２を検出できない場合（ステップＳ１５；Ｎｏ）、検出部１２１５は、センサ装置３０のセンシング結果に基づき、リカバリ対象荷物Ｗ２を検出したか否かを判定する（ステップＳ１６）。ここで、センシング結果からリカバリ対象荷物Ｗ２を検出した場合には（ステップＳ１６；Ｙｅｓ）、ステップＳ１７に移行する。また、ステップＳ１６でリカバリ対象荷物Ｗ２が検出されない場合（ステップＳ１６；Ｎｏ）、ステップＳ２５に移行する。なお、ステップＳ１６でリカバリ対象荷物Ｗ２が検出されない場合、遠隔制御装置４０等に報知を行った後、本処理を終了する形態としてもよい。
【００８６】
ステップＳ１７において、検出部１２１５は、リカバリ対象荷物Ｗ２の形状と、荷物情報に示された荷物Ｗ１の形状とを比較することで、リカバリ対象荷物Ｗ２の姿勢を検出する（ステップＳ１７）。また、検出部１２１５は、移動装置１１とリカバリ対象荷物Ｗ２との位置関係に基づき、移動装置１１を基準としたリカバリ対象荷物Ｗ２の位置を検出する（ステップＳ１８）。
【００８７】
続いて、検出部１２１５は、カメラ２０の撮像画像やセンサ装置３０のセンシング結果に基づき、障害物の有無を判定する（ステップＳ１９）。ここで、障害物が存在すると判定した場合（ステップＳ１９；Ｙｅｓ）、検出部１２１５は、その障害物の位置を検出し（ステップＳ２０）、ステップＳ２１に移行する。また、障害物が存在しない場合には、ステップＳ２１に直ちに移行する。
【００８８】
続いて、リカバリ処理部１２１６は、検出部１２１５で検出されたリカバリ対象荷物Ｗ２の姿勢や位置、障害物の位置等に基づき、リカバリ対象荷物Ｗ２のリカバリ動作に係る行動計画を計画部１２１３に導出させる（ステップＳ２１）。ここで、移動装置１１の動作限界等により行動計画を導出することができない場合（ステップＳ２２；Ｎｏ）、リカバリ処理部１２１６は、遠隔制御装置４０等にリカバリ対象荷物Ｗ２の検出を報知した後（ステップＳ２３）、本処理を終了する。
【００８９】
一方、行動計画を導出することができた場合（ステップＳ２２；Ｙｅｓ）、リカバリ処理部１２１６は、その行動計画を計画実行部１２１４に実行させることで、リカバリ対象荷物Ｗ２のリカバリ動作を移動装置１１に開始させる（ステップＳ２４）。そして、リカバリ処理部１２１６は、リカバリ対象荷物Ｗ２のリカバリ動作が完了した後、ステップＳ２５に移行する。
【００９０】
続いて、リカバリ処理部１２１６は、認識部１２１２と協働することで、パレット２上に荷物Ｗ１が存在するか否かを判定する（ステップＳ２５）。パレット２上に荷物Ｗ１が存在する場合（ステップＳ２５；Ｙｅｓ）、リカバリ処理部１２１６は、ステップＳ１１に処理を戻すことで荷物Ｗ１の移動を継続する。一方、パレット２上に荷物Ｗ１が存在しない場合には（ステップＳ２５；Ｎｏ）、リカバリ対象荷物Ｗ２の移動が完了したと判断し、本処理を終了する。
【００９１】
このように、第１の実施形態に係る荷役システム１によれば、第１のカメラ２１の撮像範囲を包含するセンシング範囲のセンシング結果に基づき、荷物Ｗ１の検出を行う。これにより、パレット２から外れた位置に存在する荷物Ｗ１（リカバリ対象荷物Ｗ２）を精度よく検出することができる。
【００９２】
また、第１の実施形態に係る荷役システム１によれば、リカバリ対象荷物Ｗ２が検出された場合に、リカバリ対象荷物Ｗ２の検出結果に基づき、移動装置１１を用いてコンベア３に移動させるリカバリ動作を自動で行う。これにより、オペレータの手間を省くことができるとともに、移動装置１１を用いた荷物Ｗ１の荷役（移動）を効率的に行うことができる。
【００９３】
（変形例１）
上述の実施形態では、予め記憶された荷物Ｗ１の形状Ｆ２を用いて、リカバリ対象荷物Ｗ２の姿勢等を検出する形態としたが、他の方法を用いて検出してもよい。以下、本実施形態の変形例として、リカバリ対象荷物Ｗ２の他の検出方法について説明する。
【００９４】
本変形例では、リカバリ対象荷物Ｗ２の位置と、当該位置で検出されたリカバリ対象荷物Ｗ２の姿勢との間の関係を学習した学習済モデルを用いて、リカバリ対象荷物Ｗ２の姿勢を検出（推論）する形態について説明する。
【００９５】
一例として、実際に検出されたリカバリ対象荷物Ｗ２の位置及び姿勢の要素を学習用データとして用意し、当該要素間の関係を機械学習させることで、リカバリ対象荷物Ｗ２の位置からその姿勢を推論することが可能な学習済モデルを作成する。この場合、検出部１２１５は、リカバリ対象荷物Ｗ２の位置を学習済モデルに入力することで、当該学習済モデルの出力結果に基づき、そのリカバリ対象荷物Ｗ２の姿勢を検出（推論）することができる。
【００９６】
また、他の例として、センサ装置３０のセンシング結果、当該センシング結果から検出されたリカバリ対象荷物Ｗ２の位置及び姿勢の要素を学習用データとして用意し、当該要素間の関係を機械学習させることで、センシング結果及びリカバリ対象荷物Ｗ２の位置からその姿勢を推論することが可能な学習済モデルを作成する。この場合、検出部１２１５は、センサ装置３０のセンシング結果と、当該センシング結果から検出したリカバリ対象荷物Ｗ２の位置を学習済モデルに入力することで、当該学習済モデルの出力結果に基づき、そのリカバリ対象荷物Ｗ２の姿勢を検出（推論）することができる。
【００９７】
また、この場合、センサ装置３０のセンシング結果、当該センシング結果から検出されたリカバリ対象荷物Ｗ２の位置及び姿勢の要素間の関係を機械学習させることで、センシング結果から、リカバリ対象荷物Ｗ２の位置及び姿勢を推論することが可能な学習済モデルを作成してもよい。この場合、検出部１２１５は、センサ装置３０のセンシング結果を学習済モデルに入力することで、当該学習済モデルの出力結果に基づき、そのリカバリ対象荷物Ｗ２の位置及び姿勢を検出（推論）することができる。
【００９８】
また、学習用データの要素は、上記の要素に限らず他の要素を含めてもよい。例えば、荷物Ｗ１の形状や移動装置１１の特性、カメラ２０及びセンサ装置３０の特性等の他の要素を学習用データに含めて機械学習させてもよい。この場合、検出部１２１５は、他の要素を含めて学習済モデルに入力することで、当該学習済モデルの出力結果に基づき、そのリカバリ対象荷物Ｗ２の姿勢を検出（推論）することができる。
【００９９】
なお、学習済モデルは、制御装置１２（プロセッサ１２１）で作成する構成としてもよいし、遠隔制御装置４０等の他の装置で作成される構成としてもよい。例えば、遠隔制御装置４０で学習済モデルを作成するような場合、遠隔制御装置４０は、荷役装置１０毎に学習済モデルを作成してもよいし、複数の荷役装置１０で検出されたリカバリ対象荷物Ｗ２の位置及び姿勢の検出結果から一の学習済モデルを作成してもよい。
【０１００】
（変形例２）
上述した第１の実施形態では、リカバリ対象荷物Ｗ２の検出や行動計画の導出を制御装置１２が行う構成としたが、これに限らず、遠隔制御装置４０が行う形態としてもよい。具体的には、遠隔制御装置４０が、制御装置１２の機能構成（例えば、検出部１２１５、リカバリ処理部１２１６）を備えることで、制御装置１２経由で取得したセンサ装置３０のセンシング結果に基づいて、リカバリ対象荷物Ｗ２の検出や行動計画の導出を行う構成としてもよい。
【０１０１】
（第２の実施形態）
次に第２の実施形態について説明する。本実施形態では、オペレータからの指示に応じてリカバリ動作を実行可能な形態について説明する。なお、以下の説明では、第１の実施形態と同様の構成については同一の符号を付与し説明を省略する。
【０１０２】
図１０は、第２の実施形態に係る制御装置１２及び遠隔制御装置４０の機能構成の一例を示す図である。
【０１０３】
制御装置１２は、図１０に示すように、取得部１２１１、認識部１２１２、計画部１２１３、計画実行部１２１４、検出部１２１５及びリカバリ処理部１２１６ａを機能構成として備える。かかる機能構成は、プロセッサ１２１が、記憶部１２８に記憶されたプログラムを実行することで実現されるソフトウェア構成としてもよいし、プロセッサ１２１等が備える専用回路によって実現されるハードウェア構成であってもよい。
【０１０４】
リカバリ処理部１２１６ａは、上述した第１の実施形態のリカバリ処理部１２１６と同様の機能を有する。また、リカバリ処理部１２１６ａは、検出部１２１５でリカバリ対象荷物Ｗ２が検出された場合に、リカバリ対象荷物Ｗ２が検出されたことを報知する報知情報を遠隔制御装置４０に送信する。
【０１０５】
ここで、報知情報は、例えば第１のカメラ２１で撮像された撮像画像や、センサ装置３０のセンシング結果を含む。また、報知情報は、検出部１２１５で検出されたリカバリ対象荷物Ｗ２及び障害物の位置や姿勢を示す情報を含む。また、報知情報は、計画部１２１３で導出されたリカバリ動作の行動計画や、リカバリ対象荷物Ｗ２のリカバリ順序を含んでもよい。なお、計画部１２１３でリカバリ動作の行動計画を導出することができなかった場合には、報知情報に、リカバリ不可を示す情報を含めるものとする。
【０１０６】
一方、遠隔制御装置４０は、図１０に示すように、報知情報取得部４１１１、可視化処理部４１１２、表示制御部４１１３、操作受付部４１１４を機能構成として備える。かかる機能構成は、プロセッサ４０１が、記憶部４０５に記憶されたプログラムを実行することで実現されるソフトウェア構成としてもよいし、プロセッサ４０１等が備える専用回路によって実現されるハードウェア構成であってもよい。
【０１０７】
報知情報取得部４１１１は、通信部４０４を介して、制御装置１２から送信された報知情報を取得する。可視化処理部４１１２は、報知情報に基づき、リカバリ対象荷物Ｗ２や障害物の状態を表した可視化画像を生成する。ここで、可視化画像の表示形態や可視化方法は特に問わず、種々の方法を採用することが可能である。
【０１０８】
例えば、可視化処理部４１１２は、報知情報に含まれたリカバリ対象荷物Ｗ２及び障害物の位置や姿勢を示す情報に基づき、移動装置１１とリカバリ対象荷物Ｗ２及び障害物との位置関係を模式的に表した可視化画像を生成する。また、可視化処理部４１１２は、報知情報に含まれたリカバリ対象荷物Ｗ２のリカバリ順序に基づき、可視化したリカバリ対象荷物Ｗ２の各位置に番号を付与することで、リカバリ対象荷物Ｗ２のリカバリ順序を可視化してもよい。なお、可視化処理部４１１２は、リカバリ対象荷物Ｗ２や障害物を識別可能に可視化することが好ましい。
【０１０９】
表示制御部４１１３は、報知情報及び可視化処理部４１１２で生成された可視化画像に基づく画面を報知画面として表示部４０２に表示させる。
【０１１０】
図１１は、表示制御部４１１３によって表示された報知画面の一例を示す図である。図１１に示すように、報知画面Ｇ１は、第１の表示領域Ｇ１１と、第２の表示領域Ｇ１２とを有する。
【０１１１】
第１の表示領域Ｇ１１には、報知情報に含まれた撮像画像が表示される。図１１では、第１のカメラ２１で撮像された第１の撮像画像を表示した例を示している。第２の表示領域Ｇ１２には、可視化処理部４１１２で生成された可視化画像が表示される。図１１では、可視化画像として、移動装置１１と、２つのリカバリ対象荷物Ｗ２（Ｗ２ａ、Ｗ２ｂ）との位置関係を表示した例を示している。第２の表示領域Ｇ１２では、操作部４０３を介して、画面表示されたリカバリ対象荷物Ｗ２を選択的に指定することが可能となっている。
【０１１２】
また、報知画面Ｇ１には、リカバリ動作の実行を指示するための操作子Ｇ１３が表示される。操作受付部４１１４は、操作部４０３を介して、報知画面Ｇ１に対するオペレータの操作を受け付け、受け付けた操作に応じた処理を実行する。
【０１１３】
例えば、操作子Ｇ１３が操作された場合には、操作受付部４１１４は、第２の表示領域Ｇ１２（可視化画像）に表示された全てのリカバリ対象荷物Ｗ２のリカバリを指示する実行指示（以下、全体実行指示という）を制御装置１２に送信する。
【０１１４】
また、例えば、第２の表示領域Ｇ１２に表示されたリカバリ対象荷物Ｗ２の一つが指定された後、操作子Ｇ１３が操作された場合には、操作受付部４１１４は、指定されたリカバリ対象荷物Ｗ２のリカバリを指示する実行指示（以下、個別実行指示）を制御装置１２に送信する。この場合、個別実行指示には、指定されたリカバリ対象荷物Ｗ２を特定可能な荷物特定情報（例えば、位置、リカバリ順序（番号）等）が含まれるものとする。
【０１１５】
なお、報知情報にリカバリ不可を示す情報が含まれる場合には、表示制御部４１１３は、操作子Ｇ１３を無効化し、リカバリ対象荷物Ｗ２のリカバリを自動で行うことができないことを示すメッセージ等を表示させるものとする。また、リカバリ順序以外の順序でリカバリ対象荷物Ｗ２が選択された場合には、警告メッセージを表示させてもよいし、選択操作自体を無効化する形態としてもよい。
【０１１６】
図１０に戻り、制御装置１２のリカバリ処理部１２１６ａは、通信部１２７を介して、遠隔制御装置４０から実行指示を受け付けると、その指示内容に基づき、リカバリ対象荷物Ｗ２のリカバリ動作を開始させる。例えば、全体実行指示を受け付けた場合、リカバリ処理部１２１６ａは、任意のリカバリ対象荷物Ｗ２から又は予め導出されたリカバリ順序に基づき、計画実行部１２１４にリカバリ動作を実行させる。また、個別実行指示を受け付けた場合、リカバリ処理部１２１６ａは、荷物特定情報で指定されたリカバリ対象荷物Ｗ２のリカバリ動作を計画実行部１２１４に実行させる。
【０１１７】
次に、図１２を参照して、本実施形態に係る制御装置１２及び遠隔制御装置４０の動作について説明する。ここで、図１２は、本実施形態の制御装置１２及び遠隔制御装置４０が実行する処理の一例を示すフローチャートである。なお、図１２に示す制御装置１２の処理は、図９で説明したステップＳ２１の後に実行される処理である。ステップＳ１１〜Ｓ２１の処理については説明を省略する。
【０１１８】
制御装置１２のリカバリ処理部１２１６ａは、ステップＳ２１（図９参照）でリカバリ対象荷物Ｗ２のリカバリ動作に係る行動計画を計画部１２１３に導出させると、リカバリ対象荷物Ｗ２が検出されたことを報知する報知情報を遠隔制御装置４０に送信する（ステップＳ３１）。ここで、報知情報には、カメラ２０の撮像画像、センサ装置３０のセンシング結果、検出部１２１５の検出結果等を含む。また、行動計画が導出されなかった場合には、リカバリ不可を示す情報が報知情報に含まれる。
【０１１９】
一方、遠隔制御装置４０では、報知情報取得部４１１１が、荷役装置１０（リカバリ処理部１２１６ａ）から送信された報知情報を取得する（ステップＳ４１）。次いで、可視化処理部４１１２は、報知情報取得部４１１１が取得した報知情報に基づき、リカバリ対象荷物Ｗ２の状態を表した可視化画像を生成する（ステップＳ４２）。
【０１２０】
続いて、表示制御部４１１３は、報知情報及び可視化処理部４１１２で生成された可視化画像に基づく画面を報知画面として表示部４０２に表示させる（ステップＳ４３）。また、表示制御部４１１３は、報知情報にリカバリ不可を示す情報が含まれるか否かを判定する（ステップＳ４４）。ここで、リカバリ不可を示す情報が含まれる場合（ステップＳ４４；Ｎｏ）、表示制御部４１１３は、リカバリ不可を示すメッセージを報知画面に表示させた後（ステップＳ４５）、本処理を終了する。
【０１２１】
また、リカバリ不可を示す情報が含まれない場合、つまりリカバリ動作が可能な場合には（ステップＳ４４；Ｙｅｓ）、表示制御部４１１３は、リカバリ動作の実行を指示するための操作子Ｇ１３を表示部４０２に表示させ（ステップＳ４６）、ステップＳ４７に移行する。
【０１２２】
続くステップＳ４７において、操作受付部４１１４は、遠隔制御装置４０のオペレータからリカバリの実行が指示されるまで待機する（ステップＳ４７；Ｎｏ）。例えば、操作子Ｇ１３の操作が行われた場合や、可視化画面に表示されたリカバリ対象荷物Ｗ２が選択された後、操作子Ｇ１３の操作が行われた場合、操作受付部４１１４は、リカバリ動作の実行が指示されたと判定する（ステップＳ４７；Ｙｅｓ）。次いで、操作受付部４１１４は、操作内容に応じた実行指示（全体実行指示又は個別実行指示）を制御装置１２（リカバリ処理部１２１６ａ）に送信する（ステップＳ４８）。
【０１２３】
制御装置１２では、リカバリ処理部１２１６ａが実行指示を受け付けると（ステップＳ３２）、その指示内容が全体実行指示及び個別実行指示の何れかを判別する（ステップＳ３３）。受け付けた実行指示が全体実行指示の場合（ステップＳ３３；Ｙｅｓ）、リカバリ処理部１２１６ａは、先に導出されたリカバリ対象荷物Ｗ２各々の行動計画に基づいて、リカバリ対象荷物Ｗ２の各々の移動（リカバリ動作）を開始し（ステップＳ３４）、本処理を終了する。
【０１２４】
また、受け付けた実行指示が個別実行指示の場合（ステップＳ３３；Ｎｏ）、リカバリ処理部１２１６ａは、指定されたリカバリ対象荷物Ｗ２のリカバリ動作に係る行動計画に基づいて、その指定されたリカバリ対象荷物Ｗ２の移動（リカバリ動作）を開始し（ステップＳ３５）、本処理を終了する。
【０１２５】
本処理の終了後、例えば、リカバリ処理部１２１６ａは、図９のステップＳ２５に処理を移行させることで、未処理のリカバリ対象荷物Ｗ２が存在するか否かを判定する。そして、未処理のリカバリ対象荷物Ｗ２が存在する場合にはステップＳ１１に処理を戻すことで、最新の状態に基づく更新情報が、ステップＳ３１で遠隔制御装置４０に再び送信される。
【０１２６】
このように、第２の実施形態にかかる荷役システム１によれば、パレット２から外れた位置に存在する荷物Ｗ１（リカバリ対象荷物Ｗ２）を検出した場合、そのリカバリ対象荷物Ｗ２の状態を表した可視化画像を生成し、遠隔制御装置４０の表示部４０２に表示させる。これにより、遠隔制御装置４０のオペレータは、可視化画像を見ることで、リカバリ対象荷物Ｗ２が存在することや、リカバリ対象荷物Ｗ２の状態を容易に把握することができるため、荷役装置１０や荷物Ｗ１の管理に係る利便性の向上を図ることができる。
【０１２７】
また、第２の実施形態に係る荷役システム１によれば、荷役装置１０は、遠隔制御装置４０（オペレータ）からの実行指示に応じて、リカバリ対象荷物Ｗ２をコンベア３に移動させるリカバリ動作を開始する。これにより、遠隔制御装置４０のオペレータは、荷役装置１０が置かれた現場に向かわずとも、リカバリ対象荷物Ｗ２のリカバリ処理を行うことができるため、荷役装置１０や荷物Ｗ１の管理に係る利便性の向上を図ることができる。
【０１２８】
なお、本実施形態では、リカバリ対象荷物Ｗ２が検出された場合に、遠隔制御装置４０に報知情報を送信する形態としたが、これに限らず、リカバリ対象荷物Ｗ２の検出有無にかかわらず常時又は定期的に送信する形態としてもよい。この場合、例えば、リカバリ対象荷物Ｗ２の非検出時には、カメラ２０の撮像画像のみを表示し、リカバリ対象荷物Ｗ２が検出された場合に、可視化画像を表示する形態としてもよい。
【０１２９】
（変形例１）
上述の実施形態では、遠隔制御装置４０で可視化画像を生成する形態としたが、これに限らず、制御装置１２側で生成する形態としてもよい。具体的には、制御装置１２が可視化処理部４１１２を備えることで、制御装置１２側で可視化画像を生成する。そして、制御装置１２では、生成した可視化画像を報知情報に含めて遠隔制御装置４０に送信することで、上述した実施形態と同様に、遠隔制御装置４０側で可視化画像を表示させることができる。
（変形例２）
また、上述の実施形態では、遠隔制御装置４０の表示部４０２に報知情報（可視化画像）を表示させる形態としたが、これに限らず、制御装置１２の表示部１２２に表示させる形態としてもよい。
【０１３０】
以上説明したとおり、第１、第２の実施形態及び各種の変形例によれば、移動対象の荷物Ｗ１が置かれるパレット２（第１の場所）から外れた位置に荷物Ｗ１が置かれた場合に、当該荷物Ｗ１を検出することができる。
【０１３１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１３２】
１  荷役システム
１０  荷役装置
１１  移動装置
１２  制御装置
２０  カメラ
２１  第１のカメラ
２２  第２のカメラ
３０  センサ装置
４０  遠隔制御装置
１２１１  取得部
１２１２  認識部
１２１３  計画部
１２１４  計画実行部
１２１５  検出部
１２１６、１２１６ａ  リカバリ処理部
４１１１  報知情報取得部
４１１２  可視化処理部
４１１３  表示制御部
４１１４  操作受付部
【図１】
2020151781.tif 000003
【図２】
2020151781.tif 000004
【図３】
2020151781.tif 000005
【図４】
2020151781.tif 000006
【図５】
2020151781.tif 000007
【図６】
2020151781.tif 000008
【図７】
2020151781.tif 000009
【図８】
2020151781.tif 000010
【図９】
2020151781.tif 000011
【図１０】
2020151781.tif 000012
【図１１】
2020151781.tif 000013
【図１２】
2020151781.tif 000014