(57)【要約】【課題】オペレータに移動先を提示することにより、オペレータが対象物品の移動先を間違える可能性を低減することができる作業システムを提供する。【解決手段】作業システムは、対象物品の移動先を撮影可能な撮像部と、前記移動先を特定するための特徴点を特定する特徴点特定部と、前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成する合成部と、を備える。【選択図】図１
2019063953.tif 000002
【特許請求の範囲】
【請求項１】
対象物品の移動先を撮影可能な撮像部と、
前記移動先を特定するための特徴点を特定する特徴点特定部と、
前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成する合成部と、
を備える作業システム。
【請求項２】
前記合成部が合成した画像を出力する映像信号出力部、
を備える請求項１に記載の作業システム。
【請求項３】
前記合成部が合成した画像を受ける表示部を備え、
前記表示部は、受けた前記画像を映し出す、
請求項２に記載の作業システム。
【請求項４】
対象物品の移動先を撮影可能な撮像部を備える作業システムの制御方法であって、
前記移動先を特定するための特徴点を特定することと、
前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成することと、
を含む作業システムの制御方法。
【請求項５】
対象物品の移動先を撮影可能な撮像部を備える作業システムのコンピュータに、
前記移動先を特定するための特徴点を特定することと、
前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成することと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業システム、作業システムの制御方法及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、オペレータによる擬人的な動きを検出し、これを複数の信号に変換してロボットデバイスを駆動させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１６８０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ロボットデバイスなどのマニピュレータを手作業で動作させる場合、オペレータは対象物品の移動先がどこであるかわからなくなることがある。
本発明の目的は、上述した課題を解決する作業システム、作業システムの制御方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の第１の態様によれば、作業システムは、対象物品の移動先を撮影可能な撮像部と、前記移動先を特定するための特徴点を特定する特徴点特定部と、前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成する合成部と、を備える。
【０００６】
本発明の第２の態様によれば、第１の態様による作業システムは、前記合成部が合成した画像を出力する映像信号出力部、を備えるものであってよい。
【０００７】
本発明の第３の態様によれば、第１の態様または第２の態様による作業システムは、前記合成部が合成した画像を受ける表示部を備え、前記表示部は、受けた前記画像を映し出すものであってよい。
【０００８】
本発明の第４の態様によれば、作業システムの制御方法は、対象物品の移動先を撮影可能な撮像部を備える作業システムの制御方法であって、前記移動先を特定するための特徴点を特定することと、前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成することと、を含む。
【０００９】
本発明の第５の態様によれば、プログラムは、対象物品の移動先を撮影可能な撮像部を備える作業システムのコンピュータに、前記移動先を特定するための特徴点を特定することと、前記撮像部が撮影した前記移動先を含む画像と前記移動先の位置を示す画像とを前記特徴点に基づいて合成することと、を実行させる。
【発明の効果】
【００１０】
本発明の各態様によれば、作業システムは、オペレータに移動先を提示することにより、オペレータが対象物品の移動先を間違える可能性を低減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態による作業システムの構成を示す概略図である。
【図２】第１の実施形態によるコントローラの構成を示す概略ブロック図である。
【図３】第１の実施形態によるマーク画像の例を示す図である。コントローラの構成を示す概略ブロック図である。
【図４】第１の実施形態による作業システムのフローチャートである。
【図５】第２の実施形態による作業システムの構成を示す概略図である。
【図６】第２の実施形態によるマーク画像の例を示す第１の図である。
【図７】第２の実施形態によるマーク画像の例を示す第２の図である。
【図８】少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
【発明を実施するための形態】
【００１２】
＜第１の実施形態＞
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態による作業システムの構成を示す概略図である。
作業システム１は、入出力グローブ１０と、ヘッドマウントディスプレイ２０（表示部の一例）と、マスタコントローラ３０と、スレーブコントローラ４０と作業ロボット５０とを備える。入出力グローブ１０とヘッドマウントディスプレイ２０とは、オペレータＯに装着される。作業ロボット５０は、オペレータＯと遠隔に設置される。マスタコントローラ３０は、入出力グローブ１０およびヘッドマウントディスプレイ２０と電気的に接続される。スレーブコントローラ４０は、作業ロボット５０と電気的に接続される。マスタコントローラ３０とスレーブコントローラ４０とは、ネットワークＮを介して通信可能に構成される。
【００１３】
本発明の第１の実施形態による作業システム１は、倉庫から物品を運搬するピッキングシステムに適用される。ピッキングシステムは、コンベアや運搬ロボットによって、物品を収容するビンを作業ロボット５０が設置された作業スペースに運搬するシステムである。本発明の第１の実施形態におけるピッキングシステムは、オペレータＯが作業ロボット５０を遠隔から操作し、ビンに収容された対象物品を、出荷前の仕分けに用いられる仕分け箱Ｑなどの他の位置に移転させる際に、その移動先をオペレータＯに対して提示する。仕分け箱Ｑとは、例えば、注文を受けた対象物品が購入者に送付する際に使用する標準サイズの段ボールに入らない場合に、実際の送付に使用する大きいサイズの段ボールに梱包する前に、対象物品を１か所に集めておくために使用される仮箱のことである。なお、他の実施形態においては、作業システム１は、ピッキングシステム以外のシステムに適用されてもよい。例えば、作業システム１は、たねまき、仕分け、開梱や梱包、検品、組立などの他の遠隔作業（倉庫内に限らずオフィス、スーパー、病院、図書館、実験室等における遠隔作業を含む）に用いられてもよい。
【００１４】
入出力グローブ１０は、オペレータＯの手に取り付けられる手袋状の入出力装置である。入出力グローブ１０は、オペレータＯの姿勢を検出する姿勢センサと、作業ロボット５０の動作をフィードバックするフィードバックデバイスとを備える。入出力グローブ１０は、姿勢センサが生成する信号を、操作信号としてマスタコントローラ３０に出力する。姿勢センサは、少なくともオペレータＯの関節の角度を算出可能に構成される。姿勢センサは、モーションキャプチャによりオペレータＯの動きを検出するものであってよい。フィードバックデバイスは、作業ロボット５０のマニピュレータ５１が触れた物の触感を再現可能な素子（アクチュエータや電極など）である。フィードバックデバイスは、マスタコントローラ３０から入力されるフィードバック信号に従って動作する。
【００１５】
作業ロボット５０は、マニピュレータ５１とカメラ５２（撮像部の一例）とを備える。
マニピュレータ５１は、複数のリンクが複数の関節を介して互いに接続されている。マニピュレータ５１は、スレーブコントローラ４０から入力される制御信号に従って関節ごとに設けられたアクチュエータを駆動させることによって各関節の角度を調整する。マニピュレータ５１の関節とオペレータＯの関節とは必ずしも一対一に対応しない。例えば、マニピュレータ５１は、５本未満の指（指に相当するリンクと関節との組み合わせ）を備えるものであってよい。また、例えば、マニピュレータ５１は、２つ以上の肘（肘に相当する関節）を備えるものであってよい。マニピュレータ５１には、触覚センサと姿勢センサとが設けられている。触覚センサは、マニピュレータ５１の表面（特に指に相当するリンクの先端）に設けられ、接触した物体の触感を検出する。姿勢センサは、マニピュレータ５１の関節ごとに設けられており、各関節の角度および角速度を検出する。姿勢センサの例としては、アクチュエータの運動量を計測するセンサ（回転数センサやストロークセンサなど）が挙げられる。
カメラ５２は、関節を介してマニピュレータ５１と接続される。カメラ５２は、撮像した画像を表す映像情報をスレーブコントローラ４０に出力する。カメラ５２の姿勢は、スレーブコントローラ４０から入力される制御信号に従って調整される。つまり、カメラ５２とマニピュレータ５１とに接続されたアクチュエータが制御信号に従って駆動することで、カメラ５２の姿勢が調整される。
【００１６】
ヘッドマウントディスプレイ２０は、オペレータＯの頭部に装着されることでオペレータＯにカメラ５２が撮影した画像を提示する装置である。画像の提示方法としては、オペレータの目に対向するディスプレイに画像を表示する方法や、プロジェクタによってオペレータの目に画像を投影する方法が挙げられる。ヘッドマウントディスプレイ２０は、マスタコントローラ３０から入力される映像信号に従って映像を提示する。ヘッドマウントディスプレイ２０は、自身の姿勢を検出する姿勢センサ（例えば、加速度センサやジャイロスコープなど）を備える。ヘッドマウントディスプレイ２０は、姿勢センサの検出結果を示す姿勢信号をマスタコントローラ３０に出力する。
なお、カメラ５２が撮影する空間における座標と、ヘッドマウントディスプレイ２０の映し出す空間における座標とは、作業システム１の動作開始前に、キャリブレーションを行うことによって、基準が統一される。カメラ５２の撮影方向は、ヘッドマウントディスプレイ２０の向きに応じて変更される。つまり、ヘッドマウントディスプレイ２０には、ヘッドマウントディスプレイ２０を装着したオペレータＯがカメラ５２の位置で顔の向きを変更した場合に見られる映像が映し出される。
【００１７】
マスタコントローラ３０は、入出力グローブ１０から入力される操作信号に基づいて、作業ロボット５０のマニピュレータ５１の制御信号を生成する。また、マスタコントローラ３０は、ヘッドマウントディスプレイ２０の位置や向きに応じて、カメラ５２の位置や撮影方向を変更させる制御信号を生成する。また、マスタコントローラ３０は、作業ロボット５０からマニピュレータ５１が検出する触感を示す触感信号に基づいて、当該触覚を入出力グローブ１０のフィードバックデバイスに再現させるためのフィードバック信号を生成する。また、マスタコントローラ３０は、スレーブコントローラ４０からカメラ５２が撮影した画像の映像信号を受信し、この映像信号に移動先を示す画像の映像信号を合成してヘッドマウントディスプレイ２０に出力する。つまり、マスタコントローラ３０は、提示装置の一例である。またマスタコントローラ３０は、ヘッドマウントディスプレイ２０から入力された姿勢信号に基づいて、作業ロボット５０のカメラ５２の制御信号を生成し、スレーブコントローラ４０に送信する。
【００１８】
スレーブコントローラ４０は、マスタコントローラ３０から制御信号を受信し、これに従ってマニピュレータ５１及びカメラ５２を駆動させる。また、スレーブコントローラ４０は、触覚センサ、姿勢センサ、カメラ５２から信号を取得し、これをマスタコントローラ３０に送信する。
【００１９】
図２は、本発明の第１の実施形態によるマスタコントローラの構成を示す概略ブロック図である。
マスタコントローラ３０は、信号受信部３０１、映像信号出力部３０２、触感信号変換部３０３、フィードバック信号出力部３０４、記憶部３０５、指示入力部３０６、特徴点特定部３０７、合成部３０８、操作信号入力部３０９、操作信号変換部３１０、制御信号送信部３１１を備える。
【００２０】
信号受信部３０１は、スレーブコントローラ４０を介して、作業ロボット５０から映像信号、触感信号および姿勢信号を受信する。
映像信号出力部３０２は、受信した映像信号をヘッドマウントディスプレイ２０に出力する。映像信号出力部３０２は、合成部３０８によって合成されたカメラ５２が撮影した画像の映像信号と移動先を示す画像の映像信号とを出力する。
触感信号変換部３０３は、受信した触感信号をフィードバック信号に変換する。つまり、触感信号変換部３０３は、作業ロボット５０のマニピュレータ５１が触れた物体の触感を、フィードバックデバイスに再現させるためのフィードバック信号を生成する。触感信号からフィードバック信号への変換は、例えば触感信号を予め求められた関数に入力することで実現することができる。
フィードバック信号出力部３０４は、フィードバック信号を入出力グローブ１０に出力する。
【００２１】
記憶部３０５は、作業ロボット５０の姿勢を記憶する。作業ロボット５０の姿勢には、各関節の位置、角度、角速度が含まれる。また、記憶部３０５は、対象物品Ｉとその対象物品Ｉの形状とを関連付けて予め記憶する。
【００２２】
指示入力部３０６は、ピッキングシステム等から作業指示の入力を受け付ける。作業指示には、作業対象となる対象物品Ｉを示す情報とその対象物品Ｉの移動先を示す情報とが含まれる。形状を特定可能な情報の例としては、立体形状を示す三次元形状データ、複数の視点から撮影された二次元画像データ、三次元形状データや二次元画像データから抽出された特徴量情報などが挙げられる。
【００２３】
特徴点特定部３０７は、仕分け箱Ｑの角の座標を特定する。具体的には、特徴点特定部３０７は、カメラ５２が撮影した画像においてウィンドウを設定し、そのウィンドウ内でエッジがある角度の範囲内で交差する点を特定する。ここで、ウィンドウとは、仕分け箱Ｑが写る可能性のある範囲を示すウィンドウのことである。また、ウィンドウ内でエッジがある角度の範囲内で交差する点とは、カメラ５２が撮影した画像においてウィンドウの範囲の部分の画像をエッジ抽出し、エッジどうしが交差する点のことである。
【００２４】
合成部３０８は、カメラ５２が撮影した仕分け箱Ｑが写る映像信号と対象物品Ｉの移動先を示す画像を含む映像信号とを合成して合成映像信号を生成する。具体的には、合成部３０８は、複数の映像信号のうちの仕分け箱Ｑが写る映像信号と、対象物品Ｉの移動先を示すマーク画像を含む映像信号とを合成する。マーク画像の例としては、図３において破線で示すように、特徴点特定部３０７が特定した角Ｐの座標を基準として定められる、例えば、一定間隔の距離をとった位置ごとに、対象物品Ｉの輪郭と同様の形状の画像Ｋを色づけ（ハイライト）したものが挙げられる。また、マーク画像の例としては、例えば、対象物品Ｉを囲う直方体の形状の画像であってもよいし、仕分け箱Ｑの角Ｐの座標を基準として定められる位置を示す任意の画像であってもよい。
なお、合成部３０８は、注文情報に応じて対象物品Ｉを特定する。具体的には、購入者が対象物品Ｉを購入可能なウェブサイトに端末装置を介してアクセスし、対象物品Ｉを購入する操作をその端末装置に対して行った場合、端末装置は、購入者の操作に応じて、対象物品Ｉを特定する情報（例えば、ＩＤ、名称など）、対象物品Ｉの購入数、対象物品Ｉの送付先などを含む情報をウェブサイトの管理サーバに送信する。管理サーバは、端末装置から対象物品Ｉを特定する情報、対象物品Ｉの購入数、対象物品Ｉの送付先などを含む情報を受信すると、その情報を受信した日時と、受信した情報とを記憶する。合成部３０８は、管理サーバが記憶する対象物品Ｉを管理サーバから取得する。合成部３０８は、管理サーバから取得した対象物品Ｉと同様の対象物品を記憶部３０５において特定し、特定した対象物品Ｉに関連付けられている対象物品Ｉの形状を取得する。これにより、合成部３０８は、対象物品Ｉの形状を取得することができ、対象物品Ｉの輪郭や対象物品Ｉを囲う直方体の形状を特定することができる。
【００２５】
操作信号入力部３０９は、入出力グローブ１０から操作信号の入力を受け付ける。また、操作信号入力部３０９は、ヘッドマウントディスプレイ２０から姿勢信号の入力を受け付ける。
操作信号変換部３１０は、操作信号および姿勢信号を制御信号に変換する。つまり、操作信号変換部３１０は、オペレータＯと同じ動作を作業ロボット５０に実行させるための制御信号を生成する。操作信号および姿勢信号から制御信号への変換は、例えば、操作信号および姿勢信号を予め求められた関数に入力することで実現することができる。なお、入出力グローブ１０の操作信号は、マニピュレータ５１の制御信号に変換され、ヘッドマウントディスプレイ２０の姿勢信号は、カメラ５２の制御信号に変換される。
【００２６】
制御信号送信部３１１は、操作信号変換部３１０が変換したマニピュレータ５１およびカメラ５２の制御信号をスレーブコントローラ４０に送信する。
【００２７】
図４は、本発明の第１の実施形態による作業システム１のフローチャートである。
まず、入出力グローブ１０の座標系と作業ロボット５０のマニピュレータ５１との間のキャリブレーションを行う。このとき、ヘッドマウントディスプレイ２０の座標系と対象物品Ｉの移動先における空間の座標系との間のキャリブレーションを同時に行われる。
ピッキングシステムが対象物を作業スペースに運搬すると、ピッキングシステムは、マスタコントローラ３０に作業指示を出力する。
マスタコントローラ３０の指示入力部３０６は、ピッキングシステムから作業指示の入力を受け付ける（ステップＳ１）。次に、信号受信部３０１は、スレーブコントローラ４０を介して作業ロボット５０から、カメラ５２が撮像した映像信号、触覚センサが検出した触感信号を受信する（ステップＳ２）。ピッキングシステムは、ビンＭに保存されている対象物品Ｉを仕分けるための仕分け箱Ｑを、注文情報に応じて、作業ロボット５０の位置まで移動させ、仕分け箱Ｑを停止させる。なお、仕分け箱Ｑが所定の位置において停止したことは、図示していないビンＭ、及び、仕分け箱Ｑを作業ロボット５０の位置まで移動させたピッキングシステムの制御装置から停止を示す信号を受信することで報知される。
【００２８】
特徴点特定部３０７は、ピッキングシステムの制御装置から停止を示す信号を受信すると、仕分け箱Ｑの角（特徴点の１つ）を示す点Ｐを特定する（ステップＳ３）。例えば、特徴点特定部３０７は、カメラ５２が仕分け箱Ｑを含んで撮影した画像においてウィンドウを設定し、そのウィンドウ内の画像のエッジがある範囲内の角度で交差する点Ｐを特定する。点Ｐは、対象物品Ｉの移動先の周辺の点である。
合成部３０８は、カメラ５２が撮影した仕分け箱Ｑが写る映像信号と対象物品Ｉの移動先を示す画像を含む映像信号とを合成して合成映像信号を生成する（ステップＳ４）。具体的には、合成部３０８は、複数の映像信号のうちの仕分け箱Ｑが写る映像信号と、角Ｐの座標を基準として定められる対象物品Ｉの移動先を示すマーク画像を含む映像信号とを合成する。
【００２９】
映像信号出力部３０２は、合成部３０８が合成した映像信号をヘッドマウントディスプレイ２０に出力する（ステップＳ５）。ヘッドマウントディスプレイ２０は、映像信号が入力されると当該映像信号に基づいて画像をオペレータＯに提示する。このとき、ヘッドマウントディスプレイ２０に表示される画像は、例えば、図３に示す画像である。
オペレータＯは、ヘッドマウントディスプレイ２０が映し出すマーク画像に基づいて対象物品Ｉを仕分け箱Ｑ内の移動先に移動させる操作を入出力グローブ１０に対して行う。オペレータＯによって入出力グローブ１０が操作されると、操作信号入力部３０９は、入出力グローブ１０から操作信号の入力を受け付ける（ステップＳ６）。操作信号変換部３１０は、操作信号をマニピュレータ５１の制御信号に変換する（ステップＳ７）。そして、制御信号送信部３１１は、ステップＳ７で変換されたマニピュレータ５１の制御信号を、スレーブコントローラ４０に送信する（ステップＳ８）。これにより、スレーブコントローラ４０は、オペレータＯの操作に基づいて生成された制御信号に従ってマニピュレータ５１を動作させる。また、ヘッドマウントディスプレイの姿勢情報は、スレーブコントローラ４０に送信される。これにより、スレーブコントローラ４０は、オペレータＯの視線の動きとカメラ５２の視線の動きが一致するように、カメラ５２の姿勢を制御する。
したがって、オペレータＯは、作業ロボット５０のマニピュレータ５１と対象物品Ｉとの位置関係、及び、対象物品Ｉの移動先を確認することができる。また、オペレータＯは、触感信号変換部３０３によってフィードバックされる触感を感じることができる。その結果、オペレータＯは、移動先を間違えることなく正確に対象物品Ｉを移動先まで移動されることができる。
【００３０】
＜第２の実施形態＞
本発明の第２の実施形態による作業システムについて説明する。
図５は、本発明の第２の実施形態による作業システム１の構成を示す概略図である。
作業システム１は、本発明の第１の実施形態による作業システム１と同様に、入出力グローブ１０と、ヘッドマウントディスプレイ２０と、マスタコントローラ３０と、スレーブコントローラ４０と作業ロボット５０とを備える。
本発明の第２の実施形態による作業システム１は、対象物品Ｉの移動先として仕分け箱Ｑ、出荷用ベルトコンベアによって運ばれる購入者に対象物品Ｉを送付する際に使用される用紙であり、対象物品Ｉを包んで送付することのできる台紙Ｌ（以下、単に「台紙Ｌ」と記載）、仕分け箱Ｑを使用せずに対象物品Ｉを直接梱包することができ、購入者にそのまま送付することのできる段ボールＢ（以下、単に「段ボールＢ」と記載）など複数存在するシステムである。なお、本発明の第２の実施形態では、ビンＭに収納されている対象物品Ｉを購入者に送付する際に移動させる移動先の仕分け箱Ｑ、台紙Ｌ、段ボールＢなどを総称して「入れ物」と呼ぶ。
【００３１】
管理サーバは、対象物品Ｉを特定する情報、対象物品Ｉの購入数、対象物品Ｉの送付先などを含む情報を購入者の端末装置から受信すると、その情報を受信した日時と、受信した情報とを記憶する。ピッキングシステムは、管理サーバが記憶する対象物品Ｉの注文情報に応じて、各購入者に係る識別情報と、対象物品Ｉの入れ物（すなわち、仕分け箱Ｑ、台紙Ｌ、または、段ボールＢ）とを関連付けて記憶する。そして、ピッキングシステムは、各購入者が注文した対象物品Ｉをそれぞれの入れ物へ移動させるために、作業ロボット５０の位置まで、入れ物が移動させられる。
なお、台紙Ｌ、及び、段ボールＢのそれぞれについても、特徴点特定部３０７は、例えば、カメラ５２が撮影した画像においてウィンドウを設定し、そのウィンドウ内でエッジがある角度の範囲内で交差する点を特定することで、特徴点Ｐを特定することができる。なお、仕分け箱Ｑ、台紙Ｌ、及び、段ボールＢのそれぞれに適用されるウィンドウの大きさは、異なるものであってもよい。
本発明の第２の実施形態による作業システム１は、入れ物（すなわち、仕分け箱Ｑ、台紙Ｌ、及び、段ボールＢ）のそれぞれについて、本発明の第１の実施形態による作業システム１と同様の処理を行えばよい。
なお、対象物品Ｉの入れ物が台紙Ｌである場合に、ヘッドマウントディスプレイ２０が映し出すマーク画像は、例えば、図６に示すような対象物品Ｉの輪郭と同様の形状の画像Ｋを色づけ（ハイライト）したものである。また、対象物品Ｉの移動先が段ボールＢである場合に、ヘッドマウントディスプレイ２０が映し出すマーク画像は、例えば、図７に示すような対象物品Ｉの輪郭と同様の形状の画像Ｋを色づけ（ハイライト）したものである。
このように、作業システム１は、オペレータＯに移動先を提示することにより、オペレータＯが対象物品の移動先を間違える可能性を低減することができる。
【００３２】
＜その他の実施形態＞
以上、図面を参照して本発明の第１の実施形態及び第２の実施形態について説明したが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述の本発明の第１の実施形態及び第２の実施形態では、マスタコントローラ３０がオペレータＯの近傍に設けられるが、これに限られない。例えば、他の実施形態では、ネットワークＮ上のサーバ装置において、上述の制御がなされてもよいし、マスタコントローラ３０とスレーブコントローラ４０の位置関係が入れ替わってもよい。つまり、他の実施形態においては、オペレータＯの近傍に設けられたスレーブコントローラ４０が、信号の転送のみを行い、作業ロボット５０の近傍に設けられたマスタコントローラ３０が、上記処理を行ってもよい。
【００３３】
また、上述した本発明の第１の実施形態及び第２の実施形態によれば、マスタコントローラ３０は、撮像画像に対象物品Ｉの移動先のマーク画像を合成するが、これに限られない。例えば、本発明の別の実施形態においては、マーク画像に加えて文字情報を合成し提示してもよい。
【００３４】
＜コンピュータ構成＞
本発明の実施形態について説明したが、上述のマスタコントローラ３０、スレーブコントローラ４０、その他の制御装置は内部に、コンピュータシステムを有していてもよい。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。コンピュータの具体例を以下に示す。
図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ５は、図８に示すように、ＣＰＵ６、メインメモリ７、ストレージ８、インターフェース９を備える。
例えば、上述のマスタコントローラ３０、スレーブコントローラ４０、その他の制御装置のそれぞれは、コンピュータ５に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ８に記憶されている。ＣＰＵ６は、プログラムをストレージ８から読み出してメインメモリ７に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ６は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ７に確保する。
【００３５】
ストレージ８の例としては、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。ストレージ８は、コンピュータ５のバスに直接接続された内部メディアであってもよいし、インターフェース９または通信回線を介してコンピュータ５に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ５に配信される場合、配信を受けたコンピュータ５が当該プログラムをメインメモリ７に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ８は、一時的でない有形の記憶媒体である。
【００３６】
また、上記プログラムは、前述した機能の一部を実現してもよい。さらに、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるファイル、いわゆる差分ファイル（差分プログラム）であってもよい。
【００３７】
なお、本発明の各実施形態において、カメラ５２が撮像した映像は、例えばヘッドマウントディスプレイ２０が映し出す仮想現実（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）内に設けられたスクリーンに映し出される、すなわち仮想現実の一部として映し出されるものであってもよい。また、カメラ５２が撮像した映像は、その映像そのものが例えばスマートグラスに映し出される、すなわち拡張現実（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）として映し出されるものであってもよい。また、カメラ５２が撮像した映像は、その映像そのものが例えばホロレンズに映し出される、すなわち複合現実（Ｍｉｘｅｄ  Ｒｅａｌｉｔｙ）として映し出されるものであってもよい。
【００３８】
なお、本発明の第１の実施形態において、マスタコントローラ３０は、入出力グローブ１０から入力される操作信号に基づいて、作業ロボット５０のマニピュレータ５１の制御信号を生成するものとして説明した。しかしながら、本発明の別の実施形態では、マスタコントローラ３０は、例えば、モーションキャプチャなどの技術を用いて操作者の手の動きを読み取り、読み取った動きに基づいて、作業ロボット５０のマニピュレータ５１の制御信号を生成するものであってもよい。
【００３９】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例であり、発明の範囲を限定しない。これらの実施形態は、発明の要旨を逸脱しない範囲で、種々の追加、種々の省略、種々の置き換え、種々の変更を行ってよい。
【符号の説明】
【００４０】
１・・・作業システム
５・・・コンピュータ
６・・・ＣＰＵ
７・・・メインメモリ
８・・・ストレージ
９・・・インターフェース
１０・・・入出力グローブ
２０・・・ヘッドマウントディスプレイ
３０・・・マスタコントローラ
４０・・・スレーブコントローラ
５０・・・作業ロボット
５１・・・マニピュレータ
５２・・・カメラ
３０１・・・信号受信部
３０２・・・映像信号出力部
３０３・・・触感信号変換部
３０４・・・フィードバック信号出力部
３０５・・・記憶部
３０６・・・指示入力部
３０７・・・特徴点特定部
３０８・・・合成部
３０９・・・操作信号入力部
３１０・・・操作信号変換部
３１１・・・制御信号送信部
Ｂ・・・段ボール
Ｉ・・・対象物
Ｌ・・・台紙
Ｍ・・・ビン
Ｎ・・・ネットワーク
Ｏ・・・オペレータ
Ｑ・・・仕分け箱
【図１】
2019063953.tif 000003
【図２】
2019063953.tif 000004
【図３】
2019063953.tif 000005
【図４】
2019063953.tif 000006
【図５】
2019063953.tif 000007
【図６】
2019063953.tif 000008
【図７】
2019063953.tif 000009
【図８】
2019063953.tif 000010