(57)【要約】【課題】ロボットの動作範囲を制限する境界領域を容易に設定できる電子装置を提供する。【解決手段】電子装置１０は、現実空間の座標と仮想空間の座標とを関連付けている。電子装置１０は、撮像部１１と、認識部と、第１設定部と、表示制御部とを備える。撮像部１１は、現実空間の手５００とロボット４０とを撮像して、手５００の像とロボット４０の像とを含む撮像画像を生成する。認識部は、撮像画像に基づいて、手５００の動きが示すジェスチャーを認識する。第１設定部は、ジェスチャーが第１ジェスチャーであると認識された場合に、仮想空間における手５００の座標に基づいて、仮想空間にロボット２００を設定する。表示制御部は、人間がロボット４０を視認可能なように、ロボット２００を表示させる。ロボット２００は、現実空間においてロボット４０の動作を制限するための境界領域３００に対応する。【選択図】図１
2020192613.tif 000002
【特許請求の範囲】
【請求項１】
現実空間の座標と仮想空間の座標とを関連付けている電子装置であって、
前記現実空間の被写体とロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成する撮像部と、
前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識する認識部と、
前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に仮想領域を設定する第１設定部と、
人間が前記ロボットを視認可能なように、前記仮想領域を表示させる表示制御部と
を備え、
前記仮想領域は、前記現実空間において前記ロボットの動作を制限するための境界領域に対応する、電子装置。
【請求項２】
前記ジェスチャーが前記第１ジェスチャーと異なる第２ジェスチャーであると認識された場合に、前記第１設定部は、前記仮想空間における前記被写体の座標に基づいて、前記仮想領域のサイズを変更する、請求項１に記載の電子装置。
【請求項３】
前記ジェスチャーが前記第１ジェスチャーと異なる第３ジェスチャーであると認識された場合に、前記第１設定部は、前記仮想空間における前記被写体の座標に基づいて、前記仮想領域の姿勢を変更する、請求項１又は請求項２に記載の電子装置。
【請求項４】
前記仮想領域の座標を前記現実空間における座標に変換して、変換後の前記仮想領域に基づいて前記境界領域を設定する第２設定部を更に備える、請求項１から請求項３のいずれか１項に記載の電子装置。
【請求項５】
前記第２設定部は、前記ロボットの最大可動範囲と、前記変換後の仮想領域とに基づいて、前記境界領域を設定する、請求項４に記載の電子装置。
【請求項６】
前記第２設定部は、前記ロボットの動作パターンと、前記変換後の仮想領域とに基づいて、前記動作パターンごとに前記境界領域を設定する、請求項４に記載の電子装置。
【請求項７】
前記電子装置は、ウェアラブル端末である、請求項１から請求項６のいずれか１項に記載の電子装置。
【請求項８】
現実空間の座標と仮想空間の座標とを関連付けている電子装置と、
ロボットを制御するロボット制御装置と
を備え、
前記電子装置は、
前記現実空間の被写体と前記ロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成する撮像部と、
前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識する認識部と、
前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に仮想領域を設定する第１設定部と、
人間が前記ロボットを視認可能なように、前記仮想領域を表示させる表示制御部と
を含み、
前記ロボット制御装置は、
前記仮想領域に基づいて、前記現実空間において前記ロボットの動作を制限するための境界領域を設定する設定部を含む、ロボットシステム。
【請求項９】
前記設定部は、前記ロボットの最大可動範囲と前記仮想領域とに基づいて、前記境界領域を設定する、請求項８に記載のロボットシステム。
【請求項１０】
前記設定部は、前記ロボットの動作パターンと前記仮想領域とに基づいて、前記動作パターンごとに前記境界領域を設定する、請求項８に記載のロボットシステム。
【請求項１１】
現実空間の座標と関連付けられた仮想空間において、仮想領域を設定する仮想領域設定方法であって、
前記現実空間の被写体とロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成するステップと、
前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識するステップと、
前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に前記仮想領域を設定するステップと、
人間が前記ロボットを視認可能なように、前記仮想領域を表示させるステップと
を備え、
前記仮想領域は、前記現実空間において前記ロボットの動作を制限するための境界領域に対応する、仮想領域設定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子装置、ロボットシステム、及び、仮想領域設定方法に関する。
【背景技術】
【０００２】
特許文献１に記載のロボット制御装置は、シミュレーション結果に基づいて、ロボットを制御する。具体的には、ロボット制御装置は、シミュレーション結果に基づいて、仮想空間上にロボットの動作を制限する領域を設定する。
【０００３】
ミュレーションは、シミュレーション装置によって実行される。シミュレーション装置は、仮想空間上で仮想ロボットの動作のシミュレーションを実行する。シミュレーション装置がシミュレーションを実行するためには、ロボットが作業する作業空間を３次元モデル化する必要がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１７７２８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、作業空間の３次元モデル化には手間がかかる。したがって、ロボットの動作を制限するための領域の設定は容易ではなかった。
【０００６】
本発明は、上記課題に鑑みてなされたものであり、ロボットの動作を制限するための仮想領域を容易に設定できる電子装置、ロボットシステム、及び、仮想領域設定方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の電子装置は、現実空間の座標と仮想空間の座標とを関連付けている。前記電子装置は、撮像部と、認識部と、第１設定部と、表示制御部とを備える。前記撮像部は、前記現実空間の被写体とロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成する。前記認識部は、前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識する。前記第１設定部は、前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に仮想領域を設定する。前記表示制御部は、人間が前記ロボットを視認可能なように、前記仮想領域を表示させる。前記仮想領域は、前記現実空間において前記ロボットの動作を制限するための境界領域に対応する。
【０００８】
本発明のロボットシステムは、電子装置と、ロボット制御装置とを備える。前記電子装置は、現実空間の座標と仮想空間の座標とを関連付けている。前記ロボット制御装置は、ロボットを制御する。前記電子装置は、撮像部と、認識部と、第１設定部と、表示制御部とを含む。前記撮像部は、前記現実空間の被写体と前記ロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成する。前記認識部は、前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識する。前記第１設定部は、前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に仮想領域を設定する。前記表示制御部は、人間が前記ロボットを視認可能なように、前記仮想領域を表示させる。前記ロボット制御装置は、設定部を含む。前記設定部は、前記仮想領域に基づいて、前記現実空間において前記ロボットの動作を制限するための境界領域を設定する。
【０００９】
本発明の仮想領域設定方法は、現実空間の座標と関連付けられた仮想空間において、仮想領域を設定する方法である。本発明の仮想領域設定方法は、前記現実空間の被写体とロボットとを撮像して、前記被写体の像と前記ロボットの像とを含む撮像画像を生成するステップと、前記撮像画像に基づいて、前記被写体の動きが示すジェスチャーを認識するステップと、前記ジェスチャーが第１ジェスチャーであると認識された場合に、前記仮想空間における前記被写体の座標に基づいて、前記仮想空間に仮想領域を設定するステップと、人間が前記ロボットを視認可能なように、前記仮想領域を表示させるステップとを備える。前記仮想領域は、前記現実空間において前記ロボットの動作を制限するための境界領域に対応する。
【発明の効果】
【００１０】
本発明の電子装置、ロボットシステム、及び、仮想領域設定方法によれば、ロボットの動作を制限するための仮想領域を容易に設定できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係るロボットシステムを示す図である。
【図２】実施形態１に係るヘッドマウントディスプレーを示す図である。
【図３】（ａ）は、実施形態１に係る第１ジェスチャーの例を示す図である。（ｂ）は、実施形態１に係る第１ジェスチャーの他の例を示す図である。（ｃ）は、実施形態１に係る第１ジェスチャーの更に他の例を示す図である。
【図４】実施形態１に係る第２ジェスチャーを示す図である。
【図５】実施形態１に係る第３ジェスチャーを示す図である。
【図６】実施形態１に係るヘッドマウントディスプレーの制御部の動作の一部を示すフローチャートである。
【図７】実施形態１に係るヘッドマウントディスプレーの制御部の動作の他の一部を示すフローチャートである。
【図８】本発明の実施形態２に係るロボット制御装置を示す図である。
【図９】実施形態２に係るロボット制御装置の制御部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の例示的な実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。
【００１３】
（実施形態１）
図１から図７を参照して、本発明の実施形態１について説明する。実施形態１によれば、人間は、複合現実（ＭＲ）を利用して、ロボットの動作を制限するための仮想領域を容易に設定できる。
【００１４】
図１を参照して、実施形態１に係るロボットシステム１００の構成を説明する。図１はロボットシステム１００を示す図である。図１に示すように、ロボットシステム１００は、ヘッドマウントディスプレー１０と、ネットワークハブ２０と、ロボット制御装置３０と、ロボット４０とを備える。ヘッドマウントディスプレー１０は、現実空間の座標と仮想空間の座標とを関連付けている。ヘッドマウントディスプレー１０は、「電子装置」の一例に相当する。
【００１５】
実施形態１において、ヘッドマウントディスプレー１０は、ビデオ透過式のウェアラブル端末である。ヘッドマウントディスプレー１０は、人間の頭部に装着される。ヘッドマウントディスプレー１０は、装着者が視認できるように画像を表示する。装着者は「人間」の一例に相当する。
【００１６】
ヘッドマウントディスプレー１０は、撮像部１１と、ディスプレー１４とを備える。
【００１７】
撮像部１１は、ヘッドマウントディスプレー１０の装着者の視界に入る被写体５００を撮像する。具体的には、撮像部１１は、現実空間の被写体５００と、ロボット４０とを撮像して、被写体５００の像とロボット４０の像とを含む撮像画像を生成する。撮像部１１は、例えば、単数又は複数のカメラを含む。カメラは、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサー又はＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサーを含む。
【００１８】
実施形態１では、被写体５００は、装着者の手である。したがって、以下の説明では、理解を容易にするために、被写体５００を手５００と記載する。ただし、被写体５００は、手に限定されず、例えば、物体であってもよい。
【００１９】
ディスプレー１４は、装着者が視認できるように画像を表示する。ディスプレー１４は、例えば、液晶ディスプレー又は有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）のような表示素子を含む。
【００２０】
実施形態１では、ディスプレー１４は、撮像部１１が生成した撮像画像と、仮想空間内のオブジェクトとを混合して表示する。具体的には、ディスプレー１４は、撮像画像に含まれる手５００の像及びロボット４０の像と、仮想空間に設定される仮想領域２００とを混合して表示する。
【００２１】
仮想領域２００は、ロボット４０の動作を制限するための領域である。つまり、仮想領域２００は、現実空間においてロボット４０の動作を制限するための境界領域３００に対応する。具体的には、境界領域３００は、現実空間において、ロボット４０の作業空間と、ロボット４０の動作が制限又は禁止される空間との境界を示す領域である。
【００２２】
仮想領域２００及び境界領域３００の形状は、平面形状に限られず、任意の形状であってもよい。例えば、仮想領域２００及び境界領域３００の形状は、三次元形状であってもよい。例えば、三次元形状は、ロボット４０の全周を囲む形状（例えば、四角筒形状）、又は、ロボット４０の周囲の一部に配置される形状（例えば、Ｌ字形状）である。
【００２３】
仮想領域２００は、手５００による特定のジェスチャーＪ１に基づいて、ヘッドマウントディスプレー１０によって仮想空間に設定される。したがって、実施形態１によれば、ロボット４０の動作を制限するための仮想領域２００を容易に設定できる。以下、特定のジェスチャーＪ１を「第１ジェスチャーＪ１」と記載する。
【００２４】
なお、ヘッドマウントディスプレー１０は、現実空間を測定して、現実空間の座標と、仮想空間の座標とをリンクさせている。つまり、ヘッドマウントディスプレー１０は、仮想空間と現実空間との「幾何学的整合（位置合わせ）」を行うことができる。例えば、仮想空間と現実空間との「幾何学的整合（位置合わせ）」は、撮像部１１によって取得した画像に基づいて実行してもよいし（マーカベース、モデルベース、又は、自然特徴ベース）、物理センサー（例えば、深度センサー、加速度センサー、ジャイロセンサー、磁気センサー、及び／又は、慣性計測ユニット）によって取得した情報に基づいて行ってもよいし、撮像部１１によって取得した画像と物理センサーによって取得した情報とに基づいて行ってもよい。物理センサーは、ヘッドマウントディスプレー１０に搭載される。
【００２５】
更に、ヘッドマウントディスプレー１０は、仮想領域２００の仮想空間における座標を現実空間における座標に変換して、仮想領域２００に対応する境界領域３００を算出する。そして、ヘッドマウントディスプレー１０は、境界領域３００を示す情報（例えば、現実空間における境界領域３００の座標）を、ネットワークハブ２０を介してロボット制御装置３０に送信する。
【００２６】
ネットワークハブ２０は、ヘッドマウントディスプレー１０とロボット制御装置３０との間の通信を中継する。また、ネットワークハブ２０は、ロボット４０とロボット制御装置３０との間の通信を中継する。
【００２７】
具体的には、ネットワークハブ２０は、ヘッドマウントディスプレー１０と無線通信を行って、データを送受信する。無線通信の方式は、ヘッドマウントディスプレー１０と同一であれば特に限定されない。なお、ネットワークハブ２０は、ヘッドマウントディスプレー１０と有線通信を行ってもよい。
【００２８】
また、ネットワークハブ２０は、ロボット制御装置３０及びロボット４０と有線通信を行って、データを送受信する。有線通信の方式は、データの送受信が可能であれば特に限定されない。なお、ネットワークハブ２０は、ロボット制御装置３０及びロボット４０と無線通信を行ってもよい。
【００２９】
ロボット制御装置３０は、ネットワークハブ２０を介して、ロボット４０を制御する。具体的には、ロボット制御装置３０は、ロボット４０の動作パターンに合わせて、ロボット４０の駆動源であるモーターの回転を制御する。動作パターンは、ロボット４０に実行させる作業ごとに定められ、作業に応じたロボット４０の動きを示す。
【００３０】
特に、実施形態１では、ロボット制御装置３０は、ネットワークハブ２０を介して、ヘッドマウントディスプレー１０から、現実空間における境界領域３００の情報を受信する。そして、ロボット制御装置３０は、境界領域３００に基づいて、ロボット４０を制御する。具体的には、ロボット制御装置３０は、境界領域３００に基づいて、ロボット４０の動作を制限する。
【００３１】
例えば、ロボット制御装置３０は、ロボット４０が境界領域３００を超えないようにロボット４０を制御する。例えば、ロボット制御装置３０は、ロボット４０が境界領域３００を超えると停止するように、ロボット４０を制御する。例えば、ロボット制御装置３０は、ロボット４０が境界領域３００を超えると減速するように、ロボット４０を制御する。なお、ロボット４０が境界領域３００を超えることは、ロボット４０が、ロボット４０の設置位置から離れる方向に境界領域３００を超えることを示す。
【００３２】
例えば、ロボット制御装置３０は、人間又は物体がロボット４０に向かって境界領域３００を超えた場合に、ロボット４０の動作を制限する。具体的には、ロボット制御装置３０は、人間又は物体がロボット４０に向かって境界領域３００を超えた場合に、ロボット４０の動作を停止するように、ロボット４０を制御する。
【００３３】
ロボット４０は、ロボット制御装置３０の制御にしたがって動作する。例えば、ロボット４０は、物品を把持し、把持した物品を所定の場所へ移動する。
【００３４】
具体的には、ロボット４０は、ベース部４１と、アーム部４２と、ハンド部４３とを有する。ベース部４１には、アーム部４２が配置される。アーム部４２は、ベース部４１を起点として、現実空間を自在に動くことができる。
【００３５】
具体的には、アーム部４２は、複数の関節４２ａと複数のアーム４２ｂとを有している。各アーム４２ｂの両端には、関節４２ａが取り付けられる。アーム４２ｂは、関節４２ａの駆動に合わせて回動する。関節４２ａは、内蔵モーターによって駆動する。内蔵モーターは、ロボット制御装置３０によって制御される。したがって、ロボット制御装置３０は、関節部４２ａの内蔵モーターを制御することによって、アーム部４２の動作を制御する。
【００３６】
ハンド部４３は物品を把持する。ハンド部４３は、アーム部４２の先端部に設けられる。具体的には、ハンド部４３は、アーム部４２の先端部の関節４２ａに取り付けられる。ハンド部４３は第１指部４３ａ及び第２指部４３ｂを有する。ハンド部４３は、第１指部４３ａ及び第２指部４３ｂの開閉よって、物品の把持と解放とを行う。第１指部４３ａ及び第２指部４３ｂの開閉は、ハンド部４３の内蔵モーターによって行われる。ハンド部４３の内蔵モーターは、ロボット制御装置３０によって制御される。したがって、ロボット制御装置３０は、ハンド部４３の内蔵モーターを制御することによって、ハンド部４３の動作を制御する。
【００３７】
次に、図２を参照して、ヘッドマウントディスプレー１０について更に説明する。図２は、ヘッドマウントディスプレー１０を示す図である。図２に示すように、ヘッドマウントディスプレー１０は、制御部１２と、記憶部１３と、無線通信インターフェイス（Ｉ／Ｆ）１５とを更に備える。
【００３８】
無線通信インターフェイス１５は、ネットワークハブ２０と無線通信を実行する。無線通信は、例えば、近距離無線通信である。近距離無線通信は、例えば、通信距離が数メートルから数十メートル程度の無線通信である。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、又は、ＷｉＦｉによる通信規格に準じた通信である。
【００３９】
制御部１２は、撮像部１１、記憶部１３、ディスプレー１４、及び、無線通信インターフェイス１５を制御する。制御部１２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）のようなプロセッサーを含む。
【００４０】
記憶部１３は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部１３は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部１３は、リムーバブルメディアを含んでいてもよい。
【００４１】
制御部１２は、認識部１２ａと、第１設定部１２ｂと、第２設定部１２ｃと、表示制御部１２ｄとを備える。具体的には、制御部１２のプロセッサーは、記憶部１３の記憶装置に記憶されているコンピュータープログラムを実行することにより、認識部１２ａ、第１設定部１２ｂ、第２設定部１２ｃ、及び、表示制御部１２ｄとして機能する。
【００４２】
認識部１２ａは、撮像部１１が生成した撮像画像に基づいて、手５００の動きが示すジェスチャーを認識する。具体的には、認識部１２ａは、撮像画像に含まれているジェスチャーを示す画像を認識する。認識部１２ａは、撮像画像がジェスチャーを示す画像を含む場合には、撮影画像がどの種類のジェスチャーを示す画像を含むのかを認識する。具体的には、認識部１２ａは、撮像画像に第１ジェスチャーＪ１が含まれているか否かを認識する。
【００４３】
また、認識部１２ａは、撮像画像に第２ジェスチャーＪ２が含まれているか否かを認識することもできる。第２ジェスチャーＪ２は第１ジェスチャーＪ１と異なる。更に、認識部１２ａは、撮像画像に第３ジェスチャーＪ３が含まれているか否かを認識することもできる。第３ジェスチャーＪ３は、第１ジェスチャーＪ１及び第２ジェスチャーＪ２と異なる。更に、認識部１２ａは、撮像画像に第４ジェスチャーＪ４が含まれているか否かを認識することもできる。第４ジェスチャーＪ４は、第１ジェスチャーＪ１、第２ジェスチャーＪ２、及び第３ジェスチャーＪ３と異なる。
【００４４】
第１設定部１２ｂは、認識部１２ａによって手５００によるジェスチャーが第１ジェスチャーＪ１であると認識された場合に、仮想空間における手５００の座標に基づいて、仮想空間に仮想領域２００を設定する。
【００４５】
その結果、実施形態１によれば、装着者が第１ジェスチャーＪ１を行うことによって、ロボット４０の動作を制限するための仮想領域２００を容易に設定できる。例えば、仮想領域２００は、仮想空間における仮想領域２００の座標によって定義される。仮想空間における仮想領域２００の座標は、仮想領域２００を示す情報の一例である。
【００４６】
第１設定部１２ｂは、認識部１２ａによって手５００によるジェスチャーが第２ジェスチャーＪ２であると認識された場合に、仮想空間における手５００の座標に基づいて、仮想領域２００のサイズを変更する。したがって、実施形態１によれば、装着者が第２ジェスチャーＪ２を行うことによって、仮想空間における仮想領域２００のサイズを容易に変更できる。
【００４７】
第１設定部１２ｂは、認識部１２ａによって手５００によるジェスチャーが第３ジェスチャーＪ３であると認識された場合に、仮想空間における手５００の座標に基づいて、仮想領域２００の姿勢を変更する。したがって、実施形態１によれば、装着者が第３ジェスチャーＪ３を行うことによって、仮想空間における仮想領域２００の姿勢を容易に変更できる。
【００４８】
第１設定部１２ｂは、認識部１２ａによって手５００によるジェスチャーが第４ジェスチャーＪ４であると認識された場合に、仮想空間における手５００の座標に基づいて、仮想領域２００を移動する。したがって、実施形態１によれば、装着者が第４ジェスチャーＪ４を行うことによって、仮想空間における仮想領域２００の位置を容易に変更できる。
【００４９】
第２設定部１２ｃは、仮想領域２００の座標を現実空間における座標に変換する。座標の変換は、複合現実の分野で既に使用されている方法であれば、特に限定することなく使用できる。
【００５０】
第２設定部１２ｃは、座標変換後の仮想領域２００に基づいて、現実空間に境界領域３００を設定する。したがって、実施形態１によれば、境界領域３００に基づいてロボット４０を制御することで、ロボット４０の動作を容易に制限できる。
【００５１】
例えば、境界領域３００は、現実空間における境界領域３００の座標によって定義される。現実空間における境界領域３００の座標は、現実空間における境界領域３００を示す情報の一例である。境界領域３００の座標は、例えば、現実空間においてロボット４０が配置される座標系によって示される。
【００５２】
具体的には、第２設定部１２ｃは、座標変換後の仮想領域２００を、境界領域３００として現実空間に設定する。座標変換後の仮想領域２００は、現実空間における座標で表された仮想領域２００である。
【００５３】
ただし、第２設定部１２ｃは、ロボット４０の最大可動範囲と、座標変換後の仮想領域２００とに基づいて、境界領域３００を設定してもよい。この場合、ロボット４０の最大可動範囲に応じて、より適切な境界領域３００を設定できる。ロボット４０の最大可動範囲を示す情報は、記憶部１３に記憶されている。
【００５４】
また、第２設定部１２ｃは、ロボット４０の動作パターンと、座標変換後の仮想領域２００とに基づいて、動作パターンごとに境界領域３００を設定してもよい。この場合、ロボット４０の動作パターンに合わせて、より適切な境界領域３００を設定できる。ロボット４０の動作パターンを示す情報は、記憶部１３に記憶されている。
【００５５】
なお、第２設定部１２ｃは、ロボット４０の最大可動範囲と、ロボット４０の動作パターンと、座標変換後の仮想領域２００とに基づいて、境界領域３００を設定してもよい。
【００５６】
表示制御部１２ｄは、装着者がロボット４０を視認可能なように、仮想領域２００を表示させる。したがって、実施形態１によれば、装着者は、ロボット４０と仮想領域２００とを視認しながら、第１ジェスチャーＪ１を行うことによって、仮想領域２００を容易に設定できる。
【００５７】
同様に、装着者は、ロボット４０と仮想領域２００とを視認しながら、第２ジェスチャーＪ２、第３ジェスチャーＪ３、又は、第４ジェスチャーＪ４を行うことによって、仮想領域２００に対して、サイズ変更、姿勢変更、又は、位置変更を容易に実行できる。
【００５８】
実施形態１では、表示制御部１２ｄは、装着者がロボット４０を視認可能なように、仮想領域２００をディスプレー１４に表示させる。具体的には、表示制御部１２ｄは、ロボット４０の像と仮想領域２００とを重ね合わせる。表示制御部１２ｄは、重ね合わせた画像をディスプレー１４に出力する。
【００５９】
次に、図３〜図５を参照して、実施形態１に係るジェスチャーについて説明する。図３（ａ）〜図３（ｃ）は、第１ジェスチャーＪ１を示す図である。第１ジェスチャーＪ１は、仮想空間に仮想領域２００を設定するジェスチャーである。
【００６０】
図３（ａ）は、図１を参照して説明した第１ジェスチャーＪ１を示す図である。図３（ａ）に示すように、第１ジェスチャーＪ１は、装着者が、手５００を第１方向Ｄ１に沿って移動させるジェスチャーである。
【００６１】
図３（ａ）の例では、第１ジェスチャーＪ１によって、第１方向Ｄ１に延びる矩形状の仮想領域２００が設定されている。なお、図３（ａ）の例では、第１方向Ｄ１は、鉛直方向に略平行であるが、特に限定されない。例えば、第１方向Ｄ１は、水平方向に略平行でもよい。
【００６２】
図３（ｂ）は、第１ジェスチャーＪ１の他の例を示す図である。図３（ｂ）に示すように、第１ジェスチャーＪ１は、装着者が、右手５０１の親指と人差し指との付け根ｈ１と、左手５０２の親指と人差し指との付け根ｈ２とが離れるように、第２方向Ｄ２に沿って、右手５０１と左手５０２とを移動するジェスチャーである。
【００６３】
図３（ｂ）の例では、第１ジェスチャーＪ１によって、付け根ｈ１と付け根ｈ２とを対角線の両端部とする矩形状の仮想領域２００が設定されている。なお、図３（ｂ）の例では、第２方向Ｄ２は、右上がりに傾斜している方向であるが、特に限定されない。例えば、第２方向Ｄ２は、左上がりに傾斜している方向でもよい。
【００６４】
図３（ｃ）は、第１ジェスチャーＪ１の更に他の例を示す図である。図３（ｃ）に示すように、第１ジェスチャーＪ１は、装着者が、手５００の人差し指で空間の所望の位置をタップして、仮想領域２００の隅を定めるジェスチャーである。図３（ｃ）の例では、点Ｐ１と点Ｐ２と点Ｐ３とがタップされて、矩形状の仮想領域２００が設定されている。
【００６５】
図４は、第２ジェスチャーＪ２を示す図である。図４に示すように、第２ジェスチャーＪ２は、装着者が、仮想領域２００の左側を左手５０２で押さえ、仮想領域２００の右側を右手５０１の人差し指でタップしながら第３方向Ｄ３にスライドさせるジェスチャーである。第２ジェスチャーＪ２によって、仮想領域２００のサイズが、第３方向Ｄ３に変更されている。なお、右手５０１の人差し指でタップするのは、仮想領域２００の端部でなくてもよい。そのため、実際には右手５０１が届かないところまで、仮想領域２００を延ばすことができる。
【００６６】
なお、図４の例では、第３方向Ｄ３は、右方向であるが、特に限定されない。例えば、第３方向Ｄ３は、左方向であってもよい。また、第２ジェスチャーＪ２は、装着者が、仮想領域２００の右側を右手５０１で押さえ、仮想領域２００の左側を左手５０２の人差し指でタップしながら第３方向Ｄ３（左方向）にスライドさせるジェスチャーであってもよい。
【００６７】
図５は、第３ジェスチャーＪ３を示す図である。図５に示すように、第３ジェスチャーＪ３は、装着者が、手５００の親指と人差し指との間を開き、仮想領域２００上で指を回転方向Ｒ１に回すジェスチャーである。第３ジェスチャーＪ３によって、仮想領域２００が回転し、仮想領域２００の姿勢が変更される。なお、図５の例では、回転方向Ｒ１は、反時計回り方向であるが、特に限定されず、時計回り方向であってもよい。
【００６８】
次に、図６及び図７を参照して、ヘッドマウントディスプレー１０が実行する仮想領域設定方法について説明する。仮想領域設定方法では、現実空間の座標と関連付けられた仮想空間において、仮想領域２００を設定する。
【００６９】
図６及び図７は、ヘッドマウントディスプレー１０の制御部１２の動作を示すフローチャートである。つまり、図６及び図７は、ヘッドマウントディスプレー１０の制御部１２が実行する仮想領域設定方法を示す図である。図６及び図７に示すように、仮想領域設定方法は、ステップＳ１０１〜ステップＳ１１３を含む。したがって、制御部１２は、ステップＳ１０１〜ステップＳ１１３の各処理を実行する。
【００７０】
図６及び図７に示す動作は、人間がヘッドマウントディスプレー１０を頭部に装着して起動させると、開始する。
【００７１】
図６に示すように、ステップＳ１０１において、制御部１２の認識部１２ａは、撮像部１１から撮像画像の取得を開始する。したがって、撮像部１１は、現実空間の手５００とロボット４０とを撮像して、手５００の像とロボット４０の像とを含む撮像画像を生成している。処理はステップＳ１０２に進む。
【００７２】
ステップＳ１０２において、認識部１２ａが、撮像画像に基づいて、手５００の動きが示すジェスチャーを認識する。処理はステップＳ１０３に進む。
【００７３】
ステップＳ１０３において、認識部１２ａは、ジェスチャーが第１ジェスチャーＪ１であるか否かを判定する。ステップＳ１０３でジェスチャーが第１ジェスチャーＪ１でないと判定された場合（ステップＳ１０３でＮｏ）は、処理はステップＳ１０２に進む。一方、ステップＳ１０３でジェスチャーが第１ジェスチャーＪ１であると判定された場合（ステップＳ１０３でＹｅｓ）は、処理はステップＳ１０４に進む。
【００７４】
ステップＳ１０４において、制御部１２の表示制御部１２ｄは、装着者がロボット４０を視認可能なように、第１ジェスチャーＪ１に対応して仮想領域２００を表示させる。実施形態１では、表示制御部１２ｄは、装着者がロボット４０を視認可能なように、仮想領域２００をディスプレー１４に表示させる。具体的には、表示制御部１２ｄは、ロボット４０及び仮想領域２００を表示するように、ディスプレー１４を制御する。処理はステップＳ１０５に進む。
【００７５】
ステップＳ１０５において、制御部１２の第１設定部１２ｂが、仮想空間における手５００の座標に基づいて、仮想空間に仮想領域２００を設定する。具体的には、第１ジェスチャーＪ１が停止された場合に、第１設定部１２ｂは、仮想空間における手５００の座標に基づいて、仮想空間に仮想領域２００を設定する。なお、ステップＳ１０４においても、第１ジェスチャーＪ１を実行中の手５００（つまり、移動中の手５００）の仮想空間における座標に基づいて、第１設定部１２ｂが、仮想領域２００を定めている。処理はステップＳ１０６に進む。
【００７６】
ステップＳ１０６において、認識部１２ａが、撮影画像に基づいて、ジェスチャーを認識する。処理はステップＳ１０７に進む。
【００７７】
ステップＳ１０７において、認識部１２ａは、ジェスチャーが第２ジェスチャーＪ２であるか否かを判定する。ステップＳ１０７で第２ジェスチャーＪ２でないと判定され場合（ステップＳ１０７でＮｏ）は、処理は図７に示すステップＳ１０９に進む。一方、ステップＳ１０７で第２ジェスチャーＪ２であると判定された場合（ステップＳ１０７でＹｅｓ）は、処理はステップＳ１０８に進む。
【００７８】
ステップＳ１０８において、第１設定部１２ｂが、第２ジェスチャーＪ２に基づいて仮想領域２００のサイズを変更する。処理は図７に示すステップＳ１０９に進む。
【００７９】
図７に示すように、ステップＳ１０９において、認識部１２ａは、撮影画像に基づいて、ジェスチャーを認識する。処理はステップＳ１１０に進む。
【００８０】
ステップＳ１１０において、認識部１２ａは、ジェスチャーが第３ジェスチャーＪ３であるか否かを判定する。ステップＳ１１０で第３ジェスチャーＪ３でないと判定された場合（ステップＳ１１０でＮｏ）は、処理はステップＳ１１２に進む。一方、ステップＳ１１０で第３ジェスチャーＪ３であると判定された場合（ステップＳ１１０でＹｅｓ）は、処理はステップＳ１１１に進む。
【００８１】
ステップＳ１１１において、第１設定部１２ｂが、第３ジェスチャーＪ３に基づいて仮想領域２００の姿勢を変更する。処理はステップＳ１１２に進む。
【００８２】
ステップＳ１１２において、制御部１２の第２設定部１２ｃが、仮想領域２００の座標を現実空間における座標に変換して、座標変換後の仮想領域２００に基づいて境界領域３００を設定する。なお、ステップＳ１１２では、第２設定部１２ｃは、座標変換後の仮想領域２００と、ロボット４０の最大可動範囲及び／又は動作パターンとに基づいて、境界領域３００を設定してもよい。処理はステップＳ１１３に進む。
【００８３】
ステップＳ１１３において、制御部１２が、境界領域３００を示す情報をロボット制御装置３０に送信する。図６及び図７に示す処理は終了する。
【００８４】
以上、図１から図７を参照して、本発明の実施形態１に係るロボットシステム１００について説明した。実施形態１によれば、ヘッドマウントディスプレー１０の装着者は、複合現実を利用して、仮想領域２００及び境界領域３００を容易に設定できる。また、実施形態１によれば、ロボット制御装置３０の構成を変更する必要がないため、ロボットシステム１００の導入コストを低減できる。
【００８５】
（実施形態２）
図１、図８及び図９を参照して、本発明の実施形態２について説明する。実施形態２によれば、人間は、複合現実を利用して、ロボット４０の動作を制限するための仮想領域２００を容易に設定できる。
【００８６】
実施形態１と実施形態２とは、仮想領域２００に対応する境界領域３００を設定する主体が異なる。具体的には、実施形態１においては、ヘッドマウントディスプレー１０が、仮想領域２００に基づいて、境界領域３００を設定する。これに対して、実施形態２においては、ロボット制御装置３０が、仮想領域２００に基づいて、境界領域３００を設定する。
【００８７】
主体が異なる点を除けば、実施形態１と実施形態２とは同じ構成である。したがって、実施形態２の構成のうち、実施形態１の構成と同じ構成については説明を省略する。
【００８８】
実施形態２のヘッドマウントディスプレー１０は、仮想領域２００を設定するが、境界領域３００を設定しない。したがって、実施形態２のヘッドマウントディスプレー１０は、実施形態１の第２設定部１２ｃを備えていない。したがって、実施形態２では、ヘッドマウントディスプレー１０は、ステップＳ１０１〜ステップＳ１１１を実行し、ステップＳ１１２を実行しない。また、実施形態２では、ステップＳ１１３において、ヘッドマウントディスプレー１０は、仮想領域２００を示す情報（例えば、仮想空間における仮想領域２００の座標）をロボット制御装置３０に送信する。
【００８９】
図７は、実施形態２に係るロボット制御装置３０を示す図である。図７に示すように、ロボット制御装置３０は、制御部３１と、記憶部３２とを備える。
【００９０】
制御部３１は記憶部３２を制御する。制御部３１は、ＣＰＵのようなプロセッサーを含む。記憶部３２は、記憶装置を含み、データ及びコンピュータープログラムを記憶する。具体的には、記憶部３２は、半導体メモリーのような主記憶装置と、半導体メモリー、ソリッドステートドライブ、及び／又は、ハードディスクドライブのような補助記憶装置とを含む。記憶部３２は、リムーバブルメディアを含んでいてもよい。
【００９１】
制御部３１は、設定部３１ａと、ロボット制御部３１ｂとを含む。具体的には、制御部３１のプロセッサーは、記憶部３２の記憶装置に記憶されているコンピュータープログラムを実行することにより、設定部３１ａ、及び、ロボット制御部３１ｂとして機能する。
【００９２】
設定部３１ａは、図２に示す第２設定部１２ｃと同様の処理を実行する。すなわち、設定部３１ａは、仮想領域２００に基づいて、現実空間においてロボット４０の動作を制限するための境界領域３００を設定する。具体的には、設定部３１ａは、ヘッドマウントディスプレー１０から仮想空間における仮想領域２００を示す情報（具体的には、仮想空間における仮想領域２００の座標）を受信する。そして、設定部３１ａは、仮想空間における仮想領域２００の座標を現実空間における座標に変換する。座標の変換は、実施形態１の第２設定部１２ｃと同じ方法を使用する。設定部３１ａは、座標変換後の仮想領域２００に基づいて、境界領域３００を設定する。その他、設定部３１ａの処理は、図２に示す第２設定部１２ｃの処理と同様である。
【００９３】
また、設定部３１ａは、ロボット４０の最大可動範囲と、座標変換後の仮想領域２００とに基づいて、境界領域３００を設定してもよい。この場合、ロボット４０の最大可動範囲に応じて、より適切な境界領域３００を設定できる。ロボット４０の最大可動範囲を示す情報は、記憶部３２に記憶されている。
【００９４】
更に、設定部３１ａは、ロボット４０の動作パターンと、座標変換後の仮想領域２００とに基づいて、動作パターンごとに境界領域３００を設定してもよい。この場合、ロボット４０の動作パターンに合わせて、より適切な境界領域３００を設定できる。ロボット４０の動作パターンを示す情報は、記憶部３２に記憶されている。
【００９５】
ロボット制御部３１ｂは、ネットワークハブ２０を介して、記憶部３２に記憶された動作パターンに基づいてロボット４０を制御する。特に、実施形態２では、ロボット制御部３１ｂは、境界領域３００に基づいて、ロボット４０の動作を制限する。
【００９６】
次に、図９を参照して、境界領域３００を設定する際のロボット制御装置３０の制御部３１の処理について説明する。図９に示す動作は、ヘッドマウントディスプレー１０が仮想領域２００を示す情報を送信すると、開始する。
【００９７】
図８及び図９に示すように、ステップＳ２０１において、制御部３１の設定部３１ａが、ヘッドマウントディスプレー１０から仮想領域２００を示す情報を受信する。処理はステップＳ２０２に進む。
【００９８】
ステップＳ２０２において、設定部３１ａが、仮想領域２００を示す情報に基づいて、境界領域３００を設定する。具体的には、設定部３１ａが、現実空間への座標変換後の仮想領域２００に基づいて、境界領域３００を設定する。なお、ステップＳ２０２では、設定部３１ａは、現実空間への座標変換後の仮想領域２００と、ロボット４０の最大可動範囲及び／又は動作パターンとに基づいて、境界領域３００を設定してもよい。図９に示す処理は終了する。
【００９９】
以上、図８及び図９を参照して、本発明の実施形態２に係るロボットシステム１００について説明した。実施形態２によれば、人間は、複合現実を利用して、仮想領域２００及び境界領域３００を容易に設定できる。また、実施形態２によれば、ロボット制御装置３０が境界領域３００を設定するため、ヘッドマウントディスプレー１０にかかる負荷を低減できる。
【０１００】
以上、図面を参照して本発明の実施形態について説明した。ただし、本発明は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる（例えば、下記に示す（１）及び（２））。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又はある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。
【０１０１】
また、図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。
【０１０２】
（１）本発明の実施形態において、電子装置はビデオ透過式のヘッドマウントディスプレー１０であるが、本発明はこれに限定されない。例えば、電子装置が、光学透過式のヘッドマウントディスプレーであってもよい。光学透過式のヘッドマウントディスプレーは、人間の周辺環境を直接人間に視認させる。この場合、ヘッドマウントディスプレーは、ハーフミラーのような光学結合素子又は人間の網膜に仮想領域２００を投影（結像）してもよいし、液晶ディスプレーのような光を透過する表示素子に仮想領域２００を表示させてもよい。なお、人間の網膜に仮想領域２００を投影（結像）する場合には、図２に示すディスプレー１４は不要である。また、電子装置が端末装置であってもよい。端末装置は、例えば、携帯端末装置である。携帯端末装置は、例えば、スマートフォンである。スマートフォンのような携帯端末装置を使用することによって、ロボットシステム１００をより低コストで導入できる。
【０１０３】
（２）本発明の実施形態では、人間の手５００の動きをジェスチャーとして利用したが、本発明はこれに限定されない。例えば、所定の形状を有する操作部材（例えば、所定の形状を有するペン）の動きをジェスチャーとして利用してもよい。つまり、被写体５００が操作部材であってもよい。
【産業上の利用可能性】
【０１０４】
本発明は、電子装置、ロボットシステム、及び、仮想領域設定方法に関するものであり、産業上の利用可能性を有する。
【符号の説明】
【０１０５】
１０    ヘッドマウントディスプレー（電子装置）
１１    撮像部
１２ａ  認識部
１２ｂ  第１設定部
１２ｃ  第２設定部
１２ｄ  表示制御部
３０    ロボット制御装置
３１ａ  設定部
４０    ロボット
１００  ロボットシステム
２００  仮想領域
３００  境界領域
５００  手（被写体）
【図１】
2020192613.tif 000003
【図２】
2020192613.tif 000004
【図３】
2020192613.tif 000005
【図４】
2020192613.tif 000006
【図５】
2020192613.tif 000007
【図６】
2020192613.tif 000008
【図７】
2020192613.tif 000009
【図８】
2020192613.tif 000010
【図９】
2020192613.tif 000011